Nguồn tham khảo: Hand, D. J. (2009). Measuring classifier performance: a coherent alternative to the area under the ROC curve. Machine Learning, 77(1), 103–123. https://doi.org/10.1007/s10994-009-5119-5
Truy cập toàn văn: https://doi.org/10.1007/s10994-009-5119-5
Tóm tắt nội dung
Hand đặt câu hỏi về tính hợp lý của diện tích dưới đường cong ROC (AUC), thước đo được dùng rộng rãi để so sánh các bộ phân loại, và xem xét nó dưới góc độ chi phí phân loại sai. Khi đưa mô hình vào sử dụng, người dùng phải chọn một ngưỡng, và ngưỡng hợp lý phụ thuộc vào tỷ lệ chi phí giữa hai loại lỗi là báo nhầm và bỏ sót. Hand chỉ ra rằng AUC có thể được hiểu như tổn thất trung bình trên một phân phối các tỷ lệ chi phí, nhưng phân phối này lại phụ thuộc vào chính điểm số của từng bộ phân loại.
Nói cách khác, khi dùng AUC để so sánh hai mô hình, ta ngầm áp cho mỗi mô hình một thước đo chi phí khác nhau, điều mà tác giả coi là thiếu nhất quán về bản chất. Để khắc phục, Hand đề xuất một thước đo thay thế đơn giản và hợp lệ, gọi là thước đo H (H-measure), trong đó phân phối chi phí được xác định từ trước và dùng chung cho mọi bộ phân loại. Với bài toán dự báo sinh viên bỏ học, chênh lệch AUC chưa đủ để kết luận mô hình nào tốt hơn cho nhà trường; việc đánh giá cần gắn với chi phí thực tế của việc bỏ sót sinh viên có nguy cơ và chi phí can thiệp nhầm.
Luận điểm liên quan trong bài viết chính
Trong bài viết chính, tài liệu này được dẫn để làm rõ nhận định sau: Fawcett (2006) là tài liệu nhập môn tốt về phân tích ROC, còn Hand (2009) chỉ ra một điểm ít người để ý: AUC ngầm dùng những giả định chi phí khác nhau cho các bộ phân loại khác nhau, nên so sánh hai mô hình chỉ bằng AUC là không nhất quán về mặt chi phí.
Xem bài viết chính: Ứng dụng học máy phát hiện sinh viên có nguy cơ bỏ học: từ bài toán lớp thiểu số đến quyết định can thiệp