Nguồn tham khảo: Fawcett, T. (2006). An introduction to ROC analysis. Pattern Recognition Letters, 27(8), 861–874. https://doi.org/10.1016/j.patrec.2005.10.010
Truy cập toàn văn: https://doi.org/10.1016/j.patrec.2005.10.010
Tóm tắt nội dung
Bài viết của Fawcett được soạn như một tài liệu nhập môn về đồ thị ROC (Receiver Operating Characteristics) và hướng dẫn sử dụng đồ thị này trong nghiên cứu. Mục tiêu không phải đề xuất thuật toán mới mà giúp người làm học máy hiểu đúng và dùng đúng một công cụ đánh giá vốn quen thuộc trong lý thuyết phát hiện tín hiệu và y học. Đồ thị ROC biểu diễn sự đánh đổi giữa tỷ lệ dương tính thật và tỷ lệ dương tính giả khi thay đổi ngưỡng phân loại: bộ phân loại cho nhãn rời rạc ứng với một điểm, còn bộ phân loại cho điểm số liên tục vạch ra cả một đường cong.
Tài liệu trình bày cách đọc không gian ROC, cách dựng đường cong từ điểm số của mô hình, ý nghĩa của diện tích dưới đường cong (AUC) như xác suất mô hình xếp một mẫu dương ngẫu nhiên cao hơn một mẫu âm ngẫu nhiên, cùng các lưu ý khi lấy trung bình nhiều đường cong hay mở rộng sang bài toán nhiều lớp. Đường ROC không thay đổi theo tỷ lệ giữa các lớp, điều vừa là lợi thế vừa là giới hạn khi dữ liệu lệch mạnh.
Với bài toán dự báo sinh viên bỏ học, đây là tài liệu tham chiếu cơ bản khi báo cáo ROC-AUC và giải thích vì sao ngưỡng 0,5 không phải lựa chọn duy nhất; nên đọc kèm tài liệu về đường Precision–Recall khi tỷ lệ bỏ học thấp.
Luận điểm liên quan trong bài viết chính
Trong bài viết chính, tài liệu này được dẫn để làm rõ nhận định sau: Fawcett (2006) là tài liệu nhập môn tốt về phân tích ROC, còn Hand (2009) chỉ ra một điểm ít người để ý: AUC ngầm dùng những giả định chi phí khác nhau cho các bộ phân loại khác nhau, nên so sánh hai mô hình chỉ bằng AUC là không nhất quán về mặt chi phí.
Xem bài viết chính: Ứng dụng học máy phát hiện sinh viên có nguy cơ bỏ học: từ bài toán lớp thiểu số đến quyết định can thiệp