Nguồn tham khảo: Davis, J., & Goadrich, M. (2006). The relationship between Precision-Recall and ROC curves. In Proceedings of the 23rd international conference on Machine learning - ICML '06 (tr. 233–240). https://doi.org/10.1145/1143844.1143874
Truy cập toàn văn: https://doi.org/10.1145/1143844.1143874
Tóm tắt nội dung
Davis và Goadrich tìm hiểu mối quan hệ giữa đường cong ROC và đường cong Precision–Recall (PR), hai công cụ phổ biến để trình bày kết quả bài toán quyết định nhị phân trong học máy. Điểm xuất phát của bài là nhận xét rằng khi dữ liệu lệch lớp mạnh, đường PR cho bức tranh giàu thông tin hơn về hiệu năng thuật toán so với ROC. Bằng lập luận lý thuyết, các tác giả chứng minh giữa hai không gian có một liên hệ sâu sắc: một đường cong trội hơn trong không gian ROC khi và chỉ khi nó cũng trội hơn trong không gian PR.
Từ đó họ đưa ra khái niệm đường PR khả đạt (achievable PR curve), có tính chất tương tự bao lồi trong không gian ROC, kèm một thuật toán hiệu quả để tính đường này. Bài báo cũng nêu những khác biệt quan trọng cho thiết kế thuật toán: trong không gian PR không được nội suy tuyến tính giữa các điểm như vẫn làm với ROC, và thuật toán tối ưu diện tích dưới đường ROC chưa chắc đã tối ưu diện tích dưới đường PR.
Đối với bài toán dự báo sinh viên bỏ học, tài liệu giúp hiểu vì sao cần báo cáo PR-AUC riêng, vì sao mô hình tinh chỉnh theo ROC-AUC chưa hẳn tốt nhất theo PR-AUC, và nhắc người làm mô hình kiểm tra cách thư viện phần mềm tính diện tích dưới đường PR.
Luận điểm liên quan trong bài viết chính
Trong bài viết chính, tài liệu này được dẫn để làm rõ nhận định sau: Davis và Goadrich (2006) chứng minh hai loại đường cong có quan hệ chặt: một đường cong trội trong không gian ROC khi và chỉ khi nó trội trong không gian PR, nhưng tối ưu diện tích dưới ROC không bảo đảm tối ưu diện tích dưới PR.
Xem bài viết chính: Ứng dụng học máy phát hiện sinh viên có nguy cơ bỏ học: từ bài toán lớp thiểu số đến quyết định can thiệp