Nguồn tham khảo: Saito, T., & Rehmsmeier, M. (2015). The Precision-Recall Plot Is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets. PLOS ONE, 10(3), e0118432. https://doi.org/10.1371/journal.pone.0118432
Truy cập toàn văn: https://doi.org/10.1371/journal.pone.0118432
Tóm tắt nội dung
Saito và Rehmsmeier đặt câu hỏi: khi số mẫu âm vượt xa số mẫu dương, liệu biểu đồ ROC có khiến người đọc hiểu sai hiệu năng của bộ phân loại hay không. Bộ phân loại nhị phân thường được đánh giá bằng độ nhạy, độ đặc hiệu và minh họa bằng đường ROC, trong khi giá trị dự báo dương (precision) và biểu đồ Precision–Recall (PRC) ít được dùng hơn. Xuất phát từ các nghiên cứu tin sinh học, vốn thường gặp dữ liệu lệch lớp, các tác giả phân tích cách hai loại biểu đồ phản ánh hiệu năng.
Kết quả cho thấy cách đọc trực quan biểu đồ ROC trên dữ liệu mất cân bằng có thể gây ngộ nhận về độ tin cậy của phân loại, do người đọc hiểu sai ý nghĩa của độ đặc hiệu: độ đặc hiệu trông rất cao vẫn có thể đi kèm rất nhiều báo động nhầm khi lớp âm quá đông. Ngược lại, biểu đồ PRC đo tỷ lệ dương tính thật trong số các dự đoán dương, nên cho dự báo chính xác hơn về hiệu năng trong tương lai.
Phát hiện này có thể ảnh hưởng tới cách diễn giải nhiều nghiên cứu đã dùng ROC trên dữ liệu lệch lớp. Với bài toán dự báo sinh viên bỏ học, tài liệu là căn cứ để ưu tiên PR-AUC bên cạnh ROC-AUC, bởi nhà trường cần biết trong số sinh viên bị cảnh báo có bao nhiêu em thực sự có nguy cơ.
Luận điểm liên quan trong bài viết chính
Trong bài viết chính, tài liệu này được dẫn để làm rõ nhận định sau: Saito và Rehmsmeier (2015) cho thấy biểu đồ ROC có thể gây hiểu lầm khi dữ liệu mất cân bằng, còn biểu đồ độ chính xác – độ nhạy phản ánh trung thực hơn.
Xem bài viết chính: Ứng dụng học máy phát hiện sinh viên có nguy cơ bỏ học: từ bài toán lớp thiểu số đến quyết định can thiệp