Nguồn tham khảo: Chicco, D., & Jurman, G. (2020). The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation. BMC Genomics, 21(1), 6. https://doi.org/10.1186/s12864-019-6413-7
Truy cập toàn văn: https://doi.org/10.1186/s12864-019-6413-7
Tóm tắt nội dung
Chicco và Jurman đặt vấn đề: giới nghiên cứu vẫn chưa thống nhất nên chọn thước đo nào để đánh giá phân loại nhị phân, trong khi độ chính xác (accuracy) và điểm F1 tính từ ma trận nhầm lẫn vẫn được dùng phổ biến nhất. Theo các tác giả, hai thước đo này có thể cho kết quả lạc quan thái quá, nhất là trên dữ liệu mất cân bằng. Họ đề xuất ưu tiên hệ số tương quan Matthews (MCC), vì MCC chỉ đạt giá trị cao khi dự đoán tốt ở cả bốn ô của ma trận nhầm lẫn gồm dương tính thật, âm tính giả, âm tính thật và dương tính giả, có tính tới quy mô của cả lớp dương lẫn lớp âm.
Bài viết phân tích các tính chất toán học của MCC, sau đó minh họa bằng sáu tình huống dữ liệu tổng hợp và một bối cảnh thực tế trong hệ gen học. Kết quả cho thấy MCC cho điểm đánh giá giàu thông tin và trung thực hơn accuracy và F1. Các tác giả kết luận mọi cộng đồng khoa học nên ưu tiên MCC khi đánh giá phân loại nhị phân. Với bài toán dự báo sinh viên bỏ học, nơi một mô hình đoán tất cả sinh viên đều ở lại vẫn có thể đạt accuracy rất cao, tài liệu là căn cứ để báo cáo thêm MCC tại ngưỡng đã chọn, bổ sung cho PR-AUC vốn đánh giá trên toàn dải ngưỡng.
Luận điểm liên quan trong bài viết chính
Trong bài viết chính, tài liệu này được dẫn để làm rõ nhận định sau: Chicco và Jurman (2020) còn lưu ý rằng cả độ chính xác tổng thể lẫn F1 đều có thể cho kết quả lạc quan quá mức trên dữ liệu mất cân bằng.
Xem bài viết chính: Ứng dụng học máy phát hiện sinh viên có nguy cơ bỏ học: từ bài toán lớp thiểu số đến quyết định can thiệp