Nguồn tham khảo: Sokolova, M., & Lapalme, G. (2009). A systematic analysis of performance measures for classification tasks. Information Processing & Management, 45(4), 427–437. https://doi.org/10.1016/j.ipm.2009.03.002
Truy cập toàn văn: https://doi.org/10.1016/j.ipm.2009.03.002
Tóm tắt nội dung
Sokolova và Lapalme phân tích có hệ thống 24 thước đo hiệu năng dùng trên toàn bộ phổ bài toán phân loại trong học máy, gồm nhị phân, nhiều lớp, đa nhãn và phân cấp. Câu hỏi đặt ra là khi phân phối nhãn thay đổi, thước đo nào giữ nguyên giá trị và thước đo nào bị ảnh hưởng. Từ đó, các tác giả xây dựng một hệ thống phân loại các thước đo theo tính bất biến (invariance) đối với mọi thay đổi liên quan của phân phối nhãn.
Tính bất biến có thể hiểu qua một ví dụ: độ chuẩn xác (precision), độ phủ (recall) và điểm F không dùng tới số âm tính thật, nên không đổi khi số mẫu âm được dự đoán đúng tăng hay giảm, trong khi độ chính xác tổng thể (accuracy) thay đổi theo. Chính những tính chất như vậy quyết định thước đo nào thích hợp khi lớp cần quan tâm chiếm tỷ lệ nhỏ, hay khi dữ liệu kiểm tra có tỷ lệ lớp khác dữ liệu huấn luyện.
Với bài toán dự báo sinh viên bỏ học, nơi tỷ lệ bỏ học khác nhau giữa các khóa, ngành và trường, tài liệu giúp giải thích vì sao nên ưu tiên thước đo tập trung vào lớp bỏ học và thận trọng khi so sánh kết quả giữa các bộ dữ liệu có tỷ lệ lớp khác nhau.
Luận điểm liên quan trong bài viết chính
Trong bài viết chính, tài liệu này được dẫn để làm rõ nhận định sau: Sokolova và Lapalme (2009) phân tích có hệ thống 24 thước đo phân loại và cách mỗi thước đo phản ứng khi phân phối nhãn thay đổi.
Xem bài viết chính: Ứng dụng học máy phát hiện sinh viên có nguy cơ bỏ học: từ bài toán lớp thiểu số đến quyết định can thiệp