Nguồn tham khảo: Niculescu-Mizil, A., & Caruana, R. (2005). Predicting good probabilities with supervised learning. In Proceedings of the 22nd international conference on Machine learning - ICML '05 (tr. 625–632). https://doi.org/10.1145/1102351.1102430
Truy cập toàn văn: https://doi.org/10.1145/1102351.1102430
Tóm tắt nội dung
Niculescu-Mizil và Caruana xem xét mối quan hệ giữa kết quả dự đoán của các thuật toán học có giám sát và xác suất hậu nghiệm thật, nói gọn là: mô hình nào cho ra xác suất đáng tin. Các tác giả chỉ ra rằng những phương pháp cực đại lề như cây tăng cường (boosted trees) và gốc cây tăng cường (boosted stumps) đẩy xác suất ra xa hai đầu 0 và 1, tạo nên độ méo đặc trưng hình chữ S. Ngược lại, Naive Bayes, do giả định độc lập không thực tế, lại dồn xác suất về 0 và 1.
Mạng nơ-ron và cây đóng bao (bagged trees) không mắc các độ lệch này và cho xác suất được hiệu chuẩn tốt. Để sửa xác suất bị lệch, bài báo thử hai cách hiệu chuẩn là Platt Scaling và hồi quy đơn điệu (isotonic regression), phân tích loại méo mà mỗi cách phù hợp và lượng dữ liệu cần có để chúng phát huy tác dụng. Kết quả cho thấy sau khi hiệu chuẩn, cây tăng cường, rừng ngẫu nhiên và SVM cho xác suất tốt nhất.
Với bài toán dự báo sinh viên bỏ học, tài liệu nhắc rằng điểm đầu ra của XGBoost hay rừng ngẫu nhiên chưa chắc là xác suất đúng nghĩa. Nếu nhà trường muốn nói “sinh viên này có khoảng 30% nguy cơ bỏ học” hoặc chọn ngưỡng theo chi phí can thiệp, mô hình cần được hiệu chuẩn trên một tập dữ liệu riêng.
Luận điểm liên quan trong bài viết chính
Trong bài viết chính, tài liệu này được dẫn để làm rõ nhận định sau: Niculescu-Mizil và Caruana (2005) cũng cho thấy các mô hình tăng cường có xu hướng đẩy xác suất xa khỏi 0 và 1, nên cần kiểm tra hiệu chuẩn trước khi diễn giải xác suất; ở đây XGBoost với điều chuẩn mạnh cho xác suất khá sát thực tế.
Xem bài viết chính: Ứng dụng học máy phát hiện sinh viên có nguy cơ bỏ học: từ bài toán lớp thiểu số đến quyết định can thiệp