Nguồn tham khảo: Varma, S., & Simon, R. (2006). Bias in error estimation when using cross-validation for model selection. BMC Bioinformatics, 7(1), 91. https://doi.org/10.1186/1471-2105-7-91
Truy cập toàn văn: https://doi.org/10.1186/1471-2105-7-91
Tóm tắt nội dung
Varma và Simon kiểm tra liệu sai số ước lượng bằng kiểm định chéo (cross-validation, CV) của một bộ phân loại đã được chọn tham số cũng bằng CV có phản ánh đúng sai số thật trên dữ liệu độc lập hay không. Các tác giả dùng CV để tinh chỉnh tham số cho Shrunken Centroids (CV 10 phần) và máy véc-tơ hỗ trợ SVM (CV bỏ một, LOOCV), trên các tập huấn luyện ngẫu nhiên mà hai lớp có cùng phân phối đặc trưng; sai số thật được ước lượng trên dữ liệu kiểm tra độc lập.
Họ cũng thử CV lồng nhau, với vòng trong để tinh chỉnh tham số và vòng ngoài để ước lượng sai số, trên cả dữ liệu không có và có khác biệt giữa hai lớp. Kết quả cho thấy sai số CV của bộ phân loại đã tối ưu bị lệch đáng kể. Dù hai lớp không khác nhau, sai số CV của Shrunken Centroids vẫn dưới 30% ở 18,5% số tập mô phỏng, với SVM là 38%, trong khi trên tập kiểm tra độc lập hiệu năng không hơn đoán ngẫu nhiên.
CV lồng nhau giảm mạnh độ lệch, cho ước lượng rất gần sai số thật. Với bài toán dự báo sinh viên bỏ học, khi tinh chỉnh XGBoost hay chọn ngưỡng, mọi bước tối ưu phải nằm trong vòng CV hoặc được kiểm tra trên dữ liệu tách riêng, nếu không kết quả sẽ lạc quan hơn thực tế.
Luận điểm liên quan trong bài viết chính
Trong bài viết chính, tài liệu này được dẫn để làm rõ nhận định sau: Varma và Simon (2006) đã chứng minh rằng dùng chính sai số xác thực chéo của mô hình đã được tối ưu để báo cáo hiệu năng sẽ cho con số lạc quan quá mức.
Xem bài viết chính: Ứng dụng học máy phát hiện sinh viên có nguy cơ bỏ học: từ bài toán lớp thiểu số đến quyết định can thiệp