Nguồn tham khảo: Dietterich, T. G. (1998). Approximate Statistical Tests for Comparing Supervised Classification Learning Algorithms. Neural Computation, 10(7), 1895–1923. https://doi.org/10.1162/089976698300017197
Truy cập toàn văn: https://doi.org/10.1162/089976698300017197
Tóm tắt nội dung
Dietterich xem xét năm kiểm định thống kê gần đúng để xác định thuật toán học nào tốt hơn trên một bài toán cụ thể. Các kiểm định được so sánh qua thực nghiệm về sai lầm loại I (báo có khác biệt khi thực tế không có) và công suất (khả năng phát hiện khác biệt có thật). Hai kiểm định thông dụng có sai lầm loại I cao trong một số tình huống và cần tránh: kiểm định hiệu hai tỷ lệ, và kiểm định t cặp dựa trên nhiều lần chia ngẫu nhiên tập huấn luyện và kiểm tra.
Kiểm định t cặp dựa trên kiểm định chéo 10 phần có sai lầm loại I hơi cao, còn McNemar có sai lầm loại I thấp. Kiểm định mới 5×2 cv, dựa trên năm lần lặp kiểm định chéo hai phần, cũng có sai lầm loại I chấp nhận được. Về công suất, kiểm định t dựa trên kiểm định chéo mạnh nhất, còn 5×2 cv mạnh hơn McNemar đôi chút. Nếu thuật toán chạy được đúng một lần, chỉ McNemar có sai lầm loại I chấp nhận được; nếu chạy được mười lần, nên dùng 5×2 cv vì mạnh hơn và đo trực tiếp biến động do cách chọn tập huấn luyện.
Với bài toán dự báo sinh viên bỏ học, tài liệu giúp xác định chênh lệch vài điểm phần trăm giữa XGBoost, rừng ngẫu nhiên và hồi quy logistic có ý nghĩa thống kê hay chỉ do cách chia dữ liệu.
Luận điểm liên quan trong bài viết chính
Trong bài viết chính, tài liệu này được dẫn để làm rõ nhận định sau: Dietterich (1998) đã cảnh báo rằng nhiều cách so sánh thuật toán phổ biến có xác suất sai lầm loại I cao, tức là "thấy" khác biệt khi thực ra không có.
Xem bài viết chính: Ứng dụng học máy phát hiện sinh viên có nguy cơ bỏ học: từ bài toán lớp thiểu số đến quyết định can thiệp