Nguồn tham khảo: Zadrozny, B., Langford, J., & Abe, N. (2003). Cost-sensitive learning by cost-proportionate example weighting. In Third IEEE International Conference on Data Mining (tr. 435–442). https://doi.org/10.1109/ICDM.2003.1250950
Truy cập toàn văn: https://doi.org/10.1109/ICDM.2003.1250950
Tóm tắt nội dung
B. Zadrozny, J. Langford và N. Abe, trong công trình trình bày tại hội nghị IEEE ICDM 2003, tìm cách chuyển các thuật toán học phân loại thông thường, cùng lý thuyết đi kèm, thành phiên bản nhạy chi phí. Cách chuyển đổi dựa trên việc đánh trọng số cho mẫu huấn luyện tỷ lệ thuận với chi phí khi phân loại sai mẫu đó. Trọng số có thể đưa thẳng vào thuật toán phân loại, như thường làm trong boosting, hoặc thực hiện qua lấy mẫu con có kiểm soát.
Nhóm tác giả đưa ra một số bảo đảm lý thuyết về hiệu năng, kèm bằng chứng thực nghiệm cho thấy đây là lựa chọn thực tế bên cạnh các cách tiếp cận sẵn có. Đề xuất nổi bật là “costing”, kết hợp lấy mẫu loại bỏ (rejection sampling) tỷ lệ với chi phí và gộp nhiều mô hình thành tập hợp (ensemble). Trên hai bộ dữ liệu công khai, costing cho hiệu năng dự báo rất tốt trong khi giảm mạnh khối lượng tính toán so với các phương pháp khác.
Nhờ vậy, không cần viết lại thuật toán: bộ phân loại nào nhận trọng số mẫu cũng có thể trở thành nhạy chi phí. Với dự báo bỏ học, nếu bỏ sót một sinh viên có nguy cơ tốn kém gấp nhiều lần một cảnh báo nhầm, nhà trường có thể gán trọng số lớn hơn cho các mẫu bỏ học khi huấn luyện, với cơ sở lý thuyết từ bài này.
Luận điểm liên quan trong bài viết chính
Trong bài viết chính, tài liệu này được dẫn để làm rõ nhận định sau: Cách thứ hai là huấn luyện lại XGBoost với trọng số lớp dương bằng k rồi quyết định ở ngưỡng 0,5, tức là đưa chi phí vào ngay hàm mất mát theo nguyên lý đánh trọng số tỷ lệ với chi phí (Zadrozny, Langford và Abe, 2003).
Xem bài viết chính: Ứng dụng học máy phát hiện sinh viên có nguy cơ bỏ học: từ bài toán lớp thiểu số đến quyết định can thiệp