Nguồn tham khảo: Friedman, J. H. (2001). Greedy function approximation: A gradient boosting machine. The Annals of Statistics, 29(5). https://doi.org/10.1214/aos/1013203451
Truy cập toàn văn: https://doi.org/10.1214/aos/1013203451
Tóm tắt nội dung
Friedman nhìn bài toán ước lượng hàm từ góc độ tối ưu số trong không gian hàm thay vì không gian tham số, nhằm xây dựng khuôn khổ boosting chung cho mọi tiêu chí khớp dữ liệu. Tác giả chỉ ra mối liên hệ giữa khai triển cộng dần theo từng bước (stagewise additive expansion) và phương pháp cực tiểu hóa theo hướng dốc nhất, từ đó xây dựng khuôn khổ tăng cường theo gradient. Bài báo trình bày thuật toán cụ thể cho hồi quy với hàm mất mát bình phương tối thiểu, độ lệch tuyệt đối nhỏ nhất và Huber-M, cùng hàm hợp lý logistic đa lớp cho phân loại.
Khi mỗi thành phần cộng là một cây hồi quy, tác giả đưa ra cải tiến riêng và công cụ diễn giải cho mô hình TreeBoost. Kết quả cho thấy tăng cường gradient trên cây hồi quy tạo ra các quy trình có sức cạnh tranh, rất bền vững và diễn giải được, cho cả hồi quy lẫn phân loại, và hợp với việc khai phá dữ liệu chưa sạch. Bài cũng thảo luận quan hệ với các phương pháp boosting của Freund và Schapire, và của Friedman, Hastie và Tibshirani.
Đối với bài toán dự báo sinh viên bỏ học, đây là nền lý thuyết của các mô hình như XGBoost; hiểu cơ chế cộng dần các cây theo gradient giúp chọn hàm mất mát, tốc độ học và số cây hợp lý thay vì dùng mặc định.
Luận điểm liên quan trong bài viết chính
Trong bài viết chính, tài liệu này được dẫn để làm rõ nhận định sau: Mỗi cây mới được xây dựng để đi theo hướng giảm nhanh nhất của hàm mất mát, tức là "học" từ gradient của sai số mà các cây trước để lại (Friedman, 2001).
Xem bài viết chính: Ứng dụng học máy phát hiện sinh viên có nguy cơ bỏ học: từ bài toán lớp thiểu số đến quyết định can thiệp