Nguồn tham khảo: Chen, T., & Guestrin, C. (2016). XGBoost: A Scalable Tree Boosting System. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (tr. 785–794). https://doi.org/10.1145/2939672.2939785
Truy cập toàn văn: https://doi.org/10.1145/2939672.2939785
Tóm tắt nội dung
Chen và Guestrin giới thiệu XGBoost, một hệ thống tăng cường cây (tree boosting) hoàn chỉnh và có khả năng mở rộng. Vấn đề đặt ra là làm sao để phương pháp tăng cường cây, vốn hiệu quả và được dùng rộng rãi, xử lý được dữ liệu rất lớn mà vẫn tiết kiệm tài nguyên. Về thuật toán, các tác giả đề xuất một thuật toán mới nhận biết dữ liệu thưa (sparsity-aware) để xử lý hiệu quả dữ liệu có nhiều ô trống, cùng kỹ thuật phác thảo phân vị có trọng số (weighted quantile sketch) để tìm điểm chia gần đúng khi học cây.
Về hệ thống, bài báo phân tích cách truy cập bộ nhớ đệm, nén dữ liệu và phân mảnh dữ liệu (sharding) nhằm tận dụng phần cứng. Kết hợp các ý tưởng này, XGBoost mở rộng được tới hàng tỷ mẫu trong khi dùng ít tài nguyên hơn nhiều so với các hệ thống sẵn có. Theo các tác giả, hệ thống đã được giới khoa học dữ liệu sử dụng rộng rãi và giúp đạt kết quả hàng đầu trong nhiều cuộc thi học máy.
Với bài toán dự báo sinh viên bỏ học, XGBoost thường là mô hình mạnh để so sánh với hồi quy logistic và rừng ngẫu nhiên, nhờ khả năng xử lý dữ liệu dạng bảng có giá trị thiếu và nắm bắt quan hệ phi tuyến giữa các biến học tập, tài chính và nhân khẩu học.
Luận điểm liên quan trong bài viết chính
Trong bài viết chính, tài liệu này được dẫn để làm rõ nhận định sau: XGBoost: tinh chỉnh có kỷ luật XGBoost là hệ thống tăng cường độ dốc (gradient boosting) trên cây quyết định (Chen và Guestrin, 2016).
Xem bài viết chính: Ứng dụng học máy phát hiện sinh viên có nguy cơ bỏ học: từ bài toán lớp thiểu số đến quyết định can thiệp