Nguồn tham khảo: Breiman, L. (2001). Random Forests. Machine Learning, 45(1), 5–32. https://doi.org/10.1023/A:1010933404324
Truy cập toàn văn: https://doi.org/10.1023/A:1010933404324
Tóm tắt nội dung
Breiman giới thiệu rừng ngẫu nhiên (random forests), một tổ hợp nhiều cây dự báo, trong đó mỗi cây phụ thuộc vào một véc-tơ ngẫu nhiên được lấy mẫu độc lập và có cùng phân phối cho mọi cây. Câu hỏi đặt ra là điều gì quyết định sai số tổng quát hóa của tổ hợp này. Bài báo chứng minh sai số tổng quát hóa của rừng hội tụ hầu chắc chắn về một giới hạn khi số cây tăng lên, và sai số đó phụ thuộc vào hai yếu tố: sức mạnh của từng cây và mức tương quan giữa các cây.
Khi chọn ngẫu nhiên đặc trưng để chia tại mỗi nút, rừng đạt tỷ lệ lỗi khả quan so với Adaboost nhưng bền vững hơn trước nhiễu. Tác giả dùng các ước lượng nội bộ để theo dõi sai số, sức mạnh và tương quan, qua đó cho thấy tác động của việc tăng số đặc trưng dùng khi chia nút; cũng các ước lượng này được dùng để đo mức quan trọng của biến. Những ý tưởng trên áp dụng được cả cho hồi quy.
Với bài toán dự báo sinh viên bỏ học, rừng ngẫu nhiên là mô hình nền phổ biến, ít phải tinh chỉnh, chịu được nhiễu trong dữ liệu hành chính của nhà trường và cho sẵn thước đo mức quan trọng của biến để gợi ý yếu tố nguy cơ, dù thước đo này cần được đọc thận trọng.
Luận điểm liên quan trong bài viết chính
Trong bài viết chính, tài liệu này được dẫn để làm rõ nhận định sau: Rừng ngẫu nhiên và câu chuyện ngưỡng Rừng ngẫu nhiên kết hợp nhiều cây quyết định, mỗi cây học trên một mẫu bootstrap và chỉ xét một tập con ngẫu nhiên các biến tại mỗi lần chia nhánh (Breiman, 2001).
Xem bài viết chính: Ứng dụng học máy phát hiện sinh viên có nguy cơ bỏ học: từ bài toán lớp thiểu số đến quyết định can thiệp