Nguồn tham khảo: Strobl, C., Boulesteix, A.-L., Zeileis, A., & Hothorn, T. (2007). Bias in random forest variable importance measures: Illustrations, sources and a solution. BMC Bioinformatics, 8(1), 25. https://doi.org/10.1186/1471-2105-8-25
Truy cập toàn văn: https://doi.org/10.1186/1471-2105-8-25
Tóm tắt nội dung
Strobl và cộng sự kiểm tra độ tin cậy của thước đo mức quan trọng của biến trong rừng ngẫu nhiên, vốn ngày càng được dùng để chọn biến, chẳng hạn chọn chỉ dấu di truyền liên quan tới bệnh. Các tác giả thừa nhận thước đo này hợp lý trong nhiều ứng dụng, nhưng nghi ngờ nó khi các biến dự báo khác nhau về thang đo hoặc số hạng mục. Qua các nghiên cứu mô phỏng, họ cho thấy khi dữ liệu gồm nhiều loại biến, thước đo này dẫn tới kết luận sai: biến dự báo kém hơn lại có thể được ưu tiên.
Hai cơ chế gây sai lệch là việc chọn biến thiên lệch trong từng cây phân loại của rừng, và tác động của lấy mẫu bootstrap có hoàn lại. Giải pháp là một phiên bản rừng ngẫu nhiên chọn biến không thiên lệch trong từng cây; khi kết hợp với lấy mẫu con không hoàn lại, thước đo mức quan trọng trở nên đủ tin cậy ngay cả trong tình huống đó. Cách dùng trong R được minh họa bằng việc phân tích lại dữ liệu về hiệu chỉnh RNA.
Với bài toán dự báo sinh viên bỏ học, dữ liệu thường trộn biến liên tục như điểm trung bình với biến phân loại nhiều mức như ngành học hay tỉnh thành, nên đây là lời cảnh báo trực tiếp khi dựa vào mức quan trọng của biến để kết luận về yếu tố nguy cơ.
Luận điểm liên quan trong bài viết chính
Trong bài viết chính, tài liệu này được dẫn để làm rõ nhận định sau: Strobl và cộng sự (2007) chỉ ra rằng thước đo mức giảm tạp chất mặc định của rừng ngẫu nhiên không đáng tin khi các biến khác nhau về thang đo hoặc số mức phân loại.
Xem bài viết chính: Ứng dụng học máy phát hiện sinh viên có nguy cơ bỏ học: từ bài toán lớp thiểu số đến quyết định can thiệp