Nguồn tham khảo: Davis, S. E., Lasko, T. A., Chen, G., Siew, E. D., & Matheny, M. E. (2017). Calibration drift in regression and machine learning models for acute kidney injury. Journal of the American Medical Informatics Association, 24(6), 1052–1061. https://doi.org/10.1093/jamia/ocx030
Truy cập toàn văn: https://doi.org/10.1093/jamia/ocx030
Tóm tắt nội dung
Sharon E Davis, Thomas A Lasko, Guanhua Chen, Edward D Siew và Michael E Matheny (2017) nhận định mô hình dự báo chỉ hỗ trợ quyết định tốt khi hiệu chuẩn (calibration) tốt, nhưng hiệu chuẩn lại suy giảm theo thời gian. Nghiên cứu xem phương pháp mô hình hóa ảnh hưởng thế nào tới trôi hiệu năng, đồng thời đối chiếu trôi với thay đổi trong quần thể bệnh nhân. Từ các lượt nhập viện năm 2003 ở bệnh viện Bộ Cựu chiến binh Hoa Kỳ, nhóm tác giả xây 7 mô hình hồi quy và học máy dự báo tổn thương thận cấp mắc phải trong bệnh viện, rồi kiểm định qua 9 năm sau.
Mọi mô hình giữ được khả năng phân biệt, nhưng hiệu chuẩn giảm vì rủi ro ngày càng bị dự báo cao hơn thực tế. Mức dự báo quá cao tăng dần ở mô hình hồi quy, còn ở rừng ngẫu nhiên và mạng nơ-ron thì nhỏ và ổn định. Hiện tượng này gắn chặt với thay đổi tỉ lệ mắc bệnh, còn thay đổi quan hệ giữa biến dự báo và kết cục ứng với các kiểu trôi khác nhau giữa các phương pháp.
Tác giả khuyến nghị cập nhật khi hiệu năng trôi nhanh thay vì chỉ theo lịch cố định. Với hệ thống cảnh báo bỏ học, bài cho thấy cần theo dõi riêng hiệu chuẩn qua từng năm học, vì khả năng phân biệt ổn định có thể che khuất xác suất rủi ro bị thổi phồng.
Luận điểm liên quan trong bài viết chính
Trong bài viết chính, tài liệu này được dẫn để làm rõ nhận định sau: Trong y khoa, Davis và cộng sự (2017) theo dõi bảy mô hình dự báo suốt 9 năm.
Xem bài viết chính: Ứng dụng học máy phát hiện sinh viên có nguy cơ bỏ học: từ bài toán lớp thiểu số đến quyết định can thiệp