Nguồn tham khảo: Van Calster, B., McLernon, D. J., van Smeden, M., Wynants, L., & Steyerberg, E. W. (2019). Calibration: the Achilles heel of predictive analytics. BMC Medicine, 17(1), 230. https://doi.org/10.1186/s12916-019-1466-7
Truy cập toàn văn: https://doi.org/10.1186/s12916-019-1466-7
Tóm tắt nội dung
Van Calster và cộng sự, thay mặt một nhóm chủ đề trong sáng kiến STRATOS, lập luận rằng độ hiệu chuẩn (calibration) của mô hình dự báo nguy cơ, dù dựa trên hồi quy hay thuật toán học máy linh hoạt hơn, đang bị xem nhẹ. Hiểu đơn giản, hiệu chuẩn là mức khớp giữa xác suất mô hình đưa ra và tần suất thực tế: nếu mô hình báo nguy cơ 20% cho một nhóm người thì khoảng một phần năm trong nhóm đó phải thực sự gặp sự kiện.
Thực trạng này cần thay đổi ngay, bởi mô hình hiệu chuẩn kém có thể gây hiểu lầm và thậm chí gây hại cho quyết định lâm sàng. Bài viết tóm lược cách tránh hiệu chuẩn kém khi phát triển mô hình và cách đánh giá hiệu chuẩn khi thẩm định, nhấn mạnh sự cân bằng giữa độ phức tạp của mô hình và cỡ mẫu sẵn có. Thẩm định ngoài bằng đường cong hiệu chuẩn cần cỡ mẫu đủ lớn, và mô hình nên được cập nhật khi cần.
Mục tiêu là để phân tích dự báo hỗ trợ tốt nhất việc cùng người bệnh ra quyết định và tư vấn. Với bài toán dự báo sinh viên bỏ học, khi nhà trường dùng xác suất để ưu tiên tư vấn hay phân bổ nguồn lực, tài liệu là căn cứ để báo cáo đường cong hiệu chuẩn bên cạnh PR-AUC và cập nhật mô hình theo từng khóa.
Luận điểm liên quan trong bài viết chính
Trong bài viết chính, tài liệu này được dẫn để làm rõ nhận định sau: Van Calster và cộng sự (2019) gọi hiệu chuẩn là "gót chân Achilles" của phân tích dự báo, vì xác suất lệch có thể dẫn đến quyết định sai.
Xem bài viết chính: Ứng dụng học máy phát hiện sinh viên có nguy cơ bỏ học: từ bài toán lớp thiểu số đến quyết định can thiệp