Nguồn tham khảo: Breck, E., Cai, S., Nielsen, E., Salib, M., & Sculley, D. (2017). The ML test score: A rubric for ML production readiness and technical debt reduction. In 2017 IEEE International Conference on Big Data (Big Data) (tr. 1123–1132). https://doi.org/10.1109/BigData.2017.8258038
Truy cập toàn văn: https://doi.org/10.1109/BigData.2017.8258038
Tóm tắt nội dung
Eric Breck, Shanqing Cai, Eric Nielsen, Michael Salib và D. Sculley trình bày bài này tại Hội nghị quốc tế IEEE về Dữ liệu lớn năm 2017. Hệ thống học máy chạy thực tế có nhiều mối lo mà ví dụ nhỏ hay thí nghiệm ngoại tuyến không bộc lộ. Kiểm thử và giám sát là hai yếu tố then chốt để bảo đảm hệ thống sẵn sàng vận hành và giảm nợ kỹ thuật (technical debt), tức chi phí tích tụ về sau do các lối tắt trong thiết kế và bảo trì.
Khó ở chỗ hành vi dự báo của mô hình khó xác định trước, nên không dễ viết phép kiểm thử như với phần mềm thông thường. Từ kinh nghiệm với nhiều hệ thống thực tế, nhóm tác giả đề xuất 28 phép kiểm thử và nhu cầu giám sát cụ thể, dùng như thang chấm điểm mức độ sẵn sàng, chia thành bốn nhóm: dữ liệu và đặc trưng, phát triển mô hình, hạ tầng học máy, và giám sát. Kèm theo là một lộ trình dễ làm theo để từng bước nâng mức sẵn sàng và trả dần nợ kỹ thuật.
Với dự án dự báo sinh viên bỏ học, thang điểm này là danh mục kiểm tra trước khi chạy chính thức: dữ liệu từ hệ thống quản lý đào tạo có được kiểm tra tự động không, mô hình có được theo dõi sau triển khai không.
Luận điểm liên quan trong bài viết chính
Trong bài viết chính, tài liệu này được dẫn để làm rõ nhận định sau: Breck và cộng sự (2017) đề xuất 28 phép kiểm thử và nhu cầu giám sát cụ thể, rút từ kinh nghiệm vận hành nhiều hệ thống học máy, như một lộ trình nâng mức sẵn sàng vận hành.
Xem bài viết chính: Ứng dụng học máy phát hiện sinh viên có nguy cơ bỏ học: từ bài toán lớp thiểu số đến quyết định can thiệp