Nguồn tham khảo: Gardner, J., Brooks, C., & Baker, R. (2019). Evaluating the Fairness of Predictive Student Models Through Slicing Analysis. In Proceedings of the 9th International Conference on Learning Analytics & Knowledge (tr. 225–234). https://doi.org/10.1145/3303772.3303791
Truy cập toàn văn: https://doi.org/10.1145/3303772.3303791
Tóm tắt nội dung
Gardner, Brooks và Baker (2019) nhận thấy mô hình dự báo đã là hướng cốt lõi của phân tích học tập và được triển khai từ khóa học trực tuyến mở đại trà (MOOC) đến giáo dục phổ thông, nhưng ít nghiên cứu xem hiệu quả của mô hình khác nhau thế nào giữa các nhóm nhân khẩu học hay nhóm bản sắc. Các tác giả đề xuất một phương pháp đánh giá tính không công bằng của mô hình dự báo người học, định nghĩa là khác biệt về độ chính xác giữa các nhóm con, và đo bằng chỉ số mới ABROCA (Absolute Between-ROC Area), tức diện tích giữa đường ROC của hai nhóm.
Phương pháp được minh họa qua phân tích lát cắt (slicing analysis) theo giới tính, dùng năm mô hình tái lập từ các công trình khác trên dữ liệu 44 MOOC với hơn bốn triệu người học. Kết quả: mức công bằng khác biệt rõ theo thuật toán và tập đặc trưng; tỷ lệ mất cân bằng giới, lĩnh vực chương trình và từng khóa học đều liên hệ có ý nghĩa với ABROCA; và không có bằng chứng về đánh đổi bắt buộc giữa hiệu năng và công bằng.
Với bài toán dự báo sinh viên bỏ học, tài liệu cung cấp công cụ cụ thể để kiểm tra mô hình có bỏ sót hoặc gắn cờ quá mức nhóm sinh viên nào không trước khi đưa vào sử dụng.
Luận điểm liên quan trong bài viết chính
Trong bài viết chính, tài liệu này được dẫn để làm rõ nhận định sau: Gardner và cộng sự (2019) đề xuất "phân tích lát cắt" để đo mức độ chênh lệch hiệu năng giữa các nhóm, và trên dữ liệu 44 khóa học trực tuyến với hơn bốn triệu người học, họ thấy mức độ công bằng thay đổi đáng kể theo thuật toán và tập biến sử dụng.
Xem bài viết chính: Ứng dụng học máy phát hiện sinh viên có nguy cơ bỏ học: từ bài toán lớp thiểu số đến quyết định can thiệp