Nguồn tham khảo: Slack, D., Hilgard, S., Jia, E., Singh, S., & Lakkaraju, H. (2020). Fooling LIME and SHAP: Adversarial Attacks on Post hoc Explanation Methods. In Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society (tr. 180–186). https://doi.org/10.1145/3375627.3375830
Truy cập toàn văn: https://doi.org/10.1145/3375627.3375830
Tóm tắt nội dung
Dylan Slack, Sophie Hilgard, Emily Jia, Sameer Singh và Himabindu Lakkaraju kiểm tra xem các kỹ thuật giải thích hậu kiểm (post hoc) dựa trên nhiễu đầu vào như LIME và SHAP có còn đáng tin khi bị cố ý lợi dụng hay không. Mô hình hộp đen ngày càng được dùng trong y tế và tư pháp hình sự, và chuyên gia dựa vào lời giải thích để phát hiện lỗi hệ thống cùng định kiến ẩn. Nhóm tác giả đề xuất kỹ thuật “giàn giáo” (scaffolding) bao bọc một bộ phân loại thiên lệch bất kỳ: trên dữ liệu thật, dự báo vẫn thiên lệch, nhưng lời giải thích trông vô hại, thậm chí có thể dựng theo ý muốn.
Mấu chốt là điểm nhiễu do LIME và SHAP tạo ra thường khác dữ liệu thật, nên lớp bao bọc nhận ra và trả về kết quả của một mô hình vô hại. Thực nghiệm trên nhiều bộ dữ liệu thực, trong đó có COMPAS, cho thấy các bộ phân loại thiên lệch nặng về chủng tộc vẫn khiến LIME và SHAP đưa ra lời giải thích không phản ánh định kiến thật. Vì vậy, các phương pháp này chưa đủ tin cậy nếu dùng làm công cụ kiểm tra duy nhất.
Với dự báo sinh viên bỏ học, một biểu đồ SHAP trông hợp lý không chứng minh mô hình công bằng; nhà trường vẫn cần kiểm tra trực tiếp tỷ lệ cảnh báo theo giới tính, vùng miền và hoàn cảnh kinh tế.
Luận điểm liên quan trong bài viết chính
Trong bài viết chính, tài liệu này được dẫn để làm rõ nhận định sau: Slack và cộng sự (2020) còn chứng minh có thể dựng một mô hình thiên lệch mà LIME và SHAP vẫn cho lời giải thích trông vô hại, nên giải thích cục bộ không thay được kiểm tra công bằng theo nhóm như ở Mục 11.
Xem bài viết chính: Ứng dụng học máy phát hiện sinh viên có nguy cơ bỏ học: từ bài toán lớp thiểu số đến quyết định can thiệp