SciBERT: Mô hình ngôn ngữ học máy tiền huấn luyện cho văn bản khoa học
Bài báo hội thảo · EMNLP-IJCNLP 2019Nguồn: Beltagy, I., Lo, K., & Cohan, A. (2019). SciBERT: A pretrained language model for scientific text. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP 2019).
DOI: 10.18653/v1/D19-1371
Tóm tắt
SciBERT là mô hình ngôn ngữ tiền huấn luyện (pretrained language model) được nhóm nghiên cứu tại Allen Institute for Artificial Intelligence (AI2) phát triển, dựa trên kiến trúc BERT (Bidirectional Encoder Representations from Transformers). Điểm khác biệt cốt lõi: SciBERT được huấn luyện trên kho ngữ liệu khoa học thay vì dữ liệu web tổng quát như BERT gốc.
Dữ liệu huấn luyện
SciBERT được huấn luyện trên ~1,14 triệu bài báo từ Semantic Scholar, với phân bổ: 82% từ ngành y sinh (biomedical) và 18% từ khoa học máy tính (computer science). Từ vựng (vocabulary) được xây dựng lại từ đầu bằng thuật toán WordPiece trên kho ngữ liệu khoa học — thay vì kế thừa từ vựng Wikipedia/BookCorpus của BERT gốc — dẫn đến 42% token khoa học mới không có trong từ vựng BERT.
Kết quả đánh giá
SciBERT được đánh giá trên 4 nhóm tác vụ NLP cho văn bản khoa học: Nhận dạng thực thể có tên (Named Entity Recognition — NER) trong văn bản y sinh và CS; Phân loại PICO (phân tích câu hỏi lâm sàng); Trích xuất quan hệ (relation extraction) giữa thực thể khoa học; và Phân loại văn bản (text classification). SciBERT vượt BERT-base trên tất cả các tác vụ, với mức cải thiện đặc biệt rõ trên văn bản y sinh (vốn có nhiều thuật ngữ chuyên ngành nhất).
Tầm quan trọng
SciBERT được công bố mã nguồn mở trên Hugging Face và đã được tải xuống hàng triệu lần. Nó là tiền thân của nhiều mô hình chuyên ngành sau này: BioBERT (y sinh), ClinicalBERT (lâm sàng), FinBERT (tài chính). Với lĩnh vực QLKH, SciBERT có tiềm năng ứng dụng trong: tự động gán từ khóa cho bài báo, phân loại ngành nghiên cứu, và phát hiện trùng lặp nội dung.
Lưu ý khi ứng dụng
SciBERT được tối ưu cho tiếng Anh và các ngành y sinh/CS. Ứng dụng cho văn bản khoa học tiếng Việt hoặc các ngành kinh tế, xã hội học đòi hỏi fine-tuning thêm trên dữ liệu phù hợp, hoặc sử dụng mô hình đa ngữ như mBERT hay XLM-R.