SciBERT: Mô hình ngôn ngữ học máy tiền huấn luyện cho văn bản khoa học

Beltagy, Lo và Cohan (2019) giới thiệu SciBERT — biến thể của BERT được huấn luyện trên 1,14 triệu bài báo khoa học — đạt hiệu quả vượt trội so với BERT gốc trên nhiều tác vụ xử lý ngôn ngữ tự nhiên trong lĩnh vực khoa học.