Baidu đánh bại Microsoft và Google trong việc dạy AI hiểu ngôn ngữ của con người

The General Language Understanding Evaluation (GLUE) là tiêu chuẩn được sử dụng để đào tạo, đánh giá và phân tích các hệ thống hiểu ngôn ngữ tự nhiên dựa trên AI. Các tổ chức, doanh nghiệp đang phát triển mô hình xử lý ngôn ngữ tự nhiên dựa trên trí tuệ nhân tạo có thể đánh giá mô hình của họ bằng cách sử dụng thang điểm chuẩn GLUE.

Cho đến thời điểm gần đây, mô hình MT-DNN-SMART của Microsoft vẫn là cái tên dẫn đầu bảng xếp hạng GLUE toàn cầu, xếp ngay sau là mô hình T3 của Google. Tuy nhiên bảng xếp hạng này vừa có sự xáo trộn lớn bởi trong cuộc thi xử lý ngôn ngữ tự nhiên mới diễn ra gần đây, mô hình ERNIE (Enhanced Representation through kNowledge IntEgration) của Baidu đã đánh bại cả MT-DNN-SMART và T3 với số điểm kỷ lục 90.1.

Ban đầu, mô hình của Baidu được phát triển để hiểu ngôn ngữ Trung Quốc, tuy nhiên các nhà nghiên cứu cũng đã sớm nhận thấy triển vọng hiểu tiếng Anh cực tốt của mô hình này. Cách thức đào tạo ERNIE được Baidu lấy cảm hứng khá nhiều từ một công cụ đào tạo mô hình xử lý ngôn ngữ “lâu đời” của Google có tên BERT. Theo đó, 15% từ trong mỗi chuỗi câu sẽ được ẩn đi ở mỗi lần đào đạo, nhiệm vụ của AI cố gắng dự đoán các từ bị ẩn càng sát nghĩa càng tốt dựa trên ngữ cảnh. Nhóm nghiên cứu Baidu đã minh họa kỹ thuật này trên chuyên trang Github của họ với các ví dụ được trích dẫn từ bộ tiểu thuyết Harry Potter. Kết quả là ERNIE đã có thể ngoại suy mối quan hệ giữa Harry Potter và J. K. Rowling bằng cách phân tích kiến thức ngầm về từ ngữ và thực thể, để kết luận rằng Harry Potter là bộ tiểu thuyết được viết bởi J. K. Rowling.

“Mặc dù việc hiểu ngôn ngữ vẫn là một thách thức khó khăn, nhưng kết quả của chúng tôi đối với dự án ERNIE đã chỉ ra rằng các mô hình xử lý ngôn ngữ được đào tạo liên tục và đa tác vụ là một hướng đi đầy hứa hẹn cho nghiên cứu NLP”, nhóm nghiên cứu Baidu nhận định.

Hiện Baidu đang đẩy mạnh ứng dụng mô hình ERNIE cho các nhiệm vụ thực tế. Ví dụ: Hiện tại, Baidu đang sử dụng mô hình ERNIE cho tính năng trả lời câu hỏi tự động trong công cụ tìm kiếm của mình, giúp cải thiện 16% mức độ hài lòng của người dùng đối với kết quả tìm kiếm.