Zalo AI vừa công bố Báo cáo tình hình phát triển các mô hình ngôn ngữ lớn (Large Language Model - LLM) tiếng Việt trong năm 2024. Báo cáo này dựa trên nền tảng đánh giá và xếp hạng năng lực tiếng Việt VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models - VMLU Leaderboard).

Theo đó, báo cáo ghi nhận sự nở rộ mạnh mẽ của các mô hình ngôn ngữ lớn hướng đến người dùng Việt Nam.

Cụ thể trong năm 2024, VMLU công bố 45 LLM trên bảng xếp hạng, tiếp nhận yêu cầu đánh giá của hơn 155 tổ chức & cá nhân, tổng kết 691 lượt tải bộ tiêu chuẩn đánh giá và 3.729 lượt đánh giá LLM từ nền tảng.

Trong bối cảnh AI tạo sinh còn tương đối mới mẻ tại Việt Nam, đồng thời việc phát triển LLM có những hạn chế lớn như thiếu dữ liệu, hạ tầng và nguồn lực, bước tiến này đã phản ánh nỗ lực tiếp cận công nghệ tiên tiến toàn cầu của các đơn vị, cũng như triển vọng của lĩnh vực này tại Việt Nam.

Theo Zalo AI, bên cạnh các nhóm nghiên cứu phát triển trong nước, nhiều đơn vị nước ngoài cũng tối ưu LLM cho tiếng Việt. Các nhà phát triển quốc tế gửi đánh giá lên VMLU tiêu biểu như: UONLP x Ontocord - Trường ĐH Oregon (Hoa Kỳ), DAMO Academy – Alibaba Group (Trung Quốc), SDSRV teams – Samsung.

Đáng chú ý, không chỉ các doanh nghiệp mà nhóm nghiên cứu thuộc các trường đại học tại Việt Nam cũng góp mặt trong bảng xếp hạng, cụ thể như: ML4U - Trường ĐH Bách khoa - ĐHQG TP.HCM, FPTU HCM - Trường ĐH FPT TP.HCM. Đây là tín hiệu tích cực cho sự phát triển của lĩnh vực AI trong môi trường giáo dục, thúc đẩy sự phát triển bền vững lâu dài.

Tuy số lượng còn hạn chế, nhiều mô hình LLM do người Việt tự huấn luyện đã bứt phá đạt vị trí cao trong bảng xếp hạng VMLU Leaderboard, trực tiếp cạnh tranh với những mô hình của các “ông lớn” như Llama-3-70B (Meta), GPT-4 (OpenAI) hay gemini (Google).

Cụ thể, KiLM-13b-v24.7.1 (được phát triển bởi Zalo AI) vươn lên vị trí số 2 from-scratch models (mô hình được huấn luyện từ đầu) với số điểm tổng quát trung bình 66,07 - xếp sau mô hình Llama-3-70B đang đứng đầu bảng với 66,44 điểm. Một mô hình khác của người Việt là ViGPT-1.6B-v1 (thuộc Vin BigData) cũng nằm trong Top 10 from-scratch models, xếp ở vị trí thứ 8.

Đối với bảng xếp hạng LLM fine-tuned models (mô hình tinh chỉnh từ LLM được huấn luyện trước đó), 9/10 LLM trong nước lọt Top 10 cho thấy xu hướng phát triển mô hình ngôn ngữ lớn hiện nay của Việt Nam. Các mô hình được cải tiến liên tục với điểm số không ngừng gia tăng cho thấy nỗ lực đáng ghi nhận trong việc bản địa hóa LLM cho người Việt.

Đánh giá về tình hình phát triển LLM tại Việt Nam, GS. Nguyễn Lê Minh - Giám đốc Trung tâm nghiên cứu Interpretable AI, Viện Khoa học và Công nghệ Tiên tiến Nhật Bản (JAIST) cho biết: "Số lượng các mô hình ngôn ngữ lớn tại Việt Nam gia tăng đã cho thấy sự quan tâm của đông đảo các tổ chức, cá nhân đối với việc thúc đẩy tính ứng dụng của GenAI. Trong tương lai, tôi nghĩ rằng xu hướng phát triển LLM tại Việt Nam sẽ thiên về tận dụng những mô hình LLM mở như Llama. Từ đó chuyển đổi phù hợp với các bài toán và dữ liệu chuyên ngành".

Dù vậy theo GS. Nguyễn Lê Minh, vẫn sẽ có các nhóm nghiên cứu tiếp tục huấn luyện mô hình ngôn ngữ lớn của riêng mình.