VinUni ra mắt V-Bench, bộ công cụ đánh giá năng lực tiếng Việt của các mô hình trí tuệ nhân tạo, hướng đến xây dựng hệ tham chiếu phục vụ ứng dụng AI tại Việt Nam.
Ngày 6/7, Trung tâm Nghiên cứu AI, trường Đại học VinUni giới thiệu V-Bench, bộ công cụ phi lợi nhuận đánh giá năng lực tiếng Việt của các mô hình ngôn ngữ lớn (LLM). Bộ công cụ được phát triển nhằm hỗ trợ cộng đồng nghiên cứu, doanh nghiệp và tổ chức ứng dụng AI tại Việt Nam.
Đơn vị xây dựng V-Bench với sự tham gia của hội đồng khoa học gồm 18 chuyên gia AI người Việt trong và ngoài nước. Bộ dữ liệu gồm hơn 40.000 câu hỏi và tác vụ, bao quát nhiều lĩnh vực, trong đó có ngôn ngữ, văn hóa, lịch sử, chủ quyền số, an toàn thông tin và các bối cảnh ứng dụng tại Việt Nam.
Nền tảng kiểm tra năng lực tiếng Việt công cụ AI do VinUni phát triển. Ảnh: VinUni
Hệ thống đánh giá gồm hai hạng mục với năm nhóm tiêu chí gồm: văn hóa ngầm định, đa dạng vùng miền, an toàn và chủ quyền số, ứng dụng thực tiễn và năng lực agentic AI. Các tiêu chí này đánh giá khả năng hiểu ngôn ngữ, phương ngữ, bối cảnh văn hóa, mức độ đáp ứng yêu cầu an toàn thông tin, khả năng lập kế hoạch, sử dụng công cụ và thực hiện tác vụ trong môi trường Việt Nam.
Theo VinUni, V-Bench hướng tới cung cấp hệ tham chiếu độc lập để đánh giá các mô hình AI, giúp tổ chức và doanh nghiệp có thêm cơ sở lựa chọn mô hình phù hợp với nhu cầu sử dụng. Bộ công cụ được phát triển theo các phương pháp phổ biến trong nghiên cứu LLM quốc tế, bảo đảm khả năng tương thích về quy trình và thuật ngữ với các hệ thống benchmark (đánh giá chuẩn) quốc tế.
GS.TS. Dương Nguyên Vũ, Phó hiệu trưởng kiêm Giám đốc Khoa học Trung tâm Nghiên cứu AI, trường Đại học VinUni, cho biết với bộ dữ liệu toàn diện cùng sự góp sức hoàn toàn khách quan, phi lợi nhuận của cộng đồng chuyên gia uy tín người Việt trên toàn cầu, V-Bench mong muốn góp phần định nghĩa lại tiêu chuẩn AI tại Việt Nam và xây dựng một hệ tham chiếu AI cho quốc gia.
"Kết quả đánh giá của V-Bench sẽ mang tới góc nhìn toàn cảnh, giúp các tổ chức, doanh nghiệp khám phá chiều sâu năng lực của từng mô hình AI, từ đó lựa chọn mô hình tối ưu cho từng bối cảnh sử dụng và nhu cầu thực tế", ông nói thêm.
V-Bench so sánh 5 mô hình trí tuệ nhân tạo. Ảnh: VinUni
Đến nay, V-Bench đã công bố kết quả đánh giá tham chiếu của 15 mô hình LLM. Trong giai đoạn tiếp theo, nhóm phát triển dự kiến bổ sung các tiêu chí đánh giá liên quan đến hình ảnh và âm thanh, gồm nhận diện chữ Nôm, biển hiệu vùng miền, biểu đồ, di sản văn hóa, giọng nói ba miền, ngữ cảnh văn hóa qua video ngắn và khả năng xử lý tài liệu tiếng Việt dài trên 100.000 token, như luật, hợp đồng, sách giáo khoa và văn bản pháp quy.
Nhật Lệ
