VinUni ra mắt bộ công cụ kiểm tra năng lực tiếng Việt cho AI

Bộ công cụ V-Bench. Ảnh: Vingroup.

Ngày 6/7, Trung tâm Nghiên cứu AI thuộc Trường Đại học VinUni công bố V-Bench – bộ công cụ được thiết kế để đánh giá năng lực tiếng Việt của các mô hình ngôn ngữ lớn (LLM), từ đó đưa ra hệ tham chiếu khách quan, độc lập, làm cơ sở cho việc ứng dụng AI trong thực tiễn.

Theo VinUni, V-Bench được phát triển bởi Trung tâm Nghiên cứu AI của trường với sự tham gia theo hình thức phi lợi nhuận của hội đồng khoa học gồm 18 chuyên gia AI người Việt trong và ngoài nước. Bộ dữ liệu gồm hơn 40.000 câu hỏi và tác vụ, bao quát nhiều lĩnh vực, trong đó có ngôn ngữ, văn hóa, lịch sử, chủ quyền số, an toàn thông tin và các bối cảnh ứng dụng tại Việt Nam.

Bộ công cụ V-Bench được xây dựng với 2 hạng mục và 5 nhóm tiêu chí đánh giá chính gồm: Hiểu văn hóa ngầm định (phong tục, tín ngưỡng, lịch sử Việt Nam); hiểu ngôn ngữ vùng miền (phương ngữ, cách xưng hô và văn phong Bắc – Trung – Nam); an toàn và chủ quyền số (đảm bảo tuân thủ các nguyên tắc an toàn thông tin quốc gia, chống thông tin sai lệch và bảo vệ chủ quyền số Việt Nam); khả năng ứng dụng trong các lĩnh vực như giáo dục, y tế; năng lực agentic AI (bao gồm lập kế hoạch, sử dụng công cụ…).

Thông qua các tiêu chí này, V-Bench không chỉ đánh giá khả năng trả lời các câu hỏi học thuật mà còn đo lường mức độ hiểu biết của AI về tiếng Việt, văn hóa, đặc điểm vùng miền cũng như khả năng xử lý các yêu cầu trong những tình huống thực tế tại Việt Nam. Qua đó, các cơ quan, tổ chức và doanh nghiệp có thêm cơ sở tham khảo khi lựa chọn mô hình AI phù hợp với từng nhu cầu sử dụng.

Hiện V-Bench được cung cấp miễn phí tại địa chỉ vbench.ai và đã công bố kết quả đánh giá tham chiếu đối với 15 mô hình ngôn ngữ lớn (LLM).

Bảng xếp hạng năng lực tiếng Việt của các mô hình AI theo V-Bench. Nguồn: V-Bench

Theo VinUni, trong giai đoạn tiếp theo, bộ công cụ sẽ được mở rộng sang các tiêu chí đánh giá đa phương thức, bao gồm khả năng xử lý hình ảnh và âm thanh. Các nội dung dự kiến bổ sung gồm nhận diện chữ Nôm, biển hiệu vùng miền, biểu đồ, di sản văn hóa, hiểu giọng nói ba miền, phân tích ngữ cảnh văn hóa qua video ngắn. Bộ công cụ còn hướng đến xử lý các tài liệu tiếng Việt có độ dài trên 100.000 ký tự như văn bản pháp luật, hợp đồng, sách giáo khoa và trích dẫn chính xác từ văn bản quy phạm pháp luật, công báo.

Xu hướng xây dựng các công cụ và bộ dữ liệu phục vụ AI tiếng Việt đã được một số đơn vị thực hiện. Tháng 6 vừa qua, FPT và Nvidia công bố phát hành bộ dữ liệu Nemotron – Personas – Vietnam – bộ dữ liệu hỗ trợ AI xây dựng các hệ thống trí tuệ nhân tạo phản ánh tốt hơn đặc điểm nhân khẩu học, văn hóa và ngôn ngữ của người Việt.