Motif Technologies đã đề nghị xem xét lại kết quả đánh giá vòng 2 của dự án “mô hình nền tảng AI nội địa” (Dokpamo), đồng thời yêu cầu công khai điểm chi tiết theo từng hạng mục, tiêu chí chấm và tiến hành tái thẩm định.

Ngày 27/8, Motif Technologies cho biết đã chính thức nộp đơn kiến nghị lên Bộ Khoa học và ICT Hàn Quốc liên quan đến kết quả lựa chọn vòng 2 của Dokpamo.

Theo doanh nghiệp, mô hình “Motif 3” do công ty phát triển đạt 47 điểm trên Artificial Analysis Intelligence Index (AAII) – chỉ số tổng hợp đo hiệu năng các mô hình AI toàn cầu – cao nhất trong số các mô hình tham gia Dokpamo. Tuy nhiên, ở kết quả đánh giá vòng 2 được công bố ngày 18/8, Motif lại là đơn vị nhận điểm thấp nhất và bị loại.

Motif Technologies cho biết điểm AAII của các đơn vị còn lại lần lượt là Upstage 37 điểm, SK Telecom 35 điểm và LG AI Research 31 điểm.

Doanh nghiệp nói vẫn “tôn trọng và chấp nhận kết quả đánh giá”, song cho rằng cần công khai cụ thể tiêu chí và kết quả chấm điểm. Trước đó, Bộ Khoa học và ICT Hàn Quốc giải thích rằng Motif 3 bị đánh giá thấp ở phần chuyên gia và người dùng do mức độ hữu dụng và khả năng triển khai ứng dụng còn hạn chế.

Theo Motif Technologies, giá trị cốt lõi của mô hình nền tảng nằm ở khả năng mở rộng sang nhiều lĩnh vực, thay vì chỉ tập trung vào trải nghiệm sử dụng theo kiểu chatbot.

Công ty cũng lập luận mục tiêu ban đầu của Dokpamo là đưa mô hình nội địa đạt từ 95% hiệu năng trở lên so với các mô hình AI hàng đầu thế giới. Vì vậy, việc coi hiệu năng hiện tại của các mô hình trong nước là đã “đủ” và chuyển trọng tâm đánh giá sang tính hữu dụng là không phù hợp với mục tiêu của chương trình.

Motif cho biết thang điểm của kỳ đánh giá này gồm 100 điểm, trong đó benchmark chiếm 40 điểm, đánh giá chuyên gia 35 điểm và đánh giá người dùng 25 điểm. Riêng phần benchmark gồm 25 điểm từ AAII và 15 điểm đánh giá của Cơ quan Xã hội Thông tin và Trí tuệ Quốc gia Hàn Quốc (NIA).

Theo công ty, trong quá trình quy đổi điểm benchmark sang thang điểm thực tế, chênh lệch hiệu năng giữa các mô hình đã bị thu hẹp quá mức.

Motif nêu ví dụ khoảng cách 16 điểm giữa Motif 3 (47 điểm) và mô hình của LG AI Research (31 điểm) trên AAII chỉ còn 4 điểm sau khi quy đổi sang thang 25 điểm của hạng mục này.

Từ đó, doanh nghiệp đề nghị Bộ Khoa học và ICT Hàn Quốc công khai các nội dung gồm: điểm chi tiết của từng đơn vị theo từng hạng mục cùng tiêu chí chấm; phương thức tính điểm và căn cứ chấm cho phần benchmark; tiêu chí và kết quả chi tiết của đánh giá chuyên gia; phương pháp, tiêu chí và kết quả chi tiết của đánh giá người dùng.

Với phần đánh giá người dùng, Motif cho biết trước đó đã đề xuất áp dụng hình thức chấm ẩn danh (blind), do mức độ nhận diện thương hiệu giữa các tập đoàn lớn và startup có thể ảnh hưởng đến kết quả. Tuy nhiên, theo công ty, phương thức và điều kiện đánh giá đến nay vẫn chưa được công khai đầy đủ.

Motif Technologies nhấn mạnh nếu chênh lệch hiệu năng thể hiện ở phần benchmark bị đảo ngược sau đánh giá người dùng, cần có căn cứ cụ thể để xác định nguyên nhân.

Dù vậy, công ty khẳng định đơn kiến nghị lần này không nhằm yêu cầu được chọn lại. Motif cũng cho biết sẽ không tham gia vòng đánh giá thứ ba của Dokpamo, bất kể kết quả kiến nghị ra sao.

Theo Motif Technologies, động thái lần này nhằm làm rõ mục tiêu của Dokpamo và tìm hướng cải thiện mà các bên tham gia có thể cùng chấp nhận. Công ty cũng khẳng định sẽ tiếp tục tự xây dựng năng lực để phát triển mô hình AI hàng đầu tại Hàn Quốc và chứng minh sức cạnh tranh trên thị trường toàn cầu.