Google DeepMind giới thiệu bộ chuẩn mới để đánh giá AI agent trong các tác vụ chuyên môn dùng dữ liệu hình ảnh phức tạp. Ảnh: Google

Google DeepMind đã công bố một bộ chuẩn đánh giá mới dành cho AI agent, tập trung vào khả năng xử lý các tác vụ chuyên môn dựa trên dữ liệu hình ảnh phức tạp như bản vẽ kỹ thuật, ảnh lâm sàng, cùng việc tạo báo cáo hoặc bảng tính hoàn chỉnh.

Theo IT Home của Đài Loan, ngày 14/11 theo giờ địa phương, Google DeepMind cùng công ty phân tích AI Artificial Analysis đã phát triển bộ chuẩn có tên Multimodal Knowledge Agent, viết tắt là MKA.

MKA được xây dựng để kiểm tra khả năng làm việc thực tế của AI. Cụ thể, hệ thống sẽ cung cấp cho mô hình các tài liệu có yếu tố thị giác phức tạp như bản vẽ kiến trúc, sơ đồ mạch điện tử và hình ảnh lâm sàng, sau đó yêu cầu tạo ra sản phẩm đầu ra phục vụ công việc.

Bộ bài kiểm tra gồm 200 nhiệm vụ, trải rộng trên 83 nhóm nghề thuộc 10 lĩnh vực, trong đó có kinh doanh, xây dựng, kỹ thuật, tài chính, y tế và khoa học. Mỗi nhiệm vụ mô phỏng một công việc mà chuyên gia lành nghề thường cần từ 3 đến 8 giờ để hoàn thành.

Cách chấm điểm của MKA không chỉ dừng ở đúng - sai. Mỗi nhiệm vụ được đánh giá theo trung bình khoảng 70 tiêu chí, trong đó độ chính xác nội dung chiếm trọng số 75% và mức độ hoàn thiện về mặt trực quan chiếm 25%.

Để bảo đảm tính công bằng, mọi mô hình đều được cung cấp cùng một bộ công cụ, môi trường làm việc và tối đa 250 lượt thao tác. Hệ thống chấm điểm bằng AI sẽ mở tệp đầu ra cuối cùng để kiểm tra nội dung, công thức và bố cục trình bày. Mức độ trùng khớp giữa đánh giá của chuyên gia và AI đạt 96%.

Về kết quả, Claude Fable 5.2 của Anthropic đứng đầu với tỷ lệ hoàn thành có trọng số trong nhóm nhiệm vụ độ khó cao đạt 57%. Gemini 4 Carbon của Google xếp thứ hai với 54%.

Tuy nhiên, chênh lệch chi phí giữa các mô hình khá lớn. Chi phí trung bình cho mỗi nhiệm vụ của Claude Fable 5.2 là 31,97 USD. Trong khi đó, Gemini 4 Carbon chỉ ở mức 6,29 USD, tức chỉ bằng khoảng 1/5.

Hiệu suất thao tác cũng có sự khác biệt giữa các mô hình. Số lượt thao tác trung bình để hoàn thành một nhiệm vụ dao động trong khoảng 30 đến 130 lần.

Google cho biết trong các công việc chuyên môn, tiêu chí cạnh tranh của AI agent không còn chỉ nằm ở tỷ lệ trả lời đúng, mà đã mở rộng sang chất lượng đầu ra và hiệu quả chi phí. Dù vậy, do bài đánh giá được thực hiện trong môi trường kiểm soát, kết quả có thể khác với hiệu suất thực tế khi triển khai tại doanh nghiệp.

Từ khóa

#Google DeepMind #Artificial Analysis #AI agent #AI đa phương thức #MKA #benchmark #Gemini #Anthropic #Claude
Copyright © DigitalToday. All rights reserved. Unauthorized reproduction and redistribution are prohibited.