Selectstar, công ty chuyên về đánh giá độ tin cậy AI, ngày 26/10 cho biết đã giới thiệu DAVI, mô hình AI chuyên xử lý các tác vụ ra quyết định. Theo công ty, mô hình này không chỉ cải thiện độ chính xác so với Jev của TypeSafeAI mà còn giúp giảm khoảng 28% chi phí vận hành mô hình trong thử nghiệm định tuyến AI.

DAVI được thiết kế cho những tác vụ như lựa chọn mô hình AI phù hợp theo độ khó của câu hỏi, đánh giá mức độ phù hợp của câu trả lời do AI tạo ra, cũng như dự đoán khả năng hoàn thành nhiệm vụ của AI agent.

Selectstar cho biết khi so sánh với Jev, mô hình AI ra quyết định toàn cầu của TypeSafeAI, DAVI cho kết quả tốt hơn ở các tiêu chí đánh giá chính.

Trên JevBench, bộ dữ liệu gồm 231 câu hỏi dùng để đo năng lực phán đoán của AI, DAVI đạt độ chính xác 89,2%, cao hơn 2,6 điểm phần trăm so với mức 86,6% của Jev. Ở nhóm câu hỏi khó, DAVI đạt 77,5%, cao hơn 4,5 điểm phần trăm so với Jev ở mức 73,0%. Trong bài đánh giá câu trả lời bằng tiếng Hàn, DAVI đạt 72,5%, vượt mức 66,8% của Jev.

Ở bài thử nghiệm định tuyến để lựa chọn mô hình AI, Selectstar cũng ghi nhận hiệu quả tiết kiệm chi phí. Công ty để DAVI tự chọn mô hình phù hợp trong bộ ba Haiku, Sonnet và Opus của Anthropic, dựa trên 870 cặp hỏi-đáp bằng tiếng Hàn thuộc nhóm độ khó cao.

Kết quả cho thấy phương án định tuyến bằng DAVI đạt tỷ lệ trả lời đúng 71,1%, cao hơn 0,8 điểm phần trăm so với phương án chỉ dùng Opus ở mức 70,3%. Đồng thời, chi phí vận hành mô hình giảm khoảng 28% so với việc chỉ sử dụng Opus.

Selectstar cho biết sẽ tích hợp DAVI vào Datumo Eval, nền tảng đánh giá độ tin cậy AI do công ty phát triển, trong tháng 11. Mục tiêu là hỗ trợ doanh nghiệp đánh giá chất lượng AI và tối ưu hiệu quả vận hành mô hình.