KT ngày 27/9 cho biết AutoModelRouter, công nghệ định tuyến mô hình AI do hãng tự phát triển, đã xếp thứ 2 trên một bảng đánh giá công khai toàn cầu.

Theo KT, AutoModelRouter đứng thứ 2 trên Router Arena, nền tảng đánh giá các bộ định tuyến cho mô hình ngôn ngữ lớn (LLM) do nhóm nghiên cứu thuộc Đại học Rice (Mỹ) xây dựng.

Router Arena là bảng đánh giá công khai đo lường độ chính xác phản hồi, hiệu quả chi phí và khả năng thích ứng của các bộ định tuyến AI dựa trên khoảng 8.400 truy vấn. Nền tảng này hiện gồm cả các công nghệ do giới học thuật phát triển lẫn các giải pháp thương mại như Azure Model Router của Microsoft.

AutoModelRouter là công nghệ tự động lựa chọn mô hình phù hợp nhất với từng yêu cầu của người dùng trong số nhiều mô hình AI. Hệ thống phân tích loại tác vụ, độ phức tạp và lĩnh vực kiến thức, sau đó cân đối giữa chất lượng phản hồi và chi phí của từng mô hình để điều phối yêu cầu tới mô hình phù hợp.

Chẳng hạn, với các tác vụ như dịch thuật hoặc kiểm tra thông tin đơn giản, hệ thống sẽ ưu tiên mô hình tối ưu chi phí. Ngược lại, với các yêu cầu phân tích chuyên sâu hoặc đòi hỏi suy luận ở mức cao, hệ thống sẽ chuyển sang mô hình có hiệu năng tốt hơn.

KT cho biết cũng đã ứng dụng AutoModelRouter vào tính năng định tuyến mô hình trên Token Factory. Khi vận hành đồng thời nhiều mô hình AI, hệ thống có thể tự động chọn mô hình phù hợp cho từng yêu cầu nhằm tối ưu cả chất lượng dịch vụ lẫn chi phí.

Trong thời gian tới, KT sẽ tiếp tục nâng cấp AutoModelRouter và xây dựng môi trường vận hành đa mô hình, cho phép bổ sung thêm các mô hình AI mới.

Kim Jun-seok, Phó chủ tịch kiêm người đứng đầu Agentic AI Lab của KT, cho biết trong kỷ nguyên AI, năng lực sử dụng linh hoạt mô hình tối ưu cho từng tình huống là yếu tố quan trọng. Theo ông, AutoModelRouter sẽ trở thành công nghệ chủ chốt giúp tăng sức cạnh tranh cho các dịch vụ agentic AI của KT, trong đó có Token Factory.