Liner, startup phát triển AI agent, ngày 15/9 công bố Model API - giải pháp điều phối AI có khả năng tự động chọn mô hình ngôn ngữ lớn (LLM) phù hợp với từng truy vấn. Theo công ty, sản phẩm này có thể giúp giảm hơn 50% chi phí token mà vẫn duy trì chất lượng phản hồi tương đương các mô hình hiệu năng cao.

Liner cho biết nhiều hệ thống AI trong doanh nghiệp hiện vẫn xử lý mọi truy vấn bằng cùng một mô hình cao cấp, bất chấp mức độ phức tạp khác nhau của câu hỏi. Cách vận hành này làm tăng chi phí hạ tầng không cần thiết. Model API được thiết kế để phân tích độ khó và loại truy vấn, từ đó tự động gán LLM phù hợp.

Với các câu hỏi phức tạp như lập trình, toán học hoặc suy luận đa bước, hệ thống sẽ sử dụng mô hình hiệu năng cao. Ngược lại, với các truy vấn thông thường, API sẽ ưu tiên những mô hình có chi phí tối ưu hơn.

Một điểm đáng chú ý là doanh nghiệp có thể triển khai giải pháp này chỉ bằng cách thay API hiện có, không cần tự xây dựng logic điều phối phức tạp. Liner cho biết công nghệ điều phối được phát triển dựa trên hệ thống đánh giá mô hình nội bộ cùng lượng dữ liệu tích lũy trong quá trình vận hành dịch vụ thực tế.

Công ty cũng cho biết việc đánh giá hiệu năng của từng mô hình không chỉ dựa trên các benchmark công khai mà còn sử dụng dữ liệu truy vấn từ người dùng thực. Theo kết quả đánh giá nội bộ, khoảng 43% tổng số truy vấn được phân bổ cho các mô hình hiệu năng cao.

Nhóm truy vấn đòi hỏi khả năng lập trình, toán học và suy luận phức hợp sẽ được xử lý bằng các mô hình cao cấp, trong khi 57% còn lại được chuyển sang những mô hình tối ưu hơn về chi phí.

Liner khẳng định cách tiếp cận này giúp duy trì độ chính xác của câu trả lời, đồng thời cắt giảm hơn 50% chi phí token.

CEO Kim Jin-woo cho rằng việc dùng mô hình cao cấp cho mọi câu hỏi “không khác gì huy động siêu máy tính để giải từng phép tính đơn giản”. Theo ông, Model API có thể giảm gánh nặng cho các nhà phát triển trong bối cảnh họ phải liên tục kiểm tra hiệu năng, đơn giá của các mô hình mới và thay thế chúng trong hệ thống.