Cafe24 ngày 23/6 công bố LLM Router, dịch vụ mới cho phép doanh nghiệp và người dùng tích hợp, vận hành hơn 120 mô hình AI như ChatGPT, Claude và Gemini qua cùng một API.

Theo Cafe24, LLM Router hoạt động như một bộ điều phối, tự động lựa chọn, phân bổ và chuyển đổi giữa các mô hình AI theo từng yêu cầu sử dụng.

Dẫn dữ liệu từ “Khảo sát thực trạng dịch vụ viễn thông giá trị gia tăng năm 2025” do Bộ Khoa học và ICT Hàn Quốc công bố ngày 3/6, công ty cho biết 53,2% người dùng AI tạo sinh hiện sử dụng đồng thời từ hai nền tảng AI trở lên.

Trong bối cảnh ngày càng nhiều người dùng lựa chọn công cụ AI theo từng mục đích như lập trình, dịch thuật, tóm tắt hay sản xuất nội dung, việc phải quản lý riêng tài khoản, chi phí và cấu hình cho từng dịch vụ cũng trở thành gánh nặng lớn hơn.

Cafe24 cho biết hệ thống của LLM Router sẽ phân tích loại tác vụ trong yêu cầu đầu vào để tự động định tuyến tới mô hình phù hợp cho các nhu cầu như lập trình, suy luận, dịch thuật hoặc sáng tạo nội dung. Nếu người dùng thiết lập trước phạm vi sử dụng, hệ thống chỉ định tuyến trong giới hạn đã cài đặt.

Với trường hợp cùng một mô hình có nhiều nhà cung cấp, dịch vụ sẽ tự động chọn nhà cung cấp tối ưu hơn dựa trên các tiêu chí như chi phí, tốc độ và thông lượng xử lý. Nền tảng cũng hỗ trợ thiết lập whitelist và blacklist để cho phép hoặc loại trừ một số nhà cung cấp cụ thể.

Sản phẩm được tích hợp Auto Fallback, tính năng tự động chuyển đổi khi mô hình chính không phản hồi. Khi mô hình chính gặp lỗi, mô hình thay thế được chỉ định trước sẽ tự động tiếp nhận yêu cầu.

Cafe24 đồng thời cung cấp bảng điều khiển thời gian thực, cho phép người dùng theo dõi chi phí theo từng mô hình cũng như tỷ lệ yêu cầu thành công và thất bại trên cùng một màn hình. Chế độ BYOK (Bring Your Own Key) cũng được hỗ trợ, cho phép kết nối trực tiếp các API key sẵn có của ChatGPT, Claude và Gemini.

Ông Lee Jae-seok, CEO Cafe24, cho biết số lượng mô hình AI tăng nhanh đang tạo ra thách thức mới trong việc kết nối và vận hành hiệu quả. Theo ông, công ty sẽ tiếp tục phát triển vai trò hạ tầng để giúp người dùng khai thác nhiều công cụ AI thuận tiện hơn.

LLM Router được vận hành theo hình thức nạp và sử dụng credit. Cafe24 cho biết người dùng sẽ được cấp credit miễn phí ngay khi đăng ký.