Jobis&Villains, đơn vị vận hành nền tảng hoàn thuế SamjjeomSam, ngày 27/10 cho biết đã xây dựng Carter - nền tảng nội bộ dùng để tập trung quản trị các AI agent đang được triển khai tại doanh nghiệp. Mục tiêu là chuẩn hóa vận hành, tăng cường bảo mật và tối ưu chi phí liên quan đến AI.

Theo công ty, Carter đảm nhiệm việc quản lý và giám sát chi phí phát triển, vận hành AI agent, đồng thời tích hợp các tính năng dùng chung về bảo mật và bảo vệ dữ liệu cá nhân.

Nhờ tận dụng thư viện và hạ tầng dùng chung đã được kiểm chứng, các nhóm phát triển không còn phải xây dựng riêng cho từng AI agent. Cách làm này giúp giảm trùng lặp trong quá trình phát triển và duy trì môi trường vận hành AI đồng nhất trong toàn công ty.

Hiện có 8 AI agent đang được vận hành trên Carter. Các công cụ này được ứng dụng trong nhiều mảng của SamjjeomSam, gồm SamjjeomSamQ, AI agent trên ứng dụng SamjjeomSam và các quy trình nội bộ.

Jobis&Villains cho biết Carter cũng giúp cắt giảm đáng kể chi phí vận hành AI. Công ty đã áp dụng mô hình “Model Tiering”, trong đó các mô hình hiệu năng cao được dùng cho các tác vụ tổng hợp và tạo phản hồi, còn những tác vụ như phân loại ý định hay đánh giá an toàn được chuyển sang các mô hình nhẹ hơn. Nhờ đó, khoảng 50% tổng lượt gọi được xử lý bằng mô hình nhẹ, qua đó giảm khoảng 45% chi phí gọi LLM.

Ngoài ra, việc chuẩn hóa “Prompt Caching” ở cấp nền tảng - tức lưu trữ và tái sử dụng các prompt lặp lại - giúp tiết kiệm khoảng 43% chi phí gọi đối với các tác vụ có thể tái sử dụng cache.

Kang Byeong-gyu, Giám đốc công nghệ (CTO) của Jobis&Villains, cho biết: “Chúng tôi đã tích hợp các AI agent nội bộ và tài sản tri thức vào Carter để nâng cao hiệu quả vận hành AI, đồng thời xây dựng nền tảng cho việc triển khai AI an toàn”.

Ông cho biết thêm công ty sẽ tiếp tục mở rộng Carter không chỉ theo hướng tối ưu chi phí, mà còn thiết lập cơ chế đo lường và quản trị chất lượng phản hồi, nhằm giúp mọi nhân viên có thể xây dựng và vận hành AI agent một cách an toàn.