Databricks vừa ra mắt Unity AI Gateway, công cụ mới dành cho doanh nghiệp nhằm kiểm soát chi phí AI thông qua việc thiết lập hạn mức chi tiêu, ngăn vượt ngân sách và đề xuất các mô hình có chi phí thấp hơn.

Theo Axios ngày 16/6 (giờ địa phương), Databricks đưa ra sản phẩm này sau khi ghi nhận một số khách hàng vô tình tiêu tốn hàng chục triệu USD cho AI chỉ trong một tháng.

Công ty cho biết sự phổ biến của AI agent đang khiến chi phí phần mềm doanh nghiệp ngày càng khó dự báo.

Khi các AI agent có thể tự tương tác với mô hình mà không cần con người giám sát được sử dụng rộng rãi hơn, mức tiêu thụ tài nguyên AI cũng tăng mạnh. Trong không ít trường hợp, chi phí phát sinh vượt ngoài ngân sách doanh nghiệp.

Trong khi đó, các công cụ quản trị chi phí đám mây hiện nay chủ yếu chỉ phát cảnh báo sau khi tình trạng vượt chi đã xảy ra.

Unity AI Gateway cho phép doanh nghiệp thiết lập hạn mức chi tiêu cho AI, ngăn chi tiêu vượt hạn mức và đưa ra khuyến nghị tối ưu chi phí khi sử dụng nhiều nhà cung cấp khác nhau. Với những tác vụ không cần nhiều token hoặc không đòi hỏi mô hình đắt tiền, hệ thống sẽ đề xuất phương án rẻ hơn.

Công cụ này cũng theo dõi từng phiên sử dụng của người dùng để đánh giá hiệu quả khai thác AI. Nếu nhân viên sử dụng công cụ kém hiệu quả, doanh nghiệp có thể cắt quyền truy cập hoặc chuyển sang mô hình có chi phí thấp hơn.