The Register ngày 24/6 (giờ địa phương) cho biết khi các công ty AI chuyển từ mô hình thuê bao sang tính phí theo mức sử dụng, chi phí vận hành AI agent tăng nhanh. Trước áp lực này, các nhà cung cấp cơ sở dữ liệu đang đưa hạ tầng dữ liệu lên vị trí trung tâm, đồng thời tung ra các giải pháp nhằm giảm mức tiêu hao token.

Pinecone, công ty phát triển vector database, gần đây ra mắt Nexus. Đây là công cụ tổ chức tri thức giúp xử lý trước cấu trúc và ngữ cảnh dữ liệu của doanh nghiệp, qua đó giảm việc AI agent phải lặp lại cùng một quá trình dò tìm thông tin mỗi khi hoạt động.

Jeff Zhu, Phó chủ tịch phụ trách sản phẩm của Pinecone, cho biết các AI agent hỗ trợ lập trình thường phải tự xác định cấu trúc bảng và lặp lại thao tác khám phá dữ liệu mỗi khi nhận câu hỏi mới. Dù vẫn có thể đưa ra câu trả lời, quá trình này tiêu tốn lượng token đáng kể. Theo ông, Nexus đảm nhận trước các tác vụ lặp lại và lưu lại ngữ cảnh để có thể tái sử dụng.

Theo The Register, Devin Pratt, Giám đốc nghiên cứu tại IDC, đánh giá cao Nexus vì công cụ này đưa bài toán chi phí vào ngay từ khâu thiết kế, thay vì chỉ xem đó là yếu tố cần cân nhắc về sau. Ông cũng ghi nhận Pinecone đã tích hợp cơ chế kiểm soát ngân sách token và theo dõi mức sử dụng ngay ở tầng truy vấn.

Pratt cho rằng điểm nghẽn lớn nhất của việc triển khai AI agent hiện không còn nằm ở bản thân mô hình AI, mà đã chuyển sang hạ tầng dữ liệu bao quanh mô hình.

Khảo sát của IDC cho thấy hai rào cản dữ liệu lớn nhất đang kìm hãm việc mở rộng AI tạo sinh và AI agentic là bảo mật - tuân thủ và chi phí. Gần hai phần ba tổ chức hiện sử dụng ít nhất 11 công nghệ cơ sở dữ liệu khác nhau, khiến tình trạng phân mảnh dữ liệu trở nên nghiêm trọng hơn.

TigerData, đơn vị phát triển TimescaleDB, cũng đã giới thiệu Ghost, một nền tảng cơ sở dữ liệu chuyên biệt cho AI agent. Nền tảng này cho phép cấp ngay cho mỗi agent một cơ sở dữ liệu PostgreSQL độc lập, sau đó có thể xóa bỏ sau khi thử nghiệm để tránh ảnh hưởng đến các agent và người dùng khác.

Mô hình tính phí của Ghost không dựa trên số lượng cơ sở dữ liệu được tạo ra, mà tính theo thời gian tính toán thực tế đã sử dụng. Đồng sáng lập kiêm CEO TigerData Ajay Kulkarni cho biết dù người dùng vận hành một hay 50 cơ sở dữ liệu, chi phí vẫn không thay đổi nếu thời gian tính toán là như nhau.

The Register cho biết các nền tảng lớn như Snowflake, Oracle và Microsoft cũng đang bổ sung những tính năng tương tự vào hệ thống công nghệ nội bộ của mình.