CNBC ngày 17/4 (giờ địa phương) cho biết mức tiêu thụ token, yếu tố thường được xem là thước đo nhu cầu AI, có thể đang bị thổi phồng so với thực tế. Theo hãng tin này, khi doanh nghiệp dùng token để đánh giá mức độ triển khai AI, nhân viên dễ tập trung vào việc tăng chỉ số hơn là tạo ra kết quả thực chất.

Token là đơn vị dữ liệu cơ bản trong quá trình vận hành mô hình AI, bao gồm phần câu lệnh người dùng nhập vào và phần phản hồi do mô hình tạo ra. Một cuộc hội thoại thông thường có thể tiêu tốn vài trăm token, trong khi các tác nhân AI thực hiện những tác vụ như viết mã, duyệt web hay xử lý quy trình nhiều bước có thể dùng lượng token cao gấp hàng nghìn lần trong mỗi phiên.

Vấn đề, theo CNBC, xuất hiện khi doanh nghiệp bắt đầu lấy lượng token làm chỉ số đo mức độ ứng dụng AI. Trong trường hợp đó, nhân viên có xu hướng đẩy mức sử dụng token thay vì tập trung vào hiệu quả công việc.

Meta và Shopify được cho là đã thiết lập các hệ thống theo dõi nội bộ để theo dõi lượng token nhân viên sử dụng. Trước đó, CEO Nvidia Jensen Huang từng nói rằng nếu một kỹ sư nhận lương 500.000 USD nhưng không sử dụng lượng tài nguyên tính toán trị giá 250.000 USD, ông sẽ “rất lo ngại”.

CEO Databricks Ali Ghodsi cũng bày tỏ quan điểm tương tự. Ông nói rằng nếu mục tiêu chỉ là tiêu thêm tiền, sẽ có nhiều cách rất dễ để làm điều đó. Ví dụ, cùng một truy vấn có thể được gửi tới 10 hệ thống khác nhau, hoặc một vòng lặp có thể chạy lặp đi lặp lại, làm chi phí tăng vọt nhưng không tạo ra giá trị nào.

Jen Stave, từ Viện Nghiên cứu AI thuộc Harvard Business School, cho biết bà đã trao đổi với 12 CTO và CIO, và tất cả đều nói họ gặp khó trong việc đo lường ROI.

Trong khi đó, CEO Anthropic Dario Amodei mô tả tình hình này là một “cone of uncertainty”, tức vùng bất định ngày càng mở rộng theo thời gian. Theo ông, các trung tâm dữ liệu cần từ một đến hai năm để xây dựng, trong khi doanh nghiệp lại phải chi hàng tỷ USD từ sớm cho nhu cầu còn chưa được kiểm chứng. Chỉ cần dự báo lệch vài năm, hậu quả đã có thể rất lớn.

Về phía Anthropic, công ty đang chuyển sang mô hình tính phí theo mức sử dụng để giảm rủi ro. Doanh nghiệp này đã thay các gói enterprise thu phí cố định bằng cơ chế thanh toán dựa trên lượng sử dụng thực tế.

CNBC cũng cho biết Anthropic khó có thể duy trì mô hình định giá nếu người dùng gói Max giá 200 USD mỗi tháng kết nối thuê bao Claude với các công cụ bên thứ ba như OpenClaw để vận hành tác nhân AI 24/7.