Gartner nhận định chi phí AI của doanh nghiệp sẽ không dễ giảm, dù giá token có thể lao dốc trong những năm tới.

Trong báo cáo công bố ngày 30/3, hãng nghiên cứu dự báo đến năm 2030, chi phí suy luận của mô hình ngôn ngữ lớn (LLM) quy mô 1.000 tỷ tham số sẽ giảm hơn 90% so với năm 2025. Nếu so với giai đoạn đầu năm 2022 ở cùng quy mô mô hình, hiệu quả chi phí có thể cải thiện tới 100 lần.

Theo Gartner, xu hướng này đến từ việc hiệu suất của chất bán dẫn và hạ tầng tiếp tục được cải thiện, thiết kế mô hình được tối ưu, chip chuyên dụng cho suy luận ngày càng phổ biến, cùng với việc triển khai AI trên thiết bị biên (edge) tăng lên.

Tuy nhiên, Gartner cho rằng giá token đi xuống không đồng nghĩa tổng chi AI của doanh nghiệp sẽ giảm. AI agent tiêu thụ số token cho mỗi tác vụ cao hơn từ 5 đến 30 lần so với chatbot truyền thống, khiến lượng sử dụng tăng nhanh hơn tốc độ giảm giá token.

Trước bối cảnh đó, Gartner khuyến nghị doanh nghiệp áp dụng chiến lược “điều phối đa mô hình” (multi-model orchestration). Với các tác vụ lặp lại, tần suất cao, doanh nghiệp nên dùng mô hình nhỏ hoặc mô hình ngôn ngữ chuyên biệt theo lĩnh vực. Trong khi đó, các mô hình “frontier” chỉ nên được dùng cho những công việc phức tạp và có giá trị gia tăng cao.

Will Somer, Giám đốc Phân tích Cấp cao tại Gartner, cho biết các chức năng AI cơ bản đang dần tiệm cận mức chi phí gần như bằng 0, nhưng tài nguyên tính toán và hệ thống phục vụ suy luận nâng cao vẫn khan hiếm.