Công ty nghiên cứu CNTT Gartner ngày 24/6 (giờ địa phương) dự báo đến năm 2028, chi phí dùng AI cho lập trình có thể vượt mức lương trung bình hằng năm của một lập trình viên. Theo hãng, áp lực chi phí chủ yếu đến từ mức tiêu thụ token tăng nhanh và xu hướng chuyển sang mô hình tính phí theo mức sử dụng.

Gartner cho biết nhiều tổ chức đang đẩy nhanh quá trình đưa các agent lập trình AI từ giai đoạn thử nghiệm sang triển khai trên quy mô lớn. Tuy nhiên, không ít doanh nghiệp vẫn đánh giá thấp tác động tài chính từ việc lượng token tiêu thụ tăng mạnh.

Nithish Tyagi, chuyên gia phân tích cấp cao tại Gartner, cảnh báo các lập trình viên thường ưu tiên tốc độ và sự tiện lợi hơn là hiệu quả chi phí. Nếu thiếu cơ chế quản trị phù hợp, chi phí token có thể tăng nhanh hơn mức cải thiện về năng suất.

Một yếu tố khác làm bài toán ngân sách trở nên khó kiểm soát là sự dịch chuyển từ mô hình cấp phép theo đầu người dùng sang tính phí theo mức sử dụng. Gartner cho rằng nhiều nhà cung cấp vẫn chưa minh bạch đầy đủ về cách tính phí và xuất hóa đơn dựa trên lượng token tiêu thụ, khiến doanh nghiệp khó dự báo chi phí chính xác.

Theo Tyagi, phần lớn tổ chức hiện chưa có hệ thống đủ trưởng thành để đo lường hiệu quả kinh doanh so với chi phí bỏ ra. Vì vậy, các lãnh đạo kỹ thuật phần mềm ngày càng gặp khó khi phải giải trình các khoản chi cho AI, nhất là trong bối cảnh ngân sách bị dùng hết sớm hơn dự kiến.

Gartner cũng chỉ ra một số nguyên nhân khiến lượng token bị tiêu hao quá mức, gồm quản trị workflow của agent còn lỏng lẻo, sử dụng context window lớn hơn mức cần thiết và thiếu cơ chế phản hồi để tối ưu mức tiêu thụ. Hãng nhận định các tính năng tối ưu chi phí mà nhà cung cấp AI coding đưa ra hiện vẫn chưa đủ trưởng thành.

Để kiểm soát chi phí, Gartner khuyến nghị lãnh đạo kỹ thuật phần mềm tập trung vào 5 việc. Thứ nhất, xác định rõ tiêu chí sử dụng AI theo từng loại công việc, gồm công việc do lập trình viên chủ đạo, AI hỗ trợ hoặc hoàn toàn do agent đảm nhiệm. Thứ hai, lựa chọn mô hình phù hợp với độ phức tạp của tác vụ, dùng mô hình nhỏ cho tác vụ đơn giản và chỉ dùng mô hình frontier cho các tác vụ phức tạp. Thứ ba, đào tạo lập trình viên về context engineering để giảm thông tin dư thừa và tối ưu lượng token tiêu thụ. Thứ tư, triển khai cơ chế quản trị và kiểm soát chi phí. Cuối cùng, thường xuyên rà soát các cách làm tiêu tốn nhiều token trong các cuộc họp phát triển định kỳ, xác định điểm kém hiệu quả và chia sẻ phương án cải thiện cho toàn nhóm.