Varick cho rằng AI agent dùng trong doanh nghiệp không nhất thiết phải chạy trên các mô hình AI mới nhất. Theo công ty, với phần lớn tác vụ vận hành, hạn chế lớn hơn nằm ở ngữ cảnh, dữ liệu và quy trình nghiệp vụ hơn là bản thân mô hình.

Quan điểm này được Daniel Kornum, trưởng nhóm FDE (Forward Deployed Engineer) của Varick, nêu trong bài đăng trên mạng xã hội X với tiêu đề “You Don’t Need Better Models”. Ông cho biết các mô hình chậm hơn 1-2 thế hệ vẫn có thể xử lý phần lớn công việc trong các mảng như tài chính, nhân sự, bán hàng và mua sắm.

Kornum đưa ra ví dụ về một công ty giả định có 40 nhân viên chuyên kiểm tra và xử lý thanh toán cho 30.000 hóa đơn mỗi tháng.

Theo mô tả, AI agent sẽ đọc file PDF hóa đơn, đối chiếu với đơn đặt hàng và phiếu nhập kho, sau đó gán tài khoản kế toán và ghi nhận vào hệ thống ERP. Từ đó, Kornum đặt câu hỏi liệu một tác vụ như đọc PDF và đối soát ba loại tài liệu có thực sự cần đến mô hình tốt nhất thị trường hay không.

Ông cho rằng nếu để nhân viên và AI agent cùng xử lý một tập hóa đơn trong vòng một tháng rồi đối chiếu kết quả, sẽ có khoảng 1.800 hóa đơn, tương đương 6% trên tổng số 30.000 hóa đơn, cho ra kết quả khác nhau.

Trong số này, 700 trường hợp xuất phát từ thiếu ngữ cảnh. Chẳng hạn, nhà cung cấp từng gửi email thay đổi cách xuất hóa đơn từ hai năm trước, hoặc điều khoản thanh toán chỉ do nhân viên nắm được mà chưa được đưa vào hệ thống, khiến AI agent không thể suy ra.

Ngoài ra, 500 trường hợp đến từ các tình huống ngoại lệ không được ghi trong tài liệu nghiệp vụ, còn 350 trường hợp bắt nguồn từ lỗi dữ liệu hệ thống. Ở 150 trường hợp khác, kết quả do AI agent đưa ra thậm chí chính xác hơn con người.

Theo Kornum, lỗi thực sự do mô hình chỉ chiếm 100 trường hợp, tương đương khoảng 0,3% tổng số hóa đơn. Ngay cả trong nhóm này, phần có thể được cải thiện nhờ chuyển sang mô hình mới nhất cũng chỉ vào khoảng một nửa.

Nói cách khác, 1.550 trường hợp còn lại phát sinh từ thiếu ngữ cảnh, ngoại lệ trong quy trình và dữ liệu sai lệch – những vấn đề không thể giải quyết đơn thuần bằng cách thay mô hình. Theo ông, điều doanh nghiệp cần làm là hiểu rõ quy trình và bổ sung các lớp ngữ cảnh còn thiếu.

Chi phí cũng là yếu tố cần tính đến khi nâng cấp mô hình. Kornum cho biết nếu mỗi hóa đơn tiêu tốn 40.000 token, tổng nhu cầu trong một tháng sẽ lên tới 1,2 tỷ token. Với mức giá 2 USD cho mỗi 1 triệu token, chi phí hàng tháng là 2.400 USD; trong khi với mô hình mới nhất có giá 10 USD cho mỗi 1 triệu token, con số này tăng lên 12.000 USD.

Nếu mở rộng lên 50 tác vụ, chênh lệch chi phí hằng năm có thể lên tới 5,8 triệu USD. Vì vậy, theo Kornum, doanh nghiệp chỉ nên đổi sang mô hình mới khi mô hình đó giải quyết được bài toán mà hệ thống hiện tại chưa xử lý được, hoặc đạt hiệu quả tương đương nhưng với chi phí thấp hơn.

Một sức ép khác là mỗi lần thay mô hình, doanh nghiệp gần như phải thẩm định lại AI agent từ đầu. Kornum nói mỗi mô hình có định dạng đầu ra và cách gọi công cụ khác nhau, nên việc chuyển đổi thường kéo theo điều chỉnh prompt và kiểm thử lại toàn bộ.

Ông ước tính nếu liên tục chạy theo các mô hình mới được phát hành theo từng quý, mỗi tác vụ có thể tiêu tốn khoảng 8 tuần mỗi năm chỉ cho việc cập nhật. Trong khi đó, các lỗi không liên quan đến mô hình lại dễ bị bỏ ngỏ.

Từ thực tế này, Kornum đề xuất doanh nghiệp nên chọn sẵn mô hình phù hợp cho từng nghiệp vụ, xây dựng bộ dữ liệu đánh giá nội bộ từ 500 đến 1.000 hóa đơn thực tế, bao gồm cả các trường hợp ngoại lệ, đồng thời đặt một lớp trung gian giữa mô hình và AI agent để giảm phụ thuộc vào một nhà cung cấp.

Ông cũng nhấn mạnh một AI agent hiểu cách doanh nghiệp vận hành sẽ hiệu quả hơn một AI agent chỉ dựa vào mô hình mới nhất nhưng không nắm được nghiệp vụ, kể cả khi sử dụng mô hình của năm trước. Theo Kornum, đối thủ đáng ngại không phải là bên triển khai mô hình mới nhất sớm hơn, mà là những doanh nghiệp đã đưa AI agent vào 20 tác vụ khác nhau bằng các mô hình từ năm trước.