Ngành ngân hàng đang đẩy mạnh các biện pháp kiểm soát chi phí token khi mở rộng ứng dụng trí tuệ nhân tạo (AI), trong bối cảnh hóa đơn sử dụng dịch vụ tăng nhanh theo mô hình tính phí mới.

Theo American Banker ngày 29/6 (giờ địa phương), áp lực chi phí tại các ngân hàng tăng mạnh khi nhiều nhà cung cấp AI chuyển từ mô hình thuê bao sang tính phí theo token.

Trước đây, AI chủ yếu được xem là công cụ giúp tiết giảm chi phí. Tuy nhiên, chi phí vận hành AI nay lại trở thành một khoản chi mới. Khi Anthropic, OpenAI, Microsoft và nhiều nhà cung cấp khác chuyển sang tính phí theo token - đơn vị đo lượng dữ liệu được xử lý - doanh nghiệp càng sử dụng nhiều càng dễ chứng kiến chi phí phình to.

Áp lực này ngày càng được các lãnh đạo ngân hàng nhắc tới công khai. Dave McKay, CEO Royal Bank of Canada (RBC), cho biết lượng token mà ngân hàng sử dụng trong tháng 5 đã tăng 500% so với cùng kỳ năm trước. Trong khi đó, Zachary Anderson, Giám đốc dữ liệu và phân tích tại JPMorgan Chase, từng nói rằng chi phí token của một số nhân viên thậm chí còn cao hơn cả mức lương năm của họ.

Bill Demchak, CEO PNC Financial Services Group, cũng lên tiếng về vấn đề này khi cho rằng chi phí token có thể làm xói mòn lợi ích về năng suất. Phát biểu tại một hội nghị của Morgan Stanley, ông nói: “Ngay cả khi AI giúp nâng năng suất của ngân hàng, phần lợi ích đó vẫn có thể bị triệt tiêu bởi chi phí token”. Theo đó, các ngân hàng bắt đầu xem xét lại việc dùng mô hình nào cho từng nghiệp vụ, thay vì chỉ tập trung mở rộng AI.

Một trong những hướng đi được ưu tiên là không dùng mô hình cao cấp nhất cho mọi tác vụ. Các mô hình AI mới đang tiến tới khả năng tự ra quyết định và tự thực hiện công việc, kéo theo mức tiêu thụ token tăng lên. Tuy nhiên, nhiều tác vụ nội bộ trong ngân hàng không đòi hỏi mức độ tinh vi như vậy. Rob May, CEO công ty công nghệ Neurometric, cho rằng các mô hình tiên tiến có thể là lựa chọn quá tốn kém với những tác vụ đơn giản, trong khi dùng mô hình “vừa đủ” sẽ hiệu quả hơn về chi phí.

Theo xu hướng này, một số ngân hàng chấp nhận sử dụng các mô hình cũ hơn hoặc mô hình ngôn ngữ nhỏ (SLM) để tiết giảm chi phí, dù hiệu năng có thể thấp hơn. Ned Carroll, phụ trách dữ liệu và tự động hóa tại NC, cho rằng mỗi bài toán cần một công cụ phù hợp; chẳng hạn, để xử lý các nội dung liên quan đến chính sách hay quy trình về séc bị trả lại, không nhất thiết phải dùng mô hình ở cấp độ quá cao.

Ngoài ra, các ngân hàng cũng đang cân nhắc những cách khác để giảm mức tiêu thụ token, trong đó có việc khai thác các mô hình mã nguồn mở miễn phí. Giải pháp lưu trữ và tái sử dụng câu trả lời của AI cho các câu hỏi lặp lại cũng được xem là biện pháp tiết kiệm chi phí. Theo Rob May, nếu những cặp câu hỏi - trả lời tương tự xuất hiện nhiều lần, ngân hàng có thể lưu lại trong cơ sở dữ liệu để tra cứu trước và chỉ gọi mô hình khi thực sự cần thiết.

Song song với đó, việc mở rộng hạ tầng nội bộ cũng nổi lên như một hướng đi quan trọng. Các ngân hàng muốn giảm phụ thuộc vào nhà cung cấp AI bên ngoài và tự nắm giữ năng lực tính toán. PNC đã công bố kế hoạch xây dựng hạ tầng GPU riêng nhằm giảm mức độ lệ thuộc vào nhà cung cấp AI bên ngoài và chi phí token phát sinh. Bill Demchak cho biết ngân hàng sẽ tăng năng lực xử lý nội bộ để vận hành mô hình ngôn ngữ lớn của riêng mình.

Trong một số nghiệp vụ, dùng con người thậm chí có thể rẻ hơn AI. Đặc biệt với các tác vụ mà chi phí của sai sót quá lớn, việc tiếp tục dựa vào nhân sự hiện có có thể hợp lý hơn so với tự động hóa. Khi AI không còn đồng nghĩa với việc chắc chắn tiết kiệm chi phí, ngành ngân hàng đang chuyển sang cách tiếp cận thận trọng hơn: chọn đúng mô hình cho từng tác vụ, nội bộ hóa hạ tầng và điều chỉnh phạm vi ứng dụng theo từng nghiệp vụ.