Một nghiên cứu mới cho thấy chi phí sử dụng AI có thể chênh lệch tới hàng chục lần chỉ vì khác biệt ngôn ngữ. Theo nhóm nghiên cứu CLEAR, các ngôn ngữ có nguồn dữ liệu huấn luyện hạn chế hơn tiếng Anh thường cần nhiều token hơn để diễn đạt cùng một nội dung, từ đó làm tăng chi phí xử lý.

Ngày 27/10 (giờ địa phương), trang tin Nhật Bản Gigazine dẫn nghiên cứu gần đây của CLEAR, nhóm nghiên cứu chuyên về công bằng ngôn ngữ trong AI, cho biết hiện tượng này được gọi là “thuế tokenizer” (Tokenizer Tax).

Các mô hình ngôn ngữ lớn (LLM) hoạt động dựa trên token - đơn vị mà văn bản được chia nhỏ theo từ, ký tự hoặc byte. Nhiều dịch vụ AI hiện tính phí theo số lượng token được xử lý. Vấn đề nằm ở chỗ với những ngôn ngữ có ít dữ liệu huấn luyện hơn, cùng một câu có thể bị chia thành nhiều token hơn, kéo theo chi phí tăng lên.

Nhóm nghiên cứu đưa ra câu ví dụ: “Mọi người nên được hưởng lợi từ AI bất kể họ sử dụng ngôn ngữ nào”. Với câu này, tiếng Anh cần 13 token, tiếng Malayalam của Ấn Độ cần 26 token, trong khi tiếng Amhara của Ethiopia cần tới 78 token. Nếu áp dụng cùng một mức phí theo token, người dùng tiếng Amhara sẽ phải trả nhiều gấp 6 lần so với người dùng tiếng Anh.

Theo CLEAR, chênh lệch này không đơn thuần đến từ độ dài câu ở mỗi ngôn ngữ. Dữ liệu nghiên cứu cho thấy tiếng Shan ở Myanmar chỉ dài hơn tiếng Anh 42% về số ký tự, nhưng mức chênh lệch token ở một số ngôn ngữ còn lớn hơn đáng kể.

Khoảng cách giữa các ngôn ngữ càng rõ hơn tại những cộng đồng có tỷ lệ sử dụng Internet thấp. Ngay cả trong nhóm 20 ngôn ngữ phổ biến nhất trên Internet, số token cần xử lý cũng đã khác biệt đáng kể. Khi mở rộng phân tích lên gần 200 ngôn ngữ, tùy từng mô hình, mức chênh lệch có thể lên tới 17 lần.

CLEAR cho rằng đây không chỉ là vấn đề chi phí. Khi số token tăng lên, thời gian xử lý cũng kéo dài hơn, đồng thời lượng nội dung mà AI có thể ghi nhớ hoặc phân tích trong một lần xử lý sẽ giảm xuống.

Nhóm nghiên cứu cảnh báo gánh nặng này có thể trở nên nghiêm trọng hơn tại những khu vực thiếu tài nguyên tính toán và hạn chế về khả năng tiếp cận Internet. Theo CLEAR, bất bình đẳng công nghệ do khác biệt ngôn ngữ có thể cản trở khả năng tham gia vào nền kinh tế AI.