同じ内容をAIに入力しても、使う言語によって利用コストが大きく変わる可能性があることが分かった。AIにおける言語公平性を研究する団体CLEARは、英語に比べて学習データの少ない言語ほど多くの計算資源を要し、利用者間の費用格差につながると指摘している。

GIGAZINEが27日に報じたところによると、CLEARは言語ごとのトークン処理効率を分析し、この現象を「トークナイザー税（Tokenizer Tax）」と呼んだ。

大規模言語モデル（LLM）は、文章を単語や文字、バイトなどの単位に分割したトークンを基に処理する。多くのAIサービスは処理したトークン数に応じて課金するため、学習データが少ない言語で文章が細かくトークン化されると、トークン消費量が増え、コストも膨らみやすい。

研究チームは、「人々は使用言語に関係なくAIの恩恵を受けるべきだ」という一文を各言語で比較した。英語では13トークンだったのに対し、インドで使われるマラヤーラム語は26トークン、エチオピアのアムハラ語は78トークンを要した。トークン単価が同じであれば、アムハラ語の利用者は英語利用者の6倍の費用を負担する計算になる。

こうした差は、単なる文の長さの違いだけでは説明できない。研究で用いたデータでは、ミャンマーのシャン語は英語より文字数が42％多かったが、一部言語で確認されたトークン数の差はそれを大きく上回った。

言語間の格差は、インターネット上での利用が少ない言語ほど目立った。インターネットで広く使われる上位20言語の間でもトークン数には大きな差があり、対象を約200言語に広げると、モデルによっては最大17倍の開きが生じた。

CLEARは、この不均衡は単なる料金の問題にとどまらないとみる。トークン数が増えるほど処理時間は長くなり、AIが一度に扱える文書量も減るためだ。

その上でCLEARは、「計算資源とインターネット接続性が不足する地域ではコスト負担がさらに重くなり得る」とし、「言語に起因する技術的不平等が、AI経済への参加を制限する可能性がある」と警鐘を鳴らしている。