一项最新研究显示，即便提出的是同一个问题，不同语言用户使用AI时承担的成本也可能相差数倍，甚至接近数十倍。背后原因在于，大语言模型对不同语言的切分效率并不一致，部分训练数据较少的语言会占用更多Token，从而推高使用成本。
据日本媒体Gigazine 10月27日（当地时间）报道，AI语言公平研究组织CLEAR近期对不同语言的Token切分效率进行了分析，并将这一现象称为“Tokenizer Tax（分词器税）”。
大语言模型（LLM）以Token为基础处理文本，会将句子拆分为单词、字符或字节等单位。当前多数AI服务也按Token用量计费。但对于训练数据不足的语言，文本往往会被切分得更碎，导致Token消耗明显上升。
研究团队以“人们无论使用何种语言，都应享受AI带来的益处”这句话为样本进行对比。结果显示，英语仅需13个Token，印度常用的马拉雅拉姆语需要26个，埃塞俄比亚的阿姆哈拉语则高达78个。若按相同Token单价计算，阿姆哈拉语用户的使用成本相当于英语用户的6倍。
研究指出，这种差异并不能简单归因于句子长度不同。数据显示，缅甸掸语的字符数仅比英语多42%，但部分语言的Token增幅却远高于字符长度差异本身。
这种Token差距在互联网使用率较低的语言中更为明显。即便只比较全球互联网使用最广泛的前20种语言，Token用量差异也已相当显著；当分析范围扩大至约200种语言后，不同模型下的差距最高可达17倍。
CLEAR表示，这种不均衡带来的影响并不止于费用。Token消耗增加不仅会拉长处理时间，还会压缩模型单次可处理的上下文长度，减少一次能够分析或读取的文档内容。
研究团队还警告称，在计算资源不足、互联网可及性较弱的地区，这类额外成本可能进一步加重。由语言差异带来的技术不平等，也可能限制相关群体参与AI相关经济活动的机会。
Jae-won Choi
ittt_0801@d-today.co.kr