CNBC 17日援引业内观点称,Token 用量虽已成为衡量 AI 需求的核心指标之一,但这一数据本身可能存在被高估的情况,未必能真实反映实际需求水平。
Token 是 AI 使用中的基础计量单位,包括用户输入和模型输出中的词语或字符。一次普通对话通常会消耗数百个 Token;但在代码生成、网页浏览以及处理多步骤工作流的 Agent AI 场景中,单次会话的 Token 用量可能高出数千倍。
报道指出,随着越来越多企业开始用 Token 用量评估 AI 使用情况,部分员工的关注点也可能发生偏移,从追求实际产出转向做高指标。
据报道,Meta 和 Shopify 已经设立内部排行榜,追踪员工的 Token 使用情况。NVIDIA 首席执行官 Jensen Huang 此前也曾表示,如果一名年薪50万美元的工程师没有使用价值25万美元的计算资源,他会“非常担心”。
Databricks 首席执行官 Ali Ghodsi 表示,如果目标只是“多花钱”,其实并不难做到。比如把同一个请求反复发出,或者不断运行循环程序,都能显著推高成本,却不会带来任何实际成果。
哈佛商学院的一家 AI 研究机构的 Jen Stave 表示,她与12位首席技术官和首席信息官交流后发现,所有人都在投资回报率测算上面临困难。
Anthropic 首席执行官 Dario Amodei 则将这一局面形容为“cone of uncertainty”。他表示,数据中心建设周期通常需要一到两年,但企业如今不得不提前为尚未验证的需求投入数十亿美元。即便预测误差只持续几年,也可能造成灾难性后果。
为应对这类风险,Anthropic 正调整企业客户的计费模式,从固定套餐转向按实际用量计费。
CNBC 称,一些订阅每月200美元 Max 套餐的用户,会把 Claude 接入 OpenClaw 等第三方工具,让 Agent 24小时持续运行。这种使用方式已让 Anthropic 难以承受。