在AI使用规模快速扩大的同时,Uber的相关成本已趋于稳定。
据Axios 8月27日(当地时间)报道,Uber周度AI智能体请求量较2月增长9.4倍,但AI总支出自4月以来基本保持稳定。
Uber首席工程师Uday Kiran Medisetti在一篇博客文章中披露,按同一模型口径计算,每1000次请求的成本较4月峰值下降近34%,单次会话成本较6月高点下降52%。
目前,超过70%的代码变更提交由AI智能体完成。Uber工程师每天执行超过3万次AI智能体任务,AI工具使用人数增长逾4倍,Token成本却不升反降。
为控制成本并兼顾性能,Uber引入了按任务类型分配模型的机制,将不同任务交由更合适的模型处理。其中,规模较小的任务转由成本更低的模型承接;对于对话类任务,即便模型最高支持100万Token,单次会话上限仍统一设定为40万Token。
此外,工程师还可以在终端直接查看每个会话的实时成本。Uber同时将提示词缓存的保留时间从5分钟延长至1小时,原因是工程师经常让会话保持开启状态,离开工位超过5分钟。
随着越来越多企业增加对开源权重模型的使用,这一降本趋势也在更多公司中出现。Uber CTO Pravin Neppalli也在社交平台X(原Twitter)上表示,开源权重模型实验是成本下降的原因之一,公司会持续评估,并为不同使用场景部署合适的模型。
值得注意的是,Neppalli此前在4月接受The Information采访时曾表示,Uber已用完2026年的AI预算。
记者信息