图片来源:Shutterstock

Andreessen Horowitz(a16z)最新分析显示,AI代理消耗的token已显著超过人类用户,法律领域的AI应用也在快速升温。

a16z近日在官网发布相关观察,对当前AI应用生态中的多项重要趋势进行了梳理,其中包括AI代理的token消耗结构变化、自动化工具流量走弱,以及法律场景需求快速上升等。

支持接入多种模型的OpenRouter数据显示,AI代理等自动化程序的token消耗量已接近人类用户的5倍;自今年2月以来,这一群体的token使用量增长约14倍。

从使用方式来看,AI代理与人类用户也存在明显差异。相比之下,AI代理更依赖缓存token来完成任务。所谓缓存token,是指模型对已读取并处理过的内容不再重复计算,而是直接复用此前保存的结果。

数据显示,在AI代理处理的token中,超过85%来自缓存机制;近期新增的token用量,绝大部分也由缓存token贡献。

a16z认为,这与两者的交互模式不同有关。人类用户更多采用问答式对话,而AI代理通常围绕既定目标持续执行任务,并在过程中反复调用上下文信息。

按照a16z的说法,AI代理在启动阶段通常会一次性输入大量完成任务所需的信息,例如政策规则、业务流程或代码规范。此后,在持续推进任务的过程中,代理会不断读取新信息、生成结果,并将相关上下文持续写入缓存、反复调用。

a16z指出,缓存token的成本远低于首次输入的token,这正在降低AI代理的推理成本。不过,维持大规模缓存也意味着更高的内存需求,高带宽内存(HBM)需求上升正与此密切相关。要让大量AI代理持续“记住”并调用既有工作内容,就需要配置更多内存。尽管这一趋势仍处于早期阶段,但AI代理的快速扩张已在进一步推高内存需求。

a16z还表示,随着AI代理普及,传统自动化/工作流工具的需求可能受到冲击。其援引Similarweb数据称,除Gumloop外,多数自动化工具网站流量持续下滑。

N8N、Zapier和Make均在大语言模型(LLM)兴起前推出,以网站访问量计算,仍占据自动化市场主导地位。不过,过去12周,这几家平台的累计访问量均出现两位数下滑。相比之下,Gumloop作为2023年推出的AI原生代理构建工具,是少数仍保持增长的平台。

a16z同时注意到,企业之间的AI使用分化正在加剧,高使用量企业与普通企业之间的差距持续拉大。

部分企业的AI使用量正出现爆发式增长,并迅速与其他企业拉开距离。OpenAI近期披露的数据也反映出类似趋势:普通企业的输出token规模约增至原来的2倍,而前10%企业的使用量增速明显更快。

与此同时,法律部门正成为继编程之后推动AI增长的又一重要高地,这一趋势甚至在整体AI应用版图中也格外突出。

数据显示,自2026年2月以来,法律从业者对Codex的采用率增长了108倍。a16z表示,目前尚难断言这是否完全由Codex的快速普及所推动,但法律场景的变化幅度明显强于其他领域,这一点已相对明确。

法律AI头部厂商近期动作频频,也被视为上述趋势的体现。Anthropic于5月推出Claude for Legal,正式切入法律AI市场;Google近期也面向律所和企业法务团队发布了面向法律场景优化的Gemini Enterprise。

关键词

#Andreessen Horowitz #a16z #OpenAI #AI代理 #token #缓存token #OpenRouter #HBM #自动化工具 #Gumloop #Codex #法律AI
版权所有 © DigitalToday。未经授权禁止转载或传播。