“过去3年,LLM几乎用一个模型包办了文档抽取、检索、排序、异常判断、工具选择、网页浏览、答案撰写、结果验证以及高难度推理。如今,这种一体化打包开始被拆开。”
近日,Foundation Capital合伙人Jaya Gupta在社交平台X(原Twitter)发文,将这一趋势概括为“智能大拆分”(Great Unbundling of Intelligence),并将其视为接下来值得重点关注的行业变化。
Jaya Gupta表示,不同能力对算力的需求差异很大,适合承载这些能力的模型也并不相同。随着性能、时延和成本之间的差距进一步拉大,系统架构也会朝着更具经济性的方向演进,“智能大拆分”的动力正在持续增强。
在她看来,AI Agent的重要性尤其突出。Agent会把用户给定的一个目标拆解为数百甚至数千个程序化判断环节,而每一步在成本和时延上的细微差别,累积起来都可能决定产品最终是否具备经济性。
Jaya Gupta指出,推理已经成为一项实打实的成本。与此同时,小模型和开放权重模型的能力,已经足以承担大量日常任务。检索、记忆、计算机操作等能力,正逐步从LLM中剥离出来,并以独立服务形式提供;评估体系的改进,也让企业更容易判断低成本系统是否“足够好”。
她认为,前沿模型能力越强,用户越有动力采用这种“拆分式”架构:把复杂问题留给最强模型,把标准化任务交给更便宜的模型或专用工具处理。
Jaya Gupta表示,未来的思路不再是“先用前沿模型,再逐步降本”,而会转向“默认使用低成本模型,只有在卡住时才把问题转交给前沿模型”。
她还以TypeSafe开发的“Jev”为例说明这一变化。按照她的说法,Jev可以看作是把“判断”能力单独拆出的模型:输入复杂场景、限定问题以及可选答案列表后,Jev输出的不是一段文字,而是决策结果及其对应概率。
Jaya Gupta指出,软件系统真正需要的,往往是“是否紧急”“继续还是停止”“允许还是阻止”这类决策。但目前很多流程仍是先由语言模型生成文本,再把文本转换成决策。事实上,Agent内部大量重复性操作,并不一定需要先组织成完整句子。
在这一趋势下,前沿大模型厂商的盈利模式也将面临更直接的挑战。文中提到,Anthropic目前即便在简单任务上也能维持较高定价,并获取可观利润;但一旦市场上出现能够以更低成本处理这类任务的替代方案,其利润空间势必受到挤压。
Jaya Gupta举例称,紧急程度判断可以交给Jev这类专用判断模型,单次成本低于1美分;排序可由重排模型(reranker)完成;检索交给搜索公司;普通写作任务则交给低价模型。这样一来,AI应用无需在所有环节都与Anthropic这类前沿模型厂商正面竞争。
她进一步将这一局面概括为前沿推理市场中的“逆向选择”:任务路由越完善,那些便宜、稳定、可预测且规模更大的任务,就越会从前沿模型中流出;最终留在前沿模型上的,将更多是模糊、复杂、需要长链条推理的问题。
Jaya Gupta认为,当单次判断成本降到1美分以下、判断时延压缩到数百毫秒级时,新一代产品形态将随之出现。
她表示,AI Agent在每次执行动作时,都可以挂载一个判断模型来检查结果;在浏览器操作、语音对话等对响应速度要求更高的场景中,这类判断能力同样可以被嵌入。
Jaya Gupta还指出,在咨询、搜索、交易、保险理赔以及合同条款审查等环节,企业未来不必再局限于1%的抽样检查,而是有机会实现100%评估,从而把监督和质量管理变成常态化能力。
她最后强调,过去几年,行业一直在思考“如何把更多功能塞进一个模型”;而未来10年,方向可能正好相反——先把不同能力逐项拆出来,再根据具体应用场景重新组合。