Daniel Kornum表示,企业部署AI代理并不一定需要最新大模型。

“企业业务中的AI代理,并不需要最新模型。”

为大型企业落地AI代理的Varick现场工程负责人(FDE,Forward Deployed Engineer)Daniel Kornum,近日在社交平台X(原Twitter)发表题为《You Don’t Need Better Models》的文章称,企业没有必要一味追逐最新大模型。在他看来,即便不是最新一代的模型,也足以胜任财务、人事、销售、采购等大多数运营类工作。

Kornum以一家虚拟公司为例说明:该公司有40名员工,每月需要核对客户发来的3万张发票,并完成付款处理。

在这一流程中,AI代理负责读取发票PDF,核对采购订单和入库记录,随后完成会计科目归类并录入ERP系统。对此,Kornum反问道:“只是读取PDF、比对3份文件,真的需要全球最强的模型吗?”

他表示,如果让员工与AI代理在一个月内分别处理同一批发票,再对比最终结果,在3万张发票中会有1800张对比结果不一致,占比约6%。其中,700例源于业务上下文不足,例如供应商两年前曾在邮件中更改开票方式,或某些付款条件只存在于员工经验中,AI代理无法直接获取这些信息。

此外,还有500例来自业务文档未涵盖的异常场景,350例源于系统数据错误,另有150例则是AI代理的处理结果反而更准确。真正可以归因于模型本身的问题只有100例,仅占全部发票的0.3%。即便是这100例中,能够通过换用最新模型解决的,也只有约一半。

Kornum指出,剩余由业务上下文缺失、异常场景和数据错误导致的1550例,并不能靠更换模型解决,真正需要做的是理解业务流程,并补齐缺失的上下文信息。

他还给出了一组成本测算。若每张发票消耗4万Token,每月总用量将达到12亿Token。按每100万Token收费2美元的模型计算,月成本约为2400美元;如果改用每100万Token收费10美元的最新模型,月成本将升至1.2万美元。若再把适用范围扩展至50项业务,全年成本差异可达到580万美元。Kornum认为,只有在新模型能够解决旧模型解决不了的问题,或在同等性能下成本更低时,企业才有必要导入。

在他看来,更换模型本身也意味着不小的验证和适配成本。不同模型在输出格式、工具调用方式等方面都存在差异,每次切换都需要调整提示词并重新测试。如果每个季度都跟进新模型迭代,单项业务一年就要额外投入8周时间,而那些与模型无关的问题反而可能被搁置。

对于替代方案,Kornum建议,企业可以为不同业务固定使用特定模型;用500至1000张包含异常场景的真实发票建立自有评测集;同时在模型与AI代理之间设置中间层,以降低对单一供应商的依赖。

他还表示,“懂公司业务的AI代理,即使退回到去年的模型,也可能胜过一个由最新版模型驱动、却不了解业务的代理。”在他看来,企业真正需要警惕的竞争对手,并不是最先用上最新模型的公司,而是那些用去年的模型,已经在20项业务中部署AI代理的公司。

关键词

#Varick #AI代理 #大模型 #ERP #发票处理 #Token成本 #评测集 #中间层 #Daniel Kornum
版权所有 © DigitalToday。未经授权禁止转载或传播。