AI计费模式从订阅制转向按Token收费,银行业成本压力上升。(图片来源:Shutterstock)

在加快引入AI的同时,银行业也开始集中应对迅速攀升的Token成本压力。

据金融科技媒体American Banker当地时间29日报道,随着AI服务计费模式从订阅制转向按Token收费,银行业的成本负担正在明显加重。

过去,AI一度被视为提升效率、压缩成本的工具。但近期,“使用AI的成本”本身正成为新的经营压力。Anthropic、OpenAI、Microsoft等主要厂商,正从包月或订阅式使用模式转向按数据处理单位Token收费。对使用量较大的金融机构而言,相关账单也随之快速上升。

多家银行高管近期已公开谈及这一问题。Royal Bank of Canada(RBC)首席执行官Dave McKay今年5月表示,该行Token使用量同比增长500%。JP Morgan Chase首席数据与分析官Zachary Anderson也曾提到,部分员工的Token支出甚至高于其年薪。

PNC Financial Services Group首席执行官Bill Demchak同样对相关成本表示担忧。PNC认为,这部分费用可能侵蚀AI带来的生产率收益。Bill Demchak在Morgan Stanley一场会议上表示,即便AI能够提升银行生产率,其效果也可能被Token成本所抵消。在这一背景下,银行开始重新评估不同业务究竟应匹配何种模型,而不再只是单纯扩大AI应用范围。

目前,银行最先采取的策略之一,是并非在所有任务上都使用性能最强的模型。随着AI模型向更强自主决策和任务执行能力演进,Token消耗也同步增加;但银行内部大量工作并不需要如此高阶的能力。技术公司Neurometric首席执行官Rob May指出,简单任务如果使用最前沿模型,往往属于配置过高;从成本控制角度看,选择“刚好够用”的模型更为合理。

在这一趋势下,部分银行开始采用性能稍弱但成本更低的旧款模型,或小语言模型(SLM)。数据与自动化负责人Ned Carroll表示,应针对不同问题使用合适的工具。例如,若只是理解支票退票相关政策与流程,并不需要动用具备处理高阶复杂任务能力的模型。

与此同时,银行也在评估其他降低Token使用量的方法。其中之一是采用可免费获取的开源模型;另一种做法则是在同类问题频繁出现时,沉淀并复用既有AI回答。Rob May表示,如果相似问答反复出现,可以先检索数据库,只有在必要时才调用模型,从而节省Token成本。

自建基础设施也正成为重要应对方向。为了减少对外部AI厂商的依赖,银行开始强化对自身算力资源的掌控。PNC已公开表示,将建设自有GPU算力基础设施,以降低对外部Token使用的依赖。Bill Demchak还称,PNC将提升内部处理能力,以支撑自有大语言模型运行。

与此同时,行业内也开始出现一种判断:在部分场景下,用人可能比用AI更划算。尤其是在失败成本较高的业务中,相比推动自动化,继续以人工处理为主或许更为合理。在AI投入未必必然带来降本效果的情况下,银行正着手建立更系统的成本管理框架,重点围绕模型选型、基础设施内化,以及按业务重新划定AI适用范围等方面展开调整。

关键词

#银行业 #AI #Token收费 #成本管控 #RBC #JP Morgan Chase #PNC #OpenAI #Microsoft #小语言模型
版权所有 © DigitalToday。未经授权禁止转载或传播。