据The Register 24日(当地时间)报道,随着AI企业从包月制转向按量计费,AI代理的运营成本正快速上升。在这一背景下,多家数据库厂商开始把降本能力前移到数据基础设施层,以减少Token消耗并压降整体推理和检索成本。
向量数据库厂商Pinecone近日推出知识引擎“Nexus”。该产品主要面向企业内部数据场景,可预先梳理数据结构并沉淀可复用的上下文,避免AI代理在每次接收新问题时都重复进行相同的结构理解和检索工作。
Pinecone产品副总裁Jeff Zhu表示,编码代理在处理问题时,往往需要重新理解表结构并反复探索相关数据。即便最终能够得出答案,这一过程中也会消耗大量Token。Nexus的作用,就是将这类重复工作提前完成,并将相关上下文保留下来,供后续任务复用。
报道称,IDC研究总监Devin Pratt认为,Nexus的价值在于把原本属于“事后考量”的成本问题,前移到系统设计阶段。尤其是在查询层引入Token预算管理和用量追踪能力后,企业可以更早介入成本控制。
Pratt还指出,代理式AI部署面临的核心挑战,正在从模型本身转向围绕模型构建的数据基础设施。
IDC的调查显示,制约生成式AI和代理式AI规模化落地的两大数据障碍分别是安全与合规限制,以及成本压力。与此同时,近三分之二的组织同时运行超过11种数据库技术,数据碎片化问题也愈发突出。
另一边,TimescaleDB开发商TigerData发布了面向AI代理的数据库平台“Ghost”。该平台可为每个代理按需快速创建独立的PostgreSQL数据库,测试结束后可直接销毁,从而避免对其他代理或用户造成影响。
在计费方式上,Ghost并非按数据库数量收费,而是按照实际计算时间计费。TigerData联合创始人兼CEO Ajay Kulkarni表示,无论开出1个还是50个数据库实例,用户承担的都只是实际发生的计算成本。
The Register还提到,Snowflake、Oracle、Microsoft等大型平台厂商,也在将类似能力逐步整合进各自的技术栈中。