随着Agentic AI(代理式AI)加快落地,业界对AI经济性的衡量标准也在发生变化。与会人士普遍认为,未来比拼的重点不再只是token单价,而是完成一项任务究竟要付出多少总成本。围绕这一变化,提升模型能力、减少重试与回溯,以及优化内存和NPU等基础设施配置,被视为新的关键方向。
7月28日,“Agentic AI国会早餐论坛”在首尔汝矣岛国会议员会馆举行。A2SYS CEO Lee Dongsoo在会上表示,传统生成式AI更强调以更低成本、更低功耗生成token,而在代理式AI场景下,更关键的问题是:为了完成一项工作,系统究竟需要经历多少轮交互与执行。
他指出,AI代理不同于一次性作答的聊天机器人,而是会围绕既定目标自行制定计划、调用工具及其他代理,并根据执行结果不断调整路径。一旦中间环节出错,系统还可能回退并重新执行,从而拉高整体消耗。
Lee Dongsoo分析称,在这种运行模式下,代理式AI的token使用量最高可能达到传统生成式AI的136倍。原因在于,多代理之间需要围绕上下文和任务结果持续交互,失败环节还会触发重复执行,token消耗与算力开销也随之同步上升。
低token价格未必更省钱,关键看单项任务总成本
Lee Dongsoo表示,评估AI成本的视角应从“每token价格”转向“每项任务的总成本”。
在一项高难度编码任务评测中,他发现,token单价最低的模型,反而完成任务所需时间最长,总成本也最高。背后的原因在于,模型能力不足时,更容易反复出错,进而带来更多重试与回溯。
他进一步指出,能力更强的模型对复杂任务的理解更充分,可以减少重复调用和反复重试,因此在实际应用中反而可能更快、也更便宜。进入代理式AI时代,真正需要计算的已不再是token单价,而是完成任务所需的总轮次与总成本。
在政府层面,韩国也提出将代理式能力作为本土模型研发的重要方向,即推动AI从单一问答能力,进一步扩展到复杂任务规划、工具调用与自主执行能力。
韩国科学技术信息通信部数字人才培养司司长Baek Byeongsu表示,代理式AI可能带来大规模token消耗,因此,提升token效率的执行技术尤为重要;本土AI基础模型的研发方向,也将进一步聚焦代理式能力。
他同时介绍了韩国政府于7月23日发布的“Agent AI Initiative(Agentic AI倡议)”。据Baek Byeongsu介绍,该计划包括三项重点任务:夯实安全可信基础、构建执行生态,以及推动面向公众和产业的应用导入。
按计划,韩国政府将在年内制定安全可信指南和性能评估体系;自2027年起启动基于token效率的AI平台核心技术研发;自2028年起推进AI操作系统(OS)核心技术开发,以支持多个模型、代理及外部工具的统一调度与运行。
基础设施不应只看GPU,内存与NPU重要性上升
随着代理式AI应用扩散,基础设施建设的关注点也在发生变化。与会人士认为,未来不仅要看算力规模,还要同步考虑数据搬运、内存利用率以及整体能效。
Lee Dongsoo表示,在代理式AI场景下,可能出现“GPU空转、内存承担主要负载”的情况。如果韩国能够将自身在内存领域的优势与代理式AI服务结合起来,就有机会形成新的竞争力。
韩国本土AI芯片行业也强调,比起单纯增加GPU供给,更重要的是通过系统级优化,降低单项任务的成本与功耗。
Mobillint CEO Shin Dongjoo表示,代理系统并非只由单一模型构成,而是涉及模型、系统、优化、需求方以及半导体企业等多个环节。因此,有必要通过多方协作推进实证项目,验证系统级降本的实际效果。
Rebellions对外协力负责人Kim Youngshin指出,公共项目在引入AI加速器时,往往将准入条件限定为GPU,这使本土NPU较难进入相关项目。他认为,应从政策设计初期就推动模型企业、服务提供商以及本土半导体企业共同参与,从而形成可持续的市场结构。
此外,活动主办方之一、韩国国会预算结算特别委员会所属的共同民主党议员Jo Incheol表示,国会将在政府编制明年预算的过程中,研究支持Agentic AI产业的相关方案。他呼吁产业界积极提出所需预算和制度改进建议,并表示国会将结合业界意见,制定相应支持措施。