图片来源:Qualcomm

随着AI代理逐步从单轮生成走向多步骤任务执行,多家芯片厂商开始针对这一新场景提出新的性能评测体系。业内认为,单靠理论算力或单一跑分,已难以准确衡量AI代理在真实任务中的负载表现,因此越来越多企业在发布测试结果的同时,也同步公开测试条件与方法,为外部复测和交叉验证留出空间。

这一变化的背后,是传统指标的局限性愈发明显。在AI芯片性能宣传中常见的TOPS,本质上是按照最高时钟频率计算出的NPU理论运算能力。厂商普遍认为,即便TOPS提升,如果缺乏足够的内存带宽以及软件层面的协同优化,也未必能转化为实际AI性能提升。

以Snapdragon Summit 2026上的基准测试为例,第6代Snapdragon 8 Elite Extreme在不同测试工具下得到的AI成绩,与Qualcomm的预期并不完全一致。Qualcomm方面解释称,AI性能会受到端到端优化、软件栈以及模型类型等多重因素影响,仅凭单一基准测试,很难完整反映平台改进的实际效果。

因此,Qualcomm在沿用既有基准测试之外,还引入了荷兰Traverse Research开发的GPU和AI基准测试工具Evolve。该工具支持按照具体任务条件进行定制和重复测试,设计目标并非输出单一综合分数,而是分别展示不同项目下的性能差异。

Arm也在本月13日发布了针对Agentic AI的CPU评测方法。Fujitsu、Meta、OpenAI参与了这一方法的制定。按照Arm的定义,AI代理更像“虚拟用户”,会在完成任务前持续调用工具和服务,并对执行结果进行评估。

Arm提出的核心指标,是在保证响应速度的前提下,系统究竟能够完成多少任务。原因在于,一旦并发提升导致吞吐下降,即使理论处理能力更强,最终可完成的任务总量也未必增加。基于这一思路,Arm将评测方法归纳为三项原则:基于真实代理使用场景、具备可重复的测试流程,以及对最终任务结果进行验证。

同时,Arm还披露了基于该方法得到的性能验证结果。测试机构Signal65将Arm AGI CPU与AMD服务器芯片进行了对比。报告显示,测试在两款芯片上运行相同的基准脚本,并根据单台服务器的实测结果推算机架级性能。

Arm表示,数据中心运行通常受到电力和空间的双重约束,因此单机架能够承载的实际工作量尤为关键。按照Arm披露的数据,Arm AGI CPU的机架级平均性能达到AMD EPYC 9755的1.99倍,这一结果计入了在相同功耗上限下可部署更多服务器的因素。与此同时,在代理开启隔离执行环境(沙箱)时,其耗时相比AMD EPYC 9965最多缩短45%。

公开测试条件成共识,能否复现才是关键

以CPU衡量AI代理性能,与代理本身的工作方式密切相关。Signal65受Intel委托发布的一份报告显示,AI代理在模型生成答案的间隙,还会执行指令、修改文件、编译代码,而沙箱的创建与管理同样由CPU承担。

在逐项串行执行任务的传统方式下,服务器CPU平均利用率甚至不足10%;而随着并发任务数量增加,利用率可升至约54%。这意味着,如果只看单个任务得分,难以体现一台服务器究竟能够承载多大规模的代理任务。

与Arm类似,越来越多芯片厂商正在通过“结果+测试条件”同时公开的方式提升性能数据的可信度。Signal65的报告披露了Arm与Intel分别为委托方,以及相应的对比条件。Qualcomm采用的Traverse Research Evolve同样以分项结果呈现,避免某一单项优势掩盖其他短板;同一程序还可在市售设备上运行,便于外部对厂商公布的数据进行复测。Traverse也公开表示,其所有权和运营不受任何企业介入,测试结果不受付费影响。Traverse称,Qualcomm和Samsung Electronics目前正在内部运行Evolve。

不过,这类新评测体系仍处于验证阶段。Arm披露的机架级数据,仍基于早期系统测算得出的建模结果;Signal65则表示,计划在最终量产硬件上,使用更广泛的工作负载以及竞品再次开展测试。

从方向上看,新标准的目标是替代单纯依赖理论值和单一分数的旧方法,转向衡量真实工作负载下的平台表现。最终,这些评测体系能否成为行业通用标尺,关键仍在于相关结果能否在真实数据中心和商用设备上稳定复现。

关键词

#AI代理 #AI性能评测 #TOPS #NPU #吞吐量 #Qualcomm #第6代Snapdragon 8 Elite Extreme #Arm #Signal65 #Traverse Research #数据中心
版权所有 © DigitalToday。未经授权禁止转载或传播。