随着AI Agent逐步走向实际应用，芯片厂商也开始调整AI性能评测标准。业界普遍认为，仅凭理论算力峰值或单项基准测试成绩，已难以准确反映AI在真实场景中的任务完成能力和输出质量。要理解一项性能数据的实际意义，既要看测试条件，也要核验最终结果是否真正可用。

NVIDIA亚太区技术营销总监Jeff Yen于11月6日在RTX Spark产品说明会上专门介绍了AI基准测试的方法论。他表示，过去的基准测试长期围绕速度展开，但AI评测不能只看快慢，还必须同时考察准确性。即便处理速度再高，如果答案错误，或生成结果与预期不符，也缺乏实际价值。

Jeff Yen指出，目前游戏和通用应用的性能评估，仍主要围绕每秒帧数（FPS）、延迟和画质等指标展开，但AI产品的评测逻辑并不相同。他同时提到，游戏性能测试本身也应尽量贴近玩家真实体验，在实际游玩场景下进行测量。

在他看来，评测标准之所以需要调整，与AI技术快速迭代直接相关。随着模型参数、基准体系和最佳实践持续变化，AI性能评估也不能停留在旧有框架中。尤其是在PC本地运行AI的领域，新方案不断出现，市场关注度也在持续升温。

与此同时，评测对象本身也在扩展。计算机视觉、图像和视频生成、大语言模型（LLM）等领域，已经形成相对成熟的基准测试体系；而围绕AI Agent在真实工作流中完成任务能力的评测需求，也在明显上升。

此前，其他芯片企业也提出了类似观点。AI芯片性能指标中常见的“TOPS”，通常是指神经网络处理器（NPU）在最高时钟条件下，每秒可执行的运算次数的理论值。不过，多家厂商认为，TOPS数值提高并不必然意味着实际AI性能同步提升。如果内存带宽和软件优化跟不上，理论算力很难转化为真实体验。

以Qualcomm为例，该公司认为，AI性能会随着端到端优化、软件栈以及模型类型的不同而变化，单靠基准测试成绩难以完整验证平台改进效果，因此会结合外部基准测试进行评估。荷兰Traverse Research表示，Qualcomm目前在内部采用其GPU和AI基准测试Evolve。

Arm也发布了面向Agentic AI的CPU性能评测方法论，并获得Fujitsu、Meta和OpenAI支持。Arm提出的核心指标是：在保证响应速度的前提下，系统究竟能完成多少实际工作。如果负载升高后吞吐反而下降，那么即便理论处理能力更高，实际可完成的任务量也未必增加。基于这一思路，Arm提出了三项原则：采用真实的Agent应用场景、支持可重复测量，以及对最终任务结果进行验证。

NVIDIA同样主张，AI基准测试应尽可能贴近真实工作流。Jeff Yen提到，值得关注的测试项目包括MLPerf Client和AgentPerf-local。其中，MLPerf Client 2.0中的Agentic基准测试由4个提示词和虚拟工具调用构成，属于较短流程测试；Artificial Analysis推出的AgentPerf-local则在基础测试中使用160多个提示词，并通过调用真实工具，对整个系统进行评估。

除基准测试设计外，NVIDIA也将内存容量和输入/输出上下文视为影响AI Agent性能的关键因素。Jeff Yen表示，内存容量会直接限制可加载模型的类型。NVIDIA发布的首个系统级芯片（SoC）平台RTX Spark，由于面向广泛的Agent应用场景，也将内存容量和输入/输出上下文纳入评估维度。

在AI性能评测中，人工核验的重要性也在上升。Jeff Yen表示，无论是图像生成、视频生成，还是AI Agent相关基准测试，人工核验都会对最终判断产生明显影响。仅凭数值指标，往往无法确认图像或视频是否真正符合生成意图，也难以判断AI Agent是否切实完成了任务。

他还分享了NVIDIA内部的实践经验：即使名称相近的模型，若量化方式不同，输出质量也可能出现差异；推理后端的不同，同样会影响准确性。“我们自己也会犯这样的错误。”他说。这意味着，只有由人工确认实际使用了哪些模型与配置，速度和准确性数据才更具可信度。

因此，在进行可比性评测时，准确性结果必须与性能数据结合起来看。Jeff Yen特别指出，图像和视频生成领域目前在可量化准确性测试方面仍相对不足，人工核验依然是有效手段。Arm将“验证最终任务结果”写入方法论，本质上也是将任务是否被正确完成，纳入性能评估体系之中。