NVIDIAなど半導体各社が、AIエージェント時代を見据え、性能評価のあり方を見直している。理論上の演算性能や単一のベンチマークスコアだけでは、AIが実際の業務フローをどこまで正確にこなせるかを十分に測れないためだ。業界では、測定条件を踏まえて数値を評価するとともに、生成結果や作業の完了度を人が確認する必要があるとの見方が強まっている。

NVIDIAのAPACテクニカルマーケティングディレクター、ジェフ・イェン氏は11月6日、RTX Sparkの製品説明会に合わせた別セッションで、AI向けベンチマークの考え方を説明した。同氏は「従来のベンチマークは速度中心だったが、AIでは速度と精度を合わせて見る必要がある」と指摘。「いくら高速でも、誤答や意図しない生成結果しか出せなければ意味がない。精度は速度と同じくらい重要だ」と述べた。

同氏によると、ゲームや一般的なアプリケーションは現在もフレームレート（FPS）や遅延、画質などで評価できるが、AIでは評価軸そのものを変える必要がある。ゲームについても、実際のプレイ体験に近い条件で測定することが望ましいとした。

こうした見直しの背景には、技術進化の速さがある。イェン氏は、AI分野ではモデルのパラメータやベンチマーク、ベストプラクティスが継続的に変化していると説明した。とりわけPC上でAIを直接動かすローカルAIは新たな試みが相次いでおり、関心が高まっているという。

評価対象も広がっている。コンピュータビジョン、画像・動画生成、大規模言語モデル（LLM）では、すでに一定の定着をみたベンチマークがある。一方で、AIエージェントが実際の業務フローの中でどこまで仕事を完了できるかを測る、エージェント型AI向けのベンチマーク手法への需要が増えているとした。

他のチップ企業も、同様の問題意識から評価手法の転換を訴えている。AIチップの性能指標として使われることが多い「TOPS」は、NPUが1秒間に処理できる演算回数を最大クロック時の理論値として示したものだ。ただ、各社は、数値が大きくてもメモリ帯域やソフトウェア最適化が伴わなければ、実際の性能には結びつかないとみている。

Qualcommも、AI性能はエンドツーエンドの最適化やソフトウェア、動作させるモデルの種類によって変わるため、ベンチマーク結果だけではプラットフォーム改善の効果を十分に検証しにくいとしている。そのため外部ベンチマークも併用している。オランダのTraverse Researchによると、Qualcommは同社のGPU・AIベンチマーク「Evolve」を社内で運用しているという。

Armも、AIエージェント向けCPUの性能評価手法を別途提示した。この方法論の整備にはFujitsu、Meta、OpenAIが支援した。Armが重視するのは、応答速度を維持しながら、同時にどれだけ多くの作業を完了できるかという点だ。利用率の上昇に伴ってスループットが低下する場合、理論上の処理能力が増えても、実際に完了できる作業量は増えないためだとしている。Armは原則として、「実際のエージェント活用事例」「再現可能な測定」「最終成果物の検証」を掲げた。

NVIDIAも、実際の作業フローに沿ったベンチマークを推奨する。イェン氏は、ベンチマークは実際のアプリ利用に近い条件で設計すべきだとし、注目例として「MLPerf Client」と「AgentPerf-local」を挙げた。MLPerf Client 2.0のエージェント向けベンチマークは、4つのプロンプトと仮想的なツール呼び出しで構成される短いテストだ。一方、Artificial AnalysisのAgentPerf-localは、基本実行だけでも160件を超えるプロンプトを使い、実際のツールを呼び出してシステム全体を検証する。

イェン氏は、AIエージェントの性能を左右する要素として、メモリ容量と入出力コンテキストも挙げた。メモリ容量によって、読み込めるモデルの種類が決まるためだという。NVIDIAが公開した同社初のSoCプラットフォーム「RTX Spark」についても、AIエージェント用途の広がりを踏まえ、メモリ容量と入出力コンテキストを独立した評価指標として扱ったと説明した。

一方で、性能評価における人の役割はむしろ重要性を増している。イェン氏は「画像生成でも動画生成でも、エージェント型AIのベンチマークでも、人による検証が大きな差を生む」と述べた。生成結果が意図通りか、AIエージェントが作業を最後まで完了できたかは、測定値だけでは判断しにくいからだ。

これはNVIDIA社内の経験にも基づくという。イェン氏は、名前が似たモデルでも量子化方式によって成果物の品質が変わり、実行バックエンドも精度に影響すると説明し、「われわれもそうした失敗をする」と明かした。どのモデルが実際に使われたのかを人が確認して初めて、速度や精度の数値を信頼できるという認識を示した。

同氏が、精度テストの結果もあわせて確認すべきだと強調するのはこのためだ。特に画像・動画生成は、精度を定量的に測る手法がなお不足している分野であり、人手による検証が依然として有効だとした。Armが方法論の原則に「最終成果物の検証」を盛り込んだのも、作業を最後まで正しく処理できたかどうかまで含めて性能を評価するという、同じ問題意識に基づくものだ。