Armは10月15日、エージェント型AI時代を見据えたCPU性能評価のベンチマーク手法を公開した。Fujitsu、Meta、OpenAIと共同で開発したもので、実際に完了できる作業量を基準にシステム性能を測る点が特徴だ。

Armによると、エージェント型AIでは、応答性を維持しながら同時にどれだけ多くの作業を完了できるかが重要な性能指標になる。高負荷時に処理性能が落ちれば、理論上の処理能力が高くても、最終的に完了できる作業数は増えないという。

新たな手法は、「代表的なエージェント型AIのユースケース」「再現可能なCPU測定」「エンドツーエンドでの結果検証」という3つの原則に基づく。モデル推論やネットワーク処理などの要素はコンポーネント単位の測定として切り分けたうえで、エンドツーエンド評価によって性能改善が実際の作業完了につながるかを確認する。

あわせて同社は、Arm AGI CPUに関する独立検証の結果も公表した。検証はSignal65が担当した。

Signal65は、ツーリング、オーケストレーション、推論・計画の各領域で、AMD EPYC TurinとArm AGI CPUを比較した。両プラットフォームに同一のベンチマークスクリプトを適用し、サーバー単位の実測値を基にラック単位の性能を試算したとしている。

その結果、7つのワークロード全体では、Arm AGI CPUがAMD EPYC 9755比でラック当たり平均1.99倍の性能を示したという。Armはその要因として、高い集積度と電力効率を挙げた。

ワークロード別では、ツーリングが1.7倍、エージェント型ワークフローのオーケストレーションが2倍、推論・計画が2.2倍だった。さらに、エージェントが隔離実行環境を立ち上げる際のサンドボックス生成遅延は、AMD EPYC 9965と比べて最大45％短かったとしている。

Armは現在、Arm AGI CPUのリファレンスサーバーについて、OCPへの提供に向けた手続きを進めている。Metaは、Yosemite YV5のラックスケール設計に同CPUを採用する計画だ。

OpenAIのグローバル・フォワード・デプロイド・エンジニアリング統括、コリン・ジャービス氏は、「AIシステムは単に応答を生成する段階を超え、推論やツール利用、ソフトウェア環境との相互作用を通じて複雑な作業を完遂する方向へ進化している」とコメントした。

そのうえで、「エージェントの能力向上と活用拡大が進むなか、オーケストレーションやツール実行を含むワークフローを支えるインフラの性能を理解することは、業界にとって重要な課題だ」と指摘。「新たに台頭するワークロードの特性を把握し、AIシステム全体の性能を最適化するには、代表性のあるベンチマークに向けた業界横断の協力が重要になる」と述べた。

Fujitsuの先端コンピューティング開発本部 部門長 兼 上席副社長（SVP）のヨシダ・トシオ氏は、「エージェント型AIの進展に伴い、CPU性能の評価には従来指標を超えて、実際のワークロードを反映したベンチマークが必要だ」と語った。

また、「Fujitsuは高性能・高効率の次世代ArmベースCPU『FUJITSU-MONAKA』を開発するなかで、透明性が高く、再現可能で代表性のある測定の重要性を認識している」と述べた。