AIエージェントの普及を受け、これまでGPU中心で語られてきたAIインフラの重心が、CPUにも移りつつある。Amazon Newsは、AIエージェント時代にCPUの重要性が高まる理由を解説し、エージェント実行環境ではCPUの役割が一段と大きくなっているとの見方を示した。
Amazon Newsによると、これまでAIインフラを巡る議論は、大規模モデルの学習に使うチップが中心だった。TrainiumのようなAIアクセラレーターやGPUは、大量のデータを並列処理する設計で、モデル学習に適している。
一方、AIエージェントは性格が異なる。LLMがプロンプトを受けて並列計算で応答を生成するのに対し、AIエージェントは複数段階の作業を自律的にこなす。例えば「この会社を調べてレポートを作成して」と指示すると、エージェントは目標を複数の工程に分解し、Webをたどって情報を集め、ファイルを分析し、コードを実行しながら成果物をまとめる。
こうした処理のうち、推論そのもの以外の論理処理、ファイル管理、ネットワーク呼び出し、コード実行は、いずれもCPUが担う領域だ。
AWSのGravitonは、こうした常時稼働・低遅延のワークロードを想定して設計されたCPUだ。
AIエージェントは、データ参照、ツール呼び出し、アクション実行、次の段階の評価を高速に繰り返す。Amazon Newsは、Gravitonについて、プロセッサ内部のデータ移動に伴う遅延を抑える設計になっていると伝えた。
著者について