NVIDIAは8月24日、AIエージェント向け推論加速器「Groq 3 LPX」の量産開始を明らかにした。Vera Rubinプラットフォームを拡張する製品として投入し、超高速のトークン生成を担う。Hot Chips 2026で公開し、ベンチマークでは毎秒3400トークンを記録した。

SiliconANGLEなどが同日報じた。Nebius Groupが初期導入顧客の1社として参加する。

AI推論は、学習済みモデルを実際のサービスで動かす工程を指す。足元では、自律的に業務を処理するAIエージェントの活用が広がっており、推論や計画立案、コードの生成・実行、システムファイルの点検、外部ツールの呼び出しを繰り返す中で、大量のトークン処理が必要になっている。

こうした処理では、生成段階で生じるデコード遅延が応答速度を左右する大きなボトルネックになる。NVIDIAは、この課題の解消には大規模コンテキスト処理とトークン生成を切り分ける専用の演算アーキテクチャが必要だと説明している。

その中核となるのが、ラック単位のプラットフォーム「Vera Rubin NVL72」だ。複数のVera Rubin GPUが大規模コンテキストの入力と処理を担い、Groq 3 LPXを組み合わせることで、デコード処理を別系統で実行できるという。

NVIDIAによると、ラック全体では最大256基のLP30加速器を超広帯域のチップ間インターコネクトで接続できる。GPUとLPUが連携し、AIエージェント推論の全工程を処理する統合推論エンジンとして機能するとしている。

これにより、スループットと応答性の両立が可能になるという。Groq 3 LPXは、長いコンテキストウィンドウの走査やデータ検証、外部ツールの呼び出し、複雑な多段階タスクの反復実行といったAIエージェントの処理を、低遅延で支えるとしている。

Artificial Analysisのベンチマークでは、オープンソースの「Gemma 4 31B」エージェントモデルを10万トークンのコンテキストウィンドウで動作させた際、毎秒3400トークンを記録した。NVIDIAは、遅延に敏感な処理で競合プラットフォームの4倍の応答性を示し、多段階のエージェント処理にかかる時間を数時間から数分へ短縮できると説明している。

Groq 3 LPXは、半導体スタートアップのGroqが持つライセンス技術を基に開発された。NVIDIAは昨年12月、200億ドルを投じて同技術へのアクセス権を確保し、この契約を通じてGroq創業者のジョナサン・ロス氏と、社長のサニー・マドラ氏も迎え入れた。

なお、GroqはSpaceXのAIモデル「Grok」とは別企業で、AI学習ではなく推論向けプロセッサの開発に注力してきた。

NVIDIAのジェンスン・フアン最高経営責任者（CEO）は、自社がすでに「Grace Blackwell」と「NVL72」プラットフォームでAI推論の性能と効率を引き上げてきたと説明。「Vera Rubinは、エージェント型AI時代に向けて設計したワークロード最適化型のAIファクトリー構成として、それをさらに拡張するものだ。超高速トークン生成向けのLPXによって性能の限界を押し広げ、AIのスループット、効率、応答性をさらに高い水準へ引き上げる」と述べた。

Nebius Groupは、Groq 3 LPXを導入する初期企業の1社だ。同社は本番向け推論プラットフォーム「Nebius Token Factory」に同チップを組み込み、応答性が重視されるエージェント型アプリケーション向けに高速なトークン生成を提供する計画だという。

Nebiusのダニラ・シュタン最高技術責任者（CTO）は、「生成段階はAIシステムの実際の応答性を決める推論プロセスであり、Groq 3 LPXはまさにその部分の高速化を目的に設計されている」とコメントした。「Nebius Token Factoryを通じて、これをいち早く商用化するAIクラウドとして、エージェントループのあらゆる段階で即時性を体感できる環境を提供する」としている。

NVIDIAはHot Chipsで、SpaceXを新たな代表顧客として確保したことも明らかにした。SpaceXは次世代AIアーキテクチャをVera Rubinプラットフォーム中心に構築する計画で、地上データセンターから軌道上の衛星までを含むCPU集約型のオーケストレーションやツール実行、シミュレーション処理にNVIDIAのVera CPUを採用する予定だという。

あわせて、AIファクトリー向けの周辺技術も複数公開した。最大51万2000基のGPU規模までクラスタ拡張を支援するAI最適化イーサネットアーキテクチャ「Spectrum-X Multiplane」、セキュリティやネットワーク、データ管理をメインホスト演算ノードからオフロードして高速化するインフラソフトウェアプラットフォーム「NVIDIA Scale-In」、カスタムCPUとデータ処理装置を第6世代NVLinkラックシステムに接続する「NVIDIA NVLink Fusion」である。