スタンフォード大学やMetaなどの研究チームは、大規模言語モデル（LLM）の中間推論をテキストではなく潜在空間で処理する新手法「Hybrid Reasoning Agents」を発表した。生成トークン数を抑えながら推論速度を高めるもので、問題解決性能の改善も確認されたという。

発表は10月19日付。共同研究にはStanford University、Together AI、University of Illinois Urbana-Champaign、Metaが参加した。

従来のLLMベースのAIエージェントは、推論の途中段階からツール呼び出し、最終回答に至るまで、すべてをテキストトークンとして生成する。このため、課題が複雑になるほど生成トークンが増え、処理時間とコストが膨らみやすい。研究チームはこの課題に対応するため、中間推論を数値ベクトルで構成される潜在空間で実行する方式を採用した。

この手法では、内部で問題を解く場面では潜在モードを使い、外部ツールの利用時や最終回答の生成時に限ってテキストモードへ切り替える。両モードの橋渡しには「HybridLink」を用い、推論の連続性を維持する。潜在空間で処理した内容も、必要に応じて人が読める形で出力できるとしている。

一方で、既存モデルにそのまま適用できるわけではない。事前学習済みモデルに対し、教師あり微調整の「HybridSFT」と強化学習の「HybridRL」を追加で適用する必要がある。

研究チームは、40億、80億、140億パラメータのQwen3ベースモデルを使い、数学、科学、検索など11のベンチマークで性能を検証した。その結果、生成トークン数は従来手法比で35.5〜54.7％減少し、推論速度は1.8〜2.6倍に向上した。

問題解決性能も比較対象に対して平均10.4％改善した。特に40億パラメータモデルでは、推論時の計算コストが従来手法の約27％まで低下したという。

関連コードと学習データはGitHubとHugging Faceで公開した。ただし、今回の成果は査読前の論文に基づくもので、実サービス環境での性能やコスト削減効果については追加検証が必要だとしている。