人工知能(AI)の利用拡大に伴う電力需要の急増を受け、トランスフォーマーを基盤とする大規模言語モデル(LLM)の限界に注目が集まっている。データセンターの増設だけでは演算需要の伸びを吸収しきれないとの見方が広がるなか、業界では電力効率に優れた「ポスト・トランスフォーマー」型アーキテクチャの可能性を探る動きが強まっている。
TechRadarが9日(現地時間)に報じたところによると、根本的な課題は、AIモデルの高性能化がなお計算資源の増強、層数の拡大、学習データの増加に大きく依存している点にある。
Bain & Companyは、データセンター関連の年間支出が2030年に5000億ドル(約75兆円)に達すると予測している。SoftBank、OpenAI、Oracleが参加する「スターゲート」構想も、こうした需要拡大への対応策の一つと位置付けられている。
一方、送電網の運用事業者は、AI需要の拡大が電力供給を圧迫し、エネルギー市場の不安定要因になりかねないと警鐘を鳴らしている。
なかでも電力負荷を一段と押し上げているのが、足元で普及が進む推論モデルだ。ある研究では、GPT-4oの長文プロンプトの消費電力が約0.42Whだったのに対し、DeepSeek-R1は33Wh超、GPT-4.5は約30Whに達するとされた。
これは、1回のプロンプト処理でスマートフォン1台分の充電量を上回る電力を要する可能性があることを意味する。
こうしたコスト構造の背景には、トランスフォーマーのアーキテクチャがある。データ規模が拡大するほど計算量は急増し、高速メモリの確保や大規模パラメータの処理も継続的に求められるためだ。
推論機能の強化によって、使用されるトークン量も大幅に増えた。初期のモデルが数百トークン程度で応答していたのに対し、最近のモデルは推論過程を段階的に出力するため、数千規模の推論トークンを使うケースが増えている。
性能面でも、モデルの大規模化による改善効果は以前ほど大きくないとの指摘が出ている。業界では、トランスフォーマー型モデルが一定の水準に達し、性能向上の余地が狭まりつつあるとの見方が広がっている。
こうしたなか、代替案として取り沙汰されているのが、人間の脳神経を模したアーキテクチャだ。脳は1000億個未満のニューロンと数百兆個のシナプスからなるネットワークを約20Wで動かしており、これを参考にした代表例として「ドラゴン・ハッチリング(BDH)」が挙げられている。
BDHは、全てのパラメータを一度に使うのではなく、課題に関係する人工ニューロンだけを選択的に活性化する仕組みを採る。結合強度が利用過程で変化するシナプス可塑性の考え方を反映し、学習効率を高められる点も特徴とされる。
また、モデル全体を繰り返し稼働させるのではなく、必要な部分だけを使うことで、推論コストとトークン使用量の削減を重視している。定期的な大規模再学習を行わなくても、運用を通じて知識や能力を蓄積できる点も特徴だという。
企業にとってはコスト負担の抑制につながり、AI企業にとっては性能とエネルギー効率の両立を図れる構造として評価されている。
実用化に向けたもう一つの条件は、既存インフラとの互換性だ。新たなインフラへの全面刷新を前提とする場合、導入のハードルが高くなるためだ。
AIの電力問題は、もはや環境負荷の問題にとどまらず、経済性を左右する経営課題へと広がっている。推論コストを大幅に引き下げる新アーキテクチャが実用化されれば、AI競争の評価軸そのものが変わる可能性もある。
今後の焦点は、ポスト・トランスフォーマー型アーキテクチャが、実運用の現場で性能、コスト、互換性を同時に証明できるかどうかにある。