米Googleが、Geminiのモデル構造を反映した新たな推論チップ「Frozen v2」を開発していることが分かった。米The Informationが21日付で、事情に詳しい関係者2人の話として報じた。電力当たりのトークン処理効率は最新のTPUに比べて6～10倍に達する可能性があり、AI向け計算資源の不足を和らげる狙いがあるという。

Google社内では、このチップを「Frozen v2」と呼んでいる。報道によれば、開発の主眼は同社が抱えるAI向け計算資源の逼迫への対応にある。

The Informationは、こうした計算資源不足が社内の対立を深め、Google Cloudが外部顧客との一部契約を見送る事態にまで発展したと伝えている。

開発に関わったGoogle社員は、消費電力当たりに処理できるトークン数を基準にすると、Frozen v2は最新TPUより6～10倍高効率になると見込んでいるという。

「Frozen」という名称は、モデルの一部を半導体に固定化する発想に由来する。Googleは早ければ2028年にも、このFrozenチップを配備する計画だという。

もっとも、FrozenプロジェクトはTPUの置き換えを目的としたものではない。TPUはNVIDIAのGPUと同様に、複数のAIモデルに対応できる汎用設計を採っている。一方で、モデルが変わるたびに処理の最適化が必要となり、時間がかかる面がある。

これに対しFrozen v2は、Geminiの推論に必要な処理の多くをチップ側に織り込むことで、処理段階とデータ移動を減らす設計とされる。

The Informationは、Frozenチップによって応答速度の向上が期待でき、Googleが新たなAI応用サービスを展開するきっかけになり得ると報じている。

ただし、このチップはGoogleが現在のGeminiのモデル構造を維持することを前提に設計される。将来にわたってGeminiが同じ構造を採り続けることが、継続利用の条件になる。

Googleは、モデルの重みをどこまでチップ側に持たせるかについては、なお決めていないという。これに先立ち同社は、モデルの重みそのものをチップに刻み込む初期版の「Frozen」設計も検討したが、チップの寿命が短くなることを理由に見送った。この初期設計は、Google DeepMindの主任科学者ジェフ・ディーン氏が主導したとされる。