AIモデルの性能評価を巡り、パラメータ数を中心とした従来の見方を見直すべきだ――。清華大学教授でAIスタートアップZ.ai創業者のタン・ジエ氏はこのほど、X（旧Twitter）への投稿でこうした見解を示し、データ量や計算資源の配分、推論コスト、MoEの構造的特性まで含めた総合的な評価が必要だと訴えた。

タン氏は「AIモデルの性能を左右するのはパラメータ数だけではない。どれだけのデータを使うか、計算資源をどこに配分するか、どのような条件でモデルが運用されるかまで併せて見る必要がある」と説明した。こうした認識は、試行錯誤の末に得た結論だとしている。

スケーリング則を巡っては、OpenAIのジャレッド・カプラン氏が2020年の論文「Scaling Laws for Neural Language Models」で、モデルのパラメータをデータよりもはるかに速いペースで増やす必要があるとの結果を示した。これを背景に、GPT-3やGopher、MT-NLGといった大規模モデルの開発が進んだ。

これに対し、2022年にはDeepMindのホフマン研究チームが約400モデルを再分析し、異なる結論を提示した。1パラメータ当たり約20トークンで学習させる方が効率的で、計算資源が増えるほど、パラメータ数とデータ量を同じペースで拡大すべきだとする、いわゆる「Chinchilla則」だ。

タン氏はこの点について、「初期の計算上の見積もり誤差は、計算規模が大きくなるほど拡大した。その結果、兆単位パラメータのモデルは最も非効率な設計になった」と述べた。

もっとも、Chinchilla則が登場した後も議論は続いた。タン氏によると、Chinchilla則は単発の学習・評価を前提に組み立てられていたが、現在のAIモデルは1日に数十億回規模で呼び出される。1つのモデルが投入されてから使われ続け、最終的に引退するまでの生涯コストの大半は、学習ではなく推論で発生するという。

そのため、推論コストまで織り込むと最適解は変わる。タン氏は「モデル規模はむしろ小さめに抑え、学習期間を大幅に長く取る方が有利になる。Llama 2-7BやGemma 2-9Bが、1パラメータ当たりそれぞれ290トークン、889トークンまで学習させた背景にもこの考え方がある」と指摘した。

さらに、Mixture of Experts（MoE）構成の普及によって、性能評価の物差しも変わったという。タン氏は、総パラメータ数はモデルが蓄積できる知識量を示す一方、実際に動作する活性パラメータ数や有効深度は、長い推論をどこまで維持できるかを左右すると説明した。

このため、Chinchilla則が示した20対1の比率は、MoEではそのまま当てはまらないとみる。タン氏は「記憶依存型のタスクではパラメータ増が有利だったが、推論依存度の高いタスクではデータ増が有利だった。後続研究では、トークン比率を固定したまま総パラメータ数だけを増やすと、かえって推論性能が低下した。一方で、活性化される専門家の数を増やすと推論性能が改善した」と述べた。

タン氏によれば、「総パラメータ数が知識量を決め、活性パラメータ数と有効深度が推論力を左右する」という原理は、Z.aiのGLMモデル設計にもそのまま反映されている。

具体例として、タン氏は脆弱性検出を挙げた。「脆弱性を見つける能力は、どれだけ多くのCVEを記憶したかではなく、20段の推論チェーンを最後まで維持できるかで決まる。こうした能力は、単にパラメータ数を増やしても得られない」と説明している。

また、Z.aiが最近公開したGLM-5.3は、この考え方を検証するためのモデルだったとした。タン氏は「基盤モデル、アーキテクチャ、総パラメータ数、活性パラメータ数はGLM-5.2と同じに保ったまま、1カ月にわたり長期強化学習環境での学習だけを増やした。結果は明確だった」と説明した。

その上で、「今回はpost-trainingだけを調整した。最も改善余地が大きいと判断したためであり、ほかの要素が終わったという意味ではない。基盤モデルの規模、事前学習データ、1回のforward pass当たりの計算量など、まだ手を付けていない領域がある」と述べた。さらに、「すべてのダイヤルを一度に回す必要はない。次に調整すべきダイヤルは前回とは異なる可能性が高い。スケーリングはまだ終わっていない」と強調した。