生成AIサービスで、用途に応じて複数のモデルを使い分ける動きが広がっている。検索や要約、情報収集といった比較的軽い処理は小型モデルに任せ、重要な判断や生成品質が問われる工程はフロンティアモデルが担う構図だ。エージェント活用の広がりでモデル呼び出しの回数が増えるなか、推論コストを抑える手段として小型モデルの存在感が増している。

RableUpの研究員、イ・ジュンボム氏は取材に対し、「複数のモデルを組み合わせて使うこと自体は、すでに当たり前になっている。ユーザーが意識していないだけだ」と述べた。

同氏によると、生成AIサービスの内部ではすでにモデルの役割分担が進んでいる。検索や情報収集、要約などは小型モデルが処理し、重要な判断や最終的な成果物の生成はフロンティアモデルが担うケースが多いという。

代表例として挙げたのがコーディングエージェントだ。ファイルの読み込みやインターネット検索といった情報収集は最小クラスのモデルが担当し、得られた情報を基に追加調査を行ったり、重要なコードを書いたりする工程はより大きなモデルが担うと説明した。

こうした分業は、エージェントの普及に伴って一段と重要になっている。AIが情報を探し、読み取り、判断し、行動する一連の過程でモデルを何度も呼び出すため、すべての工程で最高性能のモデルを使えば推論コストが大きく膨らむためだ。

イ・ジュンボム氏は、韓国語の自然言語処理とオープン言語モデルを研究してきた開発者でもある。これまでにKoAlpacaやGemma-KOなど韓国語ベースのオープンモデルを開発しており、足元では小型モデルやエージェント、推論効率化へと研究領域を広げている。

なお、小型モデルとオープンモデルは別の概念だ。小型モデルはモデルサイズや計算量による分類であり、オープンモデルは重みなどを外部に公開し、活用可能にしたモデルを指す。オープンモデルの中にも小規模なものと大規模なものがある。

同氏は、小型モデルの進化の方向性にも変化があるとみる。「最近は知識量そのものより、知能を重視する学習への需要が強まっている」とし、「必要に応じてウェブ検索を行い、与えられた文書を読み、その中から答えを導き出す方向で小型モデルが発展している」と話した。

一方で、小型モデルは新たに登場したツールやタスクへの適応力で、大型モデルに見劣りする面があるという。この弱点を補うため、同氏は昨年、「MCP Sidecar sLM」を研究した。当時は小型のオープンモデルがModel Context Protocol（MCP）を十分に使いこなせなかったため、MCPの利用方法を学習した別の小型モデルを付加し、ツール活用を補助する設計を試みた。

同氏は「MCPそのものを理解する、より小さなモデルを追加し、サイドキックのような役割を持たせるのが狙いだった」と振り返る。

その後に登場したオープンモデルでは、MCPやツール利用の能力を標準的に備える例が増え、当時の研究テーマとしての必要性は薄れたという。ただし、新しいツールやインタフェースが現れるたびに既存モデル全体を再学習させるのではなく、それを扱う小型の補助モデルを追加して素早く対応する考え方は、今なお有効だと指摘した。

もっとも、同氏は小型モデルがフロンティアモデルを置き換えるとの見方には懐疑的だ。「2018年以降、まだ崩れていない法則がスケーリングだ」とした上で、「モデルは大きくなるほど、結果としてより賢くなるという傾向は依然として続いている」と述べた。

同じサイズのモデルでも、データや学習手法の進歩によって数年前より性能は向上している。ただ、現時点の最新モデル同士を比べれば、依然として大きなモデルのほうが高い知能を示すというのが同氏の見立てだ。

こうした大規模化は、最近ではオープンモデルでも目立っている。かつては1000億～2000億パラメータ級が大規模モデルとみなされたが、足元では兆単位のモデルも登場している。同氏は、フロンティアモデルの大型化が進むのと並行して、複数サイズのモデルを役割別に使い分ける流れもさらに広がるとみている。

この変化は、企業のAIインフラ需要にも表れている。同氏は「以前は事前学習や学習需要が中心だったが、最近は推論と強化学習の需要が増えている」と説明した。GPUインフラを構築するかどうかだけでなく、その基盤上でどのモデルを、何人の利用者が、どの程度の速度で使えるかまで含めて検討する企業が増えているという。

企業環境では、「小型モデル」の基準自体も異なる。個人向けPCやスマートフォンでは数十億パラメータ級が小型モデルとみなされる一方、企業では数百億～数千億パラメータ規模のオープンモデルでも、相対的に小型として扱われる場合がある。同氏は、NVIDIAの個人向けAIスーパーコンピュータ「DGX Spark」1台で動作するモデル規模などが、ローカル環境でモデルを運用する際の目安になると説明した。

また、学習では複数GPUやサーバ間の高速通信が重要だったのに対し、推論では多数の利用者リクエストを同時に処理するためのメモリ容量や、キー・バリュー（KV）キャッシュ管理の重要性が高まっているという。同氏はこのほか、複数トークンをまとめて生成し、推論速度を高めるディフュージョンベースの言語モデルも研究していると明らかにした。