Snowflakeは8月19日、自社の「Cortex AI Gateway」に動的モデルルーティング機能を追加したと発表した。用途ごとに品質とコストを見極めて最適なモデルを自動選択する仕組みで、社内テストでは一部ワークロードのトークン費用を最大で3分の1に抑えられたとしている。
同機能では、企業ユーザーが特定のモデルを固定せず、「自動」オプションを選択できる。システムがタスクごとに適したモデルを選び、処理を振り分ける。
Snowflakeによれば、単純な問い合わせにも高性能モデルを使った結果、コスト増や応答遅延につながるケースが少なくなかった。今回の動的モデルルーティングにより、こうした非効率の改善を狙う。
モデルルーティングを巡っては、Databricks、AWS、Google Cloud、NVIDIAも関連技術を展開している。Snowflakeは、モデル選択は価格や性能だけでなく、ガバナンスやコンテキストとも密接に関わるとみている。
SnowflakeのAI担当バイスプレジデント、バリス・グルテキン氏は「高品質なエンタープライズ向けエージェントを構築するには、適切なコンテキストとガバナンスが欠かせない」と説明。「コンテキスト、信頼性、モデル選択は相互に連動している」と強調した。
動的ルーティングは2つの方式で動作する。1つは「アドバイザーパターン」で、小型モデルがまず処理を試み、対応が難しい場合は大型モデルを呼び出して処理を委ねる。
もう1つは、過去のクエリ履歴を学習した分類器を使い、単純な問い合わせを小型モデルに自動で振り分ける方式だ。ユーザーは、特定モデルまたは複数モデルに対象を絞ってルーティングすることもできる。ルーティング機能自体に追加料金は発生せず、料金はトークン使用量に基づいて算定される。
Chi-gyu Hwang
delight@d-today.co.kr