AIエージェントを手がけるLinerは9月15日、問い合わせの難度や内容に応じて最適な大規模言語モデル（LLM）を自動で振り分けるAIオーケストレーション製品「LinerモデルAPI」の提供を開始した。回答品質を維持しつつ、LLMのトークン費用を50％以上削減できるとしている。
同社によると、企業が構築したAIシステムでは、問い合わせごとに必要な処理の難度が異なるにもかかわらず、すべてを高性能モデルで処理するケースが多く、余分なコストを招いているという。LinerモデルAPIは、問い合わせの難度や種類を分析し、適切なLLMを自動で割り当てる。
具体的には、コーディングや数学、複合推論など高難度の問い合わせには高性能モデルを適用し、一般的な問い合わせはコスト効率の高いモデルで処理する仕組みだ。
導入面では、複雑なロジックを追加実装することなく、既存APIを置き換える形で利用できる点も特徴とする。Linerは、独自のモデル評価基準と実サービス運用で蓄積したデータを基に、こうしたオーケストレーション技術を開発したとしている。
モデル評価では、公開ベンチマークに加えて実利用者の問い合わせデータも活用した。独自評価の結果、全問い合わせの約43％を高性能モデルに、残る57％をコスト効率の高いモデルに振り分けたという。
同社は、この構成によって回答精度を維持しながら、トークン費用を50％以上削減できると説明している。
Linerのキム・ジヌ代表は、「すべての質問を上位モデルだけで処理する方式は、簡単な計算のたびにスーパーコンピューターを動かすようなものだ」と指摘。「次々と登場する新モデルの性能や単価を、開発者がその都度検証して切り替える手間を、LinerモデルAPIが解消する」と述べた。
著者について
Jin-ho Lee
jhlee26@d-today.co.kr