Selectstarは10月26日、判断業務向けAIモデル「DAVI」を発表した。質問の難度に応じたAIモデルの選択や、AI回答の妥当性評価に対応するほか、ルーティング検証ではモデル運用コストを約28％削減したという。
DAVIは、意思決定支援に特化したAIモデル。設問の難度に応じて適切なAIモデルを選択したり、AIが出した回答の妥当性を評価したりする用途を想定する。AIエージェントがタスクを完遂できる可能性の予測にも活用できるとしている。
Selectstarによると、TypeSafeAIの判断向けAIモデル「Jev」と比較した結果、DAVIは主要な評価項目でより高い精度を示した。
判断能力を測るベンチマーク「JevBench」（231問）では、DAVIの正答率は89.2％となり、Jevの86.6％を2.6ポイント上回った。高難度問題でも77.5％と、Jevの73.0％を4.5ポイント上回った。韓国語のフィードバック評価項目でも、DAVIは72.5％でJevの66.8％を上回った。
モデルのルーティング検証では、コスト削減効果も確認した。韓国語の高難度Q&A 870件を対象に、DAVIがAnthropicのHaiku、Sonnet、Opusの中から最適なモデルを選ぶよう設定した。
その結果、DAVIを用いたルーティングの正答率は71.1％となり、Opusのみを使った場合の70.3％を0.8ポイント上回った。モデル実行コストは、Opus単独利用に比べて約28％低下した。
Selectstarは11月、自社のAI信頼性評価プラットフォーム「Datumo Eval」にDAVIを組み込む予定だ。企業のAI品質評価とモデル運用の効率化を支援するとしている。
著者について
Seulgi Son
sageson@d-today.co.kr