Jobis&Villainsは10月27日、社内で分散運用していたAIエージェントを一元管理する自社基盤「Carter」を開発したと発表した。
同社はキャッシュバックプラットフォーム「三点三」を運営している。Carterは、社内AIエージェントの開発・運用に必要なコスト管理やモニタリングを担うほか、セキュリティや個人情報保護に関する機能も共通基盤として提供する。
各エージェントごとに機能を個別開発するのではなく、検証済みの共通ライブラリやインフラをそのまま利用できるようにすることで、重複開発を抑え、一貫したAI運用環境を整えられるようにした。現在は、「三点三Q」「三点三アプリ」のAIエージェントを含む8つのAIエージェントが、Carter上で稼働しているという。
同社はCarterの導入により、AI運用コストの削減も進めた。応答生成には高性能モデルを用いながら、意図分類や安全性判定などの補助的な処理は軽量モデルに振り分ける「モデルティアリング（Model Tiering）」を採用。全呼び出しの約50％を軽量モデルで処理し、LLM（大規模言語モデル）の利用コストを約45％削減したとしている。
あわせて、繰り返し使うプロンプトを保存・再利用する「プロンプトキャッシュ（Prompt Caching）」を標準機能として適用した。キャッシュを再利用した区間では、呼び出しコストを約43％削減できたという。
Jobis&Villainsのカン・ビョンギュCTOは、「社内AIエージェントと知識資産をCarterに集約し、AI運用の効率を高めながら、安全に活用できる基盤を整えた」とコメントした。その上で、「コスト削減にとどまらず、回答品質も測定・管理できる仕組みを備え、社内の誰もが安全にAIエージェントを開発・運用できる環境へ広げていく」と述べた。
Chi-gyu Hwang
delight@d-today.co.kr