人工知能（AI）が実務を担う段階に入りつつある中、企業では人を前提に整備してきたコンプライアンスや内部統制の仕組みを、AIエージェントにも広げる必要性が高まっている。Tinapsのカン・ミンスン代表は、企業がAIを本格導入するうえで重要なのはモデル性能そのものではなく、AIの判断や行動を実行前に検証する「信頼と統制」の仕組みだとの見方を示した。

カン代表はこのほど記者団の取材に対し、「AIが賢くなることと、企業がAIの利用をどこまで許容するかは別問題だ」と述べた。AIエージェントが業務を担うようになれば、誰がその判断と行動を統制するのかが重要になるという。

そのうえで、人の社員に適用してきたコンプライアンス監督の枠組みをAIにも拡張する必要があると説明した。既存の内部統制は人を中心に設計されており、AIエージェントが業務の相当部分を担うようになれば、人手だけですべてを追跡・管理するのは難しいとの認識を示した。

特に金融分野では、小さなミスでも事故につながりかねないため、AIの回答や行動を実行前にチェックする仕組みが欠かせないと強調した。

具体例として、ある金融機関でAIが退職年金業務を案内する過程で、存在しない送金コードを生成した事例を挙げた。誤りは実際の送金前にバックエンド側の監視で見つかったが、適切なタイミングで遮断できなければ金融事故に発展する可能性があったという。

Tinapsは、こうしたリスクを防ぐため、AIの回答や行動が実行される前の実行時に別途検証を行う。単純な案件はルールベースで判定し、複雑なケースでは複数の軽量モデルで結果を相互に照合する。AIだけでは判断が難しい領域は、人に引き継ぐ仕組みを採る。

複数の検証モデルが結果を繰り返し疑い、確認する「セルフクリティック」方式も活用する。企業ごとの業務基準や模範回答を反映し、運用中に見つかった誤りを再びデータとして蓄積することで、検証精度を高めていく構造だ。

カン代表は「AIは確率的に答えを出すが、企業の意思決定まで確率任せにはできない」と指摘。「100回に1回だけ違う判断をしてもよい、という話ではない」とする一方で、「AIが100％事故を防ぐと言えば、それは嘘になる」とも述べた。どこまでをAIに任せ、どの時点で人に引き渡すのか。その基準づくりが導入の核心になるとしている。

検証では精度だけでなく、処理速度も重要になる。検証のために応答や業務処理が大きく遅れれば、実サービスへの適用が難しくなるためだ。

カン代表は「韓国のアルゴリズム人材は、短いレイテンシで『実行するかしないか』を判断する点に強みがある」と述べた。AIの意思決定を短時間かつ高精度で判定するモデルは、韓国の開発者が競争力を発揮できる領域だとみている。

既存の大規模言語モデル（LLM）向けガードレールとの違いは、検証範囲にある。既存ソリューションの多くは、プロンプトインジェクションや脱獄といった外部攻撃を防ぐ入力側のガードレールに重点を置く。一方、Tinapsは、正当な要求を受けたAIが誤った回答や行動を出すケースまで対象とする出力側のガードレールも手掛ける。

カン代表はTinapsを「AI信頼性インフラのスタートアップ」と位置付ける。「AIエージェントの回答が利用者に届く前、あるいはアクションが実行される前に、問題がないかをリアルタイムで検証することが中核だ」と説明した。

また、企業ごとに異なる社内規定や業務基準を反映することも重要だとした。同じ金融機関でも、退職年金、個人向け・法人向け与信、預金、外為、マネーロンダリング防止（AML）では、AIが従うべきルールや許容範囲がそれぞれ異なるためだ。

カン代表は「モデルが変わり続けても、企業の基準までそれに合わせて変わるべきではない」と述べた。どのモデルを採用しても、同じ基準の下で運用できるガバナンスを整えることが重要だとしている。

TinapsはKB Kookmin Bankと概念実証（PoC）を進めた後、KB Financial Group傘下9社を対象とする事業に採用された。これを足掛かりに、金融機関や大企業向けへ事業を拡大している。Microsoftも顧客開拓とグローバル展開を支援しているという。

今後、複数のAIエージェントが連携して動く「マルチエージェント」環境では、統制はさらに複雑になるとの見方も示した。各エージェントがそれぞれの目標に沿って動いたとしても、システム全体では相互に衝突する結果を招く可能性があるためだ。

例として、融資照会と融資審査のエージェントを挙げた。照会エージェントは商品提案の拡大を目標とする一方、審査エージェントは不良リスクの抑制を優先する。このため、両者を調整する上位の統制体系が必要になると説明した。

「マルチエージェントへ進むほど、それらを管理する『スーパーバイザー』の役割が必要になる」。カン代表はそう述べ、AIがより大きな権限を持つほど、各判断と行動を統制する仕組みの重要性は増すと指摘した。

今後の企業AI活用の拡大を左右する要素として、カン代表は「信頼」を挙げる。企業は高性能GPUやAIモデルといったインフラには積極的に投資している一方で、AIにどこまで意思決定を委ねるのかを定める仕組みは十分に整っていないとの認識だ。

「AIが賢くなっているのに、企業が十分に使いこなせていない理由は、GPUやモデルの問題ではない。どこまで許容して使うのかが決まっていないためだ」。カン代表はそう述べ、AIに実務を任せるには、性能に加えて信頼と統制の基盤が不可欠だと強調した。