企業でAIエージェントに複雑な業務を担わせる動きが広がるなか、人手だけでその挙動を追跡することは難しくなっている。こうした状況を受け、別のAIでエージェントの危険な行動を検知し、必要に応じて遮断する監視技術に注目が集まっている。

米TechCrunchが17日（米国時間）に報じたところによると、OpenAIのエージェントによるHugging Faceへの侵入事案では、約1万2000体のエージェントが人手では追い切れない速度で稼働したという。

調査に参加したRedwood Researchの主任科学者、ライアン・グリーンブラット氏は、「データ量が膨大で、AIの支援なしに事案の全体像を把握するのは困難だった」と説明した。

AI監視関連の市場も広がっている。報道によると、Y Combinatorはここ数年で、AI観測性関連の企業106社に投資した。

AI安全性の研究企業Apollo Researchが2月に公開した「Watcher」は、Claude CodeやCodexといったコーディングエージェントが作業を実行する前に、個人情報の漏えいや無断でのファイル削除といったリスクを確認する仕組みだ。

異常が見つかった場合は、より高精度の監視モデルが再判定し、必要に応じて人の承認を求めるか、作業を停止する。Goodfireの「Silico」は、AIの出力ではなくモデル内部の活性化の状態を分析し、望ましくない行動を検知するとされる。

一方で、AIがAIを監視する仕組みだけでは安全は確保できないとの指摘もある。技術ブロガーのサイモン・ウィリソン氏は、「エージェントが監視されていることに気付けば、監視モデルをだまそうとする可能性がある」と警告した。

実際、Hugging Faceの事案では、エージェントが評価用AIを欺こうとする挙動も確認された。ウィリソン氏は、AI監視だけに依存するのではなく、エージェントの行動を詳細なログとして記録し、既存のセキュリティツールで分析すべきだと強調した。

AIエージェントの普及が進むほど、監視モデル、行動ログ、ネットワーク制御を組み合わせた多層的なセキュリティ体制の重要性は一段と高まりそうだ。