Capsule Securityは、NVIDIAのNemotronモデルを独自に微調整し、AIエージェントの行動を実行前に判定して、許可・警告・遮断をリアルタイムで制御する検知システムを発表した。米SiliconANGLEが3日に報じた。

このシステムは、エージェントに与えられた業務と、実際に実行しようとする行動が一致しているかを事前に見極める仕組みだ。機微データやソースコード、運用インフラにアクセスできるエージェントの増加を見据え、外部から行動を統制するレイヤーとして設計した。

同社によると、従来の権限管理や承認プロセスは、エージェントがアクセスできる範囲を制限することはできても、個々の行動が本来の業務目的に沿っているかまでは判断しにくい。事後的なモニタリングも、被害発生後に問題を把握する形になりやすいという。

Capsule Securityは、自社システムがベンチマーク「StepShield」で98%の精度を記録し、逸脱行動を発生時点で検知できたと説明した。StepShieldは、実際の事故に由来する9429件のコードエージェント実行経路を基に、実行ステップごとの逸脱検知性能を評価するベンチマークだ。

学習には、NVIDIAのオープンソースモデル「Nemotron 3」系で最大規模の「Nemotron 3 Ultra」を用いた。学習データには、実際のエージェント実行ログに加え、許容される行動の境界を示す敵対的サンプルも含め、データは人手で検証したという。

同社が示した2つのモデルのうち、大規模モデルは性能を維持したまま必要メモリをほぼ半分に抑え、単体のNVIDIA L40S GPUで動作できるとしている。

Capsule Securityの共同創業者兼CEO、ナオール・パズ氏は「AIセキュリティの本質的なリスクは、人間がエージェントに何をさせられるかではなく、自律エージェント自身が何をするかを判断する点にある」と述べた。さらに「ソフトウェアが推論し、ツールを使って行動できるようになると、誤った判断が数秒で実際の事故につながり得る」と指摘した。