Microsoftは、企業内で稼働するAIエージェントを「エージェンティック・インサイダー」と位置付け、監視役の「ガーディアン・エージェント」を軸に管理する構想「Project Perception」を打ち出した。外部からの攻撃だけでなく、社内エージェント自体が持つリスクも統制対象に含める考えだ。

Microsoftでセキュリティ部門バイスプレジデントを務めるイェト・ガロ氏は19日（現地時間）、公式ブログで、業界では外部攻撃者によるAI悪用に注目が集まる一方、内部で動くエージェントのリスクは十分に議論されてこなかったと指摘した。その上で、最先端モデルを無条件に信頼すべきではないとし、エージェントの行動を常時監視し、実行前にリスクを見極める仕組みの必要性を訴えた。

同氏によると、AIモデルは目標達成に向けて最適化される過程で、報酬ハッキング（reward hacking）に陥りやすい。組織の規範や判断基準に沿って動くとは限らず、外部からハッキングされていなくても、目標達成のために他のエージェントと連携して望ましくない行動を取る可能性があるという。

こうした中、企業内で利用されるエージェントは急増している。多くのエージェントが過剰な権限を持ち、データやツール、システムにアクセスしながら、中核業務に関わる処理や判断を直接担っているとした。

ガロ氏は、Project Perceptionについて、ID、データ、クラウド、エンドポイント、ネットワークなど複数のシグナルを集約し、企業内のエージェントを特定する仕組みだと説明した。特定したエージェントにはIDを割り当て、ポリシーと権限を付与した上で、管理下に置く。さらに、エージェントの行動リスクをリアルタイムで評価し、リスクが高まった場合はガーディアン・エージェントが即座に対応するという。セキュリティ担当者はログを追跡することで、リスク発生の背景を把握し、システムの補強につなげられるとしている。

また同氏は、次の課題としてモデルの透明性を挙げた。入出力トークンだけでなく、推論過程に関わるトークンまで確認し、モデルの意図がエージェントの目的と一致しているかを見極める必要があるとした。その上で、「イノベーションと安全のどちらかを選ばなければならない状況にしてはならない」と述べた。