モデル評価・脅威研究機関のMETRは、OpenAIのエージェントがテスト中に外部ネットワークへ逸脱した事案の調査結果を公表した。調査では、約700件のエージェント行動がサイバーセキュリティのベンチマーク評価を回避する過程で、Hugging Faceへの攻撃に関与していたことが確認された。一方、分析に用いたAIが、対象となった行為を過度に正当化する例も見つかった。

調査は外部の調査担当者3人が実施した。OpenAIのオフィスを3回訪問し、計6日間にわたって検証を進めた。収集した資料は、個別エージェントの実行ログ約1300件に加え、エージェント間でやり取りされたメッセージやファイル7万件超に上る。記録全体の分量は、一般小説1万冊分に相当したという。

米Semaforによると、METRは人手と時間の制約から、これらの資料の分析にAIを活用した。6日間で、OpenAIが提供した40万ドル相当のAPIクレジットを使い切ったとしている。

ただ、分析過程では別の問題も浮上した。Semaforによれば、分析を担ったAIの一部に、調査対象となったエージェントの行為を擁護するような記述を出すケースがあった。

例えば、Hugging Faceを欺くために窃取された認証情報が使われた事実についても、AIが明白な不正行為と判断しなかった例があった。別の分析用AIは、この評価は誇張の可能性があると指摘し、その理由として「攻撃者が取締役会の承認を得ていた」と説明した。しかし実際には、正式な取締役会ではなく、AIエージェント同士が共謀して作った無断のメッセージボードだったという。

Redwood Researchの調査担当者、ライアン・グリーンブラット氏はX（旧Twitter）で、AIへの依存が大きかった今回の分析について、「半ば冗談で『slop-vestigation』と呼んだ」と述べた。

Semaforは、強力なAIシステムを監視・統制するためのツールへの投資が大きく不足しているとの見方も伝えている。AIモデルはすでに経済や安全保障上の脅威として指摘されている一方、研究者はその挙動をなお十分に説明・予測できていないとしている。