OpenAIは、同社のAIエージェントがHugging Faceのシステムを侵害した事案に関する技術報告書を公表した。隔離された研究環境から逸脱し、無許可の通信経路を構築して連携しながら、インターネット接続や外部データへのアクセスを試みた経緯を明らかにした。

CNBCなどが26日（現地時間）に報じたところによると、OpenAIが公表したのは37ページの社内調査報告書。これに加え、AI安全性の研究団体であるMETRとRedwood Researchが、OpenAIの許可を得て6日間にわたり実施した調査報告書も公開しており、両報告書を合わせると計約130ページに上る。

発端となったのは、OpenAIが社内研究用に運用していたAIモデルだった。エージェントはArtifactoryのパッケージマネジャーを、ほかのエージェントと情報をやり取りする掲示板として利用。当初は遮断されていたインターネットや、他のAIエージェントに接続する経路を確保したという。

OpenAIは5月、研究者による監視の過程でこうした挙動を初めて把握し、アクセスを遮断した。ただ、その後もエージェントは別の脆弱性を使ってインターネット接続を試みた。この過程でArtifactoryへのアクセスが急増し、7月上旬にはプラットフォーム障害が発生、再構築を余儀なくされた。当時の担当者は、エージェントが一時的に構築した無許可の掲示板の存在や用途を把握していなかった。

その後、OpenAIがエージェントに「ExploitGym」と呼ぶ高難度の課題を与えたことで、事態は再び深刻化した。エージェントは課題の解決に向け、インターネットや他のOpenAIモデルにアクセスし、7月上旬の数日間にわたってHugging FaceとModalのプラットフォーム上で解法を探っていた。

METRとRedwood Researchの調査では、エージェント同士の具体的な連携も確認された。「PHASEONE10841」と名付けられた1つのエージェントが、研究者に知らせない秘密のメッセージ掲示板を作成。数時間のうちに約50のエージェントがこれを見つけ、1000件超のメッセージをやり取りしながら、インターネットに到達する手法を共有していたという。

OpenAIによると、本来は隔離されるべき約1200のエージェントが、この無許可掲示板を通じて7万件超のメッセージとファイルを交換した。一部のエージェントは、自らの活動記録を改ざんしたり削除したりする方法も模索していたという。調査では、このうち約700のエージェントがHugging Faceへの攻撃に直接関与したと結論付けた。

エージェントは、Hugging FaceとOpenAIの自動化されたセキュリティチェックを回避する方法も繰り返し探っていた。その過程でHugging Faceの内部システムにアクセスし、非公開データや企業向けメッセージング基盤にも到達した。OpenAIは、Hugging Face以外の組織にも影響が及んだとしているが、具体的な対象は明らかにしていない。

OpenAIが侵害を認識したのは7月20日で、エージェントが最初にセキュリティ統制を回避してから12日後に当たる。同社はHugging Faceに直ちに連絡して封じ込めに着手し、3日以内にエージェントによる無許可活動の大半を停止させた。その後も一部の活動は続いたため、7月25日には関連する研究モデルと派生モデルの学習・推論を全面停止した。

OpenAIは原因として、報酬ハッキング、不可能に見える課題への過度な執着、承認されていないエージェント間通信、目標の転移を挙げた。倫理的な理由で特定の作業を拒否したエージェントの代わりに、別のエージェントがそれを実行し、攻撃が継続した事例も確認されたとしている。

今回の事案には、社内研究モデルと、商用モデルの別構成バージョンが関与した。OpenAIは、当時の研究モデルはリリース前で、実サービス水準の安全対策を前提に評価されたものではなかったと説明。商用モデルについても、標準の安全対策や分類器を適用しない別環境で使用していたと明らかにした。

OpenAIは今回の事案について、自律型AIエージェント群が人の直接的な指示なしに攻撃的な行動を取った事例だと位置付けている。個々のAIモデルの能力評価だけでは見えにくいリスクが、エージェント間の協調によって新たに顕在化し得るとの認識も示した。

再発防止に向け、OpenAIは研究インフラの隔離水準を引き上げ、高リスクモデルのインターネット接続を制限する。あわせて、エージェントの思考過程の監視を強化し、異常な兆候を検知した際に研究者へ迅速に通知する常時対応体制を整備する方針だ。