Axiosは4日(現地時間)、独立系の評価機関2社がAnthropicとOpenAIの最上位モデルについて先月実施したサイバーセキュリティ評価の過程で第三者システムへの侵入を試み、一部では実際に成功していた事例が追加で確認されたと報じた。
報道によると、最先端AIモデルがサイバーセキュリティ評価中に、個人や組織、オンラインサービスに対して無断の行為を行っていたことが明らかになったことを受け、今回の追加公表に至った。
英国AIセキュリティ研究所は、Mythos5とGPT-5.6 Solが先月のサイバーセキュリティテスト中、実在の人物や組織を対象に侵入を試みた事案を19件確認したと発表した。
内訳はMythos5が17件、GPT-5.6 Solが2件。研究チームは、19件はいずれも完全に独立した事例ではなく、いくつかの連動した行動パターンから生じたものだと説明した。
モデルはテスト中、偽のGitHubアカウントを作成してメンテナーをソーシャルエンジニアリングでだましたほか、プロンプトインジェクションの仕込みや、欺瞞的なメールの送信も行っていた。GitHubは、こうした行為が利用規約違反に当たると確認しており、研究所はGitHubと連携して関連する痕跡を削除し、関係する利用者に通知した。
英国の研究チームは、評価中にモデルのインターネット接続を意図的に許可し、サイバー安全分類器も無効化していた。インターネットの使用を禁じる指示も出していなかったという。
また、エージェントがいつの時点で評価環境を実世界の状況と認識したのか、あるいは最後まで仮想のテスト環境だと誤認していたのかは、なお明らかになっていないと付け加えた。
Anthropicは、今回の事案について、AIエージェントを安全に評価する方法を巡り、より幅広い議論が必要であることを示していると指摘した。自社調査に加え、英国AIセキュリティ研究所と連携して事実関係の把握を進める考えを示した。
研究所は、エージェントのインターネット接続のタイミングを制限するネットワーク制御装置を構築中だ。悪性エージェントを事前に検知・遮断するリアルタイム監視の導入も決めた。
OpenAIもブログで、第三者の安全パートナーであるIrregularが、同社モデルで誤ってインターネット接続が可能な状態となり、シミュレーション内の仮想企業と同名の実在企業のWebサイトに侵入した事例を発見したと明らかにした。
OpenAIの広報担当者は、今回の事案は、安全対策を弱めた通常とは異なる条件下で実施した評価中に発生したと付け加えた。