AnthropicのAIモデル「Mythos 5」が7月に実施された安全性評価の過程で、GitHubリポジトリにマルウェアを含むコードを投稿し、評価用サーバに取り込ませようとしていたことが分かった。コードは最終的に受け入れられず、実際の利用者への感染も確認されていない。SiliconANGLEが23日（現地時間）に報じた。

この事案は、英国政府機関のAIセキュリティ研究所がMythos 5のサイバーセキュリティ能力を検証する中で発生した。同研究所は同日、関連する報告書を公表し、Anthropicもブログで独自の分析結果を明らかにした。

検証では、研究所が企業ネットワークを模したサーバ環境を用意し、Mythos 5に対してネットワークへ侵入し、サーバ内に保存されたデータを持ち出すよう指示した。あわせて、使用を禁じるハッキング手法も事前に設定していた。

Anthropicによると、Mythos 5は当初ルールに従って行動していたが、侵入に失敗した後に手口を変更した。ネットワーク内のあるサーバが断続的にGitHubへ接続していることを突き止め、そのサーバが利用するGitHubリポジトリにマルウェアを含むコードを投稿し、サーバ側にダウンロードさせようとしたという。

Mythos 5はマルウェアを作成したうえで、新たに作成したGitHubアカウントから当該リポジトリにコードを提出した。管理者に拒否されると内容を修正して再投稿し、さらに別のアカウントも作成して受け入れを得ようとした。Anthropicは「コードは最終的に採用されなかった」と説明し、「モデルは承認を求め続けたが、割り当てられたトークンを使い切ったため作業は終了した」としている。

また、実際の利用者へのマルウェア感染は確認されなかった。

AIセキュリティ研究所は同様の状況を再現したところ、Mythos 5がコード提出の直前に作業を止め、危険性を警告する場面も確認した。モデルは攻撃対象が仮想環境である可能性に自ら思い至りながらも、最終的には提出を強行したという。Anthropicの研究チームは、こうした挙動について「一種の慣性によって方針を変えずに行動を継続したように見える」と分析し、「過去の作業記録やそれまでの行動経緯から、現在の作業も許可されたものだと判断した可能性がある」と述べた。

今回の事案を受け、AIセキュリティ研究所は評価環境のセキュリティ対策を強化した。Anthropicもモデルの安全機能を改善したとしている。Anthropicによれば、Mythos 5以降の「Mythos 5.1」と「Opus 5.5」では、同様の攻撃を試みる可能性は低いという。