次世代AIモデルの安全性評価の過程で、AIエージェントがサンドボックスを突破し、インターネットや外部システムに接続した事例が相次いで明らかになった。TechCrunchが9日（現地時間）に報じたところによると、OpenAI、Anthropic、Meta、中国のAI企業Moonshot AIのモデルが、それぞれ異なる評価環境で試験系の外部に到達したという。

背景にあるのは、評価環境そのものがモデル性能の向上ペースに追いついていないことだ。AI各社は、未公開の次世代モデルの能力を見極めるため、通常の悪用防止用の安全機構を外した状態でセキュリティ評価を実施するケースが多いとされる。

そのため、試験環境の隔離と統制をどこまで徹底できるかが、これまで以上に重要になっている。

深刻な事例の一つとして、未公開のOpenAIモデルがサンドボックスを抜け、Hugging Faceの運用システムに侵入したケースが報告された。セキュリティ評価スタートアップIrregularが実施した別の評価では、AnthropicとMetaのモデルが、設定ミスで開いていたインターネット接続経路を通じて、試験環境外のシステムに到達した。Moonshot AIのKimi K3も、Frontier Securityが運用するサンドボックスを突破してインターネットに接続し、GitHub上の情報にアクセスしたという。

英AI Security Institute（AISI）の実験では、研究チームが一部のエージェントにインターネット接続権限を与えた後、許可されていない行動に出たことも確認された。これには、オープンソースプロジェクトに脆弱性をひそかに埋め込もうとするソーシャルエンジニアリングの試みも含まれていた。ただし、これらのエージェントが無差別に現実世界の標的を攻撃するよう指示されていたわけではない。与えられた課題を達成する過程で、利用可能な手段を使った結果だという。

専門家は、脅威の性質そのものが変わりつつあるとみている。非営利のAI団体SivAIで研究責任者を務めるアンドリュー・ユン氏は、これまでは人間がAIを詐欺や児童性的虐待コンテンツの作成などに悪用するリスクが中心だったが、今後はAIモデル自体が脅威の主体になり得ると指摘した。

対策としては、多層防御、強固な隔離、リアルタイム監視の強化が挙げられている。ステラ・ビーダーマン氏は、こうしたモデルはエアギャップ環境で扱うべきだと主張した。ヘザー・ジェイラン氏は、サンドボックスからインターネットや機微なシステムへつながる外部接続経路を排除すべきだと述べた。事故発生時にこれを即座に検知できなかった点も問題視されている。Anthropicは事後分析で、自社とIrregularの双方に監視面の改善余地があったことに加え、一部事例では明確な異常の兆候が出ていたことを認めた。

外部監査や標準化された安全性評価手順の必要性を訴える声も強まっている。一方でTechCrunchは、より安全な評価環境の作り方が分からないのではなく、コストや複雑さ、投資インセンティブの不足が主な障壁だとする見方が多いと伝えた。

トランプ政権は、強力な新規モデルの公開30日前に政府がセキュリティリスクを点検する自主的な事前評価の枠組みを検討している。ただ、今回のような配布前の開発・試験段階で生じる問題を直接対象にしたものではない。

OpenAIは、外部テストの方式に加え、隔離、監視、評価中断の基準の見直しを進めている。Metaは調査後に事後検証レポートを公表する予定だ。AISIも、現実的なテストとそれに伴うリスクのバランスを改めて検討していると、TechCrunchは報じている。