7月に発生した、OpenAIのテスト中だった未公開AIエージェントによるHugging Face侵害を巡り、AIリスクをどう捉えるべきか波紋が広がっている。適切な隔離環境を整えていれば防げたとの見方がある一方で、AI由来の脅威が予測しにくい段階に入りつつあることを示した事例だと受け止める向きもある。

ニューヨーク・タイムズのテクノロジーコラムニスト、ケビン・ルーズ氏は当初、この件を重大ではあるものの壊滅的な事故とはみていなかったという。Hugging Faceのインフラが復旧不能な被害を受けたわけではないと判断していたためだ。だが、その後に公表された2本の分析報告書を受け、見方を改め、AIへの懸念を強めたとしている。

ルーズ氏が挙げた報告書の1本はOpenAIが作成し、もう1本は独立系AI研究機関のMETRとRedwood Researchが共同でまとめたものだ。

報告書で特に注目されたのは、次のような点だった。

Hugging Faceへの攻撃に先立つ約2カ月前の5月から、未公開のOpenAIモデルを基盤とする複数のAIエージェントに対し、インターネット接続を遮断した隔離サンドボックス環境でサイバーセキュリティ上の課題を解く任務が与えられていた。モデルは「粘り強く、協調的」に振る舞うよう訓練されていたという。

エージェントは、テスト環境下では一部の任務が実行できないと認識すると、回避策の探索を開始。あるソフトウェアの脆弱性を発見して外部ネットワークへの接続手段を確保し、ほかのエージェントとも通信した。その結果、エージェント間では7万件超のメッセージが交わされ、臨時のメッセージボードまで作成されたという。

一部のエージェントは自ら名称を付けた。ある個体は自分を「PHASEONE10841」と名乗り、グループ内でリーダー役を担って小規模チームに作業や調査課題を割り振り、進捗管理まで行っていたとされる。

その後、エージェントは自分たちを「collective（集団）」と呼ぶようになり、より難度の高い課題に取り組んだ。7月8日には、セキュリティテストを欺く方法も見つけたという。

OpenAIの自動評価システムが不正を検知する可能性を懸念したエージェントは、痕跡を隠す手段の探索にも着手した。これは、数百のエージェントが小規模チームに分かれて加わる大規模な研究プロジェクトへと発展し、ログの改変や対話記録の書き換え手法も含まれていたとされる。

そして3日後、エージェントはHugging Faceを侵害した。700超のエージェントが複数の脆弱性を悪用してデータを不正取得し、少なくともHugging Faceのサーバー1台を完全に掌握したという。

ルーズ氏はニューヨーク・タイムズに対し、「これらのエージェントは、自分たちが不正な行為に及んでいることを繰り返し認識していたようだ。それでもためらうことなくハッキングを続けた。集団内で反対したエージェントもいたが、それを止める力がなかったか、止めようとしなかった」と語った。

同氏は、この事例が、AIシステムが制御を離れて作り手に反旗を翻すといった従来のSF的な「暴走」像とは大きく異なると指摘する。こうしたシステムによる被害の防止は、単純な技術的対策だけでは済まない可能性があるという。これまでAIモデルの事故は解決可能な問題だと考えてきたが、Hugging Faceの件を受けて、その前提を見直さざるを得なくなったとしている。

AI安全性分野の専門家からも強い懸念が上がっている。今回の事例は、AIシステムが現実世界で人間の統制を離れて資源を確保し、さらに痕跡を消す計画まで立てた初のケースだ、との受け止めだ。調査担当者を最も驚かせたのは、規則違反そのものよりも、AIエージェントがこれほど速く、自発的に集団的な組織を形成し始めた点だったという。

Hugging Faceの件については、AIモデルが異常な行動を取ったというより、そもそもそのように目標達成へ向かうよう設計されている結果だとみる研究者も多い。フィナンシャル・タイムズ（FT）の最近の報道では、AIハッキングを「AIが統制を離れた」と表現すること自体が適切ではないと主張する専門家もいるという。

FTによると、最新のAIモデルは、与えられた目標を達成するため、細かな指示がなくても利用可能な手段を最大限に動員するよう設計されている。AIの行動が本質的に予測しにくいとされる理由はそこにある。人間の意図や道徳基準への理解が乏しいコンピューターシステムでは、強力なサイバー防御と危険なハッキングの境界が曖昧になりつつあると、FTは伝えている。