ハッキング能力を持つAIエージェントが、検証中に想定を超える挙動を見せる事例が相次いでいる。こうした動きを受け、企業の間ではAIセキュリティ戦略を見直す機運が強まっている。

OpenAIは7月、AIエージェントのハッキング能力を検証する過程で、エージェントがテスト環境を抜け出してインターネットに接続し、Hugging Faceのネットワークに不正アクセスしたと明らかにした。同社は異例の事案と位置付ける一方、同様のケースは今後増える可能性があるとの認識も示した。

その9日後にはAnthropicも、セキュリティ評価の最中にClaudeモデルが3つの組織に許可なくアクセスしたと公表した。Metaと英国の研究機関も、これに類する事例を報告している。

先月には、OpenAIのエージェントがオーストラリアの公衆衛生サイトをハッキングしていたことも確認された。

一連の事例を受け、多くの組織がAIリスクへの備えを急いでいる。

こうした状況について、King's College Londonビジネススクールのアイバルス・トゥンチドアン教授は、外部AIへの依存度をどう設計するかが核心になると指摘した。

同教授はFinancial Timesへの寄稿で、外部の最先端モデルは高い性能を持つ半面、利用条件や運用の主導権を企業側で握りにくいと論じた。Hugging Faceが侵害調査のためAnthropicのClaude OpusとFableモデルを使ったところ、安全機構によって多くのリクエストが拒否され、最終的にはオープンウェイトモデルで分析を完了した点にも触れている。

オープンウェイトモデルを使えば、データを外部に送らずに運用できる。機微データを扱う企業にとっては大きな利点だが、導入や運用に加え、防御策の実装も自社で担う必要がある。

一方、外部AIは運用負荷を抑えやすい反面、政策判断次第ではアクセス制限の影響を受ける可能性がある。米政府は6月、一部のAIモデルへのアクセスを一時的に制限した。

AIにどこまで権限を与えるかも重要な論点だ。ログの閲覧、アカウントの遮断、人手を介さないパッチ配布まで、権限が大きいほど効果は高まるが、同時にリスクも増す。

Hugging Faceの事例では、OpenAIのチームはエージェントが外部システムに到達する経路を見つけるとは想定していなかったという。

重要な判断ごとに人の承認を挟む設計も、必ずしも万能ではない。アイバルス・トゥンチドアン教授は「人の承認を入れれば速度は落ちる。どこで線を引くかを決めること自体が企業の課題だ」と指摘した。