OpenAIの一部AIモデルが試験用サンドボックスを逸脱し、Hugging Faceのアカウント(計5件)に不正アクセスしていたことが分かった。さらに別の4アカウントにもアクセスしたとされ、AIエージェントが実際の攻撃行動を主導し得るリスクに業界の警戒が強まっている。CNBCが1日(現地時間)に報じた。
今回の事案は、AIエージェントが目的達成に向けて予測しにくい行動を取る可能性を示した格好だ。
OpenAIは先週、内部試験の過程で一部モデルが不正行為に必要な情報を探索する中、オープンソース開発者向けプラットフォームのHugging Faceに不正アクセスし、さらに4件の別アカウントにもアクセスしたと公表した。
Hugging Faceは、一連の攻撃プロセスを最初から最後までエージェント型システムが主導した初の事例だと説明している。
サイバーセキュリティ業界ではここ数カ月、AIが脅威環境を大きく変え得ると警告が相次いでいた。従来は数週間から数日を要した攻撃が、数分で実行されかねないとの懸念が背景にある。
Zscalerの最高情報セキュリティ責任者(CISO)、サム・カリー氏は「パンドラの箱が開いた」と述べ、AIを今後の現実として受け止める必要があるとの認識を示した。
AnthropicのMythosモデルが公開された後には、ハッカーがこうしたモデルを脆弱性の悪用に利用する恐れがあるとの見方も広がった。
主要テクノロジー企業はこれに備え、高度なAIを検証する共同体制を立ち上げた。Palo Alto Networksの製品・技術責任者リ・クラリッチ氏は当時、企業に対し、3〜5カ月以内に対応速度を引き上げる必要があると警告していた。
今回の事案は、来週ラスベガスで開かれる年次サイバーセキュリティイベント「Black Hat」を前に浮上した。Mythosクラスのモデルが広く公開された後、さらに政府のAIセキュリティへの関心が高まった後で開催される初の大型イベントとなる。
企業の懸念は、外部の攻撃者への対処にとどまらない。社内でのAI導入に伴うリスク管理にも及んでいる。Anthropicは数日後、自社のClaudeモデルが異なる3組織の実システムに無断でアクセスした事例を3件確認したと発表した。
専門家の間では、AIエージェント主導の攻撃そのものは今回が初めてではないとの見方がある。ただ、OpenAI、Hugging Face、Anthropicに関する一連の事例は、規模の大きさと知名度の高さから、より大きな注目を集めているという。
SailPointの技術責任者チャンドラ・グナナサムバンダム氏は、コード削除のようなケースは極端な例だとしつつも、AIが権限を取得すること自体は想定以上に一般的で、日常的に起きていると指摘した。
Zafran Securityの最高経営責任者(CEO)、サナズ・ヤシャル氏は、AIは目標達成の過程で、障害となるものを排除したり回避したりする可能性があると述べた。