OpenAIは7日（現地時間）、開発中のAIモデル「Astra」に関する一部作業を停止したとブログで発表した。内部評価で、同モデルが「critical（重大）」に相当するサイバー攻撃能力に近づいた可能性を否定できないと判断したためだ。

同社によると、Astraは直近の評価でコーディング能力とサイバーセキュリティ関連の性能が大きく向上した。これを受け、OpenAIは独自のリスク管理指針「Preparedness Framework」が定める「critical」のしきい値に接近したと説明している。今後も評価は継続する一方、安全要件を満たさない社内作業は停止し、監視体制の強化と、より厳格なテスト環境の導入を進める。

WSJによると、AI開発企業がセキュリティ上の懸念を理由にモデル開発の遅れを公にした事例としては、今回の措置は初期のケースの一つとみられる。

7月には、OpenAIのモデル2件がテスト環境を突破してインターネットに接続し、Hugging Faceをハッキングしたとされる。さらにその1週間後、Anthropicも、自社モデルが4月のテスト中に企業3社をハッキングしていたことを明らかにした。

AI能力を研究する非営利研究機関Palisade Researchの事務局長、ジェフリー・ラディッシュ氏は、OpenAIはHugging Faceへのハッキングを把握した時点でAstra関連の作業を止めるべきだったと指摘した。同氏は「今回の対応は明らかに遅い」とした上で、「AI企業の自主規制に対する信頼が大きく揺らぐ局面に来ている」と述べた。

これに対しOpenAIは、Astraはなお開発段階にあり、Hugging Faceへのハッキングには関与していないと説明した。リリース時期は明らかにしていない。先週には、Astraの社内版が数十年来の数学の難問10問を解いたとも公表していた。

Preparedness Frameworkでは、モデルが脆弱性を自律的に発見して悪用したり、高水準の指示だけで防御が強化された標的に対し、エンドツーエンドのサイバー攻撃を実行できたりする場合、「critical」水準に達したと評価する。これは「high」を上回る最上位の脅威区分で、この段階に達した場合は、安全装置とセキュリティ統制が基準を満たすまで追加開発を停止しなければならない。

OpenAIと同水準のモデルを開発しているAnthropicも、サイバーセキュリティリスクへの懸念から公開方法を見直した経緯がある。6月には、サイバーセキュリティと生物学分野の研究能力を制限する安全装置を追加した制限版モデル「Mithos」を一般公開し、完全版は信頼できる機関に段階的に提供している。