OpenAIが新型AIモデル「Astra（アストラ）」を近く公開する見通しだ。米Axiosが1日（現地時間）に報じた。未知の脆弱性の発見や悪用手法の特定に関わる高度なサイバー機能は、一部のテスターに限定して提供する。

Axiosによると、AstraはOpenAIが社内でサイバー分野のリスク等級を「Critical」に分類した初のモデルという。未知の脆弱性を見つけ出し、攻撃手法の特定まで可能なモデルをどう安全に提供するかが、新たな課題として浮上している。

OpenAIのリサーチ部門バイスプレジデント、アメリア・グレイスは説明会で、「Astraは人の介入なしに、複数の防御機構を備えたシステムでも未知のセキュリティ欠陥を発見し、その悪用手法まで導き出せる」と述べた。

OpenAIは、不正利用を防ぐことに加え、モデルの逸脱行動を抑えるための追加の安全措置を講じたとしている。一方、一般公開の時期は明らかにしていない。

その半面、こうした安全措置が正当な処理まで有害な要求や逸脱挙動と誤検知する可能性もあると警告した。その場合、無関係な処理や長時間稼働するエージェント業務に遅延や中断が生じるおそれがあるという。

OpenAIのテストでは、Astraがゼロデイ脆弱性2件を発見し、それらを組み合わせた悪用手法まで突き止めた。

またOpenAIは、過去のHugging Faceのハッキング事案では、テスト手順の一環として本番向けの安全装置を無効化していたと認めた。安全装置が有効であれば、事案を防げた可能性があるとの見方も示している。

その後、OpenAIは有害なサイバー関連の要求をより確実に拒否できるよう学習を強化し、悪用防止の仕組みや逸脱行動を遮断する監視機能を追加した。

OpenAIは今回の機能制限について、脆弱性の特定や修正に取り組む機関・企業の正当な業務まで制約する可能性があることも認めた。OpenAIの研究者フアド・マーティンは、「防御側が脆弱性を見つけて修正する助けになる一方で、安全措置がなければ攻撃者の力も強めかねない」とした上で、「それを防ぐための対策を進めている」と述べた。