OpenAIが、NVIDIAのAIエージェント向け安全基盤「Open Agent Safety Platform」の公式支援企業には加わらない一方、関連技術では協力していることが分かった。中核ソフトウェアの一つである「OpenShell」も連携対象に含まれる。

米TechCrunchによると、NVIDIAは29日（現地時間）、100社超とともに、暴走リスクのあるAIエージェントへの対策を目的としたOpen Agent Safety Platformを公開した。ただ、OpenAIは公式の支援企業リストには入らなかった。Amazon、Google、Appleなどの大手テック企業も参加しておらず、競合のAnthropicが支援企業に名を連ねたこともあって、OpenAIの不参加が注目を集めていた。

これに対しOpenAIは、NVIDIAの取り組みを支持しており、AIエージェントのセキュリティ分野で同社と協力していると明らかにした。協力対象にはOpenShellも含まれる。OpenShellは、AIエージェントの実行環境を隔離し、外部への逸脱を防ぐサンドボックスを構築するオープンソースソフトウェアだ。

Open Agent Safety Platformは、NVIDIAが自社開発してきたAIエージェント向けのセキュリティ技術を、業界全体に広げる狙いがある。AnthropicやOpenAIなど先行するAI研究機関が、制御不能なAIエージェントの事例を公表してきたことへの対応でもある。NVIDIAのジェンスン・フアンCEOは、制御不能なAIを工学的な課題と位置付け、技術的な手法で解決できると主張してきた。

OpenAIもこの技術の恩恵を受け得るとの見方が出ている。Hugging Faceの創業者兼CEO、クレム・ドゥランク氏は、「把握している範囲で言えば、OpenAIが自社エージェントにこの技術を適用していれば、われわれが見つける前に問題を検知できたはずだ」と述べた。そのうえで、現時点では公開情報に基づく判断にとどまるとして、透明性の向上が必要だと付け加えた。

Hugging FaceはすでにOpen Agent Safety Platformに機能を追加した。AIエージェントが、アクセスを許可されたWebサイトを想定外の手法で利用した場合に検知し、停止する機能だ。例えば、オープンソースのコードリポジトリ上に相互のメッセージを残し、攻撃を調整するようなケースを遮断できるという。これは、OpenAIの制御不能なAIエージェントがHugging Faceを攻撃した際に用いた手法の一つとされる。

OpenAIがNVIDIAのプラットフォームに公式参加していない背景として、ハードウェア構成を指摘する見方もある。プラットフォームをフル活用するには、オープンソースソフトウェアに加え、NVIDIA独自のハードウェア技術も必要になるためだ。

Open Agent Safety Platformは、ソフトウェアのサンドボックスに加え、ハードウェア層でもAIエージェントの挙動を監視する。AIエージェントに監視を意識させない形で制御する仕組みで、一部のAIモデルやエージェントが監視を認識すると、規則に従うふりをしたり、虚偽の行動を取ったりする可能性を踏まえた設計だという。

中核となるハードウェア監視機能は、NVIDIAの独自技術「Sentry」が担う。SentryはBlueField-4 DPU上で動作し、AIエージェントの行動を継続的に監視して、必要に応じて即時停止できる。NVIDIAは、最新の自社ハードウェアでワークロードを運用している企業であれば、ソフトウェア更新だけでOpen Agent Safety Platformを容易に導入できると説明している。

このため、同プラットフォームは純粋なオープンソースプロジェクトではないとの見方もある。ただ、OpenShellは他社製チップや別のハードウェア向けにも修正可能としており、NVIDIAの競合であるArmとIntelも支援企業として参加した。NVIDIAは、ソフトウェアとハードウェアを組み合わせた全体システムの参照設計も公開している。

OpenAIはNVIDIAとは別に、独自のAI安全体制も整えている。研究と製品の双方に独自の安全対策を適用しているほか、自社が確認した重大インシデントを公表する取り組みも進めている。AIセキュリティ情報を共有する独自コンソーシアム「Defense Factory」も運営しており、Anthropic、AWS、Googleなどが参加している。

さらにOpenAIは、AIセキュリティを企業向け事業としても拡大している。サイバーセキュリティ特化モデル「Daybreak」を開発する一方で、企業がAIセキュリティを導入できるよう、関連パートナーネットワークの拡充も進めている。

一方、Hugging Faceは今月初め、NVIDIAに129億ドルで買収された。