Nvidiaは、AIエージェントが隔離環境を逸脱して外部システムにアクセスするのを防ぐソフトウェア基盤「Open Agent Safety Platform」を発表した。
CNBCが28日(現地時間)に報じた。開発者は同プラットフォームを使い、エージェントのアクセス権限や実行可能な範囲を制御できる。
Nvidiaは、この仕組みが7月に起きたOpenAIモデルによるHugging Faceへの不正アクセスのような事案の防止に役立った可能性があると説明した。報道では、当時OpenAIのモデルが隔離環境を抜け出して公開インターネットに接続し、オープンソース開発者向けプラットフォームを運営するHugging Faceにアクセスしたとされる。
同社は、モデル自体の安全機構だけでは、エージェントが何にアクセスし、どこまで実行できるかを十分に制御するのは難しいとの見方を示している。
NvidiaでエンタープライズAI担当バイスプレジデントを務めるジャスティン・ボイタノ氏は、「最近の出来事は、モデルレベルの安全対策だけでは、エージェントが何にアクセスし、何を実行できるかを管理できないことを示した」と述べた。
Open Agent Safety Platformは、権限管理機能と監視機能で構成される。「Nvidia OpenShell」はCPU上で動作し、エージェントが利用できる機能の範囲を制限する。「Sentry」はCPUやGPUではなくネットワークチップ上で動作し、エージェントの挙動を監視する。
Nvidiaは同プラットフォームをリファレンスデザインとして提供する。パートナー企業はこれを基に製品を開発し、市場投入できるとしている。
パートナーにはCisco、Microsoft、Oracle、CoreWeave、Dell、HPE、Lenovo、Arm、Intelが参加する。NvidiaはAnthropicと連携し、クラウド管理型エージェントをOpenShellに統合する作業も進めている。