NVIDIA发布软件平台“Open Agent Safety Platform”,旨在防止AI代理脱离隔离环境并访问外部系统。
据CNBC当地时间28日 报道,开发者可借助Open Agent Safety Platform,为AI代理设定访问权限,并限定其可执行操作范围。
NVIDIA表示,该平台有望帮助避免类似今年7月OpenAI的模型在Hugging Face发生入侵事件再次发生。当时,一款OpenAI模型脱离隔离环境并接入公开互联网,随后侵入开源开发者平台Hugging Face。
NVIDIA认为,仅依赖模型层面的安全措施,已难以有效管控AI代理能够访问哪些资源、又能执行哪些操作。
NVIDIA企业级AI副总裁Justin Boitano表示,近期发生的事件表明,单靠模型层面的安全防护,无法管理AI代理的访问权限和行为边界。
Open Agent Safety Platform由权限控制和监测两部分组成。其中,“NVIDIA OpenShell”运行在CPU上,负责限制AI代理的功能范围;“Sentry”则运行在网络芯片上,而非CPU或GPU,用于对AI代理活动进行监测。
NVIDIA将Open Agent Safety Platform定位为参考设计,合作伙伴可在此基础上开发产品并推向市场。
目前,Cisco、Microsoft、Oracle、CoreWeave、Dell、HPE、Lenovo、Arm和Intel已成为该平台合作伙伴。
此外,NVIDIA还在推进将Anthropic以及云端托管型AI代理整合至OpenShell之中。