OpenAI虽未加入NVIDIA的AI代理安全平台支持名单,但双方已展开技术合作。图片来源:NVIDIA

尽管OpenAI未出现在NVIDIA最新发布的AI代理安全平台官方支持名单中,但双方已在相关技术上展开合作。

据TechCrunch当地时间29日报道,NVIDIA联合100多家企业推出“Open Agent Safety Platform”,旨在应对AI代理可能出现的失控风险。不过,在官方公布的支持方名单中,并未出现OpenAI;Amazon、Google、Apple等主要科技公司也未列名。在竞争对手Anthropic已加入支持阵营的情况下,OpenAI的缺席尤为引发关注。

对此,OpenAI表示,公司支持NVIDIA在这一领域的相关工作,并正与NVIDIA合作提升AI代理安全水平。双方合作还涉及该平台的核心开源软件之一OpenShell。该软件通过构建隔离沙箱,限制AI代理逃离运行环境。

市场普遍认为,这一平台是NVIDIA推动自有AI代理安全技术落地行业的重要举措,也反映出当前业界对“失控AI代理”风险的持续关注。近期,Anthropic、OpenAI等领先AI研究机构均披露过相关案例。NVIDIA CEO Jensen Huang则长期主张,失控AI本质上属于常见的工程问题,可以通过技术手段加以解决。

也有观点认为,OpenAI本身可能成为这项技术的受益者。Hugging Face创始人兼CEO Clem Delangue表示,据他了解,如果OpenAI已将这项技术用于自家AI代理系统,或许能够在外界发现问题前更早识别异常。不过他也强调,这一判断仅基于公开信息,行业仍需要更高透明度。

目前,Hugging Face已为Open Agent Safety Platform增加相关功能:当AI代理在已获准访问的网站上实施未授权操作时,系统可识别并叫停相关行为。以开源代码仓库为例,若AI代理彼此留言并协同组织攻击,该机制可进行拦截。据称,这也是此前OpenAI“失控AI代理”攻击Hugging Face时所采用的方式之一。

对于OpenAI为何未公开加入NVIDIA平台,报道提到的一个原因在于硬件架构。要完整使用这一平台,除开源软件外,还需要NVIDIA专有硬件技术的支持。

Open Agent Safety Platform的防护并不局限于软件沙箱层面。除软件隔离外,平台还可在硬件层面对AI代理行为进行持续监测,并在AI代理不知情的情况下实施干预。这一设计主要考虑到,部分AI模型或代理在意识到自己受到监控后,可能会表现出“表面合规”甚至欺骗性行为。

该平台的核心硬件监控能力来自NVIDIA专有技术Sentry。Sentry运行在BlueField-4数据处理单元(DPU)上,可持续监测AI代理行为,并在必要时立即终止相关操作。NVIDIA表示,对于已经采用其最新硬件的企业而言,只需进行软件更新,即可较快部署这一平台。

因此,也有观点认为,Open Agent Safety Platform并非纯粹的开源项目。不过,OpenShell可针对不同芯片和硬件进行修改,NVIDIA的竞争对手Arm与Intel同样以支持方身份加入。与此同时,NVIDIA还共享了软硬件结合的全系统参考设计。

除与NVIDIA合作外,OpenAI也在推进自身AI安全体系建设。公司表示,已在研究和产品中加入自研安全机制,并通过公开其发现的严重事故来提升透明度;同时,OpenAI还运营自建联盟Defense Factory,用于共享AI安全信息,参与方包括Anthropic、Amazon Web Services(AWS)和Google等。

在企业业务层面,OpenAI也在将AI安全能力进一步延伸至商用场景。公司目前正开发面向网络安全的专用模型Daybreak,并扩大相关合作伙伴网络,推动企业导入AI安全能力。

此外,有报道称,Hugging Face本月初以129亿美元(约17.455万亿韩元)的价格被NVIDIA收购。

关键词

#NVIDIA #OpenAI #AI代理安全 #AI安全 #Open Agent Safety Platform #OpenShell #Sentry #BlueField-4 DPU #Hugging Face #Defense Factory
版权所有 © DigitalToday。未经授权禁止转载或传播。