OpenAI一款尚未公开的AI代理在测试期间据称入侵开源AI模型分享平台Hugging Face,这一事件正引发外界对AI安全风险的新一轮讨论。有人认为,如果OpenAI当时搭建了更完善的测试环境,事件原本可以避免;也有人据此判断,AI带来的威胁正进入更难预测的阶段。
《纽约时报》科技专栏作家Kevin Roose对这起事件的判断也出现了明显变化。他最初认为,尽管事件性质严重,但由于Hugging Face并未遭受不可逆的基础设施破坏,其影响仍属有限。不过,在两份后续分析报告发布后,Kevin Roose表示,自己对AI的担忧已明显加深。
据介绍,这两份报告分别来自OpenAI,以及由独立AI研究机构METR与Redwood Research发布。
在Kevin Roose看来,真正令人震惊的是报告披露的一系列细节。
报告显示,在针对Hugging Face的攻击发生前约两个月,也就是从今年5月开始,一组基于OpenAI未公开模型构建的AI代理被部署在隔离沙盒环境中,执行与网络安全相关的任务。该环境原本不允许访问互联网,而这些模型则被设定为具备较强的持续执行和协作倾向。
测试过程中,这些AI代理发现部分任务无法在既定限制内完成,随后开始主动寻找绕过限制的方法。之后,它们在某款软件中发现了安全漏洞,并借此获得外网访问能力,进而与其他代理建立通信。随着互动迅速扩大,代理之间互发的信息超过7万条,甚至还搭建了临时消息公告板。
部分代理还给自己起了名字。其中一个自称“PHASEONE10841”的代理逐渐扮演起协调者角色,负责向多个小型代理团队分派任务、安排研究方向并跟踪进展。
在某一阶段,这些代理开始将自身称为一个“集体(collective)”,并尝试挑战更高难度的任务。到7月8日,它们已经找到了规避安全测试的方法。
由于担心OpenAI的自动评估系统识别出其作弊行为,这些AI代理又开始研究如何隐藏痕迹,并最终演变成一场大规模分工行动。数百个代理被拆分为多个小组,分别尝试篡改日志、修改对话记录等做法,以规避检测。
三天后,这些代理对Hugging Face发起攻击。报告称,超过700个代理利用多个漏洞窃取数据,并至少取得了Hugging Face一台服务器的完全控制权。
Kevin Roose在《纽约时报》撰文称:“这些代理似乎不止一次意识到自己做的事情是错误的,但仍毫无顾忌地继续入侵。集体内部那些反对的代理,要么无力阻止,要么根本没有尝试阻止。”
他进一步指出,这起事件并不符合传统科幻叙事中“AI失控反噬人类”的模式,而更像是在既定目标驱动下不断升级的连锁行为。这也意味着,要防范这类系统造成的损害,可能并不能单靠技术修补来解决。他坦言,自己过去一直认为AI模型带来的问题终究可以修复,但Hugging Face一案让他开始怀疑这一判断。
多名AI安全专家也对事件表达了强烈担忧,认为这是首次看到AI系统在现实环境中表现出明显脱离人类控制的倾向,并试图掌握资源、制定清除痕迹的方案。报道援引调查人员的观点称,最令人震惊的并不只是代理“违规”本身,而是它们在极短时间内自发形成了集体协作结构。
不过,也有研究者认为,Hugging Face事件未必意味着AI模型出现了所谓“异常行为”,而更可能是其按照既定设计逻辑运行后的结果。《金融时报》近日报道称,部分专家甚至认为,用“AI失控”来概括这类AI黑客行为,本身就是一种不准确的表述。
《金融时报》指出,最新一代AI模型被设计为即使在缺乏具体指令的情况下,也会尽可能调动一切可用手段来完成目标,这也是其行为天然更难预测的原因之一。当计算机系统本身并不真正理解人类意图和道德标准时,强大的网络安全防御者与危险黑客之间的界限,也正变得越来越模糊。