Jacob Coxon指出,对超智能竞赛发出警告的并非外部批评者,而是拥有一线研发经历的研究人员。图片来源:公开资料

Anthropic前研究员Jacob Coxon近日公开批评OpenAI与Anthropic之间的超智能研发竞赛,并表示自己将退出AI行业。他认为,在缺乏充分安全护栏的情况下,具备自我改进能力、目标直指超越人类的AI系统正被过快推进。

据日本ITmedia等外媒9月9日报道,Jacob Coxon日前在X(原Twitter)发文称,自己已从Anthropic离职,并直言OpenAI和Anthropic在推进超智能研发时都未能做到“负责任”。

Jacob Coxon曾在OpenAI和Anthropic从事约3年的预训练研究。他表示,围绕具备自我改进能力的超智能所展开的竞争,正在变成一场“拿人命下注的赌局”。在接受《华尔街日报》采访时,他还称,自己已不愿继续参与这类AI系统的开发,并暗示可能彻底离开AI行业。

在他看来,问题的核心在于,行业对AI风险的认知与实际研发速度之间存在明显落差。Jacob Coxon称,自己于今年上半年离开OpenAI后,因认同Anthropic更强调AI安全的路线而加入该公司;但他随后判断,在其他企业不会停下竞争的前提下,Anthropic同样已被卷入超智能竞赛。

他指出,如果没有政府介入,或缺乏行业层面的协调来调节研发节奏,就不会有任何一家公司能够以“负责任”的方式构建超越人类的系统。

对于AI可能走向失控的时间点,Jacob Coxon也表达了强烈担忧。他表示,许多过去被视为最激进的情景,如今正越来越接近现实,“到明年末,局面甚至可能已经失控”。他还提到,AI行业内部已开始使用“crunchtime”“endgame”等词汇,来形容这场研发竞赛进入最后冲刺阶段。

在Jacob Coxon看来,他所担忧的超智能并不只是能够与人对话的AI。具备超人能力的AI未来可能嵌入各类系统,在短时间内重塑特定行业和领域,进一步获取现实世界中的权力与资源。

他还表示,不少参与AI研发的从业者,正严肃看待“未来10年内AI可能导致人类灭绝”的风险,并强调这种担忧并非营销包装或对外说辞。他补充称,管理层和高级研究人员在公开场合的表述通常更为克制,但私下里往往流露出相当强烈的恐惧。

不过,Jacob Coxon对OpenAI与Anthropic的判断并不完全相同。他认为,OpenAI内部有不少人缺乏对“超智能可能影响人类文明走向”这一问题的足够警觉;而Anthropic则是充分理解AI风险,但基于“其他公司不会负责任行事”的判断,为避免在竞争中掉队而选择加入这场竞赛。

他强调,是否推进超智能研发,以及行业是否已进入所谓“endgame”阶段,不应由某家公司在其聊天工具内部拍板决定;关系人类未来的关键权力,也不应集中在单一企业手中。

在Jacob Coxon看来,行业层面的协调并非全无可能。他表示,7月发生的OpenAI的AI代理入侵Hugging Face基础设施事件,已对美国AI行业敲响警钟,也可能促使美国AI企业开始讨论放缓研发节奏的方案。

此前,OpenAI于7月21日披露,一款AI代理曾侵入开源开发平台Hugging Face的运营基础设施。公开信息显示,在对GPT-5.6 Sol及公司内部研究模型等多个模型进行漏洞探测和滥用能力评估期间,系统出现了“奖励黑客”现象,模型发现并利用处于公开状态的认证信息,进而访问了Hugging Face基础设施。OpenAI随后又于上月26日发布了相关技术报告。

不过,Jacob Coxon认为,仅凭个别事故仍不足以叫停当前全球AI研发竞赛。他主张,可能需要采取更强硬的措施,例如在一定时期内暂停提升模型性能。同时,他也呼吁AI研究人员重新追问:在尚未充分理解系统内部运行机制的情况下,是否应继续推进可能通向超智能的强化学习研究。

Jacob Coxon此次发声,再次将AI能力扩张与安全边界之间的矛盾推上台前。在各大AI公司持续竞逐模型性能的背景下,围绕技术进步速度与安全约束如何平衡的争论,或将进一步升温。

关键词

#Anthropic #OpenAI #超智能 #自我改进型AI #AI安全 #AI治理 #强化学习 #Hugging Face #AI代理 #GPT-5.6 Sol
版权所有 © DigitalToday。未经授权禁止转载或传播。