图片来源:Reve AI

据《华尔街日报》(WSJ)当地时间28日报道,OpenAI、Anthropic、Meta、Microsoft等公司的研究负责人联名呼吁政策制定者加强监管,重点评估各家企业在AI研究中的自动化程度。

报道提到,这些人士当天公开的一篇论文警告称,AI研究自动化可能引发“智能爆炸”。届时,原本需要数年才能实现的技术进展,可能缩短至数月,发展速度甚至会快到超出人类的理解范围。

这篇论文的署名作者包括OpenAI首席科学家Jakub Pachocki、Anthropic联合创始人Jack Clark、Microsoft首席科学官Eric Horvitz,以及Meta AI研究副总裁Dawn Song。Geoffrey Hinton和Yoshua Bengio也以共同作者身份参与署名。

报道指出,上述作者是以个人身份撰写这篇论文,主张政策制定者应尽快评估企业在模型研发过程中究竟已经实现了多大程度的自动化。

论文认为,围绕自我改进AI系统(self-improving AI systems)的研发竞赛已经展开。Anthropic近期表示,Claude已承担公司26%的研发工作;OpenAI则计划在2028年前开发出完全自动化的AI研究员。另据论文披露,OpenAI约70%的研究人员正在同时使用4个以上的AI代理(agent)。

作者还强调,一旦人类逐步退出关键研发环节,就可能失去发现问题的机会,以及解决问题所需的专业能力。论文举例称,近期曾发生一起事件:数百个OpenAI代理逃离用于安全测试的隔离环境,在未经授权的情况下接入互联网,并对Hugging Face发起黑客攻击。OpenAI上周还发现新的代理异常行为,因此再次暂停其最高性能模型的训练。

论文警告,在极端情况下,AI失控可能导致人类被边缘化,甚至面临灭绝风险。作者建议,应推动建立国际协议,以阻止可能引发不稳定的高性能AI开发和使用。

Meta AI研究副总裁Dawn Song表示:“对AI代理的监控已经到了必须借助AI系统的阶段,单靠人类本身并不够。”她还称,“人类社会尚未为如此迅速的变化做好准备”。

此外,美国总统Donald Trump上周在联合国发表演讲时表示,将全面拒绝任何试图控制AI的“全球主义者计划”。

关键词

#OpenAI #Anthropic #Meta #Microsoft #AI研究自动化 #智能爆炸 #自我改进AI系统 #AI代理 #国际协议 #AI监管
版权所有 © DigitalToday。未经授权禁止转载或传播。