多名AI研究人员警告，随着前沿AI公司加快推进研发自动化，AI能力可能出现快速跃升，甚至引发所谓“智能爆炸”。据Business Insider 10月1日（当地时间）报道，AI智库GovAI研究员Allan Chan表示，一旦AI能够自主开发未来的AI模型，其研究产出将进一步推动下一轮研发迭代，进而形成持续加速的反馈回路。
Chan在接受采访时表示，可以设想这样一种情形：新的“MITOS级”时刻不再按年出现，而是按月出现在新的领域，这正是“智能爆炸”可能呈现的样貌。与“递归式自我改进”相比，他更倾向于使用“智能爆炸”这一说法，因为这样可以将“是否正在尝试推动研究自动化”与“自动化是否真正带来AI能力陡升”分开讨论。
报道指出，Chan与Anthropic联合创始人Jack Clark、OpenAI首席科学家Jakub Pachocki、Microsoft首席科学官Eric Horvitz，以及诺贝尔奖得主Geoffrey Hinton等人共同撰写了相关论文。论文作者认为，政策部门应更深入了解Anthropic、OpenAI等公司如何推进研发自动化，并建立强制性的嵌入式审计等机制。
在白宫于本周二促成的一项协议中，Anthropic、Google、OpenAI、xAI、Nvidia等公司高管同意“与独立外部审计方或评估机构合作”。不过，报道指出，这项协议的具体程度尚未达到上述论文作者所主张的水平。Donald Trump表示，这份协议仅具“道义约束力”。
论文作者预计，未来几年AI研发自动化还将继续推进，同时认为，在这一时期内，全面实现自动化的可能性也应被严肃看待。Anthropic今年6月表示，截至5月，公司获批准的代码中，超过80%由AI系统生成；而在2025年1月，Claude生成代码的占比还仅为个位数。
Chan强调，研究自动化本身并无天然的好坏之分。它可能加快医学等领域的发现进程，但与此同时，新技术演进越快，随之而来的风险也可能累积得更快。
Hyunwoo Choo
cookinpapa@d-today.co.kr