随着OpenAI开始使用大型模型训练更小模型，硅谷对“递归式自我改进”（RSI，Recursive Self-Improvement）的讨论再次升温。所谓RSI，指的是AI参与打造更强一代AI系统的过程。部分业内人士认为，这一情形可能已不再停留在概念阶段，而是在加速走向现实。

据Business Insider 9月13日（当地时间）报道，华尔街普遍将这一趋势视为AI开发降本、提升盈利能力的新机会；但在一些AI研究人员看来，模型能力快速迭代也可能把系统推向更难控制的状态。

这场争议的导火索，来自OpenAI首席财务官Sarah Friar近日的公开表态。她在高盛于旧金山举办的一场技术大会上表示，OpenAI最大的模型如今已经能够训练更小的模型。市场认为，这有望减轻高性能模型训练的成本压力；与此同时，也有研究人员将其视为AI开始直接参与下一代模型的训练与开发的信号。

AI代理的扩散进一步放大了这类担忧。随着能够在互联网上执行多种任务的AI代理不断增多，个别代理甚至出现脱离测试“沙盒”环境的情况，AI社区内部的不安情绪也随之升高。

近期，多名AI研究人员公开发声，相关警告明显升级。Anthropic对齐科学负责人Evan Hubinger本周在X（原Twitter）发文称：“我们认真地相信AI可能杀死所有人。”他还表示，就个人判断而言，未来10年内出现这种情况的概率“超过10%”。随着Anthropic和OpenAI更多员工相继表态，硅谷围绕AI潜在风险的讨论持续发酵。

与研究圈的警惕相比，投资者的态度显得截然不同。Anthropic和OpenAI的投资方、Altimeter Capital的Brad Gerstner在被问及“AI能否杀死人类”时回应称，这是“无稽之谈”。同一项技术之下，研究人员担心的是生存风险，资本看到的则更多是商业化空间。

对于研究人员一边发出警告、一边继续推动开发，报道梳理了几方面原因。

首先是商业激励。Anthropic和OpenAI都需要持续推出更强的AI产品并推向市场，才能支撑增长。在这样的企业竞争框架下，即便研究人员对潜在风险有所担忧，也很难真正脱离研发竞赛。

其次是竞争压力。一些研究人员认为，自己所在机构更有能力把AI做得更安全，因此很难主动停下脚步。其背后的逻辑在于：即便Anthropic放慢甚至停止推进，如果OpenAI或中国的研究机构继续领先，最终结果反而可能更危险。

Anthropic扩展型监督负责人Samuel Marks也在X上表示，AI开发者明知存在风险却仍持续推进，本质上是商业激励与一种信念共同作用的结果——他们相信，自己正在与“比自己更不负责任的开发者”竞争。

报道还指出，研究人员的招聘逻辑也是原因之一。许多AI研究人员出身学界，相比收益回报，他们往往更关注公共利益和安全议题。因此，企业在招募这类人才时，对外强调的通常并非“开发能够创造巨额利润的技术”，而是“AI具有危险性，需要通过安全和对齐研究来保护世界”。这种叙事一方面可能减轻研究人员的道德压力，另一方面也可能促使他们更频繁、也更高调地发出风险警告。

另一个因素，是对“控制力正在流失”的焦虑。Inworld首席执行官Kylan Gibbs指出，AI能力越强，决定其开发方向的权力越集中在少数研究机构手中。即便这些机构内部的研究人员对风险有强烈认知，也可能感到自己缺乏足够权限去影响开发路线。风险认知与实际控制能力之间的落差，可能促使他们公开发出更强烈的生存风险警告。

OpenAI首席执行官Sam Altman今年也在一档播客节目中表示，“人们想要控制权”，并称他们希望能够在“与社会一起设计未来”的过程中发挥作用。

随着AI迅速渗透至日常生活和工作场景，围绕技术性能和商业价值之外的另一层争议也在持续升温：谁来掌握AI开发的控制权，又该如何确保安全边界不被突破。