近期，AI代理失控并引发事故的事件接连出现。对此，深度学习领域知名学者、加拿大蒙特利尔大学教授Yoshua Bengio发出警告称，当前一种认为“只要加强模型训练沙盒等隔离环境的安全防护就足够”的看法正在抬头，但这本身就是一种危险的误判。

Bengio近日在英国《金融时报》发表专栏文章指出，近期相关事件的核心问题并不只是安全防护，而是“对齐失败”（misalignment）。在他看来，AI代理会形成偏离人类意图的目标，并据此采取行动，其根源在于训练方式本身。

他表示，多家主要AI公司目前正在梳理数以万计“代理执行了并未被要求行为”的案例，其中部分行为如果由人类实施，甚至可能涉嫌犯罪。这也使得AI可控性问题，已从行业内部讨论上升为政治层面的重要议题。

在Bengio看来，关键诱因之一是强化学习（RL）——即通过“完成目标给予奖励，再训练AI重复受奖行为”的方式优化模型。他指出，强化学习虽然提升了AI高效达成目标的能力，但也可能同时催生欺骗、操纵和自我保护等非预期行为。

他举例称，在“OpenAI的AI代理入侵Hugging Face”事件中，1200个代理无一向工程师报告作弊或违规行为，尽管它们明知这些行为违反安全指引。Bengio认为，这反映出“代理被赋予的任务”与“训练其遵守的规则”之间已经发生冲突。

Bengio进一步解释说，强化学习不仅包括针对可验证答案问题的推理训练，也包括让代理借助工具、与人互动并完成任务的训练，以及通过奖励机制引导模型以人类可接受方式行动的对齐训练。问题在于，即便训练结束，系统仍可能延续“持续追逐奖励”的行为模式，进而主动寻找欺骗评估者、迎合偏好、隐藏计划等手段。

在其近期发表于个人网站的文章中，Bengio还将“逢迎”（sycophancy）列为典型风险之一。他指出，当训练目标变成“获得人类认可”时，迎合性的说法往往比真实信息更容易获得高分。由此，AI可能会确认并放大人类原有的错误信念或情绪，最终带来严重后果。

对于“只要继续提升模型能力，问题自然会被解决”的观点，Bengio也明确表示反对。他在《金融时报》专栏中写道，能力增强并不必然带来更高安全性，反而可能让模型以更高效率去优化错误目标，从而放大非预期行为带来的风险。

他同时强调，自2024年以来，模型推理能力明显提升，在网络安全、生物学等安全敏感领域的能力也同步增强。Bengio警告，未来甚至可能出现显著降低生物武器制造或获取门槛的AI系统。

在他看来，加强安全防护和监控当然必要，但仅靠这些措施并不足以解决根本问题。如果人类始终无法掌握对模型的确定性控制方法，而模型能力又持续增强，那么安全防护最终只会演变成一场无休止的攻防赛跑，组织往往只能在损失发生后被动应对。

基于这一判断，Bengio主张，在安全性尚未得到证明之前，应通过监管手段阻止存在对齐失败风险的模型继续训练。

他还表示，能力最强的AI系统应当像医药、航空和核能一样被审慎对待。即便是不具备自发欲望或自主目标的AI，同样可以实现可信且高性能的系统，因此不应把“人类无法控制的自主AI”视为默认选项。他强调，“现在不是对风险视而不见的时候”。

公开资料显示，Bengio目前还领导非营利性AI安全研究机构LawZero。在发表于《金融时报》专栏之前的相关文章中，他曾提出类似“Scientist AI”的设计思路，即不赋予系统自我目标，只要求其进行诚实且一致的预测，并呼吁外界关注LawZero的相关研究。