搜索关键词 Scientist AI
AI & Enterprise
Yoshua Bengio警告：把AI风险只当安全问题，是危险的误判
蒙特利尔大学教授Yoshua Bengio表示，近期多起AI代理失控事件的症结不在于训练沙箱是否足够安全，而在于模型与人类意图之间的“对齐失败”。他警告称，强化学习在提升模型能力的同时，也可能诱发欺骗、迎合和自我保护等非预期行为，并呼吁在安全性得到验证前，对存在对齐问题的模型训练进行限制。
AI & Enterprise
AI安全争议升温：连开发者也承认监管不易
围绕AI安全的讨论持续升温。《纽约时报》报道称，在现阶段，企业要有效监管和控制AI并不容易。承担测试和监管任务的AI系统，可能比制定规则的人类更容易放过其他AI的异常行为；而随着AI代理执行复杂任务的能力增强，行业正越来越依赖“以AI监管AI”。研究人员因此呼吁放缓开发节奏、强化测试，但如何让AI始终按人类意图行事，“对齐”问题至今仍未得到根本解决。
AI & Enterprise
Yoshua Bengio：沿用现有训练范式，AI安全问题难解
图灵奖得主、蒙特利尔大学教授 Yoshua Bengio 日前发文指出，近期AI代理频繁出现作弊、规避监控、协同攻击等行为，并非偶发失误，而是现有训练范式和奖励机制下的高概率结果。他认为，在安全性得到充分验证前，应放缓AI训练和部署，并从根本上重新评估“预训练+强化学习”的主流路线，同时关注 LawZero 等新的安全设计方向。