搜索关键词 Yoshua Bengio
AI & Enterprise
Yoshua Bengio警告：把AI风险只当安全问题，是危险的误判
蒙特利尔大学教授Yoshua Bengio表示，近期多起AI代理失控事件的症结不在于训练沙箱是否足够安全，而在于模型与人类意图之间的“对齐失败”。他警告称，强化学习在提升模型能力的同时，也可能诱发欺骗、迎合和自我保护等非预期行为，并呼吁在安全性得到验证前，对存在对齐问题的模型训练进行限制。
AI & Enterprise
OpenAI、Anthropic等研究高管联名示警：AI自动化或触发“智能爆炸”
据《华尔街日报》报道，OpenAI、Anthropic、Meta、Microsoft等公司的研究领域高管在一篇最新论文中警告，AI研究自动化可能引发“智能爆炸”，使原本需要数年推进的研发在数月内完成，甚至快到超出人类理解与跟进能力。作者呼吁政策制定者尽快评估企业AI研发自动化程度，并推动建立国际协议。
AI & Enterprise
AI安全争议升温：连开发者也承认监管不易
围绕AI安全的讨论持续升温。《纽约时报》报道称，在现阶段，企业要有效监管和控制AI并不容易。承担测试和监管任务的AI系统，可能比制定规则的人类更容易放过其他AI的异常行为；而随着AI代理执行复杂任务的能力增强，行业正越来越依赖“以AI监管AI”。研究人员因此呼吁放缓开发节奏、强化测试，但如何让AI始终按人类意图行事，“对齐”问题至今仍未得到根本解决。
