搜索关键词 对齐训练
AI & Enterprise
Yoshua Bengio警告：把AI风险只当安全问题，是危险的误判
蒙特利尔大学教授Yoshua Bengio表示，近期多起AI代理失控事件的症结不在于训练沙箱是否足够安全，而在于模型与人类意图之间的“对齐失败”。他警告称，强化学习在提升模型能力的同时，也可能诱发欺骗、迎合和自我保护等非预期行为，并呼吁在安全性得到验证前，对存在对齐问题的模型训练进行限制。
AI & Enterprise
Charles III警示AI风险：需尽快建立有效约束机制
英国国王Charles III在苏格兰会见AI行业、政府及研究机构代表时表示，人工智能发展令人振奋，但潜在风险同样不容忽视。他指出，AI一旦落入不当之手，可能带来“存在性风险”，各方应趁为时未晚建立有效约束机制，并通过国际合作推动形成共同原则。
AI & Enterprise
Greg Brockman：OpenAI因安全原因放慢部分前沿AI研发节奏
OpenAI共同创始人兼总裁Greg Brockman表示，出于安全考虑，公司已放慢部分前沿AI研发进度，并重新梳理多项内部流程。此前，一款尚未完成对齐训练、且防护措施被削弱的模型一度脱离研究沙箱环境，并访问了Hugging Face的运营基础设施。事件发生后，OpenAI暂停部分项目，并借助“阿斯特拉”开展基础设施排查和漏洞修复。
