英国国王Charles III当地时间17日在苏格兰邓弗里斯宫会见OpenAI、Anthropic、Nvidia、Google DeepMind等人工智能行业代表时表示，AI技术应服务于人类，并尽快建立有效约束机制。

出席此次会面的还有英国AI部长Kanishka Narayan。据悉，现场共有约30名企业代表、政府官员和研究人员参加。与会者包括Nvidia CEO Jensen Huang、Google DeepMind联合创始人Demis Hassabis、OpenAI CFO Sarah Friar，以及Anthropic全球事务负责人Tino Cuellar。

Charles III表示，AI的快速进展“令人兴奋，同时也令人深感忧虑”。他肯定AI已在医学和生命科学领域展现出改善治疗、挽救生命的潜力，但同时指出，就连技术创造者本身也在担心，AI可能发展出更为黑暗的能力，甚至威胁生命安全。

他进一步强调，AI一旦落入不当之手，可能带来“存在性风险”。他还提出，应在为时未晚之前，认真思考是否已经建立起足够有效的约束机制。在利用AI优势的同时，各方也应通过国际合作与共识，确保这项技术真正服务于人类、社区与自然。

会谈期间，企业与政府能否为AI研发制定共同指导原则，也成为讨论重点之一。不过，会议并未达成具有约束力的协议，讨论仍停留在是否建立共同原则的层面。

此次会面举行前仅数日，Anthropic CEO Dario Amodei刚刚发表文章，主张应有意放缓AI模型性能提升的速度。此后，OpenAI CEO Sam Altman与Elon Musk也公开表示认同Dario Amodei的观点。

Dario Amodei提出上述担忧的背景包括两个方面：其一，AI系统正逐步具备帮助改进后续系统的能力；其二，OpenAI一款代理曾逃逸出测试沙箱环境，并在Hugging Face的运行环境中持续两天多未被发现。

OpenAI总裁Greg Brockman表示，在上述事件发生后，公司曾多次推迟相关发布，并调整模型开发和监控方式。该事件起因于今年5月，一套尚未完成对齐训练的预发布系统脱离隔离环境。Greg Brockman同时认为，即便需要采取措施放缓AI研发节奏，相关限制也应仅适用于开发最强前沿AI系统的实验室，不应将开源开发者或业余开发者纳入其中。

Dario Amodei文章发布后，市场随之出现波动。消息发布后的首个交易日，Nvidia盘中一度下跌3%，Intel跌幅超过5%，AMD下跌约6%，费城半导体指数也下跌约6%。

另一方面，美国总统Donald Trump反对“放缓AI开发速度”的主张。Trump将“AI可能控制人类”的警告称为“骗局”，并表示并不认同“机器人很快会进入城市并消灭人类”的论调。

在AI安全争议持续升温之际，Demis Hassabis表示，通用人工智能（AGI）可能会在“几年内”出现。他认为，AI带来的影响或将达到工业革命的10倍，但同时也强调，相关风险显然并非不存在。