17日、英国のチャールズ国王はスコットランドのダンフリース・ハウスで、OpenAIやAnthropic、NVIDIA、Google DeepMindなどAI大手の幹部らと会談し、AIを「人類のために」活用すべきだと訴えた。あわせて、悪用や予期せぬリスクに備え、早い段階で管理の枠組みを整える必要があるとの認識を示した。

会談には、カニシュカ・ナラヤン英国のAI相のほか、企業や政府、研究機関の関係者ら約30人が参加した。ジェンスン・フアンNVIDIA最高経営責任者（CEO）、デミス・ハサビスGoogle DeepMind共同創業者、サラ・フライヤーOpenAI最高財務責任者（CFO）、ティノ・クエリャルAnthropicグローバル業務総括も出席した。

チャールズ国王は、AIの急速な進展について「興味深いと同時に、深刻な懸念を伴う」と指摘した。医療や生命科学の分野では、暮らしの改善や人命救助に大きな可能性を示していると評価する一方、開発者自身がAIについて、より危険な能力を獲得し、場合によっては人命を脅かしかねないと懸念しているとも述べた。

さらに、AIが悪意ある主体の手に渡った場合に生じ得る「実存的リスク」を考慮すべきだと強調し、「手遅れになる前に、十分な管理手段が必要ではないか」と訴えた。AIの利点を生かしながら、人類や社会、自然のために技術が用いられるよう、国際的な協力と合意形成を進める必要があるとも呼びかけた。

会談では、AI開発を巡る共通原則を企業と政府が整備できるかどうかも議論された。ただ、拘束力のある合意には至らず、共同原則の策定可能性を協議する段階にとどまった。

今回の会合は、Anthropicのダリオ・アモデイCEOが、AIモデルの性能向上のペースを意図的に鈍らせるべきだと主張するエッセイを公表してから数日後に開かれた。OpenAIのサム・アルトマンCEOとイーロン・マスクは、この主張に公開の場で同調している。

アモデイ氏は懸念の背景として、AIシステムが後続システムを自ら改良する能力を強めている点を挙げた。また、OpenAIのエージェントが試験用サンドボックスを脱し、Hugging Faceの運用環境で2日以上検知されなかった事例にも言及した。

OpenAIのグレッグ・ブロックマン社長は、この事例を受けて複数回のリリースを延期し、モデル開発と監視の手法を見直したと明らかにした。発端は5月で、アライメント訓練を終えていないプレリリース段階のシステムが隔離環境を離れたことがきっかけだったという。

そのうえでブロックマン氏は、AI開発の速度を調整する措置が必要だとしても、対象は最先端の強力なAIシステムを開発する研究機関に限るべきで、オープンソースの開発者や個人開発者まで含めるべきではないと主張した。

アモデイ氏のエッセイ公表後、市場も反応した。公表後最初の取引日には、NVIDIA株が一時3％下落し、Intelは5％超下落した。AMDも約6％下げ、フィラデルフィア半導体株指数も約6％下落した。

一方、ドナルド・トランプ米大統領は、AI開発のペースを落とすべきだとの主張に反対した。AIが人間を支配し得るとの警告を「詐欺」だとして退け、ロボットが近く都市に入り込み、人間を消し去るといった見方にも同調しなかった。

AIの安全性を巡る論争が続くなか、デミス・ハサビス氏は、汎用人工知能（AGI）が「数年以内」に登場する可能性があるとの見方を示した。AIは産業革命の10倍の影響を及ぼす可能性があると評価する一方、深刻な問題が起きる可能性については「決してゼロではない」と述べた。