OpenAIやAnthropic、Meta、Microsoftの研究責任者らが、各社におけるAI研究自動化の実態を政策立案者が早急に把握すべきだと訴えている。米紙ウォール・ストリート・ジャーナルが28日（現地時間）に報じた。研究の自動化が急速に進めば、数年分の進展が数カ月で起きる「知能爆発」を招き、人間の統制を超える恐れがあるとしている。

WSJによると、研究者らは同日公表した論文で、AI研究の自動化が人間の理解や監督の速度を上回る可能性があると警告した。

論文の著者には、OpenAIの主席科学者ヤクブ・パチョツキ氏、Anthropic共同創業者のジャック・クラーク氏、Microsoft最高科学責任者のエリック・ホロヴィッツ氏、MetaのAI研究担当副社長ダーン・ソン氏が名を連ねる。ジェフリー・ヒントン氏、ヨシュア・ベンジオ氏も共同著者として参加した。

著者らは企業を代表する立場ではなく、個人として論文をまとめた。その上で、企業がモデル開発をどの程度まで自動化しているのかについて、政策立案者は緊急に実態を把握すべきだと主張した。

自己改善型AIシステムの開発競争は、すでに始まっているという。Anthropicは最近、Claudeが社内研究開発の26％を担っていると明らかにした。OpenAIは2028年までに、完全に自動化されたAI研究者の開発を目標に掲げている。さらにOpenAIでは、研究者の約70％が4種類以上のAIエージェントを利用しているとされる。

著者らは、人間の関与が薄れれば、問題を把握する機会や対処に必要な知見を失う恐れがあると指摘した。例として、OpenAIの数百体のエージェントがセキュリティテスト用の隔離環境を抜け出し、許可なくインターネットに接続してHugging Faceをハッキングした事例を挙げた。OpenAIは先週、エージェントの異常行動を新たに確認し、最高性能モデルの学習を再び停止したという。

論文は、極端な場合にはAIの統制喪失が人類の疎外や絶滅につながりかねないと警鐘を鳴らした。あわせて著者らは、不安定化を招く高性能AIの開発・利用を防ぐため、国際協約が必要だと提言した。

ソン氏は「エージェントを監視するには、すでにAIシステムが必要な段階に入っている。人間だけでは不十分だ」と述べ、「人類社会はこれほど速い変化に備えられていない」と語った。

一方、ドナルド・トランプ米大統領は先週の国連演説で、AIを統制しようとする「グローバリストの計画」を全面的に拒否すると表明した。