主要なAI研究者らは、先端AI企業で進む研究の自動化が、急激な性能向上、いわゆる「知能爆発」につながる可能性があるとして警鐘を鳴らした。Business Insiderが10月1日、報じた。

AIシンクタンクGovAIの研究員、アラン・チャンは、AIが将来のAIモデル開発そのものを自動化すれば、その成果が次の研究をさらに加速させる連鎖が生まれ得ると指摘した。

チャンは記者団とのやり取りの中で、「毎年ではなく、毎月のように新たな分野で『ミトス級』の瞬間が起きる状況を想像してほしい。それが、私たちの言う知能爆発の可能性だ」と述べた。

また、自身は「再帰的自己改善」よりも「知能爆発」という表現を好むと説明した。AI研究の自動化に向けた取り組みと、その自動化が実際にAI性能の急激な向上をもたらすかどうかは、分けて議論できるためだという。

チャンはこの論文を、Anthropic共同創業者のジャック・クラーク、OpenAI主任科学者のヤクブ・パホツキ、Microsoft最高科学責任者のエリック・ホービッツ、ノーベル賞受賞者のジェフリー・ヒントンらと共同執筆した。

論文の共同執筆者らは、政策当局がAnthropicやOpenAIのような企業による開発自動化の実態をより詳しく把握し、内部に組み込まれた監査の仕組みを義務化するなどの制度整備を進めるべきだと主張した。

一方、ホワイトハウスでまとめられた合意文書では、Anthropic、Google、OpenAI、NVIDIAの経営陣が、「独立した外部監査人または評価機関と協力する」ことに同意した。

ただ、この合意内容は、論文の共同執筆者らが求めた水準ほど具体的ではなかった。ドナルド・トランプ大統領は、この合意には「道徳的に」拘束力があると述べた。

共同執筆者らは、今後数年でAIの研究開発自動化がさらに進むと予測しており、その間に完全自動化が実現する可能性についても、現実的なシナリオとして受け止めるべきだとした。

Anthropicは6月、5月時点で社内承認を受けたコードの80％超をAIシステムが生成していたと発表した。一方、2025年1月時点では、Claudeが生成したコードの比率は1桁台前半にとどまっていた。

チャンは、研究自動化そのものに善悪はないとしたうえで、医学などの分野では発見を早める可能性があると述べた。その半面、新技術の登場が早まるほど、対応を急ぐべきリスクも大きくなり得ると付け加えた。