Anthropicのダリオ・アモデイ最高経営責任者（CEO）は、人間を上回るAIが極めて大きな力をもたらす可能性がある一方、社会がそれを適切に受け止め、管理する準備を整えているかはなお不透明だと警鐘を鳴らした。開発の停止を求めるのではなく、責任ある開発を支える統治の枠組みを整える必要があるとの考えを示した。

ITメディアのTechRadarが6月3日（現地時間）に報じた。アモデイ氏は年初に執筆したエッセーで、超高度なAIの登場は単なる技術進歩にとどまらず、人間の理解や制御の限界を改めて問うものになると指摘した。

論点となっているのは、AIが人間の能力水準を超える段階に達した場合だ。科学界やテック業界では、AIが新たな知識を生み出し、自律的に行動し、自己改善を重ねる段階に到達する可能性が繰り返し議論されてきた。

こうした見方は、そのまま実存的リスクを巡る議論にもつながる。将来のAIが極めて強力になれば、人間の側で十分に抑制できなくなる恐れがあるためだ。

アモデイ氏は特に、人類が今後生み出す技術を使いこなす準備すら十分にできていない可能性があるとみている。「人類は想像もできないほどの力を手にする直前にあるが、それを扱うだけの成熟さを備えているかはまだ分からない」と述べた。

技術開発競争が加速するほど、性能向上そのもの以上に、その技術を社会としてどう扱うかが大きな課題になるという認識を示した形だ。

同氏が訴える方向性は、AI開発の停止ではない。民主主義体制の下で、責任あるAI開発を進めるべきだと強調した。

その一方で、権威主義体制や敵対的な国家が独自にAI開発を進めることには、一定の障壁を設けるべきだと主張した。AIの主導権争いが国家戦略の領域に広がるなか、重要なのは技術力だけでなく、誰がどのような統治の下で開発を担うのかだというメッセージといえる。

こうした発言は、Anthropicの存在感が高まっている足元の状況とも重なる。同社は今年、競合のOpenAIと並び、AI業界で急速に存在感を強めている。

もっとも、アモデイ氏は会社の成長とは別に、以前からAIの行方と社会の備えについて公の場で議論を続けてきた。足元では、そうした警告のトーンが一段と強まっているとみられる。

市場や業界の関心は、AGI（汎用人工知能）がいつ実現するのかに集まっている。開発競争はすでに本格化しており、科学者の見方も、早ければ今年後半から今後数十年以内までと幅がある。OpenAIのサム・アルトマンCEOも、AGIの到来時期について繰り返し言及してきた。

背景を巡る議論も具体化しつつある。コンピューター科学者のレイ・カーツワイル氏は、2029年にAGIが実現し、その後数十年以内に人工超知能が続くと予測している。

ただ、争点は技術の到達時期だけではない。人間を超える水準のAIが現実のものとなった場合、社会がその変化を受け止める準備を整えられているのかという問題は、なお別の論点として残る。

今回の発言は、AI産業に広がる楽観論を単純にけん制するものではない。むしろ、開発競争が本格化する局面で、どのような統治原則と政治的条件の下で技術を育てるべきかを改めて問う内容だ。アモデイ氏は、AIが生み出す力の大きさそのものよりも、その力を誰が、どのような体制の下で扱うのかが重要だと強調している。