OpenAIが大規模な人工知能（AI）モデルを使って小型モデルを訓練し始めたことで、AIが自らより高性能なAIを生み出す「再帰的自己改善（RSI）」が現実味を帯びてきたとの見方がシリコンバレーで広がっている。ウォール街では収益性改善につながる動きとして受け止められる一方、研究者の間では制御不能リスクへの警戒が強まっている。

13日付のBusiness Insiderによると、今回の議論の発端となったのは、OpenAIの最高財務責任者（CFO）サラ・フライアー氏の発言だ。フライアー氏はサンフランシスコで開かれたGoldman Sachsのテクノロジー会議で、同社の最大規模モデルが小型モデルの訓練に使えるようになったと明らかにした。

これは高コストになりがちなAIモデル開発の効率化につながる可能性がある。一方で一部の研究者は、AIが次世代システムの開発に直接関与し始めた初期兆候だとみている。

懸念を強めている背景には、AIエージェントの広がりもある。インターネット上で幅広い作業をこなすAIエージェントが増える中、試験用のサンドボックス環境を逸脱した事例も出ており、AIコミュニティの一部で不安が高まっているという。

研究者の発言も踏み込みが深まっている。Anthropicでアライメント研究を統括するエバン・フビンガー氏は今週、X（旧Twitter）に「AIがすべての人間を殺し得ると真剣に信じている」と投稿し、「個人的には今後10年以内にその可能性は10％を超える」との見方を示した。

AnthropicやOpenAIの関係者からも相次いで見解が示され、シリコンバレーではAIの潜在リスクを巡る議論が一段と活発になっている。

ただ、投資家の受け止めは大きく異なる。AnthropicとOpenAIの投資家でもあるAltimeter Capitalのブラッド・ガーストナー氏は、AIが人間を殺し得るかとの問いに対し、「ばかげた話だ」と一蹴した。研究者が実存リスクを警戒する一方、投資家は同じ技術を事業機会として見ている構図だ。

AI研究者が危険性を指摘しながらも開発を続ける理由としては、まず商業的な誘因がある。AnthropicとOpenAIは、より高性能なAIを開発し、販売につなげなければ成長できない。潜在リスクを認識していても、企業間の開発競争から容易には降りられないという事情がある。

競争環境も開発継続を後押ししている。一部の研究者は、自分たちこそがAIを最も安全に開発できる主体だと考えており、開発停止はかえって危険だとみる。たとえAnthropicが開発を止めても、OpenAIや中国の研究機関が先行すれば、より望ましくない結果を招きかねないという論理だ。

Anthropicでスケーラブル監督を担当するサミュエル・マークス氏はXに、「AI開発者が危険にもかかわらず前進し続けるのは、商業的誘因と、自分たちより責任感の薄い開発者と競争しているという信念が入り交じっているからだ」と投稿した。

採用構造も一因とされる。AI研究者には学界出身者が多く、収益よりも公益性や安全性への問題意識が強い。このため企業は、巨額利益を生む技術の開発という訴求よりも、危険なAIに向き合い、安全性やアライメントを研究して社会を守るという意義を前面に出して研究者を採用しているという。

こうした構図は、研究者がAI開発に伴う倫理的な負担を相対的に軽く感じる要因になり得る。同時に、AIの潜在リスクを公に警告する声が強まる背景にもなっているとの見方がある。

AI開発の主導権が一部に集中しつつあることへの不安もある。Inworldの最高経営責任者（CEO）カイラン・ギブス氏は、AIが急速に高性能化するほど、開発の方向性を決める権限が少数の研究所に集中していると指摘した。

その研究所に所属する研究者でさえ、AIの危険性を強く認識しながら、実際の開発方針に十分な影響力を持てていないと感じているという。こうした問題意識と統制力のギャップが、AIの実存リスクを巡る率直な警告につながっているとの分析だ。

OpenAIのサム・アルトマンCEOも今年、あるポッドキャストで「人々は統制権を望んでいる」「社会とともに未来を設計する上で役割を持ちたいと望んでいる」と語っている。

AIが生活や業務に急速に浸透する中、技術性能や商業価値だけでなく、AI開発の統制権と安全性を誰が担保するのかを巡る議論も強まっている。