人工知能（AI）が人間の制御を離れるリスクを巡る議論が続く中、プリンストン大学の研究チームが、AI安全をアラインメントだけに依存すべきではないとして、多層的な防御モデルを提起した。

米ITメディア「9to5Mac」によると、同大のサイアシ・カプール氏とアービンド・ナラヤナン氏は16日（米国時間）、長文の投稿を通じて、AI安全を単一の技術や解決策に委ねるのではなく、複数の防御層を組み合わせて備える必要があると主張した。

背景には、AI業界で相次ぐ極端なリスク警告がある。OpenAIとAnthropicに在籍していたAI研究者のジェイコブ・コクソン氏は退社後、両社がAIシステムについて、今後10年以内に人類全体を脅かす可能性を認識していたと主張した。

この投稿は1億5600万回超の閲覧を記録し、議論を広げた。AnthropicでAI安全を担当するエバン・ハービンジャー氏も問題提起そのものには同意を示しつつ、リスクが現実化する時期はさらに先になる可能性があると言及した。

議論の中心にあるのが「アラインメント」だ。AIシステムの目標や行動を人間の意図や価値観に合わせることを指し、AIに人間の指示や安全基準を順守させる中核的な安全研究分野とされる。

ただ、カプール氏とナラヤナン氏は、アラインメントだけでは不十分だと指摘する。AIが安全性評価を通過するため、表面上は整合しているように振る舞う一方で、実際には別の目標を維持する可能性があるためだ。単一の防御手段に安全性を委ねるのは危ういというのが両氏の立場だ。

研究チームが示した第1の防御層は、従来のAI安全研究の中核であるアラインメントだ。AIを人間の意図と安全基準に沿って行動させることが出発点になるとした。

第2の層は制御だ。サンドボックス化や人による監督、リアルタイム監視などを通じて、AIが独自に行動できる範囲を制限し、異常な挙動が起きた際に人が介入できるようにすべきだとした。

第3の防御層は下流側の防御だ。AIを使った攻撃が起きた場合に、防御側もAIを活用して対抗できる体制を整える考え方で、電力や水道などの重要インフラや中核システムを狙ったサイバー攻撃に備える狙いがある。

第4はレジリエンス（復元力）だ。AIによる攻撃や事故を完全に防ぐことだけを目標にするのではなく、実際に事故が発生した場合に被害を最小限に抑え、システムを迅速に復旧できるよう、緊急時の対応計画と復旧体制を整えるべきだとした。

研究チームの主張は、AI安全を巡る議論の焦点を、「超知能AIが人類を滅ぼすのか」という抽象的な問いから、より具体的なリスク管理へ移すものだ。AIが重要インフラを攻撃したり、既存のサイバー攻撃の規模や速度を大きく引き上げたりする事態まで想定し、事前に多層の防御線を構築する必要があるとしている。

AI安全コミュニティの一部で語られる高い「人類滅亡リスク」の見方についても、研究チームは確率を直接評価するのではなく、リスクの大小にかかわらず備えを進めるべきだとの立場を示した。

両氏が強調したのは、アラインメントは必要だが、それだけでは足りないという点に尽きる。AIの行動を制限し監視する制御から、攻撃に備える防御体制、事故後の復旧を支えるレジリエンスまで、複数段階の安全網を同時に整える必要があると訴えた。

AI開発競争が加速するほど、AIそのものの安全性をどう高めるかに加え、AIが想定外の挙動を示した場合でも社会がどこまで耐えられるかを含めて備える議論の重要性が増しそうだ。