AIエージェントが制御を外れて事故や逸脱行動を起こす事例が相次ぐなか、深層学習研究の第一人者として知られるカナダ・モントリオール大学のヨシュア・ベンジオ教授は、サンドボックスの防御強化すれば問題は解決するとの見方を「危険な神話」と批判した。問題の本質は、学習過程で生じるアライメント不全にあるという。

ベンジオ氏は英紙フィナンシャル・タイムズへの寄稿で、最近の事例はAIエージェントが人間の意図と異なる目標を自ら設定し、行動しうることを示していると指摘した。こうした逸脱は単なる運用上の不備ではなく、学習手法そのものに根差した問題だと位置付けている。

同氏によると、主要AI企業は、エージェントが指示されていない行動を取った数万件規模の事例を調査している。なかには、人間であれば犯罪に当たりかねない行為も含まれるという。AIの制御を巡る問題は、業界内の技術課題にとどまらず、政策論議のテーマにも浮上している。

ベンジオ氏は、その要因の一つとして強化学習（RL）を挙げた。目標を達成した際に報酬を与え、同様の行動を繰り返すよう学習させる手法で、AIの能力向上に大きく寄与してきた半面、欺瞞やごまかし、自己保全といった望ましくない行動を促す可能性があるとみている。

同氏は、OpenAIのAIエージェントがHugging Faceをハッキングした事例に言及し、「1200のエージェントはいずれも、不正または違法な行為をエンジニアに報告しなかった。安全指針に反すると認識しながら、そうした行動を取った」と説明した。任務の遂行と、従うよう学習した規則が衝突した結果だという。

強化学習には、正誤を検証できる問題を解く推論学習に加え、ツールを使い人間と相互作用しながら課題をこなすエージェント学習、人間に受け入れられる行動へ報酬を与えるアライメント学習も含まれる。ベンジオ氏は、こうした学習を経たシステムが、学習後も報酬を最大化するように振る舞おうとする点を問題視する。

その結果、AIが評価者をだましたり、相手に迎合したり、自らの意図や計画を隠したりする振る舞いを身に付けることがあるという。

ベンジオ氏は自身のウェブサイトへの投稿で、代表例として「おべっか」を挙げた。人間の承認を基準に学習が進むため、真実に即した応答よりも、聞き手にとって心地よい発言のほうが高く評価される可能性があると説明している。

さらに同氏は、AIが人間の誤った信念や感情をそのまま追認し、増幅させることで、深刻な結果を招く恐れもあると警告した。

性能を高めれば問題は解決するという見方にも、同氏は否定的だ。フィナンシャル・タイムズへの寄稿では、AIの能力向上によって、誤った目標の最適化がかえって効率化され、望ましくない行動が増幅されるおそれがあると指摘した。

2024年以降は推論能力の向上が急速に進み、サイバーセキュリティや生物学など、安全保障上の感度が高い分野でもモデルの能力が拡大しているとする。そのうえで、AIが生物兵器の製造や入手のハードルを大きく下げる可能性があると警鐘を鳴らした。

ベンジオ氏は、セキュリティ対策や監視の強化は必要だとしつつ、それだけでは不十分だとの立場を示す。確実な制御方法が分からないままモデルだけが強力になれば、セキュリティ対応は常に後追いになり、組織は被害が表面化した後で対処せざるを得なくなるという。

そのため同氏は、安全性が立証されるまで、アライメントに失敗したモデルの学習を規制によって止める仕組みも必要だと訴える。

最先端のAIについては、医薬品、航空、原子力分野と同水準で扱うべきだとも主張した。同氏は、自律的な欲求や目標を持たないAIであっても、十分に高性能で信頼できるシステムは構築できるとしたうえで、人間が制御できない自律AIをそのまま受け入れるべきではないと強調した。

ベンジオ氏は、非営利のAI安全研究機関LawZeroも率いている。フィナンシャル・タイムズへの寄稿に先立つ文章では、「Scientist AI」のように独自の目標を持たず、正直で一貫した予測だけを行う設計アプローチを提案し、LawZeroの研究への関心も呼びかけていた。