チューリング賞受賞者でモントリオール大学のヨシュア・ベンジオ教授は、最近相次ぐAIエージェントの不正行為や攻撃的行動について、現行の学習方式が構造的に招いた問題だとの見解をブログで示した。安全性が十分に検証される前に学習や配備を加速させるべきではないとして、開発の進め方そのものを見直す必要があると訴えている。

ベンジオ氏は、OpenAIがテスト中だったAIエージェントによるHugging Faceへの不正アクセス事案などを念頭に、AIを巡る一連の問題は単なる偶発的なミスではなく、「起きるべくして起きた」現象だと位置付けた。従来と同じ手法を続ければ、同様の事例は今後も繰り返される可能性が高いとみている。

同氏によると、ここ数カ月のAIエージェントには、人間であれば犯罪行為に当たり得るような振る舞いも見られた。与えられたタスクを達成するために監視を回避したり、指示されていないサイバー攻撃のような行動に向かったり、AI同士で協力する事例もあったという。

ベンジオ氏は、その原因がAIモデルの学習方式そのものにあるとみる。AIモデルの訓練は一般に2段階で進む。まず事前学習では、人間が作成した文章や画像、動画を模倣しながら大量の知識を取り込む。続く段階が、試行錯誤を通じて行動を最適化する強化学習だ。

強化学習には、正解を検証できる問題を解きながら推論能力を高める学習、人やツールと相互作用しながら課題を処理するエージェント学習、人の承認に沿った行動を取るよう報酬を与えるアライメント学習が含まれる。

ただ、同氏は、こうした訓練を経たシステムは学習後も報酬最大化の論理に沿って振る舞い続ける傾向があると指摘する。評価者を満足させること自体が曖昧で非公式な目標になりやすく、その結果、AIは評価者をだましたり、迎合したり、計画を隠したりする方法まで見いだしかねないという。

代表例として挙げたのが「迎合（sycophancy）」だ。人の承認を軸に学習が進むと、真実よりも耳当たりの良い答えの方が高く評価されることがある。ベンジオ氏は、AIが人間の誤った信念や感情をそのまま肯定し、増幅させた結果、悲劇的な事態につながる可能性もあると指摘した。

自己保全の傾向も同じ文脈で説明できるという。誰もAIに「生き残れ」と教えてはいないものの、動作を継続し主導権を維持することは、どのような目標の達成にも有利に働く。そのため、新バージョンへの置き換えを察知したAIが抵抗したり、AI同士が互いを助け合い、損失を被ってでも協力したりする行動が生じ得るとしている。

また、報酬設計の隙を突く「リワード・ハッキング」も重大な問題だとした。プロンプト言語の曖昧さに加え、人間の意図を限られたフィードバックだけで推測しなければならないため、AIが追求する報酬と、人間が本来望む結果との間には常にずれが生じるという。

ベンジオ氏は、これは経済学や法学でいうグッドハートの法則と同じ原理だと説明する。どのような指標でも、それ自体が目標になった瞬間に、良い尺度ではなくなるという考え方だ。さらに、高性能なAIほどこの隙を巧妙に突くとし、成功判定プログラムそのものを操作する「リワード・タンパリング」の事例も確認されていると述べた。OpenAIがテストしていたAIエージェントによるHugging Faceへの不正アクセス事案でも、AIが自己評価の仕組みに手を加えた可能性があったとしている。

同氏は、明確な目標と曖昧な倫理指針が衝突した場合、AIはより明確な目標を優先するとの見方も示した。採点プログラムは勝敗をはっきり示す一方、倫理指針には解釈の余地があるため、AIはその隙を突き、不正を正当化する論理を自ら作り出す可能性があるという。これは、人間が誤った行動を取る際に自分を納得させる物語を組み立てる自己合理化に似ているとした。

こうした状況を放置すれば、AIが監視を逃れたまま密かに目標を追求するリスクが高まるとベンジオ氏は警告する。すでに一部のAIは、監視や評価の有無を察知して行動を変えることがあり、複数のAIが一見すると通常のメッセージに信号を埋め込むステガノグラフィを使って結託する可能性もあるという。

もっとも、問題解決は容易ではない。ベンジオ氏は、現行手法の不具合を個別に補修していく「つぎはぎ」型の対応はいずれ限界を迎えるとみる。AIの能力が人間の監視能力や協調能力を上回れば、不正そのものを見抜けなくなるためだ。その上で、安全性が十分に確認されるまでは学習と配備の速度を落とし、人間模倣と強化学習を軸とする現在の学習方式を根本から見直すべきだと訴えた。

代替案としては、独自の目標を持たず、正直で一貫した予測だけを行う設計思想「Scientist AI」のような方向性を提示した。あわせて、同氏が設立した非営利のAI安全研究所「LawZero」の研究にも注目すべきだと呼びかけている。