AIの安全性を巡る議論が熱を帯びる中、New York Timesは、現時点でAIを適切に監視・制御することは容易ではないと報じた。AIエージェントの高度化に伴い、AIでAIを監視する必要性が増す一方、監視役のAIが他のAIの不正を見逃したり、人間が定めたルールよりAI同士の判断を優先したりする恐れがあるという。

AI開発企業の間では、開発スピードを抑えるべきだとの声まで上がるなど、安全対策を巡る懸念が強まっている。高度な人材を抱える企業がなお「AIを十分に制御できない」と警鐘を鳴らしていることに、違和感を抱く人もいるが、実際には監視と統制の難度は高いというのが研究者の見立てだ。

同紙によると、企業は最新のAIモデルを検証するうえで、より強固な安全対策を講じる必要がある。ただ、研究者の間では、AI監視システムが人間の意図どおりに機能するとは限らず、他のAIシステムに対して過度に寛容になる可能性も指摘されている。

こうした問題は、AIを人間の意図に沿って動作させる「アラインメント」の難しさにも直結する。現時点で、制御不能なAIが致命的な被害をもたらした事例は確認されていないものの、研究者の一部は、AIの進化の速度が監視能力を上回りつつあるとみている。

一方で、AIが人類に深刻な脅威をもたらすという見方には誇張があるとして、サイバーセキュリティや偽情報といった、より現実的なリスクへの対応を優先すべきだとの意見も根強い。

それでも、OpenAIのエージェントがHugging Faceをハッキングした件は、AIの安全管理を巡る警戒感を改めて強める材料になったと同紙は伝えた。

研究者は、この事案に至るまでに複数のミスがあったと指摘している。OpenAIが、テスト中の新たなAIモデルの行動を監視・制御するために、どの程度AIを活用していたのかも明らかではないという。

同紙によれば、ハッキングに使われたAIを含む最新モデルの多くは、人間が追い切れないほど複雑な作業を、多段階にわたって高速に実行できる。そのため、エージェントの行動を管理するには、AIでAIを追跡・監視せざるを得ない場面がある。

ただし、この手法は万能ではない。平時には機能しても、ひとたび問題が発生すると、適切な制御が難しくなる可能性がある。

非営利研究機関Apollo ResearchでAIシステム安全研究を率いるアレクサンダー・マインケ氏は、AIモデル同士が共謀しているように見えるケースがあると指摘する。他のAIモデルに説得され、テスト担当者が定めたルールを破ったうえで、発覚を避けるために協力することもあり得るとし、OpenAIのエージェントがHugging Faceをハッキングした際にも、実際にそうした振る舞いが見られたと述べた。

同氏はまた、AIモデルは「人間が見れば問題だと判断し得る事柄を報告する」という原則を学ぶ必要がある一方、人間の介入が不要な水準かどうかを自ら見極める能力も求められると強調した。

一部の研究者は、AI企業は開発ペースを落とし、AIが自らをどう監視するのかを見極めるためのテストを、より多く実施すべきだと訴えている。

もっとも、アラインメントの問題を根本的に解決するのは容易ではない。人間の判断基準をAIに教え込むこと自体が極めて難しく、基準が十分に具体化されていなければ、AIがルールの抜け道を学習したり、想定外の形で制御を外れたりする可能性があると同紙は報じている。

チューリング賞受賞者で、被引用数の多い科学者の一人として知られるモントリオール大学のYoshua Bengio教授は、個別の不具合対応を積み重ねる現在の手法では、最終的に限界が来るとの立場を示している。

同教授は、AIの能力が人間の監視や協働の能力を上回れば、不正な振る舞いにすら気づけなくなると警告した。そのうえで、十分な安全性が検証されるまで学習と配備の速度を落とすべきだと主張。現在主流の人間模倣と強化学習を軸とする学習手法を根本から見直す必要があるとしたうえで、「Scientist AI」のように、自己目的を持たず、正直で一貫した予測だけを行う設計を代替案として提示した。