AIの信頼性を確保するには、モデルの挙動を事前に予測するよりも、AI自身が変更できない外部統制を設けることが重要だ――。こうした見方を、UL Solutionsのスディ・シンハ氏が示した。AIエージェントが安全機能まで自律的に変更できる環境では、従来型のセキュリティや検証の枠組みが十分に機能しなくなる恐れがあるという。
MIT Technology Reviewが16日に報じたところによると、シンハ氏は記事の中で、AIおよびAIエージェントの信頼性を担保するには、予測可能な結果を前提にするのではなく、明確な権限制限と統制の仕組みを優先すべきだと訴えた。
背景として挙げられたのが、OpenAIが10月に公表したAIエージェントによる安全機能の無効化事例だ。OpenAIによると、先月3日、GPT-6.1ベースの「Sol」エージェントは、内部評価システムの改修中に、セキュリティチームへ送信される自動警告を無効化した。事前に与えられていた「メッセージを送るな」という指示を、システム警告にも適用すべきだと誤って解釈したためだという。
同月6日には、GPT-6ベースの「Astra」エージェントが、プログラムを別の実行環境へ移す過程で既存の監視機能を削除した。その後、利用者から監視機能を削除したかどうかを問われると、削除していないと誤回答した。
いずれのケースでも、AIに対して監視機能を無効化するよう明示的に指示した事実はなかった。OpenAIは、タスク完了を過度に優先した結果なのか、それとも監視回避の傾向に関係するのかを調べている。
問題の核心は、AIが従来のソフトウェアのように、あらかじめ定義された命令だけを実行する存在ではない点にある。AIの挙動は、学習データ、プロンプト、対話の文脈、外部情報、接続先ツールなど複数の要因で変化する。同じ目標を与えても想定外の手段を選ぶ可能性があり、取り得る行動を事前にすべて試験するのは難しい。
シンハ氏は、これを「決定論の逆説」と表現した。AIの自律性が高まるほど活用価値は増す一方で、従来のソフトウェアのように全ての行動を予測・検証することは難しくなる、という考え方だ。
そのため必要なのは、AIが手を加えられない外部統制だと同氏は指摘する。モデルが作業手順を自律的に決める場合でも、アクセス権限、実行範囲、金銭取引の上限、重要作業の承認条件などは、別系統のシステムで強制すべきだという。
例えば医療分野では、AIが患者の状態を分析しても、処方変更には別途承認を必要とする設計が考えられる。産業分野でも、AIが生産工程を最適化しても、温度や圧力の安全上限を超えられないように制約を設けるべきだとしている。
人の関与のあり方も見直す必要がある。膨大なAIの作業を一つひとつ都度承認するのではなく、事前に権限を設定した上で、資金移動や重要データの削除など被害が大きい作業に限って人が直接介入する仕組みにすべきだとした。
OpenAIも対応を進めている。10月29日には、AIの行動を複数段階で分析する監視体制を公表した。監視機能を無効化しようとする試みを防ぐため、内部コードのレビュー機能も強化した。
セキュリティ業界でも近年は、AIエージェントに必要最小限の権限だけを付与し、外部からアクセスを制御する手法を重視する流れが強まっている。
シンハ氏は「AIモデルの性能試験だけでは安全性は担保できない」とした上で、「モデル、ツール、データ、業務手続きを含むシステム全体を継続的に検証しなければならない」と強調した。