Microsoftのサティア・ナデラCEOはこのほど、ソーシャルメディアX（旧Twitter）で超知能時代のAIガバナンスに関する考え方を示した。モデルそのものを過度に信頼するのではなく、アクセス権限や行動範囲を決める統制機構をモデルの外側に置くべきだと主張。可観測性を中核に据えた7つの設計原則も提示した。

ナデラ氏は、「AIが私たちの代わりに行う仕事の責任を外部に委ねることはできない。モデル提供者の保証があっても、その責任が軽くなるわけではない」と指摘した。さらに「最も信頼できる超知能システムとは、最も信頼できるモデルを使うシステムではない。モデルを信頼しすぎなくても済むよう設計されたシステムだ」と述べた。

同氏が共有した文章のタイトルは「Models as Insider Risks in the Super Intelligence Era」。超知能時代には、AIに対する信頼の前提そのものを見直す必要があるとの問題意識を打ち出した。

ナデラ氏によると、これまで企業はソフトウェア導入時に問題が起きても、原因を特定のコード経路まで追跡できた。一方、フロンティアモデルでは、既存ソフトウェアを上回る性能を持つ半面、特定の出力がどの学習データや重み付けから生じたのかを把握しにくい。そうした性質を抱えたまま、企業は複雑なエージェントシステムやモデルに機密性の高いデータへのアクセス権や基幹業務の処理を委ねつつあると警鐘を鳴らした。

そのうえで同氏は、超知能をブラックボックスのまま扱い、推薦や回答、行動を受け入れるかどうかだけを人間が判断する運用では不十分だと強調した。必要なのは、モデルの振る舞いを観察し、限界を検証し、必要に応じていつでも封じ込められる仕組みだという。知能の供給と、その知能に権限を与えて運用する仕組みは切り分けるべきだとの立場だ。

また、アラインメントのような難題に正面から答えを出す前に、まずは隔離とガバナンスを工学的に実装すべきだとも訴えた。出力が毎回変わり得るモデルを、決定論的なシステム設計、人間による統制、信頼できる運用手順で補完しなければならないとし、既存の標準が不十分であれば新たな業界標準の整備も必要だとした。

具体策として同氏は、クローズドモデルとオープンウェイトモデルのいずれもインサイダーリスクとして扱うべきだと述べた。これはモデルに悪意があるという意味ではない。重要システムにアクセスできるだけの能力を持つ主体であれば、誰でもミスを犯したり、侵害を受けたりする可能性があるためだ。隔離と統制の仕組みは、そうした前提を織り込んで設計すべきだと説明した。

さらにナデラ氏は、企業はこれまでも強い権限を持つ内部主体を管理してきたと指摘した。認証、権限管理、ログ管理、分離境界の設定といった手法は、数十年かけて高度化してきたものであり、今後はそれを企業内の超知能にも適用していくべきだとした。

その出発点として同氏が挙げたのが、モデルの思考過程であるChain of Thought（CoT）の開示だ。これを譲れない要件と位置付け、「Neuraleseのような人間に読めない内部言語を、推論の不透明さを正当化する理由にしてはならない」と述べた。

もっとも、CoTを開示すれば十分だとも、それだけで信頼できるとも考えていない。モデル出力を常に事実に即して透明に示す方法は、なお確立されていないためだ。

モデル同士に攻撃的なテストや検証をさせる手法についても、必要性は認めつつ限界を指摘した。不透明なオーケストレーション層の中で不透明なモデルを、別の不透明なモデルが監視する構造になりかねず、「ブラックボックスの中に別のブラックボックスを置くことになる」との見方を示した。

こうした問題意識から、ナデラ氏はモデルが何にアクセスできるのか、どのような行動を取れるのかを決める統制機構は、モデルの外側に配置すべきだと訴えた。これは、プログラム自身が権限制御の仕組みを回避したり改変したりできてはならないとする1970年代の情報セキュリティ原則に基づく考え方だという。AIに当てはめれば、モデルの処理を調整するハーネスや、実行可能な範囲を定める行動空間をモデル本体から切り離し、制御機構と安全装置を外部に置くことが要点になる。

ナデラ氏は最後に、可観測性を軸とする7つの設計原則を示した。

第1は、モデルの多様性だ。いかなるモデルも、重要な結果を単独で担ったり、自らの作業を自ら検証したりしてはならないとした。

第2は、あらゆる挙動の可観測化である。意味のあるモデルの行動は、人間が読めて改ざんできない証跡を残さなければならないとし、「観測できなければ信頼できない。モデルの自己申告に頼るのではなく、結果がどのように導かれたかを再現できる必要がある」と述べた。

第3は、検証可能性だ。成功した処理だけでなく、失敗、攻撃、例外的な状況、システム変更まで含め、システム全体を継続的にテストしなければならないとした。

第4は、独立した統制である。モデルのアクセス範囲と行動の上限は、組織が独自に定義できなければならないとした。

第5は、独立監査だ。検証の仕組みは、検証対象となる知能から分離されなければならず、いかなるモデルもシステムの行動と、その行動が本来の意図に沿っているかを判断する証拠の双方を同時に握るべきではないと述べた。

第6は、隔離である。モデルはすでに侵害されている可能性があるという前提で、当初から封じ込める設計が重要だとした。非常ブレーキを例に挙げ、「権限を持つ人は、いつでも稼働中のモデルを停止し、電源を落とせなければならない。モデルが高度化するほど、より高度な隔離技術と標準化が必要になる」と指摘した。

第7は、事故の開示だ。システムが失敗した場合や侵害を受けた場合には、被害を受けた当事者に適時通知し、何が問題だったのか、どの統制が機能しなかったのか、再発をどう防ぐのかを業界全体で共有すべきだとした。実行中のエージェントの行動を変更した実装の詳細も、共有対象に含めるべきだとしている。