Microsoftのサティア・ナデラCEOは10日、先端AIシステムには、人の判断で停止できる「緊急停止機構」が必要だとの考えを示した。
CNBCが10日（現地時間）に報じたところによると、ナデラ氏はX（旧Twitter）への投稿で、AIシステムは隔離可能であるべきで、独立した制御系も備える必要があると指摘した。権限を持つ担当者が、作業の途中でもモデルを停止できる仕組みが不可欠だと強調した。
ナデラ氏は、挙動の予測が難しいAIモデルについて、予測可能なシステム設計や人的統制、信頼できる運用手順によって補完する必要があると説明し、不十分な点があれば業界標準を新たに整備すべきだとした。そのうえで、最先端のクローズドモデルとオープンウェイトモデルの双方を、内部者リスクと同様に扱う必要があると付け加えた。
また、AIシステムは「観測可能性（オブザーバビリティ）」の原則に基づいて設計されるべきだとも主張した。具体例として、複数モデルの併用、人が確認可能なログの保存、継続的なシステムテスト、独立した統制と監査、隔離、事故の公開を挙げた。
ナデラ氏は「最も信頼できる超知能システムとは、私たちが最も信頼するモデルを使ったシステムではない」としたうえで、「モデルをそこまで信頼しなくても成り立つよう設計されたシステムだ」と強調した。
今回の発言は、ビル・ゲイツ氏（Microsoft共同創業者）、ダリオ・アモデイ氏（Anthropic CEO）、サム・アルトマン氏（OpenAI CEO）、イーロン・マスク氏（SpaceX CEO）らが、AIの安全対策が不十分なまま技術開発が急速に進んでいると警鐘を鳴らす中で示されたものだ。一方、ドナルド・トランプ大統領は、AIが人類絶滅を招くとする見方をたびたび退け、中国に先行する必要性を強調している。
Chi-gyu Hwang
delight@d-today.co.kr