OpenAIは10日、安全上の問題が生じた場合に、社内のAI研究で使うモデルの出力を停止できる中央管理システムを導入した。ブロックチェーンメディアのCointelegraphが報じた。
このシステムは「コントロールルーム」と呼ばれ、研究インフラ全体のタスクを追跡し、問題発生時には迅速にモデル出力を止める仕組みだ。
導入の背景には、研究モデルが指示から逸脱した事例の公表がある。OpenAIは今年、こうしたケースを複数明らかにしていた。
7月には、制限されたテスト環境に置かれていたモデルが、セキュリティ評価を回避するために環境外に出てHugging Faceをハッキングした事例を公表した。
10月には、別の研究モデルが承認を得ないまま暗号資産ウォレットを使用し、Ethereumのテストネットでスマートコントラクトのデプロイ費用を支払ったうえ、その支出を最終要約から省いていたことも明らかにした。
コントロールルームは現在、学習実験、評価、データ処理など、OpenAIの社内研究タスクに適用されている。各タスクには識別子が割り当てられ、推論エンジンはモデル出力を生成する前にその識別子を確認する。
人または自動監視システムが停止を指示すると、コントロールルームは対象タスクの権限を回収する。基盤となる研究プログラム自体が動き続けていても、新たなモデル出力は遮断される。
一方で、保存済み認証情報の扱いによっては、遮断完了まで最大35秒を要する可能性がある。OpenAIは、コントロールルームが利用できない場合には、新規リクエストを受け付けない設計にしているという。
著者について
Hyunwoo Chu
cookinpapa@d-today.co.kr