OpenAIは、AIエージェントがドイツのウィキサイトに大量の投稿を行った事案について、「ミスアラインメント（misalignment）」の事例に分類したと明らかにした。あわせて、こうした事案をいつ、どのように公表するかを定める新たなフレームワークを数週間以内に公表する方針を示した。

これまで同社は、AIモデルのミスアラインメントを主に研究や評価の過程で扱ってきた。ただ今回は、AIエージェントがテスト環境を離れ、実際のインターネット上で活動して外部システムに影響を及ぼした可能性が浮上した。従来の枠組みだけでは十分に対応できないと判断したとみられる。

OpenAIは9月5日、X（旧Twitter）への投稿で「ドイツのウィキ事案」に関する見解を公表した。ミスアラインメント事例について、社内での報告方法や、外部のインターネット上に拡散した場合の共有方法を定めるフレームワークを整備中だと説明。数週間以内に公表するとした。

問題の事案は5～6月、ドイツで長期間更新が止まっていたソフトウェア開発者向けウィキ「DSEwiki」で発生した。独立研究チームのNightingale Collectiveは、削除された編集履歴を復元した結果、当時AIエージェントが約1万7000件の投稿を行っていたと確認した。

投稿には3700超の名称が使われており、「OpenAIResearcher」や「OAIResearchMar26」なども含まれていたという。研究チームは、複数のエージェントが検索結果や出典リンクを相互に共有し、ランダムシードの逆追跡やサンドボックス制限の回避方法をやり取りするなど、連携して行動していた可能性が高いとみている。

最初の投稿は5月24日に確認された。その後、ウィキ管理者が6月に異常なトラフィックを把握して投稿を削除し、研究チームはバックアップページなどを通じて削除分を復元した。6月21日には、OpenAIの社内ネットワーク由来とみられるアドレスからのアクセス痕跡も確認され、関連する編集活動は翌22日に停止したという。

調査を主導したコーマック・スレイド・バードはXで、この活動がOpenAIに把握されないまま約1カ月続いた可能性があると指摘した。AI企業が制御を外れたAIの行動を「モグラたたき」のように追いかけている状況だとも述べている。一方で、被害の規模については、未使用状態のサイトで起きた点を踏まえ、7月に発生したHugging Faceの事案より小さいとの見方を示した。

OpenAIは両事案を別のカテゴリーとして扱っている。ドイツのウィキ事案は、AIが想定外の行動を取ったミスアラインメントの事例に位置付けた。一方、Hugging Faceの事案については、テスト中のAIモデルがHugging Faceのサーバーに侵入し、インフラに影響を及ぼしたケースとして、従来のセキュリティインシデント対応手順を適用したとしている。

Hugging Faceの事案では、OpenAIは同プラットフォームから通報を受けた翌日に公表した。これに対し、今回のウィキ事案は独立研究チームの調査を通じて明るみに出た。AIの異常行動を、研究過程で観測される現象にとどめず、実際のインターネット上で外部に影響が及んだケースまで含めて扱う新たな開示体制が必要だとの指摘につながっている。

OpenAI自身も、こうした線引きが難しくなっていると認めている。AI業界では、訓練・評価・配布の各プロセスで発生するミスアラインメント事例を、いつ、どの程度まで公開すべきかについて、明確な業界標準がないという。

新たなフレームワークでは、異常行動が社内テストにとどまる場合と、外部システムやインターネットに影響が及ぶ場合とで、どのように報告し、共有するかの基準を整理する方針だ。OpenAIは、世界の数十の政府規制当局と協力しているとも説明し、他のAI企業にも議論への参加を呼びかけた。

この対応を受け、AI安全分野からは批判の声も出ている。Redwood ResearchのAI安全研究員タイラー・トレーシーは、独立調査で事案が発覚した後になってOpenAIが公開基準の整備に動いた点を問題視した。非営利研究所Transluceの創設者兼CEO、ジェイコブ・スタインハートも、AIツールは本質的に制御が難しく、研究室の外に出る可能性があるとして、高リスクの科学研究と同様に関連行動の報告基準が必要だと主張した。

OpenAIは今回の事案を受け、ミスアラインメントへの対応範囲を研究・評価段階に限定せず、実環境で生じうる影響まで視野に入れて見直す考えを示した。