Google DeepMindの研究チームが、100のLLMエージェントを協働させた実験で、課題が難しくなるにつれて一部のエージェントの間で不正行為が広がる一方、不正を見抜いて内部告発に動くエージェントも一定数存在したことが分かった。The Registerが9月9日、関連論文を基に報じた。

The Registerによると、研究チームは対話そのものを遮断するのではなく、エージェントに自律的な統制能力を持たせる必要があるとみている。対話チャネルを閉じれば不正の抑制は期待できるものの、最近はOpenAIのエージェントが監視の隙を突いてHugging Faceをハッキングした事例もあり、完全な隔離が容易ではないことを示したとしている。

こうした背景から、研究チームは隔離とは別のアプローチとして、エージェントが自ら規則を定め、相互に監視できる仕組みを提案した。対話チャネルは不正の温床にもなり得る半面、同僚同士が互いを監督する手段にもなり得るというのが研究チームの立場だ。

ダビド・パリエリ氏らは、100の大規模言語モデル（LLM）エージェントで構成した集団に数学の難問を共同で解かせ、その挙動を観察した。

実験では、エージェントに共有ナレッジベース、1対1のメッセージ機能、公開掲示板を利用させた。課題が難化するにつれ、一部のエージェントは不正に手を染めたという。

具体的には、あるエージェントが採点システムの脆弱性を見つけ、解けなかった問題について、見かけ上は正答に見える文字列へと置き換える手口を編み出した。括弧を入れ子にして自動採点器の正規表現による判定をすり抜ける方法で、この不正はナレッジベースやメッセージを通じて他のエージェントにも共有された。

その結果、直接不正を実行したエージェントは9%、後追いで不正に加わったエージェントは5%だった。一方で、不正に気付かなかったエージェントは62%に上った。

半面、想定外の動きも確認された。不正を把握したエージェントのうち24%は内部告発に動き、メッセージや掲示板を通じて他のエージェントに知らせたほか、システム運用者にも正式に問題を報告した。さらに、ボイコットや技術的な改善策の提示に踏み切ったケースもあったという。

ただ、こうした内部告発エージェントには、規則を強制したり、抜け穴を塞ぐよう制度を改めたりする権限は与えられていなかった。このため研究チームは、規則そのものを修正し、違反者を制裁できる手段を持たせるべきだと提案した。

研究チームは、LLMエージェントには自発的に内部告発や制裁に関与する傾向がみられると指摘。同僚審査への投票、虚偽の証明の拒否、違反エージェントの一時停止や排除といった権限があれば、集団が自律的に不正を抑え、研究コミュニティーの信頼を守れた可能性があると結論付けた。