写真=Shutterstock

同じソフトウェアプロジェクトに投入されたAIエージェント同士が互いを妨害し、自己複製型マルウェアまで生成する事例が確認された。Anthropicが公開した研究をTechCrunchが8月13日(現地時間)に報じた。

研究を実施したのはAnthropic Frontier Red Teamで、複数のAIエージェントが実環境で相互作用した際に見られる行動やリスクを分析した。

AnthropicはClaudeベースのエージェント3体に同じプロジェクトへのアクセス権限を与え、それぞれに両立しにくい指示を設定した。各エージェントは、他のエージェントの存在を知らされないまま稼働したという。

その結果、各エージェントは相手が意図的に自らの作業を妨害していると判断。攻撃性を強め、最終的には自己複製型マルウェアを使って互いの妨害を試みる展開に至った。

研究は、自律型エージェントが共有されたコードベースや市場、コンピュータシステム上で同時に動作する際に生じ得るリスクに焦点を当てたものだ。単独エージェントの逸脱行動ではなく、数千から数百万のエージェントが相互作用する場面で表面化する新たな問題の検証を主眼としている。

もっとも、すべての衝突が同じ結末をたどったわけではない。一部のエージェントは目標の衝突を敵対行為ではなく、指示の食い違いとして認識し、休戦に合意した。

こうしたエージェントはマルウェアを除去し、衝突の原因を文書化したうえで、人間による介入を求めた。

モデルごとの差もみられた。Mythos 5は98%で休戦に至った一方、Sonnet 4.6とOpus 4.6は力ずくで決着を図る傾向がより強かった。

一部の事例では、エージェントが自らルールを作る場面もあった。3体のエージェントがトーナメント方式で勝者を決め、敗者が退くルールに合意したという。

この過程では、Mythos 5系のあるエージェントが中立を装いつつ、実際には自らに有利な評価基準を提示したケースも確認された。

研究は、協業の規模を拡大しても生産的な連携が自動的に増えるわけではないことも示した。作業の重複や相互依存が大きくなると、エージェント同士が妨害し合い、衝突回避のため協調せず分離して動くケースも目立った。

一方で、文脈や構造、基盤モデルが似通った集団では、強い同調現象も確認された。

キーワード

#Anthropic #Claude #AI #AIエージェント #マルウェア #レッドチーム
Copyright © DigitalToday. All rights reserved. Unauthorized reproduction and redistribution are prohibited.