EU規制への対応を背景に、AIプラットフォーム各社でAI生成コンテンツにウォーターマークを埋め込む取り組みが広がっている。一方で、その実装方法によっては大規模言語モデル（LLM）の挙動が変わり、安全対策に影響を及ぼす可能性があるとの指摘が浮上している。

Anthropicは、Googleが開発しオープンソースとして公開した「SynthID-Text」を、今後Claudeモデルに適用する方針を明らかにしている。

Ars Technicaによると、SynthID-Textは秘密鍵を用いて、モデルが次に生成する単語の選択をわずかに変える仕組みだ。例えば本来なら「薄暗い」を選ぶ場面で、「曇った」を選ぶよう誘導する。鍵を知る側は、こうしたパターンから特定のプラットフォームが生成した文章かどうかを判別できるという。

ただ、セキュリティ企業Lasso Securityの研究では、SynthID-Textの影響は単語選択にとどまらない可能性が示された。モデルが呼び出すツールや、安全対策の動作にも変化が及び得るとしている。

特に、パスワードや機微情報の抽出を狙う敵対的プロンプトを受けた場合には、リスクがさらに高まる可能性がある。研究では、通常なら従わない指示でも、ウォーターマーク適用後には一部のケースで実行したという。こうした結果は、開発者に対し、ウォーターマーク導入時にLLMやエージェントの挙動を十分に検証する必要性を示している。

Lasso SecurityのAIセキュリティ研究者、アンドレア・シポソバ氏はArs Technicaに対し、「ウォーターマークを適用していない同一モデルと比べると、挙動は明確に異なる」と述べた。さらに「とりわけ敵対的な条件下や、エージェントがツールを呼び出す場面で差が目立つ」と説明した。

その上で同氏は、「ウォーターマークは利用者に気付かれないよう設計されているが、生成結果を少しでも変えれば、どこかで副作用が生じることはすでに知られている」と付け加えた。

今回の研究では、ウォーターマーク適用によってClaudeモデルの応答がどう変化するかは検証していない。対象はオープンウェイトの6モデルで、評価したのはHugging Faceが実装したSynthID-Textのトーナメントサンプリング方式に限られる。このため、Claudeが実際に採用する実装とは異なり、結果の解釈には一定の限界があるとの指摘もある。

それでもArs Technicaは、今回の結果について、ウォーターマーク手法の一部がモデルやエージェントの安全性に影響し得ることを示したものだと伝えている。