大規模言語モデル（LLM）を文章作成に過度に使うと、文体だけでなく内容そのものにも変化が及ぶ――。こうした研究結果が示された。

研究チームは20日（現地時間）、米西海岸の大学研究者らが、参加者100人を対象に実施した実験結果を公表した。テーマは「お金が幸福に与える影響」で、LLMへの依存度によって回答内容にどのような違いが出るかを分析した。

研究では、作成した文章の40％以上をLLMで生成した参加者を「高依存層」に分類した。高依存層は、LLMの利用が少ない参加者に比べ、中立的な回答を示す割合が69％高かった。LLM利用が少ない層は、お金と幸福の関係について、肯定・否定のいずれであっても、より明確な立場を示す傾向がみられた。

論文の第1著者で、ワシントン大学コンピュータ工学科のナターシャ・ジャク准教授は、「LLMは、人間なら決して書かない形で文章を書き換えている」と指摘した。

文体面でも変化が確認された。高依存層の文章では、一人称の使用が50％減少した。個人的な逸話や実体験への言及も減り、全体として非個人的で形式的なトーンに傾いた。

実験後のアンケートでは、高依存層は自分の文章について、「創造性が落ちた」「自分らしい声が反映されていない」と評価した。一方、最終的な成果物への満足度は、LLM利用が少ない参加者と同程度だった。研究チームは、この点を長期的な懸念材料になり得るとみている。

今回の実験では、AnthropicのClaude 3.5 Haiku、OpenAIのGPT-4o mini、GoogleのGemini 2.5 Flashの3モデルを使用した。

研究チームは、LLMが既存の文章をどう修正するかについても分析した。人間の編集者は単語を一つずつ置き換えながら原文の語彙の大半を維持するのに対し、3モデルはいずれも人間の編集者より大幅に広い範囲を書き換える傾向があった。原文の意味まで変わるケースも確認された。

ジャク准教授は、この現象の背景には、LLMが人間のフィードバックを基に学習する仕組みがあると説明した。その上で「モデルは、人間を満足させることと、人間が望むもの自体をモデルに合わせて変えてしまうことを区別できない」と述べた。