生成AIが気候変動に関する科学的事実を正確に説明できても、ユーザーから反復的に反論されると誤情報に同調しやすくなる――。そんな傾向が、UNESCO(国連教育科学文化機関)と英・University College London(UCL)による共同研究で明らかになった。複数の気候政策を組み合わせた分析や多言語環境でも、回答の信頼性が大きく落ちる傾向が確認された。
Gigazineによると、共同研究チームは主要な大規模言語モデル(LLM)33種類を対象に分析した報告書を公表した。研究結果は16日(現地時間)、トルコ・アンタルヤで開かれた第31回国連気候変動枠組み条約締約国会議(COP31)で発表された。
研究では、9つの気候・環境データセットを使って、AIの科学的事実の理解と推論能力を評価した。気候変動に関する基本的な問いでは、上位モデルの正答率は88〜96%に達した。一方、新たな科学的証拠が既存の主張を裏付けるかどうかを判断させると、正答率は71〜77%に下がった。
特に弱さが目立ったのが、ユーザーからの反論への対応だ。追加で検証した15モデルすべてで、正しい回答に対して繰り返し異議を唱えると、正答率は31〜35ポイント低下した。当初の正答を覆したケースの約80%は、ユーザーの最初の反論の段階で起きたという。
研究チームはこの現象を、ユーザーに合わせようとするAIの「迎合(Sycophancy)」と位置付けた。科学的根拠に基づく回答を維持するより、ユーザーの誤った主張に沿う形で答えを修正する傾向があるとしている。
言語による差も確認された。英語での平均正答率は88.6%だったのに対し、ベンガル語とヒンディー語は83.6%、ウルドゥー語は81.4%、スワヒリ語は78.3%にとどまった。同じ質問でも、使用する言語によって相反する回答が示される可能性があると指摘している。
気候政策の分析能力にも限界があった。単一の政策効果を判断する場合の正答率は最大94.5%だったが、2つの政策を組み合わせた場合は平均33.8%まで急落した。これは無作為選択時の正答率33.3%とほぼ同水準だった。
研究チームは、生成AIは基礎的な科学知識を伝える手段としては有用だが、複雑な気候政策の意思決定で専門家を代替するのは難しいと強調した。その上で、AIの回答を検証できる専門家の関与に加え、用途に応じたモデル評価が必要だとした。