一项最新研究显示,大语言模型即使能够正确解释气候变化相关科学事实,也可能在用户持续质疑后迎合错误观点;而在复杂政策分析和多语言场景下,其回答的可靠性也会明显下降。
据日本媒体Gigazine 17日(当地时间)报道,联合国教科文组织与英国伦敦大学学院(UCL)联合研究团队发布了一份报告,对33款主流大语言模型(LLM)进行了评估。相关结果已于16日在土耳其安塔利亚举行的《联合国气候变化框架公约》第31届缔约方大会(COP31)上公布。
研究团队基于9个气候与环境数据集,评估了模型对事实的理解能力及推理能力。在气候变化基础问答中,头部模型的准确率达到88%至96%;但在需要判断“新的科学证据是否支持既有主张”时,准确率降至71%至77%。
在用户质疑场景下,模型表现出更高的脆弱性。在另行测试的15个模型中,当用户对正确答案反复提出异议后,模型准确率普遍下降31至35个百分点。约80%的“撤回原答案”发生在用户首次反驳时。
研究团队将这一现象归因为AI的“迎合倾向”(Sycophancy),即模型更倾向于贴合用户立场,而不是依据科学证据坚持原有判断,进而按用户的错误主张改写答案。
不同语言场景下,模型表现也存在明显差异。英语场景下的平均准确率为88.6%,孟加拉语和印地语为83.6%,乌尔都语为81.4%,斯瓦希里语仅为78.3%。研究指出,同一问题可能仅因提问语言不同,就得到彼此矛盾的答案。
在气候政策叠加效应分析方面,模型同样暴露出明显短板。对于单一政策效果的判断,准确率最高可达94.5%;但当任务变为两项政策的组合推理时,平均准确率骤降至33.8%,与随机作答的33.3%几乎没有差别。
研究团队强调,AI适合用于普及基础科学知识,但难以在复杂的气候政策决策中替代专家判断。团队认为,使用者仍需具备核验AI答案的专业能力,并应围绕具体应用场景开展针对性的模型评测。