一项最新研究显示,即便使用同一份人格测评量表,大语言模型(LLM)的测试结果也会因作答语言不同而出现明显差异。研究人员指出,这并不意味着AI“真的具有人格”,但表明语言可能会影响模型的应答倾向。
据日本媒体GIGAZINE当地时间2026年10月31日报道,中国科学技术大学研究团队对5款AI模型进行了测试,分别为ChatGPT-4o、Gemini 2.0 Flash、DeepSeek-V3、Ernie 3.5和Le Chat。相关成果已发表在国际学术期刊《Royal Society Open Science》上。
这项实验于2025年1月至3月开展。研究团队采用包含60道题的Big Five Inventory-2量表,对外向性、宜人性、尽责性、负面情绪倾向和开放性五个维度进行测量。测试过程中,研究人员要求模型不要伪装成人类,而是基于自身特征作答,并分别以英文和中文各采集30轮结果;针对法国AI模型Le Chat,研究团队还增加了法语测试。
从整体结果看,多数模型在量表中都呈现出更友好、更可信赖的回答倾向,负面情绪倾向得分相对较低。不过,不同语言下的测评差异相当明显。以ChatGPT-4o为例,其开放性在5分制下的平均得分,英文作答为4.74分,中文作答为4.03分;DeepSeek-V3则呈现相反趋势,英文为4.38分,中文为4.81分。Gemini 2.0 Flash在中文作答时,尽责性得分更高,负面情绪倾向得分更低。
研究团队认为,仅凭模型开发方所在国家,并不足以解释这类差异。研究人员表示,目前仍无法区分,相关结果究竟受到训练数据中的文化因素、模型设计差异,还是题目翻译带来的理解偏差影响。与人类样本对比时,AI的回答也没有表现出与模型开发地人群一致的测评特征。
此外,研究还指出,对照样本本身在年龄构成和招募方式上存在差异。其中,用于比较的中国样本仅由大学生组成,难以代表整体人群特征。研究团队同时强调,问卷分数的差异并不等同于实际对话能力存在差异。
研究人员进一步表示,AI在作答时可能更倾向于选择“更符合社会期待”的选项。因此,在开展AI评估时,不能仅依赖心理测验结果,还应结合模型在实际场景中的行为表现进行综合分析。