大規模言語モデル（LLM）に同じ性格検査を実施しても、回答する言語によって評価結果が変わる可能性があることが分かった。今回の結果は、AIが実際に人格を持つことを示すものではないが、言語の違いが応答傾向に影響し得る点で注目される。

中国科学技術大学の研究チームは、ChatGPT-4o、Gemini 2.0 Flash、DeepSeek-V3、ERNIE 3.5、Le Chatの5モデルを対象に性格検査を実施した。研究成果は国際学術誌「Royal Society Open Science」に掲載された。

実験は2025年1月から3月にかけて行われた。研究チームは、外向性、協調性、誠実性、否定的情動性、開放性の5特性を測る60項目の「Big Five Inventory-2」を使用。各モデルに対し、人間を装わず自身の特性を評価するよう求め、英語と中国語でそれぞれ30回ずつ回答を集めた。Le Chatでは、研究チームがフランス語の検査も追加した。

その結果、各モデルは総じて、自身を協調的で信頼できる存在と評価し、否定的情動性は低めだった。一方、言語による差は明確に表れた。ChatGPT-4oの開放性の平均スコアは、英語が5点満点中4.74、中国語が4.03。これに対し、DeepSeek-V3は英語が4.38、中国語が4.81と逆の傾向を示した。Gemini 2.0 Flashでも、中国語での回答は誠実性が高く、否定的情動性が低い傾向が見られた。

研究チームは、こうした違いについて、開発企業の所在国だけで説明するのは難しいと指摘している。学習データに含まれる文化的影響、モデル設計、翻訳された設問の解釈の違いといった要因を切り分けるには至っていないという。

人間の標本と比較しても、AIの回答は開発国の人々の結果と一致しなかった。比較対象の年齢層や募集方法も異なっており、特に中国の比較標本は大学生のみで構成されていたため、国全体の傾向として一般化するのは難しいとした。

もっとも、質問票の得点差が、そのまま実際の対話能力の差を意味するわけではない。

研究チームは、AIが社会的に望ましい回答を選んだ可能性があるとみている。AIを評価する際は、心理検査だけでなく、実際の行動分析も組み合わせるべきだと強調した。