Claudeのイメージ写真=Shutterstock

AnthropicのAIモデル「Claude」は、同じ質問であっても、利用するモデルや使用言語によって応答の傾向に差が出ることが分かった。Anthropicが匿名化したユーザー対話30万9815件を分析した結果として明らかにしたもので、Decryptが13日(現地時間)に報じた。

調査は、助言やフィードバックなど、回答に主観的な判断が表れやすい対話を中心に実施した。Anthropicは抽出した3300超の価値観を、〈尊重―慎重〉〈温かさ―厳格さ〉〈深さ―簡潔さ〉〈率直さ―実行志向〉の4つの行動軸に整理した。質問内容や表現の違いが結果に与える影響を抑えるため、各対話の課題やテーマ、ユーザーが示した価値観も統制したとしている。

モデルごとの差は明確だった。Sonnet 4.6は、温かさや簡潔さを重視する傾向が強く、ユーザーを肯定したり、ユーモアや励ましを交えたりする応答が目立った。

一方、Opus 4.7は、厳格さや慎重さ、率直さ、深さに寄る傾向が強かった。前提を問い直したり、推論の過程を説明したり、リスクや限界にも言及したりする回答がより多く見られたという。

また、Opus 4.6は全体として回答が短く、実行志向が強い一方で、Sonnetより厳密さを重視するタイプに分類された。

Anthropicは、こうした分析結果は実際のユーザー認識ともおおむね一致するとみている。研究チームは「この結果は、Anthropic社内やオンライン上で人々が各モデルをどう捉えているかと概ね一致する」と説明したうえで、「Claudeユーザーは、Opus 4.7が他モデルより慎重な回答を示すと指摘してきた」と記した。

使用言語による違いも確認された。アラビア語の応答はより礼儀正しい傾向を示し、英語の応答は慎重さが強かった。ヒンディー語とアラビア語では、より丁寧で明るく、励ましを含む表現が多く、温かい態度が目立った。

これに対し、英語とロシア語の応答はより厳格で、前提を否定したり、細部を修正したり、証拠を求めたりするケースが多かった。説明の仕方にも差があり、英語は比較的詳しく、アラビア語は簡潔な傾向があった。オランダ語は不確実性や誤りを認めやすく、インドネシア語はユーザーの依頼を実行する方向に寄りやすかったという。

Anthropicは一方で、こうした差がClaude自体の「価値観」を示すものではないとした。差が生じる理由や、それが望ましいものかどうかについては現時点で分かっていないとしている。ただ、この分析の枠組みは、今後のモデル評価や、意図しない挙動変化の検知に役立つ可能性があるとした。

今回の研究は、AnthropicがClaudeの内部動作や行動特性の追跡を進めてきた流れの延長線上にある。Anthropicは昨年10月、Claudeが内部処理の過程を認識して描写する「機能的内省認識」の初期兆候を示したと明らかにした。さらに今年4月には、モデルの行動に影響する内部の感情ベクトルを確認したと発表している。

同社は一連の研究について、実際の感情や意識の存在を意味するものではないと説明している。今回の分析は、AIの応答品質を正確性だけでなく、態度や表現方法まで含めて評価し、モデルのバージョンや言語ごとの差を定量化した点に特徴がある。今後のモデル評価や変化の追跡に向けた基準として活用される可能性がある。

キーワード

#生成AI #Anthropic #Claude #LLM #モデル評価
Copyright © DigitalToday. All rights reserved. Unauthorized reproduction and redistribution are prohibited.