AnthropicのAIモデル「Claude Opus 5.5」を巡り、推論性能が低下したのではないかとの見方が開発者の間で広がっている。応答の進め方や問題解決能力に変化があったとする分析が出た一方で、実際にモデル性能が落ちたのではなく、ユーザーに見せる思考要約の表示方式が変わった可能性を指摘する声もある。

Gigazineが11月10日に報じたところによると、開発者のシェイン・メラフ氏は「Claude Code」の利用記録約1400件を分析し、11月3日を境に思考要約の文体や作業の進め方に明確な変化が現れたと主張した。

メラフ氏は、GoogleのGemini 4 Argonを使って10月9日から11月7日までの記録を分析した。その結果、思考要約が「I'm」で始まる割合は従来の20〜30％から61.3％に急増した一方、「I should」「I need to」といった表現は約50％から10.9％に減少したという。

思考トークン数にも差が出たとしている。メラフ氏が11月3日前後の約2万9400回のやり取りを比較したところ、作業開始前に表示される思考トークン数の中央値は84個から54個へと約36％減少。コード実行や修正に関するエラー指標も47％増えたとしている。

コーディングテストでも差がみられたという。同一の音声再生エラーの修正を指示したところ、推論強度を「high」に設定したモデルは160回のやり取りでも解決できなかったのに対し、「xhigh」では5回で修正に成功したとしている。

ただ、これだけでモデル自体の性能低下と断定するのは難しい。Anthropicの公式文書では、ユーザーに表示される思考内容は内部推論そのものではなく、別モデルが生成した要約だと説明している。

別の開発者であるテオ・ブラウン氏は、約45万8000件の応答を分析し、異なる見方を示した。思考要約の文体変化は確認できたものの、適用時期はアカウントごとに異なっており、1応答当たりの平均思考トークン数はむしろ369個から413個へ増えたという。

ブラウン氏は、自身の環境では性能低下の兆候は確認できなかったとした上で、Anthropicが思考要約の方式をアカウント単位で変更している可能性を指摘した。

メラフ氏も、今回の調査は厳密な性能評価ではないと認めている。現時点でAnthropicが実際にモデル性能を引き下げたかどうかは確認されておらず、追加の検証が必要だ。