AI & Enterprise

ChatGPTとClaude、ストループテストで成績急落　トランスフォーマー型LLMの限界浮き彫り

OpenAIのGPT-4oとAnthropicのClaude 3.5 Sonnetが、ストループテストで設問数の増加に伴って正答率を大きく落とした。追試でも改善は限定的で、トランスフォーマー型LLMの実行統制の弱さが改めて示された。

AI & Enterprise

AI5モデルのファクトチェック、67.2％で判定割れる　同一主張1000件を検証

ファクトチェックサービスのLenzが、同一主張1000件に対するAI5モデルの判定を比較したところ、全モデル一致は328件にとどまった。検索連携型を含め、判定が大きく割れる実態が浮き彫りになった。