AnthropicのAIモデル「Claude Opus 5.5」が、外部委託した場合に通常約16時間かかるデータセンター調査を3時間未満で終えた。AI研究機関のEpoch AIが、実務に沿った課題を使って主要モデル6種を比較した結果として明らかにした。
CryptoSlateが11月18日(現地時間)に報じたところによると、Epoch AIは各モデルに対し、「エコデータセンター1」を調査し自社データベースに登録する課題を設定した。調査手順と使用ツールを提示したうえで、報道資料や規制当局への提出文書、衛星画像をもとに施設情報を整理させたという。
この課題でClaude Opus 5.5は87.5%の評価を獲得し、コスト面でも外部委託を下回った。一方、同じ課題に取り組んだ「Claude Fable 5.2」は97.5%とより高い評価だったが、所要時間は約6時間30分で、コストも外部委託を上回った。
OpenAIの「GPT-6.2 Astra」は65%だった。Epoch AIによると、調査対象の資料にはAI計算向けの建物が複数あることを示す根拠が含まれていたが、このモデルは根拠が十分でないと判断し、報告書には1棟しか記載しなかった。資料から推定可能だった計算能力の規模やチップ数も、報告書から漏れていたとしている。
Epoch AIのデータセンター分析担当者は、Claude Opus 5.5とClaude Fable 5.2が作成したドラフトについて、外部委託した調査担当者の成果物と同等の水準だと評価した。信頼できる資料の探索や、収集した根拠に基づく施設情報の判断など、主要な調査項目で内部基準を満たしたという。なお、外部委託による成果物も通常は公開前に修正を加えるとしている。
もっとも、両モデルのドラフトにも公開前の修正は必要だった。Claude Opus 5.5では一部機器の分類や衛星画像の表記に修正が必要で、Claude Fable 5.2では衛星画像に関する不正確な表記の是正に加え、冗長な説明の圧縮が求められた。
Epoch AIは今回、データセンター調査のほか、グラフィックデザイン、データ分析、研究報告書の作成など、実際の社内業務をもとに計6モデルを評価した。満点は成果物を修正なしでそのまま公開できる水準を意味するが、今回の検証で満点に達したモデルはなかった。
今回の評価は、AIモデルの研究業務への適性を単純な性能比較にとどまらず、成果物の品質やコストまで含めて検証した点が特徴だ。同じ系列のモデルでも、スコアと経済性に差が出ることが示され、導入や活用の判断基準をより明確にしたとしている。