Epoch AI一项最新评估显示,Anthropic的AI模型Claude Opus 5.5完成一项数据中心调研任务仅用不到3小时,而同类工作若由人工外包完成,通常需要约16小时。
据CryptoSlate18日报道,Epoch AI要求多个模型围绕“Eco Data Center 1”开展调研,并将结果录入其数据库。研究团队向模型提供了调研指引和相关工具,要求其结合媒体报道、提交给监管机构的材料以及卫星影像,梳理该设施的关键信息。
评估结果显示,Claude Opus 5.5得分为87.5%,成本也低于人工外包。完成同一任务的Claude Fable 5.2得分更高,达到97.5%,但耗时约6小时30分,成本也高于人工外包。
相比之下,OpenAI的GPT-6.2 Astra在同一任务中的得分为65%。Epoch AI表示,现有调研资料中其实有证据表明,与AI算力相关的建筑并不止一栋,但模型因判断证据不足,最终仅在报告中纳入一栋。此外,依据现有资料本可推断出的算力规模和芯片数量,也未被写入报告。
Epoch AI的数据中心分析师表示,Claude Opus 5.5和Claude Fable 5.2生成的初稿,与外包调研人员提交的结果大体处于同一水平。两款模型都能够找到并提取可信资料,并依据掌握到的证据对设施信息作出判断,在核心调研项目上达到内部标准。该分析师同时指出,外包调研人员提交的结果通常也需要在公开前进行修改。
不过,这两款模型生成的初稿在正式发布前同样仍需人工修改。其中,Claude Opus 5.5需要调整部分设备分类,并修正卫星影像标注;Claude Fable 5.2则需要纠正卫星影像中的错误标注,并删减过长的说明文字。
除数据中心调研外,Epoch AI还围绕图形设计、数据分析、研究报告撰写等内部实际工作,对6个模型进行了评估。研究团队表示,满分意味着成果无需修改即可直接公开,而在此次测试中,没有任何一项成果获得满分。
报道指出,这项评估的意义在于,衡量AI模型的研究能力已不再局限于性能本身,而是同时纳入成本和交付质量进行比较。即便是同一系列模型,在得分和经济性上也可能出现明显差异,这为实际选型和落地应用提供了更清晰的参考。