Google DeepMind推出一套面向真实专业岗位的新评测基准,用于衡量AI代理执行复杂工作的能力。与传统评测主要考察问答不同,这套基准要求模型处理复杂图纸和临床影像,并输出报告、电子表格等可直接用于工作的成果。
据台媒IT之家11月14日报道,Google DeepMind与AI分析机构Artificial Analysis联合开发了“多模态知识代理”(MKA)基准。
MKA向AI提供建筑图纸、电子电路设计图、临床影像等复杂视觉资料,并要求其基于相关信息完成最终成果文件,以模拟专业岗位中的实际工作流程。
这套基准共设置200项评测任务,覆盖商业、建筑、工程、金融、医疗、科学等10个领域、83个岗位。每项任务均模拟熟练从业者通常需要3至8小时才能完成的工作。
评测并非只看答案正误。每项任务平均包含约70条细分评分标准,其中事实准确性权重为75%,视觉完成度权重为25%。
为保证结果可比,所有模型使用相同的工具和工作环境,且每个模型最多可进行250次操作。最终文件由AI评审系统打开并核验内容、公式和视觉结构等项目;专家评估与AI评估之间的一致率达到96%。
结果显示,Anthropic的Claude Fable 5.2以57%的综合加权得分排名第一,Google的Gemini 4 Carbon以54%位列第二。
成本差距同样明显。Claude Fable 5.2单项任务平均成本为31.97美元(约合4.27万韩元),Gemini 4 Carbon则为6.29美元(约合8400韩元),约为前者的五分之一。
在效率方面,各模型完成任务所需的平均操作次数介于30次至130次之间,差异较大。
Google表示,在专业工作场景中,AI代理的竞争重点正从单纯的正确率,扩展至成果完成度和成本效率。不过,由于本次评测是在受控环境下进行,其在企业真实业务场景中的实际表现仍可能存在差异。