一项最新分析显示，用于衡量AI工作执行能力的现有基准测试，实际上仅覆盖了真实劳动力市场中的极小一部分任务。这意味着，即便AI在部分考试或测试中取得高分，也难以据此判断其是否具备胜任大多数实际工作的能力。

日本媒体Gigazine当地时间19日报道称，美国AI人才与评估公司Mercor援引分析结果指出，美国约90%劳动工时所涉及的工作内容，并未在现有AI基准测试中得到充分评估。Mercor以美国劳工部职业信息数据库O*NET为基础，对29项AI基准测试与现实工作任务之间的对应关系进行了分析。

根据介绍，O*NET将美国劳动力市场划分为923个职业、18797项细分任务。研究团队将基准测试中的单道题目与实际工作任务逐项匹配，并将“某项任务至少对应5道测试题”设定为覆盖标准，达到这一标准的任务才被视为获得有效评估。

结果显示，符合上述标准的任务仅有924项，占全部细分任务的约4.9%。在923个职业中，也只有208个职业至少有一项任务被现有测试覆盖。

从行业分布来看，不同领域之间差异明显。软件开发、法律服务、金融分析等领域的覆盖程度相对较高，而卡车驾驶、燃气工厂运营等工作几乎未被涉及。即便在同一领域内部，覆盖情况也并不均衡。例如在法律领域，律师相关任务被纳入测试的比例较高，但法律秘书、法院书记员等岗位的相关任务覆盖率则明显偏低。

研究团队认为，现有基准测试更倾向于聚焦那些更容易被AI自动化的任务，以及经济体量更大的职业。数据显示，受AI影响概率更高的任务，被纳入评估范围的可能性约为其他任务的6倍。

此外，体力劳动也是现有评估体系中的明显盲区。报告提到，美国完全可以远程办公的岗位比例估计约为37%，其余岗位中则可能包含大量需要现场操作、难以通过数字化考试加以衡量的工作内容。

不过，Mercor也指出，这项分析仍属初步结果，仅涵盖研究团队选取的29项基准测试，并不代表对所有AI评估体系的全面审查。

Mercor强调，这并不意味着AI无法完成美国90%的工作，而是说明仅凭当前的评估方式，仍难以充分把握AI在真实工作场景中的实际执行能力。