米Mercorは、既存のAIベンチマークが実際の労働市場における業務のごく一部しか捉えられていないとする分析結果を公表した。特定の試験で高スコアを示したAIであっても、それだけで実務全般への対応力を判断するのは難しいとしている。

Mercorは10月19日（現地時間）、「米国の労働時間の約90%は、既存のAIベンチマークで十分に評価されていない業務に当たる」と明らかにした。Gigazineが報じた。調査では、米労働省の職業情報データベース「O*NET」を用い、29のAIベンチマークが実務をどの程度カバーしているかを検証した。

O*NETでは、米国の労働市場を923の職種、1万8797の詳細業務に分類している。研究チームは各ベンチマークの設問を実際の業務に対応付け、1つの業務に5問以上がひも付く場合、その業務は評価対象に含まれると定義した。

その結果、この基準を満たした業務は924件にとどまり、全体の約4.9%だった。923職種のうち、少なくとも1つの業務が評価対象に入った職種も208にとどまった。

分野別の偏りも大きかった。ソフトウェア開発や法律、金融分析では比較的カバー率が高かった一方、トラック運転やガスプラントの運用といった業務はほとんど評価対象に含まれていなかった。同じ法律分野でも、弁護士業務は比較的多くカバーされていたのに対し、法律秘書や裁判所書記の業務はカバー率が低かった。

研究チームは、ベンチマークが自動化しやすい業務や経済規模の大きい職種に偏る傾向があると分析した。実際、AIの影響を受けやすい業務は、そうでない業務に比べてベンチマークの評価対象に含まれる可能性が約6倍高かったという。

また、物理的な作業も評価が及びにくい領域として挙げられた。米国では、完全なリモートワークが可能な職種は約37%と推計されており、残る職種には現場作業などデジタル試験では測りにくい業務が多く含まれる可能性があるとしている。

もっとも、今回の分析は研究チームが選定した29のベンチマークを対象にした初期的な結果であり、あらゆるAI評価手法を網羅したものではない。

Mercorは、今回の結果が「AIは米国の労働の90%を担えない」ことを意味するわけではないと強調した。現状のベンチマークだけでは、AIの実務遂行能力を十分に把握しにくい点が問題だとしている。