Google DeepMindは、複雑な視覚資料を読み取り、報告書やスプレッドシートなどの成果物まで作成するAIエージェントの実務能力を測る新たなベンチマーク「MKA(Multimodal Knowledge Agent)」を公開した。単純な質問応答ではなく、専門職の実務をどこまで再現できるかを評価するのが特徴だ。
11月14日付の報道によると、Google DeepMindはAI分析企業Artificial Analysisと共同でMKAを開発した。
MKAでは、建築図面や電子回路の設計図、臨床画像など、複雑な視覚情報を含む資料をAIに与え、それをもとに実際の業務で求められる成果物を作成させる。
評価課題は200件。ビジネス、建設、エンジニアリング、金融、医療、科学など10分野83職種を想定した。各課題は、熟練した専門家が3〜8時間かけてこなす業務を再現したという。
評価は正答率だけではない。各課題に平均約70項目の詳細な評価基準を設け、事実の正確性に75%、視覚面の完成度に25%の比重を置いた。
比較条件をそろえるため、すべてのモデルに同一のツールと作業環境を用意し、最大250回の作業ステップを認めた。提出された最終ファイルはAI評価システムが開いて内容や数式、視覚構成などを検証し、専門家による評価との一致率は96%だった。
結果では、AnthropicのClaude Fable 5.2が高難度課題を加味した達成率57%で首位だった。GoogleのGemini 4 Carbonは54%で2位に入った。
一方、コスト面では差が大きかった。1課題当たりの平均コストは、Claude Fable 5.2が31.97ドル(約4796円)だったのに対し、Gemini 4 Carbonは6.29ドル(約944円)で、約5分の1にとどまった。
作業効率にもモデル間で開きがみられた。課題完了までに必要な平均作業回数は30〜130回だった。
Googleは、専門業務におけるAIエージェントの評価軸が、単純な正答率だけでなく、成果物の完成度やコスト効率にも広がっていると説明した。その一方で、今回の評価は統制された環境で実施されたものであり、企業の実運用における成果とは差が生じる可能性があるとしている。