グローバルの大規模言語モデル（LLM）開発競争が、単純な質疑応答から外部ツールやデータを活用して実務をこなす「エージェントAI」へと軸足を移すなか、韓国政府の「独自AI基盤モデル」事業「独パモ」が第2次評価で関連能力をどう測るかが注目されている。

14日、関係省庁によると、独パモの第2次評価は、第1次と同様にベンチマーク評価、専門家評価、利用者評価の3本柱で実施する。

一方、利用者評価の設計は見直した。第1次ではAI企業の代表ら専門利用者49人が参加したが、第2次では専門利用者向け評価と、一般利用者200人による評価に分けて実施する。

科学技術情報通信部は、評価の目的に応じて外部ツールの使用可否を分け、モデル単体の性能とエージェント能力を切り分けて確認する方針を示している。

同部関係者は「専門利用者評価では、LLMそのものの性能に重点を置くため、ツール呼び出しなどは制限した」と説明した。その上で「専門家評価では外部ツールの利用を認める」とし、「独パモ参加モデルのエージェントAI性能を客観的に確認できる体制は十分整えたと判断している」と述べた。

エージェントAIは、LLMが単に質問に答えるだけでなく、目標達成に必要な作業を分解し、外部ツールを選択・実行しながら複数段階の業務を進める仕組みを指す。検索やデータベース照会、外部アプリケーションの実行などを必要に応じて使い分ける。

ベンチマーク評価でも、こうしたエージェント能力を測る。第1次評価では、韓国知能情報社会振興院（NIA）が用意した国内AIモデル性能評価セットに加え、グローバルの共通ベンチマークと個別ベンチマークを活用した。

グローバル共通ベンチマークには、エージェント性能や数学、知識・推論などを評価する13種類が含まれていた。

ただ、科学技術情報通信部は、公正性などを考慮し、実際の評価に用いるグローバルベンチマークの具体的なリストは公表していない。

グローバル市場では、エージェント能力を細分化して測定する複数のベンチマークが使われている。AIモデル評価機関のArtificial Analysisは、「τ³-Banking」「Terminal-Bench v2.1」「GDPval-AA」を、それぞれツール利用を伴うエージェント性能、コーディングやターミナル操作を伴うエージェント性能、実務遂行能力を測る指標として分類している。

独パモ第2次評価に参加する4モデルは、いずれもこの3つのベンチマークで評価結果が公開されている。

実際の業務課題への対応力をみるGDPval-AAでは、Motif Technologiesの「Motif 3」が39%、Upstageの「Solar Open2」が31%、SK Telecomの「A.X K2」が30%、LG AI Researchの「K-EXAONE 2.0」が24%だった。

外部ツールの活用能力を測るτ³-Bankingでは、Motif 3が35%、Solar Open2が22%、A.X K2が16%、K-EXAONE 2.0が12%となった。

コーディングやターミナル活用を伴うエージェント性能を評価するTerminal-Bench v2.1では、Motif 3が75%、Solar Open2が44%、K-EXAONE 2.0が40%、A.X K2が39%だった。

もっとも、これらのベンチマークは特定の環境でモデルの一部のエージェント能力を測る指標にとどまる。個別ベンチマークのスコアを、そのままモデル全体のエージェント性能や産業現場での活用可能性と同一視するには限界がある。

専門家は、ベンチマークの成績だけでなく、実務環境での活用可能性を検証するプロセスが重要だと指摘する。チェ・ジェシクKAIST指定席座教授は「グローバルAI競争では当面、エージェントAIが中核となる以上、独自モデルも現場で使える水準まで性能を引き上げることが重要だ」と強調した。

その上で「ベンチマークの点数にとどまらず、コーディングや業務自動化など具体的な分野で実証し、活用可能性を検証する必要がある」と述べた。