科学技術情報通信部は20日、「独自AI基盤モデル」プロジェクトの2次評価の詳細結果を追加公表した。評価項目ごとに首位企業は分かれ、グローバルベンチマークではMotif Technologies、NIAベンチマークとAI専門ユーザー評価ではSK telecom、専門家評価と一般評価ではLG AI Researchがそれぞれ最高点を獲得した。

同部は18日に2次評価の結果を発表していたが、その時点では評価項目別の首位企業名と得点は公表していなかった。1次評価で項目別首位を公開したことが、当該企業への過度な注目を招き、他社には不利なレッテル貼りにつながりかねないとの指摘を踏まえたためとしている。

一方、評価の透明性を疑問視する声が出たことを受け、公開範囲を広げた。2次評価は、ベンチマーク評価40点、専門家評価35点、ユーザー評価25点で構成された。

ベンチマーク評価のうち、グローバル指標のArtificial Analysis Intelligence Index（AAII）では、Motif Technologiesが25点満点中11.9点で首位だった。4チームの平均点は9.48点だった。

AAIIでは、エージェント分野のGDPval-AA v2とTau3-Banking（τ3-Banking）、コーディング分野のTerminal-Bench v2.1とSciCodeのほか、一般・科学推論に関するグローバルベンチマークを用いた。AAII全体に占めるエージェント分野の比重は34%で最も高かった。

NIAベンチマークでは、SK telecomが15点満点中13.4点で最高点を記録した。数学、知識、長文理解、安全性、信頼性、韓国語、指示遂行の7分野を評価し、4チーム平均は13.05点だった。

35点満点の専門家評価では、LG AI Researchが29.5点でトップとなった。4チーム平均は28.75点だった。

専門家評価は、産業界3人、学界5人、研究機関2人の外部専門家が担当した。開発戦略・技術、開発成果・計画、エコシステムとグローバルへの波及効果などを評価し、モデルの使いやすさや実用性、多様なドメインやシナリオへの適用可能性も評価項目に含めた。

ユーザー評価は、AI専門ユーザー評価15点と一般評価10点で構成された。AI専門ユーザー評価にはAIスタートアップ代表など49人が参加し、SK telecomが11.6点で首位だった。4チーム平均は10.53点だった。

一般評価は、性別・年齢別のクオータを適用して無作為に抽出した200人のうち185人が参加した。LG AI Researchが10点満点中7.6点で最高点となり、4チーム平均は7.03点だった。