科学技術情報通信部は27日、独自AI基盤モデルプロジェクトの第2段階評価の詳細結果を公表した。選定から外れたMotif Technologiesはベンチマーク評価で4チーム中トップだったものの、専門家評価と利用者評価で得点を伸ばせず総合4位となった。3位のLG AI Researchとの差は3.2点だった。

評価対象はUpstage、SK Telecom、LG AI Research、Motifの4チーム。総合点はSK Telecomが70.6点で首位、Upstageが69.9点で2位、LG AI Researchが69.0点で3位、Motifが65.8点で4位だった。

評価は、ベンチマーク評価40点、専門家評価35点、利用者評価25点の計100点で構成された。利用者評価は、AI専門ユーザー評価15点と一般利用者評価10点に分けて実施した。

項目別にみると、Motifはベンチマーク評価で24.6点を獲得し首位だった。Upstageは22.7点、SK Telecomは22.2点、LG AI Researchは20.6点だった。

ベンチマーク評価は、Artificial Analysis Intelligence Index（AAII）の25点と、韓国知能情報社会振興院（NIA）ベンチマークの15点で構成した。AAIIではMotifが11.9点で最高点を記録し、Upstageが9.4点、SK Telecomが8.8点、LG AI Researchが7.8点で続いた。

一方、NIAベンチマークではSK Telecomが13.4点で1位、Upstageが13.3点、LG AI Researchが12.8点、Motifが12.7点だった。

専門家評価では順位が入れ替わった。LG AI Researchが29.5点でトップとなり、SK Telecomが29.3点、Upstageが29.1点、Motifが27.1点だった。

専門家評価は、産業界3人、学界5人、研究機関2人の外部専門家10人が担当し、開発戦略・技術、開発成果・計画、波及効果・貢献計画などを評価した。各チームの点数は、各評価委員の採点から最高点と最低点を除いた上で、残りを単純平均して算出したという。

利用者評価では差がさらに広がった。SK Telecomが19.1点、LG AI Researchが18.9点、Upstageが18.1点だったのに対し、Motifは14.1点にとどまり最下位だった。LG AI ResearchとMotifの差は4.8点だった。

内訳をみると、AIスタートアップの代表ら49人が参加したAI専門ユーザー評価では、SK Telecomが11.6点で1位だった。LG AI Researchは11.3点、Upstageは10.8点、Motifは8.4点だった。

一般利用者185人が参加した一般利用者評価では、LG AI Researchが7.6点で最高となり、SK Telecomが7.5点、Upstageが7.3点、Motifが5.7点だった。

この結果、Motifはベンチマーク評価でLG AI Researchを4.0点上回った一方、専門家評価で2.4点、利用者評価で4.8点下回り、総合では3.2点差で4位となった。

今回の詳細点数の公表は、Motifが同日、第2段階評価の結果に対して正式に異議を申し立てた直後に行われた。Motifは声明で、自社モデル「Motif 3」がAAIIで最高点を獲得したにもかかわらず選定から外れたとして、詳細点数の開示と再審議を求めた。

Motifは特に、ベンチマークの点差が最終配点に換算される過程で縮小されたと主張。あわせて、専門家評価の詳細基準と利用者評価の方法論の開示を要求した。一般利用者が開発企業名を認識したまま評価すれば、ブランド認知や先入観が影響する可能性があるとして、ブラインド評価の必要性も訴えた。

ただ、Motifは異議申し立てについて、自社の再選定を求めるものではないと説明した。申し立ての結果にかかわらず、第3段階には参加しない方針も示した。

科学技術情報通信部は、「独自AI基盤モデルは単なる順位競争や脱落チームの選定を目的とした事業ではなく、国内AI企業の成長と国内AIエコシステムの質的成長・拡大を後押しする趣旨がある」と説明した。その上で、「評価結果の公開に伴う企業への影響と、評価過程・結果の公正性や透明性を総合的に考慮して公開範囲を決めてきた」と述べた。