Motif Technologiesは27日、韓国政府の「独自AI基盤モデル」事業の2次評価結果を巡り、韓国科学技術情報通信部に異議を申し立てたと発表した。評価項目別の詳細得点や基準の開示に加え、再審議を求めている。

同社は同日公表した声明で、2次選定の結果に対する異議申し立てを正式に提出したと明らかにした。

Motif Technologiesによると、同社のAIモデル「Motif 3」は、グローバルAIモデルの総合性能指標「Artificial Analysis Intelligence Index（AAII）」で47点を記録し、今回の事業参加モデルの中でスコアが最も高かった。一方、18日に公表された2次評価では最下位となり、選定から外れたという。AAIIのスコアは、Upstageが37点、SK Telecomが35点、LG AI研究院が31点だったとしている。

同社は評価結果そのものは受け入れるとしつつ、韓国科学技術情報通信部がその後、専門家評価とユーザー評価で「Motif 3」の使い勝手や活用性が低かったとの趣旨を説明した点については、具体的な評価基準と結果を公表すべきだと主張した。

また、基盤モデルの価値はチャットボットとしての使いやすさではなく、多様な分野に展開できる基礎性能にあるとの立場も示した。事業の当初目標が、グローバルのフロンティアモデル比で95％以上の性能確保だったことを踏まえると、現時点で国内モデルの性能は十分だとみなし、使い勝手に評価の比重を置くのは事業趣旨に沿わないとしている。

同社の説明では、今回の評価はベンチマーク40点、専門家評価35点、ユーザー評価25点の計100点で構成されていた。ベンチマーク評価は、AAIIの25点分と韓国知能情報社会振興院（NIA）による15点分で構成されていたという。

その上で同社は、ベンチマークの得点を実際の配点に換算する過程で、モデル間の性能差が過度に縮小されたと指摘した。AAIIでは「Motif 3」の47点とLG AI研究院モデルの31点には16点の差があるが、25点満点に換算すると差は4点に縮小するという。

これを踏まえ、Motif Technologiesは韓国科学技術情報通信部に対し、（1）全評価項目における企業別の詳細得点と評価基準（2）ベンチマーク評価の配点方式と算定根拠（3）専門家評価の詳細基準と結果（4）ユーザー評価の方法論と詳細基準・結果――の開示を求めた。

ユーザー評価について同社は、大企業とスタートアップのブランド認知度が結果に影響する可能性があるとして、事前にブラインド評価を要請していたと説明した。ただ、実際の評価方式や条件は十分に公開されなかったと指摘している。特に、ベンチマークで示されたモデル間の性能差がユーザー評価を経て逆転したのであれば、その理由を確認できる具体的な根拠が必要だと訴えた。

一方で同社は、今回の異議申し立ては自社の再選定を求めるものではないとした。異議申し立ての結果にかかわらず、同事業の3次評価には参加しない方針も示した。

Motif Technologiesは「今回の異議申し立てが、この事業の目的に関する共通認識を形成し、参加各社が納得できる改善の方向性を探る契機になることを望む」とコメントした。その上で、「今後は自力で韓国最高水準のフロンティアモデルを開発し、グローバル競争で勝ち抜けるチームであることを証明する」と強調した。