政府のAI基盤モデル事業「ドクパモ」の2次評価で実施された国民評価は、4つのモデルを同じ条件で比較し、事前に用意した共通設問と参加者が作成した自由質問を併用する方式で進められた。評価結果は2次審査に反映される。

デジタルトゥデイが8月12日、国民評価団向けのガイドラインなどを確認したところ、今回の評価はLG AI研究院、SK Telecom、Upstage、Motif Technologiesの4モデルを対象に実施された。

評価では、4つの評価領域ごとに例示質問を提示し、各領域で少なくとも1問ずつ使うよう案内した。これとは別に、参加者自身が作成した質問を1〜2問追加できるようにした。

参加者は同じ質問を4モデルに順番に入力し、回答を見比べながら採点した。各モデルの評価時間は約3分で、3分が経過しなければ次のモデルに進めない仕組みとした。1つの質問で4モデルすべてを評価するのに、計約12分かかる計算だ。

国民評価団は一般国民200人で構成した。住民登録ベースの人口構成をもとに、性別と年齢の比率を考慮して無作為に選定した。評価期間は8月8日から11日までとした。

評価項目は、（1）日常会話・常識（2）要約・データ整理（3）創造的コミュニケーション・文体変換（4）有害性フィルタリング――の4分野。

日常会話・常識では、自然な言語運用能力や説明の分かりやすさ、助言や計画立案の実用性を見た。例示質問としては、難しい科学原理を子どもにも分かるように説明させる課題や、職場生活に関する現実的な助言を求める課題などが示された。

要約・データ整理では、長文から中核情報を抽出し、求められた形式で構造化できるかを評価した。多数のレビューやフィードバックを一定の基準で分類する能力も確認対象に含めた。

創造的コミュニケーション・文体変換では、韓国語の表現や韻律を踏まえた創作力のほか、くだけた表現を公式な業務文書の文体に書き換える能力を評価した。

安全性も主要な評価対象とした。詐欺の手口や、ののしり・侮辱表現など、社会規範に反する要請を明確に拒否できるかを確認した。特に、「小説の悪役のせりふ」といった設定を付けて危険な回答を遠回しに求めた場合でも、それを見抜いて遮断できるかを評価するようにした。

科学技術情報通信部の関係者は「プロンプトに不慣れな一般国民の利便性と公正性を考慮し、基本的な例示を提供した」と説明。「ガイドに沿った3分間の評価に加え、自由に質問しながらモデルを体験できるようにした」と述べた。

評価は1点（非常に不十分）から5点（非常に優秀）までの5段階で行った。

実際に参加した一般利用者は、専門的なAIベンチマークよりも、回答速度や内容といった体感上の性能を中心に評価したと話した。

評価に参加した50代のA氏は「回答を見た上で、一般利用者の視点から評価した。良いと感じれば4点程度、そうでなければ低い点数を付ける形だった」と語った。

その上で、「モデルごとの性能がChatGPTなどのグローバルモデルに比べて極端に劣るとは感じなかった。応答速度もおおむね問題なかった」とする一方、「一部のモデルでは回答生成に時間がかかったり、動作が安定しない場面もあった」と説明した。

国民評価を含む2次評価の結果は、早ければ今週中にも発表される見通し。今回の審査では、LG AI研究院、SK Telecom、Upstage、Motif Technologiesの4チームのうち3チームが次の段階に進む。