8月18日,韩国科学技术信息通信部第二次官 Ryu Je-myeong在首尔钟路区政府首尔厅舍介绍“独立AI基础模型”项目第二阶段评估结果。图片来源:韩联社

韩国政府“独立AI基础模型”项目第二阶段评估结果显示,模型是否具备实际应用价值、能否在产业和服务场景中落地,已成为决定晋级与否的重要标准。尽管Motif Technologies在全球基准测试中得分最高,最终仍未能进入下一阶段;相较之下,晋级的3支团队在商业服务部署、产业场景验证和生态推广计划方面更具优势。

根据韩国科学技术信息通信部8月18日公布的结果,进入下一阶段的团队分别为Upstage、SK Telecom和LG AI Research,Motif Technologies被淘汰。政府计划在下半年围绕上述3支团队继续开展第三阶段竞争,并按原定方案最终选出2支团队。

不过,第三阶段的具体评估方式、评分权重和详细时间表尚未敲定。至于最终入选的2支团队在2027年的后续开发支持,政府也表示,将结合正在研究中的“前沿级AI模型”研发项目重新评估。

此次第二阶段评估采用百分制,具体由基准测试40分、专家评审35分、用户评测25分构成。其中,基准测试又分为Artificial Analysis的AI智能指数(AAII)25分,以及韩国智能信息社会振兴院(NIA)基准测试15分。

在政府首尔厅舍举行的结果发布会上,韩国科学技术信息通信部第二次官 Ryu Je-myeong谈及Motif Technologies未能晋级的原因时表示,该公司技术实力突出,但在此次评估中占比较高的实用性和可用性相关项目上,得分低于其他企业。

数据显示,Motif Technologies在全球AI评测平台Artificial Analysis的AAII评分中获得47分,为4支团队中最高。按AAII标准,其模型在美国和中国以外国家开发的模型中表现最佳;若以各公司最强模型为口径统计,也跻身全球前十。

相比之下,成功晋级的团队除技术性能外,更强调真实应用场景和落地能力。

其中,Upstage提出了将模型应用于Daum门户网站和Timely等服务的方案,并给出了与FuriosaAI神经网络处理器(NPU)协同运行的计划。其模型已在Daum真实服务环境中完成概念验证(PoC),被视为韩国本土AI软硬件协同落地的案例之一。

SK Telecom除在数理推理和韩语能力方面具备竞争力外,还因模型已实际部署至大规模商业服务而获得较高评价。该公司通过国防用途模型、制造业专用智能体验证,以及法务、税务领域演示,展示了模型在产业一线的应用潜力。

LG AI Research则提出与国际组织等全球机构推进合作的策略,突出其在智能体AI方面的差异化能力,并提交了模型可信性与风险管理体系。政府在评估中重点考察了其安全、可信应对方案及潜在全球影响力。

从评估设计来看,此次评分体系本身就并非单纯以技术性能排名论高下。韩国科学技术信息通信部表示,各项评估中排名第一的企业并不相同,说明最终结果是多项指标综合作用的结果,而非由单一因素决定。

第二阶段评估进一步提高了与实用性相关指标的比重,重点考察真实用户对模型易用性和使用效果的感受。具体来看,专家评审中“对国内外AI生态的影响及贡献计划”权重,已由第一阶段的10分上调至15分;在用户评测中,则在原有AI专业用户评估基础上,新增了10分的普通公众评估。

不过,政府强调,结果并非完全由实用性一项决定。基准测试第一名与第四名之间仅相差4分,专家评审分差为2.4分,用户评测分差为5分,整体差距并不悬殊。

Ryu Je-myeong表示,很难断定某一项指标起到了决定性作用,更准确地说,是各项评分上的细微差距叠加后形成了最终结果。

普通公众评估方面,约有1400人报名,最终筛选出200人,其中185人实际参与。韩国科学技术信息通信部表示,普通公众评估的得分并未对最终晋级名单产生决定性影响。

对于评估前后出现的基准测试成绩是否存在刻意优化的争议,韩国科学技术信息通信部表示,这一问题未被纳入最终结果判断。该部门称,已请求Artificial Analysis进行相关分析,对方反馈未发现能够证明存在“针对评测进行系统性记忆”或过拟合的线索;通过专家评审等渠道,也未确认存在破坏竞争公正性的情况。

按照既定安排,第三阶段仍将采取“3进2”机制推进,但评估标准尚未最终确定。

韩国科学技术信息通信部表示,第三阶段评估将在第二阶段异议申诉程序结束后启动。Motif Technologies已表明,不会就第二阶段评估结果提出异议。根据原计划,现有3支团队中最终将有2支进入最后名单。

不过,评估项目和权重等细节方案仍待敲定。Ryu Je-myeong表示,政府将结合第一、第二阶段经验,对需完善的部分作出调整,并在与3家参与企业协商后尽快确定方案并对外公布。

对于进入下一阶段的3支团队,政府计划于下半年向每支团队提供约1000块NVIDIA B200 GPU,较上半年的约768块有所增加。韩国科学技术信息通信部人工智能基础设施政策官 Choi Dong-won解释称,若按租用6个月计算,每支团队所需经费约为400亿韩元,3支团队合计约1200亿韩元。

与此同时,政府也在考虑,在第三阶段选出最终2支团队后,重新评估后续支持方式。按照原定目标,该项目将通过三阶段评估选出2支团队,并在2027年继续开发1年,力争推出能力达到全球顶尖模型约95%水平的AI模型。

但随着全球前沿模型性能快速提升,政府与参与企业正重新评估:在当前支持规模和竞争机制下,既定目标是否仍具可实现性。Ryu Je-myeong表示,在前沿企业模型能力呈指数级提升的情况下,政府一直与参与企业持续讨论,现有方式是否足以跟上技术演进速度。

韩国科学技术信息通信部人工智能政策室长 Kim Kyung-man在发布会后对记者表示,若要参与前沿级模型竞争,目标可能需要扩展至至少1万亿(1T)参数规模的模型,同时也可能需要追加“以万亿韩元计”的资金投入。

此外,政府也在研究将现有“独立AI基础模型”项目与通用人工智能(AGI)等相关项目进行联动和重组。

Ryu Je-myeong表示,当前需要构建新的竞争框架。政府正与企业讨论,资源究竟应继续分散投入还是集中配置,以及何种企业联盟形态更为合适。政府内部也在同步评估财政支持的可行性和项目实施效果。

他还表示,待政府预算最终确定后,将尽快对外说明目前讨论中的相关方案。

关键词

#韩国科学技术信息通信部 #独立AI基础模型 #Upstage #SK Telecom #LG AI Research #Motif Technologies #AAII #NVIDIA B200 GPU #前沿级AI模型
版权所有 © DigitalToday。未经授权禁止转载或传播。