图片来源:Shutterstock

韩国“独立AI基础模型”项目首轮评估结果正式公布。Naver Cloud和NC AI未能进入下一阶段,其中Naver Cloud虽然通过了基准测试门槛,但因未达到“独立性”要求,最终未获入围资格。

韩国科学技术信息通信部、信息通信产业振兴院(NIPA)和韩国信息通信技术协会(TTA)15日公布了上述项目的首轮阶段评估结果。

本次共有Naver Cloud、Upstage、SK Telecom、NC AI和LG AI Research等5个联合体参与。韩国科学技术信息通信部此前已与NIPA及5个团队进行了多轮讨论,并据此确定首轮评估方案和具体标准。

LG AI Research多项评估得分居首

首轮评估由基准测试、专家评审和用户评估三部分组成,重点考察模型性能(AI Frontier Index)、实际场景可用性、模型规模带来的成本效率,以及对海内外AI生态的扩散效应与推进计划等指标(AI Diffusion Index)。

其中,基准测试总分为40分,分为三部分:NIA基准测试(10分)、全球通用基准测试(20分)和全球专项基准测试(10分)。

NIA基准测试除数学、知识和长文本理解外,还联合AI安全研究机构,对模型的可信性与安全性进行评估。全球通用基准测试则选取了国际上广泛认可的13类测试项目,覆盖智能体、数学、知识与推理、指令遵循等领域。全球专项基准测试则围绕各团队设定的全球目标模型(SOTA级),选取5类可比基准进行测试。

从结果看,在NIA基准测试中,SK Telecom和LG AI Research均获得9.2分,并列第一;在全球通用基准测试中,LG AI Research以14.4分位居首位;在全球专项基准测试中,Upstage和LG AI Research同获满分10分。

专家评审总分为35分,由10名来自产学研领域的外部AI专家组成评审委员会,对各团队提交的材料进行长期评估,综合考察开发战略与技术能力、阶段性成果与后续计划,以及生态扩散效应和贡献方案等内容。

评审委员会还对5个团队公开披露的模型技术报告及训练日志等材料进行了分析,以评估其技术研发过程和独立性等能力。结果显示,LG AI Research以31.6分位列第一,5个团队平均分为28.56分。

用户评估总分为25分,共有49名AI专业用户参与,其中包括AI初创企业负责人等。评估基于各团队以自家模型搭建的AI服务网站,重点分析模型在实际场景中的可用性和推理成本效率。LG AI Research在该项中获得满分25分,高出20.76分的平均分4分以上。

韩国科学技术信息通信部综合各项得分后,最初将LG AI Research、Naver Cloud、SK Telecom和Upstage列入4个入围团队名单,NC AI则被排除在外。

Naver Cloud未能入围,关键在于“独立性”未达标

韩国科学技术信息通信部原本计划在首轮评估中淘汰1个团队,但实际共有2个团队未能过关。除因基准测试成绩偏低而落选的NC AI外,Naver Cloud也最终未能入围。主管部门表示,Naver Cloud虽然达到了基准测试最低要求,但未满足政府设定的独立性标准,因此被排除在下一阶段之外。

根据韩国科学技术信息通信部此前发布的项目征集文件,“独立AI基础模型”是指并非基于海外模型微调等方式开发出的衍生模型,而是从模型设计到预训练全过程均由韩国自主完成的本土模型。

在技术层面,主管部门强调,应从原创模型架构设计出发,自主获取和加工大规模数据,并运用独立的学习算法完成全流程训练,以实现AI模型的自主可控。

相关人士解释称,在全球AI生态中,使用开源模型已是普遍做法,但在模型权重初始化之后开展训练,并持续完善模型,仍被韩国国内外产业界和学界视为“独立AI模型”的基本条件。

因此,本轮评估将“即使战略性使用经过验证的开源资源,也必须在权重初始化后自主完成训练和开发”设定为确保模型独立性的最低标准。

在政策层面,评估还强调,为降低国家机密泄露或国家安全受威胁等潜在风险,相关团队必须具备随时自主开发和迭代AI模型的能力,并能够在任何情况下主导模型的运营与使用。

换句话说,要么以完全自主技术开发AI模型,要么在不受许可限制的开源基础上实现自主开发和迭代,并避免因使用开源模型而受制于外部限制或干预。

在伦理层面,评估要求遵守相关许可政策,并披露模型开发所参考的来源信息。韩国科学技术信息通信部指出,提升AI生态信任、强化公开验证和提高透明度,是推动产业健康发展的必要条件。

综合技术、政策和伦理三方面因素,主管部门最终认定Naver Cloud团队的AI模型未达到独立性标准。专家评审委员会也认为,其模型在独立性方面存在局限,因此不符合“独立AI基础模型”项目要求。

经首轮评估后,原有5个团队中,LG AI Research、Upstage和SK Telecom已确定晋级第二阶段。

韩国科学技术信息通信部:将追加公开遴选1个团队

韩国科学技术信息通信部表示,后续将面向首次征集时提交申请的联合体、在首轮评估后未被纳入入围名单的联合体(Naver Cloud、NC AI),以及其他具备相关能力的企业,追加公开遴选1个团队,争取在今年上半年形成4个团队竞争的格局。

对于新增入围的1个团队,政府将提供GPU和数据支持,并授予“K-AI企业”称号,给予其参与“独立AI基础模型”开发竞争的机会。韩国科学技术信息通信部称,将尽快推进相关行政程序,启动新增团队的公开征集。

韩国科学技术信息通信部表示,该项目是韩国以自主技术应对全球AI竞争的一项重要挑战。政府将集中可用的国家资源和能力,构建可持续、健康的AI生态,提升韩国在全球AI技术竞争中的地位。

关键词

#独立AI基础模型 #韩国科学技术信息通信部 #NIPA #TTA #Naver Cloud #NC AI #LG AI Research #SK Telecom #Upstage #基准测试
版权所有 © DigitalToday。未经授权禁止转载或传播。