SK Telecom乙支路办公楼。图片来源:SK Telecom

SK Telecom参与韩国政府“自主AI基础模型”项目的研发团队1月7日在开源社区Hugging Face公开大模型“A.X K1”技术报告。该模型参数规模为519B。

SK Telecom表示,团队通过多项技术优化和效率设计,完成了韩国首个500B以上参数的大模型A.X K1。在GPU资源受限的情况下,团队仍在约4个月内完成训练。

从已披露的基准测试结果来看,A.X K1在多项关键指标上的表现接近,甚至部分超过DeepSeek-V3.1等全球广泛使用的超大模型。SK Telecom称,通常模型参数规模越大,优化所需时间和GPU投入也越高;与其他相关团队相比,A.X K1的参数规模至少高出两倍,同时仍保持了较高性能。

公司表示,A.X K1后续仍可通过继续投入算力和数据进一步提升性能。按计划,团队将在年内为该模型引入多模态能力,并将参数规模扩展至万亿级。

据介绍,研发团队此次使用1000块GPU训练A.X K1,并根据训练周期和GPU规模可承载的总训练算力,结合缩放定律确定模型规模上限,最终设计出519B参数架构,并投入约10万亿token训练数据完成训练。

SK Telecom表示,该团队长期将1000块以上的GPU用于AI训练,并通过量化方式设计和管理最优训练计算量,以尽可能提升单位GPU资源的训练效率。公司补充称,此次项目未获得政府资源支持,训练所需GPU全部由公司自行筹措。

在具体能力上,A.X K1在数学和编程等领域表现较为突出。此次技术报告披露的基准成绩,主要与685B参数的DeepSeek-V3.1以及357B参数的开源模型GLM-4.6进行对比,以比较不同参数规模模型的性能表现。

其中,在数学基准AIME25中,A.X K1得分为89.8,达到DeepSeek-V3.1(88.4分)的102%。在反映编程应用能力的LiveCodeBench测试中,A.X K1英文基准得分75.8,韩语基准得分73.1,显示出其在实时编程解题场景中的能力;相比之下,DeepSeek-V3.1在英文基准和韩语基准上的得分分别为69.5和66.2,A.X K1分别达到其109%和110%。

在效率方面,A.X K1采用专家混合(MoE)架构,在519B参数中仅选择性激活其中33B参数,以提升效率并兼顾训练稳定性。MoE是一种通过多个较小专家模型协同处理更复杂任务的架构。

此外,A.X K1支持128K token上下文窗口。按韩语文本长度估算,这一长度约相当于10万个词,可使模型一次处理整本小说或一份企业年度报告。

关键词

#SK Telecom #A.X K1 #Hugging Face #大模型 #超大模型 #MoE #519B参数 #基准测试 #LiveCodeBench #多模态
版权所有 © DigitalToday。未经授权禁止转载或传播。