Krafton于21日发布自研300亿参数大语言模型Raon-1 Mini预览版。图片来源:Krafton

Krafton于21日发布自研300亿参数大语言模型Raon-1 Mini预览版。

据介绍,Raon-1 Mini从模型设计到预训练全流程均由Krafton自主完成,支持韩语和英语。目前,该模型已在Hugging Face上线预览版。

Raon-1 Mini采用Apache 2.0许可,任何人均可免费下载。除研究用途外,该模型也可用于商业服务和产品开发。

在技术架构上,Raon-1 Mini采用专家混合(MoE)架构,总参数规模为300亿,每次推理仅激活其中40亿参数。同时,模型还结合了Krafton自研的线性注意力技术,以提升响应速度并降低推理成本。

Krafton表示,根据内部评测结果,Raon-1 Mini在同等规模的海外模型中表现更佳,部分指标已接近韩国本土大型模型。韩语对话能力、指令遵循能力和响应速度,被列为该模型的主要优势。

在指令遵循方面,Raon-1 Mini不仅能够满足格式约束和角色设定等要求,也可用于处理多步骤任务的AI Agent场景。Krafton表示,相比单纯追求基准测试分数,公司在模型研发中更看重其在实际应用场景中的效率与成本表现。

Raon-1 Mini也是Krafton今年4月推出的AI模型品牌“Raon”旗下的基础大语言模型。此前,Krafton已开源发布Raon-Speech、Raon-SpeechChat、Raon-OpenTTS和Raon-VisionEncoder 4款模型,分别覆盖语音语言、实时语音对话、文本转语音以及视觉编码等方向。

Krafton表示,未来将继续提升Raon-1 Mini的性能,并推出正式版本。正式版发布时,公司还将同步公开涵盖训练过程和最终性能的技术报告。

Krafton首席AI负责人(CAIO)Kang Wook Lee表示,公司基于5年以上积累的AI研发能力,独立开发出具备竞争力的语言模型。未来,Krafton将以“更高性能、更低成本”的大语言模型,进一步拓展AI在各行业的应用范围。

截至目前,Krafton AI研究团队已在NeurIPS、ICML、ICLR等主要国际AI学术会议上发表54篇论文;在NeurIPS 2026上,其主会场(Main Track)共有9篇论文被接收。

关键词

#Krafton #Raon-1 Mini #大语言模型 #Hugging Face #Apache 2.0 #MoE #线性注意力 #推理成本
版权所有 © DigitalToday。未经授权禁止转载或传播。