Kakao开源了自研AI模型“Kanana-2”的轻量级语言模型,以进一步提升技术竞争力并拓展生态。
Kakao于28日(当地时间)在全球AI平台Hugging Face发布Kanana-2系列,共开源4款可在智能手机等端侧设备上直接运行的轻量级语言模型,分别为Kanana-2-1.3B-base、Kanana-2-1.3B-instruct、Kanana-2-3B-base和Kanana-2-3B-instruct。
公司表示,尽管模型参数规模较小,但该系列在韩语和英语任务上仍展现出接近全球同级模型的表现。与同等规模的最新开源模型相比,其在韩语、英语、知识、数学、代码等多项主流基准测试中取得了更优成绩。
其中,Kanana-2-1.3B-instruct以及同步开发的更小型模型Kanana-2-0.9B-instruct,在对话、知识、代码、数学、指令遵循和工具调用等实际服务能力上,表现出与Qwen、Gemma等同级全球模型相近的竞争力。
在语言处理效率方面,Kakao为该系列引入了自研韩语专用Tokenizer。公司称,与以往相比,韩语处理效率提升超过30%。Tokenizer是AI模型处理文本时决定切分粒度的关键技术,越贴合韩语特性,处理同一句子所需的计算单元就越少,从而有助于提升运行速度并降低成本。Kakao表示,去年完成研发的韩语专用Tokenizer已应用于此次发布的全系列模型。
针对端侧环境中内存和算力受限的特点,Kanana-2系列还进行了专门优化。为缓解长对话场景下内存占用快速上升的问题,模型采用了滑动窗口注意力结构。在最长32K上下文窗口下,该系列在保持稳定性能的同时,最高可将内存占用降低72.7%。
Kakao表示,此次开源模型将以允许商业使用的“Kanana Open License”对外发布。开发者、研究机构和企业可在许可范围内使用相关技术,这有望扩大韩国高性能韩语AI模型的应用基础,并带动新服务开发。
此外,Kakao内部也已将研发过程中积累的相关技术应用于“Kanana in KakaoTalk”“KakaoTalk对话摘要与通话摘要”“AI国民秘书”等服务。
Kakao Unified Foundation Model成果负责人Byeong-seok Noh表示,面向Agentic AI时代,公司正同步推进云端大模型与端侧轻量AI,并持续提升两端技术竞争力。他还表示,希望此次开源能够推动更多开发者和企业开展AI服务开发,进一步活跃韩国国内AI生态。