搜索关键词 Tokenizer
AI & Enterprise
Aleph Alpha推出大语言模型Kolibri:总参数781亿,上下文窗口达100万token
德国AI初创公司Aleph Alpha推出大语言模型Kolibri,目标市场锁定公共管理、工业制造、航空航天等高监管行业。该模型采用MoE架构,总参数量为781亿,推理时仅激活约34.6亿参数,支持英语和德语,上下文窗口最高达100万token。“主权AI”定位和降低幻觉的训练机制,是其主要特点。
AI & Enterprise
Kakao将在ECCV 2026公开KATok:视频生成模型训练速度提升约6.9倍
Kakao将于ECCV 2026公开自适应视频Token化技术KATok。该技术可根据视频的时空复杂度自动调整Token数量,减少冗余计算。实验显示,相比Dense Tokenizer方案,相关视频生成模型训练速度提升约6.9倍,生成速度提升约3.2倍。公司还计划将其进一步拓展至更高分辨率和长视频场景。
AI & Enterprise
Kakao开源Kanana-2轻量级语言模型,可在手机等端侧设备运行
Kakao在Hugging Face开源发布Kanana-2系列4款轻量级语言模型,面向手机等端侧设备运行。公司表示,该系列在韩语、英语、知识、数学和代码等多项基准测试中表现突出,并通过韩语专用Tokenizer将韩语处理效率提升超过30%。同时,模型采用滑动窗口注意力,在支持最长32K上下文窗口的情况下,最高可将内存占用降低72.7%。