截至8月12日的Artificial Analysis综合智能指数(AAII)排名。图片来源:Artificial Analysis

Motif Technologies宣布,其自研AI基础模型Motif 3在全球AI模型评测机构Artificial Analysis发布的综合智能指数(AAII)中,成为韩国企业推出的模型中得分最高的产品。

公司13日表示,Motif 3正式版在AAII中获得47分,位列全球大语言模型第9;在开源模型权重中排名第4。与此同时,公司已在Hugging Face开源发布模型权重、训练代码及相关代码库。

AAII也是韩国政府“独立AI基础模型(독파모)”项目第二阶段评估中权重最高的外部评测指标之一。该阶段总分为100分,其中基准测试占40分,AAII对应25分。

Motif 3是一款采用MoE架构的大语言模型,总参数规模为314B,激活参数为13.2B。Motif Technologies表示,该模型从预训练到后训练阶段的开发均由公司独立完成,整个过程用时约5个月。

根据公司发布的技术报告,Motif 3采用了自研注意力结构“Grouped Differential Latent Attention(GDLA)”,并使用约12.5万亿个token完成预训练。

公司称,在面向真实业务场景的基准测试中,Motif 3的表现也已具备与海外主流开源模型竞争的水平。

其中,在评估金融业务场景AI智能体任务执行能力的“Tau³-Banking”测试中,Motif 3得分35.3;在衡量终端环境编码与系统任务处理能力的“Terminal-Bench 2.1”中得分74.9;在软件工程能力评估“SWE-bench Verified”中得分76.2;在高难度知识测试“Humanity's Last Exam”中得分37.0。

Motif Technologies表示,除Motif 3模型权重外,公司还以MIT许可证同步公开训练代码及相关代码库,企业、研究机构和开发者均可商用。

除语言模型外,公司还同步开发了视觉7B、音频0.7B和视频VAE 1.2B模块,后续计划与语言模型结合,扩展为多模态模型。

Motif Technologies CEO Lim Jeong-hwan表示,Motif 3是在较短开发周期和有限资源条件下,仅凭自研架构达到全球竞争水准的起点;在相同条件下究竟能走多远,真正的验证才刚刚开始。

关键词

#Motif Technologies #Motif 3 #Artificial Analysis #AAII #Hugging Face #模型权重 #MoE #大语言模型 #MIT许可证 #多模态
版权所有 © DigitalToday。未经授权禁止转载或传播。