AI初创公司Motif Technologies于20日表示，将积极参与韩国科学技术信息通信部即将启动的“独立AI基础模型（독파모）”追加征集。

为此，Motif Technologies正以去年7月组建的联盟为基础，继续与更多企业洽谈合作。公司表示，将依托其在高性能大语言模型（LLM）和多模态模型研发方面的积累，进一步展现韩国本土AI基础模型的技术自主性。

据介绍，Motif Technologies于去年11月发布的大语言模型“Motif 12.7B”，从模型设计、架构搭建到训练均由团队自主完成。该模型没有沿用传统Transformer架构，而是采用了自研的“Grouped Differential Attention（GDA）”技术。

公司强调，这并非只是从零开始训练模型（From Scratch），连作为模型核心的注意力机制和整体架构也都进行了重新设计。

关键词

#Motif Technologies #韩国科学技术信息通信部 #独立AI基础模型 #追加征集 #大语言模型 #多模态模型 #Motif 12.7B #Grouped Differential Attention #GDA #From Scratch
版权所有 © DigitalToday。未经授权禁止转载或传播。