KAIST人工智能半导体研究生院教授You Hoejun团队开发出可根据用户特征持续进化的个性化LLM加速器“SOULMATE”。图片来源：KAIST

KAIST于3月17日宣布，人工智能半导体研究生院教授You Hoejun团队研发出一款可根据用户特征持续进化的个性化大语言模型（LLM）加速器“SOULMATE”。

“SOULMATE”的核心在于端侧AI能力。该方案无需依赖外部服务器，所有数据均在设备本地处理，可在保障隐私的同时提供个性化服务。

研究团队将检索增强生成（RAG）和低秩微调（LoRA）两项关键技术集成到芯片端。其中，RAG可基于历史对话生成个性化回答，LoRA则可在用户交互过程中即时吸收反馈并持续学习。借助这一设计，“SOULMATE”可实现0.2秒级响应，并同步完成学习与推理。

为进一步压低能耗，团队还引入混合Rank架构，根据信息重要性对计算进行差异化处理。该芯片在仅9.8毫瓦（mW）功耗下即可完成复杂学习与推理任务，功耗约为智能手机处理器的1/500。

在隐私保护方面，“SOULMATE”采用“安全闭环AI”架构，个人数据无需传输至外部服务器，全部在设备内部完成处理，从而从源头降低个人信息泄露风险。团队认为，该技术未来有望应用于智能手机、可穿戴设备及个人AI终端等下一代平台。

You Hoejun表示，这项研究借鉴了人与人建立友谊的过程，为AI成长为用户的“真正伙伴”奠定了技术基础。

据了解，这项研究由博士生Hong Seongyeon担任第一作者，并入选在美国旧金山举行的国际固态电路会议（ISSCC）“Highlight论文”。团队计划通过教授创办的企业OnNeuroAI，推动“SOULMATE”AI半导体于明年前后实现产品化。

关键词

#KAIST #SOULMATE #LLM加速器 #端侧AI #个性化AI #RAG #LoRA #混合Rank架构 #低功耗芯片 #ISSCC
版权所有 © DigitalToday。未经授权禁止转载或传播。