KAIST 7月15日表示，该校电气与电子工程系Kim Changik教授团队开发出一套名为“Buffer-and-Reinforce”的学习框架，用于缓解大语言模型（LLM）在基于个人或企业数据进行定制化微调时，原有安全对齐能力被削弱的问题。

微调是指在既有模型基础上追加学习新知识或新任务的过程，常用于企业结合内部文档和业务数据构建专属AI助手。不过，模型在完成定制化微调后，虽然新任务处理能力会提升，但原本用于拒绝危险请求的安全约束也可能随之减弱。

研究团队注意到，既有研究中曾出现一种现象：对于已被“越狱”、会响应危险请求的模型，再进行定制化微调时，其安全性未必会进一步大幅恶化。基于这一观察，团队并未将“越狱”状态直接用于实际服务，而是将其转化为训练阶段的临时缓冲机制，提出了BufferLoRA方案。

研究显示，处于这种缓冲状态下的模型不易受到恶意数据干扰，同时仍能有效学习用户所需的新业务能力。基于这一发现，团队进一步设计出“缓冲+安全强化”的两阶段训练方法。

在第一阶段，研究人员为模型临时加载BufferLoRA，使恶意数据在定制化微调过程中无法直接影响主模型；待定制化微调完成后，再移除这一模块。

在第二阶段，团队引入安全强化模块ReinforceLoRA，以提升模型的安全对齐能力，并借助QR分解（QR Decomposition）分离不同类型的信息，只选择性保留所需内容，从而在保留新增功能的同时，定向强化安全能力。

实验结果显示，即便在用户数据全部由危险问题及回答构成的极端环境下，模型仍能维持较高安全性。经该方法处理后，模型生成危险回答的比例约为8%，明显低于基线模型约18%的水平。

研究团队表示，该方法无需额外安全再训练，也不会明显增加计算开销，便可兼顾定制化性能与安全性。

Kim Changik表示，这项研究有望成为“任何人都能基于自身数据，自由构建定制化AI并更安全地使用”的关键基础技术，并在AI个性化及AI Agent时代，推动建立更可信的AI服务环境。

据介绍，该研究第一作者为KAIST电气与电子工程系博士生Ham Seok-il。相关论文已入选ICML 2026 Spotlight，位列全部投稿论文前约2.2%。