| 移动网页

搜索关键词 ICML

AI & Enterprise

KAIST发布Buffer-and-Reinforce框架 提升大模型定制化微调安全性

KAIST研究团队提出两阶段学习框架Buffer-and-Reinforce，旨在解决大语言模型基于企业或个人数据进行定制化微调时安全对齐易被削弱的问题。该方案先通过BufferLoRA在训练阶段隔离恶意数据影响，再利用ReinforceLoRA结合QR分解定向增强安全能力。实验显示，在用户数据全部由危险问题及回答构成的极端环境下，模型生成危险回答的比例仍可控制在约8%，明显低于基线模型约18%的水平。