AI & Enterprise

KAIST发布Buffer-and-Reinforce框架 提升大模型定制化微调安全性

KAIST研究团队提出两阶段学习框架Buffer-and-Reinforce，旨在解决大语言模型基于企业或个人数据进行定制化微调时安全对齐易被削弱的问题。该方案先通过BufferLoRA在训练阶段隔离恶意数据影响，再利用ReinforceLoRA结合QR分解定向增强安全能力。实验显示，在用户数据全部由危险问题及回答构成的极端环境下，模型生成危险回答的比例仍可控制在约8%，明显低于基线模型约18%的水平。

AI & Enterprise

韩国科学技术信息通信部与KISA发布AI安全红队演练指南

韩国科学技术信息通信部与韩国互联网振兴院（KISA）联合发布《AI安全红队演练指南》，围绕提示注入、越狱、模型幻觉、代理劫持等生成式AI主要风险，提出面向企业的一线实践指引。指南同时将评估范围扩展至数据、训练链路、UI、系统提示词、API及基础设施，旨在推动行业建立常态化AI红队机制。