这项研究试图缩小AI模型在训练完成后的信息更新空白期。图片来源:Google Research

Google近日公布了一项面向大语言模型(LLM)的“睡眠学习框架”研究,目标是在模型完成训练后,仍能持续吸收新知识,并尽可能减少对既有知识的遗忘。

据日媒Gigazine 10月30日报道,Google近期介绍了这一旨在降低大语言模型持续学习过程中“灾难性遗忘”风险的新框架。相关研究通过题为《在LLM持续学习中保持知识的新方法》的文章,以及论文《语言模型需要睡眠:自我修正与记忆整合学习》对外发布。

目前,Gemini、GPT等大语言模型通常在完成大规模训练并通过评测后正式发布。但训练数据的截止时间与用户实际使用时间之间往往存在间隔,这也意味着,已经发布的模型未必能够覆盖最新信息。

报道称,2026年9月发布的Google Gemini 4 Argon,训练所使用的数据集截至2026年3月。对于训练完成后发生的事件或新增信息,模型通常主要依靠网页搜索等外部工具进行补充。

不过,持续向模型补充新数据并不意味着问题就能解决。新信息在写入过程中,可能引发“灾难性遗忘”,即模型在学习新内容时削弱甚至丢失原有知识,进而影响整体表现。因此,持续学习需要区别于一次性训练的机制。

Google提出的“睡眠学习框架”,将模型运行分为“清醒阶段”和“睡眠阶段”。其中,“清醒阶段”负责处理新的输入信息,并将其写入短期记忆模块;“睡眠阶段”则暂停接收新输入,对已存储的信息进行整合,并对模型内部记忆加以优化。

这一设计借鉴了人类在清醒时获取新体验、在睡眠中整理记忆的方式。按照Google的设想,模型不再无序累积信息,而是在相对独立的阶段中完成新旧知识的梳理与融合。

Google表示,这一方法有望在引入新信息的同时保留既有知识,尤其是减少持续学习中的灾难性遗忘,并为模型在完成初始训练后继续积累知识提供新的可能。

如果这一思路得到验证,也可能为模型知识更新提供另一种路径。过去,训练完成后的模型往往主要依赖网页搜索或外部数据库补充新增信息;而“睡眠学习框架”尝试将这些新信息吸收到模型内部,并与既有记忆完成整合,以弥补这一限制。

不过,这项技术目前仍处于研究阶段,距离应用到商用AI服务还有待进一步验证。新知识能否被准确纳入模型、能否在维持既有性能的同时实现长期学习,仍是后续需要解决的关键问题。

关键词

#Google #Google Research #LLM #持续学习 #睡眠学习框架 #灾难性遗忘 #Gemini #GPT #知识更新
版权所有 © DigitalToday。未经授权禁止转载或传播。