跳到正文
Google Research·· 6 天前精选AI 评分49

Google Research 发布 Sleep 持续学习框架:让 LLM 在离线阶段巩固记忆并自改进

The sleep framework: A new way for LLMs to retain knowledge in continual learning

AI 导读

Google Research 提出 Sleep 持续学习框架,通过主动交互与离线睡眠交替让大语言模型避免灾难性遗忘并持续提升。睡眠阶段动态扩展 MoE 参数并完成知识蒸馏与合成数据回放;测试显示 BABILong 长上下文可达 10M token,多语言翻译与新事实学习未显著退化,AIME 24/25 和 HMMT 25 推理得分优于 SFT、GRPO 等基线。

推荐理由

Google Research提出睡眠框架,通过离线记忆巩固与合成数据自改进让大模型持续学习,原文给出BABILong至10M token与AIME等实测结果。

来源:Google Research · research.google