#LLM continual learning

据该条摘要，Google Research 提出“睡眠框架”，在持续学习中插入离线“睡眠”阶段，让大语言模型把短期上下文巩固为长期参数，以缓解灾难性遗忘。模型在主动交互与离线巩固之间周期切换，据报道在 1000 万 token 长上下文、持续翻译和数学推理测试中超过 GPT-4、SFT 等基线。上述基准结果仅来自二手摘要，尚缺论文细节和独立验证，不能视为已发布产品或可复现结论。