Google Research·· 5 小时前AI 评分59
Google Research 提出 sleep 框架，让 LLM 在持续学习中保留知识
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google Research 提出 sleep 框架，让 LLM 在活跃交互与离线记忆巩固之间交替，将短期上下文转化为长期参数并减少灾难性遗忘。框架包含记忆巩固与 dreaming 两阶段，在 BABILong 上扩展至 10M tokens，并在 AIME 24/25 和 HMMT 25 上分别取得 79.2%、69.0% 和 46.1% 的准确率。
来源：Google Research · research.google