跳到正文
原文
Reddit · r/LocalLLaMA· /u/either_T_or_F·· 18 小时前AI 评分12

如何管理超出上下文窗口的长期记忆?LocalLLaMA 网友求教实践经验

Any tools for managing long-term memory beyond the context window?

AI 导读

一位刚接触本地 LLM 的用户在 r/LocalLLaMA 发帖,询问如何在长对话超出上下文窗口后管理长期记忆,并以用 LLM 写小说为例:剧情推进后模型会遗忘早期事件、人物关系和细节。他提出用外部知识库存章节摘要、生成前检索并注入提示词,但担心摘要是"有损压缩",第 3 章的细节可能到第 40 章才变关键;若保留完整历史存入外部数据库,又难以判断当前任务该检索哪些信息。

来源:Reddit · r/LocalLLaMA · reddit.com