跳到正文
原文
Reddit · r/LocalLLaMA· /u/Unstable_Llama·· 3 小时前AI 评分40

MemT 在 exllamav3 上实现持久化模型内记忆

Persistent in-model memory w/MemT - running on ExLlamav3

AI 导读

MemT 3天前发布,可通过 `/commit` 将对话中的重要事实存入记忆模块并清空当前上下文,之后仍能准确回忆相关问题。该模型已集成到 exllamav3 的 exl3-qlora 分支,可原生配合 tabbyAPI 使用,并提供量化版本。

来源:Reddit · r/LocalLLaMA · reddit.com