Reddit · r/LocalLLaMA· /u/pmttyji·· 2 天前AI 评分27
FactorEngram：基于基向量门控的分解式 n-gram 记忆模块用于大语言模型
[Paper] FactorEngram: Factorized N-gram Memory with Basis-Level Gating for Language Models
AI 导读
FactorEngram 提出一种用于大语言模型的分解式 n-gram 记忆模块，通过在共享基向量字典上检索稀疏系数并以基向量级门控进行上下文调制，使多义模式可按上下文选择性读取相关记忆成分，相较 Engram 将每个嵌入作为整体存储的方式更灵活。
来源：Reddit · r/LocalLLaMA · reddit.com