Reddit · r/LocalLLaMA· /u/pmttyji·· 3 小时前AI 评分68
MemT-1.0:面向内存原生进化的内存基础模型
[Paper] MemT-1.0: Towards Memory-Native Evolution
AI 导读
MemT-1.0 提出把内存作为模型计算内生能力的基础模型架构,基于 Metis 采用 Gated DeltaNet-2 与 token 级稳定记忆更新,并引入 Mixture-of-Storage 扩展原生记忆容量,经 34B tokens 数据的两阶段训练后,开源 MemT-1.0-Nano 与 MemT-1.0-Flash 模型族。
来源:Reddit · r/LocalLLaMA · reddit.com