热点事件持续更新
COUNT用主机内存扩展N-gram
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月20日，Reddit r/LocalLLaMA发布了COUNT方法介绍。COUNT将预计算的N-gram计数存储在主机内存中，无需新增可学习参数即可构建N-gram嵌入，并按语料频率加权后续token的unembedding。报道称，在固定计算预算下，COUNT用于预训练1B参数语言模型时，验证损失改善最多相当于增加57%计算量的语言模型；推理时还可切换特定领域的计数表，实现免训练任务适配。
AI 根据报道生成 · 2 小时前更新
最新进展10月20日 22:10
新报道介绍COUNT无需新增参数，并称其可改善验证损失、支持免训练适配。报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- Reddit · r/LocalLLaMACOUNT：通过计数 N-gram 实现主机内存扩展与免训练适配
COUNT 将预计算的 n-gram 计数存储在主机内存中，无需新增可学习参数即可构建 N-gram 嵌入，并按语料频率加权后续 token 的 unembedding。固定计算预算下，COUNT 用于预训练 1B-parameter LM 时，可使验证损失改善至多相当于增加 57% 计算量的 LM；推理时还可切换特定领域的计数表，实现免训练任务适配。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。