COUNT：通过计数 N-gram 实现主机内存扩展与免训练适配

COUNT 将预计算的 n-gram 计数存储在主机内存中，无需新增可学习参数即可构建 N-gram 嵌入，并按语料频率加权后续 token 的 unembedding。固定计算预算下，COUNT 用于预训练 1B-parameter LM 时，可使验证损失改善至多相当于增加 57% 计算量的 LM；推理时还可切换特定领域的计数表，实现免训练任务适配。