TokenGate：用可学习词元剪枝加速长上下文预填充

2026 年 10 月 21 日，Reddit r/LocalLLaMA 上一则帖子介绍了 TokenGate。该方案定位为可外挂于既有训练模型的小型组件，通过可学习的 token 剪枝来加快大语言模型的长上下文预填充阶段。帖子援引论文数据称，TokenGate 在多项任务上将首 token 时延（TTFT）加速 1.4 至 11.3 倍，峰值显存降低 1.5 至 3.4 倍，并表示在这些任务上预填充精度未出现下降。截至目前，该报道为单篇来源，论文中给出的加速比与显存节省区间，以及“预填充精度无下降”的说法，均以此次介绍为准，暂无更早或后续报道对其中的数字与结论进行印证或修正。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。