Reddit · r/LocalLLaMA· /u/pmttyji·· 3 小时前AI 评分59
TokenGate 通过可学习 token 剪枝加速大语言模型长上下文预填充
[Paper] TokenGate: Adapting LLMs for Fast and Memory-Efficient Prefill with Learned Token Pruning
AI 导读
TokenGate 是一种可接入现有训练模型的小型组件，通过可学习的 token 剪枝实现更快速、更省显存的预填充。论文称其在多项任务上将 TTFT 加速 1.4-11.3×、峰值显存降低 1.5-3.4×，且预填充精度无下降。
来源：Reddit · r/LocalLLaMA · reddit.com