跳到正文
原文
Reddit · r/LocalLLaMA· /u/pmttyji·· 3 小时前AI 评分37

DLoop:循环式 speculative decoding 加速大语言模型推理

[Paper] DLoop: Looped Speculative Decoding

AI 导读

DLoop 是一种循环式的 speculative decoding 方法,会在每次验证前连续执行多轮 drafting 阶段,持续到 draft 模型置信度下降时再一次性验证全部累积 draft token,配合 loop-aware training 让 draft 模型在多轮 drafting 中保持可靠。

来源:Reddit · r/LocalLLaMA · reddit.com