Reddit · r/LocalLLaMA· /u/pmttyji·· 2 天前AI 评分22
WaveFront Decoding：为 Looped 语言模型设计的并行自推测解码框架
[Paper] WaveFront Decoding: Parallelized Self-Speculative Decoding for Looped Language Models
AI 导读
WaveFront Decoding（WFD）是一种面向 looped 语言模型的无训练自推测解码框架，通过将对角 wavefront 上的浅层草稿生成与全深度验证在同一批循环调用中并行执行，把传统草稿-验证分阶段调度合并为并发流程。
来源：Reddit · r/LocalLLaMA · reddit.com