Reddit · r/LocalLLaMA· /u/pmttyji·· 3 小时前AI 评分44
ReaDy：利用混合线性注意力大语言模型动态上下文进行推测性起草的论文
[Paper] ReaDy: Recurrent States as Dynamic Context for Speculative Drafting in Hybrid Linear Attention Large Language Models
AI 导读
ReaDy 利用混合线性注意力大语言模型的循环状态，为推测性解码中的每个草稿位置检索位置特定上下文。在单块 NVIDIA B200 GPU 上，它基于 Qwen3.8-27B 实现平均 3.16× 解码加速，并在七项数学、代码生成和对话基准上超过 DSpark，平均提升吞吐量 7.97%、接受长度 8.50%。
来源：Reddit · r/LocalLLaMA · reddit.com