Hacker News · 首页· gmays·· 22 小时前AI 评分19
Speculative Decoding 为什么能加速:用宽度换深度,让 GPU 摆脱 memory bound
Why Is Speculative Decoding Fast?
AI 导读
Speculative Decoding 加速的本质并非减少 FLOPs,而是在小 batch size 下用 draft 模型的并行验证把 GPU 从 memory bound 转为 compute bound,用"深度"换"宽度"以吃满空闲算力。
来源:Hacker News · 首页 · jbarrow.ai