跳到正文
原文
Hacker News · 首页· gmays·· 22 小时前AI 评分19

Speculative Decoding 为什么能加速:用宽度换深度,让 GPU 摆脱 memory bound

Why Is Speculative Decoding Fast?

AI 导读

Speculative Decoding 加速的本质并非减少 FLOPs,而是在小 batch size 下用 draft 模型的并行验证把 GPU 从 memory bound 转为 compute bound,用"深度"换"宽度"以吃满空闲算力。

来源:Hacker News · 首页 · jbarrow.ai