Reddit · r/LocalLLaMA· /u/stargate425·· 3 小时前AI 评分38
Qwen3.8-27B 在 RTX PRO 6000 上实现 bit-exact 推测解码，达到 106 t/s
Bit-exact speculative decoding on Qwen3.8-27B: 106 t/s on one RTX PRO 6000
AI 导读
开发者 stargate425 在单张 RTX PRO 6000 Blackwell Max-Q 上为 Qwen3.8-27B 实现了 bit-exact 推测解码。
来源：Reddit · r/LocalLLaMA · reddit.com