Reddit · r/LocalLLaMA· /u/whodoneit1·· 4 小时前AI 评分36
Saber:面向 AMD R9700 的 Rust 推理引擎,Qwen3.8 27b prefill 达 6,645 tok/s
Qwen3.8 27b hitting 6,645 tok/s on prefill and 316 tok/s decode peak on Saber
AI 导读
用 Rust 编写的推理引擎 Saber 面向 AMD R9700 GPU,支持 TP 1/2/4,已支持 Qwen3.8 27b 和 Flash next。在 BetterBench 测试中,Qwen3.8 27b 的 prefill 峰值达 6,645 tok/s、decode 峰值 316 tok/s,作者称其在两个模型上均优于现有可用引擎。
来源:Reddit · r/LocalLLaMA · reddit.com