Reddit · r/LocalLLaMA· /u/poofph·· 8 天前AI 评分17
Qwen 3.8 27B 在新旧两套系统上的推理速度对比
infill and output tok/s speeds after "new" build compared to old questions
AI 导读
用户将运行 Qwen 3.8 27B Q8 模型的 2 张 5090 显卡从 9950x + 64GB DDR5 系统迁移至 7402p + 256GB DDR4 系统后,infill 速度从 2500-3000 tok/s 提升至最高 3800 tok/s,但 output 速度从 100-150 tok/s 下降至约 60 tok/s。用户已排除内存带宽问题,询问可能的原因及排查方向。
来源:Reddit · r/LocalLLaMA · reddit.com