Reddit · r/LocalLLaMA· /u/sleight42·· 4 小时前AI 评分28
在 AMD EPYC 服务器上用 Strata 跑 Qwen 3.8 Flash Next Unsloth Q8：8 路并发达 456 tok/s
Rented some server time and wanted to share some learnings from benching using RAM heavier servers with some decent GPU: AMD EPYC and ROME motherboards really *ARE* worth it: Qwen 3.8 Flash Next Unsloth Q8 at 94 tok/s c=1, 456 tok/s c=8 .
AI 导读
在 vast.ai 租用 2x AMD EPYC 7642 配 ROME 主板与 2x 3090 的服务器实测，Strata 运行 Qwen 3.8 Flash Next Unsloth Q8 在 124k 上下文下达到单流 94 tok/s、8 路并发 456 tok/s，并发扩展接近线性。
来源：Reddit · r/LocalLLaMA · reddit.com