Reddit · r/LocalLLaMA· /u/Viktri1·· 5 小时前AI 评分27
2x M5U 256GB 集群运行 GLM 与 Qwen 的性能数据
datapoint: 2x M5U cluster (GLM/Qwen)
AI 导读
2x M5U 256GB(80 cores)集群运行 GLM 5.3 flash q6 时,prefill 为 4.9k、decode 为 50 tok/s;Qwen Flash Next q6 经 Tensorfold 配置后,prefill 达 8k、decode 为 200 tok/s。
来源:Reddit · r/LocalLLaMA · reddit.com