Reddit · r/LocalLLaMA· /u/dboybaker·· 2 小时前AI 评分26
Qwen3.8-Flash-Next 在 vLLM、llama.cpp 与 Ninfer6000 推理引擎对比测试
Qwen3.8FN vLLM vs. llama.cpp vs Ninfer6000
AI 导读
在 RTX Pro 6000 Blackwell 上对 Qwen3.8-Flash-Next 进行 vLLM、llama.cpp 和 Ninfer6000 三引擎实测,Ninfer6000 平均 decode 速度达 238 tok/s,约为 vLLM 的 1.59 倍、llama.cpp 的 2.21 倍,但 prefill 速度低于 vLLM。
来源:Reddit · r/LocalLLaMA · reddit.com