Reddit · r/LocalLLaMA· /u/fuzhongkai·· 3 小时前AI 评分52
Qwen3.8 27B 在单张 RTX 5090 上的六种推理引擎基准测试
Qwen3.8 27B on one RTX 5090: six inference engines benchmarked with and without DFlash2
AI 导读
作者在单张 RTX 5090 32 GB 上比较 llama.cpp、vLLM、SGLang、NInfer、velox-inferer 和 TensorSharp 运行 Qwen3.8 27B 的表现。
来源：Reddit · r/LocalLLaMA · reddit.com