热点事件持续更新
8卡T4部署Qwen3.5-9B：vLLM与llama.cpp推理速度讨论
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
2026年10月10日，Reddit用户exaknight21在r/LocalLLaMA发帖求助：其使用Asus ESC4000 G3服务器（128 GB DDR4，配备8张T4显卡），尝试为10–15人并发场景部署Qwen3.5-9B-AWQ-INT8服务，想了解vLLM与llama.cpp哪个推理速度更快。该用户当前的做法是：使用llama.cpp开启8个实例运行Q5_K_XL量化版本，共提供44个slot；测试结果显示单slot持续生成速度为25–40 tps，prefill速度达1400 tps。该帖旨在征求社区关于vLLM与llama.cpp方案选择的反馈，目前尚无后续报道给出结论性比较结果。
AI 根据报道生成 · 4 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
10月10日
- Reddit · r/LocalLLaMA8 卡 T4 服务器部署 Qwen3.5-9B 推理速度求助：vLLM 还是 llama.cpp 更快？
网友 exaknight21 在 Asus ESC4000 G3（128 GB DDR4、8 张 T4）上尝试部署 Qwen3.5-9B-AWQ-INT8 服务 10–15 人并发：当前用 llama.cpp 开 8 个实例跑 Q5_K_XL 量化版本，提供 44 个 slot，单 slot 持续生成速度 25–40 tps，prefill 速度 1400 tps。
本事件热度走势
当前热度 9·可比范围峰值 10（10月10日 13:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。