热点事件持续更新
用户求助双A100 80GB部署Qwen模型的多用户推理性能优化
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月13日，Reddit r/LocalLLaMA 用户发帖求助。该用户在一台搭载 EPYC 7402P 的服务器上，使用两张 A100 80GB PCIe 显卡，通过 llama.cpp 部署 Qwen3.8 Flash Next UD-Q4_K_XL 模型。单用户推理时性能约为 50-70tk/s，但当并发用户数增至 2-3 人时，吞吐量骤降至 10-15tk/s，性能下降明显。该用户因此发帖求助，希望获得多用户并发场景下的推理优化方案。截至目前，该帖仅记录了问题的提出，尚未有后续报道说明是否获得有效解决方案或官方回应。
AI 根据报道生成 · 1 小时前更新
最新进展10月13日 07:29
用户反馈双A100 80GB部署Qwen模型时并发推理性能骤降，发帖求助优化方案。报道时间线
沿着报道，了解事件的不同侧面。
10月13日
- Reddit · r/LocalLLaMA如何在双 A100 80GB 上榨出更多性能
一位用户在一台 EPYC 7402P 服务器上用两张 A100X PCIe 通过 llama.cpp 部署 Qwen3.8 Flash Next UD-Q4_K_XL，单用户推理约 50-70tk/s，但并发 2-3 用户时骤降至 10-15tk/s，因此发帖求助优化方案。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。