Reddit · r/LocalLLaMA· /u/FantasyMaster85·· 4 小时前AI 评分12
双 V100 跑 Qwen3.8 27b 高量化:PP 与 TPS 实测数据难寻
Anyone running dual V100's? Trying to get *specifics* on PP and TPS for higher quant Qwen3.8 27b and having a tough time
AI 导读
有用户计划从 32GB AMD MI60 换到双 V100(共 64GB VRAM),想了解 Qwen3.8 27b 在 q6、q8 量化、150-200k 上下文下的 PP 和 TPS 具体数据,但社区帖子普遍缺少量化级别、上下文和 KV 设置等细节。该用户还担心 CUDA 对该卡的支持即将终止,并询问提速是否可迁移到其他模型。其方案采用 sxm2 而非 PCIe。
来源:Reddit · r/LocalLLaMA · reddit.com