Reddit · r/LocalLLaMA· /u/jonejy·· 7 小时前AI 评分16
双 3090 二手平台跑本地 LLM 性能不达预期的原因排查
I built a cheap dual 3090 rig from used parts, but why isn't it much faster?
AI 导读
用户用二手 RTX 3090 双卡搭建本地 LLM 推理机器,测试 Qwen3.6 35B A3B 不同 GGUF 量化与上下文长度时发现,加第二张卡对已能单卡容纳的量化收益有限,prefill 时间随上下文增长明显上升。次卡走 PCIe 3.0 x4 riser 与 KV cache、显存带宽、GPU 通信都可能是瓶颈,目前尚未做受控 benchmark 定位主要原因。
来源:Reddit · r/LocalLLaMA · reddit.com