热点事件持续更新
用户双3090本地推理机性能排查
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
用户在二手平台购入两张 RTX 3090 搭建本地 LLM 推理机器,测试 Qwen3.6 35B A3B 的不同 GGUF 量化与上下文长度表现。测试发现,对于单卡即可容纳的量化方案,添加第二张 3090 带来的收益有限;prefill 时间随上下文长度增长明显上升。用户列出几个可能的瓶颈来源:第二张卡通过 PCIe 3.0 x4 riser 连接、KV cache 管理、显存带宽以及双卡间通信开销。截至目前,相关排查仍停留在观察阶段,用户尚未开展受控 benchmark 来定位主要原因。
AI 根据报道生成 · 2 小时前更新
最新进展10月14日 17:25
排查仍处观察阶段,尚未进行受控 benchmark 定位主要瓶颈。报道时间线
沿着报道,了解事件的不同侧面。
10月14日
- Reddit · r/LocalLLaMA双 3090 二手平台跑本地 LLM 性能不达预期的原因排查
用户用二手 RTX 3090 双卡搭建本地 LLM 推理机器,测试 Qwen3.6 35B A3B 不同 GGUF 量化与上下文长度时发现,加第二张卡对已能单卡容纳的量化收益有限,prefill 时间随上下文增长明显上升。次卡走 PCIe 3.0 x4 riser 与 KV cache、显存带宽、GPU 通信都可能是瓶颈,目前尚未做受控 benchmark 定位主要原因。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。