跳到正文
热点事件持续更新

用户双3090本地推理机性能排查

1 篇报道1 个报道来源7 小时前更新

先了解这件事

AI 综述

用户在二手平台购入两张 RTX 3090 搭建本地 LLM 推理机器,测试 Qwen3.6 35B A3B 的不同 GGUF 量化与上下文长度表现。测试发现,对于单卡即可容纳的量化方案,添加第二张 3090 带来的收益有限;prefill 时间随上下文长度增长明显上升。用户列出几个可能的瓶颈来源:第二张卡通过 PCIe 3.0 x4 riser 连接、KV cache 管理、显存带宽以及双卡间通信开销。截至目前,相关排查仍停留在观察阶段,用户尚未开展受控 benchmark 来定位主要原因。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月14日
  1. Reddit · r/LocalLLaMA
    双 3090 二手平台跑本地 LLM 性能不达预期的原因排查

    用户用二手 RTX 3090 双卡搭建本地 LLM 推理机器,测试 Qwen3.6 35B A3B 不同 GGUF 量化与上下文长度时发现,加第二张卡对已能单卡容纳的量化收益有限,prefill 时间随上下文增长明显上升。次卡走 PCIe 3.0 x4 riser 与 KV cache、显存带宽、GPU 通信都可能是瓶颈,目前尚未做受控 benchmark 定位主要原因。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。