Reddit · r/LocalLLaMA· /u/Introvertosaurus·· 4 小时前AI 评分17
31B 模型低成本升级:PCIe x1 双 GPU 还是其他方案?
Budget upgrade for a 31B model? Dual GPUs over PCIe x1 or another approach?
AI 导读
用户计划以 $600–900 预算升级 AI 服务器,运行 Gemma 4 31B Q5_K_M,在 16K+ q8 上下文下达到至少 15 t/s。拟新增 RTX 5060 Ti 16GB,并通过 PCIe 3.0 x1 riser 连接现有 RTX 3060 12GB,以 28GB 显存支持分层切分;方案还包括 2× Tesla P100 16GB。
来源:Reddit · r/LocalLLaMA · reddit.com