跳到正文
热点事件持续更新

预算升级本地31B模型推理服务器

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

2026年10月20日,Reddit用户就本地31B模型推理服务器升级征求意见,计划投入600至900美元,运行Gemma 4 31B Q5_K_M,并在16K以上q8上下文下达到至少15 t/s。拟新增一块RTX 5060 Ti 16GB,通过PCIe 3.0 x1 riser与现有RTX 3060 12GB连接,以28GB显存进行分层切分;备选方案还包括两块Tesla P100 16GB。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月20日
  1. Reddit · r/LocalLLaMA
    31B 模型低成本升级:PCIe x1 双 GPU 还是其他方案?

    用户计划以 $600–900 预算升级 AI 服务器,运行 Gemma 4 31B Q5_K_M,在 16K+ q8 上下文下达到至少 15 t/s。拟新增 RTX 5060 Ti 16GB,并通过 PCIe 3.0 x1 riser 连接现有 RTX 3060 12GB,以 28GB 显存支持分层切分;方案还包括 2× Tesla P100 16GB。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。