在 6GB GPU 上跑 vLLM d3 决策模型的讨论

据 Reddit r/LocalLLaMA 2026 年 10 月 13 日的报道，有用户尝试在仅有 6GB 显存的 GPU 上运行 vLLM 发布的 d3 决策模型。该模型基于 Qwen，权重来源于 `ggml-org/vllm-d3-mini-GGUF`，用户选用的是 Q8 量化版本，单是权重文件就占 5.16 GB。考虑到 6GB 显存的 GPU 除去权重后几乎所剩无几，讨论主要围绕量化与 VRAM 占用展开：如何在有限显存下通过更激进的量化或调整参数来运行该模型。这是目前唯一一篇相关报道，事件仍处于早期讨论阶段，尚无关于实测性能、可行方案或官方建议的后续信息。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。