Reddit · r/LocalLLaMA· /u/regunakyle·· 3 小时前AI 评分12
在 6GB GPU 上跑 vLLM d3 决策模型：量化与 VRAM 占用的讨论
Running decision models: Picking quant, VRAM usage
AI 导读
用户尝试在 6GB 显存的 GPU 上运行 vLLM 发布的 d3 决策模型（基于 Qwen），所用权重为 `ggml-org/vllm-d3-mini-GGUF` Q8 量化版（5.16 GB）。
来源：Reddit · r/LocalLLaMA · reddit.com