Reddit · r/LocalLLaMA· /u/Blues520·· 4 小时前AI 评分8
Strata 多 GPU 显存与 RAM 分配机制答疑
Strata with multi gpu explanation
AI 导读
用户在使用 Strata 配合 QFN - UD-Q4_K_XL 跑模型时发现,从单 GPU 扩展到三 GPU 后 token 生成速度仅从约 70 t/s 提升到约 100 t/s,RAM 用量始终维持在 80 GB 左右,并未因 VRAM 被填满而下降,质疑多 GPU 配置的实际收益。
来源:Reddit · r/LocalLLaMA · reddit.com