跳到正文
原文
Reddit · r/LocalLLaMA· /u/Thac0-is-life·· 6 天前AI 评分21

如何升级本地 LLM 硬件配置以运行更大模型或多实例

Help me with a better hardware setup for Local LLm

AI 导读

用户当前使用 Ryzen 5600X + 7900XTX + 64GB DDR4 配置运行 Qwen2.5 27B(3-4Q,128k-220k 上下文),速度达 50 token/s。考虑购买 2-4 张 MI50 16GB 显卡或额外 7900XTX 以运行更大模型或多实例并发,但受限于 X470 主板不适合多 GPU 组装。求问升级方案建议。

来源:Reddit · r/LocalLLaMA · reddit.com