跳到正文
原文
Reddit · r/LocalLLaMA· /u/Edenar·· 4 小时前AI 评分23

AMD Strix Halo 搭配 NVIDIA CMP 170HX 的本地大模型部署方案

Strix halo + CMP 170HX setup

AI 导读

用户搭建了一套 Strix Halo 主机 + CMP 170HX 外接 GPU 的本地推理组合:主机跑 qwen 3.8 Flash Next 主力模型,两张 CMP 170HX(已解锁至 64GB)并发跑两路 qwen 3.8 27b 子模型。代理吞吐量约 1747 tok/s pp、100 tok/s tg,整机满载约 400W,总成本约 3k$;该方案让他彻底放弃云端推理。

来源:Reddit · r/LocalLLaMA · reddit.com