用户分享 Strix Halo 搭配 CMP 170HX 本地大模型推理与 Agent 部署实践

用户搭建了一套基于 AMD Strix Halo 主机搭配外接 NVIDIA CMP 170HX 的本地大模型推理与 Agent 部署方案。该方案以 Strix Halo 主机作为主控，运行 qwen 3.8 Flash Next 作为主力模型；两张已解锁至 64GB 显存的 CMP 170HX 并发处理，分别跑两路 qwen 3.8 27b 子模型。实测代理吞吐量约 1747 tok/s（pp）与 100 tok/s（tg），整机满载功耗约 400W，整套硬件总成本约 3000 美元。基于这套配置，该用户表示已彻底放弃云端推理方案，转为完全本地化的部署。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。