Reddit · r/LocalLLaMA· /u/Prudent_Appearance71·· 8 小时前AI 评分26
双卡 CMP 170HX 64GB 部署 GLM-5.3-Flash 384K 上下文方案与 Qwen3.8 实测对比
2x CMP 170HX 64GB: GLM-5.3-Flash at 384K context / ~90 tok/s (EXL3, HBM-first setup) + Qwen3.8 comparison
AI 导读
玩家在两张 64GB CMP 170HX 显卡上跑通了 GLM-5.3-Flash 的 EXL3 3.05bpw 量化方案，目标权重约 125.2GB 全驻留 HBM，配合 DFlash2 6bpw 草稿模型实现 384K 上下文，单请求预算约 392,960 tokens，生成速度约 90 tok/s。
来源：Reddit · r/LocalLLaMA · reddit.com