跳到正文
原文
Reddit · r/LocalLLaMA· /u/stereohype·· 11 小时前AI 评分41

利用 Strix Halo NPU 加速本地 coding agent:Halogen 0.17.1 实测

Your Strix Halo NPU is sitting idle. My coding agent uses it for search, dedup, decisions and screening

AI 导读

Halogen 0.16+ 将闲置的 XDNA2 NPU 暴露为 OpenAI 风格接口,作者将其中四个模型接入真实 coding agent。0.17.1 让 NPU 调用延迟降低约 30 倍,解码速度提升约 40%;联合投机解码使双流聚合吞吐达 72.7 tok/s,串行解码 59.6 tok/s,prefill 约 1,300 tok/s。

来源:Reddit · r/LocalLLaMA · reddit.com