Reddit · r/LocalLLaMA· /u/stereohype·· 11 小时前AI 评分41
利用 Strix Halo NPU 加速本地 coding agent:Halogen 0.17.1 实测
Your Strix Halo NPU is sitting idle. My coding agent uses it for search, dedup, decisions and screening
AI 导读
Halogen 0.16+ 将闲置的 XDNA2 NPU 暴露为 OpenAI 风格接口,作者将其中四个模型接入真实 coding agent。0.17.1 让 NPU 调用延迟降低约 30 倍,解码速度提升约 40%;联合投机解码使双流聚合吞吐达 72.7 tok/s,串行解码 59.6 tok/s,prefill 约 1,300 tok/s。
来源:Reddit · r/LocalLLaMA · reddit.com