Reddit · r/LocalLLaMA· /u/darklordfireape·· 8 天前AI 评分64
Strix Halo + R9700 混合推理方案更新:性能超越 DGX Spark
Update: Strix Halo + R9700 with llama-halo-hybrid - now beats DGX Spark
AI 导读
开源项目 llama-halo-hybrid 利用 R9700 GPU 与 Strix Halo APU 混合推理,实现 60+ tok/s decode 和 2000+ tok/s prefill,支持 256k 上下文。
来源:Reddit · r/LocalLLaMA · reddit.com