Reddit · r/LocalLLaMA· /u/nickm_27·· 3 小时前AI 评分44
llama.cpp 重构 Intel XMX 矩阵引擎，大幅提升 B70 推测解码速度
Massive B70 spec-decoding improvement - Intel XMX matrix engines refactored by budiony · Pull Request #29864 · ggml-org/llama.cpp
AI 导读
llama.cpp 重构 Intel XMX 矩阵引擎后，B70 使用 SYCL 运行 Muse Glimmer Q6_K（30B）与 DFlash2 的推测解码显著提速。9 项测试总耗时由 46.86 降至 26.68，接受率由 0.7845 降至 0.363；因 token 验证成本降低，n-max 随之提高。
来源：Reddit · r/LocalLLaMA · reddit.com