Reddit · r/LocalLLaMA· /u/jacek2023·· 2 天前AI 评分34
llama.cpp 合并 PR #31188:CUDA 后端融合 MoE gate/up matmul 与 GLU,提升提示词处理速度
CUDA: fuse MoE gate/up matmuls and GLU in MMQ by anujj · Pull Request #31188 · ggml-org/llama.cpp
AI 导读
llama.cpp 合并 PR #31188,在 CUDA 后端将 MoE 的 gate/up matmul 与 GLU 融合进 MMQ,提升提示词处理速度。DGX Spark(GB10)上 Qwen3-30B-A3B Q4_K_M 提升 17.2%,Qwen3.6-35B-A3B 提升 9.9%;RTX 5090 上两款模型分别提升 5.7% 和 5.7%。
来源:Reddit · r/LocalLLaMA · reddit.com