Reddit · r/LocalLLaMA· /u/jacek2023·· 3 小时前AI 评分33
llama.cpp CUDA PR #29948 融合 FFN 门控与上投影矩阵乘法及 GLU，提升推理速度
CUDA: fuse FFN gate/up matmuls and GLU in MMQ with interleaved gate/up rows by anujj · Pull Request #29948 · ggml-org/llama.cpp
AI 导读
llama.cpp CUDA PR #29948 通过交错 FFN gate/up 行，融合矩阵乘法与 GLU，提升多款量化模型的推理性能。DGX Spark（GB10）上的增幅最高达 +10.7%，RTX 5090 上最高达 +4.7%，测试覆盖 Qwen3.8-27B、Qwen3.6-27B 和 Llama-3.1-8B。
来源：Reddit · r/LocalLLaMA · reddit.com