Reddit · r/LocalLLaMA· /u/pmttyji·· 3 小时前AI 评分33
llama.cpp WebGPU 新增 Q2_0 支持：RTX 3060 性能测试
webgpu : add Q2_0 support by teddygood · Pull Request #30914 · ggml-org/llama.cpp
AI 导读
llama.cpp 的 WebGPU 后端新增 Q2_0 支持，在 RTX 3060 与原生 Dawn WebGPU 上完成测试。以 Ternary Bonsai 1.7B Q2_0 为例，pp512 从 master 的 35.03 t/s 提升至 PR 的 1915.91 t/s，tg128 从 14.02 t/s 提升至 94.75 t/s。
来源：Reddit · r/LocalLLaMA · reddit.com