Reddit · r/LocalLLaMA· /u/naklitechie·· 2 小时前AI 评分42
llama.cpp WebGPU 后端实现浏览器标签页运行 80B MoE 模型,专家按需从磁盘分页加载
An 80B MoE (Qwen3-Next, 48 GB GGUF) answering in a Chrome tab: llama.cpp's WebGPU backend, experts paged in from disk
AI 导读
llama.cpp 的 WebGPU 后端通过新增 buffer 类型、slot-mapped MUL_MAT_ID shader 与 residency 逻辑。
来源:Reddit · r/LocalLLaMA · reddit.com