跳到正文
原文
Reddit · r/LocalLLaMA· /u/naklitechie·· 2 小时前AI 评分42

llama.cpp WebGPU 后端实现浏览器标签页运行 80B MoE 模型,专家按需从磁盘分页加载

An 80B MoE (Qwen3-Next, 48 GB GGUF) answering in a Chrome tab: llama.cpp's WebGPU backend, experts paged in from disk

AI 导读

llama.cpp 的 WebGPU 后端通过新增 buffer 类型、slot-mapped MUL_MAT_ID shader 与 residency 逻辑。

来源:Reddit · r/LocalLLaMA · reddit.com