Reddit · r/LocalLLaMA· /u/IVequalsW·· 4 小时前AI 评分24
llama.cpp 在 Vulkan 后端以 Q4 量化运行 Qwen Flash Next,配 Expert cache 实现 262K 上下文 19-21 t/s
Llama.cpp setup Qwen-flash-next Vulkan Q4 with Expert cache.
AI 导读
用户在 Broadwell Xeon、64GB DDR4 与 2 张 RX 6800 16GB 加 1 张 RX 580 的机器上,用 llama.cpp 的 Vulkan 后端运行 Qwen Flash Next 的 Q4 GGUF,配合 --moe-cache-mib 16384 的 Expert cache,在 262K 满上下文下达到 19-21 t/s 生成速度。
来源:Reddit · r/LocalLLaMA · reddit.com