跳到正文
原文
Reddit · r/LocalLLaMA· /u/IVequalsW·· 4 小时前AI 评分24

llama.cpp 在 Vulkan 后端以 Q4 量化运行 Qwen Flash Next,配 Expert cache 实现 262K 上下文 19-21 t/s

Llama.cpp setup Qwen-flash-next Vulkan Q4 with Expert cache.

AI 导读

用户在 Broadwell Xeon、64GB DDR4 与 2 张 RX 6800 16GB 加 1 张 RX 580 的机器上,用 llama.cpp 的 Vulkan 后端运行 Qwen Flash Next 的 Q4 GGUF,配合 --moe-cache-mib 16384 的 Expert cache,在 262K 满上下文下达到 19-21 t/s 生成速度。

来源:Reddit · r/LocalLLaMA · reddit.com