跳到正文
原文
Reddit · r/LocalLLaMA· /u/zyxciss·· 3 小时前AI 评分60

Betelgeuse 在 RTX 3060 12GB 加 16GB 内存上以 22 tok/s 运行 Qwen 3.8 Flash Next

Betelgeuse: Running Qwen 3.8 Flash Next at 22 tok/s sustained (spiking to 48 tok/s) on an RTX 3060 12GB + 16GB DDR4 RAM 100% bit-exact!

AI 导读

作者发布 llama.cpp 分支 Betelgeuse(bel-cli / bel-server),在 RTX 3060 12GB 加 16GB DDR4 的机器上以 22.03 tok/s 持续运行 Qwen 3.8 Flash Next 的 68GB GSQ-RCO-IQ2_XS 版本,峰值可达 48 tok/s。

来源:Reddit · r/LocalLLaMA · reddit.com