跳到正文
原文
Reddit · r/LocalLLaMA· /u/Unstable_Llama·· 3 小时前AI 评分42

Qwen3.8-Flash-Next 在 36GB 显存下实现 EXL3 量化稳定推理

Qwen3.8-Flash-Next @ 1.66bpw-exl3 STABLE under 36gb

AI 导读

Qwen3.8-Flash-Next 经量化后可完整装入单张 5090,无需卸载 experts,并在 sub-2bpw 下保持稳定推理。其推理速度为 200-300 t/s,未出现推理循环,但单张 32 GB GPU 即使采用 cache quantization,剩余空间仍不足以提供充裕的上下文容量。

来源:Reddit · r/LocalLLaMA · reddit.com