热点事件持续更新
Qwen3.8-Flash-Next量化推理进展
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月21日，Reddit r/LocalLLaMA报道称，Qwen3.8-Flash-Next经EXL3量化后可完整装入单张RTX 5090，无需卸载experts，并在低于2 bits per weight（sub-2bpw）条件下保持稳定推理，速度约为200–300 tokens/s，未出现推理循环。报道同时指出，单张32GB GPU即使采用缓存量化，剩余显存仍不足以提供充裕的上下文容量；目前完整装入的方案需要36GB显存。
AI 根据报道生成 · 2 小时前更新
最新进展10月21日 15:21
量化模型可在36GB显存下稳定推理，但32GB容量仍受上下文限制报道时间线
沿着报道，了解事件的不同侧面。
10月21日
- Reddit · r/LocalLLaMAQwen3.8-Flash-Next 在 36GB 显存下实现 EXL3 量化稳定推理
Qwen3.8-Flash-Next 经量化后可完整装入单张 5090，无需卸载 experts，并在 sub-2bpw 下保持稳定推理。其推理速度为 200-300 t/s，未出现推理循环，但单张 32 GB GPU 即使采用 cache quantization，剩余空间仍不足以提供充裕的上下文容量。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。