Reddit · r/LocalLLaMA· /u/Present_Resource4022·· 20 小时前AI 评分38
本地 LLM 迎来黄金时代:Qwen 27B、Flash-Next 与 Unsloth 量化进展
We are in the golden age of Local LLM
AI 导读
Qwen 的 27B 与 Flash-Next 模型推动本地 AI 能力提升,Qwen 4 预计本周发布。Unsloth 推出面向 Qwen Flash-Next/Qwen-27b 的 Dynamic v3.1 量化,配合 ISTA-DASLab 的量化方案,实测 Iq2_XS 在 131k 上下文窗口下以 12GB VRAM、32GB 内存运行,平均解码 50tps。
来源:Reddit · r/LocalLLaMA · reddit.com