Reddit · r/LocalLLaMA· /u/SocietyTomorrow·· 3 小时前AI 评分18
在 16GB M2 Pro Mac Mini 上跑 Qwen-Flash-Next：能跑，但慢得有理
Not because you should, but because you can - Qwen-Flash-Next on a 16GB M2 Pro Mac Mini
AI 导读
有人在 16GB M2 Pro Mac Mini 上用 Strata 加载 Qwen-Flash-Next 的 iQ3_xxs 量化版，开启最高 128k 上下文实测，16k 至 120k 上下文中位速度为 77 tok/s prefill、5.5 tok/s decode。
来源：Reddit · r/LocalLLaMA · reddit.com