JetBrains Mellum 2.1 12B A2.5B MoE 体验：Q8 量化可在 16GB 显卡运行

JetBrains Mellum 2.1 12B A2.5B MoE 在 m4 16 上于 130k 满上下文可达约 60 tps，使用 9070xt 运行 Q8 量化可达 140 TPS，8GB、12GB 显存预计可实现 30-40 tps。作者认为该模型能完成编码任务，但更适合作为大模型规划细节后的快速执行环节。