llama.cpp 新增 IQ2_K 至 IQ6_K 量化类型

2026 年 10 月 18 日，有用户在 Reddit 的 r/LocalLLaMA 板块分享了一组针对单一模型的新量化类型 IQ2_K、IQ3_K、IQ4_K、IQ5_K 和 IQ6_K。实测结果显示，新量化文件的体积与现有 Q-quants 大致相当，但 KLD 指标较 Q-quants 有显著改善；同时，其性能相比 Q-quants 略有下降，且生成速度较慢。目前尚无更多关于该量化类型被正式合并进入 llama.cpp 主线或在更多模型上验证的后续报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。