新量化类型 IQ2_K、IQ3_K、IQ4_K、IQ5_K 和 IQ6_K 被提出

有用户在 r/LocalLLaMA 分享了一组针对单一模型的新量化类型 IQ2_K、IQ3_K、IQ4_K、IQ5_K 和 IQ6_K。实测显示新量化文件体积与 Q-quants 相当，KLD 指标较 Q-quants 有显著改善，但性能略有下降，且生成速度较慢。