Reddit · r/LocalLLaMA· /u/Positive-Resource922·· 1 天前AI 评分47
KLD 被误解了:它无法作为量化模型的通用质量排行榜
KLD is misunderstood
AI 导读
KLD 衡量量化模型与基础模型在特定数据集上的 token 概率分布差异,不能直接代表量化模型的实际任务质量。随机文本或校准数据会扭曲结果,更合理的做法是使用基础模型生成的 token,并给提示词 token 赋零权重。KLD 适合作为诊断指标,但易被操纵,不应被视为量化模型的通用排行榜。
来源:Reddit · r/LocalLLaMA · reddit.com