Reddit · r/LocalLLaMA· /u/Positive-Resource922·· 5 小时前AI 评分47
KLD 并非最佳指标,也不存在唯一最佳指标
KLD is not the best metric out there and there isn't a single best one.
AI 导读
KLD 无法单独衡量模型解决不同任务的能力,较低的 KLD 并不等同于更好的实际表现。知识蒸馏后继续进行 SFT 和 RL,可能降低 KLD,却提升模型性能;KLD 仍可用于初步筛选量化模型,但应基于代表性数据,最终则应结合自身任务测试来选择模型。
来源:Reddit · r/LocalLLaMA · reddit.com