通用反馈提示即可实现回顾式自蒸馏增益

2026年10月29日，r/MachineLearning 报道了一项发表于 ACM ICAIF '26 的研究，考察多步金融推理中的后见自我蒸馏：学生模型先找出自己首个错误步骤并撰写批评，冻结副本以该批评为条件，再通过反向 KL 蒸馏回学生。研究在 GPT-OSS-20B 上进行，发现将批评替换为一句固定的通用反馈即可匹配约 3 个百分点的全部增益；来自 6 倍大模型的批评也未带来实质提升。此外，Fin-SD 在少用 9.5% token 的情况下达到与基于完整参考解的 OPSD 相当的效果。目前进展停留在该研究结论的发布层面。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。