Reddit · r/MachineLearning· /u/jhzyu·· 2 天前AI 评分24
研究：通用反馈句即可匹配自写批评的后见自我蒸馏效果（ACM ICAIF '26）
How Much Does the Hint Matter? A generic feedback line matches self-written critiques in hindsight self-distillation (ACM ICAIF '26) [R]
AI 导读
研究在 GPT-OSS-20B 上考察多步金融推理的后见自我蒸馏：学生模型找出自己首个错误步骤并撰写批评，冻结副本以该批评为条件、通过反向 KL 蒸馏回学生。将批评替换为一句固定的通用反馈即可匹配约 3 个百分点的全部增益，来自 6 倍大模型的批评也未带来实质提升。Fin-SD 在少用 9.5% token 的情况下达到与基于完整参考解的 OPSD 相当的效果。
来源：Reddit · r/MachineLearning · reddit.com