Reddit · r/LocalLLaMA· /u/pmttyji·· 3 小时前AI 评分36
Soft-MTP：修正多 Token 预测（MTP）梯度缺陷的一行代码改动
[Paper] Multi-Token Prediction Done Right - Soft-MTP
AI 导读
研究团队提出 Soft-MTP，指出标准多 Token 预测（MTP）训练中交叉熵梯度含低信噪比残差项、会干扰下一 Token 预测与多 Token 学习，且随规模放大。
来源：Reddit · r/LocalLLaMA · reddit.com