热点事件持续更新
Soft-MTP 修正多 Token 预测梯度缺陷
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月30日，研究团队在 Reddit 的 r/LocalLLaMA 版块提出 Soft-MTP，称只需一行代码改动即可修正多 Token 预测（MTP）训练的梯度缺陷。该团队指出，标准 MTP 训练中的交叉熵梯度含有一个低信噪比的残差项，会干扰下一 Token 预测与多 Token 学习，且该问题会随规模放大。目前报道仅介绍问题诊断与改动思路，未披露实验数据或采用情况。
AI 根据报道生成 · 2 小时前更新
最新进展10月30日 18:59
研究团队提出 Soft-MTP，称一行代码改动可修正 MTP 梯度缺陷。报道时间线
沿着报道，了解事件的不同侧面。
10月30日
- Reddit · r/LocalLLaMASoft-MTP：修正多 Token 预测（MTP）梯度缺陷的一行代码改动
研究团队提出 Soft-MTP，指出标准多 Token 预测（MTP）训练中交叉熵梯度含低信噪比残差项、会干扰下一 Token 预测与多 Token 学习，且随规模放大。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。