Apple 论文评估循环语言模型 halting head 的实际算力节省

Apple 论文发现，循环语言模型的 halting head 按预测平均迭代数估算的算力节省被系统性高估：370M 模型 token 平均约 3 次迭代，但 32 条序列批次实付 4.4 至 4.7 次，质量领先由 0.0246 BPB 缩至 0.003 BPB。论文建议分别报告预测均值、退出规则实跑步数与批次实付步数。