RLVR 中采样器失配下熵漂移的符号定律

1. 问题与价值

这篇论文解决的是强化学习可验证奖励（RLVR）训练中一个隐蔽但影响巨大的问题：策略熵的漂移方向，会被采样器与学习器之间的不匹配所决定。具体来说，当推理引擎用 top-k、top-p、min-p 截断采样，或者用学习器未采用的温度采样时，一个在精确采样下无关紧要的常数优势平移，会在截断采样下以固定符号推动熵上升或下降。

为什么重要：熵崩溃会导致策略停止探索、准确率平台化；熵爆炸会导致回复质量下降甚至训练发散。而触发这两种相反灾难的开关，可能只是一个看似与熵无关的实现选择——比如对超长回复是「掩码」还是「判失败」。

谁受益、怎么受益：所有跑 RLVR 训练大模型的团队。他们可以直接获得一个诊断量——token 加权净优势 N，以及一个修正方案——在学习器侧重归一化采样支持集或中心化分数。论文在 9B 模型上显示，仅把 N 清零，10 步后留出集准确率就比未校正规则高 8.2 个百分点；重归一化学习器高 8.8 个百分点（原文只报相对未校正规则的点差，没有给绝对准确率）。这意味着训练团队可以避免因采样器不匹配而浪费整轮训练算力。

2. 已有工作的不足

在本文之前，最好的相关做法分几类：

• 熵动力学分析：Cui et al.（2025）等指出，在 on-policy 精确采样下，熵的变化跟随优势与对数概率的协方差。但这一理论隐含假设采样器等于学习器策略，因此常数优势平移对熵没有一阶效应，无法解释为什么掩码和判失败会把熵推向相反方向。

• 基线不变性：Williams（1992）的经典结论是，给所有优势加一个常数不改变策略梯度。但 Le Roux（2016）、Le Roux et al.（2025）、Marek & Ryabinin（2026）已经注意到，在采样器不匹配时，常数平移会引入一个朝向或远离采样器的 KL 梯度。然而这些工作没有给出一般采样器下熵漂移的符号判定，也没有说清在 group-based RLVR 中哪个批量统计量控制这个漂移。

• 工程修正：DeepSeek-V3.2（DeepSeek-AI, 2025）、Microsoft AI Team（2026）、Xiaomi LLM-Core Team（2026）、Cognition（2026）通过重放采样掩码来消除不匹配；Marek & Ryabinin（2026）提出分数中心化。但这些修正的提出缺乏一个统一的符号定律来解释为什么有效、以及哪些量被消除。

• 非正式讨论：PyTorch torchtitan 的一个 pull request 非正式地论证了截断下漂移会锐化或平坦化策略，且不会在组内平均掉；SCOPE-RL（Wang et al., 2025）发现高温采样下正样本会提高熵。但两者都没有给出从策略导出的通用采样器的符号陈述。

具体哪一步不够：缺少一个把「采样器相对于策略的锐度」与「熵漂移方向」联系起来的可证明符号定律，也缺少把 group-based RLVR 中组内优势求和为零这一事实与「常数平移从何而来」连接起来的分解。

3. 重建作者的思考路径

从旧方法出发。on-policy 理论说，常数优势平移对熵没有一阶效应，因为 E_{a∼π}[Φ(a)] = 0，其中 Φ(a) 是熵极性。但实践中掩码和判失败明明把熵推向相反方向。如果是我面对这个矛盾，第一步会怀疑：是不是采样分布不是 π？

先检查最简单的偏离：截断采样。假设学习器在 softmax 参数化下做普通梯度步，采样 token a 带优势 A，梯度是 A(e_a − π)。熵对 logits 的偏导是 −u_v，其中 u_v = π_v(log π_v + H)。于是单步熵变化是 ΔH = −ηAΦ(a)，其中 Φ(a) = u_a − E_{v∼π}[u_v]。在精确采样下 E_{a∼π}[Φ(a)] = 0，这解释了旧理论。但在采样器 μ 下，E_{a∼μ}[ΔH] = −ηc δ(μ)，其中 δ(μ) = E_{a∼μ}[Φ(a)]。

到这里会撞上第一个问题：δ(μ) 的符号是什么？ 如果它没有固定符号，那常数平移的方向就无法预测。我会先试最简单的截断：截断到最可能 token 的集合 S，重归一化。这时 δ = π(S^c)(E_π[u∣S] − E_π[u∣S^c])。直觉上，S 里的 token 概率更高，而 u_v = π_v(log π_v + H) 在 π_v ≥ e^{−H} 时非负。所以 S 里的 u 均值应该大于补集里的均值，δ > 0。这给出一个猜想：更锐的采样器有正 gap，更平的采样器有负 gap。

但「更锐」怎么定义？如果只是截断，那很好办。但温度采样、min-p、top-p 的序列组合怎么办？这里需要一个能覆盖所有情况的定义。一个自然的想法是看似然比 μ_v/π_v：如果这个比值随 π_v 单调递增，那 μ 比 π 更锐；单调递减则更平。这个定义下，截断、温度小于 1、min-p 都是更锐；温度大于 1、与均匀分布混合都是更平。然后可以用层蛋糕表示把任意更锐采样器写成截断的混合，从而把符号推广到一般情况。

到这里，单位置的符号定律有了。但 group-based RLVR 里每个组的优势求和为零，常数平移从哪来？ 这是第二个关键分叉。我会先写出 token 级损失：J(θ) = Σ_i ω_i A_i Σ_t log π_θ(y_{i,t} ∣ s_{i,t})。每个响应 i 的 token 数 L_i 不同，所以响应 i 对梯度的贡献被 ω_i L_i 加权。那么组内优势的加权平均——token 加权净优势 N_g = Σ_i ω_i L_i A_i / Σ_i ω_i L_i——就充当了那个常数平移。这个量在组均值基线下等于 Cov(r, L) / L̄，因为长响应更容易失败，所以判失败时 N_g < 0，掩码时 N_g > 0。这解释了图 1d 的现象。

但这里会撞上第三个问题：N = 0 时熵为什么还在涨？ 100 步实验里 FAIL+NZ 只是把熵爆炸推迟了 17–18 步。这说明还有第二个不依赖基线的项。回头看分解，除了 D_net 还有 D_cov = −η Σ_g W_g Cov_g(A, δ̄)。这个协方差项来自失败响应访问更不自信的前缀，所以 gap 更大。它不依赖基线，且会自我反馈：如果策略被推离更锐的采样器，丢弃质量 x 增大，而 ẋ ∝ x²(1−x)，在 x < 2/3 时加速。这就是 Proposition 2 的非对称反馈。

最后的分叉是：怎么修？ 清零 N 只去掉一项；GAPW 基线让两项对消；学习器侧重归一化等于分数中心化，直接消除整个不匹配漂移；而 token 级重要性比率只是把漂移乘以保留质量 π(S)，符号不变，所以几乎无效。

与论文实际路径的差异：我猜的路径是从「截断的 gap 符号」直接跳到「一般采样器的层蛋糕表示」，论文确实走了这条路。但我没有预料到他们会把 D_cov 的反馈做成一个可精确求解的两层模型（Proposition 2），并从中推出「推离更锐采样器在有限时间内起飞、拉向它则饱和」这种非对称动力学。我原以为 D_cov 只是一个需要数值估计的次要项，但论文把它提升为解释 100 步熵爆炸的核心机制。另外，我也没有想到他们会把「支持集重归一化等于分数中心化」这个恒等式作为 Proposition 3c 单独列出，并用数值实验验证到浮点精度——这更像是一个工程洞察被提升为理论陈述。

4. 核心 intuition

用一个日常类比：一个只在高分学生里抽样的老师，会把「表扬」和「批评」变成两种完全不同的教学动作。

想象一个班级里学生水平参差不齐。老师有两种抽样方式：一种是从全班随机抽学生回答问题（精确采样）；另一种是只从成绩最好的前 20 名学生里抽（截断采样，更锐的采样器）。

现在老师决定给所有回答正确的学生加一个固定的奖励分数 c（常数优势平移）。在随机抽样下，这个固定奖励对所有学生一视同仁，长期来看不会改变班级的成绩分布——好学生和差学生被抽到的概率一样，固定奖励不会系统性地偏向任何一方。

但在只抽前 20 名学生的模式下，情况完全不同。如果 c > 0（正平移），老师每次抽到的都是好学生，给他们加分，这会让好学生的成绩更高，班级分布变得更集中、更「锐」——熵下降。如果 c < 0（负平移），老师每次抽到的都是好学生却给他们扣分，这会把好学生往下拉，班级分布变得更平均——熵上升。

这个类比对应到机制上：截断采样器 μ 只在最可能 token 的集合 S 上重归一化，所以常数平移 c 的期望梯度是 c(μ − π)。当 c > 0，梯度把 logits 推向 μ，即把概率质量更集中到 S 上，熵下降；当 c < 0，梯度把 logits 推离 μ，概率质量从 S 外溢，熵上升。而「更锐」的定义——似然比 μ_v/π_v 随 π_v 递增——正是说采样器比策略更集中在大概率 token 上，所以这个机制对 top-k、top-p、min-p、低温采样都成立。

5. 方法 pipeline 举例

编一个具体输入：一个数学题 prompt x，组大小 G = 8，采样器是 top-k 20 加 top-p 0.95，学习器温度 1。假设 8 个响应中 6 个正常完成，2 个达到生成长度上限（超长）。

第一步：采样与奖励。 8 个响应 y_1, ..., y_8 被采样。6 个完成响应中 4 个正确（r = 1），2 个错误（r = 0）；2 个超长响应没有可验证答案。

第二步：计算基线。 组均值基线 r̄ = (4×1 + 2×0 + 2×0) / 8 = 0.5。每个响应的优势 A_i = r_i − r̄：4 个正确的 A = +0.5，2 个错误的 A = −0.5，2 个超长的 A = −0.5。

第三步：应用规则。 假设用 FAIL 规则：超长响应得零奖励但仍参与训练。假设 prompt-mean 聚合，所有 token 共享权重 ω_i ∝ 1/Σ_j L_j。设 6 个完成响应的长度分别为 200、300、250、400、350、280 token，2 个超长响应都达到 2048 token 上限。总长度 Σ L_j = 200+300+250+400+350+280+2048+2048 = 5876。

第四步：计算 token 加权净优势 N_g。 N_g = Σ_i L_i A_i / Σ_i L_i。分子：200×0.5 + 300×0.5 + 250×0.5 + 400×0.5 + 350×(−0.5) + 280×(−0.5) + 2048×(−0.5) + 2048×(−0.5)。先算前四项：100 + 150 + 125 + 200 = 575。后四项：−175 − 140 − 1024 − 1024 = −2363。分子 575 − 2363 = −1788。N_g = −1788 / 5876 ≈ −0.304。这是负的，所以在更锐采样器下，净优势项 D_net 会推高熵。

第五步：计算 gap。 对每个采样前缀 s_{i,t}，学习器计算 δ_{i,t} = E_{μ}[u] − E_{π}[u]。假设超长响应的前缀平均 gap 是完成响应的 1.5 倍（论文 4.2 节报告了这个比例）。完成响应的平均 gap 约 4.0×10^{−3}，超长响应约 6.0×10^{−3}。

第六步：分解漂移。 D_net = −η W_g N_g δ̄_g。因为 N_g < 0 且 δ̄_g > 0，D_net > 0，即熵上升。D_cov = −η W_g Cov_g(A, δ̄)。失败响应（包括超长）的优势为负，且它们的 gap 更大，所以 Cov_g(A, δ̄) < 0，D_cov > 0，也推高熵。两项同向，FAIL 规则下熵快速上升。

第七步：对比 MASK 规则。 如果改为 MASK：超长响应在计算基线时得零奖励，但被排除在损失之外。基线变为 r̄_M = (4×1 + 2×0) / 6 = 0.667。6 个训练响应的优势：4 个正确的 A = +0.333，2 个错误的 A = −0.667。N_g = Σ_{i∈M} L_i A_i / Σ_{i∈M} L_i。分子：200×0.333 + 300×0.333 + 250×0.333 + 400×0.333 + 350×(−0.667) + 280×(−0.667)。前四项：66.6 + 99.9 + 83.25 + 133.2 = 382.95。后两项：−233.45 − 186.76 = −420.21。分子 382.95 − 420.21 = −37.26。分母 200+300+250+400+350+280 = 1780。N_g = −37.26 / 1780 ≈ −0.021。但论文指出 MASK 还额外加一项 (n_mask/G) r̄_M = (2/8)×0.667 ≈ 0.167，所以 N_g ≈ −0.021 + 0.167 = +0.146。符号翻转为正，D_net < 0，熵下降。这与论文报告的 2B 上 MASK 的 N ≈ +0.30、9B 上 N ≈ +0.16 方向一致（具体数值因数据分布不同而异）。

6. 核心数学推导

目标：推导单位置熵变化公式（Equation 3）和期望下的符号定律（Equation 4）。

符号解释：固定前缀 s，logits 为 z，策略 π = softmax(z)，词汇表 V。熵 H = −Σ_v π_v log π_v。定义 u_v = π_v(log π_v + H)。采样 token a 带优势 A，学习率 η。

第一步：熵对 logits 的偏导。 由 softmax 性质，∂π_w/∂z_v = π_w(1[w=v] − π_v)。于是：

∂H/∂z_v = −Σ_w (log π_w + 1) ∂π_w/∂z_v

展开：= −Σ_w (log π_w + 1) π_w(1[w=v] − π_v)

= −π_v(log π_v + 1) + π_v Σ_w π_w(log π_w + 1)

= −π_v(log π_v + 1) + π_v(1 − H)

= −π_v(log π_v + H) = −u_v

第二步：梯度步对 logits 的改变。 损失是 A log π_a，其对 z 的梯度是 A(e_a − π)，其中 e_a 是 token a 的 one-hot 向量。所以 logits 更新为 Δz = ηA(e_a − π)。

第三步：熵的一阶变化。 用链式法则：

ΔH = ⟨∂H/∂z, Δz⟩ + O(η²)

= −ηA Σ_v u_v(1[v=a] − π_v) + O(η²)

= −ηA(u_a − Σ_v π_v u_v) + O(η²)

= −ηA(u_a − E_{v∼π}[u_v]) + O(η²)

定义 Φ(a) = u_a − E_{v∼π}[u_v]，得到 Equation 3：ΔH = −ηA Φ(a) + O(η²)。

第四步：精确采样下的期望。 E_{a∼π}[Φ(a)] = E_{a∼π}[u_a] − E_{v∼π}[u_v] = 0。所以常数优势 c 在精确采样下对熵的一阶期望效应为零。

第五步：采样器不匹配下的期望。 设采样器为 μ，常数优势为 c：

E_{a∼μ}[ΔH] = −ηc E_{a∼μ}[Φ(a)] + O(η²)

= −ηc(E_{a∼μ}[u_a] − E_{v∼π}[u_v]) + O(η²)

定义 sharpness gap δ(μ) = E_{a∼μ}[u_a] − E_{v∼π}[u_v]，得到 Equation 4：E_{a∼μ}[ΔH] = −ηc δ(μ) + O(η²)。

第六步：符号定律（Theorem 1 的证明思路）。 对截断到上集合 S 的采样器 q_S = π 1_S / π(S)：

δ(q_S) = E_{q_S}[u] − E_π[u]

= (1/π(S)) Σ_{v∈S} π_v u_v − E_π[u]

= (1/π(S))(E_π[u] − π(S^c) E_π[u∣S^c]) − E_π[u]

= π(S^c)(E_π[u∣S] − E_π[u∣S^c])

因为 S 是上集合，S 里的 token 概率不低于补集里的。而 u_v = π_v(log π_v + H) 在 π_v ≥ e^{−H} 时非负。通过比较 S 与嵌套集合 {v : π_v ≥ e^{−H}}，可以证明 E_π[u∣S] > E_π[u∣S^c]，所以 δ(q_S) > 0。对一般更锐采样器，用层蛋糕表示 μ = ∫ π(S_s) q_{S_s} ds，其中 S_s = {v : μ_v/π_v ≥ s} 是上集合，δ 对 μ 线性，所以 δ(μ) > 0。更平采样器同理，符号翻转。

一句话总结：这个推导在算「常数优势平移 c 在采样器 μ 下对策略熵的一阶期望改变」，结果是 −ηc δ(μ)，其中 δ(μ) 的符号由采样器相对于策略的锐度决定——更锐则正，更平则负。

7. 实验设计

数据集：MATH 训练集 7,496 道题，math-verify 判分。750 题留出，其中 300 题构成留出评估集，64 题构成熵探针集。

模型：Qwen3.5-2B（非思考模式）、MiMo-V2.6-Distill-Qwen-9B、OLMo-3-7B-Instruct 作为第二模型家族。

基线：默认训练器用组大小 8、组均值基线（无标准差归一化）、prompt-mean 聚合、AdamW 学习率 10^{−6}、梯度裁剪 1、无 KL 或熵项、每批一步优化。规则包括 MASK、FAIL、FAIL+NZ、FAIL+GAPW。采样器包括截断（top-k 20 加 top-p 0.95）、top-p 0.99、top-p 0.8、精确采样、温度 0.7 和 1.2。

指标：探针集熵斜率（每步 nats）、留出集准确率、固定集准确率、四个基准的平均准确率、训练批次的平均 gap。

消融：剂量-响应实验（对优势加 −λN_g 平移，λ 从 −1 到 2）；修正方案对比（支持集重归一化、token 级重要性比率、裁剪目标内比率、学习器应用采样温度、多 minibatch PPO、SGD 对照、标准差归一化、sequence-mean 聚合）；100 步长程运行；熵初始值踢高实验。

实验能否支撑结论：能支撑核心符号定律和分解。剂量-响应实验直接验证了 D_net 的线性性（截断下斜率 −106.8±0.7 ×10^{−3} nats/步/单位 N，精确采样下 +1.1±2.7，与零不可区分）。跨 6 个采样器的 MASK−FAIL 差异跟随 gap 符号，温度 1.2 时翻转。100 步运行分离了反馈机制。9B 准确率实验给出了实际收益。

缺什么：一是 9B 实验只有 10 步，且从已训练 20 步的未修正 fork 出发，部分收益可能是从既有漂移中恢复，而非长期稳定性的证明。二是 100 步运行中 GAPW 和 per-batch shift 的净优势会随训练增长，100 步无法区分「增长」与「水平」的贡献。三是第二模型家族 OLMo 的熵响应只有 Qwen 的约八分之一，说明「漂移到熵的转换率」依赖模型，但论文没有系统研究这个依赖的来源。四是所有实验都在数学推理任务上，其他 RLVR 任务（代码、工具调用）的泛化性未验证。

8. take-aways

1. 符号定律：对任何比策略更锐的采样器（top-k、top-p、min-p、温度小于 1），正优势平移降低熵，负优势平移提高熵；更平的采样器（温度大于 1）方向相反。这是 Theorem 1 的结论，在 14,400 个随机分布和 4,920 个对抗构造分布上数值验证无一反例。

1. 净优势是批量级控制量：在 group-based RLVR 中，基线依赖的漂移由 token 加权净优势 N 决定。9B 批次上 D_net 占 FAIL 和 PEN 规则下不匹配漂移的 66–78%（三个批次分别为 76%、78%、66%）。

1. 清零 N 不够：100 步运行中 FAIL+NZ 只是把熵爆炸从 FAIL 的第 17 步推迟到第 34–35 步，最终熵仍达 4.5–7.3 nats。gap 协方差项 D_cov 会自我反馈，推离更锐采样器时在有限时间内起飞（Proposition 2）。

1. 重要性比率无效：token 级精确重要性比率在截断下只把漂移乘以保留质量 π(S)，符号不变。实验中保留质量均值 0.99，所以留下 98% 的漂移；四个裁剪 minibatch 更新反而把差异放大七倍。

1. 学习器侧修正是最干净的：支持集重归一化等于分数中心化（Proposition 3c），在 9B 上 +8.8 个留出点，在 2B 上把 MASK−FAIL 差异降到截断值的 −4%。GAPW 或 per-batch shift 也能在 100 步内保持熵有界（最终熵 0.14–0.31 nats），但需要每步重算。

9. 最脆弱的假设

最脆弱的假设是：一阶 softmax 参数化分析能迁移到训练好的神经网络在 Adam 优化器下的实际行为。

论文的分析全部在 softmax 参数化、普通梯度步、一阶近似的框架下进行。但实际系统用的是 AdamW，其对角预条件器会改变每个参数的更新方向。论文自己承认「Adam 的对角预条件器可以在个别前缀改变符号」（Section 3.3 末尾），并且在剂量-响应实验中发现 Adam 下响应在大漂移处饱和，而 SGD 下响应与漂移成正比（Section 4.2）。这说明 Adam 引入的非线性是一阶理论没有覆盖的。

论文给出的证据：一是纯平移探针在 Adam 和 SGD 下符号相同（Table 5），二是 35 个运行的熵斜率与 logged drift 相关性 0.97（Figure 5），三是 9B 准确率实验在真实 Adam 训练下复现了理论预测的方向。但这些证据都是「符号一致」层面的，不是「幅度可预测」层面的。如果 Adam 的预条件器在某个特定权重初始化或训练阶段系统性地翻转了符号，那么符号定律的实践指导价值就会大打折扣。论文没有给出 Adam 下符号翻转的系统性研究，只在一个段落里提到这种可能性。

10. 一周最小复现

目标：复现最核心的结论——截断采样下 MASK 与 FAIL 的熵斜率差异跟随 gap 符号，且支持集重归一化消除该差异。

硬件：1 张 24GB 消费级显卡（如 RTX 4090 或 A5000）。

模型：Qwen3.5-2B 或更小的 1.5B 模型（如 Qwen2.5-1.5B-Instruct），非思考模式。

数据：从 MATH 训练集抽 2,000 题，留出 100 题做熵探针（每步前对 64 个固定 prompt 各采样 1 个响应，teacher forcing 计算全 softmax 熵）。

训练配置：组大小 8，每步 8 组（共 64 个响应），生成长度上限 2048 token，AdamW 学习率 10^{−6}，梯度裁剪 1，无 KL 项，每批一步优化。采样器用 vLLM 或 Hugging Face transformers 的 top-k 20 加 top-p 0.95。

运行三个 arm：MASK、FAIL、FAIL+NZ，各 15 步，每个 arm 2 个种子。预期结果：MASK 的熵斜率为负（约 −9×10^{−3} nats/步），FAIL 为正（约 +12×10^{−3} nats/步），FAIL+NZ 居中（约 +2×10^{−3} nats/步）。MASK−FAIL 差异约 −21×10^{−3} nats/步。

再加一个 arm：FAIL 加支持集重归一化（学习器对采样支持集重归一化 log 概率），15 步 2 个种子。预期 MASK−FAIL 差异降到截断值的约 4%，即约 −0.8×10^{−3} nats/步。

时间分配：第 1 天搭环境和数据管线；第 2–3 天跑三个 arm（每个 arm 约 2–3 小时）；第 4 天跑重归一化 arm；第 5 天分析熵斜率、计算 N 和 gap；第 6–7 天写报告。如果时间充裕，加一个温度 1.2 的 arm 验证符号翻转（预期 MASK−FAIL 差异变为正，约 +32×10^{−3} nats/步）。

预期指标：熵斜率用最小二乘拟合探针熵对步数的斜率。N 用每步训练批次的 token 加权净优势均值。gap 用学习器对每个采样前缀计算的 δ_{i,t} 均值。

11. 反例设计

核心主张：更锐采样器下，正优势平移降低熵，负优势平移提高熵；且这个符号由采样器的锐度决定。

反例实验：构造一个非单调似然比的采样器，它既不是更锐也不是更平，但论文的符号定律如果被过度推广，可能会预测错误。具体来说，用温度 T > 1 后接截断的采样器。论文自己承认这种采样器「既不是更锐也不是更平，gap 的符号取决于 π」（Section 3.2 末尾）。

判据：找一个具体的策略分布 π，使得温度 1.5 后接 top-p 0.9 的采样器 μ 的 gap δ(μ) 为负，但常数正优势平移 c > 0 却降低熵（即 E_{a∼μ}[ΔH] < 0）。如果这个现象在真实 2B 模型的探针集上被观测到，且幅度超过统计噪声（比如超过精确采样下效应的 6 倍，即论文报告的截断与精确采样之比），那就说明符号定律不能推广到「既非更锐也非更平」的采样器，论文的核心主张「采样器固定符号」需要加上「仅当采样器有序时」的限定。

更强的反例：如果能在更锐采样器（如 top-k）下找到一个反例——正优势平移提高熵——那将直接推翻 Theorem 1。这需要构造一个策略分布，使得截断集合 S 的 E_π[u∣S] < E_π[u∣S^c]。但 Lemma 1 证明这在 S 为上集合时不可能。所以更强的反例在数学上已被排除，实验上不太可能出现。

实验设计：用 2B 模型，固定一个前缀集合，手动构造 logits 使得策略分布有一个「中等概率平台」（很多 token 概率接近），然后应用温度 1.5 后接 top-p 0.9，计算 gap 的符号，再做一个纯正平移探针（A ≡ +1），测量探针集熵的一阶变化。如果 gap 为负但熵变化也为负，反例成立。

12. 落地判断

能否用于「抢占式 GPU 自托管 27B 模型做多智能体脚手架」：能，而且应该用。

怎么用：这个场景下，27B 模型跑多智能体脚手架，通常用 vLLM 或 SGLang 做推理，采样器几乎必然带 top-p 或 top-k 截断（为了控制延迟和显存）。如果训练时学习器不重归一化，就会引入本文描述的不匹配漂移。具体落地：

• 第一步：检查推理引擎的采样配置。如果 top-p 小于 1 或 top-k 有限，且训练代码没有重放采样掩码或中心化分数，那么不匹配存在。
• 第二步：在训练循环里加支持集重归一化。实现上，对每个采样 token，用学习器的 logits 重新计算 kept set（与推理引擎相同的 top-k/top-p 规则），然后把该 token 的 log 概率重归一化为 log π(y) − log π(S)。这个改动只需要在损失计算处加几行代码，不需要改推理引擎。
• 第三步：每步记录 token 加权净优势 N 和平均 gap。如果 N 的绝对值持续大于 0.05 且 gap 大于 10^{−3}，说明漂移显著，需要修正。

成本量级：支持集重归一化的额外计算是每个采样 token 做一次 kept set 的 log-sum-exp，对于 27B 模型、每步 32 组 × 8 响应 × 平均 2000 token，约 512,000 个 token 位置，每个位置对 top-k 20 的 kept set 做约 20 次 logit 查表和一次 log-sum-exp。这在单张 24GB 卡上约增加 1–2% 的训练步时间。内存开销为零（不需要存储额外状态）。

最大的坑：推理引擎与学习器的 kept set 不一致。论文报告约 0.06% 的 token 落在学习器重计算的 kept set 之外，原因是引擎与学习器之间的数值差异（浮点舍入、logit 精度）。如果这个比例在你的系统里更高（比如因为引擎用了不同的 top-p 排序实现），重归一化会把这些 token 的 log 概率变成 log π(y) − log π(S)，其中 y ∉ S，导致 log 概率被错误地压低。对策：实现时把采样 token 强制加入 kept set（论文 Section C 提到「kept set joined with that token」），这样即使 token 不在重计算的 kept set 里，也不会出现 log π(S) 不包含 π(y) 的数学错误。另一个坑是异步管线：如果推理引擎和训练器之间有 rollout lag，重要性比率对旧策略可以修正 staleness，但不能修正截断（论文 Section G），所以重归一化仍然必要。