大语言模型训练算法的分布匹配视角

1. 问题与价值

这篇论文试图回答一个贯穿 LLM 训练全流程的问题：预训练、SFT、知识蒸馏、OPD、RL、MaxRL 这些看起来动机各异的算法，是否共享同一个底层结构？作者提出的统一视角是分布匹配：所有这些算法都可以写成「让当前模型分布逼近某个目标分布」的形式，差别只在于目标分布是什么、用哪种 KL 方向去逼近、目标分布是否依赖当前模型。

这个统一视角的价值不在哲学层面，而在它能导出可检验的预测。论文用它解释了三个具体现象：为什么 OPD 在师生分布接近时优于 SFT 蒸馏、为什么 RL 长期训练会出现熵塌缩、以及为什么标准 KL 正则化会过度限制奖励提升。受益方是训练算法设计者：如果知道目标分布如何漂移，就可以针对漂移机制设计正则化项，而不是盲目加 KL 惩罚。论文最后给出的 CKL 正则化就是这种思路的直接产物：在 MATH 上训练 20 个 epoch 后，Apex2025 这类更难的数据集上 pass@k 高于 KL 正则化。注意配对强度：Figure 5 的图例是 KL-0.3 对 CKL-1.0（按约束效果相当来配，不是同强度），同强度的 KL-1 对 CKL-1 在 Figure 10，但那组只训练了 4 个 epoch —— 原文正文用「KL of similar strength」一句带过，图里画的并不是同强度，读的时候别把两件事混成一件。

2. 已有工作的不足

在本文之前，分布匹配视角并非全新。Korbak 等人已经指出 RL 与分布匹配目标有密切联系，并推导出指数倾斜形式的最优解；Tajwar 等人的 MaxRL 进一步建立了 RL 与分布匹配之间的一阶近似关系。但作者认为这些工作有一个共同缺陷：目标分布只是作为推导 RL 目标的中间产物出现，推导完就被丢弃了。

具体不足有三处。第一，没有人系统研究目标分布本身的统计性质，比如它的梯度估计方差在什么条件下占优。第二，没有人追踪目标分布在迭代训练中的随机演化——当目标分布依赖当前模型时，每一步的估计噪声如何累积并改变目标分布本身。第三，现有熵塌缩研究大多给出的是单步局部结果，例如 Cui 等人和 Ren 与 Sutherland 分析的是「某一步更新后熵升还是熵降」，但无法回答长期期望意义上的趋势。作者认为这三点空白导致了一个实践后果：标准 KL 正则化被广泛用于防止 RL 塌缩，但它约束的是整个策略分布与参考分布的距离，而不是真正需要保护的目标分布，因此会不必要地压制奖励提升。

3. 重建作者的思考路径

如果我从第 2 项的不足出发，最自然的起点是：既然所有算法都能写成分布匹配，那就先把它们的 KL 方向和目标分布列出来。这一步没有新意，但列完之后会立刻发现一个不对称性：SFT 和 KD 用前向 KL，目标分布固定；OPD 用反向 KL，目标分布也固定；RL 的目标分布却依赖当前模型。这个「目标是否随模型漂移」的区分，比「前向还是反向 KL」更本质。

接下来我会问：目标分布固定时，OPD 和 KD 的差别到底在哪？两者目标相同，所以差别只能在梯度估计上。我会先算最简单的情形——师生分布完全重合。这时两个总体梯度都为零，但采样梯度呢？OPD 的权重是 log 比值，在重合点恒为零，所以采样梯度几乎必然为零；KD 的采样梯度是教师分布下学生 score 的均值，期望为零但每条样本不为零。这个差别很干净，但只在一个点上成立。我会担心它是否只是数学巧合，于是尝试在重合点附近做连续性论证：如果方差函数连续，那么严格不等式在一个邻域内保持。这给出「近端 OPD 占优」的局部结论。

远端怎么办？我会构造一个极端情形：教师把某个学生仍然会采样的区域概率压到 ε。OPD 的 log 比值权重在这个区域变成 log(1/ε) 量级，方差按 log²(1/ε) 增长，而 KD 方差有界。这样远端 OPD 可以任意差。到这里，蒸馏的「有效性边界」就有了一个基于方差的刻画。

然后转向迭代算法。我会先看最简单的迭代情形：自蒸馏，即每步从当前模型采样再拟合这些样本。这等价于所有样本奖励为 1 的 RL。直觉上，高概率样本更容易被采到，被采到后又被强化，熵应该下降。但我想找一个不依赖这个直觉的机制。于是我会算条件期望：给定当前参数，下一步参数的期望是什么？因为 score 的期望为零，参数更新是鞅，即 E[θ_{k+1} ∣ F_k] = θ_k。参数是鞅，但熵不是参数的线性函数。把熵做 Taylor 展开，线性项在条件期望下消失，剩下二阶项。如果熵沿更新路径是凹的，二阶项非正，期望熵就下降。这里我会撞上一个矛盾：全局凹太强了，很多神经网络不满足。怎么改？我只需要沿实际更新线段凹，这是一个弱得多的条件。改完之后发现一个新问题：这个结论对「反向自蒸馏」也成立——把所有奖励设为 -1，高概率样本被惩罚，直觉上熵应该升，但定理仍然预测期望熵下降。这个反直觉预测恰好可以拿来做实验验证。

RL 的情形是自蒸馏加上非零均值梯度。理想单步更新下，二值奖励的条件分布 π⁺_θ 不变，但实际训练中的估计噪声会破坏这个不变性。如果方差累积导致目标分布退化，那么正则化应该直接约束目标分布本身，而不是整个策略。这就引出 CKL：只约束正样本条件分布与参考条件分布的 KL，对负样本不加约束。我会先担心这个条件 KL 不好估，因为正样本集合是随机的。于是需要找一个可算的估计量 —— 原文 Theorem 5.1 只保证「期望按 max(n-1,0)/G 成比例于条件 KL 梯度」，不是无偏：在正样本内部做中心化，把 log 比值减去正样本均值，再乘以 score。这个中心化恰好消掉了成功率 log 比值项，留下条件分布的 log 比值项。

与论文实际路径的差异：我猜测的路径是先算近端方差、再算远端方差、再转向迭代算法，这与论文第 3、4 节的顺序一致。但论文在迭代算法部分先证明了参数鞅性质（Lemma 4.1），再通过「沿更新路径凹」得到熵下降（Theorem 4.1），我最初没有意识到需要这个比全局凹更弱的条件，而是直接假设了全局凹性。论文的另一个分叉是：在 RL 部分，作者先证明了理想更新保持条件分布（Theorem 2.1），再证明 MaxRL 与条件 KL 的等价性（Theorem 2.2），然后才进入方差累积。我猜的路径会直接从自蒸馏跳到 RL 方差，跳过 MaxRL 这个中间桥梁。此外，论文在 CKL 估计量的推导中处理了「同一批样本既用来估计中心化均值又用来估计梯度」的有限组缩放因子 (n-1)/G，我在重建时最初忽略了这一点。

4. 核心 intuition

论文的核心机制可以用「用同一把尺子量自己」来类比。想象一个学生反复做模拟考试，每次考完只根据这次考试的错题分布调整复习重点。如果某次模拟考因为偶然因素多出了几道偏题，学生就会把复习重点偏向偏题；下次模拟考又因为偶然因素少出了几道基础题，学生就减少基础题复习。每一次调整的期望方向是零——因为模拟考的抽样噪声没有系统偏向。但复习重点的「集中度」却在每次随机调整中单调上升：偶然多出的偏题让复习范围变窄，偶然少出的基础题也让复习范围变窄，无论噪声往哪个方向推，范围都倾向于收缩。这就是方差累积导致熵下降的直觉：零均值噪声在参数空间里做随机游走，但熵作为参数的函数是凹的，凹函数在零均值扰动下的期望值必然不高于扰动前的值。

CKL 的直觉则是「只给正确的部分松绑」。标准 KL 正则化像一个全面限速：无论模型往哪个方向改，都不能离参考模型太远。但 RL 的目标只是提高正确率，正确率提升本身就会改变分布——把概率质量从错误答案搬到正确答案。全面限速会同时限制这种「好的改变」。CKL 的做法是：只看正确答案内部的条件分布，要求它不要偏离参考模型的条件分布太远，但对「错误答案整体被降权」这件事不加限制。这相当于说：你可以把错误答案的概率整体压下去，但正确答案之间的相对比例不要乱动。

5. 方法 pipeline 举例

以 RL 训练一个数学解题模型为例，走一遍 CKL 的完整流程。

输入：一个 prompt x，比如「求方程 x² - 5x + 6 = 0 的解」。当前策略 π_θ 是一个 1.7B 的 Qwen3 模型，参考策略 π_ref 是训练前的同一个模型。奖励函数是二值的：答案正确为 1，错误为 0。

第一步，采样。从 π_θ 对 prompt x 采样 G 条完整回答，比如 G=4。假设得到四条回答：Y₁ 和 Y₂ 答案正确（都是 x=2 或 x=3），Y₃ 答案错误（x=1 或 x=6），Y₄ 答案错误（只写了 x=2）。正样本集合 I⁺ = {1, 2}，N=2。

第二步，计算 log 比值。对每条回答 Yᵢ，计算 dᵢ = log π_θ(Yᵢ) - log π_ref(Yᵢ)。假设四条回答的 d 值分别是 d₁=0.8，d₂=0.4，d₃=-1.2，d₄=-0.6。d₁ 和 d₂ 为正，说明当前模型给正确答案的概率比参考模型高；d₃ 和 d₄ 为负，说明当前模型给错误答案的概率比参考模型低。

第三步，正样本内部中心化。正样本的均值是 (0.8+0.4)/2=0.6。中心化后的信号是 ĉ₁ = 0.8-0.6=0.2，ĉ₂ = 0.4-0.6=-0.2。负样本的 ĉ 直接设为 0。这个中心化步骤去掉了「整体成功率提升」这个共同因子，只保留正样本内部相对参考分布的偏差。

第四步，构造梯度贡献。对每条回答计算 score sᵢ = ∇_θ log π_θ(Yᵢ)，即该回答在当前参数下的对数概率梯度。CKL 的梯度贡献是 -β · ĉᵢ · sᵢ 对所有 i 求和再除以 G。β 是正则化强度，比如 β=1.0。正样本 Y₁ 的贡献是 -1.0 × 0.2 × s₁，Y₂ 的贡献是 -1.0 × (-0.2) × s₂，负样本贡献为零。这个梯度会推动 π_θ 在正样本内部向 π_ref 的条件分布靠拢，但不惩罚正样本整体概率的提升。

第五步，与 RL 梯度合并。RL 本身的梯度来自奖励信号，比如 GRPO 的 advantage 估计。CKL 梯度作为正则化项加到 RL 梯度上。最终更新参数 θ。

中间结果总结：四条回答中两条正确，成功率 ρ=0.5；正样本 log 比值均值 0.6；中心化后信号为 0.2 和 -0.2；CKL 梯度只作用于两条正样本，且方向是缩小它们之间的相对概率差。

6. 核心数学推导

核心公式是 Theorem 4.1 的期望熵下降，以及 Theorem 5.1 的 CKL 估计量成比例性（proportional，不是无偏：期望等于 max(n-1,0)/G 乘以条件 KL 梯度，带一个非 1 的缩放因子）。这里推导前者，因为它是全文方差累积主张的理论支柱。

这里有个容易被略过的边界：Theorem 5.1 的 (13) 式只对 N≥2 成立，N≤1 时中心化信号直接置 0（附录 I 的原话是 "zero signal for groups containing fewer than two successes"）。也就是说，一道题在 G 条采样里只蒙对一个、或者一个都没对时，CKL 这一项对那次更新完全不起作用。附录 K.2 给出了这组实验的超参（n samples: 4、total train epochs: 4），Figure 4/5 的 20 epoch 长训练只在图注里写「沿用 Figure 3 的设置」，没有单独再列一遍。按 G=4 算，正样本少于 2 的组占比是 (1-ρ)⁴ + 4ρ(1-ρ)³。假设准确率 ρ=0.3，则 0.7⁴ + 4×0.3×0.7³ = 0.240 + 0.412 ≈ 0.65，估算约 65%；假设 ρ=0.1，则 0.9⁴ + 4×0.1×0.9³ = 0.656 + 0.292 ≈ 0.95，估算约 95%（这两个数是代入假设值算的，不是论文报告值）—— 准确率越低，CKL 越接近不存在。

先解释符号。π_k 表示第 k 步迭代后模型在固定 prompt x 上的条件分布，是一个概率向量。H(π_k) 是这个分布的熵，定义为 -Σ_y π_k(y) log π_k(y)。θ_k 是第 k 步的模型参数。F_k 表示第 k 步采样之前的所有历史信息。η_k 是第 k 步的学习率。s_θ(y) 是 score 函数，即 log π_θ(y) 对 θ 的梯度。

第一步，建立参数鞅性质。自蒸馏的更新规则是 θ_{k+1} = θ_k + η_k · ĝ_k，其中 ĝ_k 是从当前分布 π_k 采样 m_k 条回答后计算的 score 均值。给定历史 F_k，每条采样回答的 score 的条件期望是零，因为 E_{y∼π_k}[s_θ(y)] = ∇_θ Σ_y π_θ(y) = ∇_θ 1 = 0。所以 E[ĝ_k ∣ F_k] = 0，进而 E[θ_{k+1} ∣ F_k] = θ_k。这就是 Lemma 4.1 的鞅性质。

第二步，展开熵。令 d_k = θ_{k+1} - θ_k，熵作为 θ 的函数记为 h(θ)。这里要用带积分余项的 Taylor 公式，而不是「二阶项 + 高阶项」的 Peano 写法：h(θ_{k+1}) = h(θ_k) + ∇h(θ_k)ᵀ d_k + ∫₀¹ (1-t)·d_kᵀ ∇²h(θ_k + t·d_k) d_k dt。这样做的好处是没有余下来源不明的高阶项 —— 余项本身就是一个可以用曲率控制的积分。

第三步，条件期望消掉线性项。对两边取条件期望 E[· ∣ F_k]。因为 E[d_k ∣ F_k] = η_k E[ĝ_k ∣ F_k] = 0，线性项 ∇h(θ_k)ᵀ E[d_k ∣ F_k] 消失。剩下 E[h(θ_{k+1}) ∣ F_k] = h(θ_k) + E[∫₀¹ (1-t)·d_kᵀ ∇²h(θ_k + t·d_k) d_k dt ∣ F_k]。

第四步，凹性假设控制余项。论文的假设是 h 沿每一条可能的更新线段凹，即 d_kᵀ ∇²h(θ_k + t d_k) d_k ≤ -μ_k ∥d_k∥² 对某个 μ_k ≥ 0 成立。代入上面的积分余项：∫₀¹ (1-t)·(≤ -μ_k∥d_k∥²) dt = -μ_k∥d_k∥²/2，恒非正 —— 所以不需要再单独论证三阶及以上项。于是 E[h(θ_{k+1}) ∣ F_k] ≤ h(θ_k)。如果条件更新方差非零且 μ_k > 0，不等式严格成立。

第五步，把二阶项与 Fisher 信息联系。条件更新方差是 Cov(d_k ∣ F_k) = (η_k²/m_k) F_x(θ_k)，其中 F_x(θ_k) 是 prompt x 处的 Fisher 信息矩阵。代入后得到显式下降量：(μ_k η_k² / (2 m_k)) Tr F_x(θ_k)。

这个公式在算什么：它把「期望熵下降」分解为三个因素的乘积——凹性曲率 μ_k、步长方差 η_k²/m_k、以及 Fisher 信息迹 Tr F_x(θ_k)。只要这三者都为正，期望熵就严格下降。关键洞察是：即使参数更新是零均值的鞅，熵作为非线性函数仍然会因噪声而确定性下降。

7. 实验设计

数据集方面不能一句话概括，三组实验各是各的。CKL/KL 的对比（图 3/4/5）在 MATH 上训练，评估用 MATH500、Apex Shortlist、Apex2025、ArxivMath 与 AIME2024–2026（图 5、图 10）；advantage estimation 的消融分两处 —— 主文图 2，以及附录图 8 的小模型复现，后者明确用 SmolLM2-360M-Instruct 与 GSM8K；迭代自蒸馏的补充实验（图 7，附录 J.3）也在 GSM8K 上（dataset: openai/gsm8k）。蒸馏那组（表 3、图 6）用 DAPO17k 与 JustRL 训练数据。模型方面要分清两组蒸馏：近端用 Qwen3-1.7B-Base 同时做学生与冻结教师，教师还包括 GRPO 训练 50/100/200 步的同一模型；远端的学生是 R1-Distill-1.5B 与 Qwen2.5-Math-1.5B、教师是 JustRL（原文 J.1）。RL 实验用 Qwen3-1.7B-Base 和 SmolLM2-360M-Instruct。

基线方面，蒸馏实验对比 OPD 与 SFT-based KD；RL 实验对比 GRPO、RLOO、无 advantage estimation 三种设置，以及 KL 正则化（强度 0.01、0.1、1.0）与 CKL 正则化（同强度）的对比。

指标方面，蒸馏实验报告 AIME-24、AMC23、MATH500 的 pass@16 准确率和均值；RL 实验报告训练过程中的梯度范数、序列熵、真/假条件熵、奖励，以及评估集上的 pass@k（k 从 1 到 64）。

消融方面，advantage estimation 的消融（图 2 和图 8）为方差累积假说提供侧面证据 —— 原文自己称它是「另一项重要的旁证」（another important side evidence），而不是受控的方差操纵实验：换掉估计器会同时改变偏差与方差，所以「去掉后熵下降更快」只能算方向一致的旁证。KL 与 CKL 的强度扫描（图 3）检验 CKL 是否在保持条件熵的同时允许更高奖励。

实验能否支撑结论？近端/远端蒸馏的实验结果与理论预测方向一致：近端 OPD 均值高于 SFT（例如 GRPO-50 教师下 OPD 均值 17.77 对 SFT 16.78），远端 OPD 在 Qwen2.5-Math-1.5B 学生上崩溃到均值 3.18 对 SFT 47.46。方差累积的实验（图 1 和图 7）显示熵的长期下降趋势，且反向自蒸馏也出现下降，支持「零均值噪声加凹性」机制而非「高概率样本被强化」机制。CKL 的实验（图 3、4、5）显示 CKL-1.0 在保持与 KL-0.3 相似条件熵的同时获得更高奖励和 pass@k。

缺什么？第一，所有 RL 实验都在数学推理任务上，没有验证 CKL 在对话、代码等任务上的泛化。第二，蒸馏实验的 proximal 部分只有单 seed，表 3 自己也标注了「single-seed experiments」。第三，方差累积的理论假设「熵沿更新路径凹」没有直接验证，只是通过熵下降的间接证据支持。第四，CKL 的长期效果只训练到 20 epoch，更长时间的行为未知。

8. take-aways

1. OPD 在师生分布重合点的采样梯度几乎必然为零，而 SFT 的采样梯度协方差等于 Fisher 信息除以采样数 m，因此近端 OPD 的梯度估计 MSE 严格更低；远端当教师把某区域概率压到 ε 时，OPD 方差按 log²(1/ε) 增长，可超过 SFT 任意倍数。

1. 迭代自蒸馏中参数序列是鞅，即 E[θ_{k+1} ∣ F_k] = θ_k，但期望熵仍然单调下降，下降量由 (μ_k η_k² / (2 m_k)) Tr F_x(θ_k) 给出，条件是熵沿更新路径凹且条件更新方差非零。

1. 反向自蒸馏（所有奖励为 -1）同样预测期望熵下降，因为机制是零均值噪声加凹性，而非高概率样本被强化；图 1 和图 7 的实验支持这个反直觉预测。

1. 二值奖励下 RL 的理想单步更新保持正样本条件分布 π⁺_θ 不变，且 -E_x D_KL(π⁺_θ ∥ π_θ) = E_x log ρ_θ(x)，即 MaxRL 的极限目标；标准 RL 是它的一阶近似。

1. CKL 正则化只约束正样本条件分布，其梯度估计量在正样本数 N≥2 时的期望等于 (N-1)/G 乘以条件 KL 梯度，N≤1 时信号直接归零；在 MATH 上训练 20 epoch 后，CKL-1.0 在 Apex2025 的 pass@k 全面高于 KL-0.3，同时训练奖励更高。

9. 最脆弱的假设

最脆弱的假设是 Theorem 4.1 中的「熵沿更新路径凹」。这个假设是整个方差累积理论的支点：如果它不成立，期望熵下降的结论就没有依据。论文没有直接验证这个假设，只是通过实验间接支持——图 1 和图 7 显示熵确实下降，且反向自蒸馏也下降，这与凹性机制的预测一致。但「熵下降」本身也可以由其他机制解释，比如高概率样本被反复采样的直接强化效应、PPO clipping 的偏置、或模型架构的几何偏置。论文在 Related Works 里承认这些替代解释存在，但主张方差累积是更根本的机制，因为它不依赖具体 RL 算法。

这个假设的脆弱之处在于：它是一个关于神经网络参数空间几何性质的条件，而神经网络的高度非凸性使得「沿更新路径凹」很难先验地成立。要分清层次：论文在 Lemma 4.1 之后说概率的鞅性质只到一阶、有 O(η_k²) 的偏差，这个偏差在概率层，不在参数层 —— E[θ_{k+1} ∣ F_k]=θ_k 由 score identity 逐步精确成立，不会因为它被破坏，Theorem 4.1 的证明也只用参数层零均值与沿线段凹性。所以真正脆弱的是「沿线段凹」本身，而不是鞅性质。

再往下走一步：这个假设不只是「难先验成立」，它在论文最关心的区域会反向。把熵写成参数的函数 h(θ) = -Σ_y p_y log p_y，其中 p = softmax(θ)。对参数求二阶导，链式法则给出两项：一项来自熵在概率单纯形上的严格凹性（-F_x(θ)，半负定），另一项来自 softmax 映射本身的曲率 −Σ_y (log p_y + 1)·∇²p_y，符号不定。以二分类为例，p = σ(θ₁-θ₂)，可以算出 d²h/dθ₁² = -p(1-p) - logit·p(1-p)(1-2p)；当 p→1（记 ε=1-p）时它趋于 ε(log(1/ε)-1) > 0 —— 熵对主导 logit 变成局部凸的。换句话说，模型越接近低熵、越是要发生塌缩，G.4 越可能失效。而 Theorem 4.1 恰恰是用来解释那个区域的，这让「凹性」从一个技术性假设变成了一个循环：结论成立的地方假设不必要，假设可能失效的地方正是结论要解释的地方。

10. 一周最小复现

目标：复现图 1 的核心现象——迭代自蒸馏和反向自蒸馏的期望熵下降，以及图 3 的核心现象——CKL 比同强度 KL 允许更高奖励同时保持条件熵。

硬件：一张 24GB 消费级显卡，比如 RTX 4090。模型用 Qwen3-1.7B-Base，bfloat16 加载约需 3.4GB 显存，留出足够空间给 batch 和优化器状态。

第一到三天，复现迭代自蒸馏。用 GSM8K 数据集，取前 2000 条 prompt。每步从当前模型对每个 prompt 采样 4 条回答，用这些回答做 SFT 更新。学习率 1e-5，SGD 无动量，batch size 32，训练 200 步。每 10 步记录序列熵。预期：熵从初始值（约 10² 到 10³ 量级，取决于 token 化方式）单调下降。反向版本把 SFT 的损失符号取反，其他不变。预期：熵仍然下降，但下降事件更稀疏且幅度更大。这个实验每天约需 6-8 小时，两天可完成两个版本。

第四到五天，复现 CKL 对比。用 MATH 训练集前 2000 条，GRPO 算法，batch size 128，每个 prompt 采样 4 条，学习率 1e-6，训练 100 步。三组对照：无 KL、KL-0.1、CKL-0.1。CKL 的实现只需在 GRPO 的 loss 里加一项：对每条正样本，计算 log π_θ - log π_ref，减去正样本 batch 内均值，乘以 -β，再乘以该样本的 score。每 10 步记录训练奖励和真条件熵。预期：CKL-0.1 的奖励高于 KL-0.1，真条件熵不低于 KL-0.1。

第六到七天，评估和整理。对 CKL 实验的三个模型在 MATH500 上做 pass@16 评估，每个问题采样 16 条回答。预期：CKL-0.1 的 pass@16 高于 KL-0.1。整理熵曲线和奖励曲线，与论文图 1 和图 3 对比。

关键风险：Qwen3-1.7B 在 MATH 上的初始正确率可能很低，导致正样本太少，CKL 的中心化估计量方差很大。如果正样本数经常小于 2，CKL 梯度会退化为零。缓解办法是先用 SFT 在 MATH 上做 1 个 epoch 的冷启动，把正确率提到 20% 以上再开始 RL。

11. 反例设计

核心主张是：CKL 正则化优于「强度相近」的 KL 正则化 —— 它保护正样本条件分布的多样性，从而在更难的数据集上保持更高 pass@k。但如上所述，20 epoch 那组实际配的是 KL-0.3 对 CKL-1.0，同强度对比只有 4 epoch 的版本，所以「同强度下更优」这一步论文并没有在长训练里直接给出。

反例实验设计：选择一个奖励信号与「正样本内部多样性」无关甚至负相关的任务。具体做法：构造一个合成任务，其中每个 prompt 只有一个唯一正确答案，但模型可以生成大量不同的错误答案。在这个设定下，正样本条件分布退化为单点分布，条件熵为零，CKL 的正则化项恒为零——因为正样本内部没有多样性可保护。此时 CKL 退化为无正则化的 RL，而 KL 正则化仍然约束模型不要偏离参考太远。

判据：如果在这个任务上，CKL 训练后的模型在分布外 prompt 上的 pass@k 显著低于 KL 正则化的模型，且差距随训练步数扩大，那么 CKL 的「保护多样性」主张就被推翻——它只在正样本本身有多样性时才有效，而在唯一答案任务上反而因为缺乏正则化而过度拟合训练分布。

更强的反例：设计一个任务，其中正样本条件分布本身是有害的多样性。比如奖励函数只检查答案的最终数值，但训练数据中的正确答案有两条推理路径，其中一条在分布外 prompt 上会导致系统性错误。CKL 会保护这条有害路径在正样本条件分布中的权重，而标准 KL 正则化可能因为参考模型本身就不偏好这条路径而间接压制它。判据：在分布外评估集上，CKL 模型的错误模式集中在被保护的有害路径上，而 KL 模型的错误模式更分散。如果观察到这个现象，说明 CKL 的「保护条件分布」机制在条件分布本身不可靠时会放大错误。

12. 落地判断

用于「抢占式 GPU 自托管 27B 模型做多智能体脚手架」这个场景，CKL 的直接价值有限，但方差累积的洞察有实际意义。

先说怎么用。如果这个 27B 模型需要经过 RL 微调来适应多智能体脚手架的任务分配逻辑，CKL 可以作为 GRPO 的正则化项加入。实现成本很低：只需在训练循环里对正样本计算 log 比值、做 batch 内中心化、乘以 score 加到 loss 上，代码量约 20 行。β 建议从 0.1 开始扫。如果模型已经在脚手架任务上有 SFT 基础，正确率不太低，CKL 的估计量方差可控。

成本量级：27B 模型 bfloat16 权重约 54GB（27e9 × 2 字节 = 54e9 字节，估算），单张 24GB 卡放不下，需要至少 3 张卡做张量并行，或者用 4-bit 量化后单卡勉强可跑但训练速度会显著下降。如果只是推理，4-bit 量化后约 14GB，单卡可跑。RL 训练本身的计算成本主要在采样：每个 prompt 采样 4 条回答，每条回答在脚手架场景下可能包含多轮工具调用，序列长度容易到 8K token 以上。以 27B 模型在单卡 4090 上约 30 token/s 的生成速度估算，4 条 8K 回答需要约 18 分钟，一个 batch 128 个 prompt 需要约 38 小时，这对抢占式 GPU 的碎片化时间窗口很不友好。

最大的坑：抢占式 GPU 的中断恢复与 RL 训练的方差累积会叠加。抢占式环境意味着训练可能在任何一步被中断，恢复时从 checkpoint 继续。如果 checkpoint 保存的是参数而非优化器状态，恢复后的第一步更新会引入额外的噪声，这个噪声会通过方差累积机制加速熵塌缩。更隐蔽的是，多智能体脚手架的任务分配本身就是一个迭代系统：一个 agent 的输出影响下一个 agent 的输入，如果 27B 模型在 RL 微调中熵下降，它的任务分配策略会变得更确定，这可能在短期内提高成功率，但会降低脚手架面对新任务类型的适应能力。建议在抢占式环境中把 checkpoint 频率提高到每 10 步一次，并且保存优化器状态，同时监控真条件熵而非只看总熵——因为总熵下降可能只是正确率上升的副产品，而真条件熵下降才是多样性塌缩的信号。