跳到正文
返回论文列表
cs.LG提交于 已译

注意步长:Adam 的边际最大化偏差取决于学习率调度

Watch Your Step: Adam's Margin Maximization Bias Depends on the Learning Rate Schedule

Eitan Gronich · Gal Vardi

中文摘要

研究 Adam 在二分类任务中同质模型上的隐式偏差及其与符号梯度下降的相似性,发现这些偏差依赖于学习率调度。先前工作研究强衰减学习率调度 η(t)=o(t^{1/L-1})(L 为同质度),并展示了 ℓ∞-边际最大化偏差;本文关注更常见的互补区域,包括常数和弱衰减调度。对于多项式调度 t^α 和同质度 L,当 α > 1/L - 1/2 时,Adam 在深度线性网络上(在 KKT 意义下)没有轨迹无关的边际最大化偏差:首先,此设定下不存在非平凡的、局部 Lipschitz 的凸隐式正则化器,包括任何平方范数;其次,在宽度为 1 的网络上,结果无需凸性假设,意味着宽网络的任何隐式正则化器限制到宽度 1 网络时必须平凡。尽管如此,本文正面刻画了该区域下的隐式偏差为最大化轨迹依赖的加权 ℓ2 边际,适用于任何 L-同质模型。结果背后的基本机制是 Adam 预条件子收敛到轨迹依赖的向量,这也表明极限参数方向依赖于初始化。在中间区域 1/L - 1 ≤ α ≤ 1/L - 1/2,证明了一个 ℓ∞ 偏差,条件为梯度方向收敛到全支撑向量。作为独立兴趣,建立了全批量 Adam 在一般同质模型上的损失衰减率,其主导阶仅依赖于二阶矩参数。

关键要点

  1. 01问题:Adam 的隐式偏差是否依赖学习率调度,此前仅研究强衰减调度。
  2. 02方法:分析多项式调度 t^α 下深度线性网络和宽度 1 网络的隐式正则化器。
  3. 03结果:当 α > 1/L - 1/2 时,无轨迹无关的边际最大化偏差,但存在轨迹依赖的加权 ℓ2 边际。
  4. 04机制:Adam 预条件子收敛到轨迹依赖向量,导致极限方向依赖初始化。
  5. 05局限:中间区域结果需梯度方向收敛到全支撑向量的条件。

解读

1. 问题与价值

这篇论文研究的是:在二分类、齐次模型、指数尾损失下,Adam 优化器在训练后期到底偏好哪一类“分界超平面”解。更具体地说,它追问 Adam 是否存在一个不依赖训练轨迹的隐式正则项,例如某个范数平方 R(θ),使得所有 Adam 轨迹的极限方向都满足某个最大间隔问题的 KKT 条件。

它解决的核心矛盾是:已有理论常把 Adam 近似看成 sign gradient descent,并据此声称 Adam 有 ℓ∞ 间隔最大化偏置;但这一结论依赖很强的学习率衰减。实践中大量使用常数学习率或弱衰减学习率。论文表明,在常数或弱衰减区域,Adam 的后期行为可能不再是统一的 ℓ∞ 间隔最大化,而是依赖初始化、依赖轨迹的二阶矩冻结结果。

为什么重要:Adam 及其变体广泛用于训练深度网络和大语言模型。如果“Adam 像 sign-GD,所以偏好 ℓ∞ 间隔”这一常见直觉只在特定学习率制度下成立,那么许多基于 sign-GD 的优化几何、泛化解释、隐私攻击分析、优化器设计建议都需要重新检查适用边界。

受益者:

  • 研究团队:可以更准确地区分“强衰减学习率”和“常数/弱衰减学习率”下的隐式偏置,避免把 sign-GD 结论直接迁移到 Adam。
  • 应用开发者:在调学习率、设置 ε、选择优化器时,可以获得更谨慎的理论边界,而不是默认所有 Adam 都等价于 ℓ∞ 间隔最大化。
  • 普通用户:间接受益于更可靠的模型训练理论,因为对优化器偏置的理解会影响泛化、鲁棒性、数据隐私等下游判断。

2. 已有工作的不足

在本文之前,最相关的已有做法主要有三类。

第一类是 Adam 的 ℓ∞ 间隔偏置分析。Zhang et al. 2024、Fan et al. 2025、Gronich and Vardi 2026 在强衰减学习率制度下给出 Adam 偏好 ℓ∞ 间隔的结果。它们要求学习率满足类似 η(t) = o(t^{1/L - 1}) 的强衰减条件,其中 L 是模型齐次度。对于深度线性网络或 ReLU 网络,L 通常等于层数。

不足在于:这个条件与实践中常见的常数学习率或弱衰减学习率不匹配。若 L=3,强衰减阈值约为 -0.67,而常数学习率对应 α=0,明显不在该制度内。

第二类是 sign gradient descent 的间隔偏置。Tsilivis et al. 2025 等工作说明 steepest descent 族在齐次模型上有对应范数的间隔最大化偏置,sign-GD 对应 ℓ∞ 间隔。很多论文把 Adam 近似为 sign-GD,因此借用这个结论。

不足在于:Adam 的分母是二阶矩 v_t 的平方根,而不是简单梯度符号。当学习率衰减不够快时,v_t 可能收敛到轨迹相关的冻结向量,导致 Adam 不再像 sign-GD。

第三类是带稳定常数 ε 的 Adam 分析。Wang et al. 2021、Wang et al. 2022 在 ε 主导分母的制度下给出类似梯度下降的 ℓ2 间隔偏置。

不足在于:渐近分析中若 ε>0 最终主导,行为会偏离 ε=0 的 Adam。论文主定理选择 ε=0,并指出实践中 ε 常很小,但默认 PyTorch 的 ε=10^{-8} 在极后期可能改变偏置。已有工作没有同时清楚刻画:常数学习率、ε=0、齐次模型、宽网络下是否存在统一隐式正则。

3. 重建作者的思考路径

如果从旧方法出发,首先会遇到一个明显缺口:已有 Adam ℓ∞ 偏置证明依赖强衰减学习率,而实践常用常数或弱衰减学习率。于是自然会问:把旧证明中的学习率条件放松后,结论是否仍成立?

第一步会检查 Adam 更新式 dθ_t/dt = -η(t) ˆm_t / sqrt(ˆv_t)。旧证明的关键直觉是:当梯度很小且学习率衰减很快时,二阶矩 v_t 近似等于当前梯度平方 g_t^2,所以 ˆm_t / sqrt(ˆv_t) 近似 sign(g_t),Adam 像 sign-GD,进而得到 ℓ∞ 偏置。

但这里会撞上第一个矛盾:如果学习率不衰减太快,v_t 不一定近似 g_t^2。因为 v_t 是指数移动平均,其记忆长度与 β2、学习率调度、梯度衰减速度共同作用。若早期大梯度被 v_t 长期记住,分母可能由历史决定,而不是由当前梯度决定。

接下来会尝试一个简单修正:也许 Adam 仍像 sign-GD,只是带一个标量包络?这在中间制度可能成立,但在常数学习率下未必。因为如果 e^{c2 t} v_t[j] 收敛到有限值 ω_j,那么 v_t[j] ≈ ω_j e^{-c2 t},Adam 更新会变成带固定对角矩阵 Dω 的动量梯度下降,而不是逐坐标 sign-GD。

这会引出第二个矛盾:如果 Dω 依赖轨迹,那么不同初始化可能得到不同极限方向。若一个统一的隐式正则 R(θ) 存在,它必须对所有轨迹的 KKT 极限同时成立。于是会想构造一个最小反例:能否用简单网络让初始化连续改变极限方向?

一个自然选择是 width-1 深度线性网络,因为它只有少量参数,却保留齐次结构。再构造两点数据集,让一个点负责后期最小间隔,另一个点负责早期大梯度。早期大梯度会写入二阶矩,后期最小间隔约束决定 KKT 条件。若极限方向可以连续变化,而 KKT 只约束一个活动间隔,那么任何合法隐式正则在该方向集合上必须为常数。

但这里又会出现新问题:width-1 反例是否只排除窄网络?对于宽网络,也许存在一个非平凡凸正则,只是在 width-1 子空间上退化为常数?于是需要把构造提升到任意宽度。提升时,宽网络梯度落在若干“复制子空间”中,这些子空间线性张成整个参数空间。若隐式正则要求为凸,则它在每个子空间上常数会推出全局常数。

负结果之后,会问:既然没有统一正则,是否完全没有偏置?不一定。因为 Adam 仍可能沿着一个由 Dω 决定的加权 ℓ2 几何运动。于是正结果自然出现:每个轨迹的极限方向满足一个轨迹相关的加权 ℓ2 KKT 条件。

再检查中间制度:v_t 不冻结,但 Adam 比值也不再近似 1,而是以多项式速度衰减。此时若要得到 ℓ∞,可能需要额外假设梯度方向收敛到一个全支撑向量。没有这个假设时,旧 sign-GD 证明的坐标比值控制会失效。

与论文实际路径的差异:上述推演抓住了“检查 Adam 比值、发现二阶矩冻结、构造初始化依赖方向、再提升宽度”的主线,但实际论文更系统地用 KKT 隐式正则定义来组织负结果,并把正结果写成任意齐次模型上的轨迹相关加权 ℓ2 定理;中间制度也没有无条件声称 ℓ∞,而是加了梯度方向收敛到全支撑向量的条件。

4. 核心 intuition

可以把 Adam 的二阶矩 v_t 想象成一个调音台。每个坐标有一个推子,推子位置由历史梯度平方决定。

在强衰减学习率下,梯度整体很快变小,调音台不断根据当前梯度刷新推子,最后几乎每个坐标都按当前梯度符号走。这时 Adam 很像 sign-GD,偏好 ℓ∞ 间隔。

在常数或弱衰减学习率下,早期的大梯度会把某些推子位置“锁死”。后期即使梯度方向变了,分母仍带着早期历史形成的固定权重。不同初始化会让调音台在早期被不同信号冲击,于是锁出不同的推子组合。最终训练方向不是由一个普适几何决定,而是由这条轨迹自己的历史权重决定。

这对应机制:

  • v_t 对应推子。
  • e^{c2 t} v_t[j] → ω_j 对应推子被冻结成历史相关常数。
  • Dω 对应由冻结推子形成的坐标权重。
  • 极限方向依赖初始化,对应不同初始冲击导致不同锁存状态。
  • 加权 ℓ2 间隔对应每个轨迹有自己的“有效几何”,而不是统一 ℓ∞ 几何。

5. 方法 pipeline 举例

用一个论文中的 width-1 构造走一遍流程。取 L=2,模型为 f(x;θ) = b1 ⟨u,x⟩,参数 θ=(u1,u2,b1)。取数据集:

  • x1 = (2,1),y1=1
  • x2 = (35,0),y2=1

这里 B=2,Λ=1,M=35,均来自论文实验设置。取学习率指数 α=0.15。对 L=2,快制度阈值是 1/L - 1/2 = 0,所以 α=0.15 > 0 属于快制度。

流程如下。

  1. 初始化。论文使用参数化初始化,其中 ρ=1.01,z 控制两个样本初始置信度差,π1 控制隐藏标量 b1 的尺度。初始输出可写成 q1(0)=ρ^L,q2(0)=ρ^L+z。这里 q_i(t)=y_i f(x_i;θ_t)。
  1. 早期梯度形成。因为 x2=(35,0) 在第一坐标上很大,早期梯度中 u1 相关坐标会获得较大信号。论文梯度公式给出 p_u1 = B p_u2 + M/Λ P(b) e^{-q2},其中 p=-g。代入 B=2、M=35、Λ=1,可见 x2 项对 u1 的早期二阶矩贡献显著。
  1. 二阶矩冻结。在快制度中,e^{c2 t} v_t[j] 会收敛到有限值 ω_j。对 u1 与 u2 的权重比,论文 Lemma D.8 给出范围:B^2 ≤ ω_u1 / ω_u2 ≤ (B + M e^{-z})^2。代入 B=2、M=35,得到 4 ≤ ω_u1 / ω_u2 ≤ (2 + 35 e^{-z})^2。改变 z 会改变这个比例。
  1. 后期更新近似。由于 v_t 冻结,Adam 更新近似为带对角预条件子的动量梯度下降:dθ_t/dt ≈ -Dω η(t) e^{c2 t/2} m_t。这里 Dω 的对角元由 ω_j 决定。
  1. 极限方向由冻结权重决定。论文给出方向比例:δ0 = B sqrt(ω_u2 / ω_u1),δ1 = sqrt(1 + B δ0) (ω_u2 / ω_b1)^{1/4}。代入 B=2,得到 δ0 = 2 sqrt(ω_u2 / ω_u1),δ1 = sqrt(1 + 2 δ0) (ω_u2 / ω_b1)^{1/4}。
  1. 初始化选择目标方向。若要达到某个目标方向,可以调节 z 和 π1。论文用连续映射和 Poincare-Miranda 定理说明:在足够大的 M 下,固定数据集上可以通过不同初始化达到一个连续方向集合中的点。
  1. 隐式正则被逼成常数。若存在统一隐式正则 R(θ),极限方向在超平面 Σ_{B,Λ} 上连续变化,而只有 x1 是最小间隔活动点。KKT 条件会迫使 R 在该超平面上沿切向导数为零,因此 R 在该区域常数。再由对称性和连续性,R 在整个参数空间常数。
  1. 对宽网络的后果。通过把 width-1 参数线性嵌入宽网络,并利用凸函数在若干张成子空间上常数则全局常数的性质,论文把负结果扩展到任意宽度深线性网络。

这个例子说明:同一个数据集、同一个学习率、同一个 Adam 配置,仅改变初始化,就可能得到不同的极限方向;因此不存在一个与轨迹无关的通用间隔正则。

6. 核心数学推导

先解释关键符号。

  • L:模型的齐次度。对无 bias 的深度线性网络或 ReLU 网络,通常等于层数。
  • η(t)=η0(1+t)^α:多项式学习率调度。α=0 是常数学习率,α<0 是衰减学习率。
  • ζ=α-(1/L-1):论文用来区分三个制度的量。提取文本中相关符号有损坏,但论文实验给出 L=3 时两个临界值约为 -0.67 和 -0.17,这与 1/3-1 和 1/3-1/2 一致。因此下文按 ζ=α-(1/L-1) 理解。
  • c2:连续时间 Adam 中二阶矩平滑参数,近似对应离散 Adam 的 -log β2。
  • v_t:二阶矩 EMA,坐标式为 v_t[j] = EMA_c2[g_t[j]^2]。
  • ω_j:快制度下 e^{c2 t} v_t[j] 的极限,即冻结后的历史权重。

核心更新式是:

dθ_t/dt = -η(t) ˆm_t / sqrt(ˆv_t)

其中 ˆm_t 和 ˆv_t 是偏差修正后的 EMA。忽略偏差修正,EMA 可写成:

v_t[j] ≈ c2 ∫_0^t e^{-c2(t-s)} g_s[j]^2 ds

两边乘 e^{c2 t}:

e^{c2 t} v_t[j] ≈ c2 ∫_0^t e^{c2 s} g_s[j]^2 ds

这个式子是关键:如果右边的积分收敛,则 e^{c2 t} v_t[j] 有有限极限 ω_j;如果发散,则二阶矩不会冻结。

接下来需要估计 e^{c2 s} g_s[j]^2。在正间隔插值和损失衰减假设下,论文给出量级关系:

U(t) = -log L(θ_t) ≍ ∥θ_t∥_2^L

以及梯度尺度:

∥g_t∥_2 ≍ U(t)^{1-1/L} e^{-U(t)}

记 ν=1-1/L,则 ∥g_t∥_2 ≍ U(t)^ν e^{-U(t)}。

在中间和快制度中,论文损失衰减定理给出 U(t) 与 t 同阶。原文 Eq (1)、Eq (2) 的系数处提取为 c2 2t,原文此处无法辨认;但论文实验参考线为 -ln(β2)/2,且后文多次出现 e^{c2 t/2},因此可辨认其量级为线性于 t。

若 U(t) 线性增长,则 e^{-U(t)} 近似抵消 e^{c2 t/2} 这一阶。论文进一步给出梯度平方被 s^{-2ζ} 控制,因此:

e^{c2 s} g_s[j]^2 的尾部量级近似 s^{-2ζ}

于是积分 ∫ s^{-2ζ} ds 是否收敛取决于:

2ζ > 1,即 ζ > 1/2

这正好对应快制度:

α > 1/L - 1/2

当 ζ>1/2 时,e^{c2 t} v_t[j] 收敛到有限 ω_j。于是 Adam 后期近似为:

dθ_t/dt ≈ -Dω η(t) e^{c2 t/2} m_t

其中 Dω 是对角矩阵,非零权重坐标满足 (Dω)_jj = ω_j^{-1/2}。

这导致正结果:极限方向满足加权 ℓ2 KKT:

min_θ 1/2 θ^T Dω^{-1} θ subject to y_i f(x_i; θ) ≥ 1

总结这个公式在算什么:它在判断 Adam 的二阶矩是否被早期梯度冻结;冻结时,Adam 的后期几何由历史权重 ω_j 决定,形成轨迹相关的加权 ℓ2 间隔偏置,而不是统一的 ℓ∞ 间隔偏置。

慢制度 ζ<0 时,积分发散,但梯度变化足够慢,v_t 近似 g_t^2,Adam 比值近似 sign(g_t),所以可回到 ℓ∞ 偏置。

中间制度 0≤ζ≤1/2 时,二阶矩不冻结,但 Adam 比值不再近似 1,而是以 O(t^{-ζ}) 衰减。论文需要额外假设梯度方向收敛到一个全支撑向量,才能把坐标符号稳定下来,从而得到条件性的 ℓ∞ 偏置。

7. 实验设计

实验分两类。

第一类是 width-1 构造实验,用来验证“不同初始化导致不同极限方向”。

  • 模型:L=2 的 width-1 线性网络,参数 (u1,u2,b1)。
  • 数据集:B=2,Λ=1,M=35,两点样本 x1=(2,1),x2=(35,0),标签均为 1。
  • 学习率:η_k = 10^{-3} k^{0.15},所以 α=0.15。
  • 优化器:full-batch Adam,β1=0.9,β2=0.999,ε=0,零初始动量。
  • 训练长度:600,000 次更新,float64。
  • 稳定性判据:最后 100,000 步内参数方向变化小于 0.012。
  • 初始化数量:142 组 (z,π1),再通过对称得到 284 个方向。

第二类是 MNIST 二分类实验,用来验证学习率制度和 ε 对间隔偏置的影响。

  • 数据:1,024 张 MNIST 图像,前 512 个偶数数字与前 512 个奇数数字,标签分别为 -1 和 +1。
  • 预处理:像素除以 255,按选中样本逐像素均值中心化,展平。
  • 模型:3 层全连接 ReLU 网络,宽度 784→512→512→1。长时 ε=0 实验用无 bias 网络;ε 对比实验用带 bias 网络。
  • 损失:full-batch logistic loss。
  • 优化器:Adam,β1=0.9,β2=0.999,学习率 η_k=3×10^{-4} k^α。
  • 学习率指数:α=0,-0.1,-0.3,-0.5,-0.7。
  • 种子:5 个初始化种子。
  • 终止条件:长时 ε=0 实验到损失 10^{-20};ε 对比实验到损失 10^{-10} 或 1,000,000 步。
  • 指标:-ln L 后期斜率、γ∞、γ2、轨迹相关加权 γω、ε 造成的更新相对误差。

消融与对比:

  • 学习率制度:快、中间、慢。
  • ε:0 与 10^{-8}。
  • 初始化尺度:10^{-4} 与标准初始化。
  • 参考种子:用某个轨迹端点计算权重 ω,再评估不同轨迹的加权间隔。

能否支撑结论:

  • width-1 实验能直接支撑“快制度下极限方向依赖初始化”的机制。
  • MNIST 实验能支撑“学习率制度影响 γ∞ 排序”和“快制度下轨迹相关加权 ℓ2 间隔更自我一致”的趋势。
  • 但主定理要求齐次模型、ε=0、full-batch、渐近后期。MNIST 带 bias 网络并非严格齐次,有限步训练也不完全等于渐近极限。因此实验是强提示,不是定理证明。

缺什么:

  • 更大规模、更严格齐次的网络验证。
  • 随机小批量 Adam 下二阶矩冻结是否仍成立。
  • 非零 ε 的完整理论刻画。
  • 非齐次模型上的对应结果。
  • 独立复现,尤其是长训练到极小损失时的方向稳定性。

8. take-aways

  1. 学习率制度会改变 Adam 的隐式偏置。对 L=3,慢制度阈值约为 1/3 - 1 = -2/3 ≈ -0.67,快制度阈值约为 1/3 - 1/2 = -1/6 ≈ -0.17。常数学习率 α=0 对 L=3 属于快制度,不属于旧强衰减理论覆盖范围。
  1. 在快制度 α > 1/L - 1/2 下,对深线性网络,不存在非平凡凸隐式间隔正则;对 width-1 网络,甚至不需要凸性假设。这意味着 R(θ)=1/2∥θ∥∞^2 或任何平方范数类正则都不能作为统一隐式正则。
  1. 快制度的正结果是轨迹相关的加权 ℓ2 偏置。若 e^{c2 t} v_t[j] → ω_j,则极限方向满足:

min_θ 1/2 θ^T Dω^{-1} θ subject to y_i f(x_i; θ) ≥ 1

其中 Dω 由该轨迹自己的二阶矩极限决定。

  1. 中间制度 1/L - 1 ≤ α ≤ 1/L - 1/2 的 ℓ∞ 偏置是条件性的。论文需要梯度方向收敛到一个全支撑向量;没有该假设时,无条件 ℓ∞ 偏置仍开放。
  1. 损失衰减率与 β2 直接相关。原文 Eq (1)、Eq (2) 的系数提取损坏,原文此处无法辨认;但论文实验参考线为 -ln(β2)/2,且在 β2=0.999 设置下,α≥-0.5 的后期斜率接近该参考线,而慢制度 α=-0.7 明显更慢。

9. 最脆弱的假设

最脆弱的假设是 ε=0 与 full-batch 连续时间 Adam 的组合。

主定理把稳定常数 ε 设为 0,使分母真正由二阶矩 sqrt(v_t) 控制。这样才可能观察到 e^{c2 t} v_t[j] 冻结成轨迹相关 ω_j,进而得到快制度下无统一隐式正则、但有轨迹相关加权 ℓ2 偏置的结论。

如果 ε>0 最终主导分母,Adam 更新会趋向梯度下降式行为,论文实验中的 ε=10^{-8} 设置已经显示后期 γ2 上升、γ∞ 下降的趋势。这意味着实际默认 ε 可能改变渐近偏置。

从实验设置看,论文对这一假设给出了部分证据:

  • 主实验使用 ε=0。
  • 对比实验使用 ε=10^{-8},并观察到后期更新误差 eε(t) 趋近 1。
  • 带 bias 的标准初始化实验显示 ε 的影响在后期更明显。

但主定理本身没有覆盖 ε>0 的完整渐近行为。另一个脆弱点是齐次性。论文理论要求模型满足 f(x;zθ)=z^L f(x;θ),而实际网络常有 bias、LayerNorm、残差等结构。MNIST 对比实验使用带 bias 网络,虽然近似齐次,但严格性不如无 bias 网络。

如果 ε=0 假设倒掉,快制度下“轨迹相关加权 ℓ2 而非统一 ℓ∞”的核心结论未必直接适用于默认 Adam。如果齐次性假设倒掉,KKT 间隔偏置的整套框架也可能需要重写。

10. 一周最小复现

目标:在 1 张 24GB 消费级显卡上复现最核心结论:快制度下 Adam 的 ℓ∞ 间隔偏置变弱,且轨迹相关加权 ℓ2 间隔能体现初始化依赖。

可复现论文代码:论文代码

最小实验方案如下。

  1. 数据准备。
  • 使用 MNIST 训练集。
  • 取前 512 个偶数数字和前 512 个奇数数字,共 1,024 张图。
  • 标签设为 -1 和 +1。
  • 像素除以 255。
  • 按这 1,024 张图的逐像素均值中心化。
  • 展平为 784 维。
  1. 模型。
  • 使用无 bias 的 3 层 ReLU MLP。
  • 宽度 784→512→512→1。
  • 初始化:每层权重从 U(-1/sqrt(n_in), 1/sqrt(n_in)) 采样,再整体乘以 10^{-4}。
  1. 优化器。
  • full-batch logistic loss。
  • Adam,β1=0.9,β2=0.999。
  • ε=0。
  • 学习率 η_k = 3×10^{-4} k^α。
  • 学习率指数取 α=0,-0.1,-0.3,-0.5,-0.7。
  • 每个 α 跑 5 个种子。
  1. 训练长度。
  • 首选目标:损失达到 10^{-20}。
  • 若时间不足,可退到 10^{-10},但需要记录未达 10^{-20} 的事实,因为渐近偏置可能需要更长训练。
  1. 记录指标。
  • -ln L 的最后 10,000 步斜率。
  • γ∞ = min_i y_i f(x_i; θ/∥θ∥∞)。
  • γ2 = min_i y_i f(x_i; θ/∥θ∥2)。
  • 轨迹端点二阶矩权重:ω = β2^{-t_end} v_t_end。
  • 归一化 ω^{1/2} 到单位 ℓ2 范数。
  • 加权间隔 γω(θ) = q_min(θ) / ∥θ∥_ω,其中 ∥θ∥_ω^2 = ∑_j ω_j^{1/2} θ_j^2。
  1. 预期结果。
  • α=-0.7 属于慢制度,γ∞ 应最大。
  • α=0 和 α=-0.1 属于快制度,γ∞ 应较小且随制度变化下降。
  • α=-0.3 和 α=-0.5 属于中间制度,γ∞ 应介于慢与快之间。
  • -ln L 后期斜率:α=-0.5, -0.3, -0.1, 0 应更接近 -ln(0.999)/2 量级;α=-0.7 应明显更慢。
  • 对 α=0,用某个参考种子端点计算 ω 后,该参考轨迹在自己的 γω 度量下应比其它种子更容易获得较大间隔。
  • 对 α=-0.7,参考轨迹不应在自己的 γω 度量下稳定优于其它轨迹。
  1. 可选更小复现。
  • 复现 width-1 实验:L=2,B=2,Λ=1,M=35,α=0.15,ρ=1.01,600,000 步,float64。
  • 预期:不同初始化得到不同极限方向;最后 100,000 步方向变化小于 0.012。
  • 这个实验 CPU 也可完成,适合作为机制验证。

11. 反例设计

要推翻本文核心主张,可以设计如下实验。

核心主张:在快制度 α > 1/L - 1/2、ε=0、齐次模型、full-batch 下,Adam 没有统一隐式间隔正则;其极限几何是轨迹相关加权 ℓ2,并且极限方向可随初始化连续变化。

反例实验:

  1. 选择严格齐次模型:无 bias 深线性网络或无 bias ReLU 网络,层数 L=3。
  2. 选择可分二分类数据,保证正间隔插值。
  3. 使用 ε=0、full-batch Adam、β1=0.9、β2=0.999。
  4. 使用常数学习率 α=0,因为 L=3 时 0 > -1/6,属于快制度。
  5. 训练至少 100 个不同初始化,直到损失低于 10^{-10}。
  6. 对每个轨迹计算:
  • 极限方向 θ_t/∥θ_t∥2
  • γ∞
  • 端点权重 ω
  • 加权间隔 γω
  • 是否满足统一 ℓ∞ 最大间隔 KKT
  1. 判据一:若所有初始化的极限方向都收敛到同一个 ℓ∞ 最大间隔方向集合,且方向距离小于一个预设极小容差,例如论文 width-1 实验中用于方向稳定性的 0.012,那么快制度下初始化依赖方向的核心机制被削弱。
  2. 判据二:若 α=0 的 γ∞ 不低于慢制度 α=-0.7,并且不同种子的 γ∞ 没有显著分离,那么“学习率制度改变 ℓ∞ 偏置”的结论被削弱。
  3. 判据三:若端点权重 ω 计算的 γω 不能让参考轨迹在自己的度量下优于其它轨迹,而统一 ℓ∞ 或统一 ℓ2 更能解释所有轨迹,那么“轨迹相关加权 ℓ2”正结果被削弱。

若以上三个判据同时成立,尤其是在严格齐次、ε=0、full-batch、足够长训练下成立,就可以认为本文关于快制度 Adam 隐式偏置的核心主张不成立或至少不具普适性。

12. 落地判断

这项成果离普通用户“用得上”还有明显距离。它不是直接可用的产品特性,也不是可以立即替换默认 Adam 的优化器。

普通用户:

  • 能拿到的是认知层面的提醒:学习率调度、ε、是否 full-batch、模型是否近似齐次,都可能改变优化器后期偏置。
  • 不能直接拿到的是可操作开关:例如“把 ε 设成多少就能得到某种泛化优势”并没有由论文给出。
  • 对日常训练,最大影响是避免把“Adam 像 sign-GD,所以偏好 ℓ∞ 间隔”当作无条件事实。

应用开发者:

  • 可以用它做优化器诊断:在小型可分分类任务上比较 γ∞、γ2、γω,观察不同学习率制度是否改变后期几何。
  • 可以在隐私分析中谨慎检查:论文讨论中提到,若 Adam 不再统一偏好 ℓ∞,而是轨迹相关加权 ℓ2,则基于 ℓ∞ 偏置的数据重建或隐私攻击分析可能需要重新评估。
  • 工程集成难点:需要实现 ε=0 或极小 ε 的 Adam,处理 v_t[j]=0 时更新置零;需要长训练到极低损失;需要稳定计算间隔和端点权重。
  • 不适合直接用于生产大模型:生产训练通常是小批量、非齐次、带 bias、带 ε、带 warmup/cosine 等复杂调度,主定理不覆盖这些条件。

研究团队:

  • 可以直接复现 width-1 构造和 MNIST 小实验。
  • 可以进一步研究随机小批量 Adam、非零 ε、非齐次网络、Transformer 中的实际学习率调度。
  • 可以把轨迹相关加权 ℓ2 与泛化、鲁棒性、数据重建、优化器设计联系起来。
  • 最大理论缺口是:快制度正结果依赖二阶矩冻结,中间制度 ℓ∞ 结果依赖梯度方向收敛,实际优化中这些条件是否常见仍不清楚。

距离可用还差几步:

  • 数据规模:核心复现只需 1,024 张 MNIST 图;验证大模型意义则需要远大于此的数据与任务。
  • 算力门槛:小实验可在单张消费级 GPU 上完成;大模型验证需要显著更高算力。
  • 工程集成:需要可靠记录 v_t、计算 ω、计算多种间隔、处理 ε=0 的数值问题。
  • 独立验证:需要不同实现、不同随机种子、不同网络架构、不同损失,确认不是特定初始化或特定调度造成的现象。

成本量级:

  • 最小复现成本很低:1,024 张图、784→512→512→1 网络、5 个种子、最多 1,000,000 步,属于小规模实验。
  • 大模型验证成本高:需要把轨迹相关权重估计扩展到大量参数和长训练,同时保持可分或近似可分状态,成本远高于 MNIST 复现。

最大的坑:

  • 把 ε=0 的理论结论直接套到默认 ε=10^{-8} 的 Adam 上。
  • 把有限步训练当作渐近极限,尤其是损失还没有足够低时。
  • 把带 bias 网络当作严格齐次网络。
  • 忽略小批量随机性对二阶矩冻结的影响。
  • 只看 γ∞,没有同时看 γ2 和 γω,从而误判优化器几何。

内容由 AI 生成,仅供参考。如发现错误,欢迎反馈。

原始英文摘要

arXiv:2611.01929v2 Announce Type: replace-cross Abstract: We study the implicit bias of Adam and its similarity to sign gradient descent on homogeneous models in binary classification tasks. Perhaps surprisingly, we uncover that these depend on the learning rate schedule. While previous works studied strongly decaying learning rate schedules $\eta(t)=\mathrm o \left(t^{1/L-1}\right)$, where $L$ is the homogeneity degree, and showed $\ell_\infty$-margin-maximization biases, we focus on the more common complementary regime, including constant and weakly decaying schedules. For a polynomial schedule $t^{\alpha}$ and homogeneity degree $L$, we show that when $\alpha > \frac 1L - \frac12$, Adam has no trajectory-independent margin-maximization bias for deep linear networks (in the KKT sense): first, there is no non-trivial, locally Lipschitz, convex implicit regularizer in this setting, including any squared norm. Second, on width-$1$ networks, the result holds without requiring convexity, implying that any implicit regularizer for wide networks must be trivial when restricted to a width-$1$ network. Nevertheless, we positively characterize the implicit bias in this regime as maximizing a trajectory-dependent weighted-$\ell_2$ margin for any $L$-homogeneous model. The fundamental mechanism behind our results is convergence of Adam's preconditioner to a trajectory-dependent vector, which also allows showing that the limiting parameter direction depends on initialization. In the intermediate regime $\frac 1L - 1 \leq \alpha \leq \frac1L - \frac12$ we prove an $\ell_\infty$ bias, conditional on gradient directional convergence to a full-support vector. Of independent interest, we establish a loss decay rate for full batch Adam on general homogeneous models, whose leading order depends only on the second-moment parameter.

同方向论文 · cs.LG

查看全部 →