平滑分段切割神经算子:处理不连续与急剧过渡
Smooth Piecewise Cutting for Neural Operator to Handle Discontinuities and Sharp Transitions
Ha Dang · Sebastian Schmidt · Juergen Hesser
中文摘要
神经算子在学习偏微分方程(PDE)解算子方面表现优异,但其固有的连续表示难以捕捉不连续和急剧过渡。现有方法通常在连续函数空间内近似这些特征,往往需要更大的模型容量和高分辨率数据。为此,提出 Cut-DeepONet,一种两阶段训练框架,显式建模不连续并降低学习复杂度。该方法通过提升策略重构问题,将区域划分为平滑子区域,同时在高维空间中将不连续表示为边界。这种分离使算子学习任务与神经网络的归纳偏置对齐,避免直接近似不连续。额外网络为未见输入预测依赖输入的不连续位置,进而引导神经算子在每个区域内生成平滑分量。在基准 PDE 上的实验表明,Cut-DeepONet 优于最先进方法,即使在低分辨率数据集上训练亦然。该方法在不连续和急剧过渡问题上表现突出,且可训练参数更少。结果凸显了改变算子学习表示而非增加模型复杂度的优势。
关键要点
- 01神经算子的连续表示难以捕捉不连续和急剧过渡,现有方法需更大模型容量和高分辨率数据。
- 02提出 Cut-DeepONet 两阶段框架,通过提升策略将区域划分为平滑子区域,在高维空间将不连续表示为边界。
- 03额外网络预测输入依赖的不连续位置,引导神经算子在每个区域内生成平滑分量。
- 04在基准 PDE 上优于最先进方法,低分辨率训练下仍有效,且可训练参数更少。
- 05结果表明改变算子学习表示比增加模型复杂度更有效。
解读
内容由 AI 生成,仅供参考。如发现错误,欢迎反馈。
原始英文摘要
arXiv:2605.19823v3 Announce Type: replace-cross Abstract: Neural operators have achieved strong performance in learning solution operators of partial differential equations (PDEs), but their inherently continuous representations struggle to capture discontinuities and sharp transitions. Existing approaches typically approximate such features within continuous function spaces, often requiring increased model capacity and high-resolution data. In this work, we propose Cut-DeepONet, a two-stage training framework that explicitly models discontinuities while reducing learning complexity. Our approach reformulates the problem via a lifting strategy, partitioning the domain into smooth subregions while representing discontinuities as boundaries in a higher-dimensional space. This separation aligns the operator learning task with the inductive bias of neural networks and avoids directly approximating discontinuities. An additional network predicts input-dependent discontinuity locations for unseen inputs, which are then used to guide the neural operator in generating smooth components within each region. Experiments on benchmark PDEs show that Cut-DeepONet outperforms state-of-the-art methods, even when trained on low-resolution datasets. The method excels on problems with discontinuities and sharp transitions, while using fewer trainable parameters. Our results highlight the benefits of changing the representation of operator learning rather than increasing model complexity.
1. 问题与价值
这篇论文解决的问题是:神经算子在学习偏微分方程解算子时,难以准确表示不连续解或陡峭过渡。神经算子的目标是给定输入函数
u(x),学习输出函数G(u)(y),也就是学习从一类函数到另一类函数的映射。标准方法如 DeepONet 和 Fourier Neural Operator 通常在连续函数空间中工作,天然倾向于把解学得很平滑。这个问题重要,是因为很多物理相关方程的解本来就不平滑。例如激波、间断、电化学模型中的快速开关过程,都会让解在空间或时间上出现突然跳变。如果模型只能把跳变近似成很陡但连续的变化,就需要更大的模型容量、更高分辨率训练数据,并且仍然可能在跳变附近产生振荡或误差扩散。
论文提出的 Cut-DeepONet 试图把“不连续”从学习目标中移开:先预测不连续位置,再把问题提升到更高维空间,让每个区域内部变成光滑函数。这样受益的群体主要是需要构建 PDE 代理模型的研究团队和应用开发者。具体收益是:在含间断或陡峭过渡的任务上,可能用更少的可训练参数和更低分辨率训练数据得到更好的整体误差;对需要真实跳变而不是平滑过渡的场景,例如冲击波、开关型生理模型,方法更贴合问题结构。
2. 已有工作的不足
在 Cut-DeepONet 之前,处理神经算子不连续问题的常见做法主要有几类。
因此,已有工作的关键不足不是“网络不够大”,而是“表示空间不匹配”:不连续被强行放进连续函数空间学习,导致模型必须用大量容量和高分辨率去模拟一个本应显式存在的边界。
3. 重建作者的思考路径
如果从旧方法出发,而不是把 Cut-DeepONet 当作已知答案,思考路径可能如下。
第一步,面对 DeepONet 或 FNO 在激波问题上的平滑误差,最直接的尝试是增加模型容量、加深网络、增加基函数数量。这样做的结果是:在训练分辨率足够高时,模型可以把跳变学得很陡,但误差仍然集中在间断附近,并且平滑区域也可能被高频学习干扰。矛盾出现:间断只占小区域,却消耗大量模型容量。
第二步,既然线性重建不够,自然会转向非线性重建或输入依赖基函数,例如 NOMAD、flexDeepONet、HyperDeepONet。这能提升表达力,但问题仍未根本解决:输出函数仍然被表示为连续函数。对于真实间断,连续模型只能逼近,不能“生成”跳变。矛盾变成:表达力增加了,但表示类型仍然不匹配。
第三步,如果知道间断位置,可以把域切开,每个子域用独立网络学习。这个思路在 PINN 的域分解方法中很自然。但算子学习任务中,未见输入的间断位置未知,且可能随输入变化。于是新的矛盾出现:域分解需要边界,而边界本身需要预测。
第四步,为了解决未知边界,可能会先训练一个预测间断位置的模块。这样就把问题拆成两个任务:先找“剪刀在哪里”,再学习“剪开后的光滑片段”。但这里又撞上表示问题:即使知道位置,如果仍然在原始坐标
y上学习,网络看到的还是同一个坐标附近有两个不同值,容易混淆。第五步,可能引入额外坐标来区分边界两侧。这个额外坐标不是用来表示物理位置,而是用来告诉网络“这个点属于哪个光滑区域”。这样,原本在
y上跳变的函数,在增强坐标下变成连续函数。此时 DeepONet 的连续表示优势可以重新发挥作用。第六步,改完表示后会出现新问题:对于未见输入,额外坐标不能直接从原始数据读取,必须由预测模块给出;如果预测模块输出固定数量间断,遇到间断数量变化时会受限;如果训练数据来自低分辨率数值求解器,间断可能被数值格式抹成连续过渡,标签本身会带误差;如果间断区域很小,随机采样可能采不到足够样本,导致局部误差高。
与论文实际路径的差异:推演中可能先尝试自适应采样、更强非线性基函数或更复杂损失;论文实际优先改变表示空间,把不连续放到高维空间的边界上,并用两阶段框架分别处理“预测间断位置”和“学习光滑片段”。
4. 核心 intuition
可以把 Cut-DeepONet 想成“把一张被撕开的纸按碎片编号后分别学习”。
原始坐标
y就像纸上的位置。如果纸在某个位置被撕开,同一个物理位置附近左右两侧的内容完全不同。普通神经算子只看y,会看到“同一个位置附近突然有两个值”,于是被迫用很陡的连续函数去模拟撕裂。Cut-DeepONet 的做法是先找到撕口,也就是不连续位置。然后把左右两块纸分别放进不同抽屉,抽屉编号就是额外坐标
H。现在网络不再看同一个位置的两个冲突值,而是看(y, 抽屉编号)。在每个抽屉内部,纸面是平滑的,网络只需要学习平滑片段。预测时,先由 Cutting Net 判断当前输入应该打开哪个抽屉,再让算子输出对应片段。这样,真实跳变不是网络硬学出来的,而是不同抽屉边界自然拼接出来的。这个类比能对上机制:撕口对应
Γ(u),抽屉编号对应H(Γ(u))(y),每个抽屉内的平滑纸面对应 lifted space 中的光滑函数,找撕口对应 Cutting Net,拼回原图对应最终在原始坐标上按预测标签取值。5. 方法 pipeline 举例
以无粘 Burgers 方程为例。原文设置中,空间域为
x ∈ [−1,1],时间域为t ∈ [0,0.5],初始条件为分段常数:左侧状态u_L ∈ [1,2],右侧状态u_R = 0,初始间断位置x_d ∈ [−0.9,−0.1]。完整流程如下。
u(x),它由左侧常数u_L、右侧常数u_R = 0和初始间断位置x_d描述。训练数据包含输入函数和对应解函数G(u)(x,t)。s = u_L / 2。x_s(t) = x_d + s t。因此不连续集合
Γ(u)可以表示为一条随时间移动的激波轨迹。中间结果是:对每个输入,得到一组间断位置,例如在时间t处的x_s(t)。u_i和对应间断位置Γ(u_i)配对,形成训练 Cutting Net 的数据集{(u_i, Γ(u_i))}。中间结果是:一个从输入函数到间断位置的监督学习问题。cnetθ学习映射u → Γ(u)。对未见输入,它预测间断位置,而不需要解析公式。中间结果是:预测得到的间断集合,记为cnetθ(u)。y,根据间断位置把域分成若干连通区域Ω_j。给每个区域分配不同标签c_j,要求不同区域标签不同。增强坐标定义为˜y = (y, H(Γ(u))),其中H(Γ(u))(y) = c_j当y ∈ Ω_j。中间结果是:原本在y上跳变的函数,在(y, c_j)上变成不同光滑片段。{(u_i, ˜G(u_i))}训练神经算子Ĝϕ,让它学习连续 lifted 函数˜G(u)(˜y)。中间结果是:一个在增强坐标上平滑的算子模型。u,先由 Cutting Net 得到预测间断位置cnetθ(u),再计算区域标签H(cnetθ(u)),最后评估Ĝϕ(u)(y, H(cnetθ(u)))。如果预测的间断位置正确,左右区域标签不同,输出在边界处自然形成跳变。最终结果是:一个带真实不连续的解函数,而不是被平滑化的近似解。6. 核心数学推导
6.1 标准 DeepONet 在做什么
先解释符号。
u(x)是输入函数,在若干采样点上被网络读取。y是输出坐标,例如空间位置或空间时间坐标。G(u)(y)是真实解算子输出。Ĝθ(u)(y)是参数化近似,θ表示可训练参数。DeepONet 的形式是:
Ĝθ(u)(y) = b(u(x)) · t(y)这里:
b(u(x))是 branch network 输出,编码输入函数,得到一个向量。t(y)是 trunk network 输出,编码输出坐标,得到同维度向量。·表示两个向量做点积。这个结构的关键限制是:输出是 trunk 向量的线性组合。即使 branch 和 trunk 是非线性网络,最后的组合仍然是线性重建。对于连续函数,这种表示很强;对于间断函数,它倾向于用很多基函数逼近一个陡坡,而不是直接生成跳变。
6.2 为什么连续表示会出问题
原文解释,如果输出空间是连续函数空间
C(Ω_y),神经算子有万能近似定理:在紧致输入集合上,可以任意逼近连续算子。符号上,Ω_y是输出域,C(Ω_y)表示定义在Ω_y上的连续函数集合。但如果真实输出
G(u)(y)关于y不连续,那么G(u)(y)不属于C(Ω_y)。也就是说,连续表示的万能近似定理不能直接保证它能精确表示间断函数。模型只能把间断近似成很陡的连续过渡,需要更高分辨率和更大容量。6.3 提升空间如何把间断变成边界
Cut-DeepONet 的核心是引入不连续集合
Γ(u)。它表示输入u对应解在输出域中的间断位置。然后定义增强坐标:˜y = (y, H(Γ(u)))其中:
y仍然是原始输出坐标。H(Γ(u))是由间断位置决定的额外坐标或标签。˜y是增强空间中的坐标。对于被间断分开的连通区域
Ω_j,定义:H(Γ(u))(y) = c_j, for y ∈ Ω_j并要求:
c_i ≠ c_j for i ≠ j这意味着:物理上相邻但位于间断两侧的点,在增强空间中会被不同标签分开。
lifted 函数定义为:
˜G(u)(˜y) = G(u)(y)这句话的含义是: lifted 函数并不改变每个区域内的函数值,只是给不同区域加上不同标签。于是,原本在
y上跳变的函数,在(y, c_j)上可以分别保持光滑。6.4 预测公式如何恢复间断
Cutting Net 定义为:
cnetθ(u) := Γ(u)它学习从输入函数到间断位置的映射。Stage 2 神经算子
Ĝϕ学习 lifted 连续算子:Ĝϕ(u)(˜y) ≈ ˜G(u)(˜y)最终预测为:
G(u)(y) = Ĝϕ(u)(y, H(cnetθ(u)))这个公式在算的是:先用预测间断位置给每个区域分配标签,再在增强坐标下查询光滑片段,最后把不同片段按原始坐标拼起来。跳变发生在标签切换处,而不是靠网络学习一个极陡连续过渡。
6.5 Burgers 激波位置的辅助推导
原文给出无粘 Burgers 方程的激波位置:
x_s(t) = x_d + s t激波速度为:
s = u_L / 2这里:
x_d是初始间断位置。u_L是左侧状态。u_R = 0是右侧状态。t是时间。因此,如果给定输入参数,间断位置不是任意未知量,而是可由解析公式给出的轨迹。对于更复杂问题,解析公式不可用时,就需要用数据提取或 Cutting Net 预测。
原文中 Rankine–Hugoniot 条件附近有一处公式提取显示为
12 (uL + uR),原文此处无法辨认;但后文明确给出s = uL / 2,所以本节推导只使用后者。7. 实验设计
7.1 数据集与任务
论文实验包含三类主要任务。
x ∈ [0,1],空间分辨率N_x = 500。t ∈ [0,0.25],时间分辨率N_t = 15。500×90%=450个训练样本。x ∈ [−1,1],空间分辨率N_x = 1000。t ∈ [0,0.5],时间分辨率N_t = 1000。u_L ∈ [1,2],右侧状态固定为u_R = 0,初始间断位置x_d ∈ [−0.9,−0.1]。200+50+50=300个样本。N_t = 80000,但训练时只使用 2000 点采样。T = 400 ms,步长dt = 0.005 ms,因此时间步数为400/0.005=80000。论文还在附录中给出 2D linear advection 扩展:250 个矩形初始条件样本,网格为
64×64,训练时每个时间步约随机采样36×36个点,并用 U-Net 预测二值 mask 来表示切割边界。7.2 基线方法
比较方法包括:
这些方法覆盖了标准线性重建、输入依赖基函数、非线性重建和谱算子等常见路线。
7.3 指标
论文使用两类误差:
L_1:全局误差,衡量整个域上的平均绝对误差。L_Dis:间断附近误差,衡量局部区域上的误差。原文说明Ω_Dis取域的 10%。原文公式提取不完整,指标公式此处无法辨认;但从上下文可确认它们都是绝对误差型指标。论文还指出,标准
L_1和L_2可能低估 Cut-DeepONet 的真实优势,因为当预测间断与真实间断平行时,跳变两侧误差会被同时计入;连续方法平滑穿过间断,误差可能反而显得小。因此论文没有使用L_2作为主要指标。7.4 消融与补充实验
论文给出的关键补充实验包括:
7.5 实验能否支撑结论
实验能支撑“在 1D 间断和陡峭过渡任务上,Cut-DeepONet 比列出的基线更优”这一结论,因为三个主任务都有定量结果,并且参数量不高于部分基线。
但实验支撑范围有限:
L_1可能低估 Cut-DeepONet,但也说明L_Dis仍可能受采样和跳变位置影响。8. take-aways
L_1为0.009±0.004,而原文列出的最佳基线 FNO 为0.025±0.007;间断区域L_Dis为0.060±0.031,FNO 为0.167±0.061。这说明在两个间断的线性平流问题中,方法同时改善全局误差和间断附近误差。L_1为0.010±0.007,而 HyperDeepONet 为0.031±0.006;L_Dis为0.053±0.037,HyperDeepONet 为0.135±0.031。这说明对激波型非线性问题,显式切割表示比单纯增强连续基函数更有效。L_1最低,为2.032±0.830,低于 DeepONet 的6.116±1.900和 FNO 的6.287±7.049;但L_Dis为2.050±0.588,高于 FNO 的1.777±0.856。这说明整体误差优势存在,但局部陡峭区域仍受采样不足影响。458k+42k=500k,低于 DeepONet 的1440k;Burgers 中为652k+84k=736k;Parsimonious 中为331k+9k=340k。这说明方法的优势不是靠单纯堆参数获得。L_1从0.005±0.003升到0.028±0.018,L_Dis从0.021±0.010升到0.216±0.117。这说明最终误差对间断位置预测噪声敏感,尤其局部误差放大更明显。9. 最脆弱的假设
最脆弱的假设是:不连续位置能够从输入函数中可靠预测,并且预测得到的切割位置能把域正确分成内部光滑的区域。
这个假设一旦失败,结论会明显削弱。原因如下:
论文给出了一些支持证据:噪声敏感性实验显示,即使切割位置有误差,整体形状仍可保持;低分辨率 Godunov 数据实验显示 Stage 2 算子学习仍有效。但这些证据主要覆盖 1D 简单间断和有限噪声水平,没有充分证明复杂曲线间断、多间断数量变化、真实高维 PDE 中该假设仍成立。
10. 一周最小复现
目标是在 1 张 24GB 消费级显卡和一周时间内,复现最核心结论:把不连续位置预测和光滑片段学习分开后,Cut-DeepONet 能在 Burgers 或 Linear Advection 上优于标准 DeepONet。
推荐选择 Inviscid Burgers,因为它有解析间断轨迹,数据生成和标签提取都简单。
10.1 数据规模
按原文主实验设置:
x ∈ [−1,1]。N_x = 1000。t ∈ [0,0.5]。N_t = 1000。u_L ∈ [1,2]。u_R = 0。x_d ∈ [−0.9,−0.1]。如果显存或时间不足,可以训练时随机采样点,而不是保存完整网格。原文在 Parsimonious 任务中已经使用 2000 点采样训练,因此可以借鉴这种点采样方式。
10.2 实现步骤
u_L和x_d。s = u_L / 2。t,计算x_s(t) = x_d + s t。u(x,t) = u_L当x < x_s(t),否则输出u_R。u_L、x_d的低维编码。x_s(t)轨迹,或者离散化为若干时间点的间断位置。84k,规模不大。x_s(t)把域分成左右区域。c_1,右侧区域标签c_2。(x, t, c_j)或(y, c_j),其中y包含空间和时间。10.3 预期指标
如果完全按原文 Burgers 设置训练,目标指标是:
L_1:0.010±0.007。L_Dis:0.053±0.037。L_1:0.089±0.026。L_1:0.060±0.035。一周简化复现如果减少样本数、网格分辨率或训练轮数,精确复现上述数字可能困难。合理预期是:Cut-DeepONet 的
L_1和L_Dis明显低于标准 DeepONet,并接近或优于 HyperDeepONet 的原文量级L_1 = 0.031±0.006。若未达到,需要检查切割标签是否正确、左右区域是否被错误合并、间断附近采样是否不足。11. 反例设计
要推翻本文核心主张,需要证明:即使采用 lifting 和 Cutting Net,方法也无法比连续表示方法更好地处理真实不连续,或者其优势主要来自额外监督标签而非表示改变。
设计一个反例实验如下。
11.1 任务构造
构造一组 Burgers 或 Euler 型问题,满足三个条件:
训练集包含输入函数和高精度解,但不提供解析激波轨迹;测试集包含未见间断数量和位置。
11.2 对比组
至少比较四类模型:
11.3 判据
如果以下结果成立,即可削弱或推翻本文核心主张。
L_1和L_Dis不再低于连续基线。例如在原文同任务中,Cut-DeepONet 的 BurgersL_1为0.010±0.007,而 HyperDeepONet 为0.031±0.006;若在更复杂反例中 learned-cut 误差高于这些基线,说明方法依赖可预测间断位置。这个反例的意义是:如果方法的优势只在“间断位置容易预测、间断结构简单”时成立,那么它就不是神经算子学习间断的通用解决方案,而是对特定可切割问题的工程技巧。
12. 落地判断
12.1 普通用户
普通用户目前拿不到直接可用的产品。论文提供的是研究框架和代码仓库链接,不是开箱即用的 PDE 求解器。普通用户若想使用,至少需要:
距离普通用户可用的主要缺口是:缺少面向通用 PDE 的自动间断发现、缺少复杂几何支持、缺少公平且稳定的间断误差指标、缺少大规模真实场景验证。
12.2 应用开发者
应用开发者可以在特定场景中使用,例如冲击波代理模型、开关型生理模型、材料界面问题。可落地的条件是:
500×90%=450个训练样本,Burgers 为 250 个样本,Parsimonious 为200+50+50=300个样本。458k+42k=500k,Burgers 为652k+84k=736k,Parsimonious 为331k+9k=340k。这对 1D 任务比较友好。最大工程坑是:数值求解器给出的低分辨率解可能把间断抹平,导致 Cutting Net 学到错误边界。论文也指出,如果数值求解器提供错误间断位置,模型会继承这些误差。
12.3 研究团队
研究团队可以把它作为“改变表示空间”的范例。最有价值的研究方向包括:
O(nd+1)增长,其中n是采样点数,d是空间维数,且n ≫ d;但复杂几何下的 Cutting Net 仍需进一步研究。总体判断:这项成果在 1D 间断和陡峭过渡基准上已经显示出明确优势,但离通用工程部署还需要解决自动间断发现、复杂拓扑、高维几何、公平评估和独立验证。