跳到正文

论文解读

arXiv 论文中文摘要 + 关键要点 · 最近 30 天· 已显示 24 篇

stat.ML·已译

缺失协变量的统计、机器学习与深度学习方法:面向阿尔茨海默病研究的实证评估

Statistical, Machine Learning and Deep Learning Methods for Missing Covariates: An Empirical Evaluation with Applications to Alzheimer's Disease Research

Yiqing Pan · Sharon X. Xie · Shujie Ma · 2+

生物医学研究中缺失数据常见,尤其当生物标志物昂贵或需侵入性操作获取时,如阿尔茨海默病中的脑脊液指标。尽管从传统统计方法到现代机器学习(ML)与深度学习(DL)算法存在多种缺失数据处理方法,其在不同缺失机制下的相对性能仍缺乏充分理解。本研究对八种缺失协变量处理方法进行实证评估,包括完整案例分析、多重插补、基于ML的技术,以及多层感知机、变分自编码器和生成对抗网络等DL框架。总结其概念基础、实际实现考量、优势与局限。通过大量模拟,评估不同缺失机制与缺失比例下的估计偏差、效率、标准误准确性、置信区间覆盖率和计算负担。基于Vanderbilt Memory and Aging Project的应用进一步说明不同方法在真实生物医学场景回归分析中的影响。最后给出方法选择的实用建议,并指出有待未来研究的剩余挑战。

stat.ML·已译

面向纵向矩阵数据的经验变分贝叶斯分解

Empirical Variational Bayes Factorization for Longitudinal Matrix Data

Jiakun Li · Eric F. Lock

在生物医学研究中,尤其是疾病进展或分子时间序列实验,随时间收集多个个体的高维数据日益常见。数据常存在缺失,或个体间时间点间隔不规则。目前缺乏灵活方法来探索随时间变化的潜在模式并处理缺失数据。提出经验变分贝叶斯(EVB)方法分解高维纵向数据,其潜在因子随时间具有时间相关性。EVB 计算高效,可适应随时间变化的灵活协方差结构,并自动确定所有超参数(包括潜在秩,即因子数)。模拟表明,该方法比其他策略更精确地捕捉潜在信号,并在不同场景下对缺失数据插补表现良好。应用于多发性硬化症治疗的基因时间序列数据,得到随时间可解释的成分分解,并提高缺失数据的插补精度。

stat.ML·已译

带 Kaplan--Meier 生存估计的多臂老虎机的方差自适应置信上界

Variance-Adaptive Upper Confidence Bounds for Multi-Armed Bandits with Kaplan--Meier Survival Estimation

Yangfan Cui · Andrew Papanicolaou

研究随机多臂老虎机问题:每个臂的奖励是预先指定时间点上的生存概率,观测结果是右删失的时间-事件变量。标准老虎机算法在此设置下面临延迟且不完整的观测。此前针对 Kaplan--Meier(KM)估计器的适配依赖 Hoeffding 型界,忽略了连续生存过程固有的异方差性。为弥补这一差距,提出 KM-UCB,一种将连续时间生存分析与离散序贯决策相结合的方差自适应策略。利用鞅论和连续影响函数,推导出以 Greenwood 方差公式为参数的固定队列经验 Bernstein 界。对于实时分配,保留 Greenwood 指数,并使用来自已完成记录的生存界来复核推荐臂。在追赶式报告下,该策略具有对数期望遗憾,其探索界中包含臂特定的方差项。在双层延迟模拟和乳腺癌试验数据的回顾性回放中评估原始策略,并在单独的配对模拟中评估修正。

stat.ML·已译

风险最优的主动学习与信息性弃权

Risk-optimal active learning with informative abstention

Fariborz Setoudehtazangi · Geoffrey J. McLachlan

研究当预言机(oracle)可能弃权且其响应概率与分类器共享参数时的标签获取问题。此时一次查询可通过返回的标签和响应结果两方面提供信息。在正确设定的参数模型下,推导出经响应模型冗余参数调整后的分类器信息量。将该信息量与多类零一风险的局部曲率结合,得到最小化渐近超额风险主导项的获取准则。刻画固定查询预算下的最优分配,并展示查询分配如何影响响应可识别性。当响应概率不依赖分类器参数时,该预言机准则退化为响应折扣获取。模拟实验考察所得查询分配,并通过消融隔离响应结果项的贡献。Consumer Complaints 回放保留观察到的人类弃权,并在响应时揭示基准标签。在两个最大预算下,响应感知获取的平均测试误差低于响应折扣获取,配对差异经 Holm 校正后显著。最小预算下熵采样表现更好。增益取决于响应机制和查询预算。

stat.ML·已译

DL101 神经网络模型的表示能力

DL101 The Representation Capability of Neural Network Models

Fernando Berzal

通用逼近定理(Cybenko、Funahashi、Hornik & Leshno)为神经网络足以建模复杂非线性现象提供了数学依据。浅层网络可以逼近紧集上的任意连续函数。Leshno 定理阐明,非多项式激活函数是实现通用性的必要条件,这解释了 ReLU、logistic、双曲正切等常见激活函数为何有效(而纯多项式激活函数无效)。然而,逼近定理并不提供效率、训练或泛化方面的保证:它们既未说明达到给定精度需要多少神经元,也未说明梯度下降能否找到正确参数,更未说明在有限数据上训练的网络能否良好泛化。Barron 针对特定函数类给出了定量误差界(具有有界傅里叶范数的函数的逼近速率),而 Montúfar 首次证明表达能力随深度呈指数增长(以线性区域数量衡量)。在相同参数数量下,深层网络严格比浅层网络更具表达能力。深度从根本上比宽度更强大,这为使用深度学习模型提供了严格的数学解释。

stat.ML·已译

部署预算下的基础模型预测

Prediction with Foundation Models under Deployment Budgets

Zhaohui Xu · Xiaofei Xu · Doudou Zhou

基础模型可为下游任务提供基于大规模预训练知识的预测,但不同模型的任务特定准确率和查询成本各异。该框架在每输入平均查询成本预算约束下改进任务预测,利用训练数据学习查询哪些模型以及如何将输出与无需查询即可获得的特征结合。第一种方法对每个输入查询相同模型;第二种方法允许查询模型随输入变化,并用Q-learning决定下一个查询哪个模型以及何时停止。对于第一种方法,证明多个单独不准确的输出可联合超越最佳单一输出;当回归函数仅通过预算内模型依赖输出时达到极小极大率,否则预算内任何方法都可能被迫使达到更慢的率,而该方法能达到该更慢率。对于第二种方法,证明何时随输入变化查询模型严格优于对每个输入查询相同模型,并给出有限样本下的预测风险和平均成本界。在模拟实验和多模态笔记本电脑价格应用中,两种方法均优于现有方法。

stat.ML·已译

带对抗响应的不可知平滑在线回归

Agnostic Smoothed Online Regression with Adversarial Responses

Xuanyu Chen · Yue Yu

研究有界对抗响应下的平滑在线预测。该框架通过平滑参数 C_cov 连接独立同分布采样与对抗协变量选择,C_cov 约束条件协变量密度相对于固定未知基测度的上界。提出 Hedge-Cover,一种信息论算法,对具有有界伪维度的函数类达到次线性遗憾 O~(√(Pdim(F)·C_cov·T))。算法用 Hedge 聚合精心构造的专家族,其先验将遗憾与一致选择器和目标函数之间的不一致数联系起来,并利用协变量平滑性对该数量给出界。这回答了 Blanchard 2025 关于平滑在线回归问题极小极大最优自适应遗憾的开放问题。对线性预测器类建立匹配下界,其核心在于显式构造支撑在相互正交超平面上的困难序列协变量分布,该构造可能具有独立技术价值。最后重新审视良设定情形并量化响应噪声影响:对条件 ν²-次高斯响应,扩展可实现响应下的已有下界,证明 VC 维为 d 的函数类其极小极大期望遗憾为 Ω((1∨ν)√((C_cov−1)dT)),ERM 的对应上界匹配该 ν 依赖。

stat.ML·已译

资源受限动态定价的自适应推断

Adaptive Inference for Resource-Constrained Dynamic Pricing

Ruicheng Ao · Jiashuo Jiang · David Simchi-Levi

研究有限销售周期内的动态定价问题,其中有限资源容量决定收益,且推断仅基于预设价格下的观测。资源耗尽可能将目标邻域移出可行价格集,从而改变定价策略生成的实验。开发推断感知的重新求解控制器,在当前协变量到达前检查目标带可行性并记录定价混合。目标保留与平滑控制器将总体均值对几何作为部署前输入;学习重心重新求解则估计预声明分量核的平稳均值消耗向量。在仿射绑定容量族上,精确输入的目标保留控制器分配质量 $t^{-\gamma}$,以概率获得 $T^{1-\gamma}$ 阶信息时钟、$O_p\{T^{-(1-\gamma)/2}\}$ 半径,并在暴露面奖励恒等式下,有符号流体基准差距上界为 $O(\log T+T^{1-\gamma})$。在外生仿射面条件、预声明目标支撑及指数大于 1 的多项式误差支出下,学习重心重新求解以概率具有线性信息时钟和 $O(\log T)$ 有符号差距上界;中心局部定价在松弛容量和全局目标最优性下具有相同阶。无保留的精确输入、目标兼容平滑替代方案以概率给出线性时钟、$O_p(T^{-1/2})$ 确定性包络半径(无条件覆盖和报告概率趋于 1),以及 $O(\log^2 T)$ 有符号差距上界。边界结果展示了物理支撑何时丢失,以及为何 $1/t$ 目标分支若为唯一目标局部来源仅产生 $O_p(1)$ 信息。当预设支撑和信息条件成立时,策略报告区间,否则弃权。

stat.ML·已译

调查感知机器学习:基于范围综述的有效人群健康推断指南

Survey-aware Machine Learning: A Guideline for Valid Population Health Inference based on Scoping Review

YongKyung Oh · Henry W. Zheng · Jeffrey Feng · 1+

在复杂健康调查(如 NHANES)上训练的机器学习(ML)模型常忽略初级抽样单元、分层变量和抽样权重,违反标准评估方法的独立性假设,导致估计有偏、不确定性被低估、公平性评估无法反映人群层面差异。提出调查感知机器学习(SaML),一套贯穿 ML 生命周期的九步指南,纳入调查设计元数据。通过对 16 篇方法学论文的范围综述,总结加权模型训练、基于设计的交叉验证和调查调整性能评估的现有工作,并识别超参数调优与部署方面的空白。提供针对不同分析目标的任务特定指导,明确哪些步骤是必需的。SaML 为从调查数据中进行有效人群推断提供检查清单。

stat.ML·已译

梯度正则化牛顿提升树及其全局收敛性

Gradient Regularized Newton Boosting Trees with Global Convergence

Nikita Zozoulenko · Daniel Falkowski · Thomas Cass · 1+

梯度提升决策树(GBDT)在表格机器学习中占主导地位,XGBoost、LightGBM 和 CatBoost 等现代实现均基于牛顿提升(Newton boosting):在决策树空间中进行二阶下降。尽管经验上成功,牛顿提升的全局收敛性相比一阶提升仍缺乏理解。本文引入受限牛顿下降(Restricted Newton Descent),一个在希尔伯特空间上使用牛顿法、允许不精确迭代点的凸优化框架,基于余弦角和弱梯度边缘(weak gradient edge)概念。该框架将 GBDT 上的牛顿提升与经典有限维理论作为特例恢复。首先证明,对于满足 Hessian 主导条件的平滑强凸损失,原始牛顿提升达到线性收敛速率。为处理具有 Lipschitz Hessian 的一般凸损失,将最近的梯度正则化牛顿方案扩展到受限弱学习器设定,建立了二阶 GBDT 的首个全局 O(1/k^2) 收敛速率。该方案通过每轮引入与梯度范数平方根成正比的自适应 ℓ2 正则项,对经典算法做最小修改。数值实验表明,该方案收敛而原始牛顿提升可能发散。

stat.ML·已译

大维度下谱算法正则化不足的学习曲线与预测持续性

Learning Curves and Prediction Persistence to Under-Regularization of Spectral Algorithms in Large Dimensions

Weihao Lu · Qian Lin · Yingcun Xia · 1+

研究当样本量 n 与维度 d 满足 n≍d^γ(γ>0 固定)时,谱算法在正则化减弱过程中预测风险的变化。针对球面上的内积核,在光滑度 s≥0 的源条件和信号非退化条件下,刻画每个固定容许尺度 λ≍d^{-u}(u>0)及插值处的条件超额风险(至常数因子)。所得风险阶数描述源光滑度、滤波器资格与谱块间过渡的影响,识别从最优尺度减弱正则化至插值时条件超额风险何时保持极小极大风险阶,以及插值前某区间出现多项式更大风险的情形。还比较同一谱滤波器的核风险与总体序列风险,采用下界为 n^{-1} 阶的确定性正则化尺度。最后,对非整数 γ,在谱缩放、超收缩性与尾部对角集中条件下,结合源与信号条件,将核岭回归的风险刻画推广到一般域上的核。

stat.ML·已译

概率分布的连续时间学习:1 型糖尿病幼儿数字试验案例研究

Continuous-time learning of probability distributions: a case study in a digital trial of young children with type 1 diabetes

Antonio \'Alvarez-L\'opez · Marcos Matabuena

理解生物标志物分布如何随时间演变是数字健康和慢性病监测的核心挑战。以糖尿病为例,血糖测量分布的变化可揭示疾病进展和治疗反应模式,而传统汇总指标会遗漏这些信息。受一项为期 13 周、比较闭环胰岛素输注系统 t:slim X2 与标准疗法在 1 型糖尿病儿童中效果的临床试验启发,提出一个概率框架,利用每 5 分钟采集的连续血糖监测(CGM)数据建模时间索引分布的连续时间演化。将血糖分布表示为高斯混合,其随时间变化的混合权重由神经 ODE 控制。基于最大均值差异的分布匹配准则估计模型参数。该框架可解释、计算高效,且对细微的时间分布变化敏感。在所分析的 CGM 试验数据中,该方法检测到传统分析方法难以捕捉的治疗相关血糖动态改善。

stat.ML·已译

楔形采样:近线性样本复杂度的高效张量补全

Wedge Sampling: Efficient Tensor Completion with Nearly-Linear Sample Complexity

Hengrui Luo · Anna Ma · Ludovic Stephan · 1+

提出一种非自适应采样方案——楔形采样(wedge sampling),用于从张量元素的结构化观测中恢复边长为 n 的 k 阶低秩张量。该方案在张量展开的同一列中采样元素对,在关联的二部采样图中形成长度为 2 的路径(楔形)。成对元素的乘积提供了谱初始化所需的相关性,适用于均匀采样产生楔形过少的场景。在秩、非相干性、张量阶数和条件数固定时,楔形采样以关于 n 的近线性样本复杂度实现多项式时间恢复。谱初始化器可结合现有精化过程,仅需额外 Õ(n) 个均匀采样元素。谱精化达到任意固定相对 Frobenius 误差的弱恢复。对于具有非相干 CANDECOMP/PARAFAC(CP)因子的对称三阶张量,梯度下降在无噪声设置下实现精确恢复,误差几何递减。相比均匀元素采样下高效方法典型的 Õ(n^{k/2}) 样本复杂度,该改进表明猜想中的计算壁垒依赖于观测模型。梯度下降分析的关键要素是非相干谱范数下稀疏随机张量的集中不等式。还给出了两种过程在加性高斯噪声下的误差界及显式信噪比条件。除张量补全外,同一采样方案还改进了单边矩阵补全的样本复杂度,其目标是恢复列数远多于行数的矩阵的左奇异子空间。

stat.ML·已译

任意时间有效的保形风险控制

Anytime-Valid Conformal Risk Control

Bror Hultberg · Dave Zachariah · Ant\^onio H. Ribeiro

预测集为预测任务中的不确定性量化提供了一种手段。利用留出的校准数据,保形预测(conformal prediction)与风险控制能以计算高效的方式生成具有统计有效误差控制的预测集。然而在标准表述中,误差仅在固定大小的众多可能校准数据集上平均受控。本文将控制扩展为:在累积增长的校准数据集上,于任意时间点以高概率保持有效。我们通过基于分位数的论证推导出此类保证,并说明所提框架适用于涉及分布偏移(distribution shift)的场景。进一步表明,我们的保证是渐近紧的,即风险从下方收敛到目标水平,且修正速率无法改进。最后,通过模拟和真实数值示例展示了方法的实际性能。

stat.ML·已译

低秩矩阵推断中的稀疏噪声污染:PCA 基准

Sparse corruption in low-rank matrix inference: the PCA benchmark

Urte Adomaityte · Gabriele Sicuro · Pierpaolo Vivo

主成分分析(PCA)是从含噪观测中提取低秩信号的标准工具。已知当对受稠密、均匀噪声污染的一阶信号应用 PCA 时,在大矩阵尺寸极限下会出现 BBP 相变,即离群特征值的出现与对应特征向量的对齐在同一临界信号强度处发生。这里研究稀疏噪声污染的情形。噪声矩阵建模为具有有限平均连通度的加权无向图的邻接矩阵。利用复制方法(replica method),通过由群体动力学(population dynamics)求解的递归分布方程,解析计算了典型最大特征值、最大特征向量分量密度以及与信号的重叠。识别出两个作为图连通度函数的信号强度阈值:θ_crit 标志通过最大特征向量实现信号恢复,推广了 BBP 相变;θ_b 处信号相关特征值从体部分离。对于非零均值噪声,由于结构稀疏图离群值,这两个阈值不必重合,导致与最大特征向量的重叠出现不连续相变。对于随机正则度分布,得到两个阈值、信号特征值和平方重叠的精确闭式表达式,并证明相同公式也能预测中间区域 θ_b<θ≤θ_crit 中信号与第二特征向量的重叠。对于泊松度分布,递归的近似闭合在恢复阶段给出快速准确的预测,与群体动力学的精确结果一致。还恢复了大连通度极限下的稠密噪声结果,并通过大矩阵数值对角化验证了理论。

stat.ML·已译

适者生存的 Cox 模型:面向时间-事件数据的枢轴变量选择

Survival of the fittest Cox model: Pivotal variable selection for time-to-event data

Maxime van Cutsem · Sylvain Sardy

重新审视 Cox 比例风险模型(proportional hazards model),以改进生存分析(survival analysis)中的变量选择。对偏似然(partial likelihood)做平方根变换后,正则化参数(regularization parameter)的选择具有渐近枢轴性(asymptotically pivotal):基线风险(baseline hazard)与删失率(censoring rate)精确抵消,删失在时间上的分布方式仅通过一个量级为 1/log n 的有界修正项进入。利用鞅残差(martingale residuals),无需重排设计矩阵(design matrix)即可通过 Monte Carlo 计算该惩罚水平。所得准则同时借鉴 BIC 等信息准则(information criteria)与 lasso 等惩罚回归方法(penalized regression),兼取两者之长。在模拟数据与真实数据上,该方法显著优于日常使用的最先进方法。

stat.ML·已译

矩阵计算的方差缩减及其在高斯过程中的应用

Variance Reduction for Matrix Computations with Applications to Gaussian Processes

Anant Mathur · Sarat Moka · Zdravko Botev

除计算速度和内存的最新进展外,方法学进步也显著提升了随机模拟的性能。聚焦通过矩阵分解实现矩阵计算的方差缩减,深入分析估计大矩阵元素时的现有方差缩减方法。常用方法未利用矩阵分解后可实现的方差降低。展示计算矩阵的平方根分解在某些重要情形下可获得任意更好的随机性能。详述矩阵乘积迹的分解估计器,数值实验表明在估计高斯过程对数似然的某些问题上效率可提升至多1,000倍。此外,提出对称正定矩阵对数行列式的新估计器,将对数行列式视为概率密度的归一化常数。

stat.ML·已译

分解神经网络中的 SGD 动力学:教师诱导尖峰与方差膨胀

Decomposing SGD Dynamics in Neural Networks: Teacher-Induced Spikes and Variance Inflation

Samet Demir · Zafer Dogan

研究两层神经网络在多指标教师模型上用随机梯度下降(SGD)训练时,与教师子空间正交的第一层参数如何影响泛化。将第一层权重分解为与教师对齐的信号分量和正交补,并在比例极限下分析其与第二层的联合 SGD 动力学。结果表明,尽管 SGD 对补的更新初始是各向同性的,训练动力学会在补的 Gram 矩阵中诱导出依赖教师的谱尖峰。这种涌现的各向异性提供了表示方差被放大、泛化退化的具体机制。为隔离该效应,引入 Decomposed Dynamics,一个解析可处理的替代模型,其渐近测试误差动力学与 SGD 一致。在 ReLU 学生的模拟中,冻结正交补的方向相比训练它们能提升泛化。最后,信号分量快速与第二层权重对齐,揭示即使在此浅层设定下也存在强跨层耦合。这些结果为教师子空间之外的特征学习如何损害泛化提供了动力学解释。

stat.ML·已译

高阶网络动力学的生成模型

A Generative Model for Higher-Order Network Dynamics

Valentina S\'anchez · Theodore Papamarkou · Gonzalo N\'apoles · 2+

从多变量时间序列推断的传统网络表示描述成对组件之间的统计关系,即使底层动力学涉及无法仅用成对交互表示的群体交互。已有若干多变量信息论度量被提出用于刻画成对之外的依赖关系。然而,由于缺乏已知生成机制的系统,这些度量尚未经过仔细验证或比较以供实证使用。为此,引入一个随机网络动力学生成模型,其成对和高阶交互由用户指定。高阶交互由有向超边表示,该模型为评估信息论度量提供了受控基准。仅移除高阶项即得到仅成对参考。实验测试度量能否检测高阶项相对于该参考所引起的变化,并恢复参与节点及其源-目标角色。另一项实验测试在仅成对参考下、均方根耦合幅度相等时,区分乘积耦合与指定的非线性成对控制。若干度量在测试的网络拓扑和耦合函数下检测到了足够强的高阶交互。在单独的区分实验中,这些度量也将乘积耦合与指定的非线性成对控制区分开来。然而,随着候选交互数量增加,恢复变得更加困难。因此,该框架提供了一个测试平台,在将度量应用于实证数据之前,可以检验而非假设高阶特征与机制之间的联系。

stat.ML·已译

扩散模型是稀疏恢复的可证明高效先验

Diffusion Models are Provably Efficient Priors for Sparse Recovery

Ivan Lee · Xingyu Xu · Yuejie Chi

扩散模型通过捕捉和生成复杂数据分布样本改变了生成建模。这一成功激发了将预训练扩散模型用作成像与传感中高度不适定逆问题的表达性先验的浓厚兴趣。尽管经验性能强劲,该方法的理论理解仍然有限:现有保证通常是渐近的,或在最坏情况下需要 prohibitive 的计算成本。针对这一空白,研究从少量线性测量中进行稀疏恢复——压缩感知中的经典问题。结果表明,给定一个准确捕捉促进稀疏性的 Bernoulli-Gaussian 先验的扩散模型,似然引导的退火 Langevin 采样器可在多项式时间内可证明地恢复稀疏信号,并对一大类随机和确定性传感矩阵具有接近最优的样本复杂度。当信号确实来自假设先验时,进一步建立了最终去噪步骤后后验采样的全变差保证。这些结果为具有扩散先验的统计和计算高效逆求解器奠定了理论基础。

stat.ML·已译

高维超立方体上均匀测度的量化与稀疏设计

Sparse designs via quantization of the uniform measure on high-dimensional hypercubes

Luc Pronzato · Anatoly Zhigljavsky

球填充与球覆盖概念是计算机实验空间填充设计最常用的准则(即 maximin 与 minimax 方法),但在高维下存在重大缺陷。当维度 d 很大时,部署空间填充设计需要极多的设计点,使空间填充设计这一概念本身受到质疑;且这两种设计特性对边界高度敏感,尤其当设计域为超立方体(本文考虑的情形)时,对顶点尤为敏感,当设计规模小于 2^d 时这种敏感性尤为突出。本文不采用 maximin 或 minimax 准则,而考虑超立方体上均匀测度的量化误差。该误差有三个关键优势:它考虑了随机点 U 到设计点距离的整个分布;对边界效应不如 maximin 与 minimax 准则敏感;借助 Zador 的著名定理,当设计规模趋于无穷时可平滑自然地过渡到均匀设计。基于球对称分布最优随机量化器构造的最新结果(arXiv:2610.11772),提出一种生成给定目标规模 n、具有较小 L_s 平均量化误差的随机设计的方法,并利用所得分布的支撑集构造规模至多 n 的设计(可增量式构造)。结果表明,对于中等规模的 n,支撑在小超立方体顶点部分因子子集上的设计表现异常出色,显著优于在整个超立方体上均匀分布的设计。文中还说明了如何考虑向低维子空间的投影。

stat.ML·已译

稳定性兼容核:超越高斯性用于脉冲响应估计

Stability-compatible kernels: beyond Gaussianity for impulse response estimation

Gianluigi Pillonetto · Mauro Bisiacco

基于核的正则化用于线性系统辨识,使用半正定核既定义再生核希尔伯特空间(RKHS),也作为随机脉冲响应的协方差模型。RKHS 稳定性已有精确的核条件,而高斯先验下的几乎必然 BIBO 稳定性需要更严格的协方差条件。这些限制在高斯性之外未必持续存在,此时协方差不再决定完整概率律。引入稳定性兼容核(stability-compatible kernel)的概念,即存在至少一个几乎必然绝对可和样本路径的随机实现的协方差核。证明稳定性兼容性成立当且仅当稳定元素在关联 RKHS 中稠密,该条件严格弱于 RKHS 稳定性,并推导实用充分条件,包括平稳核的谱准则。进而构造非高斯先验,在保持指定协方差的同时强制几乎必然稳定性。特别地,这产生基于平稳径向基函数(RBF)核的稳定先验,将协方差结构与强制稳定性的机制分离。数值实验显示,对几类重要脉冲响应有显著估计增益,当相关动态出现在滞后晚期或分离时间区域时优势尤为明显。

stat.ML·已译

稀有尾部统计用于学习带标签噪声的有偏高斯半空间

Rare-Tail Statistics For Learning Biased Gaussian Halfspaces with Label Noise

Arya Mazumdar · Prateeti Mukherjee · Harsh Vardhan

重新审视存在标签噪声时学习一般高斯半空间(Gaussian halfspaces)的经典问题,重点关注大偏置(large-bias)情形——在若干标准标签噪声模型中,该情形被推测存在信息-计算差距(information-computation gaps)。提出并分析稀有尾部均值估计器(rare-tail mean estimator):一种极简单的一次性统计量,仅对观测到的少数类取平均。在大偏置情形下,经典 Averaging(Servedio, 1999)及相关全局一阶矩统计量可证明次优;而稀有尾部均值估计器在广泛标签噪声模型下,以信息论样本率(忽略对数因子)恢复目标半空间方向,这些模型包括 probit 噪声与远离边界衰减极慢的边界相关噪声。该保证允许决策边界附近的标签近乎随机,同时仍能从小样本中实现强方向恢复。该估计器在无噪声与有噪声情形间平滑过渡:无噪声时达到与基于可分性的经典方法相同的样本率;低噪声或远离边界衰减的噪声下,即使线性可分性已被破坏仍保持该率。应用上考虑两阶段课程:源样本(边界附近噪声可任意接近 1/2 且远离边界衰减极慢)先于目标样本(以相同速率翻转每个标签,即随机分类噪声 RCN)。两阶段共享同一 Bayes 最优半空间,估计器为现有精炼流程提供所需的方向热启动,二者结合在大偏置情形下以信息论样本率(忽略对数因子)学习 RCN 目标。

stat.ML·已译

NOTREKS:基于分数的结构学习中的边际独立性

NOTREKS: Marginal Independence in Score-based Structure Learning

Fabian Bleile · Sarah Lumpp · Mathias Drton

基于分数的结构学习通过在结构方程模型上优化数据依赖的目标函数来估计因果图。研究如何将选定变量对边际独立的先验知识纳入此类因果发现方法。在忠实性假设下,边际独立的变量对不能通过trek路径相连,因此该知识成为图上的无trek约束,称为NOTREKS信息。引入幂级数trek(PSTrek)惩罚用于基于梯度的优化,并引入trek约束用于基于顺序的搜索,分析此类信息在有限样本下为何有帮助以及如何限制搜索空间。数值实验展示了NOTREKS信息在因果发现中的帮助程度。特别地,使用带有oracle NOTREKS信息的合成基准,表明这些约束可以同时改善结构恢复和基于调整的效应识别。

已出中文摘要 24