固定基准二项混合的方差自适应置信域及其在 LLM 评估中的应用
Variance-adaptive confidence regions for fixed-benchmark binomial mixtures, with application to LLM evaluation
Kuancheng Ye
中文摘要
针对每个问题将语言模型运行 n 次得到的独立计数 c_i~Bin(n,p_i),为成功概率 p_1,...,p_m 的经验分布 F_m 的线性泛函 θ(F_m)=∫h dF_m 构造置信区间。对任意 n、m 和固定 (p_i),对所有有界 h 同时保证覆盖概率至少 1-α。方差自适应(VA)域利用候选混合分布所隐含的尾部计数条件方差来检验每个候选混合分布;该方差关于分布是线性的,因此该域可化为线性规划,并用单元包络保证其在网格外仍然有效。按独立同分布采样校准的域针对超总体分布,对 θ(F_m) 偏保守。在给定全部 n 个尾部计数、固定 n、连续 h 且网格随 m→∞ 细化的条件下,VA 宽度的辨识部分在一阶意义下达到最坏情况最优,与任何具有相同索引集的定位方法相同。在主要比较器运行前固定的规则下,VA 在每个 n 上都比两阶段 plug-in 带更窄(n=128 时宽度比中位数为 0.60),但在 n=128 时并不比渐近逐点 AMARI 区间更窄;在真实 rollout 池上,当 n≤128 时它比逐点 AMARI 和 Bonferroni 校正 AMARI 都更宽。对于 P(p>0) 和 k≫n 的 pass@k,数据仅支持下界。
关键要点
- 01为固定基准二项混合构造线性泛函的置信域,覆盖概率对任意 n、m 和固定成功概率至少 1-α。
- 02方差自适应域利用尾部计数的条件方差检验候选混合分布,可化为线性规划并用单元包络保证网格外有效。
- 03在固定 n、连续 h 且网格细化的条件下,VA 宽度的辨识部分达到一阶最坏情况最优。
- 04n=128 时 VA 比两阶段 plug-in 带更窄(中位宽度比 0.60),但不比渐近逐点 AMARI 更窄;真实 rollout 池上 n≤128 时比两种 AMARI 都宽。
- 05对 P(p>0) 和 k≫n 的 pass@k,数据仅支持下界。
解读
尚无解读。
原始英文摘要
arXiv:2611.21266v2 Announce Type: replace-cross Abstract: We construct confidence intervals for linear functionals $\theta(F_m)=\int h\,dF_m$ of the empirical law $F_m$ of success probabilities $p_1,\dots,p_m$, from independent counts $c_i\sim\mathrm{Bin}(n,p_i)$, as for a language model run $n$ times per problem. Coverage is at least $1-\alpha$ for every $n$, $m$ and fixed $(p_i)$, simultaneously for all bounded $h$. The variance-adaptive (VA) region tests each candidate mixing law with the conditional variance of the tail counts it implies. This variance is linear in the law, so the region is a linear program, and cell envelopes keep it valid off-grid. Regions calibrated for iid sampling target a super-population law and are conservative for $\theta(F_m)$. With all $n$ tail counts, fixed $n$, continuous $h$ and a grid refined as $m\to\infty$, the identification part of VA's width is first-order worst-case optimal, as for any localization with the same index set. Under a rule fixed before the main comparator runs, VA was narrower than a two-stage plug-in band at every $n$ (median width ratio 0.60 at $n=128$), but not than the asymptotic, pointwise AMARI interval at $n=128$; on real rollout pools it was wider than both pointwise and Bonferroni-adjusted AMARI at $n\le128$. For $P(p>0)$ and pass@$k$ with $k\gg n$ the data support only lower bounds.