cs.LG提交于 2026-10-28已译

ParetoRSI-Gym：AI 智能体能否跨多个领域改进语言模型？

ParetoRSI-Gym: Can AI Agents Improve Language Models Across Multiple Domains?

Haojin Wang · Yangzhen Wu · Zeyi Chen · Jian Xie · Jiaying Ye · Lili Meng · et al.

中文摘要

递归自我改进（RSI）要求智能体系统自主设计、训练并评估其继任者。数据驱动的后训练是该闭环的核心，但现有评估通常基于单一基准，仅衡量单次运行中分数的提升。真实后训练涉及多领域，需权衡单一领域的增益与其他领域的回退。ParetoRSI-Gym 让智能体在固定初始 LLM、五个领域（数学、代码、金融、医学、科学）、工具集及 SFT 流程的前提下，循环执行数据搜索、筛选、训练及读取分领域结果。各领域的泛化基准用于区分能力增益与对优化分数的过拟合。在三个智能体系统、三个基础模型、五轮迭代及多种子实验中，最强系统 Claude Code 搭配 Opus-5，使代理最优检查点的泛化分数相对起始模型提升 9.2%（绝对值 +2.3 分），该结果在三个基础模型和五个领域上等权平均。单领域相对增益最高达 63%（Ministral-3-3B 的医学领域）。分析表明，框架（harness）与模型同等重要，且每个智能体保持独特的数据选择策略。

关键要点

01现有 RSI 评估局限于单一基准，无法反映多领域后训练中增益与回退的权衡问题。
02提出 ParetoRSI-Gym，在固定模型与流程下，让智能体循环执行数据搜索、筛选、训练及评估。
03Claude Code 搭配 Opus-5 使泛化分数相对提升 9.2%，医学领域单域相对增益最高达 63%。
04实验表明智能体框架（harness）对结果影响显著，且不同智能体采用独特的数据选择策略。

解读

在 GitHub 查看

1. 问题与价值

这篇论文解决的核心问题是：现有 AI 智能体自动做后训练数据管理的评测，几乎都只盯着单一基准分数，而真实世界的模型后训练是多领域同时进行的——一个领域的提升可能以另一个领域的退化为代价。论文提出 PARETORSI-GYM，一个多领域、多轮、反馈驱动的数据管理评测环境。

为什么重要：递归自我改进（RSI）的一个关键环节是智能体自己设计、训练、评估后继模型。如果评测只测单领域分数，智能体完全可以靠过拟合一个基准来刷分，这不能反映它是否真的具备「做机器学习工程」的能力。多领域设定迫使智能体面对帕累托前沿问题：它必须同时推进数学、代码、金融、医学、科学五个方向的能力向量，而不是只推一个坐标。

谁受益、怎么受益：

RSI 系统研究者：获得一个更接近真实后训练工程的测试台，可以区分「真能力提升」和「对反馈基准的过拟合」。
做自动化数据管理的团队：论文的消融分析直接指出 harness（脚手架）设计对结果的影响幅度，以及不同智能体有各自的数据选择偏好，这为工程选型提供了依据。
下游模型微调用户：论文展示了当前智能体系统在哪些领域能稳定提升（医学、代码），在哪些领域容易翻车（数学），以及「后期轮次会回吐早期收益」这一风险模式。

2. 已有工作的不足

在 PARETORSI-GYM 之前，最接近的工作有几类：

PostTrainBench（Rank et al., 2026）：让智能体在受限算力下自主做后训练，但它优化的是单一基准分数，没有多领域权衡，也没有把反馈基准和最终评估基准分开。
Curation-Bench（Kang et al., 2026）：评估智能体从固定数据池里筛出干净数据集的能力，数据源是静态的，智能体不能主动搜索新数据。
RSIBench-Data（Meng et al., 2026）：让智能体针对一个目标基准迭代增删数据，闭环但单领域，且反馈基准就是最终评估基准，存在过拟合风险。
BenchEvolver（Wu et al., 2026b）：合成更难的可验证编程题，但只覆盖代码领域，且走的是数据合成路线而非从真实数据源检索。

具体哪一步不够：这些工作共同缺失的是多领域同时优化 + 动态数据源 + 反馈与最终评估分离这三者的组合。PostTrainBench 有动态数据源和跨轮状态，但单领域且反馈即评估；RSIBench-Data 有跨轮状态、动态数据源和反馈驱动修订，但只覆盖单一领域、也没有泛化评估（Tab. 1 后两项为 ✗）；Curation-Bench 有跨轮状态和反馈驱动修订，但数据源静态且单领域。论文的 Tab. 1 用五个属性（跨轮状态、动态数据源、反馈驱动修订、多领域目标、泛化评估）逐项对比，PARETORSI-GYM 是唯一五项全有的。

3. 重建作者的思考路径

如果是我面对第 2 项里的不足，思考路径大概是这样：

第一步：最直接的改法是把 PostTrainBench 的单基准换成五个基准，让智能体同时优化五个分数。但马上撞上一个问题：五个分数怎么汇总？如果取平均，智能体可能靠「放弃一个低基线领域、猛拉一个高基线领域」来刷平均分，这恰恰掩盖了多领域权衡。所以不能给智能体一个聚合标量，必须让它看到完整的五维向量，并且明确告诉它目标是推进帕累托前沿。这是第一个设计分叉：聚合标量 vs. 完整向量。

第二步：有了五维向量，下一个问题是智能体用什么信号来调整策略。如果它只能看到五个分数，信息量太少——它不知道某个领域掉分是因为数据选错了，还是因为输出格式不对，还是因为训练超参有问题。所以要把逐条评估结果也返回给智能体，让它能归因失败。但这里又冒出一个风险：如果智能体能读到评估题目本身，它可能直接挑和题目相似的数据来训练，这就是过拟合。于是需要去污染机制：对每条候选数据做 n-gram 重叠检测，拒绝和评估集相似的数据。这是第二个分叉：给多少反馈信息 vs. 如何防过拟合。

第三步：防过拟合只靠去污染还不够。智能体优化的是代理基准，最终报告的是泛化基准。如果代理基准和泛化基准高度相关，那没问题；但如果智能体找到了代理基准的某种表面规律（比如答案格式、选项分布），它可能在代理上刷分而在泛化上不涨。所以必须把代理基准和泛化基准分开，并且泛化基准在运行期间对智能体完全不可见。这是第三个分叉：代理分数和最终分数的关系。

第四步：数据从哪来？如果给一个预装好的数据池，智能体只需要做选择，这测不出它「主动找数据」的能力。真实后训练工程师会去 HuggingFace 搜数据集、看 dataset card、拉下来检查、再决定用不用。所以要让智能体通过 SEARCH、SELECT、PULL 三个操作动态地从 HuggingFace Hub 获取数据。但这带来预算问题：搜索和拉取都要花钱花时间，必须设一个固定预算，否则智能体可以无限试错。这是第四个分叉：静态池 vs. 动态源 + 预算约束。

第五步：多轮之间怎么传递经验？如果每轮从零开始，智能体无法积累「什么数据有效」的知识。但上下文窗口有限，不能无限塞历史。所以需要一个持久化的原则文件（principles），智能体每轮根据反馈修订它，下一轮再读它。这个文件有 token 预算，迫使智能体只保留它认为最重要的经验。这是第五个分叉：经验如何跨轮传递。

第六步：训练管线怎么定？如果让智能体自由选择训练算法，变数太大，不同智能体的差异可能来自训练管线而非数据管理能力。所以把训练管线固定为 LoRA SFT，只让智能体在有限范围内选超参（学习率、rank、batch size、序列长度、warmup）。这样评测的焦点就是数据管理能力，而不是训练算法设计能力。这是第六个分叉：固定什么、放开什么。

与论文实际路径的差异：我猜的路径和论文实际走的路在大方向上一致，但有一个关键差异。我最初会倾向于让智能体每轮从上一轮模型继续训练（顺序继承），但论文的设计允许智能体从模型池里任意选父检查点，包括回到 base 模型或分支到更早的轮次。这个设计是论文的一个亮点，它把「是否继续、是否回退、是否分支」本身变成了智能体的决策，从而暴露了不同智能体的重启策略差异（Claude Code 和 Codex 倾向继续或分支，CheetahClaw 67% 的轮次从零开始）。我在重建时没有提前想到这一点，因为我的直觉是「顺序训练更简单」，但论文的选择让「智能体是否会放弃坏轮次」成为一个可观测的行为维度。

4. 核心 intuition

用一个日常类比：多领域数据管理像同时经营五家连锁店，而智能体是区域经理，每季度只能做一次采购决策。

五家店（数学、代码、金融、医学、科学）的业绩（代理分数）每季度汇报给区域经理。经理不能只看总营收——因为一家店的暴增可能掩盖另一家店的暴跌。他必须看每家店的独立报表（五维向量），并且知道总部最终考核的是神秘顾客暗访（泛化基准），不是店长自己报的数（代理基准）。

经理的采购预算有限（token 预算和轮次预算），他可以去批发市场（HuggingFace Hub）搜新货源（SEARCH）、挑货（SELECT）、进货（PULL）。每季度末他根据五家店的业绩写一份经营笔记（principles），下季度采购前先读笔记。关键机制在于：跨轮传递的不止笔记 —— 模型池、数据池和写下的原则都保留在状态里，笔记只是其中最可读的一层；而且笔记有字数限制（8000 token），逼经理只写真正被验证过的经验，而不是把所有想法都堆进去。

这个类比对应论文的核心机制：代理分数是「店长自报」，泛化分数是「神秘顾客」，原则文件是「经营笔记」，预算约束是「采购限额」，帕累托前沿是「不能牺牲一家店去补另一家」。它有效的原因在于：多轮反馈 + 受限的记忆通道迫使智能体形成可复用的数据选择策略，而不是每轮随机试错；而代理与泛化的分离确保这个策略针对的是能力本身，而不是评估的表面特征。

5. 方法 pipeline 举例

编一个具体输入：初始模型是 Qwen3-4B-Base，智能体是 Claude Code with Opus-5，五个领域是数学、科学、医学、金融、代码，跑五轮。

第 0 轮（初始化）：

模型池 M = {M0}，数据池 P = ∅。
对 M0 跑五个代理基准，得到初始能力向量 s0。假设为：数学 65.33，科学 31.94，医学 39.36，金融 24.50，代码 65.03（这一行取自论文 Tab. 3 的 Qwen3-4B-Base M0 行；要注意 Tab. 3 报的是泛化基准上的成绩，不是代理基准，这里只借用它做示例起点）。
智能体读 s0，写初始原则文件 R0。比如它可能写：「医学基线 39.36，金融基线 24.50，这两个领域提升空间最大；数学基线 65.33 已经较高，优先保稳」。

第 1 轮：

智能体读 R0，写计划文件 plan.json，列出本轮动作和预期分数变化。
执行 SEARCH：在 HuggingFace Hub 搜医学和金融相关的数据集，比如搜「medical MCQ reasoning」「finance instruction」。
执行 SELECT：从返回的候选数据集里挑几个，比如 medmcqa-cot-llama31 和 Finance-Instruct-500k。
执行 PULL：拉取选中的数据行，每条经过 13-gram 去污染检测，和代理及泛化评估集重叠的条目被拒绝。
智能体写 selection.jsonl，列出进入本轮训练池的条目 ID 和理由。假设选了 25,000 条，共 12M token（预算上限 15M）。
智能体写 train_config.json：学习率 2e-6，LoRA rank 32，batch size 64，序列长度 4096，init_from: base。
训练管线对 M0 做一轮 LoRA SFT，得到 M1。
对 M1 跑五个代理基准，得到 s1。假设医学从 39.36 涨到 43.69，金融从 24.50 涨到 26.17，数学从 65.33 跌到 58.67。
智能体读 s1 和逐条评估结果，修订原则文件：把「医学数据有效」标为 r1:medical+4.3，把「数学数据选错了」记为教训，得到 R1。

第 2 轮：

智能体读 R1，决定从哪个父检查点继续。假设它发现 M1 的数学掉了 6.7 分，决定 init_from: base，放弃 M1 的医学和金融收益，重新选数据。
重复 SEARCH、SELECT、PULL，这次调整数学数据策略，比如改选长推理链的数学数据集。
训练得到 M2，评估得到 s2。假设数学恢复到 62.08，医学 44.37，金融 26.17，代码 72.09。
修订原则文件得到 R2。

第 3 到 5 轮：类似循环。每轮智能体从模型池里选父检查点，从数据池里选训练条目，写训练配置，训练，评估，修订原则。

最终评估：

跑完五轮后，取两个检查点：最终轮模型 M5，以及代理平均分最高的轮次模型（proxy-best，假设是 M3）。
对这两个检查点跑泛化基准（MATH500 OOD、GPQA OOD、MedBullets OOD、SuperGPQA Finance OOD、HumanEval+），得到最终报告分数。
论文 Tab. 3 中 Qwen3-4B-Base + Claude Code 的 proxy-best 泛化分数为：数学 60.97，科学 33.33，医学 43.69，金融 24.50，代码 71.93。相对 M0 的变化为：数学 -4.4，科学 +1.4，医学 +4.3，金融 0.0，代码 +6.9。

6. 核心数学推导

论文的核心数学对象是能力向量和帕累托前沿，以及相对增益的计算。原文公式在提取中有损坏，但核心定义可以从文字重建。

能力向量：对模型 M，代理评估返回一个 N 维向量 Tp(M) = (Tp1(M), ..., TpN(M))，其中 N=5，每个分量是模型在第 i 个领域的代理基准分数。泛化评估同理返回 Tg(M)。

帕累托支配关系：给定两个能力向量 a 和 b，如果 a 在每个分量上都不低于 b，且至少在一个分量上严格高于 b，则称 a 支配 b。智能体的目标是推进可达前沿，即找到一组互不支配的检查点，使它们的能力向量相对 M0 向外扩张。

相对增益公式：论文报告两种增益。绝对增益是 s - s_M0，即泛化分数减去初始模型泛化分数，单位是「点」。相对增益是 (s - s_M0) / s_M0，对每个基模型和领域分别计算，再对十五个值（3 个基模型 × 5 个领域）等权平均。论文报告 Claude Code 的 proxy-best 相对增益为 +9.2%，绝对增益为 +2.3 点。

为什么相对增益会高估低基线领域：论文自己指出，相对增益对低基线单元权重很大。举例：医学在 Ministral-3-3B 上从 23.65 涨到 38.46，相对增益是 (38.46 - 23.65) / 23.65 = 14.81 / 23.65 ≈ 0.626，即约 +63%。而同样的 14.8 点绝对增益如果发生在基线 65 的数学上，相对增益只有 14.8 / 65 ≈ 0.228，即约 +23%。所以论文同时报告绝对和相对两种口径，避免单一指标误导。

这个公式在算什么：它在量化「智能体管理的数据让模型能力向量相对起点扩张了多少」，并且用两种口径（绝对点和相对百分比）来平衡高基线领域和低基线领域的不可比性。绝对增益反映实际分数变化，相对增益反映相对起点的提升幅度，两者结合才能看出增益是集中在低基线领域还是均匀分布。

7. 实验设计

数据集：五个领域各配一对代理基准和泛化基准。数学用 MATH500 的 ID 分割做代理、OOD 分割做泛化；科学用 GPQA 的 ID 和 OOD；医学用 MedBullets 的 ID 和 OOD；金融用 SuperGPQA Finance 的 ID 和 OOD；代码用 MBPP+ 做代理、HumanEval+ 做泛化。每对基准目标能力相同但题目不重叠。

基模型：三个来自不同预训练家族的基模型——Qwen3-4B-Base、Ministral-3-3B-Base-2512、Olmo-3-1025-7B。大小从 3B 到 7B，家族不同，用于检验智能体是否能适应不同模型。

智能体系统：三个组合——Claude Code + Opus-5、Codex + GPT-5.6 Sol（推理努力 medium）、CheetahClaw + deepseek-v4-flash。每个智能体完全自主运行，工具调用自动批准，沙箱网络只允许访问 HuggingFace Hub。

训练管线：每轮 LoRA SFT，AdamW 优化器，一个 epoch。智能体可选学习率、LoRA rank、batch size、序列长度、warmup，其余冻结。每轮上限 15M 训练 token、40k 条目，跑五轮。Claude Code 和 Codex 配置重复三个训练种子取均值，CheetahClaw 每个基模型跑一次。

指标：泛化基准上的准确率。报告三个检查点——Final（最后一轮）、Proxy Best（代理平均分最高的轮次）、Domain Best（每个领域各自取最好的轮次，是 oracle，不可部署）。

消融：论文做了三类分析。一是趋势分析，看代理增益和泛化增益是否同向（用 Qwen3-4B-Base + Codex 的单次运行）。二是 harness 消融，固定 backbone 为 DeepSeek V4.1 Flash Max，换三个 harness（Claude Code、Codex、CheetahClaw），看结果差异。三是智能体决策分析，看不同智能体选的数据集 Jaccard 重叠、各领域数据占比、新数据集进入池子的速率。

Human baseline：论文在附录 F 报告了一个人类监督对照。流程是：智能体照常搜索和拉取候选数据集，然后人类接管 commit 步骤——人类审查智能体拉取的条目，决定哪些进入训练池，在同样的 token 预算、训练管线和评估下完成。论文的说法是「人类监督在五个领域的平均值上达到或超过最强智能体」，Tab. 7 把三个基模型合起来按均值算确实如此（单格不是；而且只看 Qwen3-4B-Base 这一列，人类监督的五域均值还略低于 Claude Code proxy-best —— 按表 7 那五格平均算，差不到半点）：Qwen3-4B-Base 数学 72.50 对 Claude Code proxy-best 60.97、Ministral-3-3B 数学 65.67 对 34.64、Olmo-3-1025-7B 五域均值人类 (68.00+24.37+32.94+24.25+48.93)/5≈39.70 对 Codex (69.50+24.92+30.41+19.00+49.90)/5≈38.75。要注意逐领域并非全胜：Olmo 上人类数学 68.00 低于 Codex 的 69.50，科学 24.37 低于 24.92；更要紧的是数学这一格连不做任何数据管理的 M0（71.08）都没赢过 —— 也就是说在这一格上，人类接管 commit 反而比不干预更差。另外，论文没有给出人类筛选的具体标准、筛选者身份、筛选耗时、样本量、以及人类和智能体在 commit 步骤上的对齐细节。原文只说「人类审查智能体拉取的条目并决定哪些进入训练池」，可操作细节缺失，这是该对照的一个明显局限。

实验能否支撑结论：主结论「当前智能体能在多领域上产生适度提升但无法稳健持续改进」有 Tab. 3 的 9 个配置支撑，且 proxy-best 在 7/9 配置中不是最后一轮，支持「后期回退」的判断。harness 消融只有单次运行、单 backbone，样本量不足以做统计推断，但作为探索性分析是合理的。human baseline 的流程描述过于简略，无法判断人类优势来自更好的数据筛选还是其他未控制因素。

缺什么：缺少对代理基准和泛化基准之间相关性的定量报告；缺少对去污染机制有效性的独立验证（比如故意注入污染数据看是否被拦截）；缺少对训练种子方差的完整报告（只在附录 G 给了 Qwen3-4B-Base 的部分标准差）；缺少对智能体预算消耗的逐轮分解。

8. take-aways

Claude Code + Opus-5 的 proxy-best 检查点相对起点平均提升 +9.2% 相对增益、+2.3 绝对点，这是三个智能体系统中最好的；Codex 为 +3.1% 相对、+0.6 点；CheetahClaw 为 +2.9% 相对、-0.3 点。提升存在但幅度有限。论文自己的总结是增益集中在医学和金融，代理最优轮次上最大 14.8 绝对点；按系统看，Claude Code 的相对增益最高（+9.2%，这是三基模型×五领域的等权平均，不是某个领域的数字）；而单领域相对增益最高的是医学（Ministral-3-3B 上 +63%）。三种口径 —— 绝对点、系统级相对增益、单领域相对增益 —— 不要混着读。

后期轮次会回吐早期收益：在 45 个模型-领域单元中，24 个在最高代理增益轮次之后出现性能下降；9 个配置中 7 个的 proxy-best 不是最后一轮。智能体交回的检查点往往不是它自己产生过的最好的那个。

harness 设计的影响幅度和 backbone 相当：固定 backbone 为 DeepSeek V4.1 Flash Max 时，Codex harness 平均 +4.3 点，Claude Code +2.6 点，CheetahClaw +0.2 点。同样的模型，换一个脚手架，结果从 +4.3 到 +0.2，差距 4.1 点。

同一智能体的两次运行在数据集选择上 Jaccard 重叠 0.24，不同智能体之间只有 0.07，且这个重叠不因共享基模型而上升（同基模型 0.23 对跨基模型 0.25）。智能体的数据偏好由智能体自身决定，几乎不随目标模型变化。

智能体在 49/50 个记录轮次中，选定训练池时没有打开任何一条数据行（full_row_views 为 0）。它基于 dataset card、元数据和统计信息做选择，而不是读实际内容。

9. 最脆弱的假设

最脆弱的假设是：代理基准上的增益方向与泛化基准上的增益方向一致，因此用代理分数作为反馈信号不会系统性地误导智能体。

论文的整个闭环设计依赖这个假设：智能体每轮只能看到代理分数和代理逐条结果，它据以修订原则、选择数据、选择父检查点。如果代理和泛化在某些领域存在系统性偏差——比如代理基准的答案格式和泛化基准不同，或者代理基准的难度分布和泛化基准不同——智能体可能学到的是「如何刷代理」而不是「如何提升能力」。

论文给出的支持证据：Fig. 2 显示在 Qwen3-4B-Base + Codex 的单次运行中，代理增益和泛化增益方向一致。这里有一处图文不一致值得单独标出来：图注写的是「直接转化」（directly translate to generalization gains），而正文（4.1 节）只承诺方向一致（move in the same direction），并明确承认幅度不同（do not move by the same amount）—— 代码域代理增益停在起点 ±3 点内，泛化增益却可达 11 点。引用这篇论文时应该用正文的口径，不要引图注。但这个证据只有一个配置、一次运行，且论文自己在正文中承认医学领域 +63% 的相对增益中「部分来自模型学会输出选项字母格式而不是医学知识」——这恰恰说明代理和泛化之间的映射不是纯粹的能力映射，格式学习可以同时影响两者。如果格式学习在代理和泛化上的影响幅度不同，智能体可能过度投资于格式适配而忽视实质能力。

这个假设一旦倒塌，结论「智能体在提升泛化能力」就变成「智能体在提升代理分数」，整个 benchmark 的有效性也随之动摇。论文通过去污染和分离代理/泛化来缓解，但没有提供代理-泛化相关性的定量证据，也没有做「如果智能体只优化代理、完全不考虑泛化，泛化会怎样」的对照实验。

10. 一周最小复现

目标：复现论文最核心的结论——「智能体能在多领域上产生适度提升，但 proxy-best 往往不是最后一轮」。

硬件和时间分配：1 张 24GB 消费级显卡，7 天。3B 模型 LoRA SFT 在 24GB 上可行，但 7B 需要更激进的量化或更小的 batch。

步骤：

第 1 天：搭环境。选 Qwen3-4B-Base 作为基模型（论文中位数表现，且 4B 在 24GB 上 LoRA rank 16 可行）。准备五个代理基准的子集（论文用 math500_proxy_200 等：四个是 200 题，医学是 medbullets_proxy_150，150 题）。准备泛化基准的对应子集。实现 13-gram 去污染检查。

第 2 天：实现训练管线。LoRA SFT，rank 16，学习率 2e-6，batch size 4（受 24GB 限制），序列长度 2048，一个 epoch。每轮 token 预算从 15M 缩到 3M（估算：15M token 在单卡上训练时间过长，3M 约等于 1500 条 2000-token 的样本，单卡几小时可完成）。

第 3-5 天：跑三轮。用 Claude Code 或 Codex 作为智能体，给它 SEARCH、SELECT、PULL 三个工具，让它从 HuggingFace 搜数据、选数据、写训练配置。每轮训练后跑五个代理基准，把分数和逐条结果返回给智能体，让它修订原则文件。每轮限制智能体 30 分钟、约 3 美元模型预算（和论文一致）。

第 6 天：跑泛化基准。对三轮中代理平均分最高的检查点和最终检查点分别跑泛化基准。

第 7 天：分析。计算相对 M0 的绝对增益和相对增益，检查 proxy-best 是否是最后一轮。

预期指标：论文中 Claude Code 的 proxy-best 绝对增益为 +2.3 点（三个基模型 × 五领域的等权平均，不是 Qwen3-4B-Base 单独配置的结果），但这是在 15M token、五轮、三个种子均值下的结果。一周复现用 3M token、三轮、单种子，预期增益会缩水，可能在 0 到 +2 点之间（估算）。关键不是复现具体数字，而是验证两个定性结论：一是代理增益和泛化增益是否同向，二是 proxy-best 是否早于最后一轮出现。

最大的坑：HuggingFace 搜索和拉取的时间不可控，智能体可能把大量时间花在浏览 dataset card 上而没时间写训练配置。建议预置一个候选数据集列表，让智能体从列表里选，而不是完全开放搜索。

11. 反例设计

设计一个实验，如果成功就能推翻论文的核心主张「PARETORSI-GYM 测量的是智能体的多领域数据管理能力，而非对代理基准的过拟合」。

实验设计：构造一个「代理-泛化错位」的对照环境。保持 PARETORSI-GYM 的所有机制不变，但人为制造代理基准和泛化基准之间的系统性偏差。具体做法：选一个领域（比如医学），把代理基准的答案格式从多选题选项字母改成自由文本短答案，而泛化基准保持多选题格式。或者反过来：代理基准的题目难度分布和泛化基准显著不同（比如代理全是简单题，泛化全是难题）。

判据：如果在这个错位环境中，智能体在代理基准上取得了和原环境相当的增益（说明它确实在优化代理分数），但泛化基准上的增益显著低于原环境甚至为负（说明它学到的是代理特有的表面特征），那么论文的核心主张就被动摇——因为这说明 PARETORSI-GYM 的代理反馈并不能可靠地引导智能体提升泛化能力，原环境中观察到的泛化增益可能只是代理和泛化恰好对齐的产物，而不是智能体数据管理能力的体现。

更强的版本：让代理基准和泛化基准在内容上错位而非格式上错位。比如代理基准考医学知识记忆，泛化基准考医学临床推理。如果智能体在代理上刷分但泛化不涨，说明它管理的数据只覆盖了代理的窄能力面。

为什么这个实验能推翻核心主张：论文的核心主张是「代理分数是泛化能力的有效代理信号」。如果错位实验显示代理增益和泛化增益脱钩，那么论文观察到的 +9.2% 相对增益就不能被解释为「智能体提升了模型的多领域能力」，而只能被解释为「智能体提升了模型在特定代理基准上的表现」。这会动摇整个 benchmark 的效度。

12. 落地判断

能否用于「抢占式 GPU 自托管 27B 模型做多智能体脚手架」：能，但需要大幅改造，且预期收益有限。

怎么用：PARETORSI-GYM 的闭环结构可以直接搬过去。把 27B 模型作为基模型，把五个领域换成你的多智能体脚手架实际关心的能力维度（比如工具调用、长程规划、多智能体协调、代码生成、指令遵循）。用 LoRA SFT 在抢占式 GPU 上做每轮训练，用代理基准做反馈，用泛化基准做最终评估。关键改造点：27B 模型在单张 24GB 卡上做 LoRA SFT 需要 4-bit 量化或更小的 rank（比如 rank 8），batch size 可能只能到 1-2，序列长度假设砍到 1024-1536（按单张 24GB 卡的显存上限估计，不是原文数据）。每轮 15M token 的预算在抢占式 GPU 上可能需要 20-40 小时（估算，取决于卡型和中断频率），五轮就是 100-200 小时，远超一周。

成本量级：论文每轮智能体预算约 30 分钟和 3 美元模型调用费，训练算力由 harness 承担。自托管场景下，智能体部分可以用开源模型替代（比如用 Qwen 系列做数据管理决策），把模型调用成本降到接近零，但训练算力成本是硬性的。27B 模型 LoRA rank 8、batch size 1、序列长度 1024、3M token 一轮，在单张 24GB 卡上大约需要 15-25 小时（估算）。五轮就是 15×5=75 到 25×5=125 小时，加上评估时间，总 GPU 时间约 100-150 小时。按抢占式实例 0.3 美元/小时算，GPU 成本约 30-45 美元，加上存储和网络，总成本在 50 美元以内。

最大的坑：论文自己指出的「后期轮次回吐收益」在自托管场景下会更严重。因为 27B 模型比论文的 3B-7B 模型更难通过 LoRA SFT 稳定提升，而抢占式 GPU 的中断可能导致训练状态丢失，进一步放大不稳定性。更实际的坑是：论文中智能体在 49/50 轮次里没有打开任何一条数据行就决定了训练池，这意味着它的数据选择质量高度依赖 dataset card 的准确性。自托管场景下如果你用的数据集没有好的 card 或元数据，智能体的选择会退化成随机。建议第一版不要完全自主，而是用 PARETORSI-GYM 的闭环结构但把 commit 步骤留给人审，等积累足够多的人类决策数据后再逐步自动化。

内容由 AI 生成，仅供参考。如发现错误，欢迎反馈。

原始英文摘要

arXiv:2610.34386v1 Announce Type: new Abstract: Recursive self-improvement (RSI) requires an agentic system to design, train, and evaluate its own successor. Data-driven post-training is a central part of that loop, yet existing evaluations measure it on a single benchmark, where an agent selects from a static pool or distills a stronger model to push one score up in one run. Real post-training is multi-domain, and a gain in one domain has to be weighed against a regression in another. We propose ParetoRSI-Gym, in which an agent searches for data, curates it, trains, reads back per-domain results, and repeats, with everything but the data held fixed: the initial LLM, the five domains (math, code, finance, medicine, science), the toolset, and the SFT pipeline. Generalization benchmarks in each domain separate capability gains from overfitting to the scores the agent optimizes against. Across three agent systems, three base models, five rounds and multiple seeds, the strongest system, Claude Code with Opus-5, raises the generalization scores of its proxy-best checkpoint by 9.2% relative to the starting model (+2.3 absolute points), averaged with equal weight over three base models and five domains, with a single-domain relative gain of up to 63% (medicine on Ministral-3-3B). Further analysis shows that the harness matters as much as the model it drives, and that each agent keeps a unique data selection strategy. We see our work as a step towards evaluation of RSI systems in real-world machine learning engineering.