持续学习考试：LLM 智能体长时程推理与经验学习的基准评测

1. 问题与价值

这篇论文解决的核心问题是：现有 LLM Agent 评测几乎只看单任务表现，无法衡量 Agent 是否因为积累经验而越做越好。作者提出的持续学习能力，指的是 Agent 在长时间跨度的连续任务中获取、提炼、复用知识，同时保留已有能力。

为什么重要：真实职业场景中，Agent 的价值不只在于单次任务能答对多少，而在于它能否把上一个任务里踩过的坑、学到的工具用法、用户的偏好带到下一个任务里。一个每次都要重新教一遍的 Agent，在长周期部署中成本极高且不可靠。

谁受益、怎么受益：需要长期部署 Agent 做专业工作流的团队，比如芯片验证、财务分析、IT 运维。他们可以用 CLE 判断某个 Agent 配置是否真的会“越用越好”，而不是只看单次任务分数。模型训练方也可以用 CLE 做后训练，强化模型的持续学习能力。

2. 已有工作的不足

在 CLE 之前，最接近的做法有几类，但每一类都在“经验是否转化为后续任务能力提升”这一点上缺了一环。

• GAIA、SWE-bench、OSWorld 这类通用能力基准，任务之间相互独立，分数只反映单任务解题能力，不反映跨任务改进。
• LoCoMo、LongMemEval 这类记忆基准，测的是从历史交互中检索信息并回答问题，但不评估保留的知识是否改善了后续任务的执行结果。
• WildClawBench、ClawMark 这类长程工作流基准，有持久状态和跨应用操作，但持久状态只保证工作流连续性，并不自动证明 Agent 因为经验变得更强。
• LifelongAgentBench、SkillFlow、MemoryArena 等更接近经验复用，但要么环境较窄（数据库、OS、知识图谱），要么任务不是由领域专家按真实职业工作流编写，要么反馈和评分机制不够可审计。

具体不足可以归纳为：缺少一个同时满足“人类专家编写的真实职业任务”“五级阶梯式关卡”“跨级强制复用早期产物”“可配置的失败后诊断反馈”“可审计的逐条评分标准”的基准。CLE 的定位就是把这五件事合在一起。

3. 重建作者的思考路径

如果我从旧基准出发，面对“测不出经验积累”这个问题，第一反应会是：把任务串成一条序列，让后面的任务依赖前面的产物。比如先让 Agent 整理一份芯片修复清单，再让它用这份清单去诊断计数器 bug。这样至少能强制它回头找早期文件。

但马上会撞上一个矛盾：如果只是把任务串起来，Agent 完全可以在每个新任务开始时重新读旧文件，根本不需要“记住”什么。这测的是检索能力，不是持续学习。要逼出持续学习，必须让“是否保留并复用经验”成为影响效率或成功率的关键变量。于是想到：把任务做成关卡，必须通过当前关才能解锁下一关，而且后面的关卡不仅依赖早期文件，还依赖早期形成的策略、工具使用方法和用户偏好。

接着又出现新问题：怎么判断 Agent 是真的学到了，还是只是碰巧过了当前关？如果每关只给一次提交机会，失败就结束，那 Agent 没有机会展示“从失败中学习”。所以需要引入第二次提交，并在第一次失败后给诊断反馈。这样就能区分“一次就做对”和“失败后能根据反馈修正”。

但这里又有一个分叉：如果反馈太具体，比如直接告诉它哪个 checklist 项没过，那 Agent 的修正就退化成“按答案改作业”，测不出它自己提炼经验的能力。所以反馈只能给到 rubric 类别级别，不能给具体 checklist 项和参考答案。

再往下想，如果每个任务之间 Agent 的记忆被清空，那它在一个任务里学到的经验就带不到下一个任务。要测跨任务持续学习，必须让 harness 状态在任务之间保留。但这样又无法区分“同一任务内的反馈修正”和“跨任务的经验保留”各自贡献了多少。论文里明确提到，要做一个匹配对比实验：把 harness 在每个任务前重置到初始状态，其他条件不变，才能分离出跨任务保留知识的贡献。但主实验没有做这个分离，只是把 Trial 1 和 Trial 2 的差异归因于“反馈加一次修订”的整体效果。

与论文实际路径的差异：我猜的路径是先有“任务序列依赖”，再补“关卡制”，最后加“反馈和修订”。论文的实际路径更强调五类可迁移知识（工具与技能、数据依赖、策略、用户上下文、领域知识）作为任务梯子的设计骨架，并且把形式化做得更重，用 POMDP 和更新算子 U_n 把参数更新和 harness 状态更新统一起来。我猜的路径里没有自然引出“五类知识”这个分类，这是我没想到的。另外，论文把“诊断反馈”和“一次修订”捆绑在 Trial 2 里，没有单独拆开测“只有反馈不给修订”或“只有修订不给反馈”，这一点我猜的路径里也没有提前意识到。

4. 核心 intuition

CLE 的核心机制可以用“驾校科目考试”来类比。科目一考交规，科目二考倒车入库，科目三考上路。你必须通过科目一才能约科目二，而且科目三里要用到科目一学的交规和科目二学的控车技能。教练在你第一次倒库失败后不会直接帮你打方向盘，而是告诉你“你压线了，问题出在打方向的时机”，让你自己再试一次。CLE 的每一关就是一个科目，五关连成一条梯子，后面的关卡强制复用前面积累的知识。诊断反馈相当于教练的提示，只告诉你哪个类别出了问题，不告诉你具体怎么改。这样测出来的不是“这个 Agent 会不会倒库”，而是“它能不能在考完科目二之后，把倒库时学到的空间判断能力带到科目三的侧方停车里”。

这个类比能对上机制：关卡制对应“通过才解锁”，跨级文件引用和五类知识对应“科目三复用科目一和科目二的知识”，诊断反馈对应“教练只给类别级提示”，harness 状态跨任务保留对应“学员自己的肌肉记忆和笔记不会在每科考试后被清空”。

5. 方法 pipeline 举例

以论文里的 Ibex RISC-V 核维护任务为例，走一遍完整流程。

输入：一个芯片团队使用旧版 Ibex RISC-V 核，上游有新的 bug 修复和安全修复。Agent 扮演 CPU 子系统验证工程师。

Level 1：任务要求对比旧版和最新版 Ibex 核的顶层接口，列出所有变化的端口和参数，找出哪些上游 bug 修复影响本团队芯片和 FPGA 原型。Agent 需要读 Git 历史、SystemVerilog 源码、SVG 架构图、规范 PDF，然后用邮件提交一份工作簿和简短说明。假设 Agent 提交后，评估 Agent 对照 25 条 rubric 逐条检查，发现它漏掉了某个参数变化对 wrapper 的影响，判定失败。在 Trial 2 中，Agent 收到诊断反馈，提示“接口变更分析不完整”，但不知道具体是哪一条。Agent 重新读源码，补上遗漏，第二次提交通过。

Level 2：固件负责人问退役指令计数器是否可信。Agent 必须复用 Level 1 的修复清单，在仿真上跑测试程序，测量计数器读数的偏差，并用两条上游修复和 RISC-V 规范解释每个错误。这里 Level 1 的产物成为 Level 2 的输入。假设 Agent 通过，Level 2 的 26 条 rubric 全部满足。

Level 3：团队决定保留旧核，把修复打成补丁。Agent 要复用 Level 1 发现的“某个修复需要旧核没有的信号”这一结论，适配该修复，并在打补丁前后重跑所有 Level 2 用例，对照两个指令集参考模型，提交补丁、结果表和 commit message，并在 GitHub 开 PR。28 条 rubric。

Level 4：安全架构师要签核。Agent 复用 Level 1 的修复清单，重新检查新 FPGA 构建，展示哪些安全修复重要，逐文件对比另一个项目的发布版本，并保持 Level 3 的补丁可用。32 条 rubric。

Level 5：应用工程需要为两款已售芯片出勘误表。Agent 要在更老的核上重跑 Level 2 和 Level 4 的测试，找出每个 bug 首次出现的版本，按版本和章节引用 RISC-V 规范，并修正早期草稿中与测量不一致的地方。36 条 rubric。

整个流程中，Agent 的 harness 状态跨 Level 保留，比如它可以在 Level 1 之后把“修复清单”和“旧核缺某个信号”写入长期记忆，在 Level 3 和 Level 4 直接调用，而不必重新推导。评估 Agent 在隔离的 Docker 容器里对每次提交逐条核对 rubric，通过才解锁下一关。

6. 核心数学推导

论文的核心形式化是把 Agent 的持续学习写成 POMDP，并定义更新算子。原文公式在提取中基本完整，我按原文符号解释。

先定义符号：n 是学习更新序号，θ_n 是第 n 次更新前的模型参数，s_n 是第 n 次更新前的持久 harness 状态，e_n 是第 n 次更新可用的经验数据。更新算子 U_n 接收当前参数、当前状态和经验，输出新参数和新状态：

(θ_{n+1}, s_{n+1}) = U_n(θ_n, s_n, e_n)

这个公式在算什么：它把“学习”统一成一次状态转移，不管学习发生在模型权重里还是发生在 harness 记忆里。在 CLE 主实验中模型参数冻结，所以 θ_{n+1} = θ_n，只有 s_n 变化。

接着定义交互层。x_t 是环境状态，包括工作区文件、应用记录、当前任务和关卡、剩余提交预算、私有评分材料。a_t 是 Agent 动作，比如读文件、更新应用记录、提交作业。o_t 是观察，包含任务指令、工具结果或允许的反馈。私有 rubric 和参考答案对 Agent 隐藏，所以是部分可观测。

转移核 P(x' ∣ x, a) 表示在状态 x 执行动作 a 后，下一环境状态为 x' 的概率。观察核 Ω(o' ∣ x', a) 表示动作 a 产生状态 x' 后返回观察 o' 的概率。奖励函数 R(x, a, x') 在提交动作且判定通过时给 1，否则给 0：

r_{t+1} = R(x_t, a_t, x_{t+1}) = v_t 如果 a_t 是提交动作，否则 0

其中 v_t ∈ {0, 1} 是评估 Agent 的判定，只有所有 rubric 项都满足才为 1。

策略 π_{θ,h}(a ∣ s) 是给定 harness 状态 s 选择动作 a 的概率，由冻结的模型参数 θ 和 harness 实现 h 共同决定。一次交互的采样过程是：

a_t ~ π_{θ,h}(· ∣ s_t)

x_{t+1} ~ P(· ∣ x_t, a_t)

o_{t+1} ~ Ω(· ∣ x_{t+1}, a_t)

r_{t+1} = R(x_t, a_t, x_{t+1})

经验记录为 e_t = (a_t, o_{t+1}, r_{t+1})。harness 用 s_t 和 e_t 更新状态：

(θ, s_{t+1}) = U_t(θ, s_t, e_t)

这里 t 是动作序号，n 是学习更新序号，一次学习更新可以聚合多次交互。

联合状态 (x_t, s_t) 的转移核 K_{A,t} 把动作选择、环境转移、观察、harness 更新四步乘起来再对动作和观察求和：

K_{A,t}(x', s' ∣ x, s) = Σ_{a∈A} Σ_{o'∈O} π_{θ,h}(a∣s) P(x'∣x,a) Ω(o'∣x',a) × Pr[ U_t(θ, s, (a, o', R(x,a,x'))) = (θ, s') ]

这个公式在算什么：它把“Agent 下一步会处于什么联合状态”分解成四部分概率的乘积——选这个动作的概率、环境转移的概率、观察到这个结果的概率、harness 更新到这个内部状态的概率。最后一项的随机性来自模型采样输出。

最终目标 J(θ, h) 是期望累积奖励：

J(θ, h) = E_{θ,h}[ Σ_{t=0}^{T-1} r_{t+1} ]

因为每通过一关恰好给 1 分，所以总奖励等于通过的关卡数。报告的完成率就是通过的关卡数除以 600。这个公式在算什么：它把“持续学习好不好”压缩成一个可计算的标量——在固定预算下，Agent 能通过多少关。通过关数越多，说明它越能把早期经验转化为后期表现。

7. 实验设计

数据集：CLE 包含 120 个人类专家编写的任务，每个任务 5 个关卡，共 600 关，覆盖 12 个职业领域、89 个职业角色。配套 23,981 个真实输入文件、19 个有状态模拟应用、1,024 个 API、16,125 条人工 rubric 标准。508 关是英文，92 关是中文。

基线：17 个配置，来自 4 个 harness（Claude Code、Codex、Hermes-Agent、OpenClaw）和 11 个 backbone 模型（GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna、Claude Opus 5、Claude Sonnet 5、Gemini 3.7 Flash、Doubao-Seed-Evolving、Qwen3.8-Max、Hy3、DeepSeek V4 Pro、GLM 5.3）。所有配置模型参数冻结，harness 状态跨任务保留。

指标：总完成率（600 关中通过的比例）、逐关通过率 L1 到 L5（通过前 k 关的任务比例）、完整任务完成率（L5）、Actor 总 token 数、活跃执行时间、美元成本。Trial 1 每关只能提交一次且无诊断反馈，Trial 2 首次失败后给诊断反馈并允许再提交一次。

消融：论文没有做传统意义上的组件消融。最接近的是 Trial 1 对 Trial 2 的对比，它把“诊断反馈”和“一次修订机会”捆绑在一起测，没有单独拆开。附录 F 里有一个 Gemini 3.6、3.7、3.8 Flash 的模型代际对比，但正文主实验的 11 个 backbone 里只有 Gemini 3.7 Flash，3.6 和 3.8 只出现在附录的补充实验中。另外附录 F 有 Hermes-Agent 对 OpenClaw 在 6 个共享 backbone 上的 harness 对比。

实验能否支撑结论：能支撑“当前前沿 Agent 在长程持续学习上表现差”这个结论，因为最好的配置也只通过 47.67% 的关卡，完整完成 28 个任务（28/120=23.3%）。也能支撑“反馈加修订整体上有正收益”，因为 17 个配置里 16 个 Trial 2 完成率更高，中位数增益 5.33 个百分点。但论文自己承认，Trial 1 对 Trial 2 的对比不能分离“诊断反馈”和“修订机会”各自的贡献，也不能分离“跨任务保留知识”的贡献。缺的是：一个把 harness 在每个任务前重置的对照实验，以及一个只给反馈不允许修订、或只允许修订不给反馈的消融。

8. take-aways

• 当前最强配置 Claude Code 加 Opus 5 在 Trial 2 也只通过 47.67% 的关卡，完整完成 28/120=23.3% 的任务，说明长程持续学习远未饱和。
• 反馈加一次修订对大多数配置有效：17 个配置里 16 个 Trial 2 完成率更高，中位数增益 5.33 个百分点；但增益不均衡，Sonnet 5 增益 13.17 个百分点，而 OpenClaw 加 DeepSeek V4 Pro 反而下降 1.33 个百分点。
• 高 L1 通过率不保证高 L5 通过率：Trial 2 中 L1 通过率与总完成率的 Spearman 相关是 0.75，但 L1 与 L5 通过率的相关只有 0.42。两个 Qwen3.8-Max 配置 L1 通过率都高于中位数 62.50%，但 L5 通过率只有 2.50% 和 1.67%，都低于中位数 8.33%。
• 后期关卡的条件通过率中位数在 Trial 2 从 L1→L2 的 55.17% 升到 L4→L5 的 80.00%，但这个数字只对已经通过前面所有关的任务子集计算，既反映后期任务在筛选后的子集上更容易，也反映 Agent 携带了早期经验，不能直接解读为“后期关卡本身更简单”。
• 评估 Agent 的可靠性有数据支撑：在 732 个 rubric 项上与人类参考标签的一致率是 96.86%，在 556 个 rubric 项上三次重复运行的一致率是 99.46%。

9. 最脆弱的假设

最脆弱的假设是：诊断反馈加一次修订带来的 Trial 1 到 Trial 2 的提升，确实反映了“持续学习”或“经验积累”，而不是仅仅反映了“多一次提交机会”本身。 论文把 Trial 2 的增益归因于反馈和修订，但这两个因素被捆绑在一起，无法区分。更关键的是，即使没有诊断反馈，单纯允许第二次提交也可能带来提升，因为 Agent 可以在第一次提交后自己检查并修正，或者第一次提交本身就带有随机性，第二次只是增加了采样次数。

论文自己有没有给出证据：没有直接证据。论文在 4.2 节明确说“Comparing Trials 1 and 2 assesses diagnostic feedback and an additional revision opportunity together”，并指出需要一个匹配对照实验来分离跨任务保留知识的贡献，但那个实验没有做。如果这个假设被推翻——比如一个只允许两次提交但第二次不给任何反馈的对照实验也得到类似的 5 个百分点增益——那么 CLE 测到的就主要是“提交预算”的效应，而不是“从反馈中学习”的效应，论文的核心卖点“经验驱动的持续学习评测”就会大打折扣。

10. 一周最小复现

只有一张 24GB 消费级显卡和一周时间，最核心的结论是“反馈加修订能带来中位数约 5 个百分点的完成率提升，但绝对完成率仍然很低”。完整跑 120 个任务不现实，因为论文里最便宜的配置也要 14.6 小时活跃时间和 8.26 美元，而且需要多个商业 API。

可行的复现方案：选一个开源可本地跑的模型，比如 Qwen 系列的小尺寸版本，用一个轻量 harness 复现“Trial 1 对 Trial 2”的核心对比。具体步骤：

1. 从 CLE 的 Hugging Face 仓库下载一个子集，比如 10 个任务共 50 关，优先选英文任务和文件依赖较少的任务。
2. 用 24GB 显卡本地部署一个 7B 到 14B 的开源模型，比如 Qwen 系列，作为 backbone。
3. 写一个最小 harness，支持文件读取、简单工具调用、提交作业、接收诊断反馈，并把跨关卡的关键产物存在一个 JSON 记忆文件里。
4. 先跑 Trial 1：每关只提交一次，无反馈，记录 50 关的通过数。
5. 再跑 Trial 2：首次失败后接收类别级反馈，允许再提交一次，记录通过数。
6. 对比两次的完成率差值，看是否接近论文的中位数 5.33 个百分点。

预期指标：论文里最弱的配置在 Trial 2 总完成率是 10.00% 到 11.50%，本地小模型大概率更低，可能在 5% 到 15% 之间。Trial 2 减 Trial 1 的增益可能只有 0 到 5 个百分点。如果一周内能跑完 10 个任务并得到“Trial 2 完成率高于 Trial 1 但绝对完成率很低”的结论，就算复现了论文最核心的定性发现。最大的瓶颈是评估 Agent 需要 DeepSeek V4 Flash 的 API，如果无法访问，可以退而用本地模型做 rubric 逐条判断，但会引入额外的评分噪声。

11. 反例设计

要推翻论文的核心主张“CLE 测的是持续学习能力，反馈和修订带来的提升反映了经验积累”，可以设计这样一个实验：

实验：在 CLE 上跑三组对照。A 组是 Trial 1，每关一次提交无反馈。B 组是 Trial 2，失败后给诊断反馈并允许一次修订。C 组是“双提交无反馈”，每关允许两次提交，但第一次失败后不给任何诊断反馈，只告诉 Agent“失败，请再试一次”。

判据：如果 C 组的完成率提升幅度与 B 组相当，比如 B 组相对 A 组提升 5 个百分点，C 组也提升 4 到 5 个百分点，那么论文归因于“诊断反馈”的增益实际上主要来自“多一次提交机会”。这不会完全推翻 CLE 作为基准的价值，但会推翻论文对 Trial 1 对 Trial 2 差异的解释，说明 CLE 主实验测的不是“从反馈中学习”，而是“提交预算的边际收益”。

更强的反例：再加一个 D 组，每关允许两次提交，第一次失败后给反馈，但每次进入新任务时把 harness 状态重置为初始状态。如果 D 组的完成率与 B 组没有显著差异，就说明跨任务保留的 harness 状态没有贡献，CLE 测到的“持续学习”实际上只是“同一关内的反馈修正”，而不是“跨任务的经验积累”。论文自己在 4.2 节提到了这个对照实验的必要性，但没有做。如果这个实验做出来 D 组和 B 组几乎一样，论文的核心叙事“长周期经验积累”就会受到严重挑战。

12. 落地判断

能否用于“抢占式 GPU 自托管 27B 模型做多智能体脚手架”：能，但要分两层看。

CLE 本身是评测基准，不是训练框架。它可以直接用来评估你的 27B 自托管模型加多智能体脚手架在持续学习场景下的表现。具体用法：从 CLE 里选一个与你的目标场景最接近的领域子集，比如 IT 运维或软件工程，跑 10 到 20 个任务，看你的多智能体架构在 Trial 2 下能通过多少关，以及跨任务保留的共享记忆是否真的提升了后期关卡通过率。

成本量级：论文里最便宜的配置是 Hermes-Agent 加 Hy3，Trial 2 花费 16.18 美元、80.30 小时活跃时间。但那是商业 API 加完整 120 任务。自托管 27B 模型在 24GB 卡上跑，API 成本为零，但时间成本会很高。按论文里最低 token 量估算，Trial 2 最少也要 133.50M token（Codex 加 Luna），27B 模型在单张 24GB 卡上的生成速度大约每秒 20 到 40 token，133.50M token 按每秒 20 到 40 token 估算，需要约 927 到 1854 小时（估算，非原文数据），远超一周。所以完整跑 120 个任务不现实，只能跑子集，或者用更小的模型。

最大的坑有三个。第一，评估 Agent 需要 DeepSeek V4 Flash 的 API，自托管环境里要么接这个 API，要么自己实现一个本地评估器，但本地评估器的可靠性没有论文里 96.86% 的人类一致率背书。第二，CLE 的 19 个有状态模拟应用和 1,024 个 API 需要额外的服务端支持，不是下载数据集就能直接跑，部署成本可能超过模型本身。第三，抢占式 GPU 会被随时中断，而 CLE 的任务是有状态的长程工作流，中断后恢复 harness 状态和模拟应用状态是个工程难题，论文没有提供断点续跑的现成方案。