跳到正文
返回论文列表
cs.CL提交于 已译

知识在技能中,可靠性在权重中:LLM Agent 的无教师协同进化

Knowledge in the Harness, Reliability in the Weights: Teacher-Free Co-Evolution of an LLM Agent

Yujia Zhang · Xinqi Ren · Shixiong Zhou · Jia Meng

中文摘要

小型开源模型适合私有客服部署,但在两方面落后于前沿模型:它们会遗漏书面策略在特定情境下的要求,且对已知内容执行不一致。研究能否仅凭自身部署日志及其参考结果,在没有更强教师模型的情况下,让此类模型同时弥补这两个差距。起点是一个 Gemma 4 12B agent,它从按需技能而非系统提示中读取领域策略。每轮中,部署系统处理一批新任务;基础模型诊断失败对话并将规则写入技能,规则只有通过代码检查、反例自审、配对重测和噪声校准验证门才能保留。随后,强化学习(GRPO)在完整多轮、使用工具的对话上训练 LoRA 适配器。在 τ²-bench 的零售和航空领域,未在官方任务上训练或选择,两轮后 agent 在零售和航空上分别比起点提升 12.5 和 19.5 个 pass¹ 点,以及 18.4 和 22.0 个 pass⁴ 点。它还超过了基准参考 agent(同一模型但将完整策略置于系统提示中),分别高出 11.8 和 8.0 个 pass¹ 点以及 22.8 和 16.0 个 pass⁴ 点,在相同协议下缩小了与三个前沿模型的大部分差距。2×2 消融表明,规则挽救了 agent 从未解决的任务,并携带了 RL 在上下文中使用规则时无法内化的策略知识,而训练后的权重使已解决任务变得可靠。

关键要点

  1. 01问题:小型开源模型在策略遵循和一致性上落后于前沿模型,且无更强教师模型可用。
  2. 02方法:从部署日志中诊断失败,经多重验证将规则写入技能,再用 GRPO 训练 LoRA 适配器。
  3. 03结果:在 τ²-bench 零售和航空领域,两轮后 pass¹ 提升 12.5 和 19.5 点,超过参考 agent。
  4. 04机制:规则解决未见过任务并携带策略知识,训练权重提升已解决任务的可靠性。

解读

尚无解读。

原始英文摘要

arXiv:2611.15268v1 Announce Type: cross Abstract: Small open models suit private customer-service deployments but trail frontier models in two ways: they miss what the written policy requires in a given situation, and they act inconsistently on what they know. We study whether such a model can close both gaps from its own deployment logs and their reference outcomes, without a stronger teacher model. Our starting point is a Gemma 4 12B agent that reads its domain policy from on-demand skills rather than from its system prompt. In each round, the deployed system serves a fresh batch of tasks; the base model diagnoses failed conversations and writes rules into the skills, and a rule survives only if it passes code checks, counterexample self-review, a paired retest, and a noise-calibrated validation gate. Reinforcement learning (GRPO) then trains a LoRA adapter on complete multi-turn, tool-using conversations. On the retail and airline domains of $\tau^2$-bench, without training or selecting on official tasks, the agent after two rounds improves on this starting point by 12.5 pass$^1$ points in retail and 19.5 in airline, and by 18.4 and 22.0 pass$^4$ points. It also exceeds the benchmark's reference agent, which runs the same model with the whole policy in its system prompt, by 11.8 and 8.0 pass$^1$ points and by 22.8 and 16.0 pass$^4$ points, closing most of the gap to three frontier models under the same protocol. A $2\times2$ ablation shows that the rules rescue tasks the agent never solved and carry policy knowledge that RL with the rules in context does not internalize, whereas the trained weights make solved tasks reliable.

同方向论文 · cs.CL

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联工具 · 4

Hacker News · 首页76

Cursor 发布 Agent SDK,可用代码定义并部署智能体

Cursor 正式发布 Agent SDK,这是其构建 Bugbot、安全审查智能体和 Rollouts 等自有托管智能体所用的框架。用户可以用 Markdown 写提示词、用 TypeScript 定义工具,把智能体当作软件项目管理,并通过 agent-sdk deploy 部署到 Cursor 基础设施,或打包成单个 Node 进程在自有环境运行。

推荐理由:Cursor 公开了自建托管智能体所用的框架,读者可据此判断团队自研智能体的门槛与部署方式。

Hugging Face Blog68

Async GRPO with LoRA 跨 Hugging Face Jobs 分布式训练实战

AsyncGRPOTrainer(TRL v1.14)现在支持训练 LoRA adapter 并仅同步该 adapter 到 vLLM,无需跨节点 NCCL 通信。

推荐理由:给出了在 Hugging Face Jobs 上用 Storage Bucket 做分布式 LoRA 训练的完整方案,包括架构、代理设计和优化步骤,读者可以直接参考复现。

TechCrunch · AI77

Google 为 Gemini 推出面向企业的统一智能体

Google Cloud 发布统一 Gemini 智能体,可通过单一界面接收目标、规划任务、调用技能与工具,并连接企业内部系统代为执行工作。该智能体将优先面向企业推出,支持由 Gemini 自动选择模型,也可由用户选择包括 Claude 在内的第三方模型,并能通过 MCP 连接企业网络内外的服务器。

推荐理由:Google 说明了统一智能体的目标驱动机制、企业系统连接范围与模型选择方式,可据此评估其企业部署形态。

Mistral AI77

Mistral Vibe 2.0 发布

Mistral 发布终端原生编码智能体 Mistral Vibe 2.0,由 Devstral 2 模型驱动,新增自定义子智能体、多选项澄清、斜杠命令技能、统一智能体模式等功能。Vibe 现已在 Le Chat Pro 和 Team 计划中可用,Devstral 2 转为付费 API 访问,同时提供企业级微调、强化学习和代码现代化服务。

推荐理由:原文详细列出了 2.0 版本的具体新功能(子智能体、澄清机制、技能系统)和定价信息,读者可据此评估是否值得从旧版本迁移。