跳到正文
返回论文列表
cs.AI提交于 已译

智能体上下文学习:Transformer 在闭环交互中能学习哪些算法?

Agentic In-Context Learning: What Algorithms Can Transformers Learn in Closed-Loop Interaction?

Shiguang Wu · Yaqing Wang · Quanming Yao

中文摘要

智能体上下文学习(Agentic ICL)研究固定参数 Transformer 在交互中如何从证据中学习,其中动作决定后续进入上下文的证据。现有研究多依赖外部提供的上下文或带奖励的交互历史,缺乏对通用工具使用智能体的学习算法视角。该工作通过状态、更新和决策规则表示交互式学习者,涵盖主动学习、多臂老虎机(bandits)和在线强化学习(RL)。在表达能力上,构建了因果 Transformer 以在有限时域内近似这些算法,并界定了回报损失。在训练方面,刻画了优化过程奖励(process rewards)何时能保留最大化最终结果的行为。蒸馏实验表明 Transformer 能学习执行三种代表性递归。在类似 RL 后训练的设置下,不使用 oracle 动作或状态目标,仅从结果或过程奖励训练模型,不同奖励产生不同的决策策略。改进过程监督与结果最优动作偏好的对齐会相应改变学习到的决策,且这种行为差异在预训练语言模型中跨文本释义持续存在。

关键要点

  1. 01提出智能体上下文学习(Agentic ICL)框架,将 Transformer 视为在闭环交互中通过动作获取证据的学习算法。
  2. 02构建因果 Transformer 近似主动学习、bandits 和在线 RL 算法,并在有限时域内界定了回报损失。
  3. 03分析过程奖励优化与最终结果最大化行为的一致性条件,揭示不同奖励机制导致不同的决策策略。
  4. 04实验验证 Transformer 可通过蒸馏学习执行递归算法,且过程监督的对齐程度影响最终决策行为。
  5. 05发现预训练语言模型中由不同奖励训练产生的行为差异,在文本释义场景下依然保持稳健。

解读

尚无解读。

原始英文摘要

arXiv:2610.23051v1 Announce Type: new Abstract: The learning algorithm view of in-context learning (ICL) studies how fixed-parameter Transformers learn from supplied examples. Language model agents extend this setting through interaction: their actions determine what evidence enters context next. We call this regime Agentic In-Context Learning (Agentic ICL). Existing studies largely depend on externally supplied contexts or reward-bearing interaction histories, while work on general tool-using agents lacks a learning algorithm view. We represent an interactive learner by its state, update, and decision rule, covering active learning, bandits, and online reinforcement learning (RL). For expressivity, we construct causal Transformers that approximate these algorithms over a finite horizon, and bound the resulting loss in return. For training, we characterize when optimizing process rewards preserves behavior that maximizes the final outcome. Distillation experiments show that Transformers can learn to execute three representative recursions. We then train models from outcome or process rewards without oracle action or state targets, as in RL post-training. Different rewards yield distinct decision policies. Improving the alignment of process supervision with outcome-optimal action preferences shifts learned decisions accordingly. Such behavioral differences persist in a pretrained language model across textual paraphrases.

同方向论文 · cs.AI

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联工具 · 1

Hugging Face Blog71

Microsoft 与 Hugging Face 用数据库终态奖励后训练 ThinkingBox 智能体

Microsoft 与 Hugging Face 将 ThinkingBox 的数据库终态检查转化为训练奖励,并对 Qwen3.8-27B 进行 50 步 GRPO 微调。

推荐理由:文章把数据库终态检查转化为训练奖励,公开完整训练流程,并同时量化重复成功率、覆盖率与成本变化。

关联提示词 · 1