跳到正文
返回论文列表
cs.RO提交于 已译

调用 VLA 的智能体能教给 VLA 什么?面向具身导航的任务级经验蒸馏

What Can a VLA Learn from the Agent That Calls It? Task-Level Experience Distillation for Embodied Navigation

Jinze Tao · Yuxiao Han · Kangkang Dong · Yancong Wei · Xiaojun Zhu · Bokui Chen · et al.

中文摘要

视觉-语言-动作(VLA)模型直接根据相机视图驱动机器人,但单独使用时存在三类典型失败:走过目标、在到达前停下、偏离路线后很少恢复。将 VLA 与大型语言模型(LLM)规划器配对可修复这些失败,但每个回合都要查询 LLM,增加 token 成本与延迟。提出 Harness-to-Executor(H2E),一种任务级蒸馏方法:将 LLM 规划器与冻结的 VLA 配对为异构训练智能体,仅保留到达目标的会话,再单独用这些会话训练 VLA,使测试时无需 LLM。这些会话中规划器给出子指令并用自身工具移动机器人,绕路常见,由规划器决定何时停止。因此 H2E 将每个动作都标注为原始任务的 VLA 动作,无论由谁执行;对远离目标的步骤屏蔽损失,对接近目标的状态赋予结束标签,使 VLA 学会任务终点。H2E 在 REVERIE-CE 与 NavRAG-CE 上取得新的最优结果,将 8B VLA 的成功率分别提升 15.6% 和 11.1%,超过在 10M 样本上训练的方法。蒸馏后的 VLA 在未见回合上超过其智能体,零 LLM token,运行速度快 3.7 倍。

关键要点

  1. 01单独 VLA 存在走过目标、提前停止、偏离后难恢复三类失败
  2. 02H2E 用 LLM 规划器与冻结 VLA 配对训练,仅保留成功会话
  3. 03对远离目标步骤屏蔽损失,对接近目标状态赋结束标签
  4. 04REVERIE-CE 与 NavRAG-CE 上 8B VLA 成功率提升 15.6% 和 11.1%
  5. 05蒸馏后零 LLM token,比原智能体快 3.7 倍

解读

尚无解读。

原始英文摘要

arXiv:2611.16246v3 Announce Type: replace Abstract: Vision-language-action (VLA) models drive the robot directly from camera views, yet a VLA alone shows three typical failures. It walks past the goal, stops before reaching it, and rarely recovers after going off track. Pairing a VLA with a large language model (LLM) planner fixes these failures, but queries the LLM throughout every episode, adding token costs and latency. We introduce Harness-to-Executor (H2E), a task-level distillation method that pairs an LLM planner and a frozen VLA as a heterogeneous training agent, keeps only sessions that reach the goal, and then trains a VLA alone on them so no LLM is used at test time. In these sessions, the planner gives sub-instructions and moves the robot with its own tools, detours are common, and the planner decides when to stop. H2E therefore labels every motion as a VLA action for the original task, whoever made it. It masks the loss on steps moving away from the goal and assigns end labels to states near it, so the VLA learns where the task ends. H2E sets a new state of the art on REVERIE-CE and NavRAG-CE. It raises an 8B VLA's success rate by 15.6% and 11.1% respectively, surpassing a method trained on 10M samples. The distilled VLA exceeds its agent on unseen episodes with zero LLM tokens and runs 3.7 times faster.

同方向论文 · cs.RO

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联工具 · 1

Google DeepMind76

Google DeepMind 发布 Gemini Robotics 2,为机器人带来全身智能控制

Google DeepMind 发布 Gemini Robotics 2,推出了三个模型:高级 VLA 模型可控制完整人形机器人从脚到指尖的运动,实现灵巧操作如系扣子;ER 2 推理模型可处理多步骤任务并协调多机器人协作;On-Device 2 模型可在几小时内适应全新机器人形态。

推荐理由:原文给出了三个模型的具体能力描述和可用入口,读者可以据此判断 Gemini Robotics 2 与前代及竞品的具体差异。