跳到正文
返回论文列表
cs.RO提交于 已译

RoboDuo:通过代码实现尝试、检查与原子恢复的视觉-语言-动作模型

RoboDuo: Attempt, Check and Atomic Recovery through Code for Vision-Language-Action Models

Jie Wang · Bo Zhang · Renzhi Lu · Jianyu Chen

中文摘要

视觉-语言-动作(VLA)模型将语言指令和当前观测直接映射为动作,却不会检查指令是否完成。在长时程任务中,单个失败步骤可能不被察觉,导致整个任务未能完成。这类失败通常已使任务部分完成,且未完成步骤对应可在不同演示中复用的原子技能,因此可通过组合原子技能恢复失败尝试。RoboDuo是一种闭环双系统框架,以代码作为编程智能体与两个VLA之间的接口。智能体编写程序,让全任务VLA尝试整个任务并检查完成状态;失败时,由原子VLA完成剩余步骤。由于智能体不输出动作,仅决定执行哪个VLA,RoboDuo无需更新权重即可封装现有全任务VLA。为训练原子VLA及具备完成检查能力的编程智能体,基于同一组LIBERO演示构建LIBERO-Atomic、LIBERO-Code和LIBERO-Judge。RoboDuo在LIBERO和LIBERO-PRO上持续提升X-VLA与π₀.₅的表现,长时程任务增益最大,并在真实机器人上恢复冻结全任务VLA的失败轨迹。

关键要点

  1. 01问题:VLA不会检查指令是否完成,长时程任务中的单步失败可能被忽略
  2. 02方法:以代码连接编程智能体与全任务VLA、原子VLA,构成闭环双系统
  3. 03方法:失败时由原子VLA完成剩余步骤,无需更新现有全任务VLA权重
  4. 04结果:在LIBERO和LIBERO-PRO上提升X-VLA与π₀.₅,长时程任务增益最大
  5. 05结果:在真实机器人上恢复冻结全任务VLA的失败轨迹

解读

尚无解读。

原始英文摘要

arXiv:2610.34108v1 Announce Type: new Abstract: Vision-Language-Action (VLA) models map a language instruction and the current observation directly to actions, without checking whether the instruction has been completed. For long-horizon tasks, a single failed step therefore goes unnoticed and leaves the whole task unfinished. Such failed episodes, however, often end with the task partially complete. Moreover, the unfinished steps are reusable atomic skills that recur across demonstrations. A failed attempt can thus be recovered by composing with atomic skills. We propose RoboDuo, a closed-loop dual-system framework that uses code as the interface between a coding agent and two VLAs. The agent writes a program that lets a full-task VLA attempt the whole task and checks whether it is complete; on failure, an atomic VLA finishes the remaining steps. Since the agent emits no actions and only decides which VLA for execution, RoboDuo wraps an existing full-task VLA without updating its weights. To train the atomic VLA and the coding agent with the completion-checking ability, we build LIBERO-Atomic, LIBERO-Code, and LIBERO-Judge from a single set of LIBERO demonstrations. RoboDuo consistently improves X-VLA and $\pi_{0.5}$ on LIBERO and LIBERO-PRO, with the largest gains on long-horizon tasks, and recovers failed rollouts of a frozen full-task VLA on a real robot.

同方向论文 · cs.RO

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联提示词 · 6

编程tech.qimao.com·外部收录·

按规范检查 Go 代码改动,分析问题与服务影响并生成 Code Review 报告

``` # Code Review 规范 你是 golang 编程的专家,现在对代码进行 Code Review,请按照以下步骤进行: (若遇到 git 命令分页的情况,请加上`| cat`) ## 步骤一:代码规范检查 - [ ] 是否遵循最佳实践 @.cursor/rules/rule-code-spec.mdc - [ ] 是否存在重复代码 - [ ] 是否有充分的注释和文档 - [ ] 是否易于理解和维护 ## 步骤二:功能问题分析 - [ ] 分析本次代码改动的影响…

编程zhuanlan.zhihu.com·外部收录·

用于指导 Claude Code 按阶段规划、测试驱动实现、重构并提交代码。

### 1. 规划与分阶段 将复杂的工作分解为 3-5 个阶段。在 `IMPLEMENTATION_PLAN.md` 中记录: ```text ## 阶段 N: [Name] **目标**: [具体可交付成果] **成功标准**: [可测试的结果] **测试**: [具体的测试用例] **状态**: [未开始|进行中|已完成] ``` * 随着进展更新状态 * 所有阶段完成后删除文件 ### 2. 实现流程 1. **理解** - 研究代码库中的现有模式 2. **测试**…

编程github.com/PlexPt/awesome-chatgpt-prompts-zh·外部收录·

充当全栈软件开发人员

我想让你充当软件开发人员。我将提供一些关于 Web 应用程序要求的具体信息,您的工作是提出用于使用 Golang 和 Angular 开发安全应用程序的架构和代码。我的第一个要求是'我想要一个允许用户根据他们的角色注册和保存他们的车辆信息的系统,并且会有管理员,用户和公司角色。我希望系统使用 JWT 来确保安全。

编程github.com/PlexPt/awesome-chatgpt-prompts-zh·外部收录·

充当前端智能思路助手

我想让你充当前端开发专家。我将提供一些关于Js、Node等前端代码问题的具体信息,而你的工作就是想出为我解决问题的策略。这可能包括建议代码、代码逻辑思路策略。我的第一个请求是“我需要能够动态监听某个元素节点距离当前电脑设备屏幕的左上角的X和Y轴,通过拖拽移动位置浏览器窗口和改变大小浏览器窗口。”

编程github.com/PlexPt/awesome-chatgpt-prompts-zh·外部收录·

充当 Linux 终端

我想让你充当 Linux 终端。我将输入命令,您将回复终端应显示的内容。我希望您只在一个唯一的代码块内回复终端输出,而不是其他任何内容。不要写解释。除非我指示您这样做,否则不要键入命令。当我需要用英语告诉你一些事情时,我会把文字放在中括号内[就像这样]。我的第一个命令是 pwd