跳到正文
返回论文列表
cs.RO提交于 已译

WEVO:世界模型驱动的 VLA 优化用于全身移动操作

WEVO: World Model-Enabled VLA Optimization for Whole-Body Loco-Manipulation

Qianzhong Chen · Muyuan Lin · Yuyin Sun · Mac Schwager · Cheng-Hao Kuo · Roberto Mart\'in-Mart\'in

中文摘要

强化学习(RL)可在模仿学习之外改进视觉-语言-动作(VLA)策略,但人形机器人的探索不安全,且模拟器 RL 可能利用残余的 sim-to-real 差距。WEVO 是一个无需遥操作的框架,在动作条件视频世界模型(WM)中对全身人形 VLA 进行后训练。模拟操作与移动的 play 数据提升了接触动力学与视角变化预测。在合成演示上训练的 VLA 为每个任务采集 20 次自主真实机器人 rollout,使 WM 与部署观测对齐。VLA、全身控制器(WBC)与视频 WM 随后构成带稠密进度奖励的闭环 RL 环境。在三个真实机器人任务上,play 数据提升了所有评估的 WM 指标及下游策略成功率;视频 WM RL 将平均成功率从 23.3% 提升至 75.0%,而真实机器人 RL 为 48.3%。因此结合两种环境的互补优势:仿真提供策略初始化与广泛覆盖,视频 WM 提供部署对齐的环境用于策略改进。项目网站:https://qianzhong-chen.github.io/wevo.github.io/。

关键要点

  1. 01问题:人形机器人 RL 探索不安全,模拟器 RL 会利用 sim-to-real 差距。
  2. 02方法:在动作条件视频世界模型中后训练全身 VLA,无需遥操作。
  3. 03方法:VLA、WBC 与视频 WM 构成闭环 RL 环境,使用稠密进度奖励。
  4. 04结果:视频 WM RL 将平均成功率从 23.3% 提升至 75.0%,真实机器人 RL 为 48.3%。
  5. 05结果:play 数据提升所有评估的 WM 指标及下游策略成功率。

解读

尚无解读。

原始英文摘要

arXiv:2611.25251v1 Announce Type: new Abstract: Reinforcement learning (RL) can improve vision-language-action (VLA) policies beyond imitation, but humanoid exploration is unsafe and simulator RL can exploit residual sim-to-real gaps. We present WEVO, a teleoperation-free framework for post-training a whole-body humanoid VLA in an action-conditioned video world model (WM). Simulated manipulation and locomotion play data improve contact-dynamics and viewpoint-change prediction. A VLA trained on synthetic demonstrations collects 20 autonomous real robot rollouts per task to align the WM with deployment observations. The VLA, whole-body controller (WBC), and video WM then form a closed-loop RL environment with dense progress rewards. Across three real robot tasks, play data improves every evaluated WM metric and downstream policy success; video WM RL raises mean success from 23.3% to 75.0%, compared with 48.3% for real robot RL. We therefore leverage the complementary strengths of both environments: simulation provides policy initialization and broad coverage, while the video WM offers a deployment-aligned environment for policy improvement. Project website: https://qianzhong-chen.github.io/wevo.github.io/.

同方向论文 · cs.RO

查看全部 →