跳到正文
返回论文列表
cs.RO提交于 已译

视觉-语言-动作模型:设计、训练与部署的全生命周期综述

Vision-Language-Action Models: A Life-Cycle Survey of Design, Training and Deployment

Suvarna Kadam (Witsense AI) · Soran Parsa (University of Huddersfield)

中文摘要

视觉-语言-动作(VLA)模型将网页预训练的视觉-语言模型适配为输出机器人动作,使网页知识迁移到物理控制中。不到4年,该领域已从首个VLA模型RT-2发展到可在单张消费级GPU上微调的开源模型,以及能清理未见家庭的专有通用模型。本综述回顾2022年12月至2026年10月的88项工作,主要涉及操作与导航,兼及人形控制、世界动作模型与评估。沿七个轴追踪VLA从模型设计到训练与部署的全生命周期。模型设计涵盖:(a)输入与记忆,即模型观察到什么;(b)架构,即流水线如何构建;(c)动作输出,即如何产生运动指令;(d)中间预测,即还预测什么,从推理步骤到未来观测。训练涵盖:(e)预训练数据,即机器人、网页、人类与仿真数据的混合;(f)后训练,即对目标机器人的适配。部署涵盖:(g)实时执行,即与机器人保持同步。按这些轴分析22个模型,报告其训练数据、模型规模、推理速度与硬件。呈现三个趋势:(i)训练数据已拓宽,从约10,000小时遥操作机器人数据(π0)到23,000个社区收集片段(SmolVLA)和20,000小时自我中心人类视频(GR00T N1.7);(ii)模型规模分化:多数近期模型为3-7亿参数,而新出现的一组低于10亿参数可在消费级GPU上运行;(iii)通用VLA正在涌现,同时处理操作与导航,如UniVLA和Qwen-VLA。还比较VLA与世界动作模型,后者同时预测未来观测与动作。综述证据表明,部分基准分数近乎完美的VLA在物体或相机轻微移动时失败,并提出进一步研究问题。

关键要点

  1. 01综述88项工作,沿设计、训练、部署七轴分析22个VLA模型
  2. 02训练数据从约1万小时遥操作数据扩展到2.3万社区片段与2万小时人类视频
  3. 03模型规模分化:多数3-7亿参数,新组低于10亿可在消费级GPU运行
  4. 04通用VLA涌现,如UniVLA和Qwen-VLA同时处理操作与导航
  5. 05部分基准近满分VLA在物体或相机轻微移动时失败

解读

尚无解读。

原始英文摘要

arXiv:2611.18372v1 Announce Type: new Abstract: Vision-language-action (VLA) models adapt web-pretrained vision-language models to output robot actions, so that web knowledge carries over to physical control. In under 4 years the field has moved from RT-2, the first VLA, to open models that fine-tune on a single consumer GPU and to proprietary generalists that clean unseen homes. This survey reviews 88 works from December 2022 to October 2026, mainly on manipulation and navigation, plus humanoid control, world-action models and evaluation. We follow a VLA through its life cycle, from model design to training and deployment, along seven axes. Model design covers (a) inputs and memory, what the model observes; (b) architecture, how its pipeline is built; (c) action output, how it produces motor commands; and (d) intermediate predictions, what else it predicts, from reasoning steps to future observations. Training covers (e) pretraining data, the mix of robot, web, human and simulated data, and (f) post-training, adaptation to the target robot. Deployment covers (g) real-time execution, keeping pace with the robot. We analyse 22 models on these axes and report their training data, model size, inference speed and hardware. Three trends emerge: (i) training data has broadened, from about 10,000 hours of teleoperated robot data ($\pi_0$) to 23,000 community-collected episodes (SmolVLA) and 20,000 hours of egocentric human video (GR00T N1.7); (ii) model sizes have split: most recent models have 3-7 billion parameters, while a new group under one billion runs on consumer GPUs; and (iii) generalist VLAs are emerging that handle both manipulation and navigation, such as UniVLA and Qwen-VLA. We also compare VLAs with world-action models, which predict future observations as well as actions. We review evidence that some VLAs with near-perfect benchmark scores fail when objects or the camera move slightly, and open up further research questions.

同方向论文 · cs.RO

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联工具 · 6

NVIDIA Blog72

NVIDIA 在 CoRL 发布 GR00T 2 世界动作模型与 Isaac Lab 3.0

NVIDIA 在 CoRL 上发布基于 Cosmos 构建的开放世界动作模型 GR00T 2,训练数据包含 10 万小时开源人类第一视角数据,在 50 项任务中仅用单次演示即达到 71% 平均成功率,五次演示提升至 95%。

推荐理由:NVIDIA 在 CoRL 集中放出 GR00T 2、Isaac Lab 3.0 与多个基准,读者可据此了解机器人仿真训练工具链的最新形态。

Google DeepMind67

Google DeepMind 发布 Gemini Robotics ER 2,带来视频理解、任务编排和多机器人协作能力

Google DeepMind 发布 Gemini Robotics ER 2,这是其最强大的具身推理模型。该模型可调用 Google Search 等工具,支持多步骤任务自纠错,并将执行交接给低层 VLA 模型。

推荐理由:原文给出了视频理解、任务编排和多机器人协作的具体性能数据,读者可以据此了解具身智能的最新能力边界和可用入口。

Google DeepMind70

Google DeepMind 发布 Gemini Robotics-ER 1.6:增强实体推理赋能机器人任务

Google DeepMind 发布 Gemini Robotics-ER 1.6,这是其首个推理优先模型的重大升级版。该模型增强了空间推理和多视角理解能力,专门用于视觉与空间理解、任务规划和成功检测,并能原生调用工具如 Google Search、视觉语言动作模型或第三方函数。

推荐理由:原文给出了具体性能对比和新增的仪表读取功能,读者可以据此判断该模型在机器人实体推理场景中的具体提升和可用性。

Hugging Face Blog82

LeRobot v0.6.0 发布:引入世界模型策略、奖励模型 API 和新基准

LeRobot v0.6.0 发布,带来世界模型策略(VLA-JEPA、LingBot-VA、FastWAM)让机器人学会想象未来,以及一批新 VLA 模型(GR00T N1.7、MolmoAct2、EO-1、EVO1)。

推荐理由:原文给出了 world model policies、新 VLA 模型、reward models API 等具体能力变化,读者可以据此了解机器人学习工具链的最新进展。

Google DeepMind76

Google DeepMind 发布 Gemini Robotics 2,为机器人带来全身智能控制

Google DeepMind 发布 Gemini Robotics 2,推出了三个模型:高级 VLA 模型可控制完整人形机器人从脚到指尖的运动,实现灵巧操作如系扣子;ER 2 推理模型可处理多步骤任务并协调多机器人协作;On-Device 2 模型可在几小时内适应全新机器人形态。

推荐理由:原文给出了三个模型的具体能力描述和可用入口,读者可以据此判断 Gemini Robotics 2 与前代及竞品的具体差异。

Google DeepMind78

Google DeepMind 发布 Gemini Robotics 2.5 视觉-语言-动作模型

Google DeepMind 发布 Gemini Robotics 2.5,称其为目前能力最强的视觉-语言-动作(VLA)模型,在200项任务上相比此前基线成功率提升30%至100%,完成任务速度快20%至30%。

推荐理由:原文给出200项任务评测、Mercedes-Benz产线96%成功率与安全指标,可判断VLA模型在真实场景的进展。