跳到正文
返回论文列表
cs.AI提交于 已译

递归信念视觉-语言-动作模型

Recursive Belief Vision Language Action Models

Vaidehi Bagaria · Bijo Sebastian · Nirav Kumar Patel

中文摘要

视觉-语言-动作模型必须使智能体在部分可观测条件下执行长时程任务。然而,现有方法大多仍由观测驱动,依赖短上下文窗口或对视觉-语言模型(VLM)的重复查询,导致任务进度丢失、感知混叠下的动作重复以及高推理延迟。语义接地固然重要,但长时程操作从根本上需要持久的、以动作为条件的状态表示。当前VLA缺乏此类表示,且表现出有限的时间与物理推理能力,难以胜任多阶段控制。本文提出RB-VLA,一种以信念为中心的架构,通过自监督世界模型目标训练,维护一个紧凑的潜在状态,编码任务相关历史、动态和物体交互。每个任务仅查询VLM一次以获取高层意图,而信念则跟踪任务进度,并在部分可观测下实现相位感知、因果接地的控制,无需存储原始观测或随时间扩展内存。信念与意图共同条件化一个扩散策略,以实现鲁棒的闭环执行。RB-VLA在长时程基准上优于先前VLA,在多阶段拾放和堆叠任务上分别比pi_0取得52.5%和37.5%更高的成功率。相比基线,推理延迟最多降低五倍,并消除了现有VLA中观察到的跨时间步内存增长。消融实验表明信念模块是性能的主要驱动因素,成功率从无信念时的32.5%提升至有信念时的77.5%。

关键要点

  1. 01问题:现有VLA观测驱动,长时程任务中进度丢失、动作重复、推理延迟高。
  2. 02方法:RB-VLA以信念为中心,自监督世界模型训练紧凑潜在状态,VLM每任务仅查询一次。
  3. 03结果:多阶段拾放和堆叠成功率比pi_0高52.5%和37.5%,推理延迟降低五倍。
  4. 04消融:信念模块将成功率从32.5%提升至77.5%,是性能主要驱动因素。

解读

尚无解读。

原始英文摘要

arXiv:2602.20659v3 Announce Type: replace Abstract: Vision-language-action models must enable agents to execute long-horizon tasks under partial observability. However, most existing approaches remain observation-driven, relying on short context windows or repeated queries to vision-language models (VLMs). This leads to loss of task progress, action repetition under perceptual aliasing, and high inference latency. While semantic grounding is important, long-horizon manipulation fundamentally requires persistent, action-conditioned state representations. Current VLAs lack such representations and exhibit limited temporal and physical reasoning, making them ill-suited for multi-stage control. This paper introduces RB-VLA, a belief-centric architecture trained with self-supervised world-model objectives that maintains a compact latent state encoding task-relevant history, dynamics, and object interactions. Queried once per task, the VLM provides high-level intent, while the belief tracks task progress and enables phase-aware, causally grounded control under partial observability without storing raw observations or scaling memory with time. The belief and intent jointly condition a diffusion policy for robust closed-loop execution. RB-VLA outperforms prior VLAs on long-horizon benchmarks, achieving 52.5 percent and 37.5 percent higher success rates on multi-stage pick-and-place and stacking tasks, respectively, compared to pi_0. It also reduces inference latency by up to five times relative to baselines and eliminates memory growth across timesteps observed in existing VLAs. Ablations show the belief module is the primary driver of performance, increasing success rates from 32.5 percent without belief to 77.5 percent with belief.

同方向论文 · cs.AI

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联工具 · 4

Google DeepMind78

Google DeepMind 发布 Gemini Robotics 2.5 视觉-语言-动作模型

Google DeepMind 发布 Gemini Robotics 2.5,称其为目前能力最强的视觉-语言-动作(VLA)模型,在200项任务上相比此前基线成功率提升30%至100%,完成任务速度快20%至30%。

推荐理由:原文给出200项任务评测、Mercedes-Benz产线96%成功率与安全指标,可判断VLA模型在真实场景的进展。

Google DeepMind67

Google DeepMind 发布 Gemini Robotics ER 2,带来视频理解、任务编排和多机器人协作能力

Google DeepMind 发布 Gemini Robotics ER 2,这是其最强大的具身推理模型。该模型可调用 Google Search 等工具,支持多步骤任务自纠错,并将执行交接给低层 VLA 模型。

推荐理由:原文给出了视频理解、任务编排和多机器人协作的具体性能数据,读者可以据此了解具身智能的最新能力边界和可用入口。

Hacker News · 首页84

Dream Labs 发布 Dream-1 机器人基础模型并开放公共 API

Dream Labs 发布 Dream-1 World Action Model,并面向全球开放公共 API,可零样本控制未见过的双臂平行夹爪机器人,无需针对目标机器人微调或提供示范数据。Dream-1 运行时价格为 $3/hour,Dream-1-flash 为 $2/hour;官方也披露了不同机器人上的性能差异,并通过 FaaS 支持基于少量自有数据的适配。

推荐理由:文章同时给出跨机器人零样本控制、公开 API、成本与失败边界,便于评估通用机器人模型的落地条件。

Google DeepMind76

Google DeepMind 发布 Gemini Robotics 2,为机器人带来全身智能控制

Google DeepMind 发布 Gemini Robotics 2,推出了三个模型:高级 VLA 模型可控制完整人形机器人从脚到指尖的运动,实现灵巧操作如系扣子;ER 2 推理模型可处理多步骤任务并协调多机器人协作;On-Device 2 模型可在几小时内适应全新机器人形态。

推荐理由:原文给出了三个模型的具体能力描述和可用入口,读者可以据此判断 Gemini Robotics 2 与前代及竞品的具体差异。