跳到正文
返回论文列表
cs.RO提交于 已译

自校准视觉-智能体-动作:无需演示或微调即可部署抓取放置到新机器人单元

Self-Calibrating Vision-Agent-Action: Deploying Pick-and-Place to New Robot Cells without Demonstrations or Fine-Tuning

Jae Hun Hwang · Yechan Seo · Hong-In Won

中文摘要

在仿真中,视觉-智能体-动作(Vision-Agent-Action, VAA)可在夹爪或基座坐标系变化的情况下,于机器人单元内完成抓取放置,且无需机器人演示或微调。它利用预训练的视觉-语言模型和语言模型进行理解,通过自身运动和指尖测量命令映射与相机几何,估计镜头畸变,并基于测量到的物体深度规划抓取。一项受控研究考察了八个公开的、经 LIBERO 微调的视觉-语言-动作模型(VLA),变化机器人硬件、相机几何、外观和基座坐标系。在所测试的部分因子设计中,夹爪和坐标系变化是导致其性能损失的主要因素。在包含这些变化的 18 个单元中,冻结的 VAA 取得 230/360 次成功(64%),精炼后的 VAA 为 268/360(74%),而该子集上最强的已发布 VLA 仅为 76/360(21%)。配对消融实验支持了自校准组合、复合变化下的镜头估计以及测量深度流程。在带有指令间物体状态传递的两步 LIBERO-Goal 链上,VAA 在变化单元中完成 54/60 条链,而评估的四个 VLA 均未完成。

关键要点

  1. 01VAA 无需演示或微调,即可在新机器人单元中完成抓取放置。
  2. 02夹爪和基座坐标系变化是 VLA 性能损失的主要来源。
  3. 03在 18 个变化单元中,VAA 成功率达 74%,远超最强 VLA 的 21%。
  4. 04配对消融验证了自校准、镜头估计和测量深度流程的有效性。
  5. 05两步 LIBERO-Goal 链中 VAA 完成 54/60,而四个 VLA 均未完成。

解读

尚无解读。

原始英文摘要

arXiv:2611.19198v1 Announce Type: new Abstract: In simulation, Vision-Agent-Action (VAA) performs pick-and-place in robot cells with gripper or base-frame changes without robot demonstrations or fine-tuning. It uses pre-trained vision-language and language models for interpretation, measures the command map and camera geometry from its own motion and fingertips, estimates lens distortion, and plans grasps from measured object depth. A controlled study of eight public LIBERO-fine-tuned vision-language-action models (VLAs) varies robot hardware, camera geometry, appearance, and base frame. Gripper and frame changes dominate their losses in the tested fractional design. Across 18 cells with these changes, frozen VAA achieves 230/360 successes (64%), the refined VAA 268/360 (74%), and the strongest released VLA on this subset 76/360 (21%). Paired ablations support the self-calibration bundle, lens estimation under compounded changes, and the measured-depth pipeline. On a two-step LIBERO-Goal chain with object state carried between instructions, VAA completes 54/60 chains in changed cells, while four evaluated VLAs complete none.

同方向论文 · cs.RO

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联工具 · 3

Google DeepMind78

Google DeepMind 发布 Gemini Robotics 2.5 视觉-语言-动作模型

Google DeepMind 发布 Gemini Robotics 2.5,称其为目前能力最强的视觉-语言-动作(VLA)模型,在200项任务上相比此前基线成功率提升30%至100%,完成任务速度快20%至30%。

推荐理由:原文给出200项任务评测、Mercedes-Benz产线96%成功率与安全指标,可判断VLA模型在真实场景的进展。

Hacker News · 首页84

Dream Labs 发布 Dream-1 机器人基础模型并开放公共 API

Dream Labs 发布 Dream-1 World Action Model,并面向全球开放公共 API,可零样本控制未见过的双臂平行夹爪机器人,无需针对目标机器人微调或提供示范数据。Dream-1 运行时价格为 $3/hour,Dream-1-flash 为 $2/hour;官方也披露了不同机器人上的性能差异,并通过 FaaS 支持基于少量自有数据的适配。

推荐理由:文章同时给出跨机器人零样本控制、公开 API、成本与失败边界,便于评估通用机器人模型的落地条件。

Google DeepMind76

Google DeepMind 发布 Gemini Robotics 2,为机器人带来全身智能控制

Google DeepMind 发布 Gemini Robotics 2,推出了三个模型:高级 VLA 模型可控制完整人形机器人从脚到指尖的运动,实现灵巧操作如系扣子;ER 2 推理模型可处理多步骤任务并协调多机器人协作;On-Device 2 模型可在几小时内适应全新机器人形态。

推荐理由:原文给出了三个模型的具体能力描述和可用入口,读者可以据此判断 Gemini Robotics 2 与前代及竞品的具体差异。