Google DeepMind 发布 Gemini Robotics ER 2,带来视频理解、任务编排和多机器人协作能力
Google DeepMind 发布 Gemini Robotics ER 2,这是其最强大的具身推理模型。该模型可调用 Google Search 等工具,支持多步骤任务自纠错,并将执行交接给低层 VLA 模型。
推荐理由:原文给出了视频理解、任务编排和多机器人协作的具体性能数据,读者可以据此了解具身智能的最新能力边界和可用入口。
VICTR: Value-Informed In-Context Learning for Vision-Language-Action Models
Luca Macesanu · Tianluo Zhang · Aditya Patil · Archit Sharma · Kevin Angers · Christopher M. Clark · et al.
机器人基础模型的最新进展凸显了上下文学习(in-context learning, ICL)的潜力:无需额外微调即可从演示中适配机器人行为。已有工作通过基于检索的后训练,让预训练视觉-语言-动作(vision-language-action, VLA)模型学会以检索到的视觉相关演示片段为条件预测动作,从而具备 ICL 能力。但检索的有效性取决于能否选出与当前执行阶段相关的上下文,而仅靠视觉相似度可能无法捕捉这一点。VICTR 是一个让 VLA 实现上下文学习的框架,其核心是上下文价值函数估计器(In-Context Value Function Estimator, IC-VFE),并据此进行进度感知的上下文检索。IC-VFE 以参考演示视频、语言指令和当前观测为条件,估计任务相对进度。由于进度估计以参考演示为条件,IC-VFE 即使面对训练中未见的任务,也能将当前状态与演示执行对齐。VICTR 利用估计进度选取处于对应执行阶段的演示片段,并将其提供给经后训练用于上下文动作生成的 π_{0.5} 策略。在未见过的域外真实世界操作任务上,VICTR 将微调 π_{0.5} 基线的成功率从 6.2% 提升至 23.8%,任务进度率从 28.9% 提升至 55.5%,提升超过一倍。项目页面含代码、数据和视频:https://ai4ce.github.io/VICTR/
尚无解读。
arXiv:2611.08698v1 Announce Type: new Abstract: Recent advances in robot foundation models have highlighted the potential of in-context learning (ICL) for adapting robot behavior from demonstrations without further fine-tuning. Previous work has used retrieval-based post-training to equip pretrained vision-language-action (VLA) models with the capability for ICL by teaching them to condition action predictions on retrieved visually-relevant demonstration chunks. However, the effectiveness of retrieval hinges on selecting context relevant to the current execution stage, which visual similarity alone may not capture. We introduce VICTR, a framework enabling in-context learning in VLAs via progress-informed context retrieval built around an In-Context Value Function Estimator (IC-VFE). IC-VFE conditions on a reference demonstration video, a language instruction and the current observation to estimate task-relative progress. By conditioning progress estimation on a reference demonstration, IC-VFE can align the current state with a demonstrated execution even for tasks unseen during training. VICTR uses the estimated progress to select demonstration chunks at corresponding stages of execution and supplies them to a $\pi_{0.5}$ policy post-trained for in-context action generation. On unseen out-of-domain real-world manipulation tasks, VICTR raises the success rate from 6.2% for a fine-tuned $\pi_{0.5}$ baseline to 23.8% and more than doubles the task progress rate, from 28.9% to 55.5%. Project page with code, data and videos: https://ai4ce.github.io/VICTR/
Google DeepMind 发布 Gemini Robotics ER 2,这是其最强大的具身推理模型。该模型可调用 Google Search 等工具,支持多步骤任务自纠错,并将执行交接给低层 VLA 模型。
推荐理由:原文给出了视频理解、任务编排和多机器人协作的具体性能数据,读者可以据此了解具身智能的最新能力边界和可用入口。
Google DeepMind 发布 Gemini Robotics-ER 1.6,这是其首个推理优先模型的重大升级版。该模型增强了空间推理和多视角理解能力,专门用于视觉与空间理解、任务规划和成功检测,并能原生调用工具如 Google Search、视觉语言动作模型或第三方函数。
推荐理由:原文给出了具体性能对比和新增的仪表读取功能,读者可以据此判断该模型在机器人实体推理场景中的具体提升和可用性。
Google DeepMind 发布 Gemini Robotics 2,推出了三个模型:高级 VLA 模型可控制完整人形机器人从脚到指尖的运动,实现灵巧操作如系扣子;ER 2 推理模型可处理多步骤任务并协调多机器人协作;On-Device 2 模型可在几小时内适应全新机器人形态。
推荐理由:原文给出了三个模型的具体能力描述和可用入口,读者可以据此判断 Gemini Robotics 2 与前代及竞品的具体差异。