跳到正文
返回论文列表
cs.RO提交于 已译

迈向智能体机器人:模型、数据、环境与框架

Towards Agentic Robots: Model, Data, Environment, and Harness

Chonghan Qin · Dongming Wu · Kaituo Feng · Jiaxu Wang · Xinlei Yu · Peiwen Sun · et al.

中文摘要

基础模型正推动机器人智能的范式转变,从低层动作预测转向对数据采集、模型训练、任务规划及现实执行的目标导向编排。该范式被称为智能体机器人(agentic robots),其中智能体基于人类指令进行推理,与机器人环境交互,自主纠正执行错误并动态调整策略。尽管该领域发展迅速,但现有研究缺乏连贯性,研究人员对如何将不同智能体功能整合为完整机器人系统缺乏一致观点。该综述提供了智能体机器人研究的统一概览,追溯了从机器人策略到智能体系统的发展,涵盖视觉-语言-动作模型、世界模型及世界-动作模型。文章明确了智能体机器人的定义与范围,将现有研究划分为模型、数据、环境与框架四个功能领域的十七个类别。通过考察智能体如何塑造模型学习与决策、收集与整理数据、构建用于学习和评估的世界、任务及测试,以及组织机器人能力,文章最后讨论了开放挑战并概述了未来研究方向,旨在支持构建更强大、可靠且自适应的智能体机器人。

关键要点

  1. 01指出当前智能体机器人研究缺乏连贯性,缺乏将不同功能整合为完整系统的一致观点。
  2. 02提出统一框架,将研究划分为模型、数据、环境与框架四个功能领域的十七个类别。
  3. 03追溯从机器人策略到智能体系统的发展,涵盖视觉-语言-动作模型、世界模型等关键技术。
  4. 04讨论智能体在模型学习、数据收集、环境构建及能力组织中的具体作用机制。
  5. 05分析该领域的开放挑战,并概述未来研究在提升机器人能力、可靠性与适应性方面的方向。

解读

尚无解读。

原始英文摘要

arXiv:2610.20442v1 Announce Type: new Abstract: Foundation models are driving a paradigm shift in robotic intelligence, moving beyond low-level action prediction to goal-directed orchestration of data collection, model training, task planning, and real-world execution. We characterize this emerging paradigm as an agentic robots, in which agents reason over human instructions, interact with robotic environments, rectify execution errors autonomously, and dynamically adjust operational strategies. Although this field develops fast, current studies are not well connected. Researchers have no consistent view of how to combine different agentic functions into a complete robot system. This paper provides a unified overview of existing research on agentic robots. We first trace the development from robot policies to agentic systems, covering vision-language-action models, world models, and world-action models. We then clarify the definition and scope of agentic robots and organize existing research into seventeen categories across four functional domains: Model, Data, Environment, and Harness. Across these domains, we examine how agents shape model learning and robot decisions, collect and curate robot data, construct worlds, tasks, and tests for learning and evaluation, and organize capabilities for robot use. Finally, we discuss open challenges and outline directions for future research. Looking forward, we hope this work contributes to a clearer understanding of agentic robots and supports new approaches to making them more capable, reliable, and adaptive.

同方向论文 · cs.RO

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联工具 · 6

量子位 QbitAI80

英伟达发布机器人基础模型GR00T 2,模型与数据将陆续开源

英伟达在CoRL大会上发布新一代世界动作模型GR00T 2,可同时预测未来画面与机器人动作,模型、数据、仿真环境和数据采集硬件将陆续开源,10万小时人类数据已率先开放。

推荐理由:英伟达GR00T 2的跨本体迁移路径与数据金字塔构成,可供读者判断机器人基础模型的训练范式变化。

Google DeepMind78

Google DeepMind 发布 Gemini Robotics 2.5 视觉-语言-动作模型

Google DeepMind 发布 Gemini Robotics 2.5,称其为目前能力最强的视觉-语言-动作(VLA)模型,在200项任务上相比此前基线成功率提升30%至100%,完成任务速度快20%至30%。

推荐理由:原文给出200项任务评测、Mercedes-Benz产线96%成功率与安全指标,可判断VLA模型在真实场景的进展。

Hacker News · 首页79

Google DeepMind 发布 Genie 4 原生多模态世界模型

Google DeepMind 发布 Genie 4 世界模型,可实时生成视觉画面、环境声音和交互对话,并通过自然语言控制场景、角色与事件。模型由 Gemini 3.8 Flash 持续观察场景、拆解目标并校正执行步骤;Genie 4 现已面向可信测试者开放研究预览,之后将进入 Project Genie、Gemini API 和 Google AI Studio。

推荐理由:原文披露了 Genie 4 的实时交互、原生音频和 Gemini 协同机制,也明确列出长期一致性等限制,便于判断其研究与落地边界。

Product Hunt · AI 分类67

Google 发布 Genie 4 智能体,可在虚拟 3D 世界中交互

Google 发布 Genie 4,这是一个由 Gemini 驱动的智能体,可在虚拟 3D 世界中与用户一起游玩、推理和学习。它不止执行基础指令,还能在交互环境中思考、理解并采取行动,用户可通过文本、语音或图像与它交流。

推荐理由:原文交代了 Genie 4 在虚拟 3D 环境中的交互方式,读者可据此判断它与只执行指令的智能体有何差别。

NVIDIA Blog72

NVIDIA Cosmos 扩展世界模型训练、评测与部署工具

NVIDIA Cosmos 新增训练工具、仿真检查点与 Cosmos Data Factory 蓝图,用于构建训练数据、训练和适配世界模型,并完成仿真评测与部署。开发者可微调 GR00T、Alpamayo、QWEN、Pi0.5 等模型;Cosmos 3 NIM 在已验证配置中可实现最高 2 倍推理提速,Metropolis Blueprint 3.3 可在同一 GPU 上监控多 40% 的视频流。

推荐理由:新增工具覆盖训练数据构建、模型训练优化、策略测试与部署,并提供了具体应用效果。

Google DeepMind70

Google DeepMind 发布 Gemini Robotics-ER 1.6:增强实体推理赋能机器人任务

Google DeepMind 发布 Gemini Robotics-ER 1.6,这是其首个推理优先模型的重大升级版。该模型增强了空间推理和多视角理解能力,专门用于视觉与空间理解、任务规划和成功检测,并能原生调用工具如 Google Search、视觉语言动作模型或第三方函数。

推荐理由:原文给出了具体性能对比和新增的仪表读取功能,读者可以据此判断该模型在机器人实体推理场景中的具体提升和可用性。