跳到正文
返回论文列表
cs.RO提交于 已译

Being-M0.7:面向人形机器人的潜在世界-动作模型

Being-M0.7: A Latent World-Action Model for Humanoid Robots

Junpeng Yue · Boyuan Li · Yuxuan Wang · Zepeng Wang · Yuhui Fu · Feiyang Xie · et al.

中文摘要

人形机器人的运动操作需要协调的移动与操控,并依赖对场景未来演化和全身运动的预判。然而,机器人演示数据稀缺限制了这方面能力的习得。人类视频与运动数据集提供了可扩展的监督信号,但其中多数仅包含视频或运动,而非成对数据;此外,人类运动也不能直接给出可执行的机器人动作。Being-M0.7 是一个潜在世界-动作模型,通过预训练、机器人中间训练和动作后训练三阶段,将混合模态人类数据中学到的视觉-运动先验迁移到人形机器人控制。团队从超过 10,000 小时的原始以人为中心数据中整理语料库,整合纯视频、纯运动与成对的视频-运动流,学习互补的视觉动态与全身运动学结构。联合预测未来潜在视觉状态与运动,促使视觉表征编码未来的运动学信息。机器人中间训练将该粗粒度先验适配到机器人视角与身体动力学。动作后训练阶段,动作专家通过门控交叉注意力,将冻结的、经适配的先验所产生的视觉预测表征与当前图像和本体感知融合,将预测性上下文落实到可执行的全身指令。Being-M0.7 在 SIMPLE 仿真基准上取得所有对比基线中的最高聚合成功率,并在真实世界 Unitree G1 运动操作任务中与最强基线持平。

关键要点

  1. 01问题:人形机器人运动操作数据稀缺,且人类数据多为单模态,人类运动不可直接迁移为机器人动作
  2. 02方法:三阶段训练(预训练/机器人中间训练/动作后训练),用 10,000+ 小时多模态人类数据训练潜在世界-动作模型,门控交叉注意力融合预测表征与本体感知
  3. 03创新:联合预测未来潜在视觉状态与运动,使视觉表征显式编码未来运动学
  4. 04结果:在 SIMPLE 上基准达到对比方法最高聚合成功率,真实 Unitree G1 任务与最佳基线持平
  5. 05局限:摘要未披露失败案例细节与跨平台泛化能力

解读

尚无解读。

原始英文摘要

arXiv:2610.11283v1 Announce Type: new Abstract: Humanoid loco-manipulation requires coordinated locomotion and manipulation informed by future scene evolution and whole-body motion, yet learning these capabilities is constrained by scarce robot demonstrations. Human video and motion datasets offer scalable supervision, but many contain only video or motion rather than paired video-motion data. Moreover, human motion does not directly specify executable robot actions. We present Being-M0.7, a latent world-action model that transfers visual-motion priors learned from mixed-modality human data to humanoid control through pre-training, robot mid-training, and action post-training. We curate a corpus from more than 10,000 hours of raw human-centric data, integrating video-only, motion-only, and paired video-motion streams to learn complementary visual dynamics and whole-body kinematic structure. Joint prediction of future latent visual states and motion encourages visual representations to encode future kinematics. Robot mid-training adapts this coarse-grained prior to robot viewpoints and body dynamics. During action post-training, an action expert combines visual predictive representations from the frozen, adapted prior with current images and proprioception through gated cross-attention, grounding predictive context in executable whole-body commands. Being-M0.7 achieves the highest aggregate success rate among the compared baselines on SIMPLE and matches the strongest baseline on real-world Unitree G1 loco-manipulation tasks.

同方向论文 · cs.RO

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联工具 · 1

量子位 QbitAI80

英伟达发布机器人基础模型GR00T 2,模型与数据将陆续开源

英伟达在CoRL大会上发布新一代世界动作模型GR00T 2,可同时预测未来画面与机器人动作,模型、数据、仿真环境和数据采集硬件将陆续开源,10万小时人类数据已率先开放。

推荐理由:英伟达GR00T 2的跨本体迁移路径与数据金字塔构成,可供读者判断机器人基础模型的训练范式变化。