跳到正文
返回论文列表
cs.RO提交于 已译

学习灵巧操控:手、模拟器、训练与评估

Learning Dexterous Manipulation: Hands, Simulators, Training, and Evaluation

Luai Abuelsamen

中文摘要

综述考察了113种基于学习的方法,涵盖灵巧手、训练模拟器、结果报告方式及任务趋势。多数研究采用统一范式:在GPU模拟器中基于特权状态进行强化学习,再蒸馏为仅依赖视觉的学生策略并迁移至真实硬件;第二条增长更快的路线则利用遥操作示范,通过视觉-语言-动作模型、Diffusion策略及采集系统学习。2022年以来相关论文数量增至三倍。抓取仍是最大任务类别,双手协同增长最快,实验多集中于四种机械手。代码与厂商规格对比还显示,八种可购买或依据公开设计构建的机械手未见于方法论文;物体插入深度也未按产生运动的物理机制测量。第VII节为这些未报告量提出统一协议,并给出各项统计依据。

关键要点

  1. 01综述覆盖113种灵巧操控学习方法及其机械手、模拟器和评估方式。
  2. 02主流范式是在GPU模拟器中用特权状态强化学习,再蒸馏为视觉学生策略。
  3. 03另一条快速增长的路线使用遥操作示范、视觉-语言-动作模型和Diffusion策略。
  4. 042022年以来论文数量增至三倍,抓取占比最大,双手协同增长最快。
  5. 05八种可购或可自建机械手未见于方法论文,相关物理量也缺乏测量。

解读

尚无解读。

原始英文摘要

arXiv:2610.33486v1 Announce Type: new Abstract: A dexterous hand can change an object's pose without setting it down. This survey covers 113 learning-based methods that attempt it, the hands they run on, the simulators they train in, and how they report results. The field has largely converged on one recipe: reinforcement learning on privileged state in a GPU simulator, distilled into a vision-only student for transfer to hardware. Almost half the corpus trains that way, nearly all of it in one simulator, whose own successors are barely used. A second and faster-growing branch learns from teleoperated demonstration instead, through vision-language-action models, diffusion policies, and systems whose contribution is the collection rig itself. Published work has tripled since 2022. Grasping remains the largest task family and bimanual coordination the fastest-rising, and almost every experiment runs on one of four hands. What the survey adds comes from reading released code and vendor specifications beside the papers. Eight hands that can be bought or built from published designs appear in no method paper here. Where the depth a hand sinks into the object it holds is reported at all, it is not measured in the physics that produced the motion. Section VII proposes a protocol for the unreported quantities; the body gives the counts behind every claim above.

同方向论文 · cs.RO

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联工具 · 4

Google DeepMind78

Google DeepMind 发布 Gemini Robotics 2.5 视觉-语言-动作模型

Google DeepMind 发布 Gemini Robotics 2.5,称其为目前能力最强的视觉-语言-动作(VLA)模型,在200项任务上相比此前基线成功率提升30%至100%,完成任务速度快20%至30%。

推荐理由:原文给出200项任务评测、Mercedes-Benz产线96%成功率与安全指标,可判断VLA模型在真实场景的进展。

Google DeepMind76

Google DeepMind 发布 Gemini Robotics 2,为机器人带来全身智能控制

Google DeepMind 发布 Gemini Robotics 2,推出了三个模型:高级 VLA 模型可控制完整人形机器人从脚到指尖的运动,实现灵巧操作如系扣子;ER 2 推理模型可处理多步骤任务并协调多机器人协作;On-Device 2 模型可在几小时内适应全新机器人形态。

推荐理由:原文给出了三个模型的具体能力描述和可用入口,读者可以据此判断 Gemini Robotics 2 与前代及竞品的具体差异。

Hugging Face Blog70

Hugging Face 开源 Grabette:手持式机器人操作数据采集系统

Hugging Face 发布 Grabette,一款开源手持式机器人操作数据采集系统。用户可用手持夹持器记录人类演示,自动转换为 LeRobot 格式的数据集用于训练机器人策略。

推荐理由:原文给出了具体的硬件成本 BOM、配套的 Gripette 机械爪和 LeRobot 训练流程,读者可以据此判断这个数据采集方案是否适合自己的机器人学习项目。

Hugging Face Blog82

LeRobot v0.6.0 发布:引入世界模型策略、奖励模型 API 和新基准

LeRobot v0.6.0 发布,带来世界模型策略(VLA-JEPA、LingBot-VA、FastWAM)让机器人学会想象未来,以及一批新 VLA 模型(GR00T N1.7、MolmoAct2、EO-1、EVO1)。

推荐理由:原文给出了 world model policies、新 VLA 模型、reward models API 等具体能力变化,读者可以据此了解机器人学习工具链的最新进展。