跳到正文
返回论文列表
cs.RO提交于 已译

3DTouch:面向灵巧操作的触觉感知 VLA 模型,融合 3D 几何关系

3DTouch: A Tactile-aware VLA Model with 3D Geometric Relations for Dexterous Manipulation

Xin Zhang · Shiqi Zhang · Siyuan Cao · Juncheng Cai · Yedong Shen · Yuxuan Gao · et al.

中文摘要

在接触密集的灵巧操作中,手指与交互物体的遮挡会掩盖局部几何,使视觉观测无法完整捕捉接触位置;视觉上相似的场景也可能在交互物体的相对位置上存在细微差异,从而导致不同的接触状态。为此提出 3DTouch,一种面向视觉-语言-动作(VLA)模型的触觉-几何条件化方法。3DTouch 将 RGB-D 场景点与五指密集触觉测量统一表达在机器人基座坐标系中,构建共享的 3D 视触觉表征,保留每个触觉单元(taxel)的空间位置与力向量。基于手部关键点与姿态对齐重建表面推导的手-物、物-物关系,显式描述交互实体间的相对排布。这些表征共同将 VLA 动作专家条件化于空间定位的接触力与相对表面几何,为接触调整与物体对齐提供显式线索。在配备 XHand 灵巧手的 UR7e 机械臂上,于五项真实世界接触密集灵巧操作任务中评估 3DTouch:平均成功率较对应 VLA 基线提升 42 个百分点,较最强对比方法提升 20 个百分点。消融实验表明场景几何与空间触觉反馈具有互补收益,共享空间 grounding 与显式几何关系带来进一步提升。

关键要点

  1. 01问题:手指与物体遮挡使视觉难以捕捉接触位置,视觉相似场景的接触状态可能不同。
  2. 02方法:将 RGB-D 点与五指触觉测量统一到基座坐标系,构建共享 3D 视触觉表征。
  3. 03方法:用手部关键点与重建表面推导手-物、物-物关系,显式编码相对几何。
  4. 04结果:五项真实任务平均成功率较 VLA 基线提升 42 个百分点,较最强对比提升 20 个百分点。
  5. 05局限:仅在 UR7e 与 XHand 平台、五项真实任务上验证,未涉及更大规模泛化。

解读

尚无解读。

原始英文摘要

arXiv:2611.23961v1 Announce Type: new Abstract: In contact-rich dexterous manipulation, occlusion by the fingers and interacting objects obscures local geometry, preventing visual observations from fully capturing contact locations. Visually similar scenes may also differ subtly in the relative positions of interacting objects, leading to different contact states. We propose 3DTouch, a tactile-geometric conditioning approach for vision-language-action (VLA) models. 3DTouch constructs a shared 3D visuo-tactile representation by expressing RGB-D scene points and dense five-finger tactile measurements in the robot-base frame, preserving each taxel's spatial location and force vector. Hand-object and object-object relations derived from hand landmarks and pose-aligned reconstructed surfaces explicitly describe the relative arrangement of interacting entities. Together, these representations condition the VLA action expert on spatially localized contact forces and relative surface geometry, providing explicit cues for contact adjustment and object alignment. We evaluate 3DTouch on five real-world contact-rich dexterous manipulation tasks using a UR7e robot arm equipped with an XHand dexterous hand. 3DTouch improves the average success rate by 42 percentage points over the corresponding VLA baseline and by 20 percentage points over the strongest evaluated alternative. Ablation studies reveal the complementary benefits of scene geometry and spatial tactile feedback, with further gains from shared spatial grounding and explicit geometric relations.

同方向论文 · cs.RO

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联工具 · 1

Google DeepMind76

Google DeepMind 发布 Gemini Robotics 2,为机器人带来全身智能控制

Google DeepMind 发布 Gemini Robotics 2,推出了三个模型:高级 VLA 模型可控制完整人形机器人从脚到指尖的运动,实现灵巧操作如系扣子;ER 2 推理模型可处理多步骤任务并协调多机器人协作;On-Device 2 模型可在几小时内适应全新机器人形态。

推荐理由:原文给出了三个模型的具体能力描述和可用入口,读者可以据此判断 Gemini Robotics 2 与前代及竞品的具体差异。