跳到正文
返回论文列表
cs.RO提交于 已译

FailureGen:用世界模型可扩展生成机器人失败数据

FailureGen: Scalable Robot Failure Data Generation with World Models

Akul Santhosh · Chaitra Sathe · Aastha Jhunjhunwala

中文摘要

机器人失败数据难以大规模采集,限制了机器人学习数据集中失败场景的覆盖范围。FailureGen 通过复用已记录失败中的动作轨迹,生成带时间事件标注的合成视频。方法分四个阶段:(1) 在成功与失败的真实执行数据上微调动作条件 Cosmos 世界模型;(2) 标注源记录,识别与失败相关的供体片段及兼容的成功宿主片段;(3) 将供体运动迁移到宿主上下文中,可选空间偏移,生成连续视频 rollout;(4) 根据观察到的事件和视觉质量对生成样本进行标注与过滤。研究了两种不同任务与机器人配置的实现,视觉失败检测作为下游应用之一。初步对比中,用真实与生成数据训练的检测器平均精度为 0.51,仅用真实数据为 0.41;检测到 36 个失败区间中的 33 个,仅用真实数据为 28 个。通过在其他上下文中复用已观察到的失败,FailureGen 扩展了可用于研究机器人失败和开发下游学习方法的数据。

关键要点

  1. 01机器人失败数据难以规模化采集,导致学习数据集中失败场景覆盖不足
  2. 02复用已记录失败的动作轨迹,经四阶段流程生成带时间事件标注的合成视频
  3. 03在两种任务与机器人配置上实现,视觉失败检测作为下游应用验证
  4. 04真实加生成数据训练检测器平均精度 0.51,仅真实数据为 0.41
  5. 05检测到 36 个失败区间中的 33 个,仅真实数据为 28 个

解读

尚无解读。

原始英文摘要

arXiv:2611.22367v1 Announce Type: cross Abstract: Robot failures are difficult to collect at scale, limiting the range of failure scenarios represented in robot learning datasets. We present FailureGen, a method for generating synthetic videos with temporal event annotations by reusing action trajectories from recorded failures. The method comprises four stages: (1) fine-tuning an action-conditioned Cosmos world model on successful and failed real executions; (2) annotating source recordings to identify failure-associated donor segments and compatible successful hosts; (3) transferring donor motion into host contexts, with optional spatial offsets, to generate continuous video rollouts; and (4) annotating and filtering the generated samples according to observed events and visual quality. We study two implementations with different tasks and robot configurations, with visual failure detection serving as one downstream application. In a preliminary comparison, a detector trained on real and generated data achieves an average precision of 0.51, compared with 0.41 using real data alone, and detects 33 of 36 failure intervals, compared with 28 of 36. By reusing observed failures in additional contexts, FailureGen expands the data available for studying robot failures and developing downstream learning methods.

同方向论文 · cs.RO

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联工具 · 1

NVIDIA Blog72

NVIDIA Cosmos 扩展世界模型训练、评测与部署工具

NVIDIA Cosmos 新增训练工具、仿真检查点与 Cosmos Data Factory 蓝图,用于构建训练数据、训练和适配世界模型,并完成仿真评测与部署。开发者可微调 GR00T、Alpamayo、QWEN、Pi0.5 等模型;Cosmos 3 NIM 在已验证配置中可实现最高 2 倍推理提速,Metropolis Blueprint 3.3 可在同一 GPU 上监控多 40% 的视频流。

推荐理由:新增工具覆盖训练数据构建、模型训练优化、策略测试与部署,并提供了具体应用效果。