跳到正文
返回论文列表
cs.RO提交于 已译

何时交接?隐藏起始延迟让自博弈交接对陌生伙伴更鲁棒

When Will You Hand It Over? A Hidden Start Delay Makes Self-Play Handover Robust to Unfamiliar Partners

Mohammad Khoshnazar · Mike Degany · Deyuan Qu · Qing Yang · Matyas Szanto

中文摘要

合作自博弈(self-play)无需人类数据即可教会人形机器人接收物体,但训练后遇到的伙伴并非训练时的伙伴;实验显示流畅的自博弈交接策略在陌生伙伴面前会失效,研究识别主因并修复。在 Unitree G1 与学习型给予者之间的基于物理的包裹交接中,双方通过交替 PPO 自博弈训练,接收方与自己的伙伴(两个训练种子)完成 95% 和 90% 的交接,但与从未见过的脚本化伙伴仅完成 31%。配对干预定位原因:在共享奖励下,学习型给予者总是立即开始递送,导致接收方只学会单一会合点;将自身伙伴延迟一秒,成功率从 95% 降至 6%(第二种子从 87% 降至 34%)。引入隐藏起始延迟随机化(HSD),对学习型伙伴施加一行规则且接收方从不观测。再训练 300 次更新后,两个种子对未见脚本化伙伴的成功率从 31% 升至 80%,预算匹配对照组为 35–41%。增益在新场景种子、十一个留出伙伴条件以及比任何训练延迟都更晚启动的伙伴上均保持;高力接触减少三至五倍,且无需重新训练伙伴。

关键要点

  1. 01自博弈交接策略与陌生伙伴配合时成功率从 95% 骤降至 31%,暴露泛化缺陷。
  2. 02主因是学习型给予者总立即递送,接收方只学会单一会合点,延迟一秒即致成功率跌至 6%。
  3. 03隐藏起始延迟随机化(HSD)对伙伴施加一行规则且接收方不可见,再训练 300 次更新后陌生伙伴成功率升至 80%。
  4. 04增益在留出伙伴条件与更晚启动伙伴上保持,高力接触减少三至五倍,且无需重训伙伴。

解读

1. 问题与价值

这篇论文解决的是协作式 self-play 交接策略的“伙伴泛化”问题:机器人接收端和递出端一起训练,彼此配合得很流畅,但部署时遇到的递物者不是训练伙伴,尤其递物开始时间不同,策略就会崩溃。

它把失败定位到一个非常具体的物理时间变量:递出端什么时候开始伸手。原文给出的对照很直接:self-play 接收端与自己的共同训练伙伴能达到 95.0 / 89.5% 的 supported transfer,但与从未见过的 scripted partners 只有 30.5 / 30.5%;把训练伙伴的开始时间人为延迟 1 秒,成功率从 95.0% 掉到 6.0%,第二个种子从 87.0% 掉到 33.5%。

价值在于它不是只报告“self-play 会过拟合”,而是给出因果链和低成本修复。Hidden start-delay randomisation 让学习伙伴在每个 episode 隐藏地静止一段时间,接收端仍然只观察物理状态;300 次继续更新后,未见 scripted partners 的成功率从 30.5 / 30.5% 升到 80.5 / 80.0%,而预算匹配的 control 只有 35.0 / 41.0%。同时,高接触力 episode 的比例从 10.7 / 7.9% 降到 1.9 / 2.5%,说明修复不只是“接住”,还减少了碰撞。

受益者可以分三层看:

  • 研究团队:获得一个可检验的机制,即 shared reward 会把交接时间压成单一约定;也获得一个可复现的因果实验设计。
  • 应用开发者:如果已有 self-play 训练出的接收端,可以在不重新训练伙伴、甚至冻结伙伴的情况下,用隐藏开始延迟继续训练接收端。
  • 普通用户:当前还拿不到直接产品,但这项成果指向一个现实需求:机器人从不同节奏的人手中接包裹,而不是只接“按固定剧本递物”的包裹。

2. 已有工作的不足

在它之前,最接近的做法可以分成几类,每一类都差在“没有真正打散交接时刻”这一步。

  • Cooperative self-play / alternating PPO self-play:让 receiver 和 giver 共享奖励并互相适应。它能学出流畅交接,但 shared reward 让 giver 没有动机延迟,于是双方收敛到一个固定 rendezvous。原文中的现象是 own partner 高、unseen scripted partners 低,且 own partner 被延迟 1 秒后成功崩塌。
  • Partner pool / snapshot pool:保留多个历史伙伴快照,让 receiver 见到不同 partner identity。论文里的参考设置已经有最多 8 个快照,每 50 次迭代加入一个,episode 以 0.5 概率使用 live partner 或 snapshot。但快照伙伴继承了同样的开始时间约定,所以它增加了“身份”,没有增加“行为”。
  • Population-based reinforcement learning / historical partners:用多个独立或历史策略扩大伙伴集合。问题是策略多样性不一定等于策略行为多样性;如果所有伙伴都被同一个共享奖励压成“立刻开始”,pool 仍然不能修复 timing convention。
  • Hidden-utility self-play:通过隐藏 reward bias 让伙伴多样化。它的机制偏向奖励塑形,不是对某个物理变量施加隐藏硬约束。在接触丰富的 handover 里,关键不是伙伴“偏好”什么,而是它实际什么时候开始移动。
  • Co-GAIL:从演示中学习多样协作策略,包括 handover。它依赖 demonstrations,不满足“无人类数据 self-play”这一设定。
  • HandoverSim 一类仿真基准:通常让 giver 跟随预先准备的轨迹。它适合测试感知或轨迹跟踪,但不会让 giver 的 offer 和 release 成为学习策略,也就不能暴露“学习伙伴在共享奖励下形成单一开始时间”的问题。

3. 重建作者的思考路径

如果从旧方法出发,先面对的不是“怎么加隐藏延迟”,而是“为什么 self-play 明明很流畅,换个人就失败”。

第一步,研究者会怀疑 partner identity。也就是说,receiver 可能只认得训练时那一个 giver。于是自然会尝试:换另一个训练种子的 learned partner,或者加入 snapshot pool。这里会撞上一个矛盾:另一个种子的 learned partner 仍然能成功,原文报告 96.0 / 79.5%;snapshot pool 也仍然继承同一时间约定。这说明“伙伴是不是同一个人/同一个网络”不是主因。

第二步,会怀疑 partner 的精细控制能力。比如 giver 会不会通过位置修正、腕部倾斜、速度调节来给 receiver 提示。于是做 paired intervention:去掉位置修正,成功率仍是 94.0 / 88.5%;去掉 tilt 修正,仍是 95.0 / 89.0%;让 reach rate 恒定、不能等待,也只掉到 93.5 / 81.5%。这条路径会撞墙:这些变量不是主因。

第三步,会转向时间。既然 own partner 被延迟 1 秒就崩,而 scripted partner 被强制最早开始 0.2 秒就能从 30.5 / 30.5% 升到 57.5 / 51.0%,那么问题很可能集中在“开始时刻”。再观察第一次接触:own partner 下 receiver 在离 offer point 9 cm 处遇到包裹,手是开的,thumb presses 100%,stable grasp 99%;delayed partner 下在离 offer point 30 cm 处遇到包裹,手已经 42% 闭合,thumb around 33%,stable grasp 13%。这指向一个具体机制:receiver 学到的是“在哪里、什么时候抓”,不是“如何从不同时刻到达的手中抓”。

接下来要修,就会遇到新的分叉。

  • 如果让 partner 自己学会随机延迟,shared reward 会反对它,因为延迟会拖慢完成、降低共享奖励。
  • 如果直接告诉 receiver 延迟是多少,receiver 可能依赖这个额外信号,而不是学会从物理运动推断。
  • 如果随机化 scripted partners,可能过拟合 scripted 行为族,而且没有说明为什么 learned self-play 会失败。

更合理的改法是把“开始延迟”变成 partner 控制器里的隐藏硬约束:每个 episode 抽一个 delay,在 delay 之前强制 partner 的 reach rate 为 0,但不改变 receiver 的 observation、reward 或 network。这样 receiver 只能从 partner 手的运动推断 offer 何时开始。

改完还会出现新问题:只随机 start 够不够?交接还有 release 时刻。于是研究者会进一步把 release rule 也做成隐藏规则,例如 load、follow、settle。这里又会撞上边界:settle-withdrawal partner 要求 receiver 在拉之前先静止,而仅靠 start delay 不够;原文显示 scripted settle with withdrawal 仍低于 5%。

与论文实际路径的差异:我可能会先尝试更大的 partner population、更多 scripted partners,或者把 start delay 直接作为 observation 给 receiver;论文实际路径更克制,先用 paired interventions 把原因锁定到 partner start timing,再用一个隐藏硬约束做最小修复,并用 budget-matched control 排除“多训练 300 步”本身带来的收益。

4. 核心 intuition

可以把 self-play handover 想成办公室里的递包裹。如果同事每天总是你一坐下就把包裹递过来,你会养成一个固定动作:手伸到某个位置、某个时刻、某个开合程度去接。这个动作和同事的“立刻开始”绑定得很死。

第二天来了一个新同事,他先站在原地等了一秒才伸手。你的固定动作就会失败:手已经伸到错误位置,手指已经开始闭合,结果不是接住,而是撞到包裹或者抓空。

HSD 的作用就像让训练同事有时先等一会儿再递,而且不提前告诉你他要等多久。你不能再靠“他一定马上开始”这个私有约定,只能看他的手什么时候真正开始移动。于是接收端从“按固定时刻去抓”改成“根据对方运动推断开始时刻”。

这个类比能对上机制:隐藏的是 delay 本身,不隐藏的是手开始移动后的物理运动;receiver 没有新 observation,也没有新 reward,它必须从原有状态里推断 offer 何时发生。

5. 方法 pipeline 举例

输入一个具体 episode:0.5 kg 包裹,30 Hz 控制,episode 最长 8 秒;receiver 有 89 维 observation,partner 有 26 维 observation。取原文诊断用的固定延迟 d = 1s,它也在 HSD 的 d ∼ U[0, dmax] 且 dmax = 1s 范围内。

  1. Reset 后,partner hand 持有包裹,receiver 看到 partner hand pose、parcel pose、自己的关节状态、触觉力等,但看不到隐藏 delay。
  2. 在 t < 1s 时,HSD 规则强制 partner 的 reach rate 为 0,partner 手保持静止。receiver 如果沿用 self-play 策略,会像原文机制那样过早伸手;self-play 在 delayed own partner 下会在离 offer point 30 cm 处遇到包裹,手已经 42% 闭合。
  3. 在 t = 1s 后,partner 开始伸手。HSD 训练后的 receiver 不再依赖“伙伴一定立刻开始”,而是根据 partner hand 的实际运动接近包裹。
  4. 当 partner hand 打开后,receiver 单独形成 grip 并连续保持 15 个 control steps,满足 acquisition event A。
  5. 同时,supported transfer 还要求整个 episode 中 unsupported steps 总和不超过 3,robot 与 partner hand 的最大接触力不超过 20 N,包裹在 grasp 内 slip 不超过 3 cm。
  6. 原文对照显示:self-play 在 own partner fixed 1s delay 下只有 6.0 / 33.5%;HSD 后同一条件升到 93.5 / 89.0%。对从未训练的 scripted partners,self-play 是 30.5 / 30.5%,HSD 是 80.5 / 80.0%。
  7. 如果再加上 hidden release rule,例如 settle style 要求 receiver 至少承担一半重量并静止 0.4–0.8 秒,own partner settle style 从 HSD 的 24.7 / 40.3% 升到 HSD + release rule 的 79.2 / 88.3%。

6. 核心数学推导

6.1 两个策略如何动作

交接中有两个 actor。Receiver 的动作写为:

aR_t ∼ π_θR(· ∣ o_R≤t)

这里 aR_t 是 receiver 在时刻 t 的动作;π_θR 是 receiver policy;o_R≤t 是 receiver 到当前时刻为止的 observation history;∣ 表示“给定”。Partner 的动作写为:

aH_t ∼ π_θH(· ∣ oH_t)

aH_t 是 partner 动作,oH_t 是 partner 自己的 observation history。两个 actor 都只看到自己的 observation,不读取对方的内部命令,也看不到 hidden partner rule。

6.2 为什么 shared reward 会让 partner 立刻开始

Partner reward 原文写为:

rH_t = rR_t - cimp C_t - crel P_t - cnat N_t - cact ∥aH_t - aH_t-1∥^2

其中:

  • rR_t 是 receiver 的 reward。Partner 共享它,所以 receiver 完成得越早、越顺,partner 越有利。
  • C_t 表示继续 carrying 的成本,cimp = 0.25。
  • P_t 表示在 receiver 尚未形成 load 下 grip 时提前 release,crel = 40。
  • N_t 表示偏离自然递物动作,cnat = 2。
  • aH_t - aH_t-1 是 partner 动作变化,cact = 0.01。

推导很直接:如果 partner 延迟开始,rR_t 往往因为 progress、holding、completion 等项变差而下降;partner 的 reward 是 rR_t 减去自己的成本,所以延迟通常没有好处。Shared reward 因此把 partner 推向“立刻开始”。

6.3 HSD 如何改变开始时间分布

HSD 在每个 episode reset 时抽样:

d ∼ U[0, dmax]

原文设定 dmax = 1s,并从 0 ramp 到 1s over 150 iterations。对任意区间 [a, b],只要 0 ≤ a ≤ b ≤ 1,延迟落入该区间的概率是:

Pr[d ∈ [a,b]] = b - a

平均延迟是:

E[d] = (0 + 1)/2 = 0.5s

在 t < d 时,partner 的 reach rate 被强制为 0。这个规则不改变 receiver observation、reward 或 network,只改变 partner 的物理运动起点。

6.4 supported transfer 在算什么

原文 unsupported 公式在提取中损坏,无法逐字辨认;正文说明是“partner grip and robot hand together carry less than half the parcel weight”。按该语义可写成:

u_t = 1[ ∣F_Hz,t∣ + ∣F_Rz,t∣ < 1/2 m g ]

这里:

  • u_t 是时刻 t 是否 unsupported 的指示变量,条件成立时为 1。
  • F_Hz,t 是 partner hand 对包裹的竖直方向力。
  • F_Rz,t 是 receiver hand 对包裹的竖直方向力。
  • m 是包裹质量,原文为 0.5 kg。
  • g 是重力加速度。
  • 1/2 m g 是半重阈值。原文提取中出现 12 mg,按已知分数破坏应理解为 1/2 mg;若不接受该读法,则原文此处无法辨认。

接着定义 acquisition event A:partner hand 打开后,receiver 单独以 formed grip 连续保持 15 个 control steps。总成功指标为:

ST = 1[A] 1[sum u_t <= 3] 1[max F_RH <= 20N] 1[slip <= 3cm]

其中:

  • 1[A] 表示必须完成 acquisition。
  • sum u_t <= 3 表示整个 episode 最多允许 3 个 unsupported steps。
  • max F_RH <= 20N 表示 receiver 与 partner hand 的最大接触力不超过 20 N。
  • slip <= 3cm 表示包裹在 receiver grasp 内的位移不超过 3 cm。

一句话总结:这组公式把“交接成功”定义成“在物理上安全、持续承托、不碰撞、不打滑地完成独自持物”,而不是只要求最后拿到包裹。

7. 实验设计

实验不是传统数据集训练,而是物理仿真中的策略评估。

  • 仿真与任务:Isaac Lab / Isaac Sim / PhysX,30 Hz control,episode 最长 8 秒;0.5 kg 包裹;receiver 控制腰臂关节目标和手部闭合;partner 控制 reach rate、offer position 小修正、wrist tilt 和 release request。
  • 训练规模:reference self-play 训练 800 updates each,原文给出 13.1 million robot samples;按 512 × 32 × 800 = 13107200 可核对。继续更新 arms 使用 300 receiver updates 和 300 partner updates,原文给出 4.9 million robot samples;按 512 × 32 × 300 = 4915200 可核对。
  • 评估规模:每个 receiver–partner cell 使用固定 200 scenarios;held-out bank 是 11 个条件,100 per condition。
  • 伙伴类型:own learned partner、other-seed learned partner、scripted partners。Scripted partners 的 start time 为 0.2–1.2 s,包含 load、follow、settle 三类 release family;held-out bank 包含 late condition,其开始时间晚于任何训练 delay。
  • 基线:self-play only;budget-matched control;HSD;HSD frozen partner;HSD + release rule。
  • 指标:supported transfer;高接触力 episode 比例,阈值是 robot–partner contact above 20 N;first-touch 诊断,包括距离 offer point、hand closure、thumb around、stable grasp。
  • 消融与干预:去掉 position corrections;去掉 tilt corrections;constant reach rate;own partner start delayed by 1 s;scripted partner forced earliest 0.2 s;earliest start、fastest reach、no hesitation or sway;scripted partner forced latest 1.2 s;release families;frozen partner;fresh scenario seed;held-out bank。

实验能否支撑结论?对“仿真中 self-play 交接失败主要由 partner start timing 造成,HSD 能修复”这一主张,支撑较强:有 paired interventions、budget-matched control、fresh scenario seed、held-out bank、late condition、frozen partner 对照。统计上,200 scenarios 的 95% binomial interval 最多 ±7 points,重复评估同一对最多差 2.5 points,且 frozen partner 的 equivalence margin 是 5 points。

缺什么?缺真实机器人、缺人类参与者、缺视觉输入、只有两个训练种子、scripted partners 是设计行为、训练 delay range 与 scripted start range 有重叠。另需预算匹配的 randomized scripted partners 对照,以进一步区分“隐藏规则”和“一般随机伙伴”。

8. take-aways

  • Self-play 的流畅不等于伙伴泛化:own learned partner 下 supported transfer 是 95.0 / 89.5%,unseen scripted partners 下只有 30.5 / 30.5%。
  • 开始时间是因果主变量:own partner 被延迟 1 秒后,从 95.0 / 87.0% 掉到 6.0 / 33.5%;scripted partner 强制最早 0.2 秒开始后,从 30.5 / 30.5% 升到 57.5 / 51.0%。
  • HSD 能把未见 scripted partners 的成功率从 30.5 / 30.5% 提到 80.5 / 80.0%,而预算匹配 control 只有 35.0 / 41.0%;这说明增益不是单纯多训练 300 updates。
  • 修复可以很便宜:冻结 partner、只继续训练 receiver,也能得到接近学习 partner 的 robustness;fresh-seed scripted sets 的均值是 80.8 / 69.4% 对 76.6 / 71.9%,差值为 +4.1 / -2.5 points,在 5-point margin 内。
  • 物理安全也改善:held-out episodes 中 robot–partner contact above 20 N 的比例从 10.7 / 7.9% 降到 1.9 / 2.5%。
  • Release timing 是第二个隐藏变量:own partner settle style 从 HSD 的 24.7 / 40.3% 升到 HSD + release rule 的 79.2 / 88.3%;但 scripted settle with withdrawal 仍低于 5%,说明“先静止再拉”还没有解决。

9. 最脆弱的假设

最脆弱的假设是:陌生伙伴带来的主要分布偏移,确实集中在“开始递物的时间”这一个物理变量上,并且 hidden start delay 的范围足以覆盖部署伙伴的变化。

从实验设置看,这个假设有一定证据:paired interventions 显示延迟 own partner 1 秒会摧毁 handover;HSD 后 unseen scripted partners 从 30.5 / 30.5% 升到 80.5 / 80.0%;held-out bank 的 11 个条件均值从 30.5 / 27.2% 升到 78.8 / 62.7%;late condition 也高于 self-play。

但它仍然脆弱,原因有三:

  • 部署伙伴可能不是“开始时间不同”,而是 release 行为不同。settle-withdrawal partner 已经暴露这个边界:所有 receivers 都低于 5%,具体为 4.0 / 3.5、2.0 / 0.0、3.5 / 1.5。
  • 实验使用结构化状态,不使用图像或真实感知。真实人可能带来视觉、力觉、接触估计误差,这些不是 HSD 直接覆盖的变量。
  • 只有两个训练种子和 200 scenarios per cell。原文统计噪声是 95% binomial interval 最多 ±7 points,重复评估最多差 2.5 points;因此小样本下的具体百分比不能过度外推。

如果真实人类 giver 的开始时间分布、release 条件或感知状态显著超出 scripted partners 的设计范围,HSD 的增益可能不再成立。

10. 一周最小复现

目标不是复现全部表 2 和表 3,而是复现核心因果链:self-play 对开始时间敏感,HSD 能修复。

可执行步骤如下。

  1. 使用论文给出的代码和仿真环境,先确认能跑通一个 receiver–partner episode。原文规模是 512 environments、32 steps per iteration、30 Hz control、episode 最长 8 秒。
  2. 如果显存或时间不足,不要直接改成功指标;只能缩小环境数或更新数,并把结论降级为“趋势复现”,不能验收 80.5 / 80.0 这类具体数值。原文完整 reference 是 512 × 32 × 800 = 13107200 robot samples,继续更新是 512 × 32 × 300 = 4915200 robot samples,在 24GB 级单卡一周内跑接触丰富的人形仿真很可能紧张。
  3. 先做推理诊断,而不是从头训练。若已有 self-play checkpoint,用固定 200 scenarios 评估三类伙伴:own partner no delay、own partner fixed 1s delay、scripted partners unchanged。原文目标值是 95.0 / 87.0、6.0 / 33.5、30.5 / 30.5。
  4. 实现 HSD:在 partner controller 中加一个隐藏 delay,d ∼ U[0, 1s],在 t < d 时强制 reach rate 为 0;receiver observation、reward、network 不变。按原文,dmax 从 0 ramp 到 1s over 150 iterations。
  5. 从同一 self-play checkpoint 继续 300 receiver updates。为了对照,同时跑 budget-matched control:同样 300 updates,但不加 HSD。
  6. 评估同一批 200 scenarios。核心验收不是每个数字完全一致,而是方向一致:control 在 fixed 1s delay 和 unseen scripted 上仍低,HSD 显著回升。原文目标中,HSD fixed 1s delay 是 93.5 / 89.0,control 是 28.0 / 33.5;HSD unseen scripted 是 80.5 / 80.0,control 是 35.0 / 41.0。
  7. 如果算力允许,再跑 frozen partner:冻结 partner,只继续训练 receiver。原文 fresh-seed scripted sets 均值是 80.8 / 69.4 对 76.6 / 71.9,差值 +4.1 / -2.5 points,在 5-point margin 内。
  8. 如果算力仍不够,至少复现 first-touch 机制:记录 receiver 第一次接触包裹时距离 offer point 的位置和 hand closure。原文 seed 42、100 scenarios 下,own partner 是 9 cm 且 hand open;delayed partner 是 30 cm 且 hand 42% closed。这个诊断比最终成功率更能说明“固定时刻”失败机制。

预期指标:supported transfer;高接触力 episode 比例;first-touch distance、hand closure、stable grasp。统计判据:200 scenarios 下 95% binomial interval 最多 ±7 points,重复评估同一对最多差 2.5 points。

11. 反例设计

要推翻本文核心主张,可以设计一个“预算匹配但不随机化 start timing”的对照实验。

核心主张是:self-play 交接失败主要由 partner start timing 造成,HSD 通过隐藏开始延迟修复它。

实验设计:

  1. 从同一个 self-play checkpoint 出发,使用相同两个训练种子、相同 300 receiver updates 和 300 partner updates、相同 200 scenarios、相同 scripted partners。
  2. 设置一个 release-rule-only arm:只加入 hidden release rule,让 partner 的 release 条件多样化,但不加入 HSD,partner 仍然立刻开始。
  3. 同时保留 HSD arm 作为目标。原文 HSD 在 unseen scripted train unchanged 上是 80.5 / 80.0%,在 own partner fixed 1s delay 上是 93.5 / 89.0%。
  4. 判据:如果 release-rule-only arm 在 unseen scripted train unchanged 上达到 HSD 的统计等价区间,即 seed 42 至少 80.5-7=73.5,seed 43 至少 80.0-7=73.0,并且在 own partner fixed 1s delay 上也达到 seed 42 至少 93.5-7=86.5、seed 43 至少 89.0-7=82.0,那么说明不随机化 start timing 也能修复 timing failure。
  5. 若同时满足 repeated evaluation difference 不超过原文的 2.5 points,且 fresh scenario seed 和 held-out bank 也保持该水平,就能较强地推翻“partner start timing 是主因、HSD 是关键修复”的核心主张。

这个反例比单纯说“真实人类不同”更有针对性,因为它直接测试:修复到底来自 start timing 的隐藏随机化,还是来自任何形式的伙伴多样性或额外训练。

12. 落地判断

普通用户现在拿不到直接可用的产品。论文主体是物理仿真,使用结构化状态而不是图像,伙伴是 scripted 或 learned simulation hand,不是真实人类 giver;只有两个训练种子。普通用户能得到的只是方向性预期:未来接收端机器人可能更适应不同人递包裹的节奏,但还需要真实机器人、感知、安全验证和人类实验。

应用开发者可以拿走一个工程模式:如果已有 self-play 训练出的接收端,不要只靠 snapshot pool 或 sibling partners 评估鲁棒性,因为 snapshot pool 可能继承同一时间约定。可以在训练伙伴控制器里加 hidden start delay,并用 unseen scripted partners、held-out bank、fresh scenario seed 做预算匹配评估。原文显示 HSD 后 unseen scripted partners 从 30.5 / 30.5% 升到 80.5 / 80.0%,control 为 35.0 / 41.0%;如果已有自玩 pair,冻结 partner 也能接近该效果。但距离产品化还差真实状态估计、视觉输入、人类行为分布、力控安全、失败恢复和长期运行验证。

研究团队可以把它当作一个可复现的因果研究模板:先证明 self-play 对陌生伙伴失败,再用 paired interventions 定位单一物理变量,最后用隐藏硬约束修复,并用 budget-matched control、fresh seed、held-out conditions 验证。复现需要接触丰富仿真、两个 actor、privileged critic、PPO、512 environments 或可缩减规模、200 scenarios per cell、11 held-out conditions。独立验证还需要更多种子、真实机器人、人类参与者、视觉输入,以及 randomized scripted partners 的预算匹配对照。

成本量级上,原文 reference 训练规模是 512 × 32 × 800 = 13107200 robot samples,继续更新是 512 × 32 × 300 = 4915200 robot samples;接触仿真和长 horizon episode 会显著放大 wall-clock 成本。最大的坑是把“伙伴身份多样性”误当成“伙伴行为多样性”:snapshot pool 或 other-seed learned partners 可能仍然共享同一开始时间约定,从而高估鲁棒性。

内容由 AI 生成,仅供参考。如发现错误,欢迎反馈。

原始英文摘要

arXiv:2611.18491v1 Announce Type: new Abstract: Cooperative self-play can teach a humanoid to receive an object without any human data, but the partner it meets after training is never the one it trained with; we show that a fluent self-play handover policy breaks with unfamiliar partners, identify the main cause, and repair it. In a physics-based parcel handover between a Unitree G1 and a learned giver, both trained by alternating PPO self-play, the receiver completes 95% and 90% of handovers with its own partner (two training seeds) but only 31% with scripted partners it has never met. Paired interventions isolate the cause: under a shared reward the learned giver always starts its offer at once, so the receiver learns a single rendezvous, and delaying its own partner by one second cuts success from 95% to 6% (87% to 34% in the second seed). We introduce hidden start-delay randomisation (HSD), a one-line rule on the learned partner that the receiver never observes. After 300 further updates, success with unseen scripted partners rises from 31% to 80% in both seeds, against 35--41% for a budget-matched control. The gain holds on a fresh scenario seed, on eleven held-out partner conditions and on partners that start later than any training delay; it cuts high-force contact three- to five-fold and needs no retraining of the partner.

同方向论文 · cs.RO

查看全部 →