何时交接?隐藏起始延迟让自博弈交接对陌生伙伴更鲁棒
When Will You Hand It Over? A Hidden Start Delay Makes Self-Play Handover Robust to Unfamiliar Partners
Mohammad Khoshnazar · Mike Degany · Deyuan Qu · Qing Yang · Matyas Szanto
中文摘要
合作自博弈(self-play)无需人类数据即可教会人形机器人接收物体,但训练后遇到的伙伴并非训练时的伙伴;实验显示流畅的自博弈交接策略在陌生伙伴面前会失效,研究识别主因并修复。在 Unitree G1 与学习型给予者之间的基于物理的包裹交接中,双方通过交替 PPO 自博弈训练,接收方与自己的伙伴(两个训练种子)完成 95% 和 90% 的交接,但与从未见过的脚本化伙伴仅完成 31%。配对干预定位原因:在共享奖励下,学习型给予者总是立即开始递送,导致接收方只学会单一会合点;将自身伙伴延迟一秒,成功率从 95% 降至 6%(第二种子从 87% 降至 34%)。引入隐藏起始延迟随机化(HSD),对学习型伙伴施加一行规则且接收方从不观测。再训练 300 次更新后,两个种子对未见脚本化伙伴的成功率从 31% 升至 80%,预算匹配对照组为 35–41%。增益在新场景种子、十一个留出伙伴条件以及比任何训练延迟都更晚启动的伙伴上均保持;高力接触减少三至五倍,且无需重新训练伙伴。
关键要点
- 01自博弈交接策略与陌生伙伴配合时成功率从 95% 骤降至 31%,暴露泛化缺陷。
- 02主因是学习型给予者总立即递送,接收方只学会单一会合点,延迟一秒即致成功率跌至 6%。
- 03隐藏起始延迟随机化(HSD)对伙伴施加一行规则且接收方不可见,再训练 300 次更新后陌生伙伴成功率升至 80%。
- 04增益在留出伙伴条件与更晚启动伙伴上保持,高力接触减少三至五倍,且无需重训伙伴。
解读
内容由 AI 生成,仅供参考。如发现错误,欢迎反馈。
原始英文摘要
arXiv:2611.18491v1 Announce Type: new Abstract: Cooperative self-play can teach a humanoid to receive an object without any human data, but the partner it meets after training is never the one it trained with; we show that a fluent self-play handover policy breaks with unfamiliar partners, identify the main cause, and repair it. In a physics-based parcel handover between a Unitree G1 and a learned giver, both trained by alternating PPO self-play, the receiver completes 95% and 90% of handovers with its own partner (two training seeds) but only 31% with scripted partners it has never met. Paired interventions isolate the cause: under a shared reward the learned giver always starts its offer at once, so the receiver learns a single rendezvous, and delaying its own partner by one second cuts success from 95% to 6% (87% to 34% in the second seed). We introduce hidden start-delay randomisation (HSD), a one-line rule on the learned partner that the receiver never observes. After 300 further updates, success with unseen scripted partners rises from 31% to 80% in both seeds, against 35--41% for a budget-matched control. The gain holds on a fresh scenario seed, on eleven held-out partner conditions and on partners that start later than any training delay; it cuts high-force contact three- to five-fold and needs no retraining of the partner.
1. 问题与价值
这篇论文解决的是协作式 self-play 交接策略的“伙伴泛化”问题:机器人接收端和递出端一起训练,彼此配合得很流畅,但部署时遇到的递物者不是训练伙伴,尤其递物开始时间不同,策略就会崩溃。
它把失败定位到一个非常具体的物理时间变量:递出端什么时候开始伸手。原文给出的对照很直接:self-play 接收端与自己的共同训练伙伴能达到 95.0 / 89.5% 的 supported transfer,但与从未见过的 scripted partners 只有 30.5 / 30.5%;把训练伙伴的开始时间人为延迟 1 秒,成功率从 95.0% 掉到 6.0%,第二个种子从 87.0% 掉到 33.5%。
价值在于它不是只报告“self-play 会过拟合”,而是给出因果链和低成本修复。Hidden start-delay randomisation 让学习伙伴在每个 episode 隐藏地静止一段时间,接收端仍然只观察物理状态;300 次继续更新后,未见 scripted partners 的成功率从 30.5 / 30.5% 升到 80.5 / 80.0%,而预算匹配的 control 只有 35.0 / 41.0%。同时,高接触力 episode 的比例从 10.7 / 7.9% 降到 1.9 / 2.5%,说明修复不只是“接住”,还减少了碰撞。
受益者可以分三层看:
2. 已有工作的不足
在它之前,最接近的做法可以分成几类,每一类都差在“没有真正打散交接时刻”这一步。
3. 重建作者的思考路径
如果从旧方法出发,先面对的不是“怎么加隐藏延迟”,而是“为什么 self-play 明明很流畅,换个人就失败”。
第一步,研究者会怀疑 partner identity。也就是说,receiver 可能只认得训练时那一个 giver。于是自然会尝试:换另一个训练种子的 learned partner,或者加入 snapshot pool。这里会撞上一个矛盾:另一个种子的 learned partner 仍然能成功,原文报告 96.0 / 79.5%;snapshot pool 也仍然继承同一时间约定。这说明“伙伴是不是同一个人/同一个网络”不是主因。
第二步,会怀疑 partner 的精细控制能力。比如 giver 会不会通过位置修正、腕部倾斜、速度调节来给 receiver 提示。于是做 paired intervention:去掉位置修正,成功率仍是 94.0 / 88.5%;去掉 tilt 修正,仍是 95.0 / 89.0%;让 reach rate 恒定、不能等待,也只掉到 93.5 / 81.5%。这条路径会撞墙:这些变量不是主因。
第三步,会转向时间。既然 own partner 被延迟 1 秒就崩,而 scripted partner 被强制最早开始 0.2 秒就能从 30.5 / 30.5% 升到 57.5 / 51.0%,那么问题很可能集中在“开始时刻”。再观察第一次接触:own partner 下 receiver 在离 offer point 9 cm 处遇到包裹,手是开的,thumb presses 100%,stable grasp 99%;delayed partner 下在离 offer point 30 cm 处遇到包裹,手已经 42% 闭合,thumb around 33%,stable grasp 13%。这指向一个具体机制:receiver 学到的是“在哪里、什么时候抓”,不是“如何从不同时刻到达的手中抓”。
接下来要修,就会遇到新的分叉。
更合理的改法是把“开始延迟”变成 partner 控制器里的隐藏硬约束:每个 episode 抽一个 delay,在 delay 之前强制 partner 的 reach rate 为 0,但不改变 receiver 的 observation、reward 或 network。这样 receiver 只能从 partner 手的运动推断 offer 何时开始。
改完还会出现新问题:只随机 start 够不够?交接还有 release 时刻。于是研究者会进一步把 release rule 也做成隐藏规则,例如 load、follow、settle。这里又会撞上边界:settle-withdrawal partner 要求 receiver 在拉之前先静止,而仅靠 start delay 不够;原文显示 scripted settle with withdrawal 仍低于 5%。
与论文实际路径的差异:我可能会先尝试更大的 partner population、更多 scripted partners,或者把 start delay 直接作为 observation 给 receiver;论文实际路径更克制,先用 paired interventions 把原因锁定到 partner start timing,再用一个隐藏硬约束做最小修复,并用 budget-matched control 排除“多训练 300 步”本身带来的收益。
4. 核心 intuition
可以把 self-play handover 想成办公室里的递包裹。如果同事每天总是你一坐下就把包裹递过来,你会养成一个固定动作:手伸到某个位置、某个时刻、某个开合程度去接。这个动作和同事的“立刻开始”绑定得很死。
第二天来了一个新同事,他先站在原地等了一秒才伸手。你的固定动作就会失败:手已经伸到错误位置,手指已经开始闭合,结果不是接住,而是撞到包裹或者抓空。
HSD 的作用就像让训练同事有时先等一会儿再递,而且不提前告诉你他要等多久。你不能再靠“他一定马上开始”这个私有约定,只能看他的手什么时候真正开始移动。于是接收端从“按固定时刻去抓”改成“根据对方运动推断开始时刻”。
这个类比能对上机制:隐藏的是 delay 本身,不隐藏的是手开始移动后的物理运动;receiver 没有新 observation,也没有新 reward,它必须从原有状态里推断 offer 何时发生。
5. 方法 pipeline 举例
输入一个具体 episode:0.5 kg 包裹,30 Hz 控制,episode 最长 8 秒;receiver 有 89 维 observation,partner 有 26 维 observation。取原文诊断用的固定延迟
d = 1s,它也在 HSD 的d ∼ U[0, dmax]且dmax = 1s范围内。t < 1s时,HSD 规则强制 partner 的 reach rate 为 0,partner 手保持静止。receiver 如果沿用 self-play 策略,会像原文机制那样过早伸手;self-play 在 delayed own partner 下会在离 offer point 30 cm 处遇到包裹,手已经 42% 闭合。t = 1s后,partner 开始伸手。HSD 训练后的 receiver 不再依赖“伙伴一定立刻开始”,而是根据 partner hand 的实际运动接近包裹。A。6. 核心数学推导
6.1 两个策略如何动作
交接中有两个 actor。Receiver 的动作写为:
aR_t ∼ π_θR(· ∣ o_R≤t)这里
aR_t是 receiver 在时刻t的动作;π_θR是 receiver policy;o_R≤t是 receiver 到当前时刻为止的 observation history;∣表示“给定”。Partner 的动作写为:aH_t ∼ π_θH(· ∣ oH_t)aH_t是 partner 动作,oH_t是 partner 自己的 observation history。两个 actor 都只看到自己的 observation,不读取对方的内部命令,也看不到 hidden partner rule。6.2 为什么 shared reward 会让 partner 立刻开始
Partner reward 原文写为:
rH_t = rR_t - cimp C_t - crel P_t - cnat N_t - cact ∥aH_t - aH_t-1∥^2其中:
rR_t是 receiver 的 reward。Partner 共享它,所以 receiver 完成得越早、越顺,partner 越有利。C_t表示继续 carrying 的成本,cimp = 0.25。P_t表示在 receiver 尚未形成 load 下 grip 时提前 release,crel = 40。N_t表示偏离自然递物动作,cnat = 2。aH_t - aH_t-1是 partner 动作变化,cact = 0.01。推导很直接:如果 partner 延迟开始,
rR_t往往因为 progress、holding、completion 等项变差而下降;partner 的 reward 是rR_t减去自己的成本,所以延迟通常没有好处。Shared reward 因此把 partner 推向“立刻开始”。6.3 HSD 如何改变开始时间分布
HSD 在每个 episode reset 时抽样:
d ∼ U[0, dmax]原文设定
dmax = 1s,并从 0 ramp 到 1s over 150 iterations。对任意区间[a, b],只要0 ≤ a ≤ b ≤ 1,延迟落入该区间的概率是:Pr[d ∈ [a,b]] = b - a平均延迟是:
E[d] = (0 + 1)/2 = 0.5s在
t < d时,partner 的 reach rate 被强制为 0。这个规则不改变 receiver observation、reward 或 network,只改变 partner 的物理运动起点。6.4 supported transfer 在算什么
原文 unsupported 公式在提取中损坏,无法逐字辨认;正文说明是“partner grip and robot hand together carry less than half the parcel weight”。按该语义可写成:
u_t = 1[ ∣F_Hz,t∣ + ∣F_Rz,t∣ < 1/2 m g ]这里:
u_t是时刻t是否 unsupported 的指示变量,条件成立时为 1。F_Hz,t是 partner hand 对包裹的竖直方向力。F_Rz,t是 receiver hand 对包裹的竖直方向力。m是包裹质量,原文为 0.5 kg。g是重力加速度。1/2 m g是半重阈值。原文提取中出现12 mg,按已知分数破坏应理解为1/2 mg;若不接受该读法,则原文此处无法辨认。接着定义 acquisition event
A:partner hand 打开后,receiver 单独以 formed grip 连续保持 15 个 control steps。总成功指标为:ST = 1[A] 1[sum u_t <= 3] 1[max F_RH <= 20N] 1[slip <= 3cm]其中:
1[A]表示必须完成 acquisition。sum u_t <= 3表示整个 episode 最多允许 3 个 unsupported steps。max F_RH <= 20N表示 receiver 与 partner hand 的最大接触力不超过 20 N。slip <= 3cm表示包裹在 receiver grasp 内的位移不超过 3 cm。一句话总结:这组公式把“交接成功”定义成“在物理上安全、持续承托、不碰撞、不打滑地完成独自持物”,而不是只要求最后拿到包裹。
7. 实验设计
实验不是传统数据集训练,而是物理仿真中的策略评估。
512 × 32 × 800 = 13107200可核对。继续更新 arms 使用 300 receiver updates 和 300 partner updates,原文给出 4.9 million robot samples;按512 × 32 × 300 = 4915200可核对。实验能否支撑结论?对“仿真中 self-play 交接失败主要由 partner start timing 造成,HSD 能修复”这一主张,支撑较强:有 paired interventions、budget-matched control、fresh scenario seed、held-out bank、late condition、frozen partner 对照。统计上,200 scenarios 的 95% binomial interval 最多 ±7 points,重复评估同一对最多差 2.5 points,且 frozen partner 的 equivalence margin 是 5 points。
缺什么?缺真实机器人、缺人类参与者、缺视觉输入、只有两个训练种子、scripted partners 是设计行为、训练 delay range 与 scripted start range 有重叠。另需预算匹配的 randomized scripted partners 对照,以进一步区分“隐藏规则”和“一般随机伙伴”。
8. take-aways
9. 最脆弱的假设
最脆弱的假设是:陌生伙伴带来的主要分布偏移,确实集中在“开始递物的时间”这一个物理变量上,并且 hidden start delay 的范围足以覆盖部署伙伴的变化。
从实验设置看,这个假设有一定证据:paired interventions 显示延迟 own partner 1 秒会摧毁 handover;HSD 后 unseen scripted partners 从 30.5 / 30.5% 升到 80.5 / 80.0%;held-out bank 的 11 个条件均值从 30.5 / 27.2% 升到 78.8 / 62.7%;late condition 也高于 self-play。
但它仍然脆弱,原因有三:
如果真实人类 giver 的开始时间分布、release 条件或感知状态显著超出 scripted partners 的设计范围,HSD 的增益可能不再成立。
10. 一周最小复现
目标不是复现全部表 2 和表 3,而是复现核心因果链:self-play 对开始时间敏感,HSD 能修复。
可执行步骤如下。
512 × 32 × 800 = 13107200robot samples,继续更新是512 × 32 × 300 = 4915200robot samples,在 24GB 级单卡一周内跑接触丰富的人形仿真很可能紧张。d ∼ U[0, 1s],在t < d时强制 reach rate 为 0;receiver observation、reward、network 不变。按原文,dmax从 0 ramp 到 1s over 150 iterations。预期指标:supported transfer;高接触力 episode 比例;first-touch distance、hand closure、stable grasp。统计判据:200 scenarios 下 95% binomial interval 最多 ±7 points,重复评估同一对最多差 2.5 points。
11. 反例设计
要推翻本文核心主张,可以设计一个“预算匹配但不随机化 start timing”的对照实验。
核心主张是:self-play 交接失败主要由 partner start timing 造成,HSD 通过隐藏开始延迟修复它。
实验设计:
80.5-7=73.5,seed 43 至少80.0-7=73.0,并且在 own partner fixed 1s delay 上也达到 seed 42 至少93.5-7=86.5、seed 43 至少89.0-7=82.0,那么说明不随机化 start timing 也能修复 timing failure。这个反例比单纯说“真实人类不同”更有针对性,因为它直接测试:修复到底来自 start timing 的隐藏随机化,还是来自任何形式的伙伴多样性或额外训练。
12. 落地判断
普通用户现在拿不到直接可用的产品。论文主体是物理仿真,使用结构化状态而不是图像,伙伴是 scripted 或 learned simulation hand,不是真实人类 giver;只有两个训练种子。普通用户能得到的只是方向性预期:未来接收端机器人可能更适应不同人递包裹的节奏,但还需要真实机器人、感知、安全验证和人类实验。
应用开发者可以拿走一个工程模式:如果已有 self-play 训练出的接收端,不要只靠 snapshot pool 或 sibling partners 评估鲁棒性,因为 snapshot pool 可能继承同一时间约定。可以在训练伙伴控制器里加 hidden start delay,并用 unseen scripted partners、held-out bank、fresh scenario seed 做预算匹配评估。原文显示 HSD 后 unseen scripted partners 从 30.5 / 30.5% 升到 80.5 / 80.0%,control 为 35.0 / 41.0%;如果已有自玩 pair,冻结 partner 也能接近该效果。但距离产品化还差真实状态估计、视觉输入、人类行为分布、力控安全、失败恢复和长期运行验证。
研究团队可以把它当作一个可复现的因果研究模板:先证明 self-play 对陌生伙伴失败,再用 paired interventions 定位单一物理变量,最后用隐藏硬约束修复,并用 budget-matched control、fresh seed、held-out conditions 验证。复现需要接触丰富仿真、两个 actor、privileged critic、PPO、512 environments 或可缩减规模、200 scenarios per cell、11 held-out conditions。独立验证还需要更多种子、真实机器人、人类参与者、视觉输入,以及 randomized scripted partners 的预算匹配对照。
成本量级上,原文 reference 训练规模是
512 × 32 × 800 = 13107200robot samples,继续更新是512 × 32 × 300 = 4915200robot samples;接触仿真和长 horizon episode 会显著放大 wall-clock 成本。最大的坑是把“伙伴身份多样性”误当成“伙伴行为多样性”:snapshot pool 或 other-seed learned partners 可能仍然共享同一开始时间约定,从而高估鲁棒性。