从操作员占用数据驱动的协作机器人单元防护隔离区配置
Data-Driven Configuration of Protective Separation Zones in Collaborative Robot Cells from Operator Occupancy
Aulon Bajrami · Theo Jacobs · Werner Kraus
中文摘要
协作机器人单元的防护隔离区通常按最坏情况设定尺寸,忽略了任务期间操作员的实际位置。本文提出一种基于相机的数据驱动方法,根据观测到的操作员占用情况配置该区域。将多个生产班次累积的操作员位置聚合为占用热力图,并据此推导出防护场,在机器人可达速度与所需安全距离之间进行权衡,遵循 ISO/TS 15066 的速度与分离监控原则。所得配置为建议性,即在风险评估中审核,而非自主应用于机器人控制器。该方法基于姿态感知流水线与活动识别,并在两个工业合作伙伴的两个实际单元中评估,防护场可缩减约 17%,测得生产率提升 9%。然而,采用与否被证明不仅取决于所展示的收益。
关键要点
- 01问题:协作机器人防护隔离区常按最坏情况设定,未考虑操作员实际位置。
- 02方法:用相机姿态感知与活动识别累积多班次占用热力图,按 ISO/TS 15066 推导防护场。
- 03结果:在两个工业单元中防护场缩减约 17%,生产率提升 9%。
- 04局限:配置仅为建议性,需在风险评估中审核,采用还受收益之外因素影响。
解读
内容由 AI 生成,仅供参考。如发现错误,欢迎反馈。
原始英文摘要
arXiv:2611.07621v2 Announce Type: replace Abstract: The protective separation zone of a collaborative robot cell is commonly dimensioned for a worst case that disregards where the operator is actually present during the task. This paper presents a camera-based, data-driven method that configures this zone from observed operator occupancy. Operator positions accumulated over several production shifts are aggregated into an occupancy heatmap, from which a protective field is derived that trades off the achievable robot velocity against the required safety distance, following the speed and separation monitoring principle of ISO/TS 15066. The resulting configuration is advisory, that is, reviewed within the risk assessment rather than applied autonomously to the robot controller. The method, which builds on a pose-based perception pipeline with activity recognition, was evaluated in two operational cells at two industrial partners, where the protective field could be reduced by approximately 17% and a productivity increase of 9% was measured. However, adoption proved to depend on more than the demonstrated gain alone.
1. 问题与价值
这篇论文解决的问题是:协作机器人单元中的保护分离场常常按最坏情况配置,而不是按操作员实际出现的位置配置。结果是机器人单元为了覆盖“理论上可能有人进入”的空间,长期维持较大的安全距离;当操作员其实只站在夹具前的一小块区域时,外围警告场和保护场仍会被无关人员经过而触发,造成不必要停机、速度下降和空间浪费。
这个问题重要,是因为协作机器人的价值来自“自动化重复性 + 人工灵活性”,但安全配置如果过度保守,就会反过来吃掉生产力。论文引用的行业调查看到,75% 受访系统集成者认为安全相关标准限制协作机器人性能,其中 ISO/TS 15066 被最频繁提到,比例为 45.8%;43.8% 的实施问题与风险评估直接相关;66% 受访者认为安全相关数据能帮助他们做风险评估。这些数字说明痛点不是抽象的,而是来自现场部署和合规流程。
受益者主要是三类通用角色:安全工程师、产线规划人员、设备集成商。安全工程师获得基于多班次观测的占用热力图,可以用数据支持风险评估;产线规划人员可以在新单元投产前选择更合适的保护场尺寸,而不是等投产后反复停机再改;设备集成商获得一个不直接接入机器人安全控制回路的建议工具,降低改造门槛。操作员间接受益:如果配置更贴合实际站位,无关路过造成的停机减少,工作节奏更稳定。
论文给出的现场结果是:在一个详细展示的单元中,保护距离从
1.744 m降到1.435 m;两个受测单元的平均生产力提升为 9%。这些数字不是全自动控制收益,而是“观测数据 + 离线建议 + 安全工程师复核”路径下的结果。2. 已有工作的不足
在它之前,最接近的“最好做法”可以分两条线看。
第一条线是控制器侧的动态安全场缩放。代表方法是 Scalera et al. 的 online scaling of dynamic safety zones:根据机器人动力学、扭矩限制和在线人体位姿,实时缩放围绕机械臂的动态安全区,并规划最短停止轨迹。论文引用该方法报告了最高 26.5% 的总任务时间下降,相对于一种可比的动态方法;相对于静态 ISO/TS 15066 实现,则报告 60.8% 下降。
第二条线是传统静态配置:在调试阶段按标准最坏情况设定保护场和警告场,之后保持不变。论文中的公式 (1) 描述的就是这种速度缩放:操作员距离小于保护场边界时停止,大于警告场边界时全速,中间线性降速。
具体不足如下:
3. 重建作者的思考路径
从旧问题出发:协作单元已经按最坏情况设定保护场,但操作员实际只站在夹具前一小块区域。最直接的想法是缩小保护场,让无关人员不容易触发停机。
但马上撞上一个矛盾:保护场半径不能任意缩小。根据速度分离监控原理,保护场必须覆盖安全链反应时间内的机器人位移、操作员位移、机器人制动位移和测量容差。场越小,允许的速度上限越低;如果要保持速度,就需要更高减速度。对于大负载机械臂,减速度受驱动系统、夹具和工件允许载荷限制,不能随便提高。于是“最小场”不一定最生产力,甚至可能因为速度被压得太低而更差。
接下来会想:既然场大小与速度、停机次数互相拉扯,能不能按实际流量选择场大小?但调试时不知道未来有多少无关人员经过。现场传感器如果已经能稳定提供人体位姿,控制器侧方法可以在线缩放;可是很多既有单元控制器封闭,安全链路已经验收,不能轻易改造成在线自适应系统。
于是路径会转向离线观测:先不改机器人控制器,只用相机记录多班次操作员位置,生成占用热力图。这里又出现新问题:热力图里混着两类人。一类是真正在单元旁工作的人,另一类只是路过。如果只统计所有位置,会把偶然经过的走廊区域也当成高频占用,导致保护场仍然过大。因此需要活动识别,把“面向单元交互”和“无关交通”分开。
有了占用统计和活动标签后,还需要一个决策规则。不能简单选最小场,因为最小场降低停机但降低速度;也不能简单选最大场,因为最大场允许高速但增加停机。于是会自然想到成本目标:把停机、重启、重新加速的周期损失,和低于名义速度运行的周期损失放到同一个损失函数里,对若干候选场进行回放,选择预期损失最小的配置。
再往后,会撞上合规问题:即使算法给出建议,也不能自动写入机器人控制器。因为一旦感知错误,虽然不一定直接破坏已安装的安全设备,但会影响安全概念变更。为了能在真实产线安装,系统必须被定位为“建议器”:输出配置提案,由安全工程师在风险评估中复核。这样相机单元不进入运动控制,也不进入安全额定信号链路。
与论文实际路径的差异:我的推导更偏“先解决控制冲突,再补感知和合规”,而论文实际路径从一开始就强调边缘相机单元不参与安全控制链路,并把活动识别、占用热力图、候选场回放和安全工程师复核作为一个完整可 retrofit 系统来设计。论文还通过两个工业伙伴的 beta 测试暴露了采纳阻力:仅靠 9% 生产力提升不足以让企业愿意修改已通过验收的安全概念。我的路径如果只停留在优化公式,会低估隐私、风险评估、验收文档和企业变更管理这些现场约束。
4. 核心 intuition
可以把保护场想象成工厂里一条自动取货机器人通道旁临时拉起的警戒带。如果按最坏情况把警戒带拉得很宽,机器人可以跑得快,但每个路过的人都会触发它暂停;如果警戒带很窄,路人不容易触发,但机器人必须慢。摄像头连续记录几天后发现,真正在机器人旁边工作的人只站在取货口附近一小块地方,警戒带外围多数区域只是偶尔有人经过。于是配置者不是凭经验猜,而是把警戒带尽量收缩到“常站区域”之外,同时保留足够距离满足停车要求。
这个类比能对应机制:警戒带宽度对应保护场半径;机器人速度对应允许速度上限;路过的人触发暂停对应无关交通造成的保护停机;取货口附近的人对应真正与单元交互的操作员;连续几天记录对应多班次占用热力图;最后不是凭感觉拉线,而是比较“宽线导致的路过停机”和“窄线导致的速度下降”,对应成本目标函数。
它有效的原因是:安全距离必须覆盖最坏反应过程,但生产损失主要来自高频触发。占用热力图把“哪里经常有人”与“哪里只是偶尔经过”分开,让保护场围绕真实使用模式,而不是围绕几何上可能的最大范围。它把安全边界从纯几何最坏假设,改成统计期望损失下的配置选择;同时,最坏制动距离仍然是硬约束,不是被数据抹掉。因此它不是让机器人更敢靠近人,而是让安全场更贴合实际人流,并把修改留在可审核的配置层。
5. 方法 pipeline 举例
假设输入是一段来自某协作单元的多班次 RGB-D 视频流。相机参数为
640×480 px、30 fps。画面中同时出现两类人:一人站在夹具前与单元交互,另一人只是从单元外侧通道经过。第一步,感知层对每个人估计 2D 姿态。使用 Lightweight OpenPose,每人输出 COCO 布局下的 18 个关键点。中间结果是一组带时间戳的骨架帧,而不是原始图像本身。
第二步,跟踪层用 OKS 相似性把不同帧中的骨架关联成稳定身份。中间结果是
id_A和id_B:id_A长时间停留在夹具前,id_B沿通道快速穿过。骨架关键点用 One Euro filter 平滑,减少抖动但不引入明显延迟。第三步,深度层把有效关键点投影到 3D:读取对齐深度图中的深度值,再用针孔相机模型反投影。若某些边缘或反射面深度无效,则从邻域像素取有效值。中间结果是每个人在单元坐标系中的 3D 位置序列。
第四步,地面投影层把骨架投影到单元地面平面,得到人员位置。观察体积内被跟踪的身份数量形成
n(t)。中间结果是“某时刻单元附近有多少人,以及他们分别在哪里”。第五步,活动识别层给每个身份一个标签:
directed_at_cell或unrelated_traffic。本例中id_A被标为面向单元交互,id_B被标为无关交通。这个标签用于后续区分“必要交互”和“可避免停机”。第六步,占用统计层把多班次位置累积成热力图。中间结果是:夹具前区域为暖色,外围通道为冷色,说明操作员实际高频占用区域远小于名义安全场。
第七步,候选场回放层用若干候选配置重放历史轨迹。论文展示的一个单元中,当前保护距离为
1.744 m,建议距离为1.435 m。对每个候选场,统计它会导致多少次保护停机,分别记录交互人员和无关交通造成的停机。中间结果可写为λhat_current和λhat_proposed,其中λhat_proposed来自较小场,通常因外围路过减少而下降,但速度上限也会下降。第八步,成本目标层比较两个候选的预期周期损失。若较小场带来的停机减少足以抵消速度下降,则选择较小场。对于论文展示的单元,距离减少量为
1.744 - 1.435 = 0.309 m;相对减少为0.309 / 1.744 ≈ 17.7%,论文表述为约 17%。该评估是在8.19 m2的单元面积上给出的。最终结果不是自动写入控制器,而是作为建议交给安全工程师复核。6. 核心数学推导
先看速度缩放公式。设
d为操作员与机器人之间的最小距离。d0是保护场边界,d1是警告场边界,且d0 < d1。速度缩放因子s(d)的原文可辨认形式是:s(d) = 0 if d ≤ d0; s(d) = (d - d0) / (d1 - d0) if d0 < d < d1; s(d) = 1 if d ≥ d1含义是:当操作员进入保护场时,机器人速度被缩放到 0,即受控停止;当操作员在警告场之外时,机器人可以按名义速度
v_nom运行;当操作员处于保护场和警告场之间时,速度线性下降。命令速度为:v = s(d) * v_nom这个公式描述的是“距离越近,速度越低”的简单线性规则。论文说明它足够直观,便于安全验收人员理解。
再看保护场半径约束。论文公式 (2) 的提取文本存在断行和符号粘连,完整分式结构无法逐字确认;原文此处无法辨认。因此不把它当作可严格推导的闭式公式。但从论文文字可以确认它要求保护半径
R覆盖以下距离:安全链反应时间内的机器人位移、反应与制动期间操作员移动距离、机器人制动距离,以及扫描器测量容差和人体在检测前侵入部分的容差C。可辨认变量包括:v为机器人速度,t_r为安全链反应时间,v_h = 1.6 m/s为 ISO 13855 给出的最坏接近速度,a_max为允许减速度。这个约束的核心不是精确代数,而是权衡:
R越大,允许的速度越高,但更容易被无关人员进入,造成停机;R越小,停机更少,但允许速度更低,除非提高a_max。对于大负载机械臂,a_max受驱动、夹具和工件限制,不能随意提高,所以小场可能迫使速度下降。候选配置选择公式是论文的核心决策。设候选配置为
Z1, ..., Zm,对应保护场半径R1 < ... < Rm。对每个候选Zj,通过场几何约束求解得到允许速度上限vj。观测期内,相机记录人数n(t)、轨迹和活动标签。把历史轨迹重放到每个候选配置上,统计保护停机次数,得到经验停机率λhat_j。目标函数可写为:
j* = arg min_j (c_s * λhat_j + c_p * (1 - vj / v_nom))其中
c_s是一次保护停机的周期损失,包括停止、重启和重新加速;c_p是低于名义速度运行的周期损失;vj / v_nom是候选配置下相对名义速度的速度比例。推导逻辑是:第一项
c_s * λhat_j估计单位时间内因停机造成的平均损失。停机率越高,大场越吃亏。第二项c_p * (1 - vj / v_nom)估计因速度低于名义速度造成的平均损失。场越小,vj越低,1 - vj / v_nom越大,小场越吃亏。优化器就是在这些候选场之间找总周期损失最小者。一句话总结:公式 (3) 在计算“每个候选保护场会造成多少停机损失加多少低速损失”,然后选择总损失最小的场尺寸。
7. 实验设计
数据集方面,论文没有公开数据集。实验来自一个实验室单元和两个工业伙伴的实际协作单元。由于保密协议,底层数据不能完整公开,结果以聚合和匿名形式报告。数据规模只给出“多个生产班次”的观测,没有给出可复算的总时长、总帧数或总人员数。
基线方面,论文没有设计一个完整的对照实验基线表。可辨认的比较对象包括:当前保护场配置、静态 ISO/TS 15066 实现、以及引用文献中的在线动态安全场缩放方法。论文展示的一个单元中,当前距离为
1.744 m,建议距离为1.435 m;两个受测单元的平均生产力提升为 9%。但这些数字没有给出方差、置信区间、样本量或统计检验。指标方面,核心指标有三类。第一是保护场尺寸变化,例如从
1.744 m到1.435 m,以及相对减少约 17%。第二是生产力变化,两个单元平均提升 9%。第三是占用热力图,用于定性显示操作员高频区域和低频区域。论文还提到候选场回放会分别统计交互人员和无关交通造成的停机,但没有公开每个候选场的停机率、成本参数c_s、c_p或速度上限vj。消融方面,论文没有报告系统消融。没有单独评估以下组件的贡献:姿态估计、身份跟踪、One Euro 平滑、深度反投影、活动识别、候选场数量、成本参数、占用热力图时间窗口。也没有报告如果去掉活动识别,把路过人员误当成交互人员,配置结果会如何变化。
实验能否支撑结论?能支撑“方法可在真实单元中运行,并给出一个看起来合理的配置建议”这一层。也能支撑“占用热力图显示操作员集中在较小区域”这一定性观察。对“保护场可减少约 17%”这一结果,论文给出了一个单元的具体距离数字,但未给出完整候选集、成本参数和验证协议,因此只能视为案例展示。对“生产力提升 9%”,样本只有两个受测单元,且受非披露限制,不能视为统计代表。
缺什么?缺公开或可复现的数据;缺多个单元、多班次、多布局的重复实验;缺活动识别准确率和遮挡鲁棒性;缺成本参数敏感性分析;缺与真正静态配置基线的受控对照;缺第三方独立验证;缺隐私处理细节,例如是否保留原始图像、如何匿名化、如何满足数据保护要求。
8. take-aways
1.744 m降到1.435 m。距离减少量为1.744 - 1.435 = 0.309 m;相对减少为0.309 / 1.744 ≈ 17.7%,论文表述为约 17%。成立条件是:基于多班次占用热力图、候选场回放、速度分离监控几何约束,并由安全工程师复核。9. 最脆弱的假设
最脆弱的假设是:观测期内得到的占用热力图、活动标签和停机率,能够代表未来生产班次中的真实触发情况。也就是说,
λhat_j必须对未来仍然近似有效,成本目标选择出的场尺寸才会继续合理。如果这个假设倒掉,结论会崩。例如操作员换工位、夹具布局改变、节拍变化、人员流动路径改变、班次结构变化,或者活动识别把路过人员误判为交互人员,都会让经验停机率偏离未来真实停机率。此时优化器可能选择过小的场,导致速度损失被低估;也可能选择过大的场,导致无关停机仍然严重。所谓“约 17% 距离减少”和“9% 生产力提升”就不再是可靠配置依据。
论文给出的证据主要是两个工业单元中的占用热力图和现场 beta 测试。它说明方法能在真实环境安装并产生建议,但没有给出活动识别准确率、跟踪 ID 切换率、遮挡鲁棒性、跨班次稳定性、跨单元迁移性,也没有给出未来留出数据上的配置选择准确率。论文可逐字引用为:
the reported values should therefore be regarded as indicative rather than statistically representative。从实验设置看,这表示作者把数值结果定位为案例性,而不是统计性结论。另一个同样脆弱但稍次要的假设是:候选配置集合足够覆盖实际可用方案。论文把问题描述为在少数可接受配置中选择,而不是连续优化半径。如果真实单元的可配置场形状、传感器覆盖范围或安全边界不是简单半径候选,公式 (3) 的目标函数可能无法表达所有有效方案。
10. 一周最小复现
目标不是复现 9% 生产力提升,而是复现核心逻辑:用多班次占用热力图和活动标签,在候选保护场之间做成本选择,并验证距离减少量。以下方案只假设一张 24GB 消费级显卡和一周时间,属于通用复现设计,不绑定任何具体机构或部署环境。
640×480 px、30 fps。id_A、id_B轨迹,而不是闪烁的骨架。directed_at_cell;沿通道穿越且停留短,标为unrelated_traffic。具体阈值按现场标定,不预设精确值。R_current = 1.744 m和R_proposed = 1.435 m,这两个距离来自论文展示单元。对每个候选,重放所有轨迹,统计进入保护场的次数。中间结果写成N_stop_current、N_stop_proposed,再除以观测时长得到λhat_current、λhat_proposed。a_max和反应时间t_r,计算不同半径下的近似速度上限。这里属于复现设计估算,不声称与论文完全一致。j* = arg min_j (c_s * λhat_j + c_p * (1 - vj / v_nom))。c_s可用一次停机、重启、重新加速的秒数估计;c_p可用低于名义速度的单位时间周期损失估计。若没有真实周期数据,可先做敏感性:令c_s从小到大变化,观察选择是否从大场切换到小场。1.435 m的λhat低于1.744 m;当c_s足够大时,目标函数选择较小场;距离减少量可复算为1.744 - 1.435 = 0.309 m,相对减少为0.309 / 1.744 ≈ 17.7%。11. 反例设计
可以设计一个“留出班次预测失败”实验,用来直接推翻本文核心主张:基于历史占用热力图和活动标签选择保护场,能够降低预期周期损失并支持生产力提升。
实验设置如下。先在同一单元收集多班次数据,分成训练班次和留出班次。训练班次用于生成占用热力图、活动标签和候选场停机率
λhat_j,并选择推荐配置。留出班次完全隐藏,不参与候选场选择。留出班次应包含分布变化:例如操作员换到单元另一侧、通道被临时占用、路过人员增多、夹具位置微调、活动识别更容易误判。比较两个配置:当前配置
R_current = 1.744 m,推荐配置R_proposed = 1.435 m。在留出班次上重放轨迹,统计实际保护停机次数、停机时间、机器人低速运行时间,并计算预期周期损失。损失形式仍用:ExpectedLoss_j = c_s * λhat_j + c_p * (1 - vj / v_nom)其中
λhat_j改用留出班次真实停机率,而不是训练班次估计值。判据一:如果在留出班次上,推荐配置的
ExpectedLoss_proposed高于当前配置的ExpectedLoss_current,并且差异方向在多个留出班次中稳定,那么“历史占用可预测未来最优场”的核心假设失败。判据二:如果推荐配置减少了无关交通停机,但速度下降造成的周期损失更大,导致总周期时间不降反升,那么“约 17% 距离减少可带来生产力收益”的主张在该单元不成立。
判据三:如果活动识别把大量路过人员误标为
directed_at_cell,导致训练期λhat_proposed被低估,而留出期真实停机率显著更高,那么感知层不足会直接推翻配置建议的可靠性。判据四:如果安全工程师复核发现,推荐配置在某些遮挡或深度失效情况下无法满足速度分离监控的几何约束,那么即使成本目标下降,也不能作为安全配置建议。
这个反例的关键不是证明“数据没用”,而是检验“观测期数据能否代表未来真实触发”。如果留出班次上预测失败,论文主张就从“可支持配置决策”降级为“仅能描述历史占用”。
12. 落地判断
普通用户:普通用户不能直接使用这项成果。这里的普通用户可理解为产线操作员、班组长或现场维护人员。他们能拿到的是间接收益:如果安全工程师采纳数据支持的建议,单元可能减少无关路过造成的停机,工作节奏更稳定。但他们不能自行修改保护场,因为安全配置变更需要风险评估和验收流程。
应用开发者:应用开发者可以把它做成一个“安全场配置建议器”。可行范围是:接入 RGB-D 相机,运行姿态、跟踪、平滑、地面投影、活动标签和热力图,输出候选场比较报告。不可行范围是:把输出直接写入机器人控制器或安全链路。开发者需要额外做三件事:第一,隐私处理,尽量只保留关键点、轨迹和统计图,不保留原始图像;第二,成本参数标定,让
c_s和c_p有现场依据;第三,合规接口,把结果转成安全工程师能审核的风险评估材料,而不是自动执行指令。研究团队:研究团队可以拿到一个清晰问题:如何从非平稳现场数据中可靠估计未来保护场停机率。可继续做的方向包括:跨班次稳定性建模、活动识别鲁棒性、遮挡和深度失效处理、多单元迁移、候选场形状而非仅半径的优化、移动机器人不同工位场集选择。若要走向在线自适应,感知层必须提升到安全额定等级,这会显著增加工程难度。
距离可用还差几步。数据规模上,需要更多单元、更多班次、更多布局、更多负载等级,才能判断占用分布是否稳定。算力门槛上,边缘相机单元不需要训练大模型,但需要长期稳定运行姿态、跟踪、深度反投影和统计;真正的门槛不是 GPU,而是现场标定、遮挡处理和长时间无人值守。工程集成上,必须与风险评估、验收文档、变更管理、数据保护要求连接;建议输出要能解释给安全工程师。独立验证上,需要第三方在不受保密协议限制的公开数据或模拟环境中复现配置选择逻辑,并验证留出班次预测误差。
成本量级:硬件量级大致是一台 RGB-D 相机、一个边缘计算单元、安装支架和现场标定工具;软件量级主要是开源姿态、跟踪、平滑和统计组件。最大成本不是模型训练,而是多班次数据采集、活动标签质量、安全工程师复核、风险评估文档和隐私合规。
最大的坑:把“建议器”误做成“自动安全控制器”。论文方法的关键安全属性是它不进入运动控制和安全额定信号链路。一旦开发者为了追求更高生产力,让感知输出直接改变机器人速度或保护场,就会把感知误差变成安全风险,同时触发更严格的认证要求。另一个坑是假设一个单元学到的占用分布可以迁移到另一个单元;论文已经观察到两个单元的周围交通差异明显,因此配置建议很可能不可直接复制。