跳到正文
返回论文列表
cs.CV提交于 已译

迈向具身空地协同目标搜索:基准、数据集与智能体方法

Towards Embodied Air-Ground Cooperative Object Search: Benchmark, Dataset and Agentic Method

Boao Yu · Zimo Chen · Junreng Rao · Yue Hu · Zhengqiu Zhu · Yong Zhao · et al.

中文摘要

城市环境中的空地目标搜索(Air-Ground Object Search, AGOS)是一项具有挑战性的具身任务,需要无人机(UAV)与无人地面车(UGV)协同,从多视角视觉参考中搜索并核实指定目标车辆。为研究这一尚未充分探索的问题,提出 AGOS-Bench,这是首个专门评估通用视觉语言模型(VLM)能否通过 UAV-UGV 协作整合空中发现与地面核实的基准。同时提供配套资源 AGOS-Dataset,由自动流水线构建的示例轨迹组成,包含 7.7k 个 episode,覆盖多类别、多属性目标搜索,跨越三个难度等级。针对 AGOS 任务,提出 AGOS-Agent,一种免训练、工具增强的方法。该智能体方法通过精心设计的搜索-交接-核实协作协议,使 VLM 摆脱复杂动态协调,仅需 VLM 完成场景理解与决策。在九个 VLM 上的大量实验表明,AGOS-Agent 在九个评估骨干中的八个上提升了总体成功率,并在全部九个上减少了决策步数。在困难划分上,Gemini-3.6-Flash 的 SR 和 SPL 分别从 8.6% 提升至 55.7%、从 7.6% 提升至 44.0%。

关键要点

  1. 01空地协同目标搜索缺乏专用评测基准,通用 VLM 能否整合空中发现与地面核实尚不清楚。
  2. 02构建 AGOS-Bench 基准与 AGOS-Dataset 数据集,含 7.7k episode、三个难度等级。
  3. 03提出免训练、工具增强的 AGOS-Agent,用搜索-交接-核实协议解耦复杂协调。
  4. 04九个 VLM 中八个总体成功率提升,全部九个决策步数减少。
  5. 05困难划分上 Gemini-3.6-Flash 的 SR 从 8.6% 升至 55.7%,SPL 从 7.6% 升至 44.0%。

解读

尚无解读。

原始英文摘要

arXiv:2609.08402v2 Announce Type: replace Abstract: Air-Ground Object Search (AGOS) in urban environments is a challenging embodied task, which requires an Unmanned Aerial Vehicle (UAV) and an Unmanned Ground Vehicle (UGV) to jointly search for and verify a specified target vehicle from multi-view visual references. To study this underexplored problem, we introduce AGOS-Bench, the first dedicated benchmark for evaluating whether general-purpose Vision-Language Models (VLMs) can integrate aerial discoveries and ground-level verification through UAV-UGV cooperation. We further provide AGOS-Dataset as the companion resource of exemplary trajectories constructed by an automatic pipeline. It consists of 7.7k episodes for searching objects of diverse categories and attributes, spanning three difficulty levels. To address the AGOS task, we propose AGOS-Agent, a training-free and tool-augmented approach. The agentic method relieves VLMs from complex and dynamic coordination via a deliberate search-handoff-verify cooperation protocol, only demanding VLMs for scene understanding and decision-making. Extensive experiments on nine VLMs show that AGOS-Agent improves overall success rate for eight of the nine evaluated backbones while reducing decision steps for all nine. On the hard split, the SR and SPL of Gemini-3.6-Flash increase from 8.6% to 55.7% and from 7.6% to 44.0%, respectively.

同方向论文 · cs.CV

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联工具 · 1

Google DeepMind70

Google DeepMind 发布 Gemini Robotics-ER 1.6:增强实体推理赋能机器人任务

Google DeepMind 发布 Gemini Robotics-ER 1.6,这是其首个推理优先模型的重大升级版。该模型增强了空间推理和多视角理解能力,专门用于视觉与空间理解、任务规划和成功检测,并能原生调用工具如 Google Search、视觉语言动作模型或第三方函数。

推荐理由:原文给出了具体性能对比和新增的仪表读取功能,读者可以据此判断该模型在机器人实体推理场景中的具体提升和可用性。