跳到正文
返回论文列表
cs.AI提交于 已译

NIBench:面向神经影像的自主 AI 智能体执行、技能演化与科学判断基准测试

NIBench: benchmarking autonomous AI agents for execution, skill evolution and scientific judgment in neuroimaging

Lujia Zhong · Yihao Xia · Jianwei Zhang · Shuo Huang · Xinyu Nie · Mingyang Xia · et al.

中文摘要

自主 AI 智能体(autonomous AI agents)正日益用于自动化生物医学研究,因此亟需在真实科学数据与工作流上对其能力进行基准测试。在神经影像(neuroimaging)领域,其可靠性仍缺乏充分刻画——看似合理的分析输出可能掩盖影响科学结论的错误。已有研究推进了科学问答与基于工具的自动化,但对工作流重建、程序性专长的获取以及基于证据的科学判断提供的证据有限。这里提出 NIBench,一个神经影像基准,包含对自主智能体的三项互补评估。第一,使用覆盖七个工具生态的 56 项任务对执行与工作流重建进行基准测试,涵盖结构、扩散与功能磁共振成像、正电子发射断层扫描及多模态分析。第二,考察智能体能否通过执行轨迹蒸馏来演化其程序性技能,并在已见任务、未见任务及其他模型上评估所得技能。第三,使用来自已发表阿尔茨海默病研究的 36 项主张评估科学判断,要求智能体分析原始队列数据并提供可复现证据。在共享智能体框架内评估 19 个语言模型,其中部分模型接受技能蒸馏与主张评估。领先智能体几乎完美执行给定分析协议,而隐去程序性指导会扩大性能差异。蒸馏技能提升获取任务表现并可在模型间迁移,但在未见任务上的收益不一致。智能体能复现其报告结果,但有时得出与专家答案不一致的结论,且获取数据并不总能改善判断。

关键要点

  1. 01现有基准缺乏对神经影像工作流重建、程序性专长获取与科学判断的评估。
  2. 02NIBench 含 56 项执行任务、技能蒸馏评估及 36 项阿尔茨海默病主张判断。
  3. 0319 个语言模型在共享框架中测试,领先者执行给定协议近乎完美。
  4. 04蒸馏技能可跨模型迁移并提升获取任务,但未见任务收益不一致。
  5. 05智能体可复现结果却有时结论与专家不符,数据访问不总改善判断。

解读

尚无解读。

原始英文摘要

arXiv:2611.15831v1 Announce Type: new Abstract: Autonomous AI agents are increasingly used to automate biomedical research, creating a growing need to benchmark their capabilities on real scientific data and workflows. Their reliability in neuroimaging remains insufficiently characterized, where plausible analytical outputs can conceal errors that affect scientific conclusions. Existing studies have advanced scientific question answering and tool-based automation, but provide limited evidence on workflow reconstruction, acquisition of procedural expertise and evidence-based scientific judgment. Here we present NIBench, a neuroimaging benchmark comprising three complementary evaluations of autonomous agents. First, we benchmark execution and workflow reconstruction using 56 tasks across seven tool ecosystems, covering structural, diffusion and functional magnetic resonance imaging, positron emission tomography and multimodal analyses. Second, we examine whether agents can evolve their procedural skills through distillation of execution trajectories, evaluating the resulting skills on previously encountered tasks, unseen tasks and other models. Third, we assess scientific judgment using 36 claims from published Alzheimer's disease studies, requiring agents to analyse raw cohort data and provide reproducible evidence. We evaluate 19 language models within a shared agent framework, with selected models undergoing skill distillation and claim evaluation. Leading agents execute supplied analysis protocols nearly perfectly, whereas withholding procedural guidance widens performance differences. Distilled skills improve performance on acquisition tasks and transfer between models, but benefits on unseen tasks are inconsistent. Agents reproduce their reported results yet sometimes reach conclusions inconsistent with expert-derived answers, and access to data does not always improve judgment.

同方向论文 · cs.AI

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联工具 · 2

NVIDIA Blog69

C-BRAIN 如何利用 AI 加速阿尔茨海默病研究

C-BRAIN 正与 NVIDIA 建设融合式数据基础设施,利用受治理的“暗数据”加速阿尔茨海默病研究。其开源工具 OpenScientist 可在数分钟内完成原需数周至数月的人工分析,每次运行成本低于 $10;InsightEngine 则用 agentic AI 对照文献和证据检查假设,以减少模型幻觉。

推荐理由:文章拆解了 C-BRAIN 利用受治理数据、GPU 基础设施和开源科研智能体加速阿尔茨海默病研究的具体路径。

Google Research88

Google 将 Antigravity 的 /teamwork 多智能体工作流开放给外部研究者

Google 在 Antigravity 中开放 /teamwork 多智能体工作流及 /boost、Deep Review 等工具,外部研究者现在可以用 Gemini 4 模型调用。

推荐理由:Google 公开了 /teamwork 多智能体工作流在数学证明、化学结构解析和内核优化上的具体结果,并开放给外部研究者使用。