跳到正文
返回论文列表
cs.AI提交于 已译

SciWorkBench:真实科学工作流基准

SciWorkBench: A Benchmark for Real Scientific Workflows

Yuchen Zhang · Taolin Han · Jinghang Wang · Jinxin Wang · Yun Wu · Wai Yuet Chiu · et al.

中文摘要

语言模型正日益被用作能够规划、执行项目并通过反馈改进动作的智能体。这一转变引出一个问题:当前智能体能否完成像真实科学家那样的项目?为考察该问题,我们推出 SciWorkBench,一个评估智能体在生物学、化学、材料科学和物理学真实科学任务上能力的基准。SciWorkBench 基于同行评审文献或专家贡献的研究场景构建。我们还提出一个经领域专家验证的统一科学分析框架,可对 SciWorkBench 中大多数任务进行分类。每个任务覆盖该框架的一个或多个阶段。我们在统一的执行与评分协议下,评估 Claude Code 和 Codex 智能体框架中的最新模型。表现最佳的智能体平均得分为 57.38,表明当前智能体在现实科学工作流中仍存在困难。我们的失败分析识别出工作流层面的三个反复出现的弱点:难以将科学知识转化为任务特定流程、跨不同模态的证据整合薄弱,以及科学自我纠正能力有限。这些发现凸显了基于工作流的评估对于衡量面向科学研究的可靠 AI 系统进展的重要性。

关键要点

  1. 01问题:当前语言模型智能体能否完成真实科学家项目尚不明确,缺乏工作流级评估。
  2. 02方法:构建 SciWorkBench 基准,覆盖生物、化学、材料、物理,基于文献或专家场景。
  3. 03方法:提出经专家验证的统一科学分析框架,任务覆盖其一个或多个阶段。
  4. 04结果:在 Claude Code 和 Codex 框架下评估最新模型,最佳智能体平均分仅 57.38。
  5. 05局限:失败分析揭示知识转化、多模态证据整合与自我纠正三方面弱点。

解读

尚无解读。

原始英文摘要

arXiv:2611.22490v1 Announce Type: new Abstract: Language models are increasingly being used as agents capable of planning and executing projects, as well as refining their actions through feedback. This shift raises a question: can current agents complete projects like real scientists? To examine this question, we introduce SciWorkBench, a benchmark for evaluating agents' abilities on real science tasks across biology, chemistry, materials science, and physics. SciWorkBench is built from peer-reviewed literature or expert-contributed research scenarios. We also propose a unified scientific analysis framework validated by domain experts, which can categorize most tasks in SciWorkBench. Each task covers one or more stages of this framework. We evaluate up-to-date models within the Claude Code and Codex agent frameworks under a unified execution and grading protocol. The best-performing agent achieves a mean score of 57.38, indicating that current agents still struggle with realistic scientific workflows. Our failure analysis identifies three recurring weaknesses at the workflow level: difficulty translating scientific knowledge into task-specific procedures, weak integration of evidence across different modalities, and limited capacity for scientific self-correction. These findings highlight the importance of workflow-based evaluation for measuring progress toward reliable AI systems for scientific research.

同方向论文 · cs.AI

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联工具 · 3

Reddit · r/artificial76

Anthropic 称 Claude Fable 5.2 调度 1000 多个子智能体,八天构建出可运行操作系统

Anthropic 在一项内部实验中让 Claude Fable 5.2 仅凭一个基础提示词和空项目文件夹,调度 1000 多个子智能体在八天内完成操作系统的编写、测试与审查,成品可在笔记本上启动,包含自研内核、硬件驱动、持久化文件存储、图形界面、登录界面和安装程序。

推荐理由:Anthropic 内部实验称 Claude Fable 5.2 调度千余子智能体八天写出可启动操作系统,同时点出算力成本与可靠性未披露。

Mistral AI71

Mistral 发布 Agents API

Mistral 推出新的 Agents API,将 Mistral 强大的语言模型与内置连接器(代码执行、网络搜索、图像生成、文档库)、MCP 工具支持、持久记忆和智能体编排能力相结合。SimpleQA 基准测试显示,加入 web search 后,Mistral Large 和 Mistral Medium 的得分分别从 23% 和 22.08% 提升至 75% 和 82.32%。

推荐理由:原文给出了 SimpleQA 基准测试的具体分数对比(有无 web search),读者可以据此评估搜索增强对模型实际能力的提升幅度。

Google Research63

Google 发布 Empirical Research Assistance (ERA),一款用于科学研究代码编写的 AI 工具

Google 发布 Empirical Research Assistance (ERA),这是一款使用 Gemini 编写和优化科学代码的研究工具,可搜索科学文献、写代码、探索方案、组合技术并评估结果,在基因组学、公共卫生、卫星图像分析等多个基准上达到专家水平。

推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。