跳到正文
返回论文列表
cs.AI提交于 已译

MKA:评估多模态知识智能体在端到端专业任务上的表现

MKA: Evaluating Multimodal Knowledge Agents on end-to-end professional tasks

Anima Singh · Suhas Yogin · Weicheng Kuo · Ivor Rendulic · Ivan Jurin · Antoine Yang · et al.

中文摘要

提出多模态知识智能体(Multimodal Knowledge Agent, MKA)基准,衡量自主智能体在依赖视觉理解的专业知识工作中端到端完成任务的能力。每个任务要求智能体从多个视觉信息密集的文件(如 CAD 图纸、电子原理图、X 光片、复杂图表和地理空间地图)中提取并整合信息,产出 .xlsx、.pptx、.pdf、.docx、.html 或 .png 格式的独立交付物。现有基准基本未覆盖这一能力:移除图像查看工具后,Gemini 4 Carbon 在 GDPval 上的得分不变;GDP.pdf 和 GDP.xlsx 等单一格式评测不要求跨文件、跨模态推理。MKA 包含 10 个经济领域的 200 个任务。交付物由沙箱化智能体自动评分器按专家加权评分标准打分,在专家评分研究中与人类领域专家在 96.2% 的评分项判断上一致(Cohen's κ = 0.91),以加权满足率(WSR)及在前代模型未饱和的前沿标准上的 Climb-WSR 计分。在评估的前沿模型中(Gemini 4 Carbon、Claude Fable 5.2、Claude Opus 5.5、GPT-6 Astra),Claude Fable 5.2(56.6% Climb-WSR,73.3% Overall WSR)与 Gemini 4 Carbon(54.3% Climb-WSR,71.9% Overall WSR)得分最高,而 Carbon 使用的 token 数少 5.7 倍。即便最强模型,Climb-WSR 仍低于 57%,多模态智能体仍有较大提升空间。

关键要点

  1. 01现有基准未测试跨视觉密集文件的端到端专业任务,移除图像工具后 GDPval 得分不变
  2. 02MKA 含 10 个经济领域 200 个任务,交付物为 xlsx/pptx/pdf/docx/html/png 格式
  3. 03自动评分器与人类专家判断一致率 96.2%(Cohen's κ = 0.91)
  4. 04Claude Fable 5.2 与 Gemini 4 Carbon 得分最高,后者 token 用量少 5.7 倍
  5. 05最强模型 Climb-WSR 仍低于 57%,多模态智能体能力仍有明显提升空间

解读

尚无解读。

原始英文摘要

arXiv:2611.25228v1 Announce Type: cross Abstract: We introduce the Multimodal Knowledge Agent (MKA) benchmark, which measures how well autonomous agents perform end-to-end professional knowledge work that depends on visual understanding. Each task requires an agent to extract and combine information from multiple visually dense files, such as CAD blueprints, electronics schematics, radiographs, complex charts and geospatial maps, and to produce a standalone deliverable in .xlsx, .pptx, .pdf, .docx, .html or .png format. Existing benchmarks leave this capability largely untested: removing image-viewing tools leaves Gemini 4 Carbon's score on GDPval unchanged, and single-format evaluations such as GDP.pdf and GDP.xlsx do not require reasoning across files or modalities. MKA contains 200 tasks across 10 economic sectors. Deliverables are graded against expert-weighted rubrics by a sandboxed agentic autorater that agrees with human domain experts on 96.2% of criterion judgments in our expert-graded study (Cohen's $\kappa = 0.91$), scored by weighted satisfaction rate (WSR) overall and on frontier criteria unsaturated by prior-generation models (Climb-WSR). Across the frontier models we evaluate (Gemini 4 Carbon, Claude Fable 5.2, Claude Opus 5.5, and GPT-6 Astra), Claude Fable 5.2 (56.6% Climb-WSR, 73.3% Overall WSR) and Gemini 4 Carbon (54.3% Climb-WSR, 71.9% Overall WSR) achieve the highest scores, while Carbon uses $5.7\times$ fewer tokens. Even for the strongest models, Climb-WSR remains below 57%, leaving substantial headroom for multimodal agents.

同方向论文 · cs.AI

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联工具 · 1

TechCrunch · AI77

Google 为 Gemini 推出面向企业的统一智能体

Google Cloud 发布统一 Gemini 智能体,可通过单一界面接收目标、规划任务、调用技能与工具,并连接企业内部系统代为执行工作。该智能体将优先面向企业推出,支持由 Gemini 自动选择模型,也可由用户选择包括 Claude 在内的第三方模型,并能通过 MCP 连接企业网络内外的服务器。

推荐理由:Google 说明了统一智能体的目标驱动机制、企业系统连接范围与模型选择方式,可据此评估其企业部署形态。