跳到正文
返回论文列表
cs.SE提交于 已译

通过行为轨迹解读编码智能体

Interpreting Coding Agents Through Their Behavioral Trajectories

Ibragim Badertdinov · Alexander Golubev

中文摘要

标准编码智能体基准主要评估二元任务成功率,将执行视为黑箱,掩盖了产生结果的行为。分析来自125种智能体配置、涵盖117个独特模型的143,209条执行轨迹。为跨异构智能体接口比较,开发基于规则的解析器,将原始执行轨迹映射为仓库搜索、文件编辑和测试执行等高层动作,并在500个事件上以六模型共识参考审计其预测。发现求解率相近的智能体在探索、修改和验证代码方式上可能差异显著。此外,在不使用任务结果、token计数或工具名称作为特征的情况下,聚合行为画像能在不相交的仓库集和编程语言间检索到对应智能体栈,尽管跨仓库设置中任务组成未完全控制。通过分析前沿模型和智能体脚手架,进一步表明脚手架选择和推理努力会系统性改变智能体的搜索、编辑和测试行为。发布确定性解析器、完整标注与分析流程及标注轨迹子集。

关键要点

  1. 01标准基准只看任务成败,将执行视为黑箱,掩盖了智能体的具体行为。
  2. 02分析143,209条轨迹、125种配置、117个模型,用规则解析器映射高层动作。
  3. 03求解率相近的智能体在探索、修改和验证代码上行为差异显著。
  4. 04不用任务结果或token数,行为画像可跨仓库和语言检索对应智能体栈。
  5. 05脚手架选择和推理努力会系统性改变搜索、编辑与测试行为。

解读

尚无解读。

原始英文摘要

arXiv:2611.17440v1 Announce Type: new Abstract: Standard coding-agent benchmarks primarily evaluate binary task success, treating execution as a black box and obscuring the behaviors that produce those outcomes. We analyze a large corpus of 143,209 execution trajectories from 125 agent configurations spanning 117 unique models. To enable comparisons across heterogeneous agent interfaces, we develop a rule-based parser that maps raw execution traces to high-level actions such as repository search, file editing, and test execution, and audit its predictions against a six-model consensus reference on 500 events. We find that agents with similar solve rates can nevertheless differ substantially in how they explore, modify and verify code. Moreover, without using task outcomes, token counts, or tool names as features, aggregate behavioral profiles retrieve the corresponding agent stack across disjoint repository sets and programming languages, although task composition is not fully controlled in the cross-repository setting. Through analyses of frontier models and agent scaffolds, we further show that scaffold choice and reasoning effort systematically shift agents' search, editing, and testing behavior. We release the deterministic parser together with the full annotation and analysis pipeline alongside an annotated trajectory subset.

同方向论文 · cs.SE

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联工具 · 2

Reddit · r/artificial76

Anthropic 称 Claude Fable 5.2 调度 1000 多个子智能体,八天构建出可运行操作系统

Anthropic 在一项内部实验中让 Claude Fable 5.2 仅凭一个基础提示词和空项目文件夹,调度 1000 多个子智能体在八天内完成操作系统的编写、测试与审查,成品可在笔记本上启动,包含自研内核、硬件驱动、持久化文件存储、图形界面、登录界面和安装程序。

推荐理由:Anthropic 内部实验称 Claude Fable 5.2 调度千余子智能体八天写出可启动操作系统,同时点出算力成本与可靠性未披露。

GitHub Blog · AI & ML67

GitHub Security Lab 发布 Taskflow Agent:实现 AI 驱动的自动化模糊测试

GitHub Security Lab 发布 Fuzzing Taskflow,这是一个基于 LLM Agent 的 C/C++ 项目自动化模糊测试管道。只需指定一个 GitHub 仓库,Agent 会自动完成入口点识别、构建系统分析、模糊测试用例生成、AFL++ 运行、覆盖率分析、用例优化和漏洞报告编写。

推荐理由:原文详细给出了自动化模糊测试的完整工作流程,包括覆盖率反馈循环、结构感知变异和语料库演进等具体机制,读者可据此迁移到自己的安全测试中。