跳到正文
返回论文列表
cs.SE提交于 已译

Agent 轨迹作为软件质量保证的证据

Agent Trajectories as Evidence for Software Quality Assurance

Jonathan Ullrich · Julien Siebert · Michael Kl\"as · Adam Trendowicz · Andreas Jedlitschka

中文摘要

自主软件智能体(agent)在有限人工监督下越来越多地规划、实现和测试软件。其决策可能引入隐式假设,而最终代码和通过的测试无法充分暴露这些假设。提出将可观测的智能体轨迹与软件及智能体规格、AI 生成产物一并分析,作为针对性质量保证的证据。目标是优先筛选有重大影响的决策以供审查,调查其对软件问题的可能贡献,并为规格与开发实践的改进提供依据。工业经验支持这一想法;现有执行记录和初步分析方法使其具有可行性。但仅凭轨迹无法证明决策合理、结果可接受或纠正措施有效。探讨此类证据如何支持评审、诊断和持续质量改进,以及何时更简单的 QA 方法已足够。需求工程、验证与确认、智能体系统、因果推断、经验软件工程和人因等视角有助于发展和评估该想法。

关键要点

  1. 01问题:自主智能体的隐式决策难以被最终代码和通过的测试暴露,形成质量保证盲区。
  2. 02方法:将可观测的智能体轨迹与软件规格、智能体规格及 AI 生成产物结合分析,作为 QA 证据。
  3. 03目标:优先筛选有重大影响的决策进行审查,并据此改进规格与开发实践。
  4. 04局限:轨迹本身无法证明决策合理、结果可接受或纠正措施有效。
  5. 05需结合需求工程、验证与确认、因果推断、经验软件工程和人因等多视角评估。

解读

尚无解读。

原始英文摘要

arXiv:2611.22323v1 Announce Type: new Abstract: Autonomous software agents increasingly plan, implement, and test software with limited human oversight. Their decisions may introduce implicit assumptions that final code and passing tests do not adequately expose. We propose analyzing observable agent trajectories alongside software and agent specifications and AI generated artifacts as evidence for targeted quality assurance. The aim is to prioritize consequential decisions for scrutiny, investigate their possible contribution to software problems, and inform improvements to specifications and development practices. Industrial experience motivates the idea; available execution records and preliminary analysis methods make it plausible. However, trajectories alone do not establish that decisions are justified, outcomes acceptable, or corrective changes effective. We ask how this evidence can support review, diagnosis, and continuous quality improvement, and when simpler QA approaches suffice. Perspectives from requirements engineering, verification and validation, agent systems, causal inference, empirical software engineering, and human factors could help develop and evaluate the idea.

同方向论文 · cs.SE

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联工具 · 1

Reddit · r/artificial76

Anthropic 称 Claude Fable 5.2 调度 1000 多个子智能体,八天构建出可运行操作系统

Anthropic 在一项内部实验中让 Claude Fable 5.2 仅凭一个基础提示词和空项目文件夹,调度 1000 多个子智能体在八天内完成操作系统的编写、测试与审查,成品可在笔记本上启动,包含自研内核、硬件驱动、持久化文件存储、图形界面、登录界面和安装程序。

推荐理由:Anthropic 内部实验称 Claude Fable 5.2 调度千余子智能体八天写出可启动操作系统,同时点出算力成本与可靠性未披露。