跳到正文
返回论文列表
cs.AI提交于 已译

AI 智能体将人类逐出循环

AI Agents Push Humans Out of the Loop

Margaret Mitchell · Avijit Ghosh · Samir Passi

中文摘要

AI 智能体(AI agent)自主性不断增强,带来显著风险。常见对策是人工监督、保留“人类在环”(human in the loop),但这并非简单方案:现有 AI 智能体设计妨碍有效人工监督,而监督所需的认知能力本身也会因长期使用 AI 系统而退化。这篇立场论文认为,当前 AI 智能体系统的开发与部署方式不支持有效人工监督,反而促使其退化。为此,推进 AI 智能体时应优先支持有效人工监督所依赖的情境目标与认知需求,将监督者的人类需求与 AI 智能体能力置于同等重要地位。为落实这一理念,作者将自动化与人机交互(human-computer interaction)研究与 AI 智能体流程相连接,提出设计层面的可供性(affordance)与组织协议,以(1)支持监督者行使批判性判断,(2)抵消长期使用自动化带来的技能萎缩。作者敦促开发者与部署者采用这些或类似方法。若不明示支持有效人机交互的认知需求,AI 智能体系统将持续被动地激励其赖以运行的人类技能退化。

关键要点

  1. 01问题:现有 AI 智能体设计妨碍有效人工监督,且长期使用会退化监督所需认知能力。
  2. 02方法:将自动化与人机交互研究接入 AI 智能体流程,提出设计可供性与组织协议。
  3. 03结果:给出支持监督者批判性判断、抵消技能萎缩的设计与组织层面方案。
  4. 04局限:属立场论文,未提供实证评估或量化结果。

解读

尚无解读。

原始英文摘要

arXiv:2608.23642v4 Announce Type: replace Abstract: AI agents pose significant risks as they are granted increasing autonomy. A commonly proposed solution is human oversight and keeping a ''human in the loop'', but this is not a simple solution: Not only do current approaches to AI agent design impede effective human oversight, but the cognitive capacities required for it are also themselves degraded by extended use of AI systems. This position paper argues that current approaches to the development and deployment of AI agent systems do not support effective human oversight -- they contribute to its degradation. To address this, a top priority in the advancement of AI agents should be supporting the situated goals and cognitive requirements of effective human oversight, treating the human needs of overseers at the same level of importance as AI agent capability. To put this idea into practice, we connect work on automation and human-computer interaction to AI agent processes, outlining design-level affordances and organizational protocols that (1) support overseers in exercising critical judgement and (2) counteract the skill atrophy that arises from extended use of automation. We urge developers and deployers to adopt these or similar approaches. Without explicit support for the cognitive demands of effective human-agent interaction, AI agent systems will continue to passively incentivize the degradation of the very human skills they rely on.

同方向论文 · cs.AI

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联工具 · 2

Hacker News · 首页78

作者实测:Google Gemini 将个人 Drive 文件与邮件送入人工审核流程

作者称 Google 已修改帮助文档和 2023 年博客,确认接入的 Drive 与邮件内容会进入人工审核流程,并提示用户不要连接含机密信息的应用。作者实测发现,在开启 Connected Apps 后,日常对话中提及行程、账单等话题会自主触发 Workspace 检索,且注入结果不确定,可能只返回摘要,也可能把整封邮件原文带入会话上下文。

推荐理由:作者实测复现了 Gemini 在未显式调用时把 Drive 与邮件内容注入会话的过程,并给出可重复的验证步骤。

Google DeepMind64

Google DeepMind 发布 AI Control Roadmap 应对 AI 智能体安全挑战

Google DeepMind 发布 AI Control Roadmap 框架,为内部 AI 智能体提供传统模型对齐之外的额外安全层。该框架将不受信任的 AI 智能体视为潜在“内部威胁”,通过检测、预防和响应三层机制应对风险。研究团队已分析超过 100 万个编码智能体任务来验证框架,并同步发布面向政策制定者的《Three Layers of Agent Security》技术框架。

推荐理由:原文给出了 AI 智能体安全的具体技术路径和实践数据,读者可据此理解如何为 AI 智能体构建超越传统对齐的系统级安全层。