跳到正文
返回论文列表
cs.SE提交于 已译

安全 AI 评估:系统视角

Safe AI Evaluation: A Systems Perspective

Qinghua Lu

中文摘要

AI 评估可能涉及一个主动、自适应的优化过程,其中 AI 智能体(agent)会重新规划、重试、使用工具或委派工作以达成目标。可能出现未预料到的能力或不安全行为,现有控制措施可能不足以防止伤害。为观察原本会被抑制的行为,选定的防护措施也可能被有意放宽,从而带来额外风险。本文考察评估中特有的安全考量及其对控制放置、观察与干预的影响,并提出四种架构模式以支持安全的 AI 评估,包括多样化监督者(diverse supervisors)、独立验证器(independent verifier)、静默监控(silent monitoring)与协同关停(coordinated shutdown)。

关键要点

  1. 01AI 评估中智能体主动优化可能引发未预料能力或不安全行为,现有控制或不足以防伤害。
  2. 02为观察被抑制行为而放宽防护措施会引入额外风险,需重新考虑控制放置与干预方式。
  3. 03提出四种架构模式:多样化监督者、独立验证器、静默监控与协同关停。
  4. 04从系统视角分析评估特有的安全考量及其对观察和干预的影响。

解读

尚无解读。

原始英文摘要

arXiv:2611.24987v1 Announce Type: new Abstract: AI evaluation can involve an active, adaptive optimisation process in which AI agents re-plan, retry, use tools or delegate work to achieve a goal. Unanticipated capabilities or unsafe behaviour may emerge, and existing controls may be inadequate to prevent harm. Selected safeguards may also be deliberately relaxed to observe behaviour they would otherwise suppress, creating additional risks. This article examines the distinctive safety considerations of evaluation and their implications for control placement, observation and intervention, and presents four architectural patterns to support safe AI evaluation, including diverse supervisors, an independent verifier, silent monitoring and coordinated shutdown.

同方向论文 · cs.SE

查看全部 →