BRAC University 审计 33000 条轨迹 揭示低 ASR 系统性高估防御

孟加拉国 BRAC University 研究者对 11 个 2–14B 参数的开源工具调用 agent 进行审计，在 InjecAgent 与 AgentDojo 两个主流注入攻击基准上逐条审视共约 33,000 条轨迹，发现两套基准普遍将 agent 防御判定为"攻击失败"，但这些被判成功的轨迹里绝大部分其实只是 agent 忽略或未理会注入内容，并未真正理解并拒绝恶意指令。具体而言，AgentDojo 攻击失败轨迹中仅约 18.0% 属于明确拒绝，76.3% 属于忽略；InjecAgent 对应数字为 17.2% 与 80.3%。这意味着以低 ASR（攻击成功率）作为防御效果指标，会系统性地高估现有 agent 对提示注入的防御能力。论文据此对基准设计与未来安全评测方法提出质疑，呼吁区分"真正拒绝"与"忽略"以更准确衡量鲁棒性。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。