跳到正文
热点事件持续更新

Proof Before Reuse 研究:以复现验证抵御 Agent 技能记忆投毒

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

该研究关注编码 Agent 程序性记忆中"技能"被投毒的风险,提出一种名为 "Proof before reuse"(复现即信任)的过滤机制。其核心做法是:Agent 仅学习那些在后续会话中能够被复现——即重新生成相同改动并通过测试——的技能,并向 Agent 展示复现会话中实际写入的代码行作为依据。 研究以一项小型案例测试了该方法的抗投毒效果:在 30 个投毒会话中,"Proof before reuse" 将投毒暴露率降至 0/30;相比之下,"naive memory"(朴素记忆)方法仍有 3/30 的暴露率,而 "replay"(回放)方法则会完整回放全部 30 个投毒内容。研究表明,通过要求后续会话复现改动并以测试通过为前提,可在一定程度上阻断被植入程序性记忆的恶意技能。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月19日
  1. Reddit · r/MachineLearning
    用"复现即信任"过滤学习会话,可阻断 Agent 程序性记忆中的技能投毒

    一项小型案例研究测试了编码 Agent 的程序性记忆抗投毒能力:让 Agent 仅学习后续会话能复现其改动并通过测试的技能,并向其展示复现会话所写的行。"Proof before reuse" 方法在 30 个投毒会话中将投毒暴露率降至 0/30,而"naive memory"为 3/30,"replay"则全部回放投毒内容。

本事件热度走势

当前热度 9·可比范围峰值 10(10月19日 01:00)·近 24 小时可比范围变化 –

02.557.51010月19日01:0010月19日02:0010月19日02:0010月19日03:00

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。