Reddit · r/MachineLearning· /u/maa____z·· 4 小时前AI 评分32
用"复现即信任"过滤学习会话,可阻断 Agent 程序性记忆中的技能投毒
Proof Before Reuse: showing agents only what later sessions reproduced keeps a poisoned skill out of procedural memory [R]
AI 导读
一项小型案例研究测试了编码 Agent 的程序性记忆抗投毒能力:让 Agent 仅学习后续会话能复现其改动并通过测试的技能,并向其展示复现会话所写的行。"Proof before reuse" 方法在 30 个投毒会话中将投毒暴露率降至 0/30,而"naive memory"为 3/30,"replay"则全部回放投毒内容。
来源:Reddit · r/MachineLearning · reddit.com