跳到正文
返回论文列表
cs.DC提交于 已译

当正确记忆出错时:LLM智能体中持久内存使用的模糊测试

When Correct Memory Goes Wrong: Fuzzing Persistent Memory Use in LLM Agents

Yuqiao Meng · Luoxi Tang · Yingxue Zhang · Yuchen Yang · Zhaohan Xi

中文摘要

持久内存帮助LLM智能体在长交互中携带信息,但正确记忆在查询变化或内存状态演进时仍可能被错误使用。现有研究主要关注内存内容错误或评估固定测试用例,导致内存使用失败难以被系统发现。将此问题形式化为模糊测试问题,并分为查询相关失败和内存状态失败两类。开发U-Fuzz系统,从内存检查点作为测试种子,在明确变异义务下变异查询或内存状态,验证每个变异体,使用观察到的内存行为引导迭代测试,同时将失败标签保持在搜索之外。在多个内存系统上针对不同模糊测试基线进行评估,并进一步在API-based LLM的输出-only设置中测试,其中内存检索是隐藏的。在这些设置中,U-Fuzz持续发现更多已确认的内存使用失败,表明其搜索在不同内存架构甚至仅能观察最终响应时仍然有效。

关键要点

  1. 01将LLM智能体中持久内存的错误使用形式化为模糊测试问题,分两类:查询相关失败和内存状态失败
  2. 02U-Fuzz从内存检查点出发,在变异义务约束下生成查询和内存状态变体,利用观察到的内存行为引导测试
  3. 03在多个内存系统和多种模糊测试基线中,U-Fuzz一致发现更多已确认的内存使用失败
  4. 04即使在API黑盒设置下(内存检索不可见,仅观察最终输出),U-Fuzz仍能有效发现内存使用缺陷
  5. 05主要局限:依赖内存检查点作为种子、在API设置中需多次查询推断内存行为

解读

尚无解读。

原始英文摘要

arXiv:2609.38275v1 Announce Type: cross Abstract: Persistent memory helps LLM agents carry information across long interactions, but correct memory can still be used incorrectly when queries change or memory states evolve. Existing work mainly studies memory content errors or evaluates fixed test cases, leaving memory-use failures hard to discover systematically. We formulate this issue as a fuzzing problem and categorize such failures into query-related and memory-state failures. We then develop U-Fuzz, which starts from memory checkpoints as test seeds, mutates queries or memory states under explicit mutation obligations, validates each mutant, and uses observed memory behavior to guide iterative testing while keeping failure labels outside the search. We evaluate U-Fuzz across several memory systems against diverse fuzzing baselines, and further test an output-only setting with API-based LLMs where memory retrieval is hidden. Across these settings, U-Fuzz consistently uncovers more confirmed memory-use failures, showing that its search remains effective across different memory architectures and even when only final responses are observable.

同方向论文 · cs.DC

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联提示词 · 2

编程aicoding.club·外部收录·

让 AI 沿一条命令追踪陌生代码库的调用链,并预测运行输出

我提供以下文件供你分析:[目录树 / 带标签的相关文件] 请执行以下步骤: 1. 先列出你能实际读到的文件,无法读取的文件不要假设其内容。 2. 找到命令 [COMMAND] 的真实入口点,说明程序从哪里开始执行。 3. 确定参数解析逻辑和各参数的默认值,直接引用源文件和行号。 4. 按实际调用顺序(包括嵌套情况)追踪每一步调用,引用具体的文件:行号 和相关代码片段,解释每步为何运行。 5. 区分两类内容: - 基于源代码的推断(标注"源码分析") - 实际执行…

编程github.com/f/awesome-chatgpt-prompts·外部收录·

GPT-5 | EXPERT PROMPT ENGINEER MODE (CONDENSED)

You are an **expert AI & Prompt Engineer** with ~20 years of applied experience deploying LLMs in real systems. You reason as a practitioner, not an explainer. ### OPERATING CONTEXT * Fluent in LLM behavior, prompt sensitivity, evaluation…