A-MemGuard: A Proactive Defense Framework for LLM-Based Agent Memory (2025)

论文重点

A-MemGuard是首个针对LLM智能体记忆注入攻击的主动防禦框架，核心洞察在于让记忆系统本身具备「自我检查」与「自我修正」的能力。该框架通过共识验证与双记忆结构两大机制，在不修改智能体核心架构的前提下，将攻击成功率削减超过95%，同时保持极低的效用损耗。

核心研究内容

• 问题定义：LLM智能体依赖记忆系统从历史交互中学习，但这也引入了严重的安全漏洞。攻击者可注入看似无害的记录来操控智能体的未来行为。此类攻击有两大特徵：第一，恶意效果仅在特定上下文中被激活，单独审计每个记忆条目时难以察觉；第二，一旦触发，操控会引发自我强化的错误循环——被汙染的结果被存为先例，不仅放大初始错误，还逐步降低未来类似攻击的门檊。

• 创新方法：A-MemGuard提出了一个双轨并行的防禦架构：

  1. 共识验证（Consensus-based Validation）：检索多条相关记忆，分别生成推理路径，通过比对路径间的偏离程度来检测异常。其核心逻辑是：单条被汙染的记忆看似合理，但它所诱导的推理路径必然会偏离由良性记忆形成的共识。
  2. 双记忆结构（Dual-Memory Structure）：在智能体的主记忆之外，增设一个独立的「教训记忆」（Lesson Memory），将检测到的失败推理路径提炼为「教训」单独存储，在未来行动前主动查询并规避重複错误。

• 研究成果：在多个基准测试上的实验结果显示：

  • 针对直接注入攻击（AgentPoison），在EHRAgent医疗场景中，检索阶段的攻击成功率（ASR-r）从100%降至最低2.13%；在ReAct-StrategyQA知识密集型任务中，LLaMA-3-8B智能体的ASR-r从37.50%降至0.00%。
  • 针对间接注入攻击，攻击成功率降低超过60%，最终平均ASR分别达到0.256（GPT-4o-mini）和0.233（LLaMA-3.1-8B）。
  • 在良性任务上，A-MemGuard在所有测试配置中均保持了最高的准确率（ACC），证明了其在安全与效用之间的优越平衡。

• 实际落地应用的可能性：A-MemGuard具有极高的实用价值。它无需修改智能体的核心架构，可作为安全层直接接入现有LLM智能体系统。防禦能力会随时间推移不断增强——每次成功防禦都会转化为新的「教训」，形成自我强化的安全防线。论文代码已开源（https://github.com/TangciuYueng/AMemGuard），为社区提供了可直接使用的实现参考。

技术细节

A-MemGuard的技术实现可分为两个核心模块：

（一）共识验证模块

给定当前查询 ( q_t ) 和检索到的 ( K ) 条记忆 ( \mathcal{M}_r = {m_1, …, m_K} )，该模块分两步运作：

第一步：并行推理路径生成。对每条记忆 ( m_i )，智能体先生成自由形式的推理说明，再从中提取结构化的推理路径：
[
\hat{\rho}_i = \Lambda(q_t, m_i; \theta)
]
其中 ( \hat{\rho}_i ) 被定义为语义轨迹：
[
\hat{\rho}i = (e_1 \xrightarrow{r_1} e_2 \xrightarrow{r_2} \ldots \xrightarrow{r{L-1}} e_L)
]
这直接产生一组 ( K ) 条并行结构化路径 ( \hat{P}_t = {\hat{\rho}_1, \ldots, \hat{\rho}_K} )。

第二步：路径偏离评分与验证。定义偏离评分函数 ( \mathcal{S}{\text{div}} )，计算每条候选路径偏离群体共识的程度：
[
s_i = \mathcal{S}{\text{div}}(\hat{\rho}_i, \hat{P}t)
]
若 ( s_j ) 超过阈值 ( \tau )，该路径被标记为异常。最终只保留产生非异常路径的记忆：
[
\mathcal{M}{\text{val}} = {m_i \in \mathcal{M}r \mid \mathcal{S}{\text{div}}(\Lambda(q_t, m_i; \theta), \hat{P}_t) \leq \tau}
]

（二）双记忆结构与自我修正模块

当某条推理路径 ( \hat{\rho}j ) 被识别为异常时，该路径本身即被定义为「教训」：
[
l_t := \hat{\rho}j
]
教训被归档至教训记忆 ( \mathcal{M}{\text{les}} \leftarrow \mathcal{M}{\text{les}} \cup {l_t} )。在智能体执行最终行动前，系统先将行动计划结构化为候选路径 ( \hat{p}{\text{final}} )，然后查询教训记忆中结构相似的条目 ( L{\text{rel}} )。若存在相关教训，则触发「审议循环」，迫使智能体修订计划：
[
a_t \sim \pi’(\cdot|q_t, \mathcal{M}{\text{val}}) =
\begin{cases}
\pi{\theta}(\cdot|q_t, \mathcal{M}{\text{val}}, L{\text{rel}}) & \text{if } L_{\text{rel}} \neq \emptyset \
\pi_{\theta}(\cdot|q_t, \mathcal{M}_{\text{val}}) & \text{otherwise}
\end{cases}
]

这一设计将检测到的威胁转化为自适应防禦，使智能体不仅能抵禦攻击，还能从中学习，逐步强化安全态势。

研究设定

任务与基准：论文在三个代表性场景中评估A-MemGuard：

• 直接投毒攻击：知识密集型问答智能体（ReAct-StrategyQA）和医疗健康记录管理智能体（EHRAgent）
• 间接注入攻击：基于MMLU的通用问答智能体
• 多智能体系统：基于MISINFOTASK数据集的协作智能体

模型与基线：测试了两种主流LLM骨干——GPT-4o-mini和LLaMA-3.1-8B，结合两种记忆检索架构（DPR和REALM）。对比基线包括：无防禦、LLM审计模块、微调Distil分类器、困惑度过滤器（PPL）。

评估指标：针对直接投毒攻击，报告三个阶段的攻击成功率——检索阶段（ASR-r）、智能体思考阶段（ASR-a）、端到端任务表现（ASR-t）；针对间接注入攻击，报告最终ASR；效用评估使用良性任务准确率（ACC）。

关键超参数：主记忆和教训记忆的top-k均设为4。

综合分析

A-MemGuard的贡献不仅在于提供了一个有效的防禦方案，更在于它从根本上重新定义了LLM智能体记忆安全的范式——从静态过滤走向主动的、经验驱动的防禦模型。

从方法论层面看，A-MemGuard的巧妙之处在于它没有试图「识别」恶意记忆本身（这在孤立审计时几乎不可能），而是通过推理路径的群体共识来间接检测异常。这种「曲线救国」的思路恰恰击中了记忆注入攻击的核心弱点——攻击的有效性依赖于特定上下文，而正是在这个上下文中，异常推理路径才会暴露。用论文原话说：「虽然单条被汙染的记忆看似有效，但它所诱导的推理将偏离由良性经验形成的共识。」

从系统设计层面看，双记忆结构的设计体现了深刻的工程智慧。传统防禦是一次性的——检测到攻击、拦截、结束。但A-MemGuard将每一次防禦经验转化为可複用的「教训」，使防禦系统具备了持续进化的能力。这在面对不断演变的攻击手段时尤为重要。

从实证结果层面看，数据的说服力很强。在EHRAgent场景中，ASR-r从100%降至2.13%，降幅超过97%；在ReAct-StrategyQA中，LLaMA-3-8B的ASR-r从37.50%降至0.00%。更值得注意的是，这些成果在多种模型骨干和检索架构上都得到了验证，说明了方法的通用性。

一个值得思考的问题是：共识验证的有效性高度依赖于检索到的记忆中「良性记忆」佔多数。如果攻击者能够汙染足够多的记忆条目从而使「共识」本身被扭曲，该如何应对？这可能是未来研究需要探讨的边界情况。

实践应用

应用场景一：企业级LLM智能体部署。对于部署了LLM智能体（如客服机器人、内部知识助手）的企业，A-MemGuard可作为安全中间件集成到现有系统中。无需重新训练模型，只需在记忆检索与行动生成之间插入该防禦层。

应用场景二：医疗与金融等高风险领域。在医疗记录管理（如论文中测试的EHRAgent场景）或金融交易分析等对准确性要求极高的场景中，A-MemGuard显着降低攻击成功率的同时保持了极高的良性任务准确率，具有直接的商业价值。

应用场景三：多智能体协作系统。论文验证了A-MemGuard在多智能体系统中的可扩展性，这对于构建大规模自动化工作流（如供应链管理、自动化科研）具有重要参考意义。

实施建议：

1. 从论文提供的开源代码入手（https://github.com/TangciuYueng/AMemGuard），在测试环境中验证效果
2. 根据实际业务场景调整top-k参数（论文设为4）和偏离评分阈值τ
3. 监控教训记忆的增长情况，定期审查积累的「教训」质量，避免过度保守导致的效用下降
4. 对于算力受限的场景，可考虑使用更轻量的模型来执行推理路径生成与比对，以降低延迟开销

参考资料来源

• 原始论文：Wei, Q., Yang, T., Wang, Y., Li, X., Li, L., Yin, Z., Zhan, Y., Holz, T., Lin, Z., & Wang, X. (2025). A-MemGuard: A Proactive Defense Framework for LLM-Based Agent Memory. arXiv preprint arXiv:2510.02373. https://arxiv.org/abs/2510.02373
• 开源代码：https://github.com/TangciuYueng/AMemGuard