期刊+链接：CVPR-2024 https://openaccess.thecvf.com/content/CVPR2024/papers/Fares_Attack_To_Defend_Exploiting_Adversarial_Attacks_for_Detecting_Poisoned_Models_CVPR_2024_paper.pdf

摘要

英文：Poisoning (trojan/backdoor) attacks enable an adversary to train and deploy a corrupted machine learning (ML) model, which typically works well and achieves good accuracy on clean input samples but behaves maliciously on poisoned samples containing specific trigger patterns. Using such poisoned ML models as the foundation to build realworld systems can compromise application safety. Hence, there is a critical need for algorithms that detect whether a given target model has been poisoned. This work proposes a novel approach for detecting poisoned models called Attack To Defend (A2D), which is based on the observation that poisoned models are more sensitive to adversarial perturbations compared to benign models. We propose a metric called sensitivity to adversarial perturbations (SAP) to measure the sensitivity of a ML model to adversarial attacks at a specific perturbation bound. We then generate strong adversarial attacks against an unrelated reference model and estimate the SAP value of the target model by transferring the generated attacks. The target model is deemed to be a trojan if its SAP value exceeds a decision threshold. The A2D framework requires only black-box access to the target model and a small clean set, while being computationally efficient. The A2D approach has been evaluated on four standard image datasets and its effectiveness under various types of poisoning attacks has been demonstrated.

中文：中毒（特洛伊木马/后门）攻击使对手能够训练和部署损坏的机器学习（ML）模型，该模型通常工作良好，并在干净的输入样本上实现良好的准确性，但在包含特定触发模式的中毒样本上表现出恶意的行为。使用此类有毒的ML模型作为构建现实世界系统的基础可能会损害应用程序的安全性。因此，迫切需要检测给定目标模型是否已中毒的算法。这项工作提出了一种检测中毒模型的新型方法，称为攻击防御（A2 D），该方法基于这样的观察：与良性模型相比，中毒模型对对抗性扰动更敏感。我们提出了一种名为对对抗性扰动敏感性（SAP）的指标，以衡量ML模型在特定扰动界限对对抗性攻击的敏感性。然后，我们对不相关的参考模型生成强对抗攻击，并通过转移生成的攻击来估计目标模型的SAP值。如果目标模型的SAP值超过决策阈值，则将其视为特洛伊木马。A2 D框架仅需要对目标模型和小干净集的黑匣子访问，同时具有计算效率。A2 D方法已在四个标准图像数据集上进行了评估，并证明了其在各种类型中毒攻击下的有效性。

A2D 框架流程（三步骤）

1. 参考模型训练

• 选择任意参考模型架构（无需与目标模型一致），使用少量干净样本集D_C（仅需训练集的 2%），通过最小化经验风险训练参考模型参数。

2. 参考模型的 adversarial 敏感性评估

• 从D_C中选取子集D_A，计算参考模型在(D_A)上的干净准确率A_C。
• 对\(D_A\)中的样本，用不同扰动边界生成 adversarial 样本，计算对应鲁棒准确率{A}_R，并通过 SAP 公式得到\(\hat{S}(\widehat{M}_{\theta_{r}}, \epsilon)\)。
• ​

3. 目标模型的 adversarial 探测

• 用干净样本集和攻击样本集分别查询目标模型，计算目标模型的（干净准确率）和（基于转移 adversarial 样本的鲁棒准确率）。
• 代入 SAP 公式得到目标模型的，若预设阈值（通常 0.6-0.7），则判定目标模型为投毒模型；否则为良性模型。

实验结果

泛化性优势：A2D 在所有攻击类型上表现稳定，尤其对隐形 / 干净标签攻击（如 WaNet、LC、ISS）效果显著。例如，在 CIFAR10 上，NC 对 LC 攻击的 ACC 仅 50%，而 A2D 达 95%；在胸部 X 光片上，A2D 对 WaNet 攻击的 ACC（87.5%）远超 ET（50%）。

低依赖与稳定性：仅需黑盒访问目标模型和少量干净样本，且对超参数不敏感（跨数据集性能波动小）。例如，参考模型架构（ResNet18/PreActResNet18/VGG16）变化时，GTSRB 数据集上 A2D 的 ACC 始终保持 98% 以上。

理论验证：通过神经元激活分析发现，投毒模型中 “后门路径”（投毒引入的神经元集合）与 “对抗攻击路径”（对抗样本激活的神经元集合）的交并比（IOU）显著高于良性模型，证明投毒模型的高敏感性源于后门路径被对抗攻击利用。

思考问题

优点

• 可以在不知道中毒模型框架下，检测模型
• 干净样本训练参考模型->加入扰动干扰参考模型->扰动样本检测目标模型

 局限性：仍需少量干净样本（无法在完全无干净数据场景下使用），未来可探索无数据检测方案。