CN117152486A - 一种基于可解释性的图像对抗样本检测方法 - Google Patents

Abstract

一种基于可解释性的图像对抗样本检测方法属于计算机视觉领域。本发明针对图像对抗样本的可解释性研究不足导致的现有图像对抗样本检测方法较为抽象的问题，分别提出了图像特征鲁棒性的解释方法和基于自适应降噪的图像对抗样本检测方法的研究。首先区分图像中哪些区域的特征为鲁棒性特征，哪些为非鲁棒性特征，然后根据不同区域的特征进行自适应降噪处理，最后以降噪前后图像分类结果的差异作为度量训练分类器，实现对图像对抗样本的检测。

Description

一种基于可解释性的图像对抗样本检测方法

技术领域

本发明属于计算机视觉领域，尤其涉及一种基于可解释性的图像对抗样本检测方法。

背景技术

随着深度学习技术的发展，深度神经网络(DNN)得到了广泛应用，代替人类完成复杂冗余的工作，为人们的带来了极大的便利。基于DNN的图像识别技术被广泛应用于人脸识别、自动驾驶、生物医学等诸多领域，人们在逐渐习惯这些技术所带来的便利的同时，也越来越关注其所带来的安全隐患。图像识别***一旦受到攻击，将会对人们的财产及人身安全带来极大隐患。

对抗样本可以针对各类DNN分类网络进行攻击，例如：语音识别、自然语言处理以及图像识别。其中，图像识别领域的对抗样本攻击、防御与检测最为复杂多样。图像对抗样本只需在原图像中添加一些精心制作的扰动，便可以使图像识别***以非常高的置信度将图片错误地分类。这些扰动可能只有几个到几十个像素，肉眼几乎无法察觉，这使得攻击者可以在难以察觉的情况下对图像识别***进行攻击。

自动驾驶时对交通标志的识别、人脸识别的身份认证、以及医疗成像***都对图像处理结果以及精度有很高的要求，一旦这些***受到攻击而给出错误地预测分类结果，将对我们的财产甚至生命安全带来严重的威胁。例如：自动驾驶***在识别交通标志时被对抗样本攻击，将停车让行标志以高置信度识别为右转标志，这将造成难以挽回的后果。因此，确保图像识别***的安全性和可靠性是十分重要的。

当前主流的图像对抗样本检测方法分为两大类：基于统计学的检测方法和构建辅助模型的检测方法。基于统计学的检测方法通过直接计算对抗样本与干净样本统计学属性的差异，用于构建分类器；构建辅助模型的检测方法致力于利用辅助模型抽象出对抗样本与干净样本的不同特征，以此来构建分类器。

对抗样本的可迁移性和其特征的难以预测性为对抗样本的防御和检测工作带来了很高的难度。就攻击环境而言，对抗样本攻击可以分为黑盒攻击和白盒攻击：在白盒攻击场景中，攻击方知道关于DNN模型的一切，包括模型体系结构及其权重，以及模型输入和输出；在黑盒攻击场景中，攻击方对模型一无所知，但可以利用其可转移性在已有模型上生成对抗样本，并用于攻击其他未知模型。此外，由于对对抗样本的可解释性研究不足，导致研究人员并不能理解对抗样本为何能成功地攻击DNN模型，这也使得对抗样本攻击更加难以被防御或检测。

发明内容

本发明针对图像对抗样本的可解释性研究不足导致的现有图像对抗样本检测方法较为抽象的问题，分别提出了图像特征鲁棒性的解释方法和基于自适应降噪的图像对抗样本检测方法的研究。首先区分图像中哪些区域的特征为鲁棒性特征，哪些为非鲁棒性特征，然后根据不同区域的特征进行自适应降噪处理，最后以降噪前后图像分类结果的差异作为度量训练分类器，实现对图像对抗样本的检测。

1.一种基于可解释性的图像对抗样本检测方法，其特征在于以下步骤：

步骤1、获取ILSVRC2012数据结构并生成相应的对抗样本

步骤2、对图像分类中间层特征图添加扰动并划分图像特征鲁棒性

鲁棒性分数r作为图像特征的评价指标；x为原始输入的图像样本，为了获取图像的深度特征，首先提取图像分类中间层的特征图，将输入的图像x的特征图A划分为n*n的网格区域，对每个网格区域k∈K＝{1,2,3,...,n*n}逐个添加随机扰动δ_k，得到对第k个网格区域扰动后的特征图A_k；然后将A_k输入回模型继续进行分类，并将添加扰动前后的结果进行对比；分类结果的取值范围为概率值[0,1]利用logit函数将其扩大为(-∞,+∞)：

对于i∈R其中R为x所有可能的分类空间，特征图第k个网格被扰动后的图像为x_k，为原始图像x被分类为i的概率，对于k∈K＝{1,2,3,...,n*n}预测得到每一个x_k的最可能分类类别/>根据原始图像以及特征图扰动后的图像的最大可能类别/>与/>分别计算出Z(x)和Z(x_k)；

Z(x)与Z(x_k)的差距越大，说明该区域对扰动δ越敏感，即鲁棒性分数越低，因此，定义第k个网格区域的鲁棒性分数r_k的计算公式为：

在CNN的卷积层后添加perturb层，所添加的随机扰动为均值μ＝0，标准差σ＝0.1的高斯噪声；

采取对ResNet50或VGG16网络分类过程中的特征图添加扰动；对于ResNet50网络，通过在其“conv1_conv”卷积层后添加perturb层以达成对特征图添加扰动；该卷积层的卷积核大小kernel_size＝7*7，步长stride＝2，填充padding＝3，经过卷积后得到64*112*112的特征图；对于VGG16网络，通过在其“block2_conv1”卷积层后添加perturb层以达成对特征图添加扰动；该卷积层的卷积核大小kernel_size＝3*3，步长stride＝1，填充padding＝1，经过卷积后得到128*112*112的特征图；

步骤3、对划分好鲁棒性的图像进行自适应降噪并训练分类器

采用不同质量因子的JPEG压缩作为自适应降噪方法；JPEG压缩的质量因子Q取值范围为[1,100]，Q越大降噪水平越低，反之，Q越小则降噪水平越高；

根据上一步中计算出的每个网格区域的鲁棒性分数r_k∈R_k＝{r₁,r₂,r₃,...,r_n*n}，对图像进行自适应降噪；根据r_k得到Q_k的计算公式为：

原样本x和降噪后的样本x'分别输入基线分类器，得到x的softmax分布S(x)及x'的softmax分布S(x′)；采用S(x)及S(x′)的KL散度D作为样本降噪前后差异的度量，D的计算公式为：

训练检测器给出阈值τ，τ为256，当D<τ时将输入样本分类为干净样本；当D≥τ时将输入样本分类为对抗样本。

附图说明

图1图像特征划分框架图；

图2自适应降噪并训练分类器框架图；

图3图像特征鲁棒性划分示意图；

图4自适应降噪并分类示意图；

具体实施方式

基于卷积神经网络的图像识别技术被广泛应用于人脸识别、自动驾驶、生物医学等诸多领域，人们在逐渐习惯这些技术所带来的便利的同时，也越来越关注其所带来的安全隐患。图像识别***一旦受到攻击，将会对人们的财产及人身安全带来极大隐患。因此，基于可解释性的图像对抗样本检测技术可以大大提高图像识别的安全性，应用前景广阔。

传统的计算机视觉领域可解释性算法如CAM，Grad-CAM等在对图像分类进行可视化时需要修改原有的CNN网络，导致分类结果或多或少出现偏差。本发明无需修改原模型，只需基于另外扰动后的网络分类结果即可划分图像分类时的鲁棒性区域，避免了分类结果准确率的下降。另外，基于降噪的图像对抗样本检测技术根据降噪力度的大小可能出现较低的准确率或较高的误报率。本发明采用自适应降噪实现检测准确高、误报率低的图像对抗样本检测方法。

本发明提供一种基于可解释性的图像对抗样本检测方法，包括：步骤1、获取ILSVRC2012数据集并生成相应的对抗样本；步骤2、提取图像分类中间层的特征图添加扰动，对比扰动前后分类结果得到图像鲁棒性特征划分；步骤3、基于图像的鲁棒性划分对输入图像进行自适应降噪并使用CNN对降噪前后的输入图像进行分类，以分类结果差异作为训练检测分类器的标准。步骤2的框架图如图1所示，步骤3的框架图如图2所示。

步骤1、获取ILSVRC2012数据结构并生成相应的对抗样本

由于没有公开的对抗样本数据集，当前所有有关对抗样本的研究都需要自己生成对抗样本，因此本发明采用现有的对抗样本攻击方法，对ILSVRC2012数据集数据进行攻击以生成对抗样本。当前图像对抗样本生成的方法已经较为成熟，本课题采用FGSM，CW，PGD，DeepFool等攻击方法生成图像对抗样本，作为训练及测试数据。

步骤2、对图像分类中间层特征图添加扰动并划分图像特征鲁棒性

★鲁棒性分数

图像的鲁棒性特征不容易被添加的扰动干扰，而非鲁棒性特征对扰动比较敏感。因此本课题需要研究图像分类的深度特征，将特征图网格化，通过添加随机噪声并对比分类结果的方式，来划分图像的鲁棒性和非鲁棒性特征。

本发明提出鲁棒性分数r作为图像特征的评价指标。x为原始输入的图像样本，为了获取图像的深度特征，首先提取图像分类中间层的特征图，将输入的图像x的特征图A划分为n*n的网格区域，对每个网格区域k∈K＝{1,2,3,...,n*n}逐个添加随机扰动δ_k，得到对第k个网格区域扰动后的特征图A_k。然后将A_k输入回模型继续进行分类，并将添加扰动前后的结果进行对比。分类结果的取值范围为概率值[0,1]可利用logit函数将其扩大为(-∞,+∞)：

对于i∈R其中R为x所有可能的分类空间，特征图第k个网格被扰动后的图像为x_k，为原始图像x被分类为i的概率，对于k∈K＝{1,2,3,...,n*n}预测得到每一个x_k的最可能分类类别/>根据原始图像以及特征图扰动后的图像的最大可能类别/>与/>分别计算出Z(x)和Z(x_k)。由上述公式可以得出，Z(x)与Z(x_k)的差距越大，说明该区域对扰动δ越敏感，即鲁棒性分数越低，因此，定义第k个网格区域的鲁棒性分数r_k的计算公式为：

特征图中添加扰动的区域可以映射回原图像，定位原图像中的特征。图像特征鲁棒性划分示意图如图3所示。

★随机扰动及所在位置

本发明中采取在CNN的卷积层后添加perturb层以达到对分类过程中的特征图添加扰动的目的。所添加的随机扰动为均值μ＝0，标准差σ＝0.1的高斯噪声。

ResNet50、VGG16等先进的CNN对在图像分类中的表现很出色，因此，本发明采取对ResNet50以及VGG16网络分类过程中的特征图添加扰动。对于ResNet50网络，通过在其“conv1_conv”卷积层后添加perturb层以达成对特征图添加扰动。该卷积层的卷积核大小kernel_size＝7*7，步长stride＝2，填充padding＝3，经过卷积后得到64*112*112的特征图。对于VGG16网络，通过在其“block2_conv1”卷积层后添加perturb层以达成对特征图添加扰动。该卷积层的卷积核大小kernel_size＝3*3，步长stride＝1，填充padding＝1，经过卷积后得到128*112*112的特征图。

步骤3、对划分好鲁棒性的图像进行自适应降噪并训练分类器

★自适应降噪方法

高水平的降噪虽然可以使更多的对抗样本被成功检测出来，但由于图像质量的降低，也会造成更多的假阳性样本出现。因此需要采用自适应的降噪方法以兼顾检测器的检测成功率与假阳性率。

JPEG压缩在作为降噪方法用于去除对抗扰动时具有很好的效果，本课题采用不同质量因子的JPEG压缩作为自适应降噪方法。JPEG压缩的质量因子Q取值范围为[1,100]，Q越大降噪水平越低，反之，Q越小则降噪水平越高。

根据上一步中计算出的每个网格区域的鲁棒性分数r_k∈R_k＝{r₁,r₂,r₃,...,r_n*n}，对图像进行自适应降噪。由于对抗样本攻击方倾向于对图像的非鲁棒性特征添加对抗性扰动，因此对r较高的区域采用低水平降噪，即降噪时采用较小的Q值；对r较低的区域采用高水平降噪，即降噪时采用较大的Q值，得到降噪后的图像x'。根据r_k得到Q_k的计算公式为：

★训练检测分类器

由于已经训练好的DNN分类器对于正常图像的降噪具有一定鲁棒性，因此干净样本降噪前后的分类结果差异较小，而对抗样本降噪前后差异较大。原样本x和降噪后的样本x'分别输入基线分类器，得到x的softmax分布S(x)及x'的softmax分布S(x′)。采用S(x)及S(x′)的KL散度D作为样本降噪前后差异的度量，D的计算公式为：

训练检测器给出阈值τ，τ为256，当D<τ时将输入样本分类为干净样本；当D≥τ时将输入样本分类为对抗样本。自适应降噪并训练检测分类器的示意图如图4所示。

Claims (1)

1.一种基于可解释性的图像对抗样本检测方法，其特征在于以下步骤：

步骤1、获取ILSVRC2012数据结构并生成相应的对抗样本

步骤2、对图像分类中间层特征图添加扰动并划分图像特征鲁棒性

鲁棒性分数r作为图像特征的评价指标；x为原始输入的图像样本，为了获取图像的深度特征，首先提取图像分类中间层的特征图，将输入的图像x的特征图A划分为n*n的网格区域，对每个网格区域k∈K＝{1,2,3,...,n*n}逐个添加随机扰动δ_k，得到对第k个网格区域扰动后的特征图A_k；然后将A_k输入回模型继续进行分类，并将添加扰动前后的结果进行对比；分类结果的取值范围为概率值[0,1]利用logit函数将其扩大为(-∞,+∞)：

对于i∈R其中R为x所有可能的分类空间，特征图第k个网格被扰动后的图像为x_k，为原始图像x被分类为i的概率，对于k∈K＝{1,2,3,...,n*n}预测得到每一个x_k的最可能分类类别/>根据原始图像以及特征图扰动后的图像的最大可能类别/>与/>分别计算出Z(x)和Z(x_k)；

Z(x)与Z(x_k)的差距越大，说明该区域对扰动δ越敏感，即鲁棒性分数越低，因此，定义第k个网格区域的鲁棒性分数r_k的计算公式为：

在CNN的卷积层后添加perturb层，所添加的随机扰动为均值μ＝0，标准差σ＝0.1的高斯噪声；

采取对ResNet50或VGG16网络分类过程中的特征图添加扰动；对于ResNet50网络，通过在其“conv1_conv”卷积层后添加perturb层以达成对特征图添加扰动；该卷积层的卷积核大小kernel_size＝7*7，步长stride＝2，填充padding＝3，经过卷积后得到64*112*112的特征图；对于VGG16网络，通过在其“block2_conv1”卷积层后添加perturb层以达成对特征图添加扰动；该卷积层的卷积核大小kernel_size＝3*3，步长stride＝1，填充padding＝1，经过卷积后得到128*112*112的特征图；

步骤3、对划分好鲁棒性的图像进行自适应降噪并训练分类器

采用不同质量因子的JPEG压缩作为自适应降噪方法；JPEG压缩的质量因子Q取值范围为[1,100]，Q越大降噪水平越低，反之，Q越小则降噪水平越高；

根据上一步中计算出的每个网格区域的鲁棒性分数r_k∈R_k＝{r₁,r₂,r₃,...,r_n*n}，对图像进行自适应降噪；根据r_k得到Q_k的计算公式为：

原样本x和降噪后的样本x'分别输入基线分类器，得到x的softmax分布S(x)及x'的softmax分布S(x′)；采用S(x)及S(x′)的KL散度D作为样本降噪前后差异的度量，D的计算公式为：

训练检测器给出阈值τ，τ为256，当D<τ时将输入样本分类为干净样本；当D≥τ时将输入样本分类为对抗样本。