CN113780301B - 防御对抗攻击的自适应去噪机器学习应用方法 - Google Patents

Abstract

本发明属于机器学习、图像识别技术领域，为消除灰度图像中的大多数敌对干扰，以保证机器学习图像识别质量，本发明，机器学习***中防御对抗攻击的自适应去噪方法,步骤如下：计算图像熵：将图片转换为灰度图，并计算图像的熵值，若熵值大于设定的阈值则说明该图片可能存在对抗扰动，若熵值小于设定的阈值则不进行处理；利用自适应标量量化算法对扰动图片进行处理，选取滤波器和滤波函数对图像进行去噪处理；利用快速三维块匹配算法FastBM3D对图像质量进行优化；将图片输入至神经网络中进行处理。本发明主要应用于目标、图像自动识别场合。

Description

防御对抗攻击的自适应去噪机器学习应用方法

技术领域

本发明属于机器学习领域，涉及神经网络攻击中对抗样本数据还原和清除的方法。具体涉及机器学习***中防御对抗攻击的自适应去噪方法。

背景技术

近年来，机器学习在图像识别、语音识别、目标检测、恶意软件检测、自然语言处理等诸多领域做出了巨大的贡献。2014年，Ian Goodfellow等人提出了生成对抗网络(Generative Adversarial Network，GAN)，使机器学习***在图像生成和语音生成方面取得了进一步突破。基于GAN的思想，Mehdi-Mirza等人提出了CGAN(Conditional GenerativeAdversarial Networks)，为生成特定图像提供了条件。Alec-Radford等人提出了DCGAN(Deep Convolutional Generative Adversarial Networks)，它结合了GAN和卷积神经网络。DCGAN可以使人们生成实例，这些实例可以作为训练模型的原始数据。

然而，2013年，Christian Szegedy等人提出了对抗样本的概念。他们发现，原始样本可以通过故意添加一个小的扰动来欺骗模型，从而以高置信度给出错误的输出。此外，人们无法认识到这两个例子之间的区别。如图1所示，原始图像是拉布拉多犬。在原始图像中加入一个小的对抗性扰动后，神经网络将其分类为猎犬。这两幅图看起来是一样的，但加入对抗性扰动后，会欺骗神经网络，模型会给出错误的结果。在现实生活中，自动驾驶汽车需要不断地识别自身周围的环境和交通状况。假设沿路有一个停车标志，但由于某些原因，它上面有一些污渍，使车辆将停车标志识别为右转标志，然后车辆将根据该标志右转，这可能会导致严重的交通事故。

标量量化首先应用于信号处理领域。标量量化的原理是将整个动态范围划分为几个小的区间。如图2所示，每个间隔具有代表值。在量化过程中，落入区间的信号值将被代表值所代替。例如，如果信号值为-0.3，则代表值为-0.5。如果信号值为0.8，则代表值为1。由于信号量是一维的，因此该方法称为标量量化。假设我们将输入拆分为M个区间，b_i表示第i个位置的断点值，y_i表示第i个区间的代表值，Q(x)表示量化函数，那么

Q(x)＝y_i b_i<x<b_i+1

三维块匹配算法(Block Matching and 3D Filtering，简称BM3D)算法是在灰度图像去噪中的一种有效方法。该方法主要分为基本估计和最终估计两大部分。每个部分又分为三个小部分：分组、协同过滤和聚合。分组部分是寻找差异最小的块，并将它们集成到三维矩阵中。协同过滤是对每个三维矩阵中的块进行二维变换。聚合是在三维矩阵执行一维转换，之后使用硬阈值将小于参数λ的组件设置为零。虽然BM3D的去噪效果优于其他方法，但是BM3D算法的运行代价却相当高。如果将BM3D算法应用于自动驾驶领域，将导致严重事故。

发明内容

为克服现有技术的不足，本发明旨在提出结合自适应标量量化(Adaptive ScalarQuantization)和快速三维块匹配算法(Fast Block Matching and 3D Filtering，简称FastBM3D)算法的自适应去噪框架ASQ-FastBM3D。ASQ算法和FastBM3D算法，可以消除灰度图像中的大多数敌对干扰，以保证机器学习***的质量。为此，本发明采取的技术方案是，机器学习***中防御对抗攻击的自适应去噪方法,步骤如下：

计算图像熵：将图片转换为灰度图，并计算图像的熵值，若熵值大于设定的阈值则说明该图片可能存在对抗扰动，若熵值小于设定的阈值则不进行处理；

利用自适应标量量化算法对扰动图片进行处理，选取滤波器和滤波函数对图像进行去噪处理；

利用快速三维块匹配算法FastBM3D对图像质量进行优化；

将图片输入至神经网络中进行处理。

计算图像熵具体步骤：

对于8位灰度图像，将图像熵定义为等式

p_i表示图像中像素与值i的比例，设置T_e的阈值，对于图像熵值高于T_e的，对其进行去噪。

利用自适应标量量化算法对扰动图片进行处理：

自适应标量量化的原理是设置卷积滤波器和阈值T_e。然后使用卷积滤波器扫描图像中的每个像素。对于卷积滤波器中的每个像素值x，如果x小于阈值T_e，则直接将其设置为0；如果x大于阈值T_e，它将由过滤函数f(x)计算。

对于过滤函数f(x)，可采用如下三种函数中的一种：

(1)均值函数:取卷积滤波器中大于T_e的所有像素值的平均值，并用平均值替换：

(2)中值函数：取卷积滤波器中大于T_e的所有像素值的中值，用中值代替：

f(x)＝mid(x)

其中输入的x是所有像素值的有序数组，mid()函数用于查找中值；

(3)最大值函数：取卷积滤波器中所有大于T_e像素值的最大值，并用最大值替换它们。

f(x)＝max(x)

输入的x是所有像素值的有序数组；

使用阈值T_e和滤波函数f(x)来确保在保留大部分图像特征的同时去除扰动。

利用FastBM3D对图像质量进行优化

(1)减少分组部分中相似块的数目，并且增加所选参考块的步长；

(2)从原始的BM3D算法中删除最终的估计，量化后的图像仅受BM3D算法的基本估计。

将图片输入至神经网络中进行处理

将熵值小于阈值的图片或者利用ASQ-FastBM3D去噪后的图片输入到神经网络中，得出结果进行对比分析。

本发明的特点及有益效果是：

对抗性扰动视为一种噪声，提出了一种自适应标量量化与FastBM3D算法相结合的方法。它是一个轻量级的框架，可以在不使用神经网络的情况下恢复对抗性实例。该方法的优点是效率高，恢复精度高，可以与任何机器学习***相结合，提高鲁棒性。实验结果表明，该方法比传统的图像去噪方法和现有的神经网络去噪方法具有更高的恢复率和效率。通过实验模拟了真实的车牌识别环境。结果表明，该方法与车牌识别***相结合，可以达到99.73％的准确率。一般来说，本发明的方法可以抵御对手的攻击，保证机器学习***的质量。

附图说明：

图1对抗攻击实例。

图2标量量化函数。

图3***框架。

图4流程图。

具体实施方式

本发明将对抗性扰动视为一种噪声，提出了一种结合自适应标量量化算法(Adaptive Scalar Quantization，简称ASQ)和快速三维块匹配算法(Fast BlockMatching and 3D Filtering，简称FastBM3D)算法的自适应去噪框架ASQ-FastBM3D。ASQ算法和FastBM3D算法是标量量化和BM3D算法的升级版本。我们的发明可以消除灰度图像中的大多数敌对干扰，例如对于现实生活中的车牌检测，路牌检测等，往往输入的图片噪声很大，这样会导致神经网络将噪声识别为对抗扰动，导致错误的识别结果。通过本发明的算法，可以对输入的图片先进行去噪处理，消除图片中的对抗扰动，再将图片输入至机器学习模型中进行识别，可以提升现实生活中机器学习模型识别的准确率。因此它可以保证机器学习***的质量。

1、整体架构

本***共分为四个模块，如图3所示：

·计算图像熵。将图片转换为灰度图，并计算图像的熵值，若熵值大于设定的阈值则说明该图片可能存在对抗扰动，若熵值小于设定的阈值则不进行处理。

·利用自适应标量量化算法对扰动图片进行处理。选取合适的滤波器和滤波函数对图像进行去噪处理。

·利用FastBM3D对图像质量进行优化。

·将图片输入至神经网络中进行处理。

2、计算图像熵

图像熵是一种信息熵，它反映了图像中的平均信息量。对于8位灰度图像，将图像熵定义为等式

p_i表示图像中像素与值i的比例。由于对抗性扰动的本质是噪声，所以加入部分扰动的对抗性例子的熵一般比原始例子的熵大。因此，我们可以设置T_e的阈值，以便对于图像熵值高于T_e的示例，我们对其进行去噪。这使得程序运行更高效。

3、利用自适应标量量化算法(ASQ)对扰动图片进行处理

自适应标量量化的原理是设置卷积滤波器和阈值T_e。然后使用卷积滤波器扫描图像中的每个像素。对于卷积滤波器中的每个像素值x，如果x小于阈值T_e，则直接将其设置为0；如果x大于阈值T_e，它将由过滤函数f(x)计算。

对于过滤函数f(x)，我们提出了三种方法：

(1)均值函数:取卷积滤波器中大于T_e的所有像素值的平均值，并用平均值替换它们。

(2)中值函数：取卷积滤波器中大于T_e的所有像素值的中值，用中值代替。

f(x)＝mid(x)

其中输入的x是所有像素值的有序数组。mid()函数用于查找中值。

(3)最大值函数：取卷积滤波器中所有大于T_e像素值的最大值，并用最大值替换它们。

f(x)＝max(x)

输入的x是所有像素值的有序数组。max()函数用于查找最大值。

阈值T_e和f(x)的选择对于消除敌对干扰和保持图像的原始特征具有重要意义。如果阈值太低，可能无法消除大多数敌对干扰。如果阈值T_e过高，可能会删除大部分关键图像信息，导致分类错误。总之，对于具有明显特征的图像，我们使用阈值T_e和滤波函数f(x)来确保在保留大部分图像特征的同时去除一些扰动。

4、利用FastBM3D对图像质量进行优化

BM3D对灰度图像去噪效果较好，但分组部分和最终估计时间较长，计算效率较低。因此，传统的BM3D算法不适用于实时***，例如自动驾驶中的车牌识别和交通信号识别。基于这两个原因，本发明对BM3D算法做了两个改进。

(1)由于给定图像的特征是明显的，并且BM3D中的分组操作消耗的时间最长，因此可以减少分组部分中相似块的数目，并且可以增加所选参考块的步长。在减少相似块的数目和增大步长后，去噪效果与原算法相差不大，但去噪效率大大提高。

(2)本发明大胆地从原始的BM3D算法中删除了最终的估计。由于图像特征是明显的，本发明认为量化后的图像仅受BM3D算法的基本估计。

5、将图片输入至神经网络中进行处理

将熵值小于阈值的图片或者利用ASQ-FastBM3D去噪后的图片输入到神经网络中，得出结果进行对比分析。

攻击方法	平均熵值	最大熵值	最小熵值
				原始图片	4.71	5.05	4.14
FGSM	6.72	6.89	6.53
				DeepFool	5.92	6.31	5.33
JSMA	5.88	6.14	5.38
				BIM	6.97	7.10	6.80
PGD	6.88	7.02	6.69
				C&W	7.07	7.30	6.26

表1正常图片与对抗样本图片熵值对比

表2不同种类对抗样本的恢复率

表3 ASQ-FastBM3D与其他现有方法的对比效果

本发明最终的实现一个机器学习***中防御对抗攻击的自适应去噪框架。该***主要利用自适应标量量化的方法对图片中的对抗扰动进行清除，并利用FastBM3D算法对图片质量进行提升。本发明的流程图见图4，具体实施方式如下：

步骤一:对***进行初始化工作，设定相应的阈值，滤波函数，滤波器尺寸等；

步骤二:计算输入图片的图像熵，若图像熵大于阈值则进行下一步，否则执行步骤五；

步骤三:利用设置好的标量量化算法对输入图片进行去噪处理；

步骤四:利用FastBM3D算法对图像质量进行提升；

步骤五：将图像输入至神经网络中进行识别。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种机器学习***中防御对抗攻击的自适应去噪方法，其特征是，步骤如下：

计算图像熵：将图片转换为灰度图，并计算图像的熵值，若熵值大于设定的阈值则说明该图片可能存在对抗扰动，若熵值小于设定的阈值则不进行处理；

利用自适应标量量化算法对扰动图片进行处理，选取滤波器和滤波函数对图像进行去噪处理；

利用快速三维块匹配算法FastBM3D对图像质量进行优化；

将图片输入至神经网络中进行处理；

计算图像熵具体步骤：

对于8位灰度图像，将图像熵定义为等式：

p_i表示图像中像素与值i的比例，设置T_e的阈值，对于图像熵值高于T_e的，对其进行去噪；

利用自适应标量量化算法对扰动图片进行处理：

自适应标量量化的原理是设置卷积滤波器和阈值T_e，然后使用卷积滤波器扫描图像中的每个像素，对于卷积滤波器中的每个像素值x，如果x小于阈值T_e，则直接将其设置为0；如果x大于阈值T_e，它将由过滤函数f(x)计算：

Q(x)表示量化函数，对于过滤函数f(x)，采用如下三种函数中的一种：

(1)均值函数:取卷积滤波器中大于T_e的所有像素值的平均值，并用平均值替换：

(2)中值函数：取卷积滤波器中大于T_e的所有像素值的中值，用中值代替：

f(x)＝mid(x)

其中输入的x是所有像素值的有序数组，mid()函数用于查找中值；

(3)最大值函数：取卷积滤波器中所有大于T_e像素值的最大值，并用最大值替换它们；

f(x)＝max(x)

输入的x是所有像素值的有序数组；

使用阈值T_e和滤波函数f(x)来确保在保留大部分图像特征的同时去除扰动。

2.如权利要求1所述的机器学习***中防御对抗攻击的自适应去噪方法，其特征是，利用FastBM3D对图像质量进行优化，具体步骤如下：

(1)减少分组部分中相似块的数目，并且增加所选参考块的步长；

(2)从原始的BM3D算法中删除最终的估计，量化后的图像仅受BM3D算法的基本估计。

3.如权利要求1所述的机器学习***中防御对抗攻击的自适应去噪方法，其特征是，将图片输入至神经网络中进行处理，将熵值小于阈值的图片或者利用ASQ-FastBM3D去噪后的图片输入到神经网络中，得出结果进行对比分析。

Images