CN113780301B - 防御对抗攻击的自适应去噪机器学习应用方法 - Google Patents
防御对抗攻击的自适应去噪机器学习应用方法 Download PDFInfo
- Publication number
- CN113780301B CN113780301B CN202110843385.8A CN202110843385A CN113780301B CN 113780301 B CN113780301 B CN 113780301B CN 202110843385 A CN202110843385 A CN 202110843385A CN 113780301 B CN113780301 B CN 113780301B
- Authority
- CN
- China
- Prior art keywords
- image
- picture
- entropy
- value
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明属于机器学习、图像识别技术领域,为消除灰度图像中的大多数敌对干扰,以保证机器学习图像识别质量,本发明,机器学习***中防御对抗攻击的自适应去噪方法,步骤如下:计算图像熵:将图片转换为灰度图,并计算图像的熵值,若熵值大于设定的阈值则说明该图片可能存在对抗扰动,若熵值小于设定的阈值则不进行处理;利用自适应标量量化算法对扰动图片进行处理,选取滤波器和滤波函数对图像进行去噪处理;利用快速三维块匹配算法FastBM3D对图像质量进行优化;将图片输入至神经网络中进行处理。本发明主要应用于目标、图像自动识别场合。
Description
技术领域
本发明属于机器学习领域,涉及神经网络攻击中对抗样本数据还原和清除的方法。具体涉及机器学习***中防御对抗攻击的自适应去噪方法。
背景技术
近年来,机器学习在图像识别、语音识别、目标检测、恶意软件检测、自然语言处理等诸多领域做出了巨大的贡献。2014年,Ian Goodfellow等人提出了生成对抗网络(Generative Adversarial Network,GAN),使机器学习***在图像生成和语音生成方面取得了进一步突破。基于GAN的思想,Mehdi-Mirza等人提出了CGAN(Conditional GenerativeAdversarial Networks),为生成特定图像提供了条件。Alec-Radford等人提出了DCGAN(Deep Convolutional Generative Adversarial Networks),它结合了GAN和卷积神经网络。DCGAN可以使人们生成实例,这些实例可以作为训练模型的原始数据。
然而,2013年,Christian Szegedy等人提出了对抗样本的概念。他们发现,原始样本可以通过故意添加一个小的扰动来欺骗模型,从而以高置信度给出错误的输出。此外,人们无法认识到这两个例子之间的区别。如图1所示,原始图像是拉布拉多犬。在原始图像中加入一个小的对抗性扰动后,神经网络将其分类为猎犬。这两幅图看起来是一样的,但加入对抗性扰动后,会欺骗神经网络,模型会给出错误的结果。在现实生活中,自动驾驶汽车需要不断地识别自身周围的环境和交通状况。假设沿路有一个停车标志,但由于某些原因,它上面有一些污渍,使车辆将停车标志识别为右转标志,然后车辆将根据该标志右转,这可能会导致严重的交通事故。
标量量化首先应用于信号处理领域。标量量化的原理是将整个动态范围划分为几个小的区间。如图2所示,每个间隔具有代表值。在量化过程中,落入区间的信号值将被代表值所代替。例如,如果信号值为-0.3,则代表值为-0.5。如果信号值为0.8,则代表值为1。由于信号量是一维的,因此该方法称为标量量化。假设我们将输入拆分为M个区间,bi表示第i个位置的断点值,yi表示第i个区间的代表值,Q(x)表示量化函数,那么
Q(x)=yi bi<x<bi+1
三维块匹配算法(Block Matching and 3D Filtering,简称BM3D)算法是在灰度图像去噪中的一种有效方法。该方法主要分为基本估计和最终估计两大部分。每个部分又分为三个小部分:分组、协同过滤和聚合。分组部分是寻找差异最小的块,并将它们集成到三维矩阵中。协同过滤是对每个三维矩阵中的块进行二维变换。聚合是在三维矩阵执行一维转换,之后使用硬阈值将小于参数λ的组件设置为零。虽然BM3D的去噪效果优于其他方法,但是BM3D算法的运行代价却相当高。如果将BM3D算法应用于自动驾驶领域,将导致严重事故。
发明内容
为克服现有技术的不足,本发明旨在提出结合自适应标量量化(Adaptive ScalarQuantization)和快速三维块匹配算法(Fast Block Matching and 3D Filtering,简称FastBM3D)算法的自适应去噪框架ASQ-FastBM3D。ASQ算法和FastBM3D算法,可以消除灰度图像中的大多数敌对干扰,以保证机器学习***的质量。为此,本发明采取的技术方案是,机器学习***中防御对抗攻击的自适应去噪方法,步骤如下:
计算图像熵:将图片转换为灰度图,并计算图像的熵值,若熵值大于设定的阈值则说明该图片可能存在对抗扰动,若熵值小于设定的阈值则不进行处理;
利用自适应标量量化算法对扰动图片进行处理,选取滤波器和滤波函数对图像进行去噪处理;
利用快速三维块匹配算法FastBM3D对图像质量进行优化;
将图片输入至神经网络中进行处理。
计算图像熵具体步骤:
对于8位灰度图像,将图像熵定义为等式
pi表示图像中像素与值i的比例,设置Te的阈值,对于图像熵值高于Te的,对其进行去噪。
利用自适应标量量化算法对扰动图片进行处理:
自适应标量量化的原理是设置卷积滤波器和阈值Te。然后使用卷积滤波器扫描图像中的每个像素。对于卷积滤波器中的每个像素值x,如果x小于阈值Te,则直接将其设置为0;如果x大于阈值Te,它将由过滤函数f(x)计算。
对于过滤函数f(x),可采用如下三种函数中的一种:
(1)均值函数:取卷积滤波器中大于Te的所有像素值的平均值,并用平均值替换:
(2)中值函数:取卷积滤波器中大于Te的所有像素值的中值,用中值代替:
f(x)=mid(x)
其中输入的x是所有像素值的有序数组,mid()函数用于查找中值;
(3)最大值函数:取卷积滤波器中所有大于Te像素值的最大值,并用最大值替换它们。
f(x)=max(x)
输入的x是所有像素值的有序数组;
使用阈值Te和滤波函数f(x)来确保在保留大部分图像特征的同时去除扰动。
利用FastBM3D对图像质量进行优化
(1)减少分组部分中相似块的数目,并且增加所选参考块的步长;
(2)从原始的BM3D算法中删除最终的估计,量化后的图像仅受BM3D算法的基本估计。
将图片输入至神经网络中进行处理
将熵值小于阈值的图片或者利用ASQ-FastBM3D去噪后的图片输入到神经网络中,得出结果进行对比分析。
本发明的特点及有益效果是:
对抗性扰动视为一种噪声,提出了一种自适应标量量化与FastBM3D算法相结合的方法。它是一个轻量级的框架,可以在不使用神经网络的情况下恢复对抗性实例。该方法的优点是效率高,恢复精度高,可以与任何机器学习***相结合,提高鲁棒性。实验结果表明,该方法比传统的图像去噪方法和现有的神经网络去噪方法具有更高的恢复率和效率。通过实验模拟了真实的车牌识别环境。结果表明,该方法与车牌识别***相结合,可以达到99.73%的准确率。一般来说,本发明的方法可以抵御对手的攻击,保证机器学习***的质量。
附图说明:
图1对抗攻击实例。
图2标量量化函数。
图3***框架。
图4流程图。
具体实施方式
本发明将对抗性扰动视为一种噪声,提出了一种结合自适应标量量化算法(Adaptive Scalar Quantization,简称ASQ)和快速三维块匹配算法(Fast BlockMatching and 3D Filtering,简称FastBM3D)算法的自适应去噪框架ASQ-FastBM3D。ASQ算法和FastBM3D算法是标量量化和BM3D算法的升级版本。我们的发明可以消除灰度图像中的大多数敌对干扰,例如对于现实生活中的车牌检测,路牌检测等,往往输入的图片噪声很大,这样会导致神经网络将噪声识别为对抗扰动,导致错误的识别结果。通过本发明的算法,可以对输入的图片先进行去噪处理,消除图片中的对抗扰动,再将图片输入至机器学习模型中进行识别,可以提升现实生活中机器学习模型识别的准确率。因此它可以保证机器学习***的质量。
1、整体架构
本***共分为四个模块,如图3所示:
·计算图像熵。将图片转换为灰度图,并计算图像的熵值,若熵值大于设定的阈值则说明该图片可能存在对抗扰动,若熵值小于设定的阈值则不进行处理。
·利用自适应标量量化算法对扰动图片进行处理。选取合适的滤波器和滤波函数对图像进行去噪处理。
·利用FastBM3D对图像质量进行优化。
·将图片输入至神经网络中进行处理。
2、计算图像熵
图像熵是一种信息熵,它反映了图像中的平均信息量。对于8位灰度图像,将图像熵定义为等式
pi表示图像中像素与值i的比例。由于对抗性扰动的本质是噪声,所以加入部分扰动的对抗性例子的熵一般比原始例子的熵大。因此,我们可以设置Te的阈值,以便对于图像熵值高于Te的示例,我们对其进行去噪。这使得程序运行更高效。
3、利用自适应标量量化算法(ASQ)对扰动图片进行处理
自适应标量量化的原理是设置卷积滤波器和阈值Te。然后使用卷积滤波器扫描图像中的每个像素。对于卷积滤波器中的每个像素值x,如果x小于阈值Te,则直接将其设置为0;如果x大于阈值Te,它将由过滤函数f(x)计算。
对于过滤函数f(x),我们提出了三种方法:
(1)均值函数:取卷积滤波器中大于Te的所有像素值的平均值,并用平均值替换它们。
(2)中值函数:取卷积滤波器中大于Te的所有像素值的中值,用中值代替。
f(x)=mid(x)
其中输入的x是所有像素值的有序数组。mid()函数用于查找中值。
(3)最大值函数:取卷积滤波器中所有大于Te像素值的最大值,并用最大值替换它们。
f(x)=max(x)
输入的x是所有像素值的有序数组。max()函数用于查找最大值。
阈值Te和f(x)的选择对于消除敌对干扰和保持图像的原始特征具有重要意义。如果阈值太低,可能无法消除大多数敌对干扰。如果阈值Te过高,可能会删除大部分关键图像信息,导致分类错误。总之,对于具有明显特征的图像,我们使用阈值Te和滤波函数f(x)来确保在保留大部分图像特征的同时去除一些扰动。
4、利用FastBM3D对图像质量进行优化
BM3D对灰度图像去噪效果较好,但分组部分和最终估计时间较长,计算效率较低。因此,传统的BM3D算法不适用于实时***,例如自动驾驶中的车牌识别和交通信号识别。基于这两个原因,本发明对BM3D算法做了两个改进。
(1)由于给定图像的特征是明显的,并且BM3D中的分组操作消耗的时间最长,因此可以减少分组部分中相似块的数目,并且可以增加所选参考块的步长。在减少相似块的数目和增大步长后,去噪效果与原算法相差不大,但去噪效率大大提高。
(2)本发明大胆地从原始的BM3D算法中删除了最终的估计。由于图像特征是明显的,本发明认为量化后的图像仅受BM3D算法的基本估计。
5、将图片输入至神经网络中进行处理
将熵值小于阈值的图片或者利用ASQ-FastBM3D去噪后的图片输入到神经网络中,得出结果进行对比分析。
攻击方法 | 平均熵值 | 最大熵值 | 最小熵值 |
原始图片 | 4.71 | 5.05 | 4.14 |
FGSM | 6.72 | 6.89 | 6.53 |
DeepFool | 5.92 | 6.31 | 5.33 |
JSMA | 5.88 | 6.14 | 5.38 |
BIM | 6.97 | 7.10 | 6.80 |
PGD | 6.88 | 7.02 | 6.69 |
C&W | 7.07 | 7.30 | 6.26 |
表1正常图片与对抗样本图片熵值对比
表2不同种类对抗样本的恢复率
表3 ASQ-FastBM3D与其他现有方法的对比效果
本发明最终的实现一个机器学习***中防御对抗攻击的自适应去噪框架。该***主要利用自适应标量量化的方法对图片中的对抗扰动进行清除,并利用FastBM3D算法对图片质量进行提升。本发明的流程图见图4,具体实施方式如下:
步骤一:对***进行初始化工作,设定相应的阈值,滤波函数,滤波器尺寸等;
步骤二:计算输入图片的图像熵,若图像熵大于阈值则进行下一步,否则执行步骤五;
步骤三:利用设置好的标量量化算法对输入图片进行去噪处理;
步骤四:利用FastBM3D算法对图像质量进行提升;
步骤五:将图像输入至神经网络中进行识别。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。
Claims (3)
1.一种机器学习***中防御对抗攻击的自适应去噪方法,其特征是,步骤如下:
计算图像熵:将图片转换为灰度图,并计算图像的熵值,若熵值大于设定的阈值则说明该图片可能存在对抗扰动,若熵值小于设定的阈值则不进行处理;
利用自适应标量量化算法对扰动图片进行处理,选取滤波器和滤波函数对图像进行去噪处理;
利用快速三维块匹配算法FastBM3D对图像质量进行优化;
将图片输入至神经网络中进行处理;
计算图像熵具体步骤:
对于8位灰度图像,将图像熵定义为等式:
pi表示图像中像素与值i的比例,设置Te的阈值,对于图像熵值高于Te的,对其进行去噪;
利用自适应标量量化算法对扰动图片进行处理:
自适应标量量化的原理是设置卷积滤波器和阈值Te,然后使用卷积滤波器扫描图像中的每个像素,对于卷积滤波器中的每个像素值x,如果x小于阈值Te,则直接将其设置为0;如果x大于阈值Te,它将由过滤函数f(x)计算:
Q(x)表示量化函数,对于过滤函数f(x),采用如下三种函数中的一种:
(1)均值函数:取卷积滤波器中大于Te的所有像素值的平均值,并用平均值替换:
(2)中值函数:取卷积滤波器中大于Te的所有像素值的中值,用中值代替:
f(x)=mid(x)
其中输入的x是所有像素值的有序数组,mid()函数用于查找中值;
(3)最大值函数:取卷积滤波器中所有大于Te像素值的最大值,并用最大值替换它们;
f(x)=max(x)
输入的x是所有像素值的有序数组;
使用阈值Te和滤波函数f(x)来确保在保留大部分图像特征的同时去除扰动。
2.如权利要求1所述的机器学习***中防御对抗攻击的自适应去噪方法,其特征是,利用FastBM3D对图像质量进行优化,具体步骤如下:
(1)减少分组部分中相似块的数目,并且增加所选参考块的步长;
(2)从原始的BM3D算法中删除最终的估计,量化后的图像仅受BM3D算法的基本估计。
3.如权利要求1所述的机器学习***中防御对抗攻击的自适应去噪方法,其特征是,将图片输入至神经网络中进行处理,将熵值小于阈值的图片或者利用ASQ-FastBM3D去噪后的图片输入到神经网络中,得出结果进行对比分析。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110843385.8A CN113780301B (zh) | 2021-07-26 | 2021-07-26 | 防御对抗攻击的自适应去噪机器学习应用方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110843385.8A CN113780301B (zh) | 2021-07-26 | 2021-07-26 | 防御对抗攻击的自适应去噪机器学习应用方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113780301A CN113780301A (zh) | 2021-12-10 |
CN113780301B true CN113780301B (zh) | 2023-06-27 |
Family
ID=78836407
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110843385.8A Active CN113780301B (zh) | 2021-07-26 | 2021-07-26 | 防御对抗攻击的自适应去噪机器学习应用方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113780301B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114708180B (zh) * | 2022-04-15 | 2023-05-30 | 电子科技大学 | 具有动态范围保持的预失真图像比特深度量化和增强方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108108770A (zh) * | 2017-12-31 | 2018-06-01 | 厦门大学 | 基于CRBM和Fisher网络的移动视觉搜索框架 |
CN109492582A (zh) * | 2018-11-09 | 2019-03-19 | 杭州安恒信息技术股份有限公司 | 一种基于算法对抗性攻击的图像识别攻击方法 |
CN112270654A (zh) * | 2020-11-02 | 2021-01-26 | 浙江理工大学 | 基于多通道gan的图像去噪方法 |
-
2021
- 2021-07-26 CN CN202110843385.8A patent/CN113780301B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108108770A (zh) * | 2017-12-31 | 2018-06-01 | 厦门大学 | 基于CRBM和Fisher网络的移动视觉搜索框架 |
CN109492582A (zh) * | 2018-11-09 | 2019-03-19 | 杭州安恒信息技术股份有限公司 | 一种基于算法对抗性攻击的图像识别攻击方法 |
CN112270654A (zh) * | 2020-11-02 | 2021-01-26 | 浙江理工大学 | 基于多通道gan的图像去噪方法 |
Non-Patent Citations (2)
Title |
---|
Detecting Adversarial Image Examples in Deep Neural Networks with Adaptive Noise Reduction;Bin Liang 等;arXiv;全文 * |
基于非局部均值和稀疏表示理论的图像去噪研究;韩玉兰;中国优秀硕士学位论文全文数据库信息科技辑(第12期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113780301A (zh) | 2021-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106600560B (zh) | 一种适用于行车记录仪的图像去雾方法 | |
CN110443761B (zh) | 一种基于多尺度聚合特征的单幅图像去雨方法 | |
CN105913002B (zh) | 视频场景下在线自适应的异常事件检测方法 | |
CN112329832B (zh) | 一种基于深度卷积生成对抗网络的无源定位目标轨迹数据增强方法及*** | |
CN112261403A (zh) | 车载摄像头的脏污物检测装置及方法 | |
CN115358952B (zh) | 一种基于元学习的图像增强方法、***、设备和存储介质 | |
CN113780301B (zh) | 防御对抗攻击的自适应去噪机器学习应用方法 | |
CN1564600A (zh) | 动态场景下的运动物体检测方法 | |
CN102750675B (zh) | 一种斑点噪声污染图像的非局部均值滤波方法 | |
CN111027564A (zh) | 基于深度学习一体化的低照度成像车牌识别方法及装置 | |
CN110751667A (zh) | 基于人类视觉***的复杂背景下红外弱小目标检测方法 | |
CN110349119B (zh) | 基于边缘检测神经网络的路面病害检测方法和装置 | |
CN115409872B (zh) | 一种水下摄像机图像优化方法 | |
CN110136164B (zh) | 基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法 | |
CN111783656A (zh) | 一种基于统计特性预分割的自适应红外小目标检测方法 | |
CN105303529A (zh) | 一种基于直方图均衡化的数字图像去雾方法 | |
CN115187855A (zh) | 一种海底底质声呐图像分类方法 | |
CN115035397A (zh) | 一种基于水下移动目标识别方法、装置 | |
CN113538290A (zh) | 基于人工智能的农业航拍图像处理方法及*** | |
CN113963178A (zh) | 地空背景下红外弱小目标检测方法、装置、设备及介质 | |
CN113487506A (zh) | 基于注意力去噪的对抗样本防御方法、装置和*** | |
CN114219039B (zh) | 一种基于船舶行为特征的船舶轨迹压缩方法及其*** | |
CN112861603B (zh) | 一种有限表格自动识别与解析方法 | |
CN116091849B (zh) | 基于分组解码器的轮胎花纹分类方法、***、介质及设备 | |
CN111738274B (zh) | 基于局部光滑投影的抗对抗攻击相机源识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |