CN110348475B - 一种基于空间变换的对抗样本增强方法和模型 - Google Patents
一种基于空间变换的对抗样本增强方法和模型 Download PDFInfo
- Publication number
- CN110348475B CN110348475B CN201910458051.1A CN201910458051A CN110348475B CN 110348475 B CN110348475 B CN 110348475B CN 201910458051 A CN201910458051 A CN 201910458051A CN 110348475 B CN110348475 B CN 110348475B
- Authority
- CN
- China
- Prior art keywords
- sample
- classifier
- transformation
- spatial
- confrontation sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于空间变换的对抗样本增强方法和模型,所述的方法利用随机扰动生成初始对抗图像后输入基于空间变换的增强模块,所述增强模块在深度神经网络的前向传播过程中对初始对抗样本及其特征图应用空间变换,并且能随着深度神经网络的反向传播进行更新,通过不断优化随机扰动使生成的对抗样本能对不同角度与视角的旋转变换保持一定的攻击成功率,增强对抗样本对仿射变换等复杂条件的健壮性。所述的模型包括生成模块,增强模块ST,分类器F,测试模块,测试模块的最终输出即为增强的对抗样本。本发明适用性较广,通用性较强,在不同类型的数据集与不同结构的模型上的攻击成功率都较高。
Description
技术领域
本发明涉及机器学习领域,更具体地,涉及一种基于空间变换的对抗样本增强方法和模型。
背景技术
对抗攻击是当前机器学习领域研究的一个热点问题。对抗攻击的原理是通过对抗样本(向原数据样本中添加经过精心训练的人眼不易察觉的微小扰动得到的新样本)来欺骗深度神经网络,使其做出错误判定。
现有关于神经网络的攻击方法研究大多基于一个假设——攻击者可以直接将对抗样本输入到深度学***移、斜切等),会极大地降低攻击的成功率。因此,出现了对抗样本的健壮性问题。对抗样本的健壮性是指在普通条件下生成的对抗样本转换到复杂条件下仍然能成功欺骗分类器的特质。
提高对抗样本的健壮性,使对抗样本在复杂条件下保持攻击成功率是一项极具挑战性的任务。因为物理世界中的转换通常是不确定的,而且很难建模。最近有研究致力于增强针对特定情况的对抗样本的健壮性,如人脸识别和路标识别。但是,他们都是应用于特定的程序,并不普遍适用。如文献[1]Goodfellow I J,Shlens J,Szegedy C,etal.Explaining and Harnessing Adversarial Examples[J].International Conferenceon Learning Representations,2015、文献[2]Kurakin A,Goodfellow I J,Bengio S,etal.Adversarial examples in the physical world[J].arXiv:Computer Vision andPattern Recognition,2017、文献[3]Moosavidezfooli S,Fawzi A,Frossard P,etal.DeepFool:A Simple and Accurate Method to Fool Deep Neural Networks[J].Computer Vision and Pattern Recognition,2016:2574-2582。
综上所述,虽然已有研究证明了现有攻击方法对神经网络的有效攻击,但仍存在现有攻击方法生成的对抗样本健壮性不足导致的攻击成功率大幅度下降等问题。
发明内容
本发明的首要目的是提供一种基于空间变换的对抗样本增强方法,提高对抗样本对旋转、缩放、平移、斜切等仿射变换处理的健壮性,进而提高攻击成功率。
本发明的进一步目的是提供一种基于空间变换的对抗样本增强模型。
为解决上述技术问题,本发明的技术方案如下:
一种基于空间变换的对抗样本增强方法,包括以下步骤:
S1:在原图像x添加随机扰动r,生成初始对抗样本x′;
S2:将初始对抗样本x′输入到基于空间变换的增强模块ST,得到转换后的对抗样本x′st,所述增强模块ST在深度神经网络的前向传播过程中对初始对抗样本及其特征图应用空间变换,并且能随着深度神经网络的反向传播进行更新;
S3:将转换后的对抗样本x′st输入到分类器F中,根据分类器的损失函数LF优化随机扰动r;
S4:重复S1至S3,直到原图像x添加优化后的随机扰动r得到的对抗样本同时具有有效性和健壮性,停止优化,得到增强的对抗样本。
优选地,所述增强模块ST对多通道的图像输入,对每个通道应用相同的变换。
优选地,所述增强模块ST的空间变换过程具体包括以下步骤:
S2.1:通过随机种子产生欧拉角的角参量,根据角参量生成用于图像的空间转换矩阵参数θ;
S2.2:根据空间转换矩阵参数θ创建变换函数Tθ;
S2.3:创建采样网格S,并利用变换函数Tθ对采样网络进行变换,所述采样网络为一组坐标点;
S2.4:利用变换后的采样网络对初始对抗样本x′进行采样,生成转换后的输出。
优选地,步骤S3中分类器的损失函数LF为交叉熵函数。
优选地,步骤S4所述的有效性为将原图像x添加优化后的随机扰动r得到的对抗样本输入至分类器F时,分类器F分类错误。
优选地,步骤S4所述的健壮性为将原图像x添加优化后的随机扰动r得到的对抗样本进行十次随机空间变换,分别得到十个变换后的对抗样本xi″(i=1,2,3,...,10),分类器F对这十个变换后的对抗样本进行分类,十次中累计输出次数最多的类别为最终分类结果,该类别与原始标签类不一致,分类器F分类错误。
优选地,根据分类器的损失函数LF优化随机扰动r,通过快速梯度下降法FGSM或基本迭代法BIM或迷惑深度法DeepFool优化随机扰动r。
优选地,所述分类器F采用深度神经网络构成,其中的深度神经网络可为ResNet-18或VGG-16或Multi-Scale CNN。
一种基于空间变换的对抗样本增强模型,包括:
生成模块,用于在原图像x添加随机扰动r,生成初始对抗样本x′;
增强模块ST,基于空间变换,在深度神经网络的前向传播过程中对初始对抗样本及其特征图应用空间变换,并且能随着深度神经网络的反向传播进行更新,增强模块的输入为初始对抗样本x′,输出为转换后的对抗样本x′st;
分类器F,用于将转换后的对抗样本x′st进行分类并根据分类器的损失函数LF优化随机扰动r;
测试模块,用于测试原图像x添加优化后的随机扰动r得到的对抗样本的有效性和健壮性,测试模块的最终输出即为增强的对抗样本。
与现有技术相比,本发明技术方案的有益效果是:
本发明方法的适用性较广,通用性较强,在不同类型的数据集与不同结构的模型上的攻击成功率都较高。与已有算法相比,本发明能有效提高对抗样本对仿射变换的健壮性,提高仿射变换条件下的攻击成功率。
附图说明
图1为一种基于空间变换的对抗样本增强方法流程示意图。
图2为仿射变换增强的攻击流程。
图3为变换过程示意图。
图4为攻击样本有效性和健壮性实施流程图。
图5为一种基于空间变换的对抗样本增强模型模块示意图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
一种基于空间变换的对抗样本增强方法,如图1,包括以下步骤:
S1:在原图像x添加随机扰动r,生成初始对抗样本x′;
S2:将初始对抗样本x′输入到基于空间变换的增强模块ST,得到转换后的对抗样本x′st,所述增强模块ST在深度神经网络的前向传播过程中对初始对抗样本及其特征图应用空间变换,并且能随着深度神经网络的反向传播进行更新;所述增强模块ST对多通道的图像输入,对每个通道应用相同的变换;
所述增强模块ST的空间变换过程如图3所示,具体包括以下步骤:
S2.1:通过随机种子产生欧拉角的角参量,根据角参量生成用于图像的空间转换矩阵参数θ;
S2.2:根据空间转换矩阵参数θ创建变换函数Tθ;
S2.3:创建采样网格S,并利用变换函数Tθ对采样网络进行变换,所述采样网络为一组坐标点;
S2.4:利用变换后的采样网络对初始对抗样本x′进行采样,生成转换后的输出;
S3:将转换后的对抗样本x′st输入到分类器F中,根据分类器的损失函数LF优化随机扰动r,损失函数LF为交叉熵函数,根据分类器的损失函数LF优化随机扰动r,通过快速梯度下降法FGSM或基本迭代法BIM或迷惑深度法DeepFool优化随机扰动r;
S4:重复S1至S3,直到原图像x添加优化后的随机扰动r得到的对抗样本同时具有有效性和健壮性,停止优化,得到增强的对抗样本,有效性为将原图像x添加优化后的随机扰动r得到的对抗样本输入至分类器F时,分类器F分类错误,健壮性为将原图像x添加优化后的随机扰动r得到的对抗样本进行十次随机空间变换,分别得到十个变换后的对抗样本xi″(i=1,2,3,...,10),分类器F对这十个变换后的对抗样本进行分类,十次中累计输出次数最多的类别为最终分类结果,该类别与原始标签类不一致,分类器F分类错误。
在具体实施过程中,以FGSM,BIM和DeepFool等典型白盒攻击方法为基础进行攻击健壮性测试,具体流程如图4所示。
选择攻击目标F。利用CIFAR-10数据集分别训练ResNet-18和VGG-16,另外用GTSRB数据集训练Multi-Scale CNN和VGG-16,得到两组共四个分类网络作为攻击目标。
数据预处理。为了排除网络本身的性能所导致的分类错误的影响,将目标分类网络能正确分类的样本筛选出来,作为生成对抗样本的原样本。
生成对抗样本。根据图2的过程生成基于FGSM(或BIM,DeepFool)的对抗样本x′。
测试对抗样本的有效性:生成的对抗样本x′成功欺骗了目标F使其错误分类,对抗样本有效。
测试对抗样本的健壮性。对每个对抗样本x′进行十次随机空间变换,分别得到十个变换后的对抗样本xi″(i=1,2,3,...,10),分类网络F对这十个变换后的对抗样本进行分类,十次中累计输出次数最多的类别为最终分类结果。该类别与原始标签类不一致,分类网络F分类错误,对抗样本x′成功欺骗了分类网络。
本发明与已有算法攻击成功率实验结果比较如表1所示:
表1
仿射变换条件下攻击成功率实验结果比较如表2所示:
表2
实施例2
本实施例提供一种基于空间变换的对抗样本增强模型,如图5,包括:
生成模块,用于在原图像x添加随机扰动r,生成初始对抗样本x′;
增强模块ST,基于空间变换,在深度神经网络的前向传播过程中对初始对抗样本及其特征图应用空间变换,并且能随着深度神经网络的反向传播进行更新,增强模块的输入为初始对抗样本x′,输出为转换后的对抗样本x′st;
分类器F,用于将转换后的对抗样本x′st进行分类并根据分类器的损失函数LF优化随机扰动r;优化后的随机扰动r返回生成模块,进行反复优化;
测试模块,用于测试原图像x添加优化后的随机扰动r得到的对抗样本的有效性和健壮性,测试模块的最终输出即为增强的对抗样本。
相同或相似的标号对应相同或相似的部件;
附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制;
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (7)
1.一种基于空间变换的对抗样本增强方法,其特征在于,包括以下步骤:
S1:在原图像x添加随机扰动r,生成初始对抗样本x′;
S2:将初始对抗样本x′输入到基于空间变换的增强模块ST,得到转换后的对抗样本x′st,所述增强模块ST在深度神经网络的前向传播过程中对初始对抗样本及其特征图应用空间变换,并且能随着深度神经网络的反向传播进行更新;
S3:将转换后的对抗样本x′st输入到分类器F中,根据分类器的损失函数LF优化随机扰动r;
S4:重复S1至S3,直到原图像x添加优化后的随机扰动r得到的对抗样本同时具有有效性和健壮性,停止优化,得到增强的对抗样本;
所述增强模块ST的空间变换过程具体包括以下步骤:
S2.1:通过随机种子产生欧拉角的角参量,根据角参量生成用于图像的空间转换矩阵参数θ;
S2.2:根据空间转换矩阵参数θ创建变换函数Tθ;
S2.3:创建采样网格S,并利用变换函数Tθ对采样网络进行变换,所述采样网络为一组坐标点;
S2.4:利用变换后的采样网络对初始对抗样本x′进行采样,生成转换后的输出。
2.根据权利要求1所述的基于空间变换的对抗样本增强方法,其特征在于,所述增强模块ST对多通道的图像输入,对每个通道应用相同的变换。
3.根据权利要求1所述的基于空间变换的对抗样本增强方法,其特征在于,步骤S3中分类器的损失函数LF为交叉熵函数。
4.根据权利要求1所述的基于空间变换的对抗样本增强方法,其特征在于,步骤S4所述的有效性为将原图像x添加优化后的随机扰动r得到的对抗样本输入至分类器F时,分类器F分类错误。
5.根据权利要求1所述的基于空间变换的对抗样本增强方法,其特征在于,步骤S4所述的健壮性为将原图像x添加优化后的随机扰动r得到的对抗样本进行十次随机空间变换,分别得到十个变换后的对抗样本x″i,i=1,2,3…,10,分类器F对这十个变换后的对抗样本进行分类,十次中累计输出次数最多的类别为最终分类结果,该类别与原始标签类不一致,分类网络F分类错误。
6.根据权利要求1所述的基于空间变换的对抗样本增强方法,其特征在于,根据分类器的损失函数LF优化随机扰动r,通过快速梯度下降法FGSM或基本迭代法BIM或迷惑深度法DeepFool优化随机扰动r。
7.根据权利要求1至6任一项所述的基于空间变换的对抗样本增强方法,其特征在于,所述分类器F采用深度神经网络构成,其中的深度神经网络可为ResNet-18或VGG-16或Multi-Scale CNN。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910458051.1A CN110348475B (zh) | 2019-05-29 | 2019-05-29 | 一种基于空间变换的对抗样本增强方法和模型 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910458051.1A CN110348475B (zh) | 2019-05-29 | 2019-05-29 | 一种基于空间变换的对抗样本增强方法和模型 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110348475A CN110348475A (zh) | 2019-10-18 |
CN110348475B true CN110348475B (zh) | 2023-04-18 |
Family
ID=68174378
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910458051.1A Active CN110348475B (zh) | 2019-05-29 | 2019-05-29 | 一种基于空间变换的对抗样本增强方法和模型 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110348475B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110941824B (zh) * | 2019-12-12 | 2022-01-28 | 支付宝(杭州)信息技术有限公司 | 一种基于对抗样本增强模型抗攻击能力的方法和*** |
CN111046380B (zh) * | 2019-12-12 | 2022-02-15 | 支付宝(杭州)信息技术有限公司 | 一种基于对抗样本增强模型抗攻击能力的方法和*** |
CN111353548B (zh) * | 2020-03-11 | 2020-10-20 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于对抗空间变换网络的鲁棒特征深度学习方法 |
CN111539184A (zh) * | 2020-04-29 | 2020-08-14 | 上海眼控科技股份有限公司 | 基于深度学习的文本数据制造方法、装置、终端及存储介质 |
CN112734039B (zh) * | 2021-03-31 | 2021-07-23 | 杭州海康威视数字技术股份有限公司 | 一种深度神经网络的虚拟对抗训练方法、装置及设备 |
CN113222480B (zh) * | 2021-06-11 | 2023-05-12 | 支付宝(杭州)信息技术有限公司 | 对抗样本生成模型的训练方法及装置 |
CN113487015A (zh) * | 2021-07-07 | 2021-10-08 | 中国人民解放军战略支援部队信息工程大学 | 基于图像亮度随机变换的对抗样本生成方法及*** |
CN113505886A (zh) * | 2021-07-08 | 2021-10-15 | 深圳市网联安瑞网络科技有限公司 | 基于模糊测试的对抗样本生成方法、***、终端及介质 |
CN114418868A (zh) * | 2021-12-21 | 2022-04-29 | 云南联合视觉科技有限公司 | 图像增强方法、装置、服务器及存储介质 |
CN115115905B (zh) * | 2022-06-13 | 2023-06-27 | 苏州大学 | 基于生成模型的高可迁移性图像对抗样本生成方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108304858A (zh) * | 2017-12-28 | 2018-07-20 | ***股份有限公司 | 对抗样本识别模型生成方法、验证方法及其*** |
CN108985382A (zh) * | 2018-05-25 | 2018-12-11 | 清华大学 | 基于关键数据通路表示的对抗样本检测方法 |
CN109272031A (zh) * | 2018-09-05 | 2019-01-25 | 宽凳(北京)科技有限公司 | 一种训练样本生成方法及装置、设备、介质 |
CN109460814A (zh) * | 2018-09-28 | 2019-03-12 | 浙江工业大学 | 一种具有防御对抗样本攻击功能的深度学习分类方法 |
-
2019
- 2019-05-29 CN CN201910458051.1A patent/CN110348475B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108304858A (zh) * | 2017-12-28 | 2018-07-20 | ***股份有限公司 | 对抗样本识别模型生成方法、验证方法及其*** |
CN108985382A (zh) * | 2018-05-25 | 2018-12-11 | 清华大学 | 基于关键数据通路表示的对抗样本检测方法 |
CN109272031A (zh) * | 2018-09-05 | 2019-01-25 | 宽凳(北京)科技有限公司 | 一种训练样本生成方法及装置、设备、介质 |
CN109460814A (zh) * | 2018-09-28 | 2019-03-12 | 浙江工业大学 | 一种具有防御对抗样本攻击功能的深度学习分类方法 |
Non-Patent Citations (1)
Title |
---|
基于生成对抗网络和线上难例挖掘的SAR图像舰船目标检测;李健伟 等;《电子与信息学报》;20190131;第41卷(第1期);第143-149页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110348475A (zh) | 2019-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110348475B (zh) | 一种基于空间变换的对抗样本增强方法和模型 | |
CN109543760B (zh) | 基于图像滤镜算法的对抗样本检测方法 | |
Graese et al. | Assessing threat of adversarial examples on deep neural networks | |
CN108491837B (zh) | 一种提高车牌攻击鲁棒性的对抗攻击方法 | |
CN111627044A (zh) | 基于深度网络的目标追踪攻击与防御方法 | |
CN102110228A (zh) | 确定在光学对象初始化追踪过程中使用的参考特征的方法以及对象初始化追踪方法 | |
CN111738374A (zh) | 多样本对抗扰动生成方法、装置、存储介质和计算设备 | |
CN111783853B (zh) | 一种基于可解释性的检测并恢复神经网络对抗样本方法 | |
CN110866238B (zh) | 基于对抗样本的验证码图像的生成方法 | |
Choudhary et al. | Signature Recognition & Verification System Using Back Propagation Neural Network | |
CN113435264A (zh) | 基于寻找黑盒替代模型的人脸识别对抗攻击方法及装置 | |
CN115240280A (zh) | 人脸活体检测分类模型的构建方法、检测分类方法及装置 | |
Sun et al. | Complete defense framework to protect deep neural networks against adversarial examples | |
Lv et al. | Chinese character CAPTCHA recognition based on convolution neural network | |
CN112990357A (zh) | 一种基于稀疏扰动的黑盒视频对抗样本生成方法 | |
CN117011508A (zh) | 一种基于视觉变换和特征鲁棒的对抗训练方法 | |
CN117152486A (zh) | 一种基于可解释性的图像对抗样本检测方法 | |
Tonazzini et al. | Analysis and recognition of highly degraded printed characters | |
CN112750067B (zh) | 图像处理***及其训练方法 | |
CN113159317B (zh) | 一种基于动态残差侵蚀的对抗样本生成方法 | |
CN113837217B (zh) | 基于深度学习的被动式非视域图像识别方法及识别装置 | |
Zhang et al. | Certified defense against patch attacks via mask-guided randomized smoothing | |
CN114913607A (zh) | 一种基于多特征融合的指静脉仿冒检测方法 | |
CN114638356A (zh) | 一种静态权重引导的深度神经网络后门检测方法及*** | |
CN113506272B (zh) | 一种虚假视频的检测方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |