CN110276377B - 一种基于贝叶斯优化的对抗样本生成方法 - Google Patents
一种基于贝叶斯优化的对抗样本生成方法 Download PDFInfo
- Publication number
- CN110276377B CN110276377B CN201910414533.7A CN201910414533A CN110276377B CN 110276377 B CN110276377 B CN 110276377B CN 201910414533 A CN201910414533 A CN 201910414533A CN 110276377 B CN110276377 B CN 110276377B
- Authority
- CN
- China
- Prior art keywords
- value
- disturbance
- image
- vector
- delta
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/554—Detecting local intrusion or implementing counter-measures involving event detection and direct action
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Computer Security & Cryptography (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Probability & Statistics with Applications (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公布了一种基于贝叶斯优化的对抗样本生成方法,现有的黑盒攻击方法需要通过大量地向模型进行查询来获取优化信息。本发明以原始图片作为输入,通过计算扰动图片与原始图片的结构相似度的梯度来确定待优化的位置;然后使用贝叶斯优化在选定的位置中进行采样优化,得到该位置上能使损失函数增加的扰动值;通过迭代的方式选择多个位置,并优化得到扰动值,直到改变被扰动图像的分类结果,或者达到最大迭代次数则停止。本发明能够有效降低查询向目标DNN模型查询的次数,且扰动像素点的数量较少。
Description
技术领域
本发明属于计算机数字图像处理领域,具体涉及一种对抗样本生成方法。
背景技术
深度学习在解决过去难以解决的复杂问题方面取得了重大突破,例如,在重建脑回路、分析DNA中的突变、预测潜在药物分子的活性结构、分析粒子加速器数据等问题上都有应用。深度神经网络(Deep Neural Network,DNN)也成为解决语音识别和自然语言理解中等许多具有挑战性的任务的首选方法。
虽然DNN以惊人的精度执行各种计算机视觉任务,但DNN却极易受到对抗攻击的影响,这种攻击的形式是在图像中添加对人类视觉***来说几乎不可察觉的微小图像扰动。这种攻击可以使DNN分类器完全改变其关于图像的预测,受到攻击的模型对错误的预测高度信任。而且,相同的图像扰动可以欺骗多个神经网络分类器。这种可以改变 DNN分类器预测结果的被扰动图片被称为对抗样本。
目前生成对抗样本的方法大致可以分为两类:白盒攻击与黑盒攻击。白盒攻击假设已有目标模型的所有知识,包括它的参数值、架构、训练方法等,甚至目标模型的训练数据都是可知的,利用这些知识生成对抗样本来欺骗目标模型。例如,FGSM计算目标模型的梯度信息,在每个像素值上添加一个相同大小的小扰动构建对抗样本,JSMA计算模型的前向导数,扰动有限数量像素点的构建对抗样本。白盒攻击的优势在于计算速度比较快,但是需要用到目标网络的梯度信息。黑盒攻击方法无需利用网络的梯度及参数知识,通过向目标模型输入对抗样本查询其输出的预测标签,利用这些信息生成对抗样本来欺骗目标模型。例如,One Pixel Attack方法使用差分进化的概念,观测目标模型的预测概率标签生成对抗样本,仅仅改变一个像素点就能误导目标网络,Boundary Attacks方法则仅仅利用网络的分类输出结果即可生成对抗样本。然而,由于缺乏梯度信息,带来了高额的评估代价,比如One Pixel Attacks方法需要3万次评估,而Boundary Attacks方法则需要百万次评估。
发明内容
本发明的主要目的是针对现有的黑盒攻击方法带来大量查询开销的问题,提出一种基于贝叶斯优化生成对抗样本的黑盒攻击方法。本方法使用贝叶斯优化在解空间中进行搜索,迭代地在解空间中找到一个特定的扰动,该扰动添加到原图片之后,可以改变分类器对被扰动图像的分类结果。
本发明所使用的黑盒攻击方法包括如下步骤:
步骤一、获取原始图像x的真实类别yc及其概率Mc
以原始图像x作为以θ为参数的目标DNN分类器的输入,获得原始图像的概率输出向量M(x;θ);取概率输出向量中最大值对应的类别作为原始图像的类别预测yc,概率输出向量中最大值为Mc;
步骤二、确定待优化的目标函数
使用迭代的方法生成对抗样本,为了降低计算的复杂度,在每个迭代中仅扰动图像向量的某一维度;设扰动值为z,并将扰动值z赋值到Δx的对应维度;扰动值满足||z||<ε,以确保图像质量,ε为设定的阈值;将x+Δx输入到参数为θ的深层神经网络DNN分类器中,得到预测输出向量M(x+Δx;θ);令M(x+Δx;θ)中除yc类别外的最大概率值为Mt,其对应的类别为yt,目标函数定义为B(z)=log(Mc)- log(Mt);优化的目标是B(z)≤0,从而改变目标DNN分类器对被扰动图像的分类结果;Δx是与x具有相同维度的全0扰动向量;
步骤三、确定此次迭代中需要优化的坐标与通道
步骤四、对特定维度中使用贝叶斯优化
1)使用高斯过程代理待优化的目标函数,使用EI策略作为采集函数;设定最大测试点次数为I,以及当前测试点数量i=0;首先随机选择几个扰动值进行测试,生成初始观测数据集D1:t,包含t个已观测数据点;
2)根据已观测到的数据集D1:t得到的后验分布构造一个EI采集函数αt(z;D1:t):
其中,v*表示当前最优函数值,φ(·)为标准正态分布概率密度函数,μt(z)与σt(z)分别表示D1:t中数据点的均值与方差;
3)通过最大化采集函数选择下一个评估点
4)输出已观测数据集中的最小函数值B(z)及其对应的扰动值z;
步骤五:将步骤四得到的最佳扰动值z赋值到扰动向量Δx;若 B(z)≤ 0,则认为攻击成功,将被扰动图片x+Δx作为对抗样本输出,若B(z)> 0,则认为在此次迭代中攻击不成功,跳转到步骤三,在当前扰动向量Δx的基础上继续下一次迭代。
本发明的有益效果:
本发明通过计算结构相似度的梯度,选择对最小梯度对应坐标的像素点添加扰动,以降低添加的扰动对图像质量的影响。同时采用贝叶斯优化方法计算扰动,可以用比较少的查询次数获取最佳扰动值。
附图说明
图1为原始图像;
图2为高斯随机图像;
图3为对抗扰动图像;
图4为对抗样本图像。
具体实施方式
本发明以一张原始图像作为输入,计算原始图像与随机高斯图像的结构相似度并求其梯度,选择最小梯度值对应的维度。逐个维度地使用贝叶斯优化得到最佳扰动值。将多次迭代得到的扰动叠加在一起,直到改变DNN分类器的类别预测结果。
以下举例说明本发明整个过程的具体实施方式如下(各步骤效果图参见图2):
步骤一、获取原始图像x的真实类别yc及其概率Mc
x是原始图像向量(如图1所示),Δx是与x具有相同维度的全0 扰动向量,xG是与x具有相同维度的从高斯分布中采样得到的随机向量(如图2所示)。以原始图像x作为目标DNN分类器的输入,获得原始图像的概率输出向量M(x;θ);取概率输出向量中最大值对应的类别作为原始图像的类别预测yc,概率输出向量中最大值为Mc。
步骤二、确定待优化的目标函数
由于图像向量x具有较高的维度,并且生成对抗样本并不需要对所有的维度添加扰动,故而在本方法中每次仅扰动一个维度,其他维度不改变,以生成试验扰动Δx。将x+Δx输入到DNN分类器中,得到预测输出向量M(x+Δx;θ)。令M(x+Δx;θ)中除yc类别外的最大概率值为Mt,其对应的类别为yt,目标函数定义为B(z)=log(Mc)- log(Mt)。优化的目标是B(z)≤0,从而改变目标DNN分类器对被扰动图像的分类结果。
步骤三:确定此次迭代中需要优化的坐标与通道
在第T次迭代中,计算当前扰动图像x′=x+Δx与随机图像xG的结构相似度SSIM(x′,xG):
选择其中最小梯度值对应的坐标s及通道c作为下一步的优化坐标:
步骤四:对特定像素使用贝叶斯优化
1)使用高斯过程代理待优化的目标函数,使用EI策略作为采集函数。设定最大测试点次数I,以及当前测试点数量i=0;首先随机选择几个扰动值进行测试,生成初始观测数据集D1:t,包含t个已观测数据点。
2)根据已观测到的数据集D1:t得到的后验分布构造一个EI采集函数αt(z;D1:t):
其中,v*表示当前最优函数值,φ(·)为标准正态分布概率密度函数,μt(z)与σt(z)分别表示D1:t中数据点的均值与方差。
4)输出已观测数据集中的最小函数值B(z)及其对应的扰动值z。
步骤五:将步骤四得到的最佳扰动值z赋值到扰动向量Δx(最终扰动图像如图3所示,共扰动36个像素点,891次评估次数)。若 B(z)≤0,则认为攻击成功,将被扰动图片x+Δx作为对抗样本输出 (最终对抗样本图像如图4所示),若B(z)>0,则认为在此次迭代中攻击不成功,跳转到步骤三,在当前扰动向量Δx的基础上继续下一次迭代。
实验结果:从CIFAR10中随机选用100张图片作为实验数据,在实验结果中,平均扰动像素数量为95.22,中位数为78.5,平均评估次数为2364.85次,中位数为1944.5次。评估次数明显少于One Pixel Attacks方法与Boundary Attacks方法。
Claims (1)
1.一种基于贝叶斯优化的对抗样本生成方法,其特征在于,该方法包括如下步骤:
步骤一、获取原始图像x的真实类别yc及其概率Mc
以原始图像x作为以θ为参数的目标DNN分类器的输入,获得原始图像的概率输出向量M(x;θ);取概率输出向量中最大值对应的类别作为原始图像的类别预测yc,概率输出向量中最大值为Mc;
步骤二、确定待优化的目标函数
使用迭代的方法生成对抗样本,为了降低计算的复杂度,在每个迭代中仅扰动图像向量的某一维度;设扰动值为z,并将扰动值z赋值到Δx的对应维度;扰动值满足||z||<ε,以确保图像质量,ε为设定的阈值;将x+Δx输入到参数为θ的深层神经网络DNN分类器中,得到预测输出向量M(x+Δx;θ);令M(x+Δx;θ)中除yc类别外的最大概率值为Mt,其对应的类别为yt,目标函数定义为B(z)=log(Mc)-log(Mt);优化的目标是B(z)≤0,从而改变目标DNN分类器对被扰动图像的分类结果;Δx是与x具有相同维度的全0扰动向量;
步骤三、确定此次迭代中需要优化的坐标与通道
步骤四、对特定维度中使用贝叶斯优化
1)使用高斯过程代理待优化的目标函数,使用EI策略作为采集函数;设定最大测试点次数为I,以及当前测试点数量i=0;首先随机选择几个扰动值进行测试,生成初始观测数据集D1:t,包含t个已观测数据点;
2)根据已观测到的数据集D1:t得到的后验分布构造一个EI采集函数αt(z;D1:t):
其中,v*表示当前最优函数值,φ(·)为标准正态分布概率密度函数,μt(z)与σt(z)分别表示D1:t中数据点的均值与方差;
4)输出已观测数据集中的最小函数值B(z)及其对应的扰动值z;
步骤五:将步骤四得到的最佳扰动值z赋值到扰动向量Δx;若B(z)≤0,则认为攻击成功,将被扰动图片x+Δx作为对抗样本输出,若B(z)>0,则认为在此次迭代中攻击不成功,跳转到步骤三,在当前扰动向量Δx的基础上继续下一次迭代。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910414533.7A CN110276377B (zh) | 2019-05-17 | 2019-05-17 | 一种基于贝叶斯优化的对抗样本生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910414533.7A CN110276377B (zh) | 2019-05-17 | 2019-05-17 | 一种基于贝叶斯优化的对抗样本生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110276377A CN110276377A (zh) | 2019-09-24 |
CN110276377B true CN110276377B (zh) | 2021-04-06 |
Family
ID=67960053
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910414533.7A Active CN110276377B (zh) | 2019-05-17 | 2019-05-17 | 一种基于贝叶斯优化的对抗样本生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110276377B (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111063398B (zh) * | 2019-12-20 | 2023-08-18 | 吉林大学 | 一种基于图贝叶斯优化的分子发现方法 |
CN111275106B (zh) * | 2020-01-19 | 2022-07-01 | 支付宝(杭州)信息技术有限公司 | 对抗样本生成方法、装置及计算机设备 |
CN111507384B (zh) * | 2020-04-03 | 2022-05-31 | 厦门大学 | 一种黑盒深度模型对抗样本生成方法 |
CN111476228A (zh) * | 2020-04-07 | 2020-07-31 | 海南阿凡题科技有限公司 | 针对场景文字识别模型的白盒对抗样本生成方法 |
CN111709435B (zh) * | 2020-05-18 | 2023-06-20 | 杭州电子科技大学 | 一种基于离散小波变换的对抗样本生成方法 |
CN111723864A (zh) * | 2020-06-19 | 2020-09-29 | 天津大学 | 基于主动学习使用互联网图片进行对抗训练的方法及装置 |
CN111858345A (zh) * | 2020-07-23 | 2020-10-30 | 深圳慕智科技有限公司 | 一种基于对抗样本定义的图像样本生成能力多维评估方法 |
CN112200243B (zh) * | 2020-10-09 | 2022-04-26 | 电子科技大学 | 一种基于低问询图像数据的黑盒对抗样本生成方法 |
CN112766430B (zh) * | 2021-01-08 | 2022-01-28 | 广州紫为云科技有限公司 | 基于黑盒通用人脸检测对抗攻击的方法、装置及存储介质 |
CN113158138A (zh) * | 2021-01-28 | 2021-07-23 | 浙江工业大学 | 一种快速检测对比敏感度阈值的方法 |
CN113450271B (zh) * | 2021-06-10 | 2024-02-27 | 南京信息工程大学 | 一种基于人类视觉模型的鲁棒自适应对抗样本生成方法 |
CN113486736B (zh) * | 2021-06-21 | 2024-04-02 | 南京航空航天大学 | 一种基于活跃子空间与低秩进化策略的黑盒对抗攻击方法 |
CN113704758B (zh) * | 2021-07-29 | 2022-12-09 | 西安交通大学 | 一种黑盒攻击对抗样本生成方法及*** |
CN113420841B (zh) * | 2021-08-23 | 2021-12-14 | 北京邮电大学 | 有毒样本数据生成方法及装置 |
CN114444690B (zh) * | 2022-01-27 | 2024-06-07 | 厦门大学 | 一种基于任务扩增的迁移攻击方法 |
CN115063654B (zh) * | 2022-06-08 | 2024-07-16 | 厦门大学 | 基于序列元学习的黑盒攻击方法、存储介质和电子设备 |
CN114861893B (zh) * | 2022-07-07 | 2022-09-23 | 西南石油大学 | 一种多通路聚合的对抗样本生成方法、***及终端 |
CN115271067B (zh) * | 2022-08-25 | 2024-02-23 | 天津大学 | 基于特征关系评估的安卓对抗样本攻击方法 |
CN116543268B (zh) * | 2023-07-04 | 2023-09-15 | 西南石油大学 | 基于通道增强联合变换的对抗样本生成方法及终端 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108257116A (zh) * | 2017-12-30 | 2018-07-06 | 清华大学 | 一种生成对抗图像的方法 |
CN108446765A (zh) * | 2018-02-11 | 2018-08-24 | 浙江工业大学 | 面向深度学习对抗性攻击的多模型协同防御方法 |
CN108520268A (zh) * | 2018-03-09 | 2018-09-11 | 浙江工业大学 | 基于样本选择和模型进化的黑盒对抗性攻击防御方法 |
CN109165735A (zh) * | 2018-07-12 | 2019-01-08 | 杭州电子科技大学 | 基于生成对抗网络与自适应比例生成新样本的方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107025284B (zh) * | 2017-04-06 | 2020-10-27 | 中南大学 | 网络评论文本情感倾向的识别方法及卷积神经网络模型 |
JP7023669B2 (ja) * | 2017-10-26 | 2022-02-22 | 株式会社Preferred Networks | 画像生成方法、画像生成装置、及び画像生成プログラム |
US11741693B2 (en) * | 2017-11-15 | 2023-08-29 | Palo Alto Research Center Incorporated | System and method for semi-supervised conditional generative modeling using adversarial networks |
CN108491925A (zh) * | 2018-01-25 | 2018-09-04 | 杭州电子科技大学 | 基于隐变量模型的深度学习特征泛化方法 |
CN108833401A (zh) * | 2018-06-11 | 2018-11-16 | 中国人民解放军战略支援部队信息工程大学 | 基于贝叶斯演化博弈的网络主动防御策略选取方法及装置 |
-
2019
- 2019-05-17 CN CN201910414533.7A patent/CN110276377B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108257116A (zh) * | 2017-12-30 | 2018-07-06 | 清华大学 | 一种生成对抗图像的方法 |
CN108446765A (zh) * | 2018-02-11 | 2018-08-24 | 浙江工业大学 | 面向深度学习对抗性攻击的多模型协同防御方法 |
CN108520268A (zh) * | 2018-03-09 | 2018-09-11 | 浙江工业大学 | 基于样本选择和模型进化的黑盒对抗性攻击防御方法 |
CN109165735A (zh) * | 2018-07-12 | 2019-01-08 | 杭州电子科技大学 | 基于生成对抗网络与自适应比例生成新样本的方法 |
Non-Patent Citations (5)
Title |
---|
Active Preference Learning for Generative Adversarial Networks;Masahiro Kazama et al;《IEEE International Conference on Big Data》;20180112;4389-4393 * |
Verifying Controllers Against Adversarial Examples with Bayesian;Shromona Ghosh et al;《IEEE International Conference on Robotics and Automation》;20180904;7306-7313 * |
基于贝叶斯生成对抗网络的背景消减算法;郑文博等;《自动化学报》;20180531;第44卷(第5期);878-890 * |
深度学习中的对抗样本问题;张思思等;《计算机学报》;20181025;第42卷(第8期);1886-1904 * |
黑盒威胁模型下深度学习对抗样本的生成;孟东宇;《电子设计工程》;20181231;第26卷(第24期);164-173 * |
Also Published As
Publication number | Publication date |
---|---|
CN110276377A (zh) | 2019-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110276377B (zh) | 一种基于贝叶斯优化的对抗样本生成方法 | |
Cui et al. | Class-balanced loss based on effective number of samples | |
Ghosh et al. | Structured variational learning of Bayesian neural networks with horseshoe priors | |
CN108073876B (zh) | 面部解析设备和面部解析方法 | |
Liu et al. | A chaotic quantum-behaved particle swarm optimization based on lateral inhibition for image matching | |
CN109961145B (zh) | 一种针对图像识别模型分类边界敏感的对抗样本生成方法 | |
CN110334806A (zh) | 一种基于生成式对抗网络的对抗样本生成方法 | |
CN107578028B (zh) | 一种人脸识别方法、装置、设备及计算机可读存储介质 | |
CN111709435A (zh) | 一种基于离散小波变换的对抗样本生成方法 | |
CN111967573A (zh) | 数据处理方法、装置、设备及计算机可读存储介质 | |
CN114038055A (zh) | 一种基于对比学习和生成对抗网络的图像生成方法 | |
Striuk et al. | Generative adversarial neural network for creating photorealistic images | |
Wiggers et al. | Predictive sampling with forecasting autoregressive models | |
CN112560034B (zh) | 基于反馈式深度对抗网络的恶意代码样本合成方法及装置 | |
Zhang et al. | Distribution-preserving-based automatic data augmentation for deep image steganalysis | |
Putra et al. | Multilevel neural network for reducing expected inference time | |
CN117011508A (zh) | 一种基于视觉变换和特征鲁棒的对抗训练方法 | |
Yang et al. | Pseudo-representation labeling semi-supervised learning | |
Barhoush et al. | Accelerating federated learning via modified local model update based on individual performance metric | |
Shi et al. | A scalable convolutional neural network for task-specified scenarios via knowledge distillation | |
WO2021248544A1 (en) | Low resource computational block for trained neural network | |
CN111882563B (zh) | 一种基于方向性全卷积网络的语义分割方法 | |
CN114036503B (zh) | 一种迁移攻击方法、装置、电子设备及存储介质 | |
CN114120321B (zh) | 基于多字典样本加权的文本识别方法 | |
CN113449817B (zh) | 基于幻影梯度的图像分类隐式模型加速训练方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |