CN112667496B - 基于多先验的黑盒对抗测试样本生成方法及装置 - Google Patents
基于多先验的黑盒对抗测试样本生成方法及装置 Download PDFInfo
- Publication number
- CN112667496B CN112667496B CN202011471422.9A CN202011471422A CN112667496B CN 112667496 B CN112667496 B CN 112667496B CN 202011471422 A CN202011471422 A CN 202011471422A CN 112667496 B CN112667496 B CN 112667496B
- Authority
- CN
- China
- Prior art keywords
- gradient
- sample
- round
- similarity
- vectors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012360 testing method Methods 0.000 title claims abstract description 25
- 239000013598 vector Substances 0.000 claims abstract description 61
- 230000006870 function Effects 0.000 claims description 24
- 238000005457 optimization Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 235000000332 black box Nutrition 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000003491 array Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 abstract description 9
- 238000005070 sampling Methods 0.000 abstract description 8
- 238000013136 deep learning model Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Complex Calculations (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于多先验的黑盒对抗测试样本生成方法及装置,该方法包括:设置对抗样本生成所需的多个超参数;将对抗样本初始化后开始进行迭代;获取多种不同的先验,得到一组正交基;估计真实梯度与各正交向量的相似度;优化目标函数,最小化估计梯度与真实梯度的期望之差;采样多个随机向量;根据随机梯度估计方法来估计梯度。由此,可以提高对神经网络的攻击成功率,或者攻击成功率相同的情况下减少用于估计梯度的采样次数、加快对抗样本的生成。
Description
技术领域
本发明涉及机器学习术领域,特别涉及一种基于多先验的黑盒对抗测试样本生成方法及装置。
背景技术
深度学习在许多领域取得了突破性的进展,但最近的研究表明他们很容易受到对抗样本的攻击。所谓对抗样本,指在正常图片上加入一些肉眼不可见的微小扰动,使本来能正确运作的深度学习模型预测错误。对抗样本的生成方法包括白盒方法与黑盒方法。白盒方法需要假设我们对被攻击的深度学习模型信息完全已知,从而使用基于梯度上升的算法生成对抗样本。黑盒方法主要分为基于分数的黑盒方法,基于决策的黑盒方法,与基于迁移性的黑盒方法。
基于分数的黑盒方法,能获取模型对输入图片的预测分数。通过随机梯度估计方法,可以通过多次询问来近似出被攻击模型关于当前图片的梯度,接着执行需要梯度的白盒方法。基于迁移的黑盒方法,会训练一个实现相同功能的深度学习模型(称为代理模型),使用代理模型的梯度代替被攻击模型的梯度,然后执行白盒攻击方法。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的一个目的在于提出一种基于多先验的黑盒对抗测试样本生成方法,该方法可以提高对神经网络的攻击成功率,或者攻击成功率相同的情况下减少用于估计梯度的采样次数、加快对抗样本的生成。
本发明的另一个目的在于提出一种基于多先验的黑盒对抗测试样本生成装置。
为达到上述目的,本发明一方面实施例提出了一种基于多先验的黑盒对抗测试样本生成方法,包括:
S1,设置对抗样本生成所需的多个超参数;
S2,将对抗样本初始化后开始进行迭代;
S3,获取多个先验估计,将所述先验估计进行施密特正交化,得到多个单位正交向量;
S4,估计真实梯度和所述多个单位正交向量的相似度;
S5,优化目标函数,根据所述相似度最小化估计梯度与真实梯度的期望之差;
S6,获取多个随机向量,根据所述多个随机向量和梯度计算公式进行梯度估计;
S7,根据估计的梯度进行计算,得到当前轮次的对抗样本,将迭代轮次加一,判断迭代轮次是否等于最大迭代轮次,若不等,则执行S3,若相等,则结束迭代,输出最终的对抗样本。
本发明实施例的基于多先验的黑盒对抗测试样本生成方法,通过使用多先验的随机梯度估计方法估计梯度,执行投影梯度下降算法,可以提高对神经网络的攻击成功率,或者攻击成功率相同的情况下减少用于估计梯度的采样次数、加快对抗样本的生成。
另外,根据本发明上述实施例的基于多先验的黑盒对抗测试样本生成方法还可以具有以下附加的技术特征:
进一步地,在本发明的一个实施例中,所述多个超参数包括:最大迭代轮次T、允许的噪声扰动大小∈、投影梯度下降的学习率η。
进一步地,在本发明的一个实施例中,所述获取多个先验估计,包括:
训练一个代理模型,对所述代理模型进行梯度估计,将所述代理模型的梯度作为先验估计;
或将上一迭代轮次得到的梯度作为先验估计;或
获取大噪声的对抗样本,将大噪声的对抗样本与对抗样本的差进行向量归一化后的结果作为先验估计。
进一步地,在本发明的一个实施例中,估计真实梯度和所述多个单位正交向量的相似度,具体包括:
S41,随机获取S个向量t1,t2…,tS,其中,ti是在D维单位球上均匀采样的一个随机向量;
进一步地,在本发明的一个实施例中,所述目标函数为:
进一步地,在本发明的一个实施例中,所述优化目标函数的求解步骤包括:
S54,若r-l>δ,其中δ为预设一极小阈值,执行S53,否则,解ΛT(A-lB)Λ在约束条件下的最大值,对应的Λ即为S53中要求的λ1,…,λK。
进一步地,在本发明的一个实施例中,所述多个随机向量uj为:
其中,w=[w1,w2,…,wK],是一个D×K的矩阵,wK为单位正交向量,D为对抗样本原图的维度,K为先验估计得个数,λk为待优化变量,I为D×D的单位阵,ξi是在D维单位球上均匀采样的一个随机向量。
进一步地,在本发明的一个实施例中,根据所述多个随机向量和梯度计算公式进行梯度估计,包括:
进一步地,在本发明的一个实施例中,所述根据估计的梯度进行计算,得到当前轮次的对抗样本,包括:
为达到上述目的,本发明另一方面实施例提出了一种基于多先验的黑盒对抗测试样本生成装置,包括:
设置模块,用于设置对抗样本生成所需的多个超参数;
初始化模块,用于将对抗样本初始化后开始进行迭代;
处理模块,用于获取多个先验估计,将所述先验估计进行施密特正交化,得到多个单位正交向量;
相似度估计模块,用于估计真实梯度和所述多个单位正交向量的相似度;
优化模块,用于优化目标函数,根据所述相似度最小化估计梯度与真实梯度的期望之差;
梯度估计模块,用于获取多个随机向量,根据所述多个随机向量和梯度计算公式进行梯度估计;
输出模块,用于根据估计的梯度进行计算,得到当前轮次的对抗样本,将迭代轮次加一,判断迭代轮次是否等于最大迭代轮次,若不等,则执行所述处理模块,若相等,则结束迭代,输出最终的对抗样本。
本发明实施例的基于多先验的黑盒对抗测试样本生成装置。通过使用多先验的随机梯度估计方法估计梯度,执行投影梯度下降算法,可以提高对神经网络的攻击成功率,或者攻击成功率相同的情况下减少用于估计梯度的采样次数、加快对抗样本的生成。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本发明一个实施例的基于多先验的黑盒对抗测试样本生成方法流程图;
图2为根据本发明一个实施例的基于多先验的黑盒对抗测试样本生成装置结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
目前,已有工作尝试将基于迁移的黑盒方法与基于分数的黑盒方法进行结合,它在随机梯度估计方法的过程中,将一个代理模型的梯度作为先验知识引入随机向量的概率分布里,从而降低估计的梯度与真实梯度的期望二范数误差。
本发明基于上述思想,考虑融合多个渠道的先验知识,更好地将基于迁移的黑盒方法与基于分数的黑盒方法结合,提出一种基于多先验的黑盒对抗测试样本生成方法。使用该方法,可以提高对神经网络的攻击成功率,或者攻击成功率相同的情况下减少用于估计梯度的采样次数、加快对抗样本的生成。
下面参照附图描述根据本发明实施例提出的基于多先验的黑盒对抗测试样本生成方法及装置。
首先将参照附图描述根据本发明实施例提出的基于多先验的黑盒对抗测试样本生成方法。
图1为根据本发明一个实施例的基于多先验的黑盒对抗测试样本生成方法流程图。
如图1所示,该基于多先验的黑盒对抗测试样本生成方法包括以下步骤:
步骤S1,设置对抗样本生成所需的多个超参数。
具体地,设置攻击的迭代轮数T,允许的噪声扰动大小∈,投影梯度下降的学习率η。
步骤S2,将对抗样本初始化后开始进行迭代。
步骤S3,获取多个先验估计,将先验估计进行施密特正交化,得到多个单位正交向量。
在标准的基于分数的黑盒对抗样本生成中,使用随机梯度估计方法来估计梯度其中,f为神经网络的损失函数,上划线代表向量归一化操作。在基于分数的黑盒攻击下,仅能获取的值而无法得到梯度信息,因此,gi是对神经网络梯度方向的一个估计。
在本发明的实施例中,进行梯度估计时使用多先验的随机梯度估计方法,使得估计梯度与真实梯度更加接近。
使用上一轮次得到的梯度gi-1作为先验;或者
步骤S4,估计真实梯度和多个单位正交向量的相似度。
进一步地,在本发明的另一个实施例中,估计真实梯度和多个单位正交向量的相似度,包括:
S41,随机获取S个向量t1,t2…,tS,其中,ti是在D维单位球上均匀采样的一个随机向量;
步骤S5,优化目标函数,根据相似度最小化估计梯度与真实梯度的期望之差。
目标函数为:
在本发明的一个实施例中,可采用如下的二分搜索方法优化λ1,…λK:
S54,若r-l>δ,其中δ为预设一极小阈值,执行S53,否则,解ΛT(A-lB)Λ在约束条件下的最大值,对应的Λ即为S53中要求的λ1,…,λK。
步骤S6,获取多个随机向量,根据多个随机向量和梯度计算公式进行梯度估计。
具体地,构造q个随机向量uj,其中
进一步地,根据多个随机向量和梯度计算公式进行梯度估计,包括:
步骤S7,根据估计的梯度进行计算,得到当前轮次的对抗样本,将迭代轮次加一,判断迭代轮次是否等于最大迭代轮次,若不等,则执行S3,若相等,则结束迭代,输出最终的对抗样本。
可以理解的是,本发明的实施例可用任何一种编程语言实现,在具有CPU和内存的计算设备上执行。使用的投影梯度下降法通过调用相应编程语言的数值计算函数库可以实现。
根据本发明实施例提出的基于多先验的黑盒对抗测试样本生成方法,通过使用多先验的随机梯度估计方法估计梯度,执行投影梯度下降算法,可以提高对神经网络的攻击成功率,或者攻击成功率相同的情况下减少用于估计梯度的采样次数、加快对抗样本的生成。
其次参照附图描述根据本发明实施例提出的基于多先验的黑盒对抗测试样本生成装置。
图2为根据本发明一个实施例的基于多先验的黑盒对抗测试样本生成装置结构示意图。
如图2所示,该基于多先验的黑盒对抗测试样本生成装置包括:设置模块201、初始化模块202、处理模块203、相似度估计模块204、优化模块205、梯度估计模块206和输出模块207。
设置模块201,用于设置对抗样本生成所需的多个超参数。
初始化模块202,用于将对抗样本初始化后开始进行迭代。
处理模块203,用于获取多个先验估计,将先验估计进行施密特正交化,得到多个单位正交向量。
相似度估计模块204,用于估计真实梯度和多个单位正交向量的相似度。
优化模块205,用于优化目标函数,根据相似度最小化估计梯度与真实梯度的期望之差。
梯度估计模块206,用于获取多个随机向量,根据多个随机向量和梯度计算公式进行梯度估计。
输出模块207,用于根据估计的梯度进行计算,得到当前轮次的对抗样本,将迭代轮次加一,判断迭代轮次是否等于最大迭代轮次,若不等,则执行处理模块,若相等,则结束迭代,输出最终的对抗样本。
需要说明的是,前述对方法实施例的解释说明也适用于该实施例的装置,此处不再赘述。
根据本发明实施例提出的基于多先验的黑盒对抗测试样本生成装置,通过使用多先验的随机梯度估计方法估计梯度,执行投影梯度下降算法,可以提高对神经网络的攻击成功率,或者攻击成功率相同的情况下减少用于估计梯度的采样次数、加快对抗样本的生成。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于多先验的黑盒对抗测试样本生成方法,其特征在于,包括以下步骤:
S1,设置对抗样本生成所需的多个超参数;
S2,将对抗样本初始化后开始进行迭代;
S3,获取多个先验估计,将所述先验估计进行施密特正交化,得到多个单位正交向量;
S4,估计真实梯度和所述多个单位正交向量的相似度;
S5,优化目标函数,根据所述相似度最小化估计梯度与真实梯度的期望之差;
S6,获取多个随机向量,根据所述多个随机向量和梯度计算公式进行梯度估计;
S7,根据估计的梯度进行计算,得到当前轮次的对抗样本,将迭代轮次加一,判断迭代轮次是否等于最大迭代轮次,若不等,则执行S3,若相等,则结束迭代,输出最终的对抗样本。
2.根据权利要求1所述的方法,其特征在于,所述多个超参数包括:最大迭代轮次T、允许的噪声扰动大小∈、投影梯度下降的学习率η。
3.根据权利要求1所述的方法,其特征在于,所述获取多个先验估计,包括:
训练一个代理模型,对所述代理模型进行梯度估计,将所述代理模型的梯度作为先验估计;
或将上一迭代轮次得到的梯度作为先验估计;或
获取大噪声的对抗样本,将大噪声的对抗样本与对抗样本的差进行向量归一化后的结果作为先验估计。
6.根据权利要求5所述的方法,其特征在于,所述优化目标函数的求解步骤包括:
S54,若r-l>δ,其中δ为预设一极小阈值,执行S53,否则,解ΛT(A-lB)Λ在约束条件下的最大值,对应的Λ即为S53中要求的λ1,…,λK。
10.一种基于多先验的黑盒对抗测试样本生成装置,其特征在于,包括:
设置模块,用于设置对抗样本生成所需的多个超参数;
初始化模块,用于将对抗样本初始化后开始进行迭代;
处理模块,用于获取多个先验估计,将所述先验估计进行施密特正交化,得到多个单位正交向量;
相似度估计模块,用于估计真实梯度和所述多个单位正交向量的相似度;
优化模块,用于优化目标函数,根据所述相似度最小化估计梯度与真实梯度的期望之差;
梯度估计模块,用于获取多个随机向量,根据所述多个随机向量和梯度计算公式进行梯度估计;
输出模块,用于根据估计的梯度进行计算,得到当前轮次的对抗样本,将迭代轮次加一,判断迭代轮次是否等于最大迭代轮次,若不等,则执行所述处理模块,若相等,则结束迭代,输出最终的对抗样本。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011471422.9A CN112667496B (zh) | 2020-12-14 | 2020-12-14 | 基于多先验的黑盒对抗测试样本生成方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011471422.9A CN112667496B (zh) | 2020-12-14 | 2020-12-14 | 基于多先验的黑盒对抗测试样本生成方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112667496A CN112667496A (zh) | 2021-04-16 |
CN112667496B true CN112667496B (zh) | 2022-11-18 |
Family
ID=75404260
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011471422.9A Active CN112667496B (zh) | 2020-12-14 | 2020-12-14 | 基于多先验的黑盒对抗测试样本生成方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112667496B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113052314B (zh) * | 2021-05-27 | 2021-09-14 | 华中科技大学 | 一种认证半径引导攻击方法、优化训练方法及*** |
CN117407690B (zh) * | 2023-12-14 | 2024-03-22 | 之江实验室 | 一种基于模型迁移性评估的任务执行方法、装置及设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110334808A (zh) * | 2019-06-12 | 2019-10-15 | 武汉大学 | 一种基于对抗样本训练的对抗攻击防御方法 |
CN111163472A (zh) * | 2019-12-30 | 2020-05-15 | 浙江工业大学 | 一种基于生成式对抗网络的信号识别攻击的防御方法 |
CN111476294A (zh) * | 2020-04-07 | 2020-07-31 | 南昌航空大学 | 一种基于生成对抗网络的零样本图像识别方法及*** |
US10783401B1 (en) * | 2020-02-23 | 2020-09-22 | Fudan University | Black-box adversarial attacks on videos |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11113599B2 (en) * | 2017-06-22 | 2021-09-07 | Adobe Inc. | Image captioning utilizing semantic text modeling and adversarial learning |
-
2020
- 2020-12-14 CN CN202011471422.9A patent/CN112667496B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110334808A (zh) * | 2019-06-12 | 2019-10-15 | 武汉大学 | 一种基于对抗样本训练的对抗攻击防御方法 |
CN111163472A (zh) * | 2019-12-30 | 2020-05-15 | 浙江工业大学 | 一种基于生成式对抗网络的信号识别攻击的防御方法 |
US10783401B1 (en) * | 2020-02-23 | 2020-09-22 | Fudan University | Black-box adversarial attacks on videos |
CN111476294A (zh) * | 2020-04-07 | 2020-07-31 | 南昌航空大学 | 一种基于生成对抗网络的零样本图像识别方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN112667496A (zh) | 2021-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111310802B (zh) | 一种基于生成对抗网络的对抗攻击防御训练方法 | |
Jeong et al. | Ood-maml: Meta-learning for few-shot out-of-distribution detection and classification | |
CN112667496B (zh) | 基于多先验的黑盒对抗测试样本生成方法及装置 | |
CN113780461B (zh) | 基于特征匹配的鲁棒神经网络训练方法 | |
CN114240951B (zh) | 一种基于查询的医学图像分割神经网络的黑盒攻击方法 | |
CN112200257A (zh) | 对抗样本的生成方法及装置 | |
Pfeifer et al. | Spread: a new layer for profiled deep-learning side-channel attacks | |
CN111507384A (zh) | 一种黑盒深度模型对抗样本生成方法 | |
CN113033822A (zh) | 基于预测校正和随机步长优化的对抗性攻击与防御方法及*** | |
Cogranne et al. | Theoretical model of the FLD ensemble classifier based on hypothesis testing theory | |
CN113435264A (zh) | 基于寻找黑盒替代模型的人脸识别对抗攻击方法及装置 | |
CN113361611B (zh) | 一种众包任务下的鲁棒分类器训练方法 | |
Goel et al. | Fast locally optimal detection of targeted universal adversarial perturbations | |
CN116418574A (zh) | 一种基于频域扰动的说话人识别***查询攻击方法 | |
CN117079070A (zh) | 基于特征对齐的测试阶段自适应学习方法、装置及设备 | |
CN113379593B (zh) | 一种图像生成方法、***及相关设备 | |
US7474997B2 (en) | Construction and selection of a finite mixture model for use in clustering and vector quantization | |
CN115270891A (zh) | 一种信号对抗样本的生成方法、装置、设备及存储介质 | |
CN115442107A (zh) | 一种基于高斯混合模型的通信数据异常检测方法 | |
CN116226658A (zh) | 基于不可学习噪声生成器的深度学习数据集知识产权保护算法 | |
Zhou et al. | Optimizing one-pixel black-box adversarial attacks | |
Fetz | Improving the convergence of iterative importance sampling for computing upper and lower expectations | |
Niyazi et al. | Asymptotic analysis of an ensemble of randomly projected linear discriminants | |
Wang et al. | The sample complexity of meta sparse regression | |
CN113052314B (zh) | 一种认证半径引导攻击方法、优化训练方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |