CN113688914A

CN113688914A - 一种实用相对顺序对抗攻击方法

Info

Publication number: CN113688914A
Application number: CN202110998691.9A
Authority: CN
Inventors: 王乐; 周默; 周三平; 陈仕韬; 辛景民; 郑南宁
Original assignee: Ningbo Shun'an Artificial Intelligence Research Institute; Xian Jiaotong University
Current assignee: Ningbo Shun'an Artificial Intelligence Research Institute; Xian Jiaotong University
Priority date: 2021-08-27
Filing date: 2021-08-27
Publication date: 2021-11-23
Anticipated expiration: 2041-08-27
Also published as: CN113688914B

Abstract

本发明公开了一种实用相对顺序对抗攻击方法，属于深度学习与计算机视觉领域。包括以深度排序模型作为目标模型，利用深度排序模型计算查询样本和被选中的候选样本集合之间的距离度量；当深度排序模型的参数获取成功时，使用白盒威胁模型进行相对顺序对抗攻击，得到对抗样本；将所得对抗样本输入到深度排序模型中，输出排序结果；所得的排序结果中，候选样本集合之间的相对顺序已经修改，实现所述实用相对顺序对抗攻击方法。其中，当深度排序模型的参数无法获取时，使用黑盒威胁模型进行相对顺序对抗攻击。本发明所述方法，解决了现有技术中忽视相对顺序对抗攻击可能性、对选中样本相对顺序不敏感、不适用于黑盒威胁模型等问题。

Description

一种实用相对顺序对抗攻击方法

技术领域

本发明属于深度学习与计算机视觉领域，涉及一种实用相对顺序对抗攻击方法。

背景技术

对抗攻击方法在包括深度排序在内的各种深度学***性有着重大影响。本发明属于一种针对深度排序模型的对抗攻击方法，主要旨在通过对图像查询样本进行肉眼不可视的对抗扰动，使得一组被选中的候选样本之间在图像检索结果中的相对顺序按照攻击者指定的排列矢量进行改变。目前针对深度排序模型的对抗攻击普遍存在下列问题：(1)这些方法无一例外是针对候选样本的绝对位置进行攻击，而完全忽视了针对候选样本之间的相对顺序进行对抗攻击的可能性，从而使得深度排序模型的鲁棒性体现相对片面。然而在实际应用层面上，类似基于图像搜索的网络购物等应用可能会因为相对顺序对抗攻击而引起商品之间相对销量的变化；(2)针对绝对位置的对抗攻击方法无法直接应用于针对相对顺序的攻击目标上，且对选中样本之间的相对顺序不敏感；(3)现有方法因为没有显式考虑到黑盒威胁模型下的各种约束，不能实现在黑盒威胁模型下的相对顺序攻击。通过在深度排序模型中的相对顺序对抗攻击方法可以指导未来的深度排序模型进行更加鲁邦化的设计。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种实用相对顺序对抗攻击方法，以解决上述存在的忽视相对顺序对抗攻击可能性、对选中样本相对顺序不敏感、以及不能适用于黑盒威胁模型等问题。

为了达到上述目的，本发明采用以下技术方案予以实现：

本发明公开了一种实用相对顺序对抗攻击方法，包括：

步骤一、以深度排序模型f(·，·)作为目标模型，利用深度排序模型f(.，·)计算查询样本q和被选中的候选样本集合C＝{c₁，c₂，...，c_k}之间的距离度量；当深度排序模型f(·，·)的参数获取成功时，使用白盒威胁模型进行相对顺序对抗攻击；

步骤二、使用白盒威胁模型进行相对顺序对抗攻击，包括以下步骤：

设置一个长度为k的排序矢量p，利用排序矢量p标记候选样本集合C中每个样本的相对顺序后进行重排序；重排序后的候选样本集合为C_p＝{c_p1，c_p2，...，c_pk}，以重排序后的候选样本集合C_p中的样本作为攻击对象样本；

针对攻击对象样本，计算其中每个样本与查询样本的组合之间的三元组相对顺序损失；将每两个样本的组合之间的三元组相对顺序损失进行加和，得到一个整体的相对顺序损失函数；基于所得相对顺序损失函数，追加语义保留损失函数，将整体的相对顺序损失函数与追加语义保留损失函数求和，得到总体的带有语义保留性质的相对顺序损失函数；使用投影梯度下降法迭代更新查询样本q，得到对抗样本

步骤三、将所得对抗样本

输入到深度排序模型f(·，·)中，输出排序结果；所得的排序结果中，候选样本集合C之间的相对顺序已经修改，实现所述实用相对顺序对抗攻击方法。

优选地，步骤一中，从深度排序模型的候选样本数据库X中选择出k个候选样本，得到候选样本集合C＝{c₁，c₂，...，c_k}；其中，每个候选样本从候选样本数据库X中选出。

优选地，步骤二中，每两个样本的组合之间计算三元组相对顺序损失的公式为：

[f(q，c_pi)-f(q，c_pj)]₊；

其中，[…]₊表示ReLU激活函数，c_pi与c_pj中c_pi是比c_pj在期望排序中靠前的候选样本，i的取值范围从1到k，而相应的j的范围则从i遍历到k；

得到整体的相对顺序损失函数的公式为：

式中，参数

为对抗样本；C为选定的候选样本集合；p为此前定义的排序矢量；i，j，k均为遍历集合的临时变量；c_pi与c_pj则分别为根据排序矢量p进行重排序的集合C_p＝{c_p1，c_p2，...，c_pk}中的第i和第j位元素；数学符号[…]₊代表ReLU激活函数。

进一步优选地，基于所得相对顺序损失函数追加语义保留损失函数，使每一个来自选中的候选样本集合的样本，比任意一个来自候选样本数据库X的样本x更加靠近给定的修改后的查询样本，即对抗样本

其中，得到追加语义保留损失函数的公式为：

式中，参数

为对抗样本；C为选定的候选样本集合；c，x均为遍历集合的临时变量；数学符号[…]₊代表ReLU激活函数；集合X是包含集合C在内的所有候选样本的集合，亦即深度排序模型的整个检索数据库。

其中，优选地，总体的带有语义保留性质的相对顺序损失函数，其公式为：

式中，ξ为手工设置的平衡超参数，是一个大于0的任意实数；参数

为对抗样本；C为选定的候选样本集合；p为此前定义的排序矢量；L_ReO(…)与L_QA(…)分别为上述步骤中求得的相对顺序损失函数以及语义保留损失函数。

优选地，使用投影梯度下降法更新查询样本q，得到对抗样本

包括以下步骤：

使用投影梯度下降法更新查询样本q，其公式为：

式中，r为对抗样本中的扰动量，其下标t代表迭代次数；Clip(…)函数表示将其参数截断至可行域Ω_q中；η为手工设置的学习率或更新步长；sign(…)是标准的符号函数；

为对抗样本；C为选定的候选样本集合；p为此前定义的排序矢量。

其中，迭代次数t从1到一个预设的值T；r_o初始化为0，且最后一次迭代后的查询样本即为符合要求的对抗样本

优选地，步骤一中，当深度排序模型f(·，·)的参数无法获取时，使用黑盒威胁模型进行相对顺序对抗攻击；

步骤二中，使用黑盒威胁模型进行相对顺序对抗攻击，包括以下步骤：

初始化零矩阵S，遍历零矩阵S的下三角矩阵部分，遍历过程中的每一个矩阵元素计算其分数，并将所得分数放入矩阵对应位置；对计入分数后的零矩阵S的下三角求平均数，得到短距排序相关性系数τ_s；

使用黑盒优化算法，对所得短距排序相关性系数τ_s通过添加对抗扰动r的方式修改查询样本q进行最大化，得到对抗样本

进一步优选地，遍历过程中的每一个矩阵元素计算其分数的计算方法如下：

遍历零矩阵S的下三角矩阵部分，即行号i从1到k，而列号从1到i-1；

如果候选样本c_i或候选样本c_j中的任意一个不属于深度排序模型检索结果的前N个检索结果组成的集合，则记为-1分；

如果c_i在C_p中的位置在c_j之前，且c_i在模型前N个检索结果列表中也在c_j之前，或者如果c_i在C_p中的位置在c_j之后，且c_i在模型前N个检索结果列表中也在c_j之后，则记为1分；

如果c_i在C_p中的位置在c_j之前，而c_i在模型前N个检索结果列表中在c_j之后，或者如果c_i在C_p中的位置在c_j之后，而c_i在模型前N个检索结果列表中在c_j之前，则记为-1分。

进一步优选地，黑盒优化算法包括：随机搜索法、粒子群算法、自然进化策略或基于共同扰动梯度近似的多元随机近似算法。

进一步优选地，使用黑盒优化算法，对所得短距排序相关性系数τ_s通过修改查询样本q进行最大化，得到对抗样本

其公式为：

式中，r^*为(近似的)优化问题最优解，即后式中argmax(...)部分的解；

与现有技术相比，本发明具有以下有益效果：

本发明公开了供一种实用相对顺序对抗攻击方法，所述方法中通过使用投影梯度下降法优化带有语义保留性质的整体相对顺序损失函数得到对抗样本，或者通过使用黑盒优化算法最大化短距排序相关性从而得到对抗样本，能够实现在对无关样本造成有限影响的条件下改变深度排序模型实际检索结果中被选中候选样本集合中元素之间的相对顺序。因此，本发明所述实用相对顺序对抗攻击方法，首次针对深度排序模型提出相对顺序攻击方法，能够有效解决此前针对深度排序模型的绝对顺序对抗攻击方法忽视了相对顺序攻击的可能性的技术缺陷，同时提高了深度排序模型的绝对顺序对抗攻击方法对相对顺序敏感程度，因此，本发明所述方法能够很好地适配实际黑盒攻击所面临的约束的问题。

进一步地，本发明提出整体相对顺序损失函数，对相对顺序敏感，可以用于实施白盒威胁模型下的相对顺序对抗攻击。

进一步地，本发明提出短距排序相关性的度量具体计算方法，可以用于实施黑盒威胁模型下的相对顺序对抗攻击。

综上所述，本发明中首次实现了针对深度排序模型的相对顺序对抗攻击，并且针对白盒与黑盒两种威胁模型均适用。具有以下优点：

1)本发明首次针对深度排序模型提出相对顺序攻击方法；

2)本发明提出的方法对排序结果的相对顺序敏感；

3)本发明在白盒与黑盒威胁模型下均适用。

附图说明

图1为本发明实用相对顺序对抗攻击方法的总体结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面将结合附图以及具体实施实例来详细说明本发明的背景条件以及具体实施方式。在此本发明的示意图及实例仅作为本发明的解释说明，并不作为针对本发明的限定。

本发明所述实用相对顺序对抗攻击方法的总体结构框图如图1所示，具体包括如下步骤：

一、给定一个查询样本q以及k个从候选样本数据库中选出的候选样本集合C＝{c₁，c₂，...，c_k}，以及一个深度排序模型f(·，·)。其中深度排序模型f(q，c_i)是一个可学习的距离度量函数，用于度量查询样本q与候选样本c_i(i＝1，2，3，...，k)之间的欧氏或者余弦距离，而候选样本集合C是全体候选样本X的一个子集。接下来，根据深度排序模型f(·，·)梯度是否可以获取到来判断使用针对白盒威胁模型的方法进行攻击。当深度排序模型f(·，·)的参数可以获取则使用白盒威胁模型对应的方法，否则使用黑盒威胁模型对应的方法。

二、白盒威胁模型下的相对顺序对抗攻击具体步骤

1.攻击对象样本选择

1)算法使用者按照任意攻击目标从深度排序模型的候选样本数据库X中选择出k个从候选样本数据库中选出的候选样本集合C＝{c₁，c₂，...，c_k}；其中，每个候选样本从候选样本数据库X中选出。

2)算法使用者按照任意攻击目标设置一个长度为k的排序矢量p，用于标记攻击者期望的上述选中k个候选样本的相对顺序。重排序后的候选样本集合为C_p＝{c_p1，c_p2，...，c_pk}。

2.计算相对顺序三元组损失函数

1)对于重排序之后的候选样本集合C_p之中的样本，每两个样本的组合与查询样本q之间都计算一个三元组相对顺序损失[f(q，c_pi)-f(q，c_pj)]₊，其中[·]₊表示ReLU激活函数，c_pi与c_pj中c_pi是比c_pj在期望排序中靠前的候选样本，具体来讲i的取值范围从1到k，而相应的j的范围则从i遍历到k。

2)对上述样本之间两两计算的三元组相对顺序损失进行加和，得到一个整体的相对顺序损失函数。亦即：

式中，参数

3)在整体的相对顺序损失函数的基础上，追加一个语义保留损失函数。具体来讲，对于每一个来自选中的候选样本集合的样本c∈C，都使得c比任意一个来自深度排序模型的候选样本数据库X的样本x更加靠近给定的查询样本

亦即：

式中，参数

4)将步骤2)与步骤3)得到的损失函数进行求和，得到总体的带有语义保留性质的相对顺序损失函数，得到总体的带有语义保留性质的相对顺序损失函数(由于根据使用场景总需要语义保留性质，如图1中所示，相对顺序(三元组)损失函数均默认带有语义保留损失函数)。即：

式中，参数ξ为手工设置的平衡超参数，是一个大于0的任意实数；参数

为对抗样本；C为选定的候选样本集合；p为此前定义的排序矢量；L_ReO(…)与L_QA+(…)分别为上述步骤中求得的相对顺序损失函数以及语义保留损失函数。在Fashion-MNIST数据集上的设置为ξ＝10¹，而在Stanford Online Products数据集上的设置为ξ＝10³。

3.使用投影梯度下降法更新查询样本q。即：

其中迭代次数t从1到一个预设的值T。r_o初始化为0，且最后一次迭代后的查询样本即为符合要求的对抗样本

4.将得到的对抗样本

作为查询样本输入到目标深度排序模型中。该深度排序模型所得出的排序结果中，所选样本(候选样本集合C)之间的相对顺序已经被修改，且查询样本本身的语义并没有发生显著变化。

三、黑盒威胁模型下的相对顺序对抗攻击具体步骤

1.攻击对象样本选择

1)算法使用者按照任意攻击目标深度排序模型的候选样本数据库中选择出k个从候选样本库中选出的候选样本集合C＝{c₁，c₂，...，c_k}。

2.计算短距排序相关性

1)初始化一个零矩阵S，其尺寸为k×k。

2)遍历零矩阵S的下三角矩阵部分，即行号i从1到k，而列号从1到i-1。遍历过程中对于每一个矩阵元素，都计算一个分数，放入矩阵对应位置。其中，该分数的计算方法如下：a.如果候选样本c_i或候选样本c_j中的任意一个不属于深度排序模型检索结果的前N个检索结果组成的集合，则记为-1分。b.如果c_i在C_p中的位置在c_j之前，且c_i在模型前N个检索结果列表中也在c_j之前，或者如果c_i在C_p中的位置在c_j之后，且c_i在模型前N个检索结果列表中也在c_j之后，则记为1分。c.如果c_i在C_p中的位置在c_j之前，而c_i在模型前N个检索结果列表中在c_j之后，或者如果c_i在C_p中的位置在c_j之后，而c_i在模型前N个检索结果列表中在c_j之前，则记为-1分。

3)对零矩阵S的下三角矩阵部分求平均数得到短距排序相关性τ_s。

3.使用任一黑盒优化算法，比如随机搜索法、粒子群算法(PSO)，自然进化策略(NES)，基于共同扰动梯度近似的多元随机近似算法(SPSA)等，对短距排序相关性系数τ_s通过修改查询样本q进行最大化，从而得到相应的对抗样本

即

在实践中，对短距排序相关性系数的黑盒优化算法默认采用基于共同扰动梯度近似的多元随机近似算法(SPSA)。

4.将得到的对抗样本

输入到目标深度排序模型中。所得出的排序结果中，所选样本之间的相对顺序已经被修改，且查询样本本身的语义并没有发生显著变化。

表1，表2分别是白盒攻击方法和黑盒攻击方法在Fashion-MNIST数据集上的实验结果。表3，表4分别是白盒攻击方法和黑盒攻击方法在Stanford Online Product数据集上的实验结果。

表1在Fashion-MNIST上的白盒攻击实验结果

表2在Fashion-MNIST上的黑盒攻击实验结果

表3在Stanford Online Product上的白盒实验结果

表2在Stanford Online Product上的黑盒攻击实验结果

综上所述，本发明涉及了一种基于短距排序相关性的实用相对顺序对抗攻击方法，属于深度学习与计算机视觉领域。本发明针对现有深度排序攻击方法忽视在相对顺序层面上进行攻击的可能性这一问题，提出针对深度排序***的相对顺序攻击，在不引起重大排序错误的前提下在最终排序结果中根据攻击者指定的排列矢量调整一个被选中候选样本集合之间的相对顺序：将攻击目标公式化为一个直接体现目标不等式组的三元组风格损失函数。在此基础上，本发明针也针对黑盒威胁模型的限制引入短距排序相关性指标作为三元组风格损失函数的代理优化目标，从而在黑盒场景下近似达到白盒攻击的效果。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。