CN112085055B - 一种基于迁移模型雅克比阵特征向量扰动的黑盒攻击方法 - Google Patents

Abstract

本发明提出一种基于迁移模型雅克比阵特征向量扰动的黑盒攻击方法，属于机器学习***安全和黑盒攻击技术领域。该方法首先确定待攻击的黑盒模型和迁移预训练模型，获取待攻击的原始样本及其标签后，通过对原始样本不断施加扰动，利用经过迁移预训练模型计算的雅可比矩阵的奇异值分解结果，通过迭代计算不断更新扰动，最终使得施加扰动后的样本通过黑盒模型分类不再对应正确标签。本发明具有仅需要一个可迁移的预训练网络而无需任何训练样本的特点，可以大幅提升传统黑盒模型的攻击效率。

Description

一种基于迁移模型雅克比阵特征向量扰动的黑盒攻击方法

技术领域

本发明属于机器学习***安全和黑盒攻击的技术领域，特别提出一种基于迁移模型雅克比阵特征向量扰动的黑盒攻击方法。

背景技术

随着深度学***均问询黑盒模型的次数，对抗样本相对原待攻击样本的平均扰动距离及总体的攻击成功率。

黑盒攻击在实际场景中有着丰富的应用，比如在计算机视觉中，黑盒攻击可以针对一张特定的图像进行微小的扰动，使得一个原本可以将原始图像正确分类的神经网络对扰动后的图像做出错误的分类判断，而往往人类的视觉***察觉不出扰动前后图像的区别。针对图像的黑盒攻击的探索会促进机器学习界对于鲁棒学习的更深层次的探索，以期能够预防深度学习***在现实计算机视觉应用中出现的误判，如智能驾驶***，人脸识别***等。

传统的黑盒攻击技术包括基于白盒网络迁移的黑盒攻击和基于零阶梯度优化的黑盒攻击。前一种方案中，一般通过一些训练样本训练一个白盒网络，然后利用已知的白盒网络参数来指导黑盒攻击的每步迭代，其特点是需要大量的预训练样本，且预训练样本最好与黑盒网络的分类任务较为贴近；后一种方案中，通常利用零阶梯度优化的思想，通过采样的方式估算黑盒网络在某个输入点的梯度，从而梯度下降迭代寻找对抗样本，其特点是无需预训练样本，但是攻击效率较低。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种基于迁移模型雅克比阵特征向量扰动的黑盒攻击方法。本发明具有仅需要一个可迁移的预训练网络而无需任何训练样本的特点，可以大幅提升传统黑盒模型的攻击效率。

本发明提出一种基于迁移模型雅克比阵特征向量扰动的黑盒攻击方法，其特征在于，包括以下步骤：

1)确定待攻击的黑盒模型F，；

确定迁移预训练模型

其中该迁移预训练模型的输入层到表征层为函数h,表征层到输出层为函数g；

选取待攻击的一个输入样本和其对应的标签记为(x，y)，其中x代表该待攻击的输入样本，y为x对应的标签；将该待攻击的输入样本作为原始样本；设定扰动步长α和每轮选取特征向量数目K；

2)将原始样本x输入黑盒模型F，计算该原始样本通过黑盒模型F的对应输出概率向量p＝p(·|x)；

令δ＝0，δ表示对原始样本施加的扰动，生成样本x+δ；

3)将样本x+δ输入迁移预训练模型，计算该样本对应的函数h的雅可比矩阵J＝J_h(x+δ)；

4)对步骤3)获得的雅可比矩阵J进行奇异值分解，得到对应的前K个归一化的右特征值向量V₁，...，V_K，令i＝1；

5)对i的值进行判定：若i≤K，则进入步骤6)；否则重新返回步骤3)；

6)迭代计算扰动δ，最终使得样本x+δ通过黑盒模型分类不再对应正确标签y，具体步骤如下：

6-1)令x+δ沿向量V_i的负向方向移动长度为单次扰动步长α的距离，计算黑盒模型F的对应负向输出概率向量p_neg＝p(·|x+δ-αV_i)；

6-2)判断是否满足p_neg，y＜p_y，其中，p_y表示向量p中标签y对应的输出概率，p_neg，y：表示向量p_neg中标签y对应的输出概率；若满足，则负向扰动有效，进入步骤6-3),否则进入步骤6-4)；

6-3)更新概率向量p＝p_neg，令i＝i+1，更新扰动为δ＝δ-αV_i，进入步骤6-8)；

6-4)沿向量V_i正向方向移动长度为单次扰动步长α的距离，并计算黑盒模型的对应正向输出概率向量p_pos＝p(·|x+δ+αV_i)；

6-5)判断是否满足p_pos，y＜p_y，其中，p_pos，y表示向量p_neg中标签y对应的输出概率；若满足，则正向扰动有效，进入步骤6-6)；否则，进入步骤6-7)；

6-6)更新概率向量p＝p_pos，令i＝i+1，更新扰动为δ＝δ+αV_i,进入步骤6-8)；

6-7)令i＝i+1，保持概率向量p和扰动δ不变，进入步骤6-8)；

6-8)判定y≠argmax_y′p_y′是否成立：若成立，则概率向量p中的最大概率分量对应的标签不是y，黑盒攻击成功，转入步骤7)；若不成立，则黑盒攻击不成功，重新返回步骤5)；

7)返回扰动δ作为使得黑盒模型F对原始样本x做出错误分类判断的有效扰动，此时的样本x+δ即为黑盒模型F的一个对抗样本，方法结束。

本发明的特点及有益效果：

本发明提出了一种新型的黑盒攻击方法。利用本发明，攻击者只需要一个预训练的模型网络结构和网络参数，达到了更高的攻击效率和更小的攻击成本。且本发明不需要任何预训练样本对该网络进一步调整，节省了采集训练样本和训练的时间和成本。通过这一预训练模型来指导更有效率的黑盒攻击。我们在实验中表明，通过预训练模型的信息可以达到比基于零阶梯度优化的黑盒攻击更优的攻击效率，并且由于无需采集任何预训练样本，在实际应用中比需要训练的基于白盒网络迁移的黑盒攻击技术更为简便。

本发明的一大应用场景是计算机视觉中针对图片进行攻击，具体做法是对目标图片添加一个合成的微小扰动，使得神经网络对扰动后的图片分类错误，而由于扰动足够微小，人类的视觉***几乎无法分辨扰动前后图片的变化。

用户使用本方法的条件是：在一个黑盒模型攻击的场景中，用户可以利用的信息是一个预训练的白盒模型，该白盒模型和黑盒模型的任务关系十分紧密。另外，采集与此任务相关的训练数据是较为困难的事情。举例来说，攻击一个使用卷积神经网络架构的黑盒图像分类***。图像的预训练模型可以轻松获取，已经有很多在ImageNet上训练成型的预训练模型，而如果对此预训练模型微调或者进行结构修改，不仅需要采集大量的图片样本，而且训练过程十分耗时，这对于需要快速实现对黑盒图像分类***攻击的应用场景是十分不利的。而我们的方法恰好能够适配这一场景。

附图说明

图1是本发明方法的整体流程图。

具体实施方式

本发明提出的一种基于迁移模型雅克比阵特征向量扰动的黑盒攻击方法结合附图及一个实施例详细说明如下：

本发明提出一种基于迁移模型雅克比阵特征向量扰动的黑盒攻击方法，适用于任何通用的黑盒攻击模型。本实施例使用ResNet-50对ImageNet图像样本进行黑盒攻击，使用预训练好的ResNet-18作为迁移预训练模型(其中，迁移预训练模型与黑盒模型属于同一类别模型；例如，如果待攻击的黑盒模型是一个图像分类模型，则迁移预训练模型也是一个图像分类模型；且当这两个模型的任务相关性越强时，本发明方法的表现越好)，此实施例仅用于说明本发明的使用方法，并不对本发明的权利要求构成约束。

本发明提出一种基于迁移模型雅克比阵特征向量扰动的黑盒攻击方法，整体流程如图1所示，包括以下步骤：

1)确定待攻击的黑盒模型F，本实施例指黑盒的ResNet-50，由于其黑盒的特点，该黑盒模型架构和参数为未知；

确定

本实施例指白盒的ResNet-18，其中该迁移预训练模型的输入层到表征层为函数h(本实施例为ResNet-18经过连续的卷积层和平均池化后的512维表征层),表征层到输出层为函数g；

选取待攻击的一个输入样本和其对应的标签记为(x，y)，其中x代表该待攻击的输入样本，y为x对应的标签；将该待攻击的输入样本作为原始样本，本实施例中选取了一张ImageNet验证集中的图像样本作为待攻击的输入样本并获取其对应的标签；设定扰动步长a和每轮选取特征向量数目K(K的取值与x维度有关，x维度越高，则K的取值越大，本实施例中K取100)。

2)将原始样本x输入黑盒模型F，计算该原始样本通过黑盒模型F的对应输出概率向量p＝p(·|x)；

令δ＝0，δ表示对原始样本施加的扰动，此扰动会随着算法迭代不断更新，生成样本x+δ。

3)将样本x+δ输入迁移预训练模型，计算该样本对应的函数h的雅可比矩阵J＝J_h(x+δ)。

4)对步骤3)获得的雅可比矩阵J进行奇异值分解，得到对应的前K个归一化的右特征值向量V₁，...，V_K，令i＝1；

5)对i的值进行判定：若i≤K，则进入步骤6)；否则重新返回到步骤3)，此时本轮的扰动δ更新迭代已经全部结束，需要在更新后的样本x+δ处重新计算雅可比矩阵并进入下一轮的扰动更新迭代；

6)迭代计算扰动δ，最终使得样本x+δ通过黑盒模型分类不再对应正确标签y，具体步骤如下：

6-1)令x+δ沿向量V_i的负向方向移动长度为单次扰动步长α的距离，计算黑盒模型F的对应负向输出概率向量p_neg＝p(·|x+δ-αV_i)；

6-2)判断是否满足p_neg，y＜p_y，其中，p_y表示向量p中标签y对应的输出概率，p_neg，y：表示向量p_neg中标签y对应的输出概率；若满足，则此时负向扰动可以降低黑盒模型对扰动样本的真实标签的判断概率，说明负向扰动有效，进入步骤6-3),否则进入步骤6-4)；

6-3)更新概率向量p＝p_neg，令i＝i+1，更新扰动为δ＝δ-αV_i，进入步骤6-8)；

6-4)沿向量V_i正向方向移动长度为单次扰动步长α的距离，并计算黑盒模型的对应正向输出概率向量p_pos＝p(·|x+δ+αV_i)；

6-5)判断是否满足p_pos，y＜p_y，其中，p_pos，y表示向量p_neg中标签y对应的输出概率；若满足，则说明此时正向扰动可以降低黑盒模型对扰动样本的真实标签的判断概率，正向扰动有效，进入步骤6-6)；否则，进入步骤6-7)；

6-6)更新概率向量p＝p_pos，令i＝i+1，更新扰动为δ＝δ+αV_i,进入步骤6-8)；

6-7)此时正向扰动和负向扰动均不能降低黑盒模型对扰动样本的真实标签的判断概率，因此只让i＝i+1，保持概率向量p和扰动δ不变，进入步骤6-8)；

6-8)判定y≠argmax_y′p_y′是否成立，其中等式右侧表示概率向量p中的最大概率分量所对应的标签，本式的作用是判定此时的概率向量p中的最大概率分量对应的标签是否已经不再是原始样本x原本的标签y：若成立，则黑盒攻击成功，转入步骤7)；若不成立，则黑盒攻击不成功，重新返回步骤5)；

7)此时针对原始样本施加的扰动已经可以使黑盒模型F做出错误分类判断，返回扰动δ作为使得黑盒模型F对原始样本x做出错误分类判断的有效扰动，此时的样本x+δ即为黑盒模型F的一个对抗样本(在本实施例中，该对抗样本是使得黑盒的ResNet-50做出错误分类的一张图片)，方法结束。

Claims (1)

1.一种基于迁移模型雅克比阵特征向量扰动的黑盒攻击方法，其特征在于，包括以下步骤：

1)确定待攻击的黑盒模型F，；

确定迁移预训练模型

其中该迁移预训练模型的输入层到表征层为函数h，表征层到输出层为函数g；

选取待攻击的一个输入样本和其对应的标签记为(x，y)，其中x代表该待攻击的输入样本，y为x对应的标签；将该待攻击的输入样本作为原始样本；设定扰动步长α和每轮选取特征向量数目K；

2)将原始样本x输入黑盒模型F，计算该原始样本通过黑盒模型F的对应输出概率向量p＝p(·|x)；

令δ＝0，δ表示对原始样本施加的扰动，生成样本x+δ；

3)将样本x+δ输入迁移预训练模型，计算该样本对应的函数h的雅可比矩阵J＝J_h(x+δ)；

4)对步骤3)获得的雅可比矩阵J进行奇异值分解，得到对应的前K个归一化的右特征值向量V₁，...，V_K，令i＝1；

5)对i的值进行判定：若i≤K，则进入步骤6)；否则重新返回步骤3)；

6)迭代计算扰动δ，最终使得样本x+δ通过黑盒模型分类不再对应正确标签y，具体步骤如下：

6-1)令x+δ沿向量V_i的负向方向移动长度为单次扰动步长α的距离，计算黑盒模型F的对应负向输出概率向量p_neg＝p(·|x+δ-αV_i)；

6-2)判断是否满足p_neg，y＜p_y，其中，p_y表示向量p中标签y对应的输出概率，p_neg，y：表示向量p_neg中标签y对应的输出概率；若满足，则负向扰动有效，进入步骤6-3)，否则进入步骤6-4)；

6-3)更新概率向量p＝p_neg，令i＝i+1，更新扰动为δ＝δ-αV_i，进入步骤6-8)；

6-4)沿向量V_i正向方向移动长度为单次扰动步长α的距离，并计算黑盒模型的对应正向输出概率向量p_pos＝p(·|x+δ+αV_i)；

6-5)判断是否满足p_pos，y＜p_y，其中，p_pos，y表示向量p_neg中标签y对应的输出概率；若满足，则正向扰动有效，进入步骤6-6)；否则，进入步骤6-7)；

6-6)更新概率向量p＝p_pos，令i＝i+1，更新扰动为δ＝δ+αV_i，进入步骤6-8)；

6-7)令i＝i+1，保持概率向量p和扰动δ不变，进入步骤6-8)；

6-8)判定y≠argmax_y′p_y′是否成立：若成立，则概率向量p中的最大概率分量对应的标签不是y，黑盒攻击成功，转入步骤7)；若不成立，则黑盒攻击不成功，重新返回步骤5)；

7)返回扰动δ作为使得黑盒模型F对原始样本x做出错误分类判断的有效扰动，此时的样本x+δ即为黑盒模型F的一个对抗样本，方法结束。

Images