CN110443367A - 一种增强神经网络模型鲁棒性能的方法 - Google Patents

Abstract

本发明公开了一种增强神经网络模型鲁棒性能的方法，属于人工智能技术领域，首先将原始样本输入待增强的原始神经网络进行分类预测，得到预测标签；利用所述原始神经网络构建替代神经网络，并扩展原始样本集，提高替代神经网络的准确率；利用所述原始样本生成对抗样本，并将所述对抗样本与原始样本进行混合，得到混合样本；将所述混合样本输入所述替代神经网络，对所述替代神经网络进行训练，得到增强型的替代神经网络，本发明在保证该替代网络仍然拥有近似于原模型的准确率的同时，使用替代网络拟合原有的黑盒模型，并使用对抗样本和原样本混合作为数据集，有效地增强了未知的原有模型的鲁棒性。

Description

一种增强神经网络模型鲁棒性能的方法

技术领域

本发明涉及人工智能技术领域，具体涉及一种增强神经网络模型鲁棒性能的方法。

背景技术

近年来出现的对抗样本是现今对机器学习最大的威胁之一。研究者在开发机器学习应用的同时，往往会忽略模型的脆弱性和鲁棒性，而仅仅将重心放在了准确率上面。事实上，这样的模型极易遭受到对抗样本的攻击。Christian Szegedy等人发现，对于使用不同学习算法的模型，使用同一数据集中的不同子集训练，会对其中添加了轻微扰动和修改的子集产生错误的分类结果，即以高置信度来输出一个错误的结果，但事实上由人眼所分类的结果是相同的。由此，他提出了对原样本添加扰动过后的对抗样本的概念。

攻击者可以对样本添加肉眼几乎不可见的扰动，使模型分类错误，从而达到绕过模型检测的目的，甚至达到产生异常检测，如使模型将该样本分类成一个完全不一样的标签。这种攻击方式普遍存在于机器学习的模型当中，对于现今的分类模型具有极大的威胁。

机器学习中存在的这样普遍的漏洞迅速受到了学界的关注。Goodfellow等人提出了基于快速梯度符号算法来生成对抗样本的方法。Papernot等人使用雅可比矩阵来确定在产生对抵抗样本时需要修改哪些维度的信息。Grosse等人使用基于梯度的算法来生成Android恶意软件的对抗样本，认为攻击者可以完全了解恶意软件检测模型的参数，因此，他们采用对抗样本的方法来混淆基于神经网络的恶意软件检测模型。最终，对于不同的神经网络，经过对抗样本处理后模型的错误分类率为40％～84％。Papernot等人于2016年提出了蒸馏技术，使用教师模型的概率分布来训练学生模型，能够大大增强模型的抗扰动性。但是，现有增强模型防御的方法几乎都是基于白盒模型，需要改动模型的原始结构等，没有办法增强完全未知的黑盒模型的鲁棒性。

发明内容

本发明的目的在于：本发明提供了一种增强神经网络模型鲁棒性能的方法，解决了目前神经网络鲁棒性差，如面对攻击者恶意产生的对抗样本时，模型分类正确率会急剧下降的技术问题。

本发明采用的技术方案如下：

一种增强神经网络模型鲁棒性能的方法，其特征在于：包括以下步骤：

步骤1：将原始样本输入待增强的原始神经网络进行分类预测，得到预测标签；

步骤2：利用所述原始神经网络构建替代神经网络，并扩展原始样本集，提高替代神经网络的准确率；

步骤3：利用所述原始样本生成对抗样本，并将所述对抗样本与原始样本进行混合，得到混合样本；

步骤4：将所述混合样本输入所述替代神经网络，对所述替代神经网络进行训练，得到增强型的替代神经网络。

进一步的，所述步骤1中，原始样本包括图像样本和文本样本。

进一步的，所述步骤2具体步骤如下：

步骤201：利用原始样本合成新样本，采用的公式如下：

S_ρ＝{x+λsgn(J_F[O(x)])，x∈S}∪S (1)，

其中x表示原始样本，λ表示自定义的超参数，S表示原始数据集，S_ρ表示新样本集合；

步骤202：将所述新样本输入原始神经网络，输出标签F_ρ；

步骤203：将所述新样本及标签(S_ρ，F_ρ)作为输入，训练替代神经网络，所述替代神经网络与原始神经网络结构相似；

步骤204：重复步骤201-203，直到所述替代神经网络的准确率满足阈值。

进一步的，所述步骤3具体为：

步骤301：采用快速梯度下降算法，生成对抗样本，公式如下：

其中，x′表示对抗样本，t表示目标标签，ε表示限制扰动大小的最大值，δ_x表示在原始样本上添加的扰动；

步骤302：将原始样本与预测标签的集合(x，y)、对抗样本与预测标签的集合(x′，y)进行混合并进行重采样，得到混合样本。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

本发明保证了使用替代网络仍然有近似于原模型的准确率，虽然使用替代网络改变了原模型的结构和参数，但是利用原始样本集进行扩展后的数据集训练替代网络，使替代网络输出结果近似于原有神经模型的输出，拟合了原有模型的边界，能够保证该替代网络仍然拥有近似于原模型的准确率；使用替代网络拟合原有的黑盒模型，并使用对抗样本和原样本混合作为数据集，能增强了未知的原有模型的鲁棒性；基于快速梯度符号法能在短时间内大量生成对抗样本，同时采用了对抗训练的方法对模型进行鲁棒性增强，效果显著。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明的整体架构图；

图2是本发明具体实施例中采用黑盒攻击方法的替代网络生成图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以下结合实施例对本发明的特征和性能作进一步的详细描述。

一种增强神经网络模型鲁棒性能的方法，其特征在于：包括以下步骤：

步骤1：将原始样本输入待增强的原始神经网络进行分类预测，得到预测标签；

步骤2：利用所述原始神经网络构建替代神经网络，并扩展原始样本集，提高替代神经网络的准确率；

步骤3：利用所述原始样本生成对抗样本，并将所述对抗样本与原始样本进行混合，得到混合样本；

步骤4：将所述混合样本输入所述替代神经网络，对所述替代神经网络进行训练，得到增强型的替代神经网络。

所述步骤1中，原始样本包括图像样本和文本样本。

所述步骤2具体步骤如下：

步骤201：利用原始样本合成新样本，采用的公式如下：

S_ρ＝{x+λsgn(J_F[O(x)])，x∈S)∪S (4)，

其中x表示原始样本，λ表示自定义的超参数，S表示原始数据集，S_ρ表示新样本集合；

步骤202：将所述新样本输入原始神经网络，输出标签F_ρ；

步骤203：将所述新样本及标签(S_ρ，F_ρ)作为输入，训练替代神经网络，所述替代神经网络与原始神经网络结构相似；

步骤204：重复步骤201-203，直到所述替代神经网络的准确率满足阈值。

所述步骤3具体为：

步骤301：采用快速梯度下降算法，生成对抗样本，公式如下：

其中，x′表示对抗样本，t表示目标标签，ε表示限制扰动大小的最大值，δ_x表示在原始样本上添加的扰动；

步骤302：将原始样本与预测标签的集合(x，y)、对抗样本与预测标签的集合(x′，y)进行混合并进行重采样，得到混合样本。

实施例

本实施例用于对本发明进行说明。

本实施例基于x86/Windows10平台，所用语言为python3.6，依赖关系tensorflow、theano、keras等，编译软件为pycharm。

步骤1：对数据进行预处理，若为图像数据则进行直方图均衡化、几何变换、数字化等常用图像预处理手段；若为文本类数据，则对数据特征进行归一化处理，即将数据归一化至区间[0，1]，采用的转换函数为：

x^*＝(x-min)/(max-min) (7)，

其中，max为文本类样本数据的最大值，min为文本类样本数据的最小值。

将原始样本输入待增强的原始神经网络进行分类预测，得到预测标签；

将原始样本集中80％切分作为训练集，以20％作为验证集，将图像类样本数据转化为tfecord格式，初步提取图像包含的信息。

采取卷积深度学习网络结构模型作为原始深度神经网络，该模型已由ImageNet上已经训练好点的参数作为训练的初始值。相应语音、文本采用但不限于LSTM、双向RNN等结构。调用Tensorflow Slim微调模型中训练好的卷积网络模型，深度学习模型对待测样本x进行预测分类结果，该分类结果p优选采用向量表示p＝[p1，p2，p3，...]，其中：每一个分量代表输入原样本在每一个类别的预测概率。取该向量中最大概率p所对应的标签y，作为原样本x的预测结果。

步骤2：利用所述原始神经网络构建替代神经网络，并扩展原始样本集，提高替代神经网络的准确率；

步骤201：利用原始样本合成新样本，采用的公式如下：

S_ρ＝{x+λsgn(J_F[O(x)])，x∈S}∪S (8)，

其中x表示原始样本，λ表示自定义的超参数，S表示原始数据集，S_ρ表示新样本集合，ρ表示迭代轮数；

步骤202：将所述新样本输入原始神经网络，输出标签F_ρ；

步骤203：将所述新样本及标签(S_ρ，F_ρ)作为输入，训练替代神经网络，所述替代神经网络与原始神经网络结构相似，若原始神经网络采用CNN，则替代神经网络采用VGG-Net、ResNet、AlexNet中的一种。

步骤204：重复步骤201-203，可设置迭代轮数为10000，直到所述替代神经网络的准确率满足阈值，采用的公式如下：

θ_F←train(F，D) (10)。

步骤3：利用所述原始样本生成对抗样本，并将所述对抗样本与原始样本进行混合，得到混合样本；

步骤301：在原始样本上添加扰动，采用快速梯度下降算法，生成对抗样本，公式如下：

其中，x′表示对抗样本，t表示目标标签，ε表示限制扰动大小的最大值，一般被设置为一个足够小的值，以至于肉眼难以分辨，δ_x表示在原始样本上添加的扰动，sgn为符号函数，代价函数在输入的某方向上变化率最大，即代价最容易变化的方向，代价函数用来指导优化(以正确率为目标)，使得误判概率增加。

步骤302：将原始样本与预测标签的集合(x，y)、对抗样本与预测标签的集合(x′，y)进行混合并进行重采样，得到混合样本，并重采样，使样本集合中样本数量达到20000个。

步骤4：将所述混合样本输入所述替代神经网络，对所述替代神经网络进行训练，得到增强型的替代神经网络。

利用混合样本对采用黑盒攻击方法拟合的替代网络进行再训练，迭代次数为10000次，重新设置输入层维度、丢弃率，添加输入层结点、隐藏层层数及输入层结点数，隐藏层激活函数为tanh，输入层激活函数为softmax，损失函数为categorical_crossentropy，对原有参数进行更新。

本实施例提出的对神经模型的鲁棒性增强方式有效且简单，针对主流分类模型有着不错的效果，同时也保证不失原模型的正确率。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种增强神经网络模型鲁棒性能的方法，其特征在于：包括以下步骤：

步骤1：将原始样本输入待增强的原始神经网络进行分类预测，得到预测标签；

步骤2：利用所述原始神经网络构建替代神经网络，并扩展原始样本集，提高替代神经网络的准确率；

步骤3：利用所述原始样本生成对抗样本，并将所述对抗样本与原始样本进行混合，得到混合样本；

步骤4：将所述混合样本输入所述替代神经网络，对所述替代神经网络进行训练，得到增强型的替代神经网络。

2.根据权利要求1所述的一种增强神经网络模型鲁棒性能的方法，其特征在于：所述步骤1中，原始样本包括图像样本和文本样本。

3.根据权利要求1所述的一种增强神经网络模型鲁棒性能的方法，其特征在于：所述步骤2具体步骤如下：

步骤201：利用原始样本合成新样本，采用的公式如下：

S_ρ＝{x+λsgn(J_F[O(x)]),x∈S}∪S (1)，

其中x表示原始样本，λ表示自定义的超参数，S表示原始数据集，S_ρ表示新样本集合；

步骤202：将所述新样本输入原始神经网络，输出标签F_ρ；

步骤203：将所述新样本及标签(S_ρ，F_ρ)作为输入，训练替代神经网络，所述替代神经网络与原始神经网络结构相似；

步骤204：重复步骤201-203，直到所述替代神经网络的准确率满足阈值。

4.根据权利要求1所述的一种增强神经网络模型鲁棒性能的方法，其特征在于：所述步骤3具体为：

步骤301：采用快速梯度下降算法，生成对抗样本，公式如下：

其中，x'表示对抗样本，t表示目标标签，ε表示限制扰动大小的最大值，δ_x表示在原始样本上添加的扰动；

步骤302：将原始样本与预测标签的集合(x,y)、对抗样本与预测标签的集合(x',y)进行混合并进行重采样，得到混合样本。