CN114358278A - 神经网络模型的训练方法及装置 - Google Patents

Abstract

本公开提供一种神经网络模型的训练方法及装置。所述方法包括：获取与所述神经网络模型的攻击防御需求相应的原始数据集；利用所述原始数据集对所述神经网络模型进行预训练，以得到预训练模型；基于协方差矩阵自适应进化策略CMA‑ES，利用训练数据集对所述预训练模型进行补充训练，以得到目标模型。本公开提供的神经网络模型的训练方法及装置，利用基于协方差矩阵自适应进化策略的神经网络训练算法对神经网络进行补充训练，获得鲁棒神经网络模型，提高神经网络对抗防御的准确性和高效性，确保深度学习相关***的安全性。

Description

神经网络模型的训练方法及装置

技术领域

本公开涉及深度学习领域，尤其涉及一种神经网络模型的训练方法及装置。

背景技术

机器学习技术尤其是深度学习，在生活中得到了广泛的应用，包括军事、工业、医疗和互联网等领域。然而，随着机器学习相关技术及***在全世界各领域的各种基础设施中应用的越来越广泛，有越来越多的恶意人员及机构将相关***视为目标，试图去攻击他们；机器学习***被攻击会为应用其的场景带来严重的后果，伴随着机器学习***的发展和应用，其安全问题也逐渐受到大家的关注。

如何建立有效的防御机制是确保机器学习***安全的关键。现有技术中的防御技术有基于木马模式识别的攻击检测防御方法、利用网络梯度信息及生成对抗网络的对抗训练防御方法、基于神经元修复和剪枝的对抗防御方法等。然而，大部分防御技术都是通过可知攻击样本的模式信息，去实现攻击检测或防御模型的构建；对于未知攻击样本的模式信息，并没有有效的办法进行防范。

发明内容

有鉴于此，本公开的目的在于提出一种神经网络模型的训练方法及装置。

基于上述目的，本公开一个或多个实施例提供了一种神经网络模型的训练方法，包括：获取与所述神经网络模型的攻击防御需求相应的原始数据集；

利用所述原始数据集对所述神经网络模型进行预训练，以得到预训练模型；

基于协方差矩阵自适应进化策略CMA-ES，利用训练数据集对所述预训练模型进行补充训练，以得到目标模型。

作为本公开一实施例的进一步改进，基于协方差矩阵自适应进化策略CMA-ES，利用所述训练数据集对所述预训练模型进行补充训练，以得到目标模型，包括如下步骤：

S41将所述预训练模型的中间层变化建模为多维高斯分布；

S42在所述多维高斯分布内采样中间层参数的候选解集合，形成多个候选神经网络模型；

S43根据用户选择的训练数据生成方式，基于所述候选神经网络模型的结构和参数信息从所述原始数据集生成训练数据集；

S44将所述训练数据集输入所述候选神经网络模型，评估所述候选神经网络模型的鲁棒性；

S45按照鲁棒性从高到低进行排序，从鲁棒性最高开始选取预先设定比例的候选神经网络模型作为优选神经网络模型；

S46基于所述优选神经网络模型的中间层参数，更新所述多维高斯分布的参数，得到新的多维高斯分布；

重复步骤S42至S46，直至满足预先设定的终止条件时，将所述优选神经网络模型作为目标模型。

作为本公开一实施例的进一步改进，所述预先设定终止条件为：

重复迭代的次数阈值、准确率阈值或所述准确率在迭代过程中不再提升中的至少一个。

作为本公开一实施例的进一步改进，将所述预训练模型的中间层变化建模为多维高斯分布，包括：

将所述预训练模型的中间层参数的解空间建模为多维高斯分布N(μ，σ²C)，其中，μ为分布的均值，σ为学习步长，C为协方差矩阵；

获取所述预训练模型的中间层参数值，将所述参数值作为所述多维高斯分布的初始均值μ，在0.0001-0.1区间内初始化学习步长σ。

作为本公开一实施例的进一步改进，所述学习步长σ初始化为0.1。

作为本公开一实施例的进一步改进，所述获取原始数据集包括：

选择与预训练模型使用场景匹配的公开数据集或自定义数据集中的至少一种作为原始数据，所述原始数据集包括像素级矩阵数据存储的图片。

作为本公开一实施例的进一步改进，根据用户选择的训练数据生成方式，基于所述候选神经网络模型的结构和参数信息从所述原始数据集生成训练数据集，包括如下步骤：

基于所述候选神经网络模型的结构和参数信息，采用多步生成训练数据方式生成所述训练数据集。

作为本公开一实施例的进一步改进，所述多步生成训练数据方式包括：采用投影梯度下降方式生成训练数据。

作为本公开一实施例的进一步改进，所述候选神经网络模型的鲁棒性包括对所述训练数据集的分类准确率和交叉熵等损失函数值中的至少一个。

本公开一个或多个实施例提供一种神经网络对抗防御装置，包括：

存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的神经网络模型的训练方法。

从上面所述可以看出，本公开提供的神经网络模型的训练方法及装置，运用协方差矩阵对未知攻击存在的随机性进行建模，运用进化策略算法和神经网络微调技术的结合，在确保网络对于已知攻击的效果的前提下，进而提高网络对于未知攻击的防御能力，进一步提高深度学习相关***的安全性。该方法不受限于数据集的情况及具体模型，根据不同数据集的情况，对指定模型进行补充训练或修复，从而提高神经网络对抗防御的高效性，提高深度学习相关***的安全性。

参照后文的说明和附图，详细公开了特定的实施方式，指明了本公开技术方案的原理可以被采用的方式。应该理解，本公开的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本公开的实施方式包括许多改变、修改和等同。针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

附图说明

为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的神经网络模型的训练方法的示意图；

图2为本公开实施例提供的对预训练模型进行补充训练，以得到目标模型的方法示意图；

图3为本公开实施例提供的神经网络对抗防御装置的示意图。

具体实施例

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

需要说明的是，除非另外定义，本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。

请参见图1，本公开的实施例提供的神经网络模型的训练方法，包括如下步骤：

S1，获取与所述神经网络模型的攻击防御需求相应的原始数据集；

S2，利用所述原始数据集对所述神经网络模型进行预训练，以得到预训练模型；

S3，基于协方差矩阵自适应进化策略CMA-ES，利用训练数据集对所述预训练模型进行补充训练，以得到目标模型。

对于步骤S1，获取与所述神经网络模型的攻击防御需求相应的原始数据集，根据待优化的预训练模型的使用场景，或者测试场景，选择原始数据集。

原始数据集可以是现有的公开数据集，也可以是被上传的自定义数据集。原始数据的表现形式为“像素级矩阵数据存储的图片”。原始数据用于进行神经网络模型的训练，例如对分类***，人脸识别等神经网络模型进行训练。本公开中，原始数据有两个用途，一是用于训练待优化的预训练模型；另一用途则是通过后面选择的训练数据生成方式，生成训练数据。

对于步骤S2，利用所述原始数据集对所述神经网络模型进行预训练，以得到预训练模型。在优化开始前，待优化的预训练模型是通过原始数据训练好的预训练模型，即在前置步骤中使用原始数据进行训练的神经网络模型。预训练模型可使用经典网络结构或者自定义网络结构，将原始数据输入到预训练模型中，配合预训练模型完成预训练。

具体的，根据使用者的设备和模型应用场景的需求，选用不同的预训练模型，例如ResNet18，ResNet50等神经网络模型，ResNet18和ResNet50的区别在于两种神经网络模型的结构层数不同。在需要快速的获取优化模型的情况下，可以使用结构层数较少的神经网络模型，例如ResNet18。在需要获得相对安全的模型的情况下，可以使用结构层数较多的神经网络模型，例如ResNet50。

常见的神经网络模型的使用可以利用开源工具TensorFlow、pytorch等实现。TensorFlow和pytorch都是作为一种工具供神经网络模型实施。若经典神经网络模型不满足使用所需，也可上传自定义网络结构模型作为预训练模型；自定义网络结构模型文件可以为python语言书写的py文件；将获取的原始数据集输入到所选的预训练模型中，当预训练模型对于原始数据集的分类准确度高于预定阈值时，即可得到可用的预训练模型。

对于步骤S3，请一并参见图2，是本公开实施例提供的基于协方差矩阵自适应进化策略CMA-ES，利用训练数据集对所述预训练模型进行补充训练，以得到目标模型的示意图。

其中，步骤S41，将所述预训练模型的中间层变化建模为多维高斯分布。提取待优化的预训练模型的中间层参数，所提取的神经网络模型的中间层包括除第一层和最后一层外的所有网络层。将所述预训练模型的中间层参数的解空间，建模为多维高斯分布N(μ，σ²C)。其中，μ为分布的均值，σ为学习步长，C为协方差矩阵。以待优化的预训练模型的中间层参数值作为高斯分布的初始均值μ0；然后在0.0001-0.1区间内初始化学习步长σ0；更优的，以0.1初始化学习步长σ0。

步骤S42，在所述多维高斯分布内采样中间层参数的候选解集合，形成多个候选神经网络模型。在当前多维高斯分布内抽样采集出所有候选解集合，每一个候选解对应一个候选神经网络模型；将采样获得的中间层参数替换待优化的预训练模型的中间层参数，获得多个候选神经网络模型。

步骤S43，根据用户选择的训练数据生成方式，基于所述候选神经网络模型的结构和参数信息从所述原始数据集生成训练数据集。训练数据集的来源是原始数据，在原始数据的基础上，计算得到的人为攻击数据，目的是用于对待优化的预训练模型进行训练。生成训练数据的方式有单步生成训练方式和多步生成训练数据方式，其中，单步生成训练方式的时间开销小，但是精度相对低；多步生成训练数据的时间开销大，但是精度相对较高。

对训练速度要求高的情况下，可以选择开销小的单步数据生成方式；当对训练速度要求不高时，可以选择例如基于PGD(投影梯度下降方式)等时间较长的数据生成方式；PGD是做多次迭代，每次走一小步，每次迭代都会将扰动投射到规定范围内；PGD作为最强的一阶攻击，在所有的一阶对抗样本中，效果上认为PGD为最优方法；它对真实场景攻击数据模拟效果更高，对效果的提升也较好；在本实施例中，优选的是多步生成训练数据的方式。

训练数据的生成是基于待优化的预训练模型的结构和模型参数的，在生成训练数据时，先获取待优化的预训练模型的具体结构和模型参数，包括深度神经网络的隐藏层层数，每层神经元数量，输入层，输出层等；根据选择的训练数据生成方式，在原始数据集上生成训练数据。

步骤S44,将所述训练数据集输入所述候选神经网络模型，评估所述候选神经网络模型的鲁棒性。将步骤S43获得的训练数据，分别输入所述多个候选神经网络模型，得到不同候选神经网络模型对训练数据的分类结果，评估所述多个候选神经网络模型的鲁棒性。本领域技术人员可以想到的是，在评估候选神经网络模型的鲁棒性时，可以使用多种常见的参数进行评估，例如，计算分类结果的分类准确率。优选的，所述候选神经网络模型的鲁棒性包括对所述训练数据集的分类准确率和交叉熵等损失函数值中的至少一个。

步骤S45，按照鲁棒性从高到低进行排序，从鲁棒性最高开始选取预先设定比例的候选神经网络模型作为优选神经网络模型。基于步骤S44获得多个候选神经网络的鲁棒性评估结果后，对所有候选神经网络基于鲁棒性高低进行从高到低的排序，选取鲁棒性从高到低的一定比率的候选神经网络模型作为优选神经网络模型。优选的，选取排名在前30％的候选神经网络模型作为优选的神经网络模型。

步骤S46，基于所述优选神经网络模型的中间层参数，更新所述多维高斯分布的参数，得到新的多维高斯分布。从这些优选神经网络模型中，获取其中间层参数，更新多维高斯分布的均值、协方差等参数，计算得到新的多维高斯分布。再通过新的多维高斯分布，进行如步骤S43至步骤S46所述的建立候选神经网络模型-生成训练数据集-评估候选神经网络模型的鲁棒性-选取优选神经网络模型-基于优选神经网络模型更新多维高斯分布的过程。通过这样的循环过程去得到最优的中间层参数。

步骤S46，重复上述步骤，直至满足预先设定的终止条件。判断是否满足预先设定的终止条件，当迭代轮次达到预先设定的次数阈值，或者评估结果中鲁棒性参数超过了预先设定的鲁棒性参数阈值，或者经过多次跌代鲁棒性参数不再提升时，算法停止运行，选出的优选的神经网络模型即为优化后的目标神经网络模型。

可选择的，本公开提供的神经网络模型的训练方法还包括：生成模拟攻击数据，测试优化后的神经网络模型的鲁棒性。所述模拟攻击数据的生是基于优化后的神经网络模型的结构和模型参数的，根据选择的训练数据生成方式，在原始数据集上生成模拟攻击数据，将所述模拟攻击数据输入优化后的神经网络模型，得到优化后的神经网络模型的分类结果，将分类结果与模拟攻击数据的正确分类结果进行比对，由此得到优化后的神经网络模型的分类正确率，作为鲁棒性评估指标，以评估优化后的神经网络模型的鲁棒性。

从上面所述可以看出，本发明提供的神经网络模型的训练方法，运用协方差矩阵对未知攻击存在的随机性进行建模，运用进化策略算法和神经网络微调技术的结合，在确保网络对于已知攻击的效果的前提下，进而提高网络对于未知攻击的防御能力，进一步提高深度学习相关***的安全性。本公开提供的神经网络对方防御方法及装置，不受限于数据集的情况及神经网络模型结构，提高神经网络对抗防御的准确性和高效性，提高深度学习相关***的安全性。

基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种神经网络对抗防御装置。所述神经网络对抗防御装置，包括：数据集选择单元，用于根据具体需求选择原始数据集；模型选择单元，用于选择已有神经网络模型作为待优化的预训练模型。不同结构的待优化的预训练模型的影响主要体现在不同复杂度模型带来的训练开销和模型准确度的差别。以及，鲁棒训练模块，用于训练待优化的预训练模型的鲁棒性。所述鲁棒训练模块基于原始数据生成训练数据，通过基于协方差矩阵自适应进化策略对待优化的预训练模型的中间层参数进行训练优化，从而为神经网络模型提供对抗防御能力。

可选择的，所述神经网络对抗防御装置还包括数据集上传单元，用于在公开数据集无法满足要求时，选择上传自定义数据集。

可选择的，所述神经网络对抗防御装置还包括神经网络模型上传单元，用于上传自定义神经网络模型结构的文件，优选的，模型文件为python语言书写的py文件。

进一步的，所述神经网络对抗防御装置还包括测试模块，所述测试模块包括：测试数据生成单元，用于根据原始数据针对优化后的神经网络模型生成攻击测试数据；鲁棒性评估单元，将测试数据输入到优化后的神经网络模型中，得到优化后的神经网络模型的分类结果，将分类结果与测试数据的正确分类结果进行比对，由此得到优化后的神经网络模型的鲁棒性评估指标，用于评估所述优化后的神经网络模型的鲁棒性。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本公开时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

上述实施例的装置用于实现前述任一实施例中相应的神经网络模型的训练方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

需要说明的是，本公开实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。

需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施例中，多任务处理和并行处理也是可以的或者可能是有利的。

基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种神经网络对抗防御装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的神经网络模型的训练方法。

图3示出了本实施例所提供的一种神经网络对抗防御装置的硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作***和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

上述实施例的装置用于实现前述任一实施例中相应的神经网络模型的训练方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本公开实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

本公开实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本公开实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种神经网络模型的训练方法，其特征在于，包括：

获取与所述神经网络模型的攻击防御需求相应的原始数据集；

利用所述原始数据集对所述神经网络模型进行预训练，以得到预训练模型；

基于协方差矩阵自适应进化策略CMA-ES，利用训练数据集对所述预训练模型进行补充训练，以得到目标模型。

2.根据权利要求1所述的神经网络模型的训练方法，其特征在于，基于协方差矩阵自适应进化策略CMA-ES，利用训练数据集对所述预训练模型进行补充训练，以得到目标模型，包括如下步骤：

S41将所述预训练模型的中间层变化建模为多维高斯分布；

S42在所述多维高斯分布内采样中间层参数的候选解集合，形成多个候选神经网络模型；

S43根据用户选择的训练数据生成方式，基于所述候选神经网络模型的结构和参数信息从所述原始数据集生成训练数据集；

S44将所述训练数据集输入所述候选神经网络模型，评估所述候选神经网络模型的鲁棒性；

S45按照鲁棒性从高到低进行排序，从鲁棒性最高开始选取预先设定比例的候选神经网络模型作为优选神经网络模型；

S46基于所述优选神经网络模型的中间层参数，更新所述多维高斯分布的参数，得到新的多维高斯分布；

重复步骤S42至S46，直至满足预先设定的终止条件时，将所述优选神经网络模型作为目标模型。

3.根据权利要求2所述的神经网络模型的训练方法，其特征在于，所述预先设定终止条件为：

重复迭代的次数阈值、鲁棒性参数阈值或所述鲁棒性参数在迭代过程中不再提升中的至少一个。

4.根据权利要求2所述的神经网络模型的训练方法，其特征在于，将所述预训练模型的中间层变化建模为多维高斯分布，包括：

将所述预训练模型的中间层参数的解空间建模为多维高斯分布N(μ，σ²C)，其中，μ为分布的均值，σ为学习步长，C为协方差矩阵；

获取所述预训练模型的中间层参数值，将所述参数值作为所述多维高斯分布的初始均值μ，在0.0001-0.1区间内初始化学习步长σ。

5.根据权利要求4所述的神经网络模型的训练方法，其特征在于，所述学习步长σ初始化为0.1。

6.根据权利要求1所述的神经网络模型的训练方法，其特征在于，所述获取原始数据集包括：

选择与预训练模型使用场景匹配的公开数据集或自定义数据集中的至少一种作为原始数据，所述原始数据集包括像素级矩阵数据存储的图片。

7.根据权利要求2所述的神经网络模型的训练方法，其特征在于，根据用户选择的训练数据生成方式，基于所述候选神经网络模型的结构和参数信息从所述原始数据集生成训练数据集，包括如下步骤：

基于所述候选神经网络模型的结构和参数信息，采用多步生成训练数据方式生成所述训练数据集。

8.根据权利要求7所述的神经网络模型的训练方法，其特征在于，所述多步生成训练数据方式包括：采用投影梯度下降方式生成训练数据。

9.根据权利要求2所述的神经网络模型的训练方法，其特征在于，所述候选神经网络模型的鲁棒性包括对所述训练数据集的分类准确率和交叉熵等损失函数值中的至少一个。

10.一种神经网络模型的训练装置，其特征在于，包括：

存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至9任意一项所述的神经网络模型的训练方法。

Images