CN111160555B - 基于神经网络的处理方法、装置及电子设备 - Google Patents

Abstract

本发明提供了一种基于神经网络的处理方法、装置及电子设备，该方法包括：将图片样本集中的每个样本输入至特征提取网络，得到每个样本的真实特征；将每个样本的标签输入至对抗特征生成网络，以使对抗特征生成网络基于每个样本的标签生成与该样本对应的对抗特征；基于每个标签及标签对应的真实特征和对抗特征，训练对抗特征生成网络和执行目标任务的神经网络，直至对抗特征生成网络的损失函数和神经网络的损失函数收敛，停止训练神经网络和对抗特征生成网络；将待处理图像输入至训练后的神经网络执行目标任务，得到待处理图像对应的图像处理结果。本发明可以有效提高训练后的神经网络的泛化能力，还可以有效提高神经网络的训练效率。

Description

基于神经网络的处理方法、装置及电子设备

技术领域

本发明涉及深度学习技术领域，尤其是涉及一种基于神经网络的处理方法、装置及电子设备。

背景技术

神经网络是一种具有自学习能力和自适应能力的算法数学模型，通过对神经网络进行训练，可使训练后的神经网络完成指定的任务，诸如利用神经网络完成图像分类或目标识别等任务。在训练神经网络时，为了提高训练后的神经网络完成任务的可靠性，可以利用数据增强方法对用于训练神经网络的训练集进行增强，目前通常采用仿射变换、随机裁剪或填充等操作对训练集中的多张图像进行处理，以增加训练集中图像的多样性，但是这种数据增强方式无法较好地增加训练集的特征的多样性，进而将导致训练后的神经网络的泛化能力较弱，致使训练后神经网络完成指定任务的可靠程度较低。而且上述数据增强方式虽然增加了图像的多样性，但是也增加了训练神经网络时的前馈计算，在一定程度上影响了神经网络的训练效率。

发明内容

有鉴于此，本发明的目的在于提供一种基于神经网络的处理方法、装置及电子设备，可以有效增加训练集的特征多样性，进而有效提高训练后的神经网络的泛化能力，还可以有效提高神经网络的训练效率。

第一方面，本发明实施例提供了一种基于神经网络的处理方法，所述方法包括：将图片样本集中的每个样本输入至特征提取网络，得到每个所述样本的真实特征；其中，所述图片样本集中的每个样本都标注有标签；将每个所述样本的标签输入至对抗特征生成网络，以使所述对抗特征生成网络基于每个所述样本的标签生成与该样本对应的对抗特征；其中，所述对抗特征生成网络基于所述真实特征进行训练，以使所述对抗特征与所述真实特征接近；基于每个所述标签及所述标签对应的所述真实特征和所述对抗特征，训练所述对抗特征生成网络和执行目标任务的神经网络，直至所述对抗特征生成网络的损失函数和所述神经网络的损失函数收敛，停止训练所述神经网络和所述对抗特征生成网络；将待处理图像输入至训练后的神经网络执行所述目标任务，得到所述待处理图像对应的图像处理结果。

在一种实施方式中，所述标签包括所述样本所属类别的类别标签，所述目标任务包括分类任务，所述图像处理结果包括所述待处理图像的分类结果。

在一种实施方式中，所述对抗特征生成网络包括特征生成器；将每个所述样本的标签输入至对抗特征生成网络，以使所述对抗特征生成网络基于每个所述样本的标签生成与该样本对应的对抗特征的步骤，包括：将每个所述样本的类别标签输入至所述特征生成器，通过所述特征生成器对每个所述样本的类别标签进行编码，得到每个所述样本的类别编码，并基于每个所述样本的类别编码生成与该样本对应的对抗特征；其中，每一类标签类别对应的各个样本的类别编码满足高斯分布。

在一种实施方式中，所述对抗特征生成网络还包括特征判别器，所述特征判别器分别连接所述特征生成器和所述特征提取网络；所述基于每个所述标签及所述标签对应的所述真实特征和所述对抗特征，训练所述对抗特征生成网络和所述神经网络的步骤，包括：将每个所述类别标签及所述类别标签对应的所述真实特征和所述对抗特征输入至所述特征判别网络，以使所述特征判别网络对每个所述类别标签对应的特征来源进行鉴别，得到每个所述样本的鉴别结果；其中，所述鉴别结果包括该类别标签对应的特征来源于所述特征提取网络或该类别标签对应的特征来源于所述特征生成器；根据所述鉴别结果计算所述对抗特征生成网络的损失函数；基于所述对抗特征生成网络的损失函数对所述特征生成器和所述特征判别器进行交替训练。

在一种实施方式中，所述对抗特征生成网络的损失函数包括生成损失函数和判别损失函数；其中，所述生成损失函数用于训练所述特征生成器，所述判别损失函数用于训练所述特征判别网络；所述基于所述对抗特征生成网络的损失函数对所述特征生成器和所述特征判别网络进行交替训练的步骤，包括：通过所述对抗特征生成网络的生成损失函数调整所述特征生成器的参数，或，通过所述对抗特征生成网络的对抗损失函数调整所述特征判别器的参数。

在一种实施方式中，所述基于每个所述标签及所述标签对应的所述真实特征和所述对抗特征，训练所述对抗特征生成网络和所述神经网络的步骤，还包括：将每个所述类别标签及所述类别标签对应的所述真实特征和所述对抗特征输入至所述神经网络，得到所述神经网络的输出结果；根据所述神经网络的输出结果计算所述神经网络的损失函数；基于所述神经网络的损失函数调整所述神经网络的参数。

在一种实施方式中，所述方法还包括：通过所述神经网络的损失函数训练所述特征提取网络，并阻断所述对抗特征生成网络中的所述特征判别器针对所述特征提取网络的梯度传递过程。

在一种实施方式中，所述训练所述对抗特征生成网络和所述神经网络的步骤，还包括：在训练所述对抗特征生成网络和所述神经网络的过程中冻结所述特征提取网络的参数。

第二方面，本发明实施例还提供一种基于神经网络的处理装置，所述装置包括：真实特征提取模块，用于将图片样本集中的每个样本输入至特征提取网络，得到每个所述样本的真实特征；其中，所述图片样本集中的每个样本都标注标签；对抗特征生成模块，用于将每个所述样本的标签输入至对抗特征生成网络，以使所述对抗特征生成网络基于每个所述样本的标签生成与该样本对应的对抗特征；其中，所述对抗特征生成网络基于所述真实特征进行训练，以使所述对抗特征与所述真实特征接近；训练模块，用于基于每个所述标签及所述标签对应的所述真实特征和所述对抗特征，训练所述对抗特征生成网络和执行目标任务的神经网络，直至所述对抗特征生成网络的损失函数和所述神经网络的损失函数均收敛，停止训练所述神经网络和所述对抗特征生成网络；图像处理模块，用于将待处理图像输入至训练后的神经网络执行所述目标任务，得到所述待处理图像对应的图像处理结果。

第三方面，本发明实施例还提供一种电子设备，包括处理器和存储器；所述存储器上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面提供的任一项所述的方法。

第四方面，本发明实施例还提供一种计算机存储介质，用于储存为第一方面任一项所述方法所用的计算机软件指令。

本发明实施例提供的一种基于神经网络的处理方法、装置及电子设备，首先将图像样本集中标注有标签的每个样本输入至特征提取网络，得到每个样本的真实特征，并将每个样本的标签输入对抗特征生成网络，以使对抗特征生成网络基于每个样本的标签生成与该样本对应的对抗特征，其中，对抗特征生成网络基于真实特征进行训练，以使对抗特征与真实特征接近，进而基于每个标签及标签对应的真实特征和对抗特征，训练对抗特征生成网络和神经网络，直至对抗特征生成网络的损失函数和神经网络的损失函数均收敛，停止训练神经网络和对抗特征生成网络，进而可以利用训练后的神经网络针对输入的待处理图像执行目标任务，得到待处理图像对应的图像处理结果。上述方式利用对抗特征生成网络生成与真实特征较为接近的对抗特征，相当于采用对抗特征增强了图像样本集的特征多样性，相较于现有技术中通过增强图像样本集的图像多样性间接地增强图像样本集的特征多样性的数据增强方式，本发明实施例可以利用对抗特征生成网络直接增强图像样本集的特征多样性，进而可以有效提高训练后的神经网络的泛化能力；另外，本发明实施例在利用图像样本集训练神经网络时，可以通过对抗特征生成网络生成对抗特征，这种基于特征维度的数据增强方法能有效减少图像增强时所需的大量网络前馈计算，从而有效提高了神经网络的训练效率。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种电子设备的结构示意图；

图2为本发明实施例提供的一种神经网络训练模型的结构示意图；

图3为本发明实施例提供的一种基于神经网络的处理方法的流程示意图；

图4为本发明实施例提供的另一种神经网络训练模型的结构示意图；

图5为本发明实施例提供的另一种神经网络训练模型的结构示意图；

图6为本发明实施例提供的一种基于神经网络的处理装置的结构示意图；

图7为本发明实施例提供的另一种基于神经网络的处理装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

考虑到现有的数据增强方式无法较好地增强图像样本集的特征多样性，导致基于增强后的图像样本集训练得到的神经网络的泛化能力较弱，而且现有的数据增强方式在一定程度上影响了训练神经网络的效率，为改善此问题，本发明实施例提供的一种基于神经网络的处理方法、装置及电子设备，该技术可应用于训练神经网络的场景，以下对本发明实施例进行详细介绍。

实施例一

首先，参照图1为一种用于实现本发明实施例的基于神经网络的处理方法及装置的电子设备100的结构示意图，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线***112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备可以具有图1示出的部分组件，也可以具有图1未示出其他组件和结构。

所述处理器102可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU)、图形处理单元(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的基于神经网络的处理方法及装置的示例电子设备可以被实现为诸如服务器、平板电脑、计算机等智能终端。

实施例二

本发明实施例提供了一种基于神经网络的处理方法，该方法应用于配置有神经网络训练模型的设备，为便于理解，参见图2所示的一种神经网络训练模型的结构示意图，图2中示意出了神经网络训练模型包括：特征提取网络、对抗特征生成网络和神经网络。其中，神经网络分别连接特征提取网络和对抗特征生成网络，特征提取网络可以用于提取图像样本集中每个样本的特征；对抗特征生成网络可以用于根据每个样本的标签生成该样本的特征；神经网络也即待训练的神经网络，训练后的神经网络可以用于针对输入的待处理图像执行目标任务，并输出待处理图像对应的图像处理结果，目标任务可以包括图像分类或目标识别等。

在上述神经网络训练模型的基础上，本发明实施例提供了一种基于神经网络的处理方法，参见图3所示的一种基于神经网络的处理方法的流程示意图，该方法主要包括以下步骤S302至步骤S308：

步骤S302，将图片样本集中的每个样本输入至特征提取网络，得到每个样本的真实特征。

其中，图片样本集中的每个样本都标注有标签，样本也即图像样本。在实际应用中，可以根据神经网络需要完成的任务选择所需的图像样本集，如果训练后的神经网络用于对视频的场景进行分类，则图像样本集中的每个样本上将标注诸如包括综艺、影视或游戏等用于划分视频场景的类别标签；如果训练后的神经网络用于目标识别(例如人脸识别)，则将利用标签对图像样本集中样本上的人脸进行标注。在一种实施方式中，通过将样本输入至特征提取网络，以使特征提取网络提取该样本的特征，并将提取到的特征作为该样本的真实特征。

步骤S304，将每个样本的标签输入对抗特征生成网络，以使对抗特征生成网络基于每个样本的标签生成与该样本对应的对抗特征。

在一种实施方式中，将样本的标签输入至对抗特征生成网络后，对抗特征生成网络将对标签进行编码处理，以得到样本标签的类别编码，对抗特征生成网络将根据类别编码生成该样本的对抗特征。另外，为了使对抗特征与真实特征接近，可以基于真实特征对抗特征生成网络进行训练，在一种具体的实施方式中，可以将特征提取网络输出的真实特征输入至对抗特征生成网络，对抗特征生成网络将对输入的特征进行鉴别，鉴别该特征是否为真实特征或鉴别该特征是否为对抗特征，并基于鉴别结果计算对抗特征生成网络的损失函数，进而基于计算得到的损失函数训练对抗特征生成网络。

步骤S306，基于每个标签及标签对应的真实特征和对抗特征，训练对抗特征生成网络和执行目标任务的神经网络，直至对抗特征生成网络的损失函数和神经网络的损失函数均收敛，停止训练神经网络和对抗特征生成网络。

其中，神经网络处理真实特征和对抗特征的过程中，真实特征和对抗特征共用样本的标签。例如，神经网络执行的目标任务为对图像的场景进行分类，样本上标注有用于划分图像场景的标签，将标签及其对应的真实特征和对抗特征输入至神经网络，神经网络将学习该样本的真实特征与该样本的标签之间的映射关系，以及学习该样本的对抗特征与该样本的标签之间的映射关系，并输出场景分类结果，基于神经网络输出的场景分类结果计算神经网络的损失函数。另外，还可以将每个标签及其对应的真实特征和对抗特征输入至对抗特征生成网络，并基于对抗特征生成网络针对标签、真实特征和对抗特征输出的鉴别结果计算对抗特征生成网络的损失函数，当对抗特征生成网络的损失函数收敛时，停止训练对抗特征生成网络。在实际应用中，可以根据实际需求确定神经网络执行的目标任务。

步骤S308，将待处理图像输入至训练后的神经网络执行目标任务，得到待处理图像对应的图像处理结果。在实际应用中，待处理图像可以为通过相机或手机等具有拍摄功能的设备拍摄得到的图像，或通过绘图工具绘制得到的图像。如果目标任务为图像分类，则将待处理图像输入至训练后的神经网络后，神经网络将对待处理图像进行分类并输出图像处理结果，该图像处理结果可以表征待处理图像所属的类别。

本发明实施例提供的上述基于神经网络的处理方法，利用对抗特征生成网络生成与真实特征较为接近的对抗特征，相当于采用对抗特征增强了图像样本集的特征多样性，相较于现有技术中通过增强图像样本集的图像多样性间接地增强图像样本集的特征多样性的数据增强方式，本发明实施例可以利用对抗特征生成网络直接增强图像样本集的特征多样性，进而可以有效提高训练后的神经网络的泛化能力；另外，本发明实施例在利用图像样本集训练神经网络时，可以通过对抗特征生成网络生成对抗特征，这种基于特征维度的数据增强方法能有效减少图像增强时所需的大量网络前馈计算，从而有效提高了神经网络的训练效率。

在一种具体的实施方式中，上述标签包括样本所属类别的类别标签，目标任务包括分类任务，图像处理结果包括待处理图像的分类结果。例如，样本包括风景类别、人物类别或动物类别等多种类别的图像，则样本中标注的标签可以包括风景类别标签、人物类别标签或动物类别标签等多种类别的标签，样本A上包括树木，则该样本A的类别标签可以为风景类别标签，样本B上包括树木和人像，则样本B的类别标签可以为风景类别标签和/或人物类别标签，以通过类别标签表征样本所属的类别。在实际应用中，利用样本和样本标注的类别标签对神经网络进行训练，即可以使训练后的神经网络完成分类任务，并针对输入的待处理图像输出该待处理图像对应的分类结果。

在图2的基础上，本发明实施例提供了另一种神经网络训练模型，参见图4所示的另一种神经网络训练模型的结构示意图，图4进一步示意出了上述对抗特征生成网络包括特征生成器和特征判别器，特征判别器分别连接特征生成器和特征提取网络。

结合图4所示的神经网络训练模型的结构示意图，本发明实施例提供了一种将每个样本的标签输入对抗特征生成网络，以使对抗特征生成网络基于每个样本的标签生成与该样本对应的对抗特征的具体实现方式，如果样本的标签为类别标签，则可以将每个样本的类别标签输入特征生成器，通过特征生成器对每个样本的类别标签进行编码，得到每个样本的类别编码，并基于每个样本的类别编码生成与该样本对应的对抗特征。其中，每一类标签类别对应的各个样本的类别编码满足高斯分布，例如，标签类别包括风景类别标签、人物类别标签或动物类别标签等多种类别，对于风景类别标签对应的样本的类别编码将满足高斯分布，对于人物类别标签或动物类别标签各自对应的样本的类别编码也均将满足高斯分布，另外，类别编码可以用向量的形式表示。在实际应用中可以配置特征生成器的初始高斯分布，将样本的类别标签输入至特征生成器后，将对类别标签进行编码以得到满足该初始高斯分布的类别编码，也可理解为类别编码可以作为该初始高斯分布的参数。另外，在基于真实特征训练对抗特征生成网络时，特征生成器的参数会随之调整，以使特征生成器的高斯分布尽量接近真实特征的分布，进而可以使输出的类别编码的分布尽量接近真实特征的分布。在实际应用中，特征生成器可以采用MLP(Multi-Layer Perceptron，多层神经)网络等多种网络，也可以基于实际需求构建所需的特征生成器。当特征生成器中的类别标签编码成满足高斯分布的类别编码后，若特征生成器对应的高斯分布接近真实特征的分布，则特征生成器将生成接近真实特征的对抗特征。

在一种实施方式中，本发明实施例在执行上述步骤S306时，可以(1)将每个类别标签及类别标签对应的真实特征和对抗特征输入至神经网络，得到神经网络的输出结果。其中，神经网络的输出结果与神经网络需要执行的目标任务相关。例如，若神经网络执行的目标任务为对图像的场景进行分类，则再将每个类别标签及类别标签对应的真实特征和对抗特征输入至神经网络后，神经网络的输出结果将为图像场景的分类结果。(2)根据神经网络的输出结果计算神经网络的损失函数。为使训练后的神经网络可以较好地完成目标任务，在计算神经网络的损失函数时，可以针对该目标任务选择所需的损失函数，例如，如果神经网络用于人脸识别，则损失函数可以采用softmax(交叉熵)损失函数等。(3)基于神经网络的损失函数调整神经网络的参数，诸如采用反向传播算法结合计算得到的损失函数对神经网络的参数进行调整，并在神经网络的损失函数收敛时，停止对神经网络继续进行训练。本发明实施例提供了一种任务损失函数(也即，神经网络的损失函数)的计算方式，在实际应用中，任务损失函数可以采用交叉熵损失函数，可以按照如下公式计算任务损失函数L_Softmax：

其中，N表示样本总数，i表示第i个样本，y_i表示第i个样本的标签，表示第i个样本的权重，/>表示第i个样本的权重的指数，x_i表示的第i个样本的特征，K表示类别标签的类别数量，k表示第k种类别标签。

在训练神经网络的过程中，为了使对抗特征生成网络生成的对抗特征更为接近真实特征，也可以利用真实特征训练对抗特征生成网络，本发明实施例提供了一种对抗特征生成网络的训练方法，参见如下步骤1至步骤3：

步骤1，将每个类别标签及类别标签对应的真实特征和对抗特征输入特征判别网络，以使特征判别网络对每个类别标签对应的特征来源进行鉴别，得到每个类别标签对应的特征的鉴别结果。其中，鉴别结果包括该类别标签对应的特征来源于特征提取网络或该类别标签对应的特征来源于特征生成器。在一种实施方式中，可以通过概率表示每个样本的特征来源，例如，若特征判别器输出的概率大于0.5，则表示该类别标签对应的特征来源于特征提取网络；若特征判别器输出的概率小于0.5，则表示该类别标签对应的特征来源于特征生成器。

步骤2，根据鉴别结果计算所述对抗特征生成网络的损失函数。其中，对抗特征生成网络的损失函数包括生成损失函数和判别损失函数，生成损失函数用于训练特征生成器，判别损失函数用于训练特征判别网络。在一种实施方式中，可以按照如下公式计算生成损失函数

其中，D(f⁽ⁱ⁾)表示特征生成网络输出的第i个样本的对抗特征，D(G(z⁽ⁱ⁾))表示特征判别器输出的第i个样本对应的特征的鉴别结果。

在一种实施方式中，可以按照如下公式计算判别损失函数

步骤3，基于对抗特征生成网络的损失函数对特征生成器和特征判别器进行交替训练。本发明实施例提供了一种基于所述对抗特征生成网络对特征生成器和特征判别器进行交替训练的具体实现方式：通过对抗特征生成网络的生成损失函数调整特征生成器的参数，或，通过对抗特征生成网络的判别损失函数调整特征判别器的参数。例如，在训练对抗特征生成网络时，基于样本A对应的特征的鉴别结果分别计算样本A对应的生成损失函数和判别损失函数，若此次训练是通过样本A对应的生成损失函数对特征生成器进行训练，则基于样本A的下一个样本B对应的特征的鉴别结果分别计算样本B对应的生成损失函数和判别损失函数，并通过样本B对应的判别损失函数对特征判别器进行训练，从而实现交替训练特征生成器和特征判别器。持续交替训练特征生成器和特征判别网络，直至生成损失函数和判别损失函数均收敛，也即当上述生成损失函数和生成损失函数/>收敛时，便停止对特征生成器和特征判别网络进行的交替训练。

为了能保证神经网络训练的稳定性，神经网络训练模型中的特征提取网络可采用已训练的网络模型，使得神经网络更关注对抗特征的生成。其中，特征提取网络可以采用诸如Resnet(Residual Neural Network，残差网络)、VGGnet(Visual Geometry Group，视觉几何组网络)等深度卷积网络。在一种实施方式中，可以在训练对抗特征生成网络和神经网络的过程中冻结特征提取网络的参数。在实际应用中，可以根据实际需求冻结特征提取器层的网络参数，并对特征生成器、特征判别器和神经网络进行训练，而不对特征提取网络进行训练。在另一种实施方式中，如果期望特征提取网络提取出的真实特征接近基于高斯分布，还可以使神经网络的梯度正常回传，从而通过神经网络的损失函数训练特征提取网络，并阻断对抗特征生成网络中的特征判别器针对特征提取网络的梯度传递过程，在一种实施方式中，可以通过修改特征判别器的梯度下降方向，以在训练特征提取网络的过程中，阻止对抗特征生成网络的损失函数调整特征提取网络的参数，具体实现时，可以通过手动修改特征判别器的梯度下降方向，也可以通过在生成损失函数和判别损失函数前添加负号，实现修改特征判别器的梯度下降方向，使对抗特征生成网络的损失函数不会回传至特征提取网络。

为便于对上述实施例提供的神经网络进行理解，本发明实施例提供了另一种神经网络训练模型的示意图，如图5所示，在一种具体的实施方式中，将图像输入至特征提取器(也即，前述特征提取网络)，通过特征提取器提取图像的真实特征，另外对图像的标签进行编码，得到满足高斯分布的类别编码，进而通过特征生成器基于该类别编码生成对抗特征，将真实特征和对抗特征一同输入至任务模块(也即，前述神经网络)，此时真实特征和对抗特征共用该图像的标签，通过任务模块基于输入的真实特征和对抗特征完成目标任务，并利用任务模块的输出结果计算任务损失函数，通过任务损失函数对任务模块进行训练，另外，将真实特征和对抗特征一同输入至特征判别器，通过特征判别器鉴别输入的特征来自于特征提取器还是特征生成器，根据特征判别器的鉴别结果计算对抗损失函数，进而通过对抗损失函数对特征生成器和特征判别器进行交替训练，当上述任务损失函数和对抗损失函数收敛时，停止对上述任务模块、特征生成器和特征判别器进行训练。

综上所述，本发明实施例提供的上述基于神经网络的处理方法，将样本输入至特征提取网络得到样本的真实特征，同时将样本的标签输入至对抗特征生成网络的特征生成器中得到样本的对抗特征，并将该样本的真实特征和对抗特征输入至特征判别器，以通过特征判别器提升特征生成器的特征增强能力，起到可控且多样性较强的数据增强手段。这种方式直接增强图像样本集的特征多样性，进而可以有效提高训练后的神经网络的泛化能力，还可以有效减少训练神经网络时所需的特征提取过程，提高了神经网络的训练效率。

实施例三

对于实施例二中所提供的基于神经网络的处理方法，本发明实施例提供了一种基于神经网络的处理装置，参见图6所示的一种基于神经网络的处理装置的结构示意图，该装置主要包括以下模块：

真实特征提取模块602，用于将图片样本集中的每个样本逐一输入至特征提取网络，得到每个样本的真实特征；其中，图片样本集中的每个样本都标注有标签。

对抗特征生成模块604，用于将每个样本的标签输入至对抗特征生成网络，以使对抗特征生成网络基于每个样本的标签生成与该样本对应的对抗特征；其中，对抗特征生成网络基于真实特征进行训练，以使对抗特征与真实特征接近。

训练模块606，用于基于每个标签及标签对应的真实特征和对抗特征，训练对抗特征生成网络和执行目标任务的神经网络，直至对抗特征生成网络的损失函数和神经网络的损失函数收敛，停止训练神经网络和对抗特征生成网络。

任务执行模块608，用于将待处理图像输入至训练后的神经网络执行所述目标任务，得到所述待处理图像对应的图像处理结果。

本发明实施例提供的基于神经网络的处理装置，利用对抗特征生成网络生成与真实特征较为接近的对抗特征，相当于采用对抗特征增强了图像样本集的特征多样性，相较于现有技术中通过增强图像样本集的图像多样性间接地增强图像样本集的特征多样性的数据增强方式，本发明实施例可以利用对抗特征生产网络直接增强图像样本集的特征多样性，进而可以有效提高训练后的神经网络的泛化能力；另外，在利用图像样本集训练神经网络时，由于上述方式可以利用对抗特征生成网络生成对抗特征，从而有效减少了训练神经网络时所需的特征提取过程，进而提高了神经网络的训练效率。

在一种实施方式中，上述标签包括样本所属类别的类别标签，上述目标任务包括分类任务，上述图像处理结果包括待处理图像的分类结果。

在一种实施方式中，上述对抗特征生成网络包括特征生成器，特征生成器包括编码器；上述对抗特征生成模块604还用于：将每个样本的类别标签输入至特征生成器，通过特征生成器对每个样本的类别标签进行编码，得到每个样本的类别编码，并基于每个样本的类别编码生成与该样本对应的对抗特征；其中，每一类标签类别对应的各个样本的类别编码满足高斯分布。

在一种实施方式中，对抗特征生成网络还包括特征判别器，特征判别器分别连接特征生成器和特征提取网络。上述训练模块606还用于：将每个类别标签及类别标签对应的真实特征和对抗特征输入至特征判别网络，以使特征判别网络对每个类别标签对应的特征来源进行鉴别，得到每个类别标签对应的鉴别结果；其中，鉴别结果包括该类别标签对应的特征来源于特征提取网络或该类别标签对应的特征来源于特征生成器；根据鉴别结果计算对抗特征生成网络的损失函数；基于对抗特征生成网络的损失函数对特征生成器和特征判别器进行交替训练。

在一种实施方式中，对抗特征生成网络的损失函数包括生成损失函数和判别损失函数；其中，生成损失函数用于训练特征生成器，判别损失函数用于训练特征判别网络；上述训练模块606还用于：通过对抗特征生成网络的生成损失函数调整特征生成器的参数，或，通过对抗特征生成网络的对抗损失函数调整特征判别器的参数。

在一种实施方式中，上述训练模块606还用于：将每个类别标签及类别标签对应的真实特征和对抗特征输入至神经网络，得到神经网络的输出结果；根据神经网络的输出结果计算神经网络的损失函数；基于神经网络的损失函数调整神经网络的参数。

本发明实施例在图6的基础上提供了另一种神经网络的训练装置，参见图7所示的另一种神经网络的训练装置的结构示意图，上述神经网络的训练装置还包括提取训练模块702，用于通过神经网络的损失函数训练特征提取网络，并阻断对抗特征生成网络中的所述特征判别器针对所述特征提取网络的梯度传递过程。

在一种实施方式中，上述训练模块606，还用于：在训练对抗特征生成网络和神经网络的过程中冻结特征提取网络的参数。

在一种实施方式中，上述特征提取网络包括深度卷积神经网络。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

实施例四

本发明实施例所提供的基于神经网络的处理方法、装置及电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种基于神经网络的处理方法，其特征在于，所述方法包括：

将图片样本集中的每个样本输入至特征提取网络，得到每个所述样本的真实特征；其中，所述图片样本集中的每个样本都标注有标签；

将每个所述样本的标签输入至对抗特征生成网络，以使所述对抗特征生成网络基于每个所述样本的标签生成与该样本对应的对抗特征；其中，所述对抗特征生成网络基于所述真实特征进行训练，以使所述对抗特征与所述真实特征接近；

基于每个所述标签及所述标签对应的所述真实特征和所述对抗特征，训练所述对抗特征生成网络和执行目标任务的神经网络，直至所述对抗特征生成网络的损失函数和所述神经网络的损失函数均收敛，停止训练所述神经网络和所述对抗特征生成网络；

将待处理图像输入至训练后的神经网络执行所述目标任务，得到所述待处理图像对应的图像处理结果。

2.根据权利要求1所述的方法，其特征在于，所述标签包括所述样本所属类别的类别标签，所述目标任务包括分类任务，所述图像处理结果包括所述待处理图像的分类结果。

3.根据权利要求2所述的方法，其特征在于，所述对抗特征生成网络包括特征生成器；

所述将每个所述样本的标签输入至对抗特征生成网络，以使所述对抗特征生成网络基于每个所述样本的标签生成与该样本对应的对抗特征的步骤，包括：

将每个所述样本的类别标签输入至所述特征生成器，通过所述特征生成器对每个所述样本的类别标签进行编码，得到每个所述样本的类别编码，并基于每个所述样本的类别编码生成与该样本对应的对抗特征；其中，每一类标签类别对应的各个样本的类别编码满足高斯分布。

4.根据权利要求3所述的方法，其特征在于，所述对抗特征生成网络还包括特征判别器，所述特征判别器分别连接所述特征生成器和所述特征提取网络；

所述基于每个所述标签及所述标签对应的所述真实特征和所述对抗特征，训练所述对抗特征生成网络和所述神经网络的步骤，包括：

将每个所述类别标签及所述类别标签对应的所述真实特征和所述对抗特征输入至所述特征判别器，以使所述特征判别器对每个所述类别标签对应的特征来源进行鉴别，得到鉴别结果；其中，所述鉴别结果包括该类别标签对应的特征来源于所述特征提取网络或该类别标签对应的特征来源于所述特征生成器；

根据所述鉴别结果计算所述对抗特征生成网络的损失函数；

基于所述对抗特征生成网络的损失函数对所述特征生成器和所述特征判别器进行交替训练。

5.根据权利要求4所述的方法，其特征在于，所述对抗特征生成网络的损失函数包括生成损失函数和判别损失函数；其中，所述生成损失函数用于训练所述特征生成器，所述判别损失函数用于训练所述特征判别器；

所述基于所述对抗特征生成网络的损失函数对所述特征生成器和所述特征判别器进行交替训练的步骤，包括：

通过所述对抗特征生成网络的生成损失函数调整所述特征生成器的参数，或，通过所述对抗特征生成网络的对抗损失函数调整所述特征判别器的参数。

6.根据权利要求2所述的方法，其特征在于，所述基于每个所述标签及所述标签对应的所述真实特征和所述对抗特征，训练所述对抗特征生成网络和所述神经网络的步骤，包括：

将每个所述类别标签及所述类别标签对应的所述真实特征和所述对抗特征输入至所述神经网络，得到所述神经网络的输出结果；

根据所述神经网络的输出结果计算所述神经网络的损失函数；

基于所述神经网络的损失函数调整所述神经网络的参数。

7.根据权利要求4所述的方法，其特征在于，所述方法还包括：

通过所述神经网络的损失函数训练所述特征提取网络，并阻断所述对抗特征生成网络中的所述特征判别器针对所述特征提取网络的梯度传递过程。

8.根据权利要求1所述的方法，其特征在于，所述训练所述对抗特征生成网络和所述神经网络的步骤，还包括：在训练所述对抗特征生成网络和所述神经网络的过程中，冻结所述特征提取网络的参数。

9.一种基于神经网络的处理装置，其特征在于，所述装置包括：

真实特征提取模块，用于将图片样本集中的每个样本输入至特征提取网络，得到每个所述样本的真实特征；其中，所述图片样本集中的每个样本都标注有标签；

对抗特征生成模块，用于将每个所述样本的标签输入至对抗特征生成网络，以使所述对抗特征生成网络基于每个所述样本的标签生成与该样本对应的对抗特征；其中，所述对抗特征生成网络基于所述真实特征进行训练，以使所述对抗特征与所述真实特征接近；

训练模块，用于基于每个所述标签及所述标签对应的所述真实特征和所述对抗特征，训练所述对抗特征生成网络和执行目标任务的神经网络，直至所述对抗特征生成网络的损失函数和所述神经网络的损失函数均收敛，停止训练所述神经网络和所述对抗特征生成网络；

任务执行模块，用于将待处理图像输入至训练后的神经网络执行所述目标任务，得到所述待处理图像对应的图像处理结果。

10.一种电子设备，其特征在于，包括处理器和存储器；

所述存储器上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至8任一项所述的方法。

11.一种计算机存储介质，其特征在于，用于储存为权利要求1至8任一项所述方法所用的计算机软件指令。