CN109948717B - 一种生成对抗网络的自生长训练方法 - Google Patents

Abstract

本发明公开了一种生成对抗网络的自生长训练方法，包括以下步骤，将随机噪声数据输入到生成对抗网络的生成器中，通过反卷积操作，训练卷积通道较小的种子神经网络框架，并将所述种子神经网络框架训练至目标程度；在所述种子网络训练结束之后将所述种子神经网络框架进行自生长运算，将所述种子神经网络框架的通道数增多，生长为成熟型网络；将所述成熟型网络进行剪枝操作，并设定剪枝操作为稀疏化剪枝。本发明的有益效果：本发明提出的自生长生成对抗网络能够有效的解决这个问题；三是同时针对生长方式提出特定的剪枝方法‑稀疏化剪枝，能够减掉特征图中相似性较高的特征图。

Description

一种生成对抗网络的自生长训练方法

技术领域

本发明涉及生成对抗网络训练的技术领域，尤其涉及一种生成对抗网络的自生长训练方法。

背景技术

近年来对现有生成对抗网络训练方法的改进，在现有的生成对抗网络中一般都是训练两个固定的神经网络，然而在整体网络当中，是存在大量相似信息的，特别是在卷积神经网络当中，每一层的特征图也是有一定的相似性的，针对这种相似性提出自生长神经网络，生长方式是复制已经训练好的特征图，然后再训练，从而达到减少训练时间的目的，但缺少一个更好的测量分布距离的方法，从而有效的提高了整个网络的收敛速度。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明目的是提供一种生成对抗网络的自生长训练方法，能够解决网络训练拟合速度慢的问题。

为解决上述技术问题，本发明提供如下技术方案：一种生成对抗网络的自生长训练方法，包括以下步骤，将随机噪声数据输入到生成对抗网络的生成器中，通过反卷积操作，训练卷积通道较小的种子神经网络框架，并将所述种子神经网络框架训练至目标程度；在所述种子网络训练结束之后将所述种子神经网络框架进行自生长运算，将所述种子神经网络框架的通道数增多，生长为成熟型网络；将所述成熟型网络进行剪枝操作，并设定剪枝操作为稀疏化剪枝。

作为本发明所述生成对抗网络的自生长训练方法的一种优选方案，其中：所述稀疏化剪枝还包括以下步骤，将同一层的特征图做上标签并进行均值排序；计算相邻两个特征图之间的欧式距离；设定特定的阈值，并删除小于所述阈值的特征图。

作为本发明所述生成对抗网络的自生长训练方法的一种优选方案，其中：所述训练还包括以下步骤，生成对抗网络中最初损失函数为，

所述最初损失函数是一个极小极大损失，对判别器D进行优化，将所述判别器D的最后一层去掉，每次更新所述判别器D的参数后将其绝对值截断到不超过常数c，对所述最初损失函数进行约束，将所述最初损失函数改为，

作为本发明所述生成对抗网络的自生长训练方法的一种优选方案，其中：在训练过程中，得到满足恒成立的所述判别器D，提出超参数可变的选择方法，在训练初期λ能够给到一个较大的值进行粗惩罚，随着训练进行到后期λ能变小进行精惩罚，并当训练到一定程度惩罚项就可以舍去；将λ改为上一步的损失函数值，即将所述最初损失函数改为，

作为本发明所述生成对抗网络的自生长训练方法的一种优选方案，其中：所述目标程度为损失值达到某个值或是当损失函数值不在大幅度变动，所述某个值为当所述种子神经网络框架训练50个轮次后停止。

作为本发明所述生成对抗网络的自生长训练方法的一种优选方案，其中：所述自生长运算还包括如下的第一步骤，首先训练一个所述种子神经网络框架，通过设置生成器为三层卷积神经网络，其中第一层卷积通道输出为二个特征图；然后进入第二层卷积神经网络，且第二层卷积通道输出为一个特征图；第三层卷积神经网络输出三通道的三原色图片，且所述判别器的卷积层设置和所述生成器相反。

作为本发明所述生成对抗网络的自生长训练方法的一种优选方案，其中：将所述种子神经网络框架的通道数增多还包括以下步骤，将第一层输出的2个通道所对应的卷积核都复制127个，即这一层通道数变为2+2×127＝256个；再将第二层将输出的1个通道所对应的卷积核复制127个，即第二层的通道数变为1+127＝128个。

作为本发明所述生成对抗网络的自生长训练方法的一种优选方案，其中：所述稀疏化剪枝包括以下步骤，将同一层的特征图做上标签并进行均值排序，对处于同一层的所有特征映射M(k)进行重新编号，即M(k)＝m₁+m₂+m₃…m_l；计算每个特征映射的均方并排序MS[1:l]＝[ms₁,ms₂…ms_l]＝[ms₅,ms₁₄…ms₂₃]。

作为本发明所述生成对抗网络的自生长训练方法的一种优选方案，其中：所述欧氏距离定义为：

两个n维向量a(x₁，x₂，…，x_n)与b(y₁，y₂，…，y_n)间的欧氏距离，

且对于n维空间两个点(x₁,x₂...x_n)和(y₁,y₂...y_n)之间的欧式距离表示为，

作为本发明所述生成对抗网络的自生长训练方法的一种优选方案，其中：所述稀疏化剪枝还包括，计算相邻两幅特征图之间的欧式距离D[1:l]＝[d₁,d₂…d_l]；设置距离阈值θ，且将所述阈值θ设定为剪枝10％参数；当两者之间的欧式距离小于所述阈值θ，修剪其中之一。

作为本发明所述生成对抗网络的自生长训练方法的一种优选方案，其中：所述阈值θ为删除欧式距离最小的10％的特征图，按照百分比进行删除。

本发明的有益效果：一是能够解决现有网络训练拟合速度慢问题，减少计算重复和提升计算效率，从而达到提升网络的训练训练速度；二是在卷积神经网络训练过程中，卷积核的设定一直没有一个确定的定义，本发明提出的自生长生成对抗网络能够有效的解决这个问题；三是同时针对生长方式提出特定的剪枝方法-稀疏化剪枝，能够减掉特征图中相似性较高的特征图。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明第一个实施例所述生成对抗网络的自生长训练方法的P_penalty采样示意图；

图2为本发明第一个实施例所述生成对抗网络基本框架；

图3为本发明第一个实施例所述卷积神经网络特征图可视化示意图；

图4为本发明第一个实施例所述卷积神经网络的生长过程示意图；

图5为本发明第一个实施例所述稀疏化剪枝的原理图；

图6为本发明第一个实施例所述剪枝的实现过程示意图；

图7为本发明第一个实施例所述自生长生成对抗网络整体框架图；

图8为本发明第二个实施例所述传统生成对抗网络与自生长生成对抗网络的判别模型和生成模型在训练过程中的损失值对比图；

图9为本发明第二个实施例所述CELEBA数据集上实验的深度网络结构图；

图10(a)为本发明第二个实施例所述固定网络框架训练得到的图片；

图10(b)为本发明第二个实施例所述自生长网络框架训练得到的图片；

图11为本发明第二个实施例所述传统生成对抗网络和自生长生成对抗网络的生成模型损失值对比图；

图12为本发明第二个实施例所述CIFAR10马车类试验损失结果比较，包括图12(a)为CIFAR10数据集中马的图片训练损失曲线图，图12(b)为CIFAR10数据集中小车的图片训练损失曲线图；

图13为本发明第二个实施例所述在训练过程中不同epoch时候的生成图片对比图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

为了解决生成对抗网络的收敛速度问题，本实施例提出一种生成对抗网络的自生长训练方法，传统的卷积神经网络一般都是一个固定的网络框架，然后不断的训练、反向传播误差，不断提高网络的表达能力，然而一个固定的网络存在以下两个方面缺点：一是固定的网络框架首先它的表达能力是有限的，在设置网络框架的时候，一般无法推算网络的规模，只能根据以往的经验设置一个大概的网络规模，然后不断的调整网络参数，众所周知深度学***衡状态，与传统的生成对抗网络不同，本实施例的自生长包括一个生长模块和一个剪枝模块，且整个网络框架在培训过程中不是静态的。

首先训练一个只有很少卷积核的网络，这很容易训练；然后复制卷积核的个数使其成为一个大规模的网络，然后对网络进行再训练；其次针对网络的重复特征映射，提出一种匹配剪枝策略，即稀疏化剪枝；该稀疏化剪枝为了防止前一步过度增长，并通过稀疏剪枝来平衡网络，使网络达到最优规模；最后，利用迭代损失函数对网络进行训练。

同时本实施例涉及损失函数是一个可变损失函，对不同训练水平,超级损失函数的参数是不断变化的，最后通过对比实验和分析，与现有的生成式对抗网络相比，本实施例的方法大大提高了网络训练的速度。

具体的，该生成对抗网络的自生长训练方法，包括以下步骤：

训练步骤：将随机噪声数据输入到生成对抗网络的生成器中，通过反卷积操作，训练卷积通道较小的种子神经网络框架，并将种子神经网络框架训练至目标程度；该目标程度为损失值达到某个值或是当损失函数值不在大幅度变动，种子神经网络框架训练50个轮次后停止，即训练50个epoch后停止，该epoch可译为“轮次”，如果说每个batch对应网络的一次更新的话，一个epoch对应的就是网络的一轮更新，每一轮更新中网络更新的次数可以随意，但通常会设置为遍历一遍数据集，因此一个epoch的含义是模型完整的看了一遍数据集；设置epoch的主要作用是把模型的训练的整个训练过程分为若干个段，这样可以更好的观察和调整模型的训练。

自生长步骤：在种子网络训练结束之后将种子神经网络框架进行自生长运算，将神经网络框架的通道数增多，生长为成熟型网络；

稀疏化剪枝步骤：将成熟型网络进行剪枝操作，并设定剪枝操作为稀疏化剪枝，该稀疏化剪枝还包括以下步骤，将同一层的特征图做上标签并进行均值排序；计算相邻两个特征图之间的欧式距离；设定特定的阈值，并删除小于阈值的特征图。本步骤首先将同一层的特征图做上标签并运算特征图像素的平均值，对平均值进行排序。然后计算相邻两个特征图之间的欧式距离，最后设定特定的阈值，并删除小于这个阈值的特征图，阈值设定本实施例设定剪枝10％参数，所以阈值为欧式距离数值最小的10％。

进一步的，训练步骤还包括以下步骤，

生成对抗网络中最初损失函数为：

该损失函数是一个极小极大损失，经过改进引入Wasserstein距离将判别器D的最后一层去掉sigmoid，判别器G和判别器D的损失不去log，每次更新D参数后将其绝对值截断到不超过常数c；由于WGAN中的权重剪枝会造成网络训练不良，所以后来用Lipschitz约束，将最初损失函数改为：

在训练过程中，由于需要得到一个判别器D，能都满足恒成立；对于Improved GAN中的P_penalty是指在P_data上采样的点和P_G中采样的点，两个点上的连线上的随机点，参照图1的示意，示意为P_penalty采样示意图。

对P_penalty的选择进行了优化，提出一种迭代化代价函数机制，来对P_penalty进行选择，在对P_penalty的选择采用迭代的机制，且P_G和P_data之间的距离d有关系，当d越大P_penalty应该越靠近P_G，当d足够小的时候P_penalty就可以舍去，所以对P_penalty的选择可以用一下表达式：

P_penalty＝(1-β)P_data+βP_G且β＝∣sigmoid(P_data-P_G)∣

在训练一开始的时候λ越大代价函数越容易拟合，但是到训练后期训练效果就不理想，当λ越小时候网络从一开始训练就不理想，也就是惩罚项惩罚的不够，所以提出超参数可变的选择方法，希望在训练初期λ能够给到一个较大的值进行粗惩罚，随着训练进行到后期λ能变小进行精惩罚，当训练到一定程度惩罚项就可以舍去，因此本实施例将λ改为上一步的损失函数值，即将公式(1)改为：

需要说明的是，上述过程更加具体的，可以从损失函数可以直接看出生成对抗网络的训练机制，即：

从公式(2)中可以看出生成对抗网络是最大最小化(min-max)问题，既然是最大最小化问题那就不能一步完成，可以先优化判别器D，再优化生成器G，其实是优化两个问题，所以公式(2)可以拆解成如下两个公式：

从公式(2-1)中可以看出，优化判别器D的时候其实和生成器是无关的，G(z)只是充当了图片进入判别器，优化第一项的时候，是让真实训练样本输入判别器D，此时得到的结果越大越好即D(x)越大越好，因为输入真实样本越接近1，对于判别器输入的是假样本(生成器输出的数据)，此时得到的结果越小越好，即D(G(z))越小越好，因为D(x)和D(G(z))一个优化变大一个优化变小，所以减小D(G(z))改为增大1-D(G(z))。

在优化G的时候这时候也和真实样本没有关系，但是对生成器希望生成的图片接近真实图片，就是说生成的图片接近1，所以D(G(z))越大越好，为了统一1-D(G(z))，所以最小化1-D(G(z))，生成对抗网络的基本框架参照图2的示意，示意为生成对抗网络基本框架。

根据上述生成对抗网络的基本原理，生成对抗网络虽然取得了极大的成功，但是依然存在一些问题和挑战，两个网络对抗训练，这种训练方式在实际训练过程中是十分的困难的，需要大量尝试，平衡G和D之间的训练关系。生成对抗网络函数没有个训练指标来表示网络的训练程度，所以在网络训练的过程中并不知道网络训练的程度；在网络训练过程中会面临训练崩溃，生成的图片没有多样性。针对生成对抗网络训练难问题，现有中提出用Wasserstein距离衡量生成对抗网络的生成图片和真实图片之间的距离，如公式(3)：

相对解决了生成对抗训练不稳定问题，不需要平衡G和D之间的训练平衡关系，基本解决了训练崩溃问题，生成了多样性的样本；而且训练过程有一个准确的数值来指示训练程度，值越小代表训练的程度越好，在现有中虽然用Wasserstein距离替代了原始的JS散度得到了一定的进步，但是依然没有完全解决生成对抗网络训练不稳定问题，由于WGAN中的权重剪枝会造成网络训练不良，本实施例用Lipschitz约束，

即将损失函数改为公式(4)：

本实施中自生长步骤如下：

对于深度学习而言，网络框架的优劣基本确定了该网络的性能，然而当在设置网络的参数的时候：卷积神经网络的卷积核大小、卷积核的多少和卷积神经网络的深度也就是卷积神经网络的层数，这些参数无法去推算，只能靠经验去不断调整和测试。

本实施例同一层的特征图存在很多的重复或者特征图之间是有非常相似性的，参照图3的示意，示意了卷积神经网络特征图可视化，展示了同一层的特征图的可视化，从图3可视化的结果中可以看出同一层的特征图有很大的相似性。所以在训练过程中也有很多重复的计算。因为都是随机初始化卷积核参数，然后利用正向传播和反向传播算法优化卷积核参数，卷积层的重复率较高说明反向传播算法存在大量重复计算，对于微小差异的卷积层可以训练一个种子卷积核，然后克隆这个种子卷积核再训练，训练出卷积核之间微小差异即可。所以采用克隆复制卷积核的方法可以有效地避免重复计算，提高训练速度，可以先训练一个小的卷积神经网络，此网络有几个甚至一个卷积核。首先对该卷积核进行训练，然后在此训练的卷积核的基础上进行自增长，生长到一定的倍数再进行训练。该方法允许对大部分参数进行更好的初始化训练，节省了大量的训练时间。参照图4所示，示意为卷积神经网络的生长过程，在上面的网络框架中，第一个网络框架是一个种子框架，卷积核的数量很少，但是网络极其容易训练，先对种子框架进行训练，训练到损失函数值不在大幅度变动的时候，此时种子框架已经成熟，可以对其进一步生长。

进一步更加具体的，自生长运算包括如下过程：首先训练一个种子神经网络框架，通过设置生成器为三层卷积神经网络，其中第一层卷积通道输出为二个特征图；然后进入第二层卷积神经网络，且第二层卷积通道输出为一个特征图；第三层卷积神经网络输出三通道的三原色图片，且判别器的卷积层设置和生成器相反；

将种子神经网络框架的通道数增多还包括以下步骤，将第一层输出的2个通道所对应的卷积核都复制127个，即这一层通道数变为2+2×127＝256个；再将第二层将输出的1个通道所对应的卷积核复制127个，即第二层的通道数变为1+127＝128个。

其中训练一个种子框架如下表1所示的简单网络框架，设置生成器为三层卷积神经网络，第一层卷积通道输出为2个特征图，然后进入第二层卷积神经网络，第二层卷积通道输出为1个特征图，最后一层卷积神经网络输出三通道的RGB图片，且判别器的卷积层设置和生成器相反。这个表格数量很少，下一个表格可以看出是在这个表格的基础上扩大了128倍。

表1：

第二部分在第一步训练结束之后将种子框架进行自我复制增多，实现自生长，即将第一层输出的2个通道所对应的卷积核都复制127个，那么这一层通道数变为2+2×127＝256个，同样第二层将输出的1个通道所对应的卷积核复制127个，那么这一层通道数变为1+127＝128个，如下表2所示的成熟型网络框架：

上面的两个表格可以看出，自生长的方法是分三不进行的，第一步是训练一个教小的网络，第二步是自生长，第三步是针对性提出的系数化剪枝。每一步网络的框架都是变动。通常网络框架都是固定不动的，只是不断优化参数，因此本实施例方法的性能优于固定框架的生成对抗网络，其优势在于可变化的网络模型。

本实施例中稀疏化剪枝步骤如下：

将同一层的特征图做上标签并进行均值排序，对处于同一层的所有特征映射M(k)进行重新编号，即M(k)＝m₁+m₂+m₃…m_l；计算每个特征映射的均方并排序MS[1:l]＝[ms₁,ms₂…ms_l]＝[ms₅,ms₁₄…ms₂₃]。计算相邻两幅特征图之间的欧式距离D[1:l]＝[d₁,d₂…d_l]；设置距离阈值θ，且将阈值θ设定为剪枝10％参数；当两者之间的欧式距离小于阈值θ，修剪其中之一；阈值θ为删除欧式距离最小的10％的特征图，按照百分比进行删除。

其中欧氏距离定义为：两个n维向量a(x₁，x₂，…，x_n)与b(y₁，y₂，…，y_n)间的欧氏距离，

且对于n维空间两个点(x₁,x₂...x_n)和(y₁,y₂...y_n)之间的欧式距离表示为，

修剪的目的是使特征图变的更稀疏,减少相同或相似的特征图。并以这种方式来减少冗余数据使网络更加精炼如图5所示是稀疏化剪枝的原理图。

整个剪枝过程分为三步：首先将同一层的特征图做上标签并运算特征图像素的平均值，对平均值进行排序。然后计算相邻两个特征图之间的欧式距离。最后设定特定的阈值，并删除小于这个阈值的特征图(阈值设定本文设定剪枝10％参数，所以阈值为欧式距离数值最小的10％)。如图6所示是剪枝操作的过程，示意为剪枝的实现过程。

通过特征图比对找出相似性较高的特征图，通过需要被剪的特征图找到对应的卷积核剪掉该卷积核即可。

在描述两个特征图之间的相似性的时候采用的是欧式距离(EuclideanDistance)也叫做欧几里得度量，是一个常用的距离度量，是指在n维空间中两个点的距离，在二三维空间中欧式距离就是两个点的实际距离。

在二维空间中两个点(x₁,y₁)和(x₂,y₂)之间的欧式距离可以表示为：

在三维空间中两个点(x₁,y₁,z₁)和(x₂,y₂,z₂)之间的欧式距离可以表示为：

对于n维空间两个点(x₁,x₂...x_n)和(y₁,y₂...y_n)之间的欧式距离可以表示为：

最后根据以上分别提出自生长策略和稀疏化剪枝策略，如图7所示是将生长和剪枝有机结合的网络生长结构图，示意为自生长生成对抗网络整体框架图。为了让网络动态生长，实现特征图的更替。将生长和剪枝控制到平衡程度，使网络达到自适应效果。

稀疏化剪枝的将同一层的特征图做上标签并进行均值排序为，对于同一层的所有feature map M(k)，对该层的feature map重新编号；M(k)＝m₁+m₂+m₃…m_l；计算每个feature map均方并排序MS[1:l]＝[ms₁,ms₂…ms_l]＝[ms₅,ms₁₄…ms₂₃]；以及基于迭代化代价函数生成对抗网络，涉及具体的算法步骤如：

本实施例针对生成对抗网络难训练问题，提出自生长生成对抗网络，利用特征图之间的相似性和可复制性提升整个网络的训练速度，为了进一步提升网络的性能，提出一种针对性剪算法---稀疏性剪枝，该剪枝方法是对上一步生长后存在的多余特征图进行剪枝，稀疏化剪枝是对同一个特征图中相似性较高的特征图之间进行修剪，得到了有效的效果本主要解决现有网络训练拟合速度慢问题、减少计算重复，提升计算效率，从而达到提升网络的训练训练速度。且在卷积神经网络训练过程中，卷积核的设定一直没有一个确定的定义，本文提出的自生长生成对抗网络能够有效的解决这个问题；二是同时本文针对生长方式提出特定的剪枝方法-稀疏化剪枝，目的在于减掉特征图中相似性较高的特征图。

实施例2

本实施例的实验主要在MNIST数据库、CelebFaces数据集(CalebA)和cifar10数据集上进行仿真实验。并采用SSIM和RFSIM图像质量评价算法对生成的图像进行图像质量评测。

(1)在MNIST数据集上的实验

本实施例对固定网络框架和自生长网络框架分别在MNIST数据集上进行了对比实验，如图8所示，是传统生成对抗网络与自生长生成对抗网络的判别模型和生成模型在训练过程中的损失值对比(通过最小化损失函数来优化模型，损失函数其实是刻画两个概率分布之间的距离，通过损失函数曲线可以看出网络训练的程度，损失函数值越靠近0说明训练的越好，)从图8loss曲线图中可以看出曲线在通过训练50个epoch之后自生长，后续的训练速度比固定框架要快。图8显示了每种模型在经过300次epoch训练后的损失曲线变化。的自生长模型在50次epoch迭代后进行了自生长并训练150个epoch，最后对模型的卷积层进行剪枝10％最后再训练100个epoch。传统的固定框架在300个epoch训练期间网络整体框架没有改变。从图8可以看出，在训练前期卷积层数较少的网络可以使网络更容易拟合，经过后续的网络增长和修剪可以保持这种良好训练状态。并且经过稀疏化剪枝后，网络的拟合效果并没有收到很大的影响，充分证明了自生长加稀疏化剪枝的有效性。其中G-LOSS中位于上方的曲线为采用的本实施自生长生成对抗网络，以及D-LOSS中为开头位于下方的曲线。

(2)在CELEBA数据集上的实验

本实施例在CELEBA数据集上实验的深度网络结构图如图9所示，生成器采用四层卷积神经网络，判别器采用6层网络自编码器实现网络判别模型。首先用固定的网络框架对CELEBA数据集进行训练500个epoch，固定网络框架训练得到的图片如图10(a)所示，然后再用自生长生成对抗网络对CELEBA数据集进行训练，首先训练一个种子网络100个epoch，然后再进行自生长到和固定网络框架相同的尺寸，此时再训练200个epoch，最后还要对网络进行剪枝，通过剪枝掉10％的卷积层，剪枝后再训练100个epoch。自生长网络框架训练得到的图片如图10(b)所示，且损失函数loss对比图如图11所示，示意为传统生成对抗网络和自生长生成对抗网络的生成模型损失值对比。图11显示了用不同的训练方法生成的照片。第一组是由固定网络生成的图片，第二组是从自身成长中获取的图片。可以清楚地看到方法的优点。

进一步对两个数据库生成的图像质量进行了图像质量评估，使用SSIM(结构相似性)和RFSIM(基于里斯变换的特征相似性)图像质量评价算法对生成的图像进行了评估。如表3是用SSIM算法对MNIST和CELEBA数据集上实验得到的图片进行图片质量计算，分别取在训练10⁵次、5×10⁵次、10⁶三个训练次数时候的生成图片进行对比，从表3中可以看出训练的结果明显由于传统的方法。同样表4是RFSIM算法的对比结果。

表3：MNIST和CELEBA数据集中105次、5×105次、106次训练后图像的SSIM质量，最后一次给出三个数字的平均值。值越高，图像质量越好：

表4：MNIST和CELEBA数据集中105次、5×105次、106次训练后图像的RFSI质量，最后一次给出三个数字的平均值。值越高，图像质量越好。

(3)在CIFAR10数据集上的实验

在CIFAR10数据集中对每个类别分别进行了实验，并将同一类的10000张图像作为真实数据进行训练。建立了两个三层卷积神经网络的对抗网络进行实验，首先用常用的方法建立了卷积神经网络进行训练50个epoch，网络框架如表5所示，并记录了训练过程中的损失函数变化曲线，如图12(a)的虚线为CIFAR10数据集中马的图片训练损失曲线，图12(b)的虚线为CIFAR10数据集中小车的图片训练损失曲线。

然后用自生长方法进行实验，同样建立了两个三层卷积神经网络的对抗网络进行实验，但是每层的特征通道数不一样，在自生长方法中，首先训练一个种子网络如表5所示，在本章中先训练这个种子网络20个epoch，然后再进行自生长到和固定网络框架相同的尺寸如表6，此时再训练20个epoch，最后还要对网络进行剪枝，本章剪枝掉10％的卷积层，剪枝后再训练10个epoch。并记录了训练过程中的损失函数变化曲线，如图12(a)的实线为CIFAR10数据集中马的图片训练损失曲线，图12(b)的实线为CIFAR10数据集中小车的图片训练损失曲线。

表5：自生长生成对抗网络的种子框架

表6：自生长生成对抗网络的生长后框架

同时比较了两种训练方法的损失值。如图12所示，CIFAR10马车类试验损失结果比较，(包括图12(a)和图12(b))，本实施例中自生长方法在两个不同的数据中显示出良好的优势。自生长的训练方法不仅具有良好的拟合效果，而且训练稳定。参照图13的示意，同样本实施例还展示了两种方法在训练过程中不同epoch时候的生成图片对比图。

针对生成对抗网络的拟合速度慢的难点，提出了一种自生长与剪枝共存的生成对抗网络，将原有的固定框架的生成对抗网络，分成了三步进行，经过对比实验表明，的自生长生成对抗网络的效果要优于传统的固定框架网络结构。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种生成对抗网络的自生长训练方法，其特征在于：包括以下步骤，

将随机噪声数据输入到生成对抗网络的生成器中，通过反卷积操作，训练卷积通道较小的种子神经网络框架，并将所述种子神经网络框架训练至目标程度；

在所述种子网络训练结束之后将所述种子神经网络框架进行自生长运算，将所述种子神经网络框架的通道数增多，生长为成熟型网络；

将所述成熟型网络进行剪枝操作，并设定剪枝操作为稀疏化剪枝；

所述稀疏化剪枝还包括，将同一层的特征图做上标签并进行图像素均值排序；计算相邻两个特征图之间的欧式距离；设定特定的阈值，并删除小于所述阈值的特征图；

所述训练还包括以下步骤，生成对抗网络中最初损失函数为，

采用图像质量评价算法对生成的图像质量进行图像质量评测，输入集中在MNIST数据库、CelebFaces数据集CalebA和cifar10数据集上；

其中，所述最初损失函数是一个极小极大损失，对判别器D进行优化，将所述判别器D的最后一层去掉，每次更新所述判别器D的参数后将其绝对值截断到不超过常数c，对所述最初损失函数进行约束，将所述最初损失函数改为，

2.如权利要求1所述的生成对抗网络的自生长训练方法，其特征在于：在训练过程中，得到满足恒成立的所述判别器D，提出超参数可变的选择方法，在训练初期λ能够给到一个较大的值进行粗惩罚，随着训练进行到后期λ能变小进行精惩罚，并当训练到一定程度惩罚项就可以舍去；

将λ改为上一步的损失函数值，即将所述最初损失函数改为，

。

3.如权利要求1或2任一所述的生成对抗网络的自生长训练方法，其特征在于：所述目标程度为损失值达到某个值或是当损失函数值不在大幅度变动，所述某个值为当所述种子神经网络框架训练50个轮次后停止。

4.如权利要求3所述的生成对抗网络的自生长训练方法，其特征在于：所述自生长运算还包括如下的第一步骤，

首先训练一个所述种子神经网络框架，通过设置生成器为三层卷积神经网络，其中第一层卷积通道输出为二个特征图；

然后进入第二层卷积神经网络，且第二层卷积通道输出为一个特征图；

第三层卷积神经网络输出三通道的三原色图片，且所述判别器的卷积层设置和所述生成器相反。

5.如权利要求3所述的生成对抗网络的自生长训练方法，其特征在于：将所述种子神经网络框架的通道数增多还包括以下步骤，

将第一层输出的2个通道所对应的卷积核都复制127个，即这一层通道数变为2+2×127＝256个；再将第二层将输出的1个通道所对应的卷积核复制127个，即第二层的通道数变为1+127＝128个。

6.如权利要求3或4所述的生成对抗网络的自生长训练方法，其特征在于：所述稀疏化剪枝包括以下步骤，

将同一层的特征图做上标签并进行均值排序，对处于同一层的所有特征映射M(k)进行重新编号，即M(k)＝m₁+m₂+m₃…m_l；

计算每个特征映射的均方并排序MS[1:l]＝[ms₁,ms₂…ms_l]＝[ms₅,ms₁₄…ms₂₃]。

7.如权利要求5所述的生成对抗网络的自生长训练方法，其特征在于：欧氏距离定义为：

两个n维向量a(x1,x2,…,xn)与b(y1,y2,…,yn)间的欧氏距离，

且对于n维空间两个点(x₁,x₂...x_n)和(y₁,y₂...y_n)之间的欧式距离表示为，

。

8.如权利要求6所述的生成对抗网络的自生长训练方法，其特征在于：所述稀疏化剪枝还包括，

计算相邻两幅特征图之间的欧式距离D[1:l]＝[d1,d2…dl]；

设置距离阈值θ，且将所述阈值θ设定为剪枝10％参数；

当两者之间的欧式距离小于所述阈值θ，修剪其中之一。

9.如权利要求7所述的生成对抗网络的自生长训练方法，其特征在于：所述阈值θ为删除欧式距离最小的10％的特征图，按照百分比进行删除。