CN109308450A - 一种基于生成对抗网络的脸部变化预测方法 - Google Patents

Abstract

本发明公开了一种基于生成对抗网络的脸部变化预测方法，包括：S1，获取人脸数据样本；S2，构建由生成器及判别器组成的生成对抗网络模型，设计损失函数，并对生成器及判别器进行迭代训练；S3，将待处理的目标年轻人脸图像输入训练后的生成对抗网络模型中，输出目标年轻人脸图像所对应的目标年老人脸图像。采用本发明，通过构建独特的生成对抗网络模型及损失函数，对年龄变化具体很好的鲁棒性，同时，本发明还考虑了额头和头发等信息的变化情况，进一步提升了预测的准确性和唯一性。

Description

一种基于生成对抗网络的脸部变化预测方法

技术领域

本发明涉及域适应(domain adaption)及人脸识别技术领域，尤其涉及一种基于生成对抗网络的脸部变化预测方法。

背景技术

脸部变化预测主要指用来预测随着年龄变化，脸部发生的变化情况，通常适用于娱乐行业或者重要取证场所，如公安***对已有档案根据以前图像进行现在长相预测。

由于人类身体年龄的内在复杂性，以及标签数据的缺乏，使得脸部变化预测非常困难。通常在解决这类问题时，预测年龄的准确性和身份唯一性被当作两个重要指标。之前几年通用的方法为基于皮肤的结构特征来推理随着时间变化脸部肌肉的变化，这种方法在实际中更为复杂。

同时，随着数据存储技术的发展，现在更多关注数据驱动的技术，通过大量训练来拟合年龄和面部特征的函数，然而离实际解决问题还很远。现有的技术方案更多关注在两个年龄段组之间的转换模型，其中年龄因素占据重要地位而个人身份确认属于从属地位，导致预测年龄的准确性和身份唯一性不能同时满足。此外，在训练时候，通常需要考虑训练样本即个人各个年龄段的脸部图片。

具体地，目前常用的技术方案主要包括以下两种：

方案一，提出通过模型来模拟额头和面部肌肉的变化。具体地，通过一个三层的动态皮肤模型来模拟肌肉变化和皮肤的细小变换，使用了大量先验知识和仿真学知识，是在非机器学习方法中对脸部年龄转换较好的一次尝试。但是，该技术只能模拟出粗糙的肌肉变换，需要生物先验知识，并且灵活性和可移植性很低，不能对额头和头发部分进行有效转换和预测，此外整个预测过程十分复杂，非常难复现，并且不适宜实际场景。

方案二，受启发于深度生成网络在图像生成领域的成功应用，提出了使用深度卷积神经网络和循环神经网络来进行模型化。在张量空间中建立下采样和高分辨率人脸图像之间的映射，并且在高分辨率人脸图像上加入了年龄细节，综合生成的人脸图像的图像能较好的反映人脸随着年龄的变换。但是，该技术在训练时每个样本都需要不同年龄段的多张人脸图像，并且在测试的时候每张人脸都需要打年龄标签。同时，本技术主要考虑了脸部集合的概率分布而没有强调身份信息，导致在进行脸部年龄转换的时候在脸部颜色，表情甚至身份信息上都产生了较大偏差。

发明内容

本发明所要解决的技术问题在于，提供一种基于生成对抗网络的脸部变化预测方法，对年龄变化具体很好的鲁棒性，还提升了预测的准确性和唯一性。

为了解决上述技术问题，本发明提供了一种基于生成对抗网络的脸部变化预测方法，包括：

S1，获取人脸数据样本，每一人脸数据样本包括至少两个年龄段的人脸图像；

S2，构建由生成器及判别器组成的生成对抗网络模型，设计损失函数，并对生成器及判别器进行迭代训练，

其中，将年轻人脸图像作为生成器的输入，将年老人脸图像作为生成器的输出，根据生成器损失函数训练生成器，所述生成器损失函数包括生成器误差函数、逐像素误差函数及身份保留误差函数，

将年轻人脸图像及年老人脸图像作为判别器的输入，根据判别器损失函数训练判别器，所述判别器损失函数包括年龄转换误差函数；

S3，将待处理的目标年轻人脸图像输入训练后的生成对抗网络模型中，输出目标年轻人脸图像所对应的目标年老人脸图像。

作为上述方案的改进，所述生成对抗网络模型为：

其中，D为判别网络，D(x)表示输入x经过判别网络D的输出，G为生成网络，G(z)表示输入z经过生成网络G的输出，x～P_data(x)表示x服从真实人脸图像分布P_data，即x是按照真实人脸图像分布P_data的真实人脸图像，表示在P_data分布下求期望，z～P_z(z)表示z服从概率分布P(z)，即z是按照概率分布P(z)生成的噪声样本，表示在P(z)分布下求期望。

作为上述方案的改进，对生成器及判别器进行迭代训练时，生成器及判别器同时收敛，收敛时，生成的年老人脸图像的概率分布P_g等于真实人脸图像分布P_data。

作为上述方案的改进，所述判别器的损失公式为：

L_D＝L_GAN,D；

其中，所述L_GAN,D为年龄转换误差函数。

作为上述方案的改进，所述年龄转换误差函数为：

其中，x～P_young(x)表示x服从年轻人脸图像分布P_young，即x是按照年轻人脸图像分布P_young的年轻人脸图像，x～P_old(x)表示x服从年老人脸图像分布P_old，即x是按照年老人脸图像分布P_old的年老人脸图像，G为生成网络，G(x)表示输入x经过生成网络G的输出，φ_age是基于VGG-16结构预训练得到的多标签分类任务模型，用于提取人脸与年龄的相关特征。

作为上述方案的改进，G(x)～P_g与年老人脸图像分布P_old一致，其中，G(x)～P_g表示G(x)服从年老人脸图像的概率分布P_g。

作为上述方案的改进，所述生成器的损失公式为：

L_G＝λ_aL_GAN,G+λ_pL_pixel+λ_iL_ideneity；

其中，所述L_GAN,G为生成器误差函数，L_pixel为逐像素误差函数，L_ideneity为身份保留误差函数。

作为上述方案的改进，所述生成器误差函数为：

其中，x～P_young(x)表示x服从年轻人脸图像分布P_young，即x是按照年轻人脸图像分布P_young的年轻人脸图像，D为判别网络，G为生成网络，G(x)表示输入x经过生成网络G的输出，φ_age是基于VGG-16结构预训练得到的多标签分类任务模型，用于提取人脸与年龄的相关特征。

作为上述方案的改进，所述身份保留误差函数为：

其中，x∈P_young(x)表示x为年轻人脸图像分布P_young内的年轻人脸图像，d是特征表示之间的平方欧式距离，φ_id为深度人脸描述算子，G为生成网络，G(x)表示输入x经过生成网络G的输出，φ_id是深度人脸描述算子，用于编码个人信息。

作为上述方案的改进，所述逐像素误差函数为：

其中，G为生成网络，G(x)表示输入x经过生成网络G的输出，x为输入的年轻人脸图像，W为图像宽度，H为图像高度，C为图像深度。

实施本发明，具有如下有益效果：

本发明在损失函数中加入了身份改变的惩罚项，在达到较好预测人脸随着年龄改变效果的同时，确保了身份的唯一性。此外，本发明使用对抗生成网络作为新方法进行训练，替代了基于领域内知识的手工方法，降低了实际应用的复杂度。

具体地，本发明解决了现有技术中的两个主要技术问题。

(1)本发明提出的方法使用基于卷积神经网络(Convolutional NeuralNetworks)的生成器来学习年龄变换，并且随着时间变换会对相应脸部属性也进行变化。训练时候使用图像域内的欧式误差，训练策略是通过对人脸特征的高层表示，使得欧式误差经可能的小0；因此，本发明中提出不仅有效并且对年龄变化有很好的鲁棒性。

(2)此外，本发明中，额头和头发等信息也被考虑进变化情况。本发明不仅使用局部也使用全局特征，克服了单个年龄特定的表示和处理了年龄变化的单一表示，很高程度上提升了预测的准确性和唯一性。

附图说明

图1是本发明基于生成对抗网络的脸部变化预测方法的流程图；

图2是图1中步骤S2的流程图；

图3是本发明基于生成对抗网络的脸部变化预测方法的原理图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。仅此声明，本发明在文中出现或即将出现的上、下、左、右、前、后、内、外等方位用词，仅以本发明的附图为基准，其并不是对本发明的具体限定。

本发明的主要用途是基于已有的人脸图像预测不同年龄段人脸图像的变换情况，在保证身份唯一性的前提下，尽可能生成接近真实情况的图像。为了更加精准的预测人脸图像未来的变化，本发明提出了一种新的基于生成对抗网络(GAN，GenerativeAdversarial Networks)的脸部变化预测方法，利用了生成对抗网络可以生成较为可信图片的优势。

参见图1，图1显示了本发明基于生成对抗网络的脸部变化预测方法的具体流程，其包括：

S1，获取人脸数据样本。

需要说明的是，每一人脸数据样本包括至少两个年龄段的人脸图像，以记录人物的人脸变化；

优选地，每一个人脸数据样本可包括四个年龄段的人脸图像，用于对生成器及判别器进行训练，其中，四个年龄段的人脸图像为随年龄依次变化的人脸图像。

例如，若人脸数据样本库中设有100个样本，则每一样本内均包括同一人物的四个人脸图像，且该四个人脸图像为该人物不同年龄时期的人脸图像。

S2，构建由生成器及判别器组成的生成对抗网络模型，设计损失函数，并对生成器及判别器进行迭代训练；

如图2所示，所述步骤S2包括：

S201，将年轻人脸图像作为生成器的输入，将年老人脸图像作为生成器的输出，根据生成器损失函数训练生成器，所述生成器损失函数包括生成器误差函数、逐像素误差函数及身份保留误差函数，

S202，将年轻人脸图像及年老人脸图像作为判别器的输入，根据判别器损失函数训练判别器，所述判别器损失函数包括年龄转换误差函数；

需要说明的是，生成对抗网络(GAN)包含了生成器和判别器两部分，通过不断对抗进行训练。生成器尝试来获得数据的隐含特征并且迷惑判别器，而判别器主要用来区分实际人脸图像和生成器所述生成的虚假图像，生成器和对抗器都可以通过神经网络来表示。

因此，本发明在确定整个神经网络的训练误差之后，轮流对生成器和判别器进行训练，最终生成器学习得到适当年龄变换而判别器变成一个值的信赖的区分器。将训练得到的结果生成保留，可以得到一个良好的预测模型。

S3，将待处理的目标年轻人脸图像输入训练后的生成对抗网络模型中，输出目标年轻人脸图像所对应的目标年老人脸图像。

如图3所示，整个生成对抗网络包含生成器和判别器，其中，训练误差考虑了逐像素误差，身份保留误差和年龄转换误差三方面。

具体地，所述生成对抗网络模型为：

其中，D为判别网络，D(x)表示输入x经过判别网络D的输出，G为生成网络，G(z)表示输入z经过生成网络G的输出，x～P_data(x)表示x服从真实人脸图像分布P_data，即x是按照真实人脸图像分布P_data的真实人脸图像，表示在P_data分布下求期望，z～P_z(z)表示z服从概率分布P(z)，即z是按照概率分布P(z)生成的噪声样本，表示在P(z)分布下求期望。

对生成器及判别器进行迭代训练时，生成器及判别器同时收敛，收敛时，生成的年老人脸图像的概率分布P_g等于真实人脸图像分布P_data。

因此，本发明中，基于卷积神经网络(CNN，Convolutional Neural Networks)的生成器把年轻人脸图像作为输入，学习到随着年龄变换的领域映射函数；最终，通过生成器来基于当前人脸图像来预测人脸未来的变换；同时，为了保证在综合生成新的年龄图像的同时身份信息不变，在损失函数中加入了约束，训练的策略始终是是的在高层特征表示的情况下输入输出的欧式距离尽可能小。

其中，所述损失函数包括判别器损失函数及生成器损失函数。

所述判别器损失函数包括年龄转换误差函数。具体地，所述判别器的损失公式为：

L_D＝L_GAN,D；

其中，所述L_GAN,D为年龄转换误差函数。

所述生成器损失函数包括生成器误差函数、逐像素误差函数及身份保留误差函数。所述生成器的损失公式为：

L_G＝λ_aL_GAN,G+λ_pL_pixel+λ_iL_ideneity；

其中，所述L_GAN,G为生成器误差函数，L_pixel为逐像素误差函数，L_ideneity为身份保留误差函数。

下面分别对各函数进行详细说明。

年龄转换误差函数

本发明使用了先验知识进行年龄聚类，因此提出了判别器。判别器的目的是为了减少交叉熵误差。判别器的输出是标量D(x)，表示了x来自于数据的概率；P_g为生成的转换年龄人脸图像的概率分布；x～P_young(x)表示x服从年轻人脸图像分布P_young；本发明中，G(x)～P_g与年老人脸图像分布P_old一致，其中，G(x)～P_g表示G(x)服从年老人脸图像的概率分布P_g。

通常而言，生成器和判别器同时收敛，判别器在实际中收敛的更快，并且把梯度供给给生成器进行学习。在生成对抗网络(GAN)中很重要的一个问题是概率分布序列之间的距离。在本发明中在似然函数中使用最小均方误差，根据样本距离决策边界之间的距离，来最小化人的X2距离。更进一步，为了实现更加可信的和与年龄相关的面部细节，实际的年轻图像和生成的人脸作为负样本同时供给给判别器。

相应地，所述年龄转换误差函数为：

其中，x～P_young(x)表示x服从年轻人脸图像分布P_young，即x是按照年轻人脸图像分布P_young的年轻人脸图像，x～P_old(x)表示x服从年老人脸图像分布P_old，即x是按照年老人脸图像分布P_old的年老人脸图像，G为生成网络，G(x)表示输入x经过生成网络G的输出；φ_age连接生成器和判别器，用于提取人脸与年龄的相关特征，考虑到人脸不同的年龄组共享一个同样的文本属性，φ_age与判别器独立的，φ_age是基于VGG-16结构预训练得到的多标签分类任务模型，移除了全连接层并合并到了网络结构中，由于自然图像本身含有多尺度特征并且有分级结构，φ_age逐渐从像素值提取属性最后到高层特征。

生成器误差函数

生成器仅仅需要前向传播，生成器由编码器和解码器构成。输入年轻人脸图像以后，首先使用三个边缘卷基层来编码到一个隐含空间，尝试捕捉人脸属性，而后是四个残差连接层。年龄转换最终通过三个小边缘卷积层来实现。本发明中不使用池化和上采样来计算特征图，而是用步长为2的卷积核，确保每个像素都对生成函数有所作用。每个卷积层后面都紧接着一个正则化和非线性RELU激活函数。为了使得输入输出尺寸一致，在最后进行图像扩展操作，公式化表达如下：

所述生成器误差函数为：

其中，x～P_young(x)表示x服从年轻人脸图像分布P_young，即x是按照年轻人脸图像分布P_young的年轻人脸图像，D为判别网络，G为生成网络，G(x)表示输入x经过生成网络G的输出，φ_age是基于VGG-16结构预训练得到的多标签分类任务模型，用于提取人脸与年龄的相关特征。

身份保留误差函数

本发明的核心问题是生成的转换年龄人脸图像，会不会造成***误判或者不和之前身份唯一对应的缺点。因此，本发明把在正确特征空间的输入输出距离加入了约束，对身份改变很敏感而对其它变换具有很好的冗余性。公式化表达如下：

所述身份保留误差函数为：

其中，x∈P_young(x)表示x为年轻人脸图像分布P_young内的年轻人脸图像，d是特征表示之间的平方欧式距离，φ_id为深度人脸描述算子，G为生成网络，G(x)表示输入x经过生成网络G的输出，φ_id是深度人脸描述算子，用于编码个人信息，并且确定损失函数，φ_id由数千人构成的数百万张人脸图像得到，整个网络至少高于10层。

逐像素误差函数

本发明除了特定设计的生成对抗网络(GAN)对应的损失项和惩罚项意外，还加入了一个在图像域逐像素的L2损失项，用于计算输入输出之间的间隔，主要用来确保颜色不发生过大改变。公式化表达如下：

所述逐像素误差函数为：

其中，G为生成网络，G(x)表示输入x经过生成网络G的输出，x为输入的年轻人脸图像，W为图像宽度，H为图像高度，C为图像深度。

由上可知，本发明在损失函数中加入了身份改变的惩罚项，在达到较好预测人脸随着年龄改变效果的同时，确保了身份的唯一性。此外，本发明使用对抗生成网络作为新方法进行训练，替代了基于领域内知识的手工方法，降低了实际应用的复杂度。

具体地，本发明解决了现有技术中的两个主要技术问题。

(1)本发明提出的方法使用基于卷积神经网络(Convolutional NeuralNetworks)的生成器来学习年龄变换，并且随着时间变换会对相应脸部属性也进行变化。训练时候使用图像域内的欧式误差，训练策略是通过对人脸特征的高层表示，使得欧式误差经可能的小0；因此，本发明中提出不仅有效并且对年龄变化有很好的鲁棒性。

(2)此外，本发明中，额头和头发等信息也被考虑进变化情况。本发明不仅使用局部也使用全局特征，克服了单个年龄特定的表示和处理了年龄变化的单一表示，很高程度上提升了预测的准确性和唯一性。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种基于生成对抗网络的脸部变化预测方法，其特征在于，包括：

S1，获取人脸数据样本，每一人脸数据样本包括至少两个年龄段的人脸图像；

S2，构建由生成器及判别器组成的生成对抗网络模型，设计损失函数，并对生成器及判别器进行迭代训练，

其中，将年轻人脸图像作为生成器的输入，将年老人脸图像作为生成器的输出，根据生成器损失函数训练生成器，所述生成器损失函数包括生成器误差函数、逐像素误差函数及身份保留误差函数，

将年轻人脸图像及年老人脸图像作为判别器的输入，根据判别器损失函数训练判别器，所述判别器损失函数包括年龄转换误差函数；

S3，将待处理的目标年轻人脸图像输入训练后的生成对抗网络模型中，输出目标年轻人脸图像所对应的目标年老人脸图像。

2.如权利要求1所述的基于生成对抗网络的脸部变化预测方法，其特征在于，所述生成对抗网络模型为：

其中，D为判别网络，D(x)表示输入x经过判别网络D的输出，G为生成网络，G(z)表示输入z经过生成网络G的输出，x～P_data(x)表示x服从真实人脸图像分布P_data，即x是按照真实人脸图像分布P_data的真实人脸图像，表示在P_data分布下求期望，z～P_z(z)表示z服从概率分布P(z)，即z是按照概率分布P(z)生成的噪声样本，表示在P(z)分布下求期望。

3.如权利要求2所述的基于生成对抗网络的脸部变化预测方法，其特征在于，对生成器及判别器进行迭代训练时，生成器及判别器同时收敛，收敛时，生成的年老人脸图像的概率分布P_g等于真实人脸图像分布P_data。

4.如权利要求1所述的基于生成对抗网络的脸部变化预测方法，其特征在于，所述判别器的损失公式为：

L_D＝L_GAN，D；

其中，所述L_GAN，D为年龄转换误差函数。

5.如权利要求4所述的基于生成对抗网络的脸部变化预测方法，其特征在于，所述年龄转换误差函数为：

其中，x～P_young(x)表示x服从年轻人脸图像分布P_young，即x是按照年轻人脸图像分布P_young的年轻人脸图像，x～P_old(x)表示x服从年老人脸图像分布P_old，即x是按照年老人脸图像分布P_old的年老人脸图像，G为生成网络，G(x)表示输入x经过生成网络G的输出，φ_age是基于VGG-16结构预训练得到的多标签分类任务模型，用于提取人脸与年龄的相关特征。

6.如权利要求5所述的基于生成对抗网络的脸部变化预测方法，其特征在于，G(x)～P_g与年老人脸图像分布P_old一致，其中，G(x)～P_g表示G(x)服从年老人脸图像的概率分布P_g。

7.如权利要求1所述的基于生成对抗网络的脸部变化预测方法，其特征在于，所述生成器的损失公式为：

L_G＝λ_aL_GAN，G+λ_pL_pixel+λ_iL_ideneity；

其中，所述L_GAN，G为生成器误差函数，L_pixel为逐像素误差函数，L_ideneity为身份保留误差函数。

8.如权利要求7所述的基于生成对抗网络的脸部变化预测方法，其特征在于，所述生成器误差函数为：

其中，x～P_young(x)表示x服从年轻人脸图像分布P_young，即x是按照年轻人脸图像分布P_young的年轻人脸图像，D为判别网络，G为生成网络，G(x)表示输入x经过生成网络G的输出，φ_age是基于VGG-16结构预训练得到的多标签分类任务模型，用于提取人脸与年龄的相关特征。

9.如权利要求7所述的基于生成对抗网络的脸部变化预测方法，其特征在于，所述身份保留误差函数为：

其中，x∈P_young(x)表示x为年轻人脸图像分布P_young内的年轻人脸图像，d是特征表示之间的平方欧式距离，φ_id为深度人脸描述算子，G为生成网络，G(x)表示输入x经过生成网络G的输出，φ_id是深度人脸描述算子，用于编码个人信息。

10.如权利要求7所述的基于生成对抗网络的脸部变化预测方法，其特征在于，所述逐像素误差函数为：

其中，G为生成网络，G(x)表示输入x经过生成网络G的输出，x为输入的年轻人脸图像，W为图像宽度，H为图像高度，C为图像深度。