CN109325443A - 一种基于多实例多标签深度迁移学习的人脸属性识别方法 - Google Patents

Abstract

本发明公开了一种基于多实例多标签深度迁移学习的人脸属性识别方法，包括如下步骤：准备人脸图像数据集，对每一张人脸图像，提取深度卷积神经网络迁移模型的多个神经层特征，组合成多层人脸特征；搭建提取多标签关系特征的网络模型，并以多层人脸特征为输入，多人脸属性标签为真值，训练固定网络模型参数；针对每一种人脸属性设计一个线性二元分类器，将训练好的多标签关系特征的网络模型作为特征提取器迁移至多人脸属性分类器模型，利用人脸图像数据集训练各线性二元分类器。本发明选择迁移学习的方式，将活力很强的迁移模型快速高效地的迁移至选定的数据集，并搭建训练结构简单的多标签关系特征模型，同时训练多个人脸属性的线性二元分类器。

Description

一种基于多实例多标签深度迁移学习的人脸属性识别方法

技术领域

本发明属于计算机视觉领域中应用深度学习实现的人脸属性识别方法。

背景技术

人脸属性识别是一个重要的课题,可以应用于人脸识别领域的研究,比如人脸确认以及人脸鉴别。人脸图像中的人脸及周边区域有很多的属性，其中常考虑的属性有性别、发型、表情、是否带眼镜或帽子等等。研究非实验室场景下人脸图片的人脸属性识别的复杂度和难度更大,因为很多的约束条件是不同的,比如人脸姿势不同、存在遮挡物、分辨率不同以及亮度色彩差异。但对于非实验室场景下人脸属性识别的研究具有重要意义,因为这更贴近现实生活中获取的人脸图片。利用计算机技术对于给定的人脸图片自动进行相关人脸属性标注，这在现实生活中有着重要的使用价值，比如监管***以及刑事案件侦查等诸多领域。

人脸属性识别中至关重要的是对于人脸图片的特征提取，提出的人脸特征的好与坏往往直接影响到人脸属性分类器对于人脸属性的识别能力。传统的一些手工设计特征，如LBP算子等，对于人脸属性识别来说是效果很差的。因此利用深度学习来学习活力更强、效果更好的特征已经成为计算机视觉领域的热门关注点之一。从头搭建网络并训练一个人脸属性识别模型，需要大量带标签的图片数据。而且训练是一件非常耗时的过程，不同情况下待调参数也不易确定，在实际应用中的可执行度并不是很高。

发明内容

发明目的：针对上述现有技术，提出一种基于多实例多标签深度迁移学习的人脸属性识别方法。

技术方案：一种基于多实例多标签深度迁移学习的人脸属性识别方法，包括如下步骤：

步骤1：准备人脸图像数据集，人脸图像包含与人脸图像对应的相关人脸属性标签；然后提取每张人脸图像的关键点位置坐标，利用关键点进行人脸对齐；再将人脸图像数据集随机划分成FaceA和FaceB两部分；

步骤2：对每一张人脸图像，提取深度卷积神经网络迁移模型的多个神经层特征，组合成多层人脸特征；

步骤3：搭建提取多标签关系特征的网络模型，并以步骤2提取的多层人脸特征为输入，多人脸属性标签为真值，利用FaceA部分人脸图像数据集训练并固定提取多标签关系特征的网络模型参数；

步骤4：针对每一种人脸属性设计一个线性二元分类器，将步骤3训练好的多标签关系特征的网络模型保留到网络倒数第二层，并作为特征提取器迁移至多人脸属性分类器模型，利用FaceB部分人脸图像数据集训练各线性二元分类器。

有益效果：以往的一些方法选择从头开始搭建并训练庞大的卷积神经网络，训练的效果往往不尽人意，而且需要大量数据做支撑。本发明选择迁移学习的方式，将活力很强的迁移模型快速高效地的迁移至自己的数据集。不同于以往的只提取迁移模型最后一层的特征，本方法提取神经网络中的多个隐藏层。为了使得模型更加适应自己的数据集，本方法搭建并训练结构简单的多标签关系特征模型，并同时训练多个人脸属性的线性二元分类器，这不仅进一步提高训练模型的速度，也使得人脸属性识别的效果更好。

具体实施方式

下面对本发明做更进一步的解释。

一种基于多实例多标签深度迁移学习的人脸属性识别方法，包括如下步骤：

步骤1：准备人脸图像数据集，人脸图像包含与人脸图像对应的相关人脸属性标签；然后提取每张人脸图像的关键点位置坐标，利用关键点进行人脸对齐；再将人脸图像数据集按照1:1比例随机划分成FaceA和FaceB两部分，这两个人脸数据集，将分别用于接下来的步骤。

本实例选择的人脸图像数据集是已经进行了人脸对齐的CelebA，其中有20多万张人脸图像，还有40个人脸属性真值。为了尽可能减小各人脸属性数据不平衡的情况，本实施例选择其中的Arched Eyebrows、Attractive、Heavy Makeup、High Cheekbones、Male、Mouth Slightly Open、Oval Face、Pointy Nose、Smiling、Wavy Hair和Wearing Lipstick这11个人脸属性，选取标准是各属性正负标签图片数量大于五万张。

步骤2：对每一张人脸图像，提取深度卷积神经网络迁移模型的多个神经层特征，组合成多层人脸特征。其中，深度卷积神经网络迁移模型为谷歌的inception v3模型，模型的网络架构表示成：

Input->con_1->pool_1->conv_2->pool_2->mixed_1->mixed_2->…->mixed_9->mixed_10->pool_3->fc->softmax

其中，mixed_i{i＝1,2,…,10}表示一个inception模块，由多个不同结构的卷积层和池化层组成，节约了大量参数并加快运算，减轻了过拟合。不同模块所提取的特征特点不同，提取神经层特征的方式表示成：

其中，feature_i表示深度卷积神经网络迁移模型中提取的神经层特征，N表示人脸图像数据集数目，x_i表示第i张人脸图像，pool_k和mixed_k是以x_i为输入提取迁移模型第k层pool模块和第k层mixed模块的最后一层特征的函数，f_k和g_k是下采样并将特征转化为一维向量的函数。

提取神经层特征所需要的相关参数信息，包括采用的神经网络层的命名空间、相关神经层尺寸以及下采样参数设置如表1所示：

表一

关于池化层需要说明的是，这里都选择平均池化层，且padding参数都设置为VALID。

将各层提取出来并已转换为一维向量的特征转拼接成多层人脸特征，该多层人脸特征的尺寸是14336(4*4*64+2*2*192+2*2*256+2*2*288+2*2*288+768*5+1280+2048*2)。

步骤3：搭建提取多标签关系特征的网络模型，并以步骤2提取的多层人脸特征为输入，多人脸属性标签为真值，利用FaceA部分人脸图像数据集训练并固定提取多标签关系特征的网络模型参数，以便将该模型进一步迁移至多人脸属性分类器模型。

由于多层人脸特征为一维特征，因此设计提取多标签关系特征的网络模型由全连接层组成，每个全连接层采用非线性矫正激活函数。网络模型的输入层的尺寸等于多层人脸特征的大小，输出层的神经元个数为等于选择的人脸属性个数，提取多标签关系特征的网络模型表示为：

dropout→fc→fcc→logits

其中dropout表示输入尺寸为14336的dropout层；fc、fcc和logits是全连接层，输入尺寸依次是14336、2048和2048，输出尺寸依次是2048、2048和11。

将FaceA部分人脸图像数据集以9:1的比例随机划分为训练集和验证集，将经由步骤2得到的FaceA部分人脸图像数据集对应的多层人脸特征作为提取多标签关系特征的网络模型的输入，以人脸属性标签为真值，来训练提取多标签关系特征的网络模型。其中训练集用于该步骤的模型训练，为防止过拟合以及提高训练速度，使用了丢弃等训练小技巧，当在验证集上的损失值达到理想平衡时，停止训练保存模型参数。

对于FaceA部分的每一张人脸图像x_i，首先经过步骤2提取出多层人脸特征，再将该多层人脸特征作为提取多标签关系特征的网络模型dropout层的输入，所以dropout层的输入尺寸为14336。最后一个全连接层logits对应到多人脸属性的预测上，故输出尺寸等于本实施例所选取的人脸属性个数Q＝11。为加速神经网络的训练速度，采用批量梯度更新方法来更新参数，每批训练的样本数设置为batch个，采用随机选取的方式。优化器选择实现批量梯度下降算法的优化器，初始学习率设置为0.01。

由于这里训练的多标签关系特征要考虑不同人脸属性之间的关系，需要训练的提取多标签关系特征的网络模型的损失函数如下所示：

其中，N₁表示FaceA部分人脸图像数据集中人脸图像数据的个数，Q表示人脸属性的个数，标签真值y_ik表示第i张人脸图像是否含有第k个人脸属性，p_ik表示第i张人脸图像含有第k个人脸属性的概率，fcc_ik表示提取多标签关系特征的网络模型的最后一层的第k个神经元取值，fcc_im表示提取多标签关系特征的网络模型的最后一层的第m个神经元取值。

训练结束保存该多标签关系特征模型时，需要注意的是：最后一层logits层的神经元个数为人脸属性标签的个数，这一层在迁移至多人脸属性分类器模型时删去，该迁移模型保留到网络的倒数第二层fcc层。

步骤4：本实施例选取了11个人脸属性标签，针对每一种人脸属性设计一个线性二元分类器。将步骤3训练好的多标签关系特征的网络模型保留到网络倒数第二层，并作为特征提取器迁移至多人脸属性分类器模型，对于不同的人脸属性分类器来说网络模型参数是固定且共享的，利用FaceB部分人脸图像数据集训练各线性二元分类器。

具体的，首先将FaceB人脸图像数据集以8:1:1的比例随机划分为训练集、验证集和测试集，其中训练集和测试集用于本步骤训练线性二元分类器，测试集用于线性二元分类器的效果评估。然后将经由步骤2得到的FaceB部分人脸图像数据集对应的多层人脸特征作为提取多标签关系特征的网络模型的输入，再将提取多标签关系特征的网络模型输出的多标签关系特征作为各个线性二元分类器的输入，训练各线性二元分类器。上述过程中，固定前两个模型的参数，只训练这11个分类器的参数，提高了训练速度。

人脸属性分类器的网络结构简单，仅有一个全连接层，输入尺寸大小和提取多标签关系特征的网络模型输出的多标签特征一致为2048，输出尺寸大小为2。对于第k个线性二元分类器的损失函数如下所示：

其中，N₂表示FaceB部分人脸图像数据集中人脸图像数据的个数，标签真值y_ik表示第i张人脸图像是否含有第k个人脸属性，p_ik表示第i张人脸图像含有第k个人脸属性的概率，logits_im表示分类器的输出层，m表示输出层神经元个数。

将多个线性二元分类器同时训练，并且每一个人脸属性的重要性一致，则整合成如下的总体损失函数：

其中，Q表示人脸属性的个数，λ_k表示各个线性二元分类器的权重。当在验证集上取得好的识别效果时，停止训练并将这些人脸属性分类器的参数固定。

步骤5：将前面步骤训练好且参数固定的模型整合在一起，组合成一个完整的以人脸图像为输入、以11个预测人脸属性值为输出的神经网络模型。

对本方法的效果测试，用到的人脸图像数据是步骤4里FaceB划分出来的测试集。将人脸图像x_i作为输入，依次经过提取深度卷积神经网络迁移模型提取多层人脸特征、提取多标签关系特征的网络模型提取多标签特征，最后经过11个人脸属性二元线性分类器得到11个人脸属性预测值。将这一整套完整的人脸识别模型保存，当有新的人脸图像数据出现时，直接来拿该模型预测各人脸属性值。

在本方法中我们设计了基于多实例多标签深度迁移学习的人脸属性识别方法。针对人脸属性识别这一多实例多标签问题，不仅考虑到多个实例之间的联系，改进迁移模型提取特征的方法以提取多层特征；还考虑到不同人脸属性之间的关系，搭建并训练提取多标签关系特征的模型以提取多标签特征。最后使用了效果更佳的多实例多标签特征来同时训练多个人脸属性分类器，不仅在速度上有了提升，准确率上也取得不错的效果。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于多实例多标签深度迁移学习的人脸属性识别方法，其特征在于，包括如下步骤：

步骤1：准备人脸图像数据集，人脸图像包含与人脸图像对应的相关人脸属性标签；然后提取每张人脸图像的关键点位置坐标，利用关键点进行人脸对齐；再将人脸图像数据集随机划分成FaceA和FaceB两部分；

步骤2：对每一张人脸图像，提取深度卷积神经网络迁移模型的多个神经层特征，组合成多层人脸特征；

步骤3：搭建提取多标签关系特征的网络模型，并以步骤2提取的多层人脸特征为输入，多人脸属性标签为真值，利用FaceA部分人脸图像数据集训练并固定提取多标签关系特征的网络模型参数；

步骤4：针对每一种人脸属性设计一个线性二元分类器，将步骤3训练好的多标签关系特征的网络模型保留到网络倒数第二层，并作为特征提取器迁移至多人脸属性分类器模型，利用FaceB部分人脸图像数据集训练各线性二元分类器。

2.根据权利要求1所述的基于多实例多标签深度迁移学习的人脸属性识别方法，其特征在于，所述步骤2中，深度卷积神经网络迁移模型为谷歌的inception v3模型，提取神经层特征的方式表示成：

其中，feature_i表示深度卷积神经网络迁移模型中提取的神经层特征，N表示人脸图像数据集数目，x_i表示第i张人脸图像，pool_k和mixed_k是以x_i为输入提取迁移模型第k层pool模块和第k层mixed模块的最后一层特征的函数，f_k和g_k是下采样并将特征转化为一维向量的函数。

3.根据权利要求1所述的基于多实例多标签深度迁移学习的人脸属性识别方法，其特征在于，所述步骤3中，所述提取多标签关系特征的网络模型由全连接层组成，每个全连接层采用非线性矫正激活函数，网络模型的输入层的尺寸等于多层人脸特征的大小，输出层的神经元个数为等于选择的人脸属性个数，提取多标签关系特征的网络模型由依次设置的dropout层、fc层、fcc层、logits层构成；将FaceA部分人脸图像数据集以9:1的比例随机划分为训练集和验证集，将经由步骤2得到的FaceA部分人脸图像数据集对应的多层人脸特征作为提取多标签关系特征的网络模型的输入，以人脸属性标签为真值，来训练提取多标签关系特征的网络模型。

4.根据权利要求1所述的基于多实例多标签深度迁移学习的人脸属性识别方法，其特征在于，所述步骤4包括如下具体步骤：首先将FaceB人脸图像数据集随机划分为训练集、验证集和测试集，然后将经由步骤2得到的FaceB部分人脸图像数据集对应的多层人脸特征作为所述提取多标签关系特征的网络模型的输入，再将所述提取多标签关系特征的网络模型输出的多标签关系特征作为各个线性二元分类器的输入，训练各线性二元分类器。

5.根据权利要求3所述的基于多实例多标签深度迁移学习的人脸属性识别方法，其特征在于，需要训练的提取多标签关系特征的网络模型的损失函数如下所示：

其中，N₁表示FaceA部分人脸图像数据集中人脸图像数据的个数，Q表示人脸属性的个数，标签真值y_ik表示第i张人脸图像是否含有第k个人脸属性，p_ik表示第i张人脸图像含有第k个人脸属性的概率，fcc_ik表示提取多标签关系特征的网络模型的最后一层的第k个神经元取值，fcc_im表示提取多标签关系特征的网络模型的最后一层的第m个神经元取值。

6.根据权利要求4所述的基于多实例多标签深度迁移学习的人脸属性识别方法，其特征在于，对于第k个线性二元分类器的损失函数如下所示：

其中，N₂表示FaceB部分人脸图像数据集中人脸图像数据的个数，标签真值y_ik表示第i张人脸图像是否含有第k个人脸属性，p_ik表示第i张人脸图像含有第k个人脸属性的概率，logits_im表示分类器的输出层，m表示输出层神经元个数；

将多个线性二元分类器同时训练，并且每一个人脸属性的重要性一致，则整合成如下的总体损失函数：

其中，Q表示人脸属性的个数，λ_k表示各个线性二元分类器的权重。