CN107944410B - 一种基于卷积神经网络的跨领域面部特征解析方法 - Google Patents

Abstract

本发明提供一种基于卷积神经网络的跨领域面部特征解析方法，包括：采集样本数据；根据采集的样本数据中的有标签数据及其类别，对无标签数据的样本类别、样本相似度和样本所属领域进行预测；根据预测结果获取模型参数，建立跨领域面部特征解析网络模型；对所述模型进行训练；通过训练后的跨领域面部特征解析网络模型执行跨领域面部特征解析任务；本发明将自适应特征学习和识别模型训练联合到统一的卷积神经网络框架中，同时优化样本标签预测、领域标签预测和样本相似性预测三个目标函数的损失，确保网络学习到的面部图像特征具有类间判别性和领域不变性，尤其适用于跨领域面部特征解析。

Description

一种基于卷积神经网络的跨领域面部特征解析方法

技术领域

本发明涉及计算机视觉、人工智能技术领域，尤其涉及一种基于卷积神经网络的跨领域面部特征解析方法。

背景技术

跨领域面部特征解析方法属于领域自适应方法在面部特征解析上的应用。领域自适应的主要内容是通过最小化源域(训练数据集)和目标域(测试数据集)间的数据分布差异，力求实现将在训练集中学习的识别模型自适应地运用到测试集中。在面部特征解析过程中，最小化数据分布差异的方法大多是基于给定的输入面部图像特征表达学习源域与目标域之间的特征变换，再基于此特征学习具有领域自适应能力的面部特征解析模型。传统的面部特征解析方法主要包括基于面部几何特征、模板匹配、代数特征及神经网络等方法，但是，这些方法大多属于浅层模型，学习能力有限，已经越来越无法满足实际应用需求。

在深度学习模型中，通常使用大数据集进行特征提取，而对于小规模数据集，常采用Fine-tuning技术将已有的深度神经网络模型参数自适应到该小规模目标数据集上进行学习。虽然Fine-tuning技术具有较强的领域自适应性，但其要求目标数据集中具有足够多的有标签数据。而在跨领域面部特征解析问题中，目标域的数据样本通常没有标签信息(无监督领域自适应)或只有少量的有标签信息(半监督自适应)。因此，需要一种新的技术手段，能够在保证学习能力的基础上，具有领域自适应性的面部特征表达。

发明内容

鉴于以上所述现有技术的缺点，本发明提供一种基于卷积神经网络的跨领域面部特征解析方法，以克服上述技术问题。

本发明提供的基于卷积神经网络的跨领域面部特征解析方法，包括：

采集样本数据；

根据采集的样本数据中的有标签数据及其类别，对无标签数据的样本类别、样本相似度和样本所属领域进行预测；

根据预测结果获取模型参数，建立跨领域面部特征解析网络模型；

对所述模型进行训练；

通过训练后的跨领域面部特征解析网络模型执行跨领域面部特征解析任务。

进一步，所述跨领域面部特征解析网络模型的结构为卷积神经网络，包括特征提取器、领域标签预测器、相似性预测器和类别标签预测器，所述卷积神经网络包括多个卷积层，并至少包括两个全连接层，通过在最后一个全连接层后***自适应网络层，形成特征映射层。

进一步，在所述自适应网络层后设置宽度与样本类别数相等的全连接层Ⅰ，并将其作为类别标签预测器，将softmax loss函数作为样本标签预测的损失函数，通过所述类别标签预测器和样本标签预测的损失函数对无标签数据的样本类别进行预测。

进一步，所述跨领域面部特征解析网络模型包括源域数据通道与目标域数据通道，在每条通道的自适应网络层后分别设置全连接层Ⅱ，并将contrastive loss函数作为领域间样本对相似性评估的损失函数，根据所述领域间样本对相似性评估的损失函数预测样本的相似度。

进一步，在所述自适应网络层后设置梯度反向层，并在所述梯度反向层后添加多个堆叠的全连接层，并将cross-entropy loss作为领域标签预测的损失函数，根据所述领域标签预测的损失函数预测样本所属领域。

进一步，对所述跨领域面部特征解析网络模型进行模型优化，所述模型优化包括：

通过最小化有标签样本的标签预测损失函数，对特征映射层和样本类别标签预测函数进行参数优化。

进一步，所述模型优化还包括：通过最大化领域标签预测器对样本领域标签预测的损失函数，对学习图像特征的领域不可区分性进行优化。

进一步，所述模型优化还包括：通过最小化相似性预测器对于样本对相似性预测的损失函数，对基于特征映射层学习的图像特征的类间判别性和领域不变性进行优化。

进一步，所述模型优化通过如下公式表示：

其中，E(θ_f，θ_y，θ_d，θ_s)为优化的目标函数，L_y(.)为样本类别标签预测的损失函数，L_d(.)领域标签预测的损失函数，L_s(.)为相似性预测的损失函数，α和β为目标函数训练过程中的权重系数，θ_f为特征映射参数，θ_y为类别标签预测参数，θ_s为相似性映射参数，θ_d为领域标签映射参数，G_f为特征映射器，G_y为类别标签预测器，G_s为相似性预测器，G_d为领域标签预测器，d_i为源域数据样本的领域标签，d_j为目标域数据样本的领域标签，x_i ^t为目标域的样本数据，x_i ^s为源域的样本数据，s_ij为样本对的相似度，n_s,n_t分别指源域和目标域中的样本数量。

进一步，将梯度反转层***到特征映射层与领域标签预测层之间，所述梯度反转层在前向传播和反向传播中的功能通过如下公式表示：

R_α(x)＝x

其中，I表示单位矩阵，R_α(x)为梯度反转层函数，α为目标函数训练过程中的权重系数。

本发明的有益效果：本发明中的基于卷积神经网络的跨领域面部特征解析方法，针对不同任务建立了相应的特征提取器、类别标签预测器、相似性预测器及领域标签预测器，并对应不同的损失函数，将自适应特征学习和识别模型训练联合到统一的卷积神经网络框架中，同时优化样本标签预测、领域标签预测和样本相似性预测三个目标函数的损失，确保网络学习到的面部图像特征具有类间判别性和领域不变性，尤其适用于跨领域面部特征解析，能够在保证学习能力的基础上，具有领域自适应性的面部特征表达。

附图说明

图1是本发明实施例中基于卷积神经网络的跨领域面部特征解析方法的流程示意图。

图2是本发明实施例中跨领域面部特征解析网络模型的结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图1所示，本实施例中的基于卷积神经网络的跨领域面部特征解析方法，包括：

采集样本数据；

根据采集的样本数据中的有标签数据及其类别，对无标签数据的样本类别、样本相似度和样本所属领域进行预测；

根据预测结果获取模型参数，建立跨领域面部特征解析网络模型；

对所述模型进行训练；

通过训练后的跨领域面部特征解析网络模型执行跨领域面部特征解析任务。

在本实施例中，针对半监督的面部特征解析问题，为了增强识别方法的领域自适应性，本实施例通过在卷积神经网络中加入领域间有标签样本的相似性约束，利用所有的有类别标签和无类别标签样本数据学习同时具有领域自适应性的面部特征表达，本实施例中的跨领域面部特征解析的卷积神经网络针对不同任务建立了相应的特征提取器、类别标签预测器、相似性预测器及领域标签预测器，并对应不同的损失函数，并同时优化面部图像样本的类别标签预测函数、领域标签预测函数和样本相似性预测函数三个目标损失函数来确保网络学习到的面部图像特征具有类间判别性和领域不变性。

在本实施例中，跨领域面部特征解析网络模型搭建的过程如下：对于半监督的跨领域面部特征解析问题，源域数据集S＝(X^s,Y^s)，其中Y^s为X^s对应的类别标签集，目标域数据集T＝(X^lt,Y^lt,X^ut)，其中(X^lt,Y^lt)为少量的有标签数据，Y^lt为X^lt的类别标签，X^ut为大量的无标签数据。源域S和目标域T中数据的边缘分布分别为P(X^s),P(X^t),且P(X^s)≠P(X^t)，表征源域与目标域数据相关但是具有不同的数据分布。变量S_ij为领域间的相似性标签，若源域S中的某样本(x_i ^s,y_i ^s)与目标域T中的某个样本(x_j ^lt,y_j ^lt)具有相同的类别标签(y_i ^s,y_j ^lt)，则样本对(x_i ^s,x_j ^lt)的相似性标签S_ij＝1，反之S_ij＝0。d_i表示数据样本的领域标签，指示其所属领域，源域S中任一样本x_i ^s的领域标签d_i＝0，目标域T中任一样本x_i ^t的领域标签d_i＝1。

如图2所示，本实施例中的跨领域面部特征解析网络模型由两条网络通道构成，分别对应源域与目标域数据，图中已由8层卷积神经网络作为基础框架为例进行说明。为了防止网络学习的过拟合，在第二个全连接层后面***一个宽度为128的自适应网络层fca，与前面的卷积层网络一起形成特征映射层，设特征映射参数为θ_f，则经特征映射器G_f后提取出的特征表达式为

本实施例中跨领域面部特征解析网络模型的后续网络根据不同任务进行不同的设置：

对于样本类别标签预测任务，在fca后面连接一个宽度与样本类别数相等的全连接层fc8作为类别标签预测器，其采用softmaxloss作为样本标签预测的损失函数。设类别标签映射参数为θ_y，则通过类别标签映射器G_y预测的样本类别标签表示为

对于样本对相似性估计任务，在每条通道的fca后面连接一个宽度为2的全连接层fcs，采用contrastiveloss作为领域间样本对相似性评估的损失函数。设相似性映射参数为θ_s，通过相似性映射器G_s预测的样本对相似度

对于样本所属领域标签预测的任务，首先在fca后面连接实现梯度反转的GRL网络层，然后在GRL层后面紧跟由3个全连接层(宽度为1024→1024→1)堆叠组成的fc-domain网络，采用cross-entropyloss作为领域标签预测的损失函数。利用参数为θ_d的领域标签映射器G_d预测对应样本的领域标签为

在本实施例中，模型训练主要是通过对样本类别标签预测函数、领域标签预测函数和样本相似性预测函数这三个目标损失函数进行求解而确定各个参数，实现面部特征解析的相关任务。其中，训练策略为：通过最小化有标签样本X^s和X^lt的标签预测损失函数，来优化特征映射参数θ_f和类别标签预测参数θ_y，使得基于θ_f学习的图像特征表达具有足够的判别性，并能够加强类别标签预测器G_y的预测准确性。源域与目标域之间的数据相似性衡量问题可以看作一个域间二分类器的损失评估问题，分类损失越大则说明领域之间越不可分，即越相似。因此，本实施例通过最大化领域标签预测器G_d对样本领域标签预测的损失函数，来学习图像特征的领域不可区分性。另外，基于领域间相似和不相似样本对的约束，通过最小化相似性预测器G_s对于样本对相似性预测的损失函数，来进一步提升基于θ_f学习的图像特征的类间判别性和领域不变性。

本实施例中优化的目标函数为：

其中，E(θ_f，θ_y，θ_d，θ_s)为优化的目标函数，L_y(.)为样本类别标签预测的损失函数，L_d(.)领域标签预测的损失函数，L_s(.)为相似性预测的损失函数，α和β为目标函数训练过程中的权重系数，θ_f为特征映射参数，θ_y为类别标签预测参数，θ_s为相似性映射参数，θ_d为领域标签映射参数，G_f为特征映射器，G_y为类别标签预测器，G_s为相似性预测器，G_d为领域标签预测器，d_i为源域数据样本的领域标签，d_j为目标域数据样本的领域标签，x_i ^t为目标域的样本数据，x_i ^s为源域的样本数据，s_ij为样本对的相似度，n_s,n_t分别指源域和目标域中的样本数量。

通过最小化上述目标函数，本发明采用随机梯度下降法求解出的模型最优参数

即:

随机梯度下降法的迭代更新过程如下：

其中，参数μ表示迭代更新速率，通过不断地迭代更新直到模型收敛，得到各个参数的最优解。

由于在领域标签预测函数中加入了权重系数-α，而无法直接使用卷积神经网络参数更新中的随机梯度下降法，因此，本实施例采用将梯度反转层GRL***到特征映射层与领域标签预测层之间。GRL的作用为：在网络前向传播过程中，GRL层是一个单位变换层，即将前一网络层的输出不做任何变化直接作为GRL下一网络层的输入；在网络反向传播过程中，GRL层将后一网络层传递过来的梯度(即损失函数L_d对于相应参数的偏导数)乘上反转系数因子-α，再传递到GRL层的前一层，因此将损失函数最小化问题转变为最大化领域标签分类损失函数。设GRL层功能为一个伪函数R_α(x)，其在前向传播和反向传播中的功能描述为：

R_α(x)＝x (式7)

其中，I表示单位矩阵。因此目标函数变为：

其等价于卷积神经网络中的随机梯度下降法求解过程，经该过程获取的各个参数形成的模型即是能够提取出具有良好类间判别性及领域适应性的面部特征模型。

在训练过程中，由于自fca层起的所有网络层都需要从随机初始值开始学***稳性。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (8)

1.一种基于卷积神经网络的跨领域面部特征解析方法，其特征在于，包括：

采集样本数据；

根据采集的样本数据中的有标签数据及其类别，对无标签数据的样本类别、样本相似度和样本所属领域进行预测；

根据预测结果获取模型参数，建立跨领域面部特征解析网络模型；

对所述模型进行训练；

通过训练后的跨领域面部特征解析网络模型执行跨领域面部特征解析任务；

对所述跨领域面部特征解析网络模型进行模型优化，所述模型优化包括：

通过最小化有标签样本的标签预测损失函数，对特征映射层和样本类别标签预测函数进行参数优化；

所述模型优化通过如下公式表示：

其中，E(θ_f，θ_y，θ_d，θ_s)为优化的目标函数，L_y(.)为样本类别标签预测的损失函数，L_d(.)领域标签预测的损失函数，L_s(.)为相似性预测的损失函数，α和β为目标函数训练过程中的权重系数，θ_f为特征映射参数，θ_y为类别标签预测参数，θ_s为相似性映射参数，θ_d为领域标签映射参数，G_f为特征映射器，G_y为类别标签预测器，G_s为相似性预测器，G_d为领域标签预测器，d_i为源域数据样本的领域标签，d_j为目标域数据样本的领域标签，x_i ^t为目标域的样本数据，x_i ^s为源域的样本数据，s_ij为样本对的相似度，n_s,n_t分别指源域和目标域中的样本数量。

2.根据权利要求1所述的基于卷积神经网络的跨领域面部特征解析方法，其特征在于，所述跨领域面部特征解析网络模型的结构为卷积神经网络，包括特征提取器、领域标签预测器、相似性预测器和类别标签预测器，所述卷积神经网络包括多个卷积层，以及至少两个全连接层，通过在最后一个全连接层后***自适应网络层，形成特征映射层。

3.根据权利要求2所述的基于卷积神经网络的跨领域面部特征解析方法，其特征在于，在所述自适应网络层后设置宽度与样本类别数相等的全连接层，并将其作为类别标签预测器，将softmax loss函数作为样本标签预测的损失函数，通过所述类别标签预测器和样本标签预测的损失函数对无标签数据的样本类别进行预测。

4.根据权利要求3所述的基于卷积神经网络的跨领域面部特征解析方法，其特征在于，所述跨领域面部特征解析网络模型包括源域数据通道与目标域数据通道，在每条通道的自适应网络层后分别设置全连接层，并将contrastive loss函数作为领域间样本对相似性评估的损失函数，根据所述领域间样本对相似性评估的损失函数预测样本的相似度。

5.根据权利要求4所述的基于卷积神经网络的跨领域面部特征解析方法，其特征在于，在所述自适应网络层后设置梯度反向层，并在所述梯度反向层后添加多个堆叠的全连接层，并将cross-entropy loss作为领域标签预测的损失函数，根据所述领域标签预测的损失函数预测样本所属领域。

6.根据权利要求1所述的基于卷积神经网络的跨领域面部特征解析方法，其特征在于，所述模型优化还包括：通过最大化领域标签预测器对样本领域标签预测的损失函数，对学习图像特征的领域不可区分性进行优化。

7.根据权利要求6所述的基于卷积神经网络的跨领域面部特征解析方法，其特征在于，所述模型优化还包括：通过最小化相似性预测器对于样本对相似性预测的损失函数，对基于特征映射层学习的图像特征的类间判别性和领域不变性进行优化。

8.根据权利要求1所述的基于卷积神经网络的跨领域面部特征解析方法，其特征在于，将梯度反转层***到特征映射层与领域标签预测层之间，所述梯度反转层在前向传播和反向传播中的功能通过如下公式表示：

R_α(x)＝x

其中，I表示单位矩阵，R_α(x)为梯度反转层函数，α为目标函数训练过程中的权重系数。

Images