CN105469041A - 基于多任务正则化与逐层监督神经网络的人脸点检测*** - Google Patents

Abstract

本发明公开一种基于多任务正则化与逐层监督神经网络的人脸点检测***，包括：多任务正则化模块和逐层监督网络模块，其中：所述多任务正则化模块，包括主任务与相关任务，主任务与相关任务共同学习得到共有的特征空间，再利用相关任务的辅助标签提供附加正则项以加强网络的泛化能力；所述逐层监督网络模块，不同于传统卷积神经网络只对输出层目标函数进行优化，而是对每一中间层都引入监督目标函数，从而加强中间层学习到的特征的显著性。本发明可以有效解决传统卷积神经网络的过拟合与特征鲁棒性不确定的问题。

Description

基于多任务正则化与逐层监督神经网络的人脸点检测***

技术领域

本发明涉及一种计算机视觉领域的人脸点检测方法，具体是一种基于多任务正则化与逐层监督神经网络的人脸点检测***。

背景技术

在计算机视觉领域，人脸点，如眼睛、鼻子、嘴巴等的检测是一个非常基本而重要的问题，是后续的人脸识别、追踪及3D人脸建模的基础。即使有大量的研究投入其中，由于图像中人的头部姿势变化及部分遮挡问题，人脸点检测在环境下受限的情况下仍然是一个富有挑战性的问题。

现有的人脸点检测方法主要分为两类：模板适配与基于回归的方法。基于回归的方法首先对输入图像进行特征提取，然后将学习到的特征映射至人脸特征点的空间。卷积神经网络将原始图片作为输入，利用多个线性滤波器自动计算高层次的特征表示，在实际特征提取应用中取得显著成果。

Y.Sun等人在2013年的《IEEEComputerVisionandPatternRecognition》(IEEECVPR)会议上发表的“Deepconvolutionalnetworkcascadeforfacialpointdetection”一文中提出了一种多个卷积神经网络级联的人脸点检测方法，它预先将人脸分成几个部分，对每个部分单独使用卷积神经网络进行由粗到细的特征点检测，但是这种级联的方法使得网络参数成倍增加导致训练困难，并且会带来非常大的计算开销。

Z.Zhang等人在2014年的《EuropeanConferenceonComputerVision》会议上发表的“Faciallandmarkdetectionbydeepmulti-tasklearning”一文中提出了一种多任务学习的方法。这种方法利用人脸其他特性与特征点的相关性进行卷积神经网络模型建立，以促进对主任务即人脸点的检测。这种方法降低了模型复杂度，却没有考虑到主任务和相关任务的具体关系。

发明内容

本发明针对现有技术中的缺陷，提供了一种基于多任务正则化与逐层监督神经网络的人脸点检测***，可以有效解决传统卷积神经网络的过拟合与特征鲁棒性不确定的问题。

本发明是通过以下技术方案实现的：

本发明所述的一种基于多任务正则化与逐层监督神经网络的人脸点检测***，包括两部分：多任务正则化模块和逐层监督网络模块，其中：

所述逐层监督网络模块，对输入图像根据其像素值进行特征提取，不同于传统卷积神经网络只对输出层目标函数进行优化，该模块对每一中间层都引入监督目标函数，从而加强中间层学习到的特征的显著性，再将输出特征输入给多任务正则化模块进行信号的反向传播，以此重复直至网络收敛；

所述多任务正则化模块，包括主任务与相关任务，主任务与相关任务共同学习逐层监督网络模块的参数得到所有任务共有的特征空间，再利用相关任务的辅助标签提供附加正则项以加强网络的泛化能力，最后输出主任务的预测坐标值。

优选地，所述多任务正则化模块，包括主任务子模块与相关任务子模块，其中：

所述主任务子模块对输入人脸图像5个特征点的检测，分别是：左眼、右眼、鼻子、左嘴角和右嘴角的检测，预测每个点的坐标值作为最终输出。

所述相关任务子模块分别对输入人脸图像进行姿态估计、笑容检测、眼镜检测与性别预测，预测每个分类任务的标签值以提升主任务的预测准确率。

更优选地，所述多任务正则化模块的主要目的是产生待优化目标函数，即预测值与真实值之差，对该目标函数进行最小化问题求解以使预测值尽可能逼近真实值。

更优选地，所述多任务正则化模块的优化目标函数是主任务损失函数和相关任务损失函数的线性组合。

更优选地，所述主任务损失函数和相关任务损失函数分别用平方差回归函数和交叉熵函数表示。

优选地，所述逐层监督网络模块，在中间每个卷积层之后添加回归监督函数，与多任务正则化模块中的待优化目标函数一起进行信号的反向传播。

优选地，所述逐层监督网络模块，其中回归监督函数是该卷积层输出坐标值与真实坐标值的平方差函数。

优选地，所述逐层监督网络模块，只对主任务进行监督，而不对相关任务监督以保证主任务的优先性。

优选地，所述逐层监督网络模块，其中逐层监督神经网络的反向传播，减轻了传统卷积神经网络的梯度弥散问题。

与现有技术相比，本发明具有如下的有益效果：

本发明上述技术方案针对传统卷积神经网络存在的问题，提出了改进的方法。本发明对传统卷积神经网的每一层添加监督项，以增强所学特征的透明性与减轻梯度弥散的问题。本发明的4个相关任务——姿态检测、笑容检测、眼镜检测和性别预测与主任务——人脸点的检测共享特征空间以增强主任务的准确率，也增强网络的整体泛化能力。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明***一实施例的结构框图；

图2是本发明方法中逐层监督网络示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明针对传统卷积神经网络所存在的问题，提出一种基于多任务正则化与逐层监督神经网络的人脸点检测***。本***在多任务正则部分，针对传统卷积神经网络的过拟合问题，利用相关任务标签的优势以学习到高层次识别任务的共有特征表示。在逐层监督学习部分，本***针对传统卷及神经网络梯度弥散所学特征显著性不够的问题，在神经网络的每一中间层添加监督层，以提升从输出层反向传播回来的梯度信号。本发明将此***用于人脸点检测，有效证明了多任务正则与逐层监督神经网络的有效性。

如图1所示，为本发明***一实施例的结构框图，包括：多任务正则化模块和逐层监督网络模块。

本实施例中，所述的多任务正则化模块中的主任务与几个相关任务共同学习得到共有的特征空间，再利用相关任务的辅助标签提供附加正则项以加强网络的泛化能力。

本实施例中，优化目标函数由主任务损失函数与相关任务损失函数的线性组合表示而成：

其中λ^a是第a个相关任务的权重，是主任务损失函数，是第a个相关任务的损失函数，T是所有任务的总个数，w是神经网络的各层待求参数。

本实施例中的主任务是人脸5个坐标点的检测，相关任务分别是：姿态检测、笑容检测、眼镜检测和性别预测。

对于一组训练样本i＝1，…，N，t＝1，…，T，N和T分别为样本总数和任务个数，其中样本表示第t个任务的原始输入，表示相应的真实标签数据。左眼、右眼、鼻子、左嘴角和右嘴角这5个点的检测是回归任务，因此目标值是相应点的坐标值。主任务的损失函数采用平方误差函数：其中f(x；w)是5个点的预测坐标值，||.||²是平方差函数；4个相关任务的损失函数采用交叉熵函数：其中是softmax函数，用以对后验概率的建模。

因此，与式(1)相对应，最终优化目标函数是：

$\underset{w}{\min }{\left|\right|y-f(x;w)\left|\right|}^2+\underset{a=1}{\overset{T-1}{\mathrm{\Σ}}}{\mathrm{\λ}}^a(-y\log \left(p\left(y^a\right|x)\right))---\left(2\right)$

本实例中，所述的逐层监督网络模块不同于传统卷积神经网络只对输出层目标函数进行优化，而是对每一中间层都引入监督目标函数如图2，从而加强中间层学习到的特征的显著性。卷积神经网络由K层卷积层和pooling层交替组成以提取层次化的特征，可由下列递归式表示：

Z_k＝pool(Z_k-1*W_k+b_k)(3)

其中Z_k是第k个卷积层的特征图，Z_k-1是第k-1个卷积层的特征图，W_k是需要学习的滤波器权重，b_k是偏差项。

本发明采用深度监督的方法，在中间每个卷积层响应后面加入回归监督，以使得更准确地解公式(2)，

其中是最后输出层的目标函数，而是第k层所输出的伴随监督目标函数。因此：

其中w和w_k分别表示最后层和中间层的滤波器参数，K是卷积总层数，α_k是第k个卷积层的回归监督函数所占权重。注意到为了保证主任务的优先性，只对主任务施加监督项。

对于最终的待优化问题公式(4)，即多任务正则化模块的输出函数，采用随机梯度下降法求解，即首先前向学习共有的特征表示，再将信号反向传播回去以细化这种表示，重复上述两个步骤直至网络收敛。

实施效果

依据上述步骤，采用发明内容中的步骤进行实施，实验所用训练数据来源于数据集LFW和网络的共计10000幅图片，每一幅图片都标注有5个点，分别是：左眼、右眼、鼻子、左嘴角和右嘴角。将所有标注值都根据图片大小归一化到[0,1]。实验所用测试数据来源于数据集AFLW、AFW和LFPW。本发明采用三层滤波器大小均为5x5的卷积层，每一卷积层后分别连接pooling层和回归监督层，第四层为含64个神经元的全连接层，最后为含有主任务人脸点检测和4个脸部相关属性的多任务网络层。本实例***分别比较了传统卷积神经回归网、逐层监督网络、多任务正则化网络，所测得5个点的平均错误率分别为：2.14％、5.18％、2.80％和2.71％。实验表明，本发明提出的基于多任务学习与逐层监督神经网络的***在人脸点检测的问题中具有很好的效果。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (9)

1.一种基于多任务正则化与逐层监督神经网络的人脸点检测***，其特征在于，包括：多任务正则化模块和逐层监督网络模块，其中：

所述逐层监督网络模块，对输入图像根据其像素值进行特征提取，不同于传统卷积神经网络只对输出层目标函数进行优化，该模块对每一中间层都引入监督目标函数，从而加强中间层学习到的特征的显著性，再将输出特征输入给多任务正则化模块进行信号的反向传播，以此重复直至网络收敛；

所述多任务正则化模块，包括主任务与相关任务，主任务与相关任务共同学习逐层监督网络模块的参数得到所有任务共有的特征空间，再利用相关任务的辅助标签提供附加正则项以加强网络的泛化能力，最后输出主任务的预测坐标值。

2.根据权利要求1所述的基于多任务正则化与逐层监督神经网络的人脸点检测***，其特征是，所述多任务正则化模块，包括主任务子模块与相关任务子模块，其中：

所述主任务子模块对输入人脸图像5个特征点的检测，分别是：左眼、右眼、鼻子、左嘴角和右嘴角的检测，预测每个点的坐标值作为最终输出；

所述相关任务子模块分别对输入人脸图像进行姿态估计、笑容检测、眼镜检测与性别预测，预测每个分类任务的标签值以提升主任务的预测准确率。

3.根据权利要求2所述的基于多任务正则化与逐层监督神经网络的人脸点检测***，其特征是，所述多任务正则化模块的主要目的是产生待优化目标函数，即预测值与真实值之差，对该目标函数进行最小化问题求解以使预测值尽可能逼近真实值。

4.根据权利要求3所述的基于多任务正则化与逐层监督神经网络的人脸点检测***，其特征是，所述多任务正则化模块的优化目标函数是主任务损失函数和相关任务损失函数的线性组合。

5.根据权利要求4所述的基于多任务正则化与逐层监督神经网络的人脸点检测***，其特征是，所述的主任务损失函数和相关任务损失函数分别用平方差回归函数和交叉熵函数表示。

6.根据权利要求1-5任一项所述的基于多任务正则化与逐层监督神经网络的人脸点检测***，其特征是，所述逐层监督网络模块，在中间每个卷积层之后添加回归监督函数，与多任务正则化模块中的待优化目标函数一起进行信号的反向传播。

7.根据权利要求6所述的基于多任务正则化与逐层监督神经网络的人脸点检测***，其特征是，所述逐层监督网络模块，其中回归监督函数是卷积层输出坐标值与真实坐标值的平方差函数。

8.根据权利要求6所述的基于多任务正则化与逐层监督神经网络的人脸点检测***，其特征是，所述的所述逐层监督网络模块，其中回归监督函数的反向传播，减轻了传统卷积神经网络的梯度弥散问题。

9.根据权利要求1-5任一项所述的基于多任务正则化与逐层监督神经网络的人脸点检测***，其特征是，所述的逐层监督网络模块，只对主任务进行监督，而不对相关任务监督以保证主任务的优先性。