CN106022287A - 一种基于深度学习与字典表示的跨年龄人脸验证方法 - Google Patents

Abstract

本发明公开一种基于深度学习与字典表示的跨年龄人脸验证方法，包括：对待验证的人脸图像进行关键点标定，获得人脸关键点；提取每一个关键点对应的局部区域人脸块，获得各关键点对应的局部人脸块；将局部人脸块输入到已经训练好的深度卷积神经网络中，提取这些局部人脸块的高层次特征，每个人脸块可获得一个多维向量表示该人脸块的高层次特征；采集多幅图像，对这些外部数据做上述操作，提取每个类的每个区域的每个年龄的特征，构成外部数据参考集；求训练图像和测试图像在外部数据参考集上的编码向量；根据每一个分块在外部数据参考集上的编码向量，利用余弦相似度的最小和得到正确的识别结果。

Description

一种基于深度学习与字典表示的跨年龄人脸验证方法

技术领域

本发明涉及计算机视觉领域，更具体地，涉及一种基于深度学习与字典表示的跨年龄人脸验证方法。

背景技术

科技的发展使得摄像设备得到了普及，数量巨大的人脸图像数据也随之产生。同时，许多领域都需要应用人脸验证技术，如：各种会场入口、海关过境通道等。在这些应用中，可能只能获得两张跨年龄的人脸图像，就产生了跨年龄的人脸验证的问题。凡乎所有的人脸验证技术的应用都是基于相同年龄段的，但一旦需要要验证两幅跨年龄的人脸图像时，这些人脸识别技术和***就无所适从了，也就不能应用了。因此解决了跨年龄人脸验证的问题，就可以大大拓宽人脸识别技术的应用范围，使其更广泛地为人类服务。

人脸外貌的老化是一个极其复杂的过程，它对人脸的形状和纹理产生生理结构上的变化。近年来，人类感知物理学和计算机视觉领域均提出了不少关于人脸老化的研究方法。Todd等认为生物体的结构模型会因其所受外力的大小和方向的变化而变化，基于该思想他们提出了一种静水力学模型的方法来刻画人脸结构的成长。Burt和Perrett提出了“复合人脸”的概念，通过把复合人脸的差图信息移植到人脸图像上的方法来增强变换后人脸图像的感观年龄，从而达到模拟老化的目的。Tiddeman等则对该方法进行了扩展，提出了一种新的基于小波的方法构造出更具代表性的“复合人脸”的老化方法。许志维等提出了一种基于原始非负矩阵分解算法的老化方法来预测人脸影像，但该方法没有考虑稀疏约束这一条件对老化结果的影响。王章野等基于黄种人脸图像数据库提出了一种基于人脸外轮廓局部曲率标准差的个性化原型匹配算法，并取得了较好的老化模拟结果。

对于跨年龄人脸识别，目前的主要方法是构建一个2D或3D的年龄老化模型，然后重构出跨年龄的人脸图像用来去除年龄的影响。Wu等提出使用一个相关脸部增长模型模拟跨年龄的人脸形状用于跨年龄人脸识别，但这种方法需要年龄信息来预测新的人脸形状，有时候不可行。Ling等提出使用基于梯度方向金字塔的SVM算法用于跨年龄人脸验证。Li等提出使用多特征鉴别性分析用于闭集人脸验证。

上述方法大多不能在跨年龄人脸识别上取得很好的效果，对于跨年龄人脸验证的场合无法应用这些方法。

发明内容

为了克服上述现有技术的不足，本发明提供了一种基于深度学习和字典表示的跨年龄人脸验证方法。本方法将待验证的人脸图像作为输入，通过深度神经网络提取多区域的高层次特征，求这些特征在外部参考字典上的编码向量，最后对编码向量求余弦相似度。

为了达到上述目的，本发明采用的技术方案是：

一种基于深度学习与字典表示的跨年龄人脸验证方法，包括如下步骤：

(1)对于待验证的图像，采用人脸关键点定位的方法，定位出10个点，提取这10个点对应的局部人脸块；

(2)对于每一个关键点的人脸块，训练该位置对应的深度学习框架，每个区域都是独立的，提取这些人脸块的高层次特征，每个块的特征为一个M维向量；

(3)从互联网上利用网络爬虫，爬取大量的跨年龄的人脸图像作为外部数据，对这些图像也做步骤(1)、(2)操作，获得每个块的高层次特征向量，将所有类的每个关键点的块的相同年龄段的特征构成一个字典，这里设定8个年龄段，即有8个年龄段的字典；

(4)求待验证的人脸图像的高层次特征在每一个年龄段参考字典上的编码向量；

(5)每个人脸块都获得8个编码向量，可构成一个M*8的编码向量矩阵，对这个矩阵采用最大池化方式池化成一个M维向量，对这个矩阵每一行取最大的那个元素作为向量的元素，这个向量就作为这个人脸的最终编码向量。

(6)对人脸图像的10个人脸块的10个编码向量采用余弦相似度计算两幅图像的相似性验证。

优选的，步骤(1)中，对待验证图像采用基于特征点的方式分块，在外部数据中，每一个位置的同一年龄的人脸块构建该位置的同一年龄人脸参考子集，则获得每个位置对应的8个年龄段的人脸子集。

优选的，步骤(2)中，将待验证两幅人脸图像的每一个人脸块输入的深度神经网络中提取高层次特征，深度神经网络采用的是基于卷积神经网络的结构，包括了11层，5个卷积层和5个池化层，每个卷积层后接一个池化层，池化层采用最大池化的方式，最后接一个全连接层，输出的是高层次特征。

优选的，步骤(3)中，对于从互联网上获得的跨年龄人脸图像数据，我们限定选取M个类，每个类大概有8组的不同年龄段的人脸图像，重复(1)(2)操作提取高层次的特征，获得每个块的高层次特征向量，将所有类的每个关键点的块的相同年龄段的特征构成一个字典，这里设定8个年龄段，即每一个人脸关键点有8个字典年龄的字典。

优选的，步骤(4)中，求训练图像与测试图像的高层次特征在每一个年龄段参考字典上的编码向量，具体过程如下：

$\begin{array}{cc}\underset{{\mathrm{\α}}^{(j,k)}}{\min imize}\left|\right|x^{\left(k\right)}-C^{(j,k)}{\mathrm{\α}}^{(j,k)}|{|}^2+\mathrm{\λ}|\left|{\mathrm{\α}}^{(j,k)}\right|{|}^2,& \∀j,k\end{array}$

其中，x^k代表第k个人脸块，C^(j,k)是第k个人脸块的第j个年龄段的字典，α^(j,k)就是要验证的人脸图像的第k个人脸块在第j个年龄段字典上的编码向量。

优选的，步骤(5)中，每个人脸块都获得8个编码向量，可构成一个M*8的编码向量矩阵，对这个矩阵采用最大池化方式池化成一个M维向量，对这个矩阵每一行取最大的那个元素作为向量的元素，这个向量就作为这个人脸的最终编码向量。

优选的，步骤(6)中，对每幅待验证的人脸图像的10个编码向量采用余弦相似度计算两幅图像的相似性验证。

本发明相对于现有技术具有如下的优点及效果：

1、本发明提出了一种新的基于深度学习与字典表示的跨年龄人脸验证方法。

2、本发明利用深度卷积神经网络提取高层次特征。

3、本发明通过引入外部数据学习多个跨年龄的参考字典，通过最大池化编码向量达到具有年龄不变性的效果。

4、本发明采用基于关键点标定的方式定位局部人脸块，充分利用人脸鉴别性的特征信息。

附图说明

图1为本发明的总体流程图。

图2为深度卷积神经网络结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

附图给出了本发明的操作过程，

如图1所示，一种基于深度学习与字典表示的人脸验证方法，包括以下步骤：

(1)对于待验证图像，采用人脸关键点定位的方法，定位出10个点，提取这10个点对应的局部人脸块；

(2)对于每一个关键点的人脸块，训练该位置对应的深度学习框架，每个区域都是独立的，提取这些人脸块的高层次特征，每个块的特征为一个M维向量；

(3)从互联网上利用网络爬虫，爬取大量的跨年龄的人脸图像作为外部数据，对这些图像也做步骤(1)、(2)操作，获得每个块的高层次特征向量，将所有类的每个关键点的块的相同年龄段的特征构成一个字典，这里设定8个年龄段，即有8个年龄段的字典；

(4)求待验证的人脸图像的高层次特征在每一个年龄段参考字典上的编码向量；

(5)每个人脸块都获得8个编码向量，可构成一个M*8的编码向量矩阵，对这个矩阵采用最大池化方式池化成一个M维向量，对这个矩阵每一行取最大的那个元素作为向量的元素，这个向量就作为这个人脸的最终编码向量。

(6)对人脸图像的10个人脸块的10个编码向量采用余弦相似度计算两幅图像的相似性验证。

步骤(1)中的具体过程如下：对待验证图像采用基于特征点的方式分块，在外部数据中，每一个位置的同一年龄的人脸块构建该位置的同一年龄人脸参考子集，则获得每个位置对应的8个年龄段的人脸子集。

步骤(2)中的具体过程如下：将待验证两幅人脸图像的每一个人脸块输入的深度神经网络中提取高层次特征，深度学习网络如图2所示。

步骤(3)中的具体过程如下：对于从互联网上获得的跨年龄人脸图像数据，我们限定选取M个类，每个类大概有8组的不同年龄段的人脸图像，重复步骤(1)、(2)操作提取高层次的特征，获得每个块的高层次特征向量，将所有类的每个关键点的块的相同年龄段的特征构成一个字典，这里设定8个年龄段，即每一个人脸关键点有8个字典年龄的字典。

步骤(4)中的具体过程如下：求训练图像与测试图像的高层次特征在每一个年龄段参考字典上的编码向量，具体过程如下：

$\begin{array}{cc}\underset{{\mathrm{\α}}^{(j,k)}}{\min imize}\left|\right|x^{\left(k\right)}-C^{(j,k)}{\mathrm{\α}}^{(j,k)}|{|}^2+\mathrm{\λ}|\left|{\mathrm{\α}}^{(j,k)}\right|{|}^2,& \∀j,k\end{array}$

其中，x^k代表第k个人脸块，C^(j,k)是第k个人脸块的第j个年龄段的字典，α^(j,k)就是要验证的人脸图像的第k个人脸块在第j个年龄段字典上的编码向量。

步骤(5)中的具体过程如下：每个人脸块都获得8个编码向量，可构成一个M*8的编码向量矩阵，对这个矩阵采用最大池化方式池化成一个M维向量，对这个矩阵每一行取最大的那个元素作为向量的元素，这个向量就作为这个人脸的最终编码向量。

步骤(6)中的具体过程如下：对每幅待验证的人脸图像的10个编码向量采用余弦相似度计算两幅图像的相似性验证。

以上所述的本发明的实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神原则之内所作出的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。

Claims (4)

1.一种基于深度学习与字典表示的跨年龄人脸验证方法，其特征在于，包括以下步骤：

(1)对于待验证图像，采用人脸关键点定位的方法，定位出若干个关键点，提取所有关键点对应的局部人脸块；

(2)对于每一个关键点的局部人脸块，训练该局部人脸块对应的深度学习框架，每个局部人脸块的深度学习框架都是独立的，提取人脸块的高层次特征向量，每个局部人脸块的高层次特征向量为一个M维向量；

(3)采集跨年龄的人脸图像作为外部数据，对这些人脸图像做步骤(1)、(2)的操作，获得每个人脸图像的关键点的局部人脸块的高层次特征向量，将所有脸图像的每个关键点的局部人脸块的相同年龄段的特征构成一个字典，设定N个年龄段，即有N个年龄段的字典；

(4)求待验证的人脸图像的每个关键点的局部人脸块的高层次特征向量在每一个年龄段的字典上的编码向量；

(5)人脸图像的每个关键点的每个局部人脸块都获得N个编码向量，构成一个M*N的编码向量矩阵，对这个编码向量矩阵采用最大池化方式池化成一个M维向量，即对编码向量矩阵的每一行取最大的元素作为新的M维向量对应行的元素，这个新的M维向量就作为这个人脸图像的最终编码向量；

(6)对人脸图像的若干个人脸块的N个编码向量采用余弦相似度计算两幅图像的相似性验证。

2.根据权利要求1所述的基于深度学习与字典表示的跨年龄人脸识别方法，其特征在于，所述步骤(1)中，对待验证图像采用基于特征点的方式分块。

3.根据权利要求1所述的基于深度学习与字典表示的跨年龄人脸识别方法，其特征在于，所述步骤(2)中，将待验证两幅人脸图像的每一个人脸块输入到深度神经网络中提取高层次特征；深度神经网络采用的是基于卷积神经网络的结构，包括了11层，5个卷积层和5个池化层，每个卷积层后接一个池化层，池化层采用最大池化的方式，最后接一个全连接层，输出的是高层次特征。

4.根据权利要求1所述的基于深度学习与字典表示的跨年龄人脸识别方法，其特征在于，所述步骤(4)中，求训练图像与测试图像的高层次特征向量在每一个年龄段字典上的编码向量，具体过程如下：

$\underset{{\mathrm{\α}}^{(j,k)}}{minimize}\left|\right|x^{\left(k\right)}-C^{(j,k)}{\mathrm{\α}}^{(j,k)}|{|}^2+\mathrm{\λ}|\left|{\mathrm{\α}}^{(j,k)}\right|{|}^2,\∀j,k$

其中，x^k代表第k个局部人脸块，C^(j,k)是第k个局部人脸块的第j个年龄段的字典，α^(j,k)是要验证的人脸图像的第k个局部人脸块在第j个年龄段字典上的编码向量，λ是一个常数，用于平衡α^(j,k)与前面的最小二乘项的稀疏性与大小关系，防止过拟合，j＝1,2,...,N。