CN104346607A - 基于卷积神经网络的人脸识别方法 - Google Patents

Abstract

本发明提供了一种基于卷积神经网络的人脸识别方法，包括：对人脸图像进行必要的前期预处理，得到理想的人脸图像；选取理想的人脸图像作为卷积神经网络的输入进入U₀，U₀的输出进入U_G，U_G的输出作为U_S1的输入；U_S1的S神经元通过有监督训练，提取输入图像中不同方向的边缘成分作为第一次的特征提取并输出至特U_C1的输入；U_C1的输出作为U_S2的输入，U_S2完成第二次的特征提取并作为U_C2的输入；U_C2的输出作为U_S3的输入，U_S3完成第三次的特征提取并作为U_C3的输入；U_C3的输出作为U_S4的输入，U_S4通过监督竞争学***面数并作为U_C4的输入；U_C4作为网络的输出层，输出由U_S4的输出最大结果所决定的网络最终的模式识别结果。本发明能够提高复杂场景下人脸的识别率。

Description

基于卷积神经网络的人脸识别方法

技术领域

本发明涉及一种基于卷积神经网络的人脸识别方法。

背景技术

人脸识别技术是利用计算机分析人脸图像,提取有效的特征信息,识别个人身份的技术。它首先判断图像中是否存在人脸？如果存在则进一步确定每张人脸的位置、大小信息。并依据这些信息进一步提取每张人脸中潜在的模式特征,将其与已知人脸库中的人脸进行对比,从而识别每张人脸的类别信息。其中,判断一幅图像中是否存在人脸的过程就是人脸检测,将提取特征后的图像与已知人脸库对比的过程就是人脸识别。

近几年研究者在人脸检测与人脸识别方面取得了大量成果,在检测性能和识别性能上都有很大提高。近几年,大量的人脸检测算法被提出,这些算法大致可以分为3类:(1)基于肤色特征的方法，(2)基于知识模型的方法，(3)基于统计理论的方法。其中，人工神经网络(ANN)方法通过训练一个网络结构,把模式的统计特性隐含在网络结构和参数之中，对于人脸这类复杂的、难以显式描述的模式,基于ANN的方法具有独特的优势，Rowiey使用了两层ANN检测多姿态的人脸,第一层用来估计输入图像窗口的人脸姿态,第二层为三个人脸检测器,分别用来检测正面人脸、半侧面人脸、侧面人脸。一幅输入图像首先经过人脸姿态检测器估计其人脸姿态,对图像进行相应的预处理后,将其作为第二层的三个人脸检测器,最终确定人脸的位置以及姿态。

人脸识别大致可分为以下几类方法:(l)基于几何特征的方法；(2)基于弹性模型匹配方法；(3)神经网络方法；(4)基于线性和非线性子空间的方法。目前，存在的很多算法对场景简单的人脸图像具有很好的识别效果,然而在视频监控领域,视频图像受光照，方位，噪声和不同的人脸及表情等影响,即使目前高性能的人脸识别算法在这样的条件下仍不能达到非常理想的识别结果。

人脸识别的困难具体体现在如下几个方面:

(l)相机的成像角度，即姿态对大部分人脸识别算法都有很大的影响,特别是基于简单几何特征的算法。两张属于同一个人的人脸图像由于姿态的影响可能会造成这两张图像的相似度还不如两张属于不同人的图像。

(2)光照的变化会改变人脸图像灰度信息,对于一些基于灰度特征的识别算法影响很大。

(3)表情的变化也会造成识别性能的下降。

(4)人脸图像还可能受到年龄,遮挡以及人脸图像尺度等因素的影响,会在不同程度上影响人脸识别算法的性能。

卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络(Convolutional Neural Networks-简称CNN)。现在，CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。K.Fukushima在1980年提出的新识别机是卷积神经网络的第一个实现网络。随后，更多的科研工作者对该网络进行了改进。其中，具有代表性的研究成果是Alexander和Taylor提出的“改进认知机”，该方法综合了各种改进方法的优点并避免了耗时的误差反向传播。

一般地，CNN的基本结构包括二层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其他特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。

CNN主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于CNN的特征检测层通过训练数据进行学习，所以在使用CNN时，避免了显示的特征抽取，而隐式地从训练数据中进行学习；再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。

下面是卷积神经网络进行人脸是识别的原理描述：

如图1所示，一个完整的复杂场景下人脸自动识别***主要包括场景图像采集与预处理、人脸检测与定位、人脸特征提取与人脸识别几个模块。

图1中，场景图像采集与预处理模块对动态采集到的图像进行处理，以克服噪声干扰，改善识别效果，主要包括图像增强以滤除噪声，校正不均匀光照，增强对比度使复杂场景图像具有一定的可辨性；人脸检测与定位模块是在动态采集的图像中，自动找到所要识别人脸的位置，常用方法包括基于肤色模型的人脸定位算法，基于统计模型的人脸定位算法，基于特征模型的人脸定位算法；人脸特征提取是在人脸定位之后需要做的一项工作，常用的方法包括基于欧式距离的特征提取，基于KL变换的特征提取；基于SVD的特征提取，基于ICA的特征提取等；最后一个模块是人脸识别模块，完成对每个人脸图像的识别，常用方法主要包括两大类；一类是静态图像识别，另一类是动态图像识别。在这两大类方法中，人工神经网络(ANN)方法通过训练一个网络结构，把模式的统计特性隐含在网络结构和参数之中，对于人脸这类复杂的、难以显式描述的模式，基于ANN的方法具有独特的优势。本发明采用的就是神经网络识别法。

根据是否进行特征提取，神经网络人脸识别***可分为两大类：有特征提取部分的识别***和无特征提取部分的识别***。前者实际上是传统方法与神经网络方法技术的结合，这种方法可以充分利用人的经验来获取模式特征以及神经网络分类能力来识别人脸，特征提取必须能反应整个人脸的特征，才能达到较高的识别率；后者则省去特征抽取，将整个人脸图像直接作为神经网络的输入。这种方式虽然在一定程度上增加了神经网络结构的复杂度，但是网络的抗干扰性能和识别率较前者都有很大的提高。本发明中将要采用的CNN就属于第二类神经网络。

发明内容

本发明的目的在于提供一种基于卷积神经网络的人脸识别方法，能够提高人脸识别率和抗干扰性。

为解决上述问题，本发明提供一种基于卷积神经网络的人脸识别方法，包括：

步骤一，对人脸图像进行必要的前期预处理，得到理想的人脸图像；

步骤二，选取理想的人脸图像作为卷积神经网络的输入进入输入层U₀，输入层U₀的输出进入差异提取层U_G，U_G层的输出作为特征提取层S的第一层U_S1的输入；

步骤三，第一层U_S1的S神经元通过有监督训练，提取输入图像中不同方向的边缘成分作为第一次的特征提取并输出至特征映射层C的第一层U_C1的输入，其中，所述特征映射层C为由复杂神经元组成的神经层，特征映射层C的输入连接是固定的，不可修改，每个特征映射为一个平面，平面上所有神经元的权值相等；

步骤四，第一层U_C1的输出作为特征提取层S的第二层U_S2的输入，第二层U_S2完成第二次的特征提取并作为特征映射层C的第二层U_C2的输入；

步骤五，特征映射层C的第二层U_C2的输出作为特征提取层S的第三层U_S3的输入，第三层U_S3完成第三次的特征提取并作为特征映射层C的第三层U_C3的输入；

步骤六，特征映射层C的第三层U_C3的输出作为特征提取层S的第四层U_S4的输入，第四层U_S4通过监督竞争学***面数并作为特征映射层C的第四层U_C4的输入；

步骤七，第四层U_C4作为网络的输出层，输出由第四层U_S4的输出最大结果所决定的网络最终的模式识别结果。

进一步的，在上述方法中，所述前期预处理包括定位和分割的预处理。

进一步的，在上述方法中，步骤二中差异提取层U_G的输出如下式所示：

$u_G(n,k)=\max \left\{\right[{(-1)}^k\underset{\left|v\right|<A_G}{\mathrm{\&Sigma;}}{a}_G\left(v\right)\&CenterDot;u_0(n+v)],0\}(k=\mathrm{1,2}),$

式中，U₀代表前一层的输出，n代表输入的神经元，v代表指定区域，对v求和代表包含了指定区域的神经元总和，a_G(ξ)是神经元连接的强度，差异提取层U_G有2个神经元平面，当k＝2时，为加强中心神经元，k＝1时，代表抑止中心神经元，A_G是v的半径，U_G层每个神经元的所有输入连接必须满足一个约束条件即 $\underset{\left|v\right|<A_G}{\mathrm{\&Sigma;}}{a}_G\left(v\right)=0.$

进一步的，在上述方法中，步骤三至六中，特征提取层S中每一层S神经元的响应函数如下式所示：

$u_{\mathrm{sl}}(n,k)=\frac{{\mathrm{\&theta;}}_l}{1-{\mathrm{\&theta;}}_l}\max \left\{\right[\frac{1+\underset{\mathrm{\&kappa;}=1}{\overset{K_{\mathrm{Cl}-1}}{\mathrm{\&Sigma;}}}\underset{\left|v\right|<A_{\mathrm{Sl}}}{\mathrm{\&Sigma;}}{a}_{\mathrm{Sl}}(v,\mathrm{\&kappa;},k)\&CenterDot;u_{\mathrm{Cl}-1}(n+v,\mathrm{\&kappa;})}{1+{\mathrm{\&theta;}}_l\&CenterDot;v_l\left(n\right)}-1],0\}$

式中，a_Sl(v,κ,k)(≥0)是上一层特征映射层C神经元u_Cl-1(n+v,κ)至该层S神经元的连接函数，同一神经元平面的所有神经元的输入连接是相同的，θ_l是第l层S神经元的阈值，A_Sl是v的半径，当l＝1时，u_Cl-1(n,κ)即为u_G(n,k)，此时，K_Cl-1＝2。

进一步的，在上述方法中，步骤三至六中，除U_C4层外，特征映射层C的其余三层U_C1、U_C2和U_C3的C神经元响应函数如下式所示：

$u_{\mathrm{cl}}(n,k)=\frac{\max \{\underset{\left|v\right|<A_{\mathrm{Cl}}}{\mathrm{\&Sigma;}}{a}_{\mathrm{Cl}}\left(v\right)\&CenterDot;u_{\mathrm{Sl}}(n+v,k),0\}}{1+\max \{\underset{\left|v\right|<A_{\mathrm{Cl}}}{\mathrm{\&Sigma;}}{a}_{\mathrm{Cl}}\left(v\right)\&CenterDot;u_{\mathrm{Sl}}(n+v,k),0\}}$

式中，a_Cl(v)是C层的输入。

与现有技术相比，本发明具有如下优点：

(1)通过一层一层的特征提取结构使网络在识别时对输入样本有较高的畸变容忍能力；

(2)卷积神经网络通过避免显式地特征提取过程，隐式地从训练样本中获取对构筑训练样本空间贡献较大的特征，与传统网络相比有更高的识别率和抗干扰性；

(3)采用不同的神经元和学习规则的组合形式，进一步提高了网络的识别能力；

(4)通过对理想预处理条件下的人脸图像的学习，优化了网络***中各层的权值参数，大大提高了复杂场景中的人脸识别率。实验结果表明此方法明显优于结构法，模板匹配法等传统识别方法。

附图说明

图1是现有的人脸自动识别方法框图；

图2是本发明一实施例的神经网络网络结构图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图2所示，本发明提供一种基于卷积神经网络的人脸识别方法，包括：

步骤S1，对人脸图像进行必要的前期预处理，得到理想的人脸图像；具体的，所述前期预处理包括定位，分割等的预处理；

步骤S2，选取理想的人脸图像作为卷积神经网络的输入进入输入层U₀，输入层U₀的输出进入差异提取层U_G，U_G层的输出作为特征提取层S的第一层U_S1的输入；具体的，图2中，特征提取层S为简单(simple)神经元组成的神经层，完成特征提取，其输入连接是可变的，并在学习过程中不断更正；具体的，差异提取层U_G的输出如式(1)所示：

$u_G(n,k)=\max \left\{\right[{(-1)}^k\underset{\left|v\right|<A_G}{\mathrm{\&Sigma;}}{a}_G\left(v\right)\&CenterDot;u_0(n+v)],0\}(k=\mathrm{1,2})---\left(1\right)$

式中，U₀代表前一层的输出，n代表输入的神经元，v代表指定区域，对v求和代表包含了指定区域的神经元总和，a_G(ξ)是神经元连接的强度，差异提取层U_G有2个神经元平面，当k＝2时，为加强中心神经元，k＝1时，代表抑止中心神经元，A_G是v的半径，U_G层每个神经元的所有输入连接还必须满足一个约束条件即才能起到差异提取的作用；

步骤S3，第一层U_S1的S神经元通过有监督训练，提取输入图像中不同方向的边缘成分作为第一次的特征提取并输出至特征映射层C的第一层U_C1的输入，其中，所述特征映射层C为由复杂(complex)神经元组成的神经层，特征映射层C的输入连接是固定的，不可修改，显示感受野被激励位置的近似变化，每个特征映射为一个平面，平面上所有神经元的权值相等；具体的，特征提取层S中每一层S神经元的响应函数如式(2)所示

$u_{\mathrm{sl}}(n,k)=\frac{{\mathrm{\&theta;}}_l}{1-{\mathrm{\&theta;}}_l}\max \left\{\right[\frac{1+\underset{\mathrm{\&kappa;}=1}{\overset{K_{\mathrm{Cl}-1}}{\mathrm{\&Sigma;}}}\underset{\left|v\right|<A_{\mathrm{Sl}}}{\mathrm{\&Sigma;}}{a}_{\mathrm{Sl}}(v,\mathrm{\&kappa;},k)\&CenterDot;u_{\mathrm{Cl}-1}(n+v,\mathrm{\&kappa;})}{1+{\mathrm{\&theta;}}_l\&CenterDot;v_l\left(n\right)}-1],0\}---\left(2\right)$

式中，a_Sl(v,κ,k)(≥0)是上一层特征映射层C神经元u_Cl-1(n+v,κ)至该层S神经元的连接函数，同一神经元平面的所有神经元的输入连接是相同的，θ_l是第l层S神经元的阈值，A_Sl是v的半径。当l＝1时，u_Cl-1(n,κ)即为u_G(n,k)，此时，K_Cl-1＝2；

步骤S4，第一层U_C1的输出作为特征提取层S的第二层U_S2的输入，第二层U_S2完成第二次的特征提取并作为特征映射层C的第二层U_C2的输入；

步骤S5，特征映射层C的第二层U_C2的输出作为特征提取层S的第三层U_S3的输入，第三层U_S3完成第三次的特征提取并作为特征映射层C的第三层U_C3的输入；

步骤S6，特征映射层C的第三层U_C3的输出作为特征提取层S的第四层U_S4的输入，第四层U_S4通过监督竞争学***面数并作为特征映射层C的第四层U_C4的输入；

步骤S7，第四层U_C4作为网络的输出层即识别层，输出由第四层U_S4的输出最大结果所决定的网络最终的模式识别结果。具体的，网络中特征映射层C的最后一层为识别层，给出模式识别的结果。经过学习，网络可以自动地识别输入模式，而不受输入图片扭曲，缩放和位移的影响。

优选的，除U_C4层外，特征映射层C的其余三层U_C1、U_C2和U_C3的C神经元响应函数如式(3)所示：

$u_{\mathrm{cl}}(n,k)=\frac{\max \{\underset{\left|v\right|<A_{\mathrm{Cl}}}{\mathrm{\&Sigma;}}{a}_{\mathrm{Cl}}\left(v\right)\&CenterDot;u_{\mathrm{Sl}}(n+v,k),0\}}{1+\max \{\underset{\left|v\right|<A_{\mathrm{Cl}}}{\mathrm{\&Sigma;}}{a}_{\mathrm{Cl}}\left(v\right)\&CenterDot;u_{\mathrm{Sl}}(n+v,k),0\}}---\left(4\right)$

式中，a_Cl(v)是C层的输入。

从图2中可以看出，网络由输入层U₀，差异提取层U_G、4组S层和4层C层组成，主要流程图如下：U₀→U_G→U_S1→U_C1→U_S2→U_C2→U_S3→U_C3→U_S4→U_C4。其中差异提取层U_G对应于视网膜中的中心细胞，由加强中心感受野神经元平面和抑制中心神经元平面两部分构成，U_G层的输出作为特征提取层S的第一层U_S1的输入；U_S1层中的S神经元通过有监督训练，提取输入图像中不同方向的边缘成分，它的输出作为U_C1的输入；第特征提取层S的第二层U_S2和第三层U_S3的神经元是无监督竞争学习的自组织神经元；U_S4层通过监督竞争学习的训练来正确识别所有样本；U_C4层是网络的输出层即识别层，显示网络最终的模式识别结果。

本发明通过对人脸图像的样本学习，优化神经网络每层的权值参数，从而在很大程度上提高复杂场景下人脸的识别率，多次的特征提取结构使得网络有较高的抗干扰能力，这里的复杂场景主要是指人脸图像受到光照、表情、姿态因素影响的场景，具有良好的容错能力、并行处理能力和自学习能力，可处理环境信息复杂，背景知识不清楚，推理规则不明确情况下的问题，允许样品有较大的缺损、畸变，运行速度快，自适应性能好和较高的分辨率，可应用于模式识别、异常检测、图像处理等领域。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (5)

1.一种基于卷积神经网络的人脸识别方法，其特征在于，包括：

步骤一，对人脸图像进行必要的前期预处理，得到理想的人脸图像；

步骤二，选取理想的人脸图像作为卷积神经网络的输入进入输入层U₀，输入层U₀的输出进入差异提取层U_G，U_G层的输出作为特征提取层S的第一层U_S1的输入；

步骤三，第一层U_S1的S神经元通过有监督训练，提取输入图像中不同方向的边缘成分作为第一次的特征提取并输出至特征映射层C的第一层U_C1的输入，其中，所述特征映射层C为由复杂神经元组成的神经层，特征映射层C的输入连接是固定的，不可修改，每个特征映射为一个平面，平面上所有神经元的权值相等；

步骤四，第一层U_C1的输出作为特征提取层S的第二层U_S2的输入，第二层U_S2完成第二次的特征提取并作为特征映射层C的第二层U_C2的输入；

步骤五，特征映射层C的第二层U_C2的输出作为特征提取层S的第三层U_S3的输入，第三层U_S3完成第三次的特征提取并作为特征映射层C的第三层U_C3的输入；

步骤六，特征映射层C的第三层U_C3的输出作为特征提取层S的第四层U_S4的输入，第四层U_S4通过监督竞争学***面数并作为特征映射层C的第四层U_C4的输入；

步骤七，第四层U_C4作为网络的输出层，输出由第四层U_S4的输出最大结果所决定的网络最终的模式识别结果。

2.如权利要求1所述的基于卷积神经网络的人脸识别方法，其特征在于，所述前期预处理包括定位和分割的预处理。

3.如权利要求1所述的基于卷积神经网络的人脸识别方法，其特征在于，步骤二中差异提取层U_G的输出如下式所示：

$\begin{array}{cc}{u}_G(n,k)=\max \left\{\right[{(-1)}^k\underset{\left|v\right|<A_G}{\mathrm{\&Sigma;}}{a}_G\left(v\right)\&CenterDot;u_0(n+v)],0\}& (k=\mathrm{1,2}),\end{array}$

式中，U₀代表前一层的输出，n代表输入的神经元，v代表指定区域，对v求和代表包含了指定区域的神经元总和，a_G(ξ)是神经元连接的强度，差异提取层U_G有2个神经元平面，当k＝2时，为加强中心神经元，k＝1时，代表抑止中心神经元，A_G是v的半径，U_G层每个神经元的所有输入连接必须满足一个约束条件即 $\underset{\left|v\right|<A_G}{\mathrm{\&Sigma;}}{a}_G\left(v\right)=0.$

4.如权利要求1所述的基于卷积神经网络的人脸识别方法，其特征在于，步骤三至六中，特征提取层S中每一层S神经元的响应函数如下式所示：

$u_{\mathrm{sl}}(n,k)=\frac{{\mathrm{\&theta;}}_l}{1-{\mathrm{\&theta;}}_l}\max \left\{\right[\frac{1+\underset{\mathrm{\&kappa;}=1}{\overset{K_{\mathrm{Cl}-1}}{\mathrm{\&Sigma;}}}\underset{\left|v\right|<A_{\mathrm{Sl}}}{\mathrm{\&Sigma;}}{a}_{\mathrm{Sl}}(v,\mathrm{\&kappa;},k)\&CenterDot;u_{\mathrm{Cl}-1}(n+v,\mathrm{\&kappa;})}{1+{\mathrm{\&theta;}}_l\&CenterDot;v_l\left(n\right)}-1],0\}$

式中，a_Sl(v,κ,k)(≥0)是上一层特征映射层C神经元u_Cl-1(n+v,κ)至该层S神经元的连接函数，同一神经元平面的所有神经元的输入连接是相同的，θ_l是第l层S神经元的阈值，A_Sl是v的半径，当l＝1时，u_Cl-1(n,κ)即为u_G(n,k)，此时，K_Cl-1＝2。

5.如权利要求1所述的基于卷积神经网络的人脸识别方法，其特征在于，步骤三至六中，除U_C4层外，特征映射层C的其余三层U_C1、U_C2和U_C3的C神经元响应函数如下式所示：

$u_{\mathrm{cl}}(n,k)=\frac{\max \{\underset{\left|v\right|<A_{\mathrm{Cl}}}{\mathrm{\&Sigma;}}{a}_{\mathrm{Cl}}\left(v\right)\&CenterDot;u_{\mathrm{Sl}}(n+v,k),0\}}{1+\max \{\underset{\left|v\right|<A_{\mathrm{Cl}}}{\mathrm{\&Sigma;}}{a}_{\mathrm{Cl}}\left(v\right)\&CenterDot;u_{\mathrm{Sl}}(n+v,k),0\}}$

式中，a_Cl(v)是C层的输入。