CN106778512A - 一种基于lbp和深度学校的非限制条件下人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于LBP和深度学校的非限制条件下人脸识别方法，包括测试样本、训练样本、预处理、LBP纹理特征、DBN深度学***移等的影响较小；本发明在受姿态、光照、表情、遮挡等综合因素影响的非限制条件下具有较好的识别效果，同时在受多种因素影响的Yale 库和光照因素影响的Yale‑B 库上取得较高的识别率。

Description

一种基于LBP和深度学校的非限制条件下人脸识别方法

技术领域

本发明涉及人脸识别技术领域，特别是一种基于LBP和深度学校的非限制条件下人脸识别方法。

背景技术

人脸识别作为非入侵式的生物特征识别方法，在国防安全、视频监控、人机交互等方面具有广泛的应用。传统人脸识别算法在受某种或某几种特定因素影响的限制条件下能够获得较好的效果，但在非限制条件下识别性能急剧下降。目前，非限制条件下人脸识别研究可分为2 类：基于3-D模型和2-D模型的人脸识别方法。其中，后者是研究的热点。基于3-D模型的人脸识别方法，对克服环境因素中姿态和光照影响非常有效。但3-D模型法计算复杂，拟合时间较长，不易达到实时性要求。2-D模型法主要将人脸图像中具有判别性的相对不变特征表达出来。Wolf 等[3]对LBP(local binarypattern )描述子进行优化，并将其与Gabor小波结合，试图获得非限制条件下人脸图像特征的最佳表示，但该算法特征提取过程有过多主动因素介Marsico 等提出FACE (face analysis for commer-cial entities)算法进行非限制条件下人脸识别，该算法主要通过对非限制条件下的姿态和光照进行归一化，从而得到非限制条件下的准确识别。在LFW(labeled faces in the wild)库上识别率达到61%，但其识别性能过度依赖于对眼角、嘴巴、鼻尖等13个标注点的准确定位。现存算法所提取的

人脸图像特征判别性不强，且特征的表达方式过度依赖于人工选择，但实际应用中研究者往往不知道如何准确选择和表达。

最近，深度学习越来越受学者关注。深度学习模拟大脑组的深度组织结构，通过组合低层特征形成更抽象、更有效的高层表示。其中，深度信念网络（DBN, deep beliefnetwork）是一种典型的深度学习方法，由Hinton在2006年首次提出，可称为第三代神经网络。它通过自下而上自动学习不同层次的抽象特征，最终获得特征的非线性描述，表达了一种不依赖于人工选择的特征自动提取过程。DBN已成功应用于手写数字识别、动态人体检测等诸多领域。但是，DBN忽略了图像局部结构，难以学习到人脸图像的局部特征；同时，以像素级的人脸特征作为DBN的输入，网络会因光照等因素影响而学习到不利的特征表达。LBP算子是由Ojala等提出的一种有效纹理描述子，能够刻画出人脸图像的亮点、暗点、边缘等局部微模式及其分布情况, 且计算简单、运算速度快，具有光照和旋转不变性。LBP算子在动态纹理识别、表情分析、人脸识别等方面得到广泛应用。以LBP纹理特征作为DBN的输入，可有效避免深度学习中遇到的难题。二者相结合，能为人脸识别提供更科学的理论基础，而将其用于非限制条件人脸识别目前国内外报道不多。

发明内容

本发明的目的是提供一种能够进一步自动学习更抽象、更有效的人脸特征，并在DBN顶层自动进行人脸分类且有效避免了过多主动因素干预的基于LBP和深度学校的非限制条件下人脸识别方法。

本发明采用的技术方案为：

一种基于LBP和深度学校的非限制条件下人脸识别方法，其创新点在于，具体方法步骤如下：

1）分别用双线性内插法将测试样本和训练样本降维至32×32，并进行直方图均衡化等归一化预处理；

2）对训练样本和测试样本进行分块并提取每个子块的LBP纹理特征，将每个子块的特征连接起来形成样本的LBP纹理特征，其中LBP纹理特征提取时样本分块为4×5，半径R为1，像素数P为8，此时所提取的LBP 纹理特征和像素级特征维数相当；

3）将训练样本的LBP纹理特征作为DBN可视层输入，对深度网络进行逐层训练，以获取最优网络参数，文中DBN层数选为2层：第1层学习率为0.002，迭代次数为40；第2层为0.003，迭代次数为40；

4）当深度网络训练完后，将测试样本的LBP纹理特征作为DBN可视层输入，利用优化后的网络由下向上多层次地学习和提取测试样本的抽象特征，在网络最顶层进行SoftMax回归分类，获得测试样本的类标值，并计算正确识别率。

进一步的，所述DBN的训练过程如下：

1）对第一层RBM，以LBP纹理特征为输入，对RBM进行无监督训练，获得该层最优的参数；

2）高层RBM以低一层RBM 输出数据为输入，对RBM进行无监督训练，获得RBM网络最优的参数值；

3）最后利用全局训练的方法对训练好的各层参数微调，使DBN收敛到全局最优。

本发明的有益效果如下：

本发明采用的LBP和DBN相结合的非限制条件下人脸识别，在LFW人脸库上的实验结果表明，能够自下而上自动提取非限制条件下人脸图像的有效特征；将LBP与DBN相结合，克服了DBN不能学***移等的影响较小；本发明在受姿态、光照、表情、遮挡等综合因素影响的非限制条件下具有较好的识别效果，同时在受多种因素影响的Yale 库和光照因素影响的Yale-B 库上取得较高的识别率。

附图说明

下面结合附图和具体实施方式对本发明做进一步详细说明。

图1为本发明的原理框架图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

为了验证本文算法在非限制条件下的有效性，选用LFW人脸库进行人脸识别实验，同时，为进一步评估算法的性能，在限制条件下的人脸库Yale和Yale-B 上进行仿真实验。实验前，所有的人脸图像经过眼睛定位、校准、剪切，最后归一化到32×32。实验硬件配置为：2.20 GHz的Intel(R)Core(TM)2 Duo CPU，2.00 GB内存。

实施例1：

LFW人脸库实验：LFW中的人脸图像是用标准人脸检测器Viola-Jones从Internet 上收集到的，包含5749人共13233幅图像。其中，1680人的图像数目大于或等于两幅，另外4069人只有一幅图像。图像分辨率为250×250，人脸图像以彩色为主，包含少量灰度图像。LFW 主要用于非限制条件下的人脸识别，该库能充分表现真实条件下人脸图像的变化，如姿态、光照、遮挡、表情、背景、种族、性别等的变化。本申请选取图像数目大于或等于20幅的人作为实验对象，其中，包括62 个人共3023 幅图像。每人随机选取5 幅图像作为训练样本，剩下为测试样本。

1）隐藏单元数不同时算法性能：DBN 对输入数据分类的准确性取决于对其自下向上、多层次学习的有效性。Hinton指出，为保证贪婪学习算法提高网络的性能，DBN各层隐藏单元的个数应保持一致，本实施例中，各层隐藏单元数相同。非限制条件下人脸图像特征复杂，且含有较多噪声，为提取人脸图像的有效特征，首先讨论不同隐藏单元数情况下本文算法性能。实验结果如表1所示。其中，训练时间是无监督预训和有监督训练的时间之和，分类时间指测试样本分类时间，总时间指训练时间和测试时间之和。值得注意的是，在进行传统LBP 纹理特征作为DBN 输入的实验中，当隐层单元数达到4 000 时，由于特征维数巨大，其对内存要求超出了本文的硬件能力范围，因而主要考虑隐藏单元数在1000 到3000 的情况。

表1：不同隐藏单元数的正确识别率及时间消耗

从表1可知，随着隐藏单元数的增加，深度网络能够更好地表达人脸图像特征，但是网络的训练时间和分类时间也随之增加，计算量逐渐增大，因而对硬件要求也随之提高。同时，由表1可知，当隐藏单元数相同时，基于均匀LBP纹理特征的深度学习方法识别率均高于基于像素级特征和传统LBP纹理特征的深度学习方法，基于传LBP纹理特征的深度网络分类能力同基于像素级的深度网络相当。均匀LBP 在降低特征维数的同时，还能减少高频噪声带来的不利影响，对光照和微小旋转具有极强的顽健性，它没有因为特征的不完整性导致深度网络学习能力下降，性能反而得到一定的提升。因此，均匀LBP纹理特征相对于传统LBP纹理特征和像素级图像，当作为DBN输入时在降低维度情况下能更好地代表人脸图像信息，更有利于深度网络学习。

2）样本数不同时算法性能：在人脸识别中，训练样本主要为整个识别过程提供原型，训练样本数越多则能够提取的差异性特征越多，对测试阶段的预测越有利。表2为深度网络隐藏单元为5000，不同训练样本数时，本文算法与传统算法的比较结果。

表2：不同训练样本数的正确识别率

从表2可知，传统算法PCA、SVM、LBP在样本比较少时，提取的类别特征代表性并不强。当训练样本数增加时，提取类别特征较为丰富，算法识别率剧增，可见传统算法在非限制条件下顽健性较差。深度学习经过非监督预训练，为网络参数提供良好的优化起点后只需要少量有标注训练样本进行监督训练，就能获得较好的识别效果。训练样本数的增加对DBN和LBP+DBN影响不是很大，表明深度学习算法在非限制条件下稳定性更好，对各种因素的综合影响具有更强的顽健性，同时，由表2进一步说明基于LBP纹理特征的深度学习算法较基于像素级深度学习算法的识别率更好。

3）LFW库不同类别时算法性能：为探讨本文算法在非限制条件人脸识别的有效性和普适性，以文献[MARSICO M D E, NAPPI M, RICCO D.]为参考基准，另外选取LFW库中人脸图像数目大于或等于8幅的最前面50个人共417幅人脸图像作为实验对象，每人随机选取5幅图像作为训练样本，其余为测试样本。深度网络隐藏单元数与表2相同，实验结果如表3所示。

表3：不同类别时不同算法的正确识别率

由表3可知，不同算法分类时，本申请算法识别率最高，达到85.16%，说明本文算法具有较好的识别能力。文献[MARSICO M D E, NAPPI M, RICCO D]在LFW取得61%的识别率，但其算法的识别效果依赖于特征提取过程中人脸特征点的准确定位，且当样本数目庞大时，人工介入非常繁琐。比较表2和表3可知，当测试样本复杂多变时，PCA、SVM、LBP识别率波动较大，而本文算法能够保持较稳定的识别率，从而更进一步表明本文算法在非限制条件下顽健性更强。

实施例1总结：通过在LFW人脸库上实验结果可知，基于LBP纹理特征的DBN分类精度高于输入特征为像素级的情况。将LBP纹理特征作为网络的输入，有助于网络减少对冗余信息的联想记忆，学习到人脸图像中局部性的特征，从而实现对非限制条件下人脸图像的准确识别。

实施例2：

Yale人脸库实验：Yale人脸库有15个人，每人11幅图像，共165幅图像，图像灰度级为256，分辨率为243×320。每个人有6种不同的表情，3种不同的光照，并且图像有戴眼镜和不戴眼镜的区别。在实验中，每人随机选取5幅图像作为训练样本，剩下的作为测试样本。

表4：Yale 库上不同隐藏单元时正确识别率

从表4 可知，当隐藏单元较少时，同样深度网络不能准确学习到限制条件下人脸图像的类别信息，随着隐藏单元数的增加，网络学习到的特征越来越充分，隐藏单元数为5000时，网络学习到的人脸图像特征判别性较强。

表5：Yale 库上不同算法时正确识别率

从表5 可知，本文算法在Yale人脸库上识别率最高达到98.89%，较PCA、SVM、LBP、DBN分别提高了18.89%、4.45%、5.89%、2.22%，说明算法在限制条件下具有较好的识别能力。

实施例3：

Yale-B库上实验：Yale-B人脸库有10个人，每人有64幅光照不同的图像，图像分辨率为192×168、灰度级256。在实际应用中，对方位角大于90°，垂直角大于90°的人脸图像研究的价值不高，舍弃这部分图像。剩余的人脸图像分成3 部分：子集1受光照影响很小，光源的方位角小于10°，垂直角小于10°，每人7幅人脸图像；子集2与子集1光照条件相近，光源方位角小于20°、垂直角小于20°，每人共12幅人脸图像；子集3与子集1光照条件差异很大，每人共30 幅人脸图像。子集1设为训练集，子集2和子集3设为测试集。

表6：Yale-B 库上不同隐藏单元时正确识别率

由表6可知，本文算法对于光照变化具有较强的顽健性。

表7：Yale-B库上不同算法时正确识别率

由表7可知，本申请算法与PCA、SVM、MSR（muitiscale retinex）、SQI（self-quotientimage）、LBP、DBN 等算法在光照变化不大的子集2 识别率相当，但光照变得复杂时，如在子集3上实验结果可知，本申请算法能够保持比较稳定的识别率，而传统算法识别率急剧下降，进一步说明本文算法对光照的顽健性较强。

总结：由以上实施例结果可知，基于LBP纹理特征的深度学习网络能够学习到更加有效的人脸图像的类别特征。由于深度网络模拟了人的大脑组织结构，隐藏单元类似于脑细胞，因此隐藏单元数越多，深度网络提取的特征判别性越强。比较表2 和表5 可知，本申请中算法在限制条件下的正确识别能力远远高于非限制条件下，非限制条件的人脸图像比限制条件下的人脸图像需要更多的隐藏单元来模拟其特征分布情况。

以上所述是本发明的优选实施方式，不能以此来限定本发明之权利范围。应当指出，对于本技术领域的普通技术人员来说，对本发明的技术方案进行修改或者等同替换，都不脱离本发明的保护范围。

Claims (2)

1.一种基于LBP和深度学校的非限制条件下人脸识别方法，其特征在于，具体方法步骤如下：

分别用双线性内插法将测试样本和训练样本降维至32×32，并进行直方图均衡化等归一化预处理；

对训练样本和测试样本进行分块并提取每个子块的LBP纹理特征，将每个子块的特征连接起来形成样本的LBP纹理特征，其中LBP纹理特征提取时样本分块为4×5，半径R为1，像素数P为8，此时所提取的LBP 纹理特征和像素级特征维数相当；

将训练样本的LBP纹理特征作为DBN可视层输入，对深度网络进行逐层训练，以获取最优网络参数，文中DBN层数选为2层：第1层学习率为0.002，迭代次数为40；第2层为0.003，迭代次数为40；

当深度网络训练完后，将测试样本的LBP纹理特征作为DBN可视层输入，利用优化后的网络由下向上多层次地学习和提取测试样本的抽象特征，在网络最顶层进行SoftMax回归分类，获得测试样本的类标值，并计算正确识别率。

2.根据权利要求1所述的一种基于LBP和深度学校的非限制条件下人脸识别方法，其特征在于，所述DBN的训练过程如下：

1）对第一层RBM，以LBP纹理特征为输入，对RBM进行无监督训练，获得该层最优的参数；

高层RBM以低一层RBM 输出数据为输入，对RBM进行无监督训练，获得RBM网络最优的参数值；

3) 最后利用全局训练的方法对训练好的各层参数微调，使DBN收敛到全局最优。