CN102013011B - 基于正脸补偿算子的多姿态人脸识别方法 - Google Patents

Abstract

本发明公开了一种简单有效的基于PCA算法的多姿态人脸识别技术，通过使用正脸补偿算子来补偿多姿态人脸，并使用补偿后的人脸进行多姿态人脸识别。说明书摘要附图为整个多姿态人脸识别的流程图。本发明使用PCA算法进行人脸识别时，正脸补偿算子补偿了待识别多姿态人脸所缺乏的正脸轮廓信息，即PCA算法分解出的大特征值所对应的特征脸信息，同时也减少了干扰PCA算法的部分多姿态轮廓信息。多姿态人脸图像往往缺少正脸轮廓，即对PCA算法来讲更重要的识别信息。与其它技术相比，本发明使用平均脸计算，没有采用将人脸库中人脸组成一个大矩阵来进行训练的方法，减少了计算量。同时对人脸归一化要求低，人脸库容易选择，而且需要的训练人脸数目很少。此外，本发明使用的算法简单，通过简单的加减运算就能达到很好的识别效果，而且对各种姿态人脸进行识别都能通用。本发明通过正脸补偿算子来补偿多姿态人脸的方法可为改善多姿态人脸识别率提供新的解决思路。

Description

基于正脸补偿算子的多姿态人脸识别方法

技术领域

本发明涉及一种基于PCA(主成分分析)的多姿态人脸识别技术，更具体地，涉及一种通过正脸补偿算子来补偿各种姿态条件下的人脸，通过使用补偿后的人脸进行识别的方法。

背景技术

多姿态人脸识别近几年研究地比较多，它被称作是计算机视觉与模式识别领域尚未较好解决的重要问题之一。人脸易受多种因素影响，如表情、胡须、眼镜、头发、光照、背景，以及人脸偏转导致只看到侧脸的情形，针对多姿态人脸识别的热点问题提出的方法大致可以分为三类：常规方法、三维研究方法、二维研究方法。

常规算法主要解决由光照、表情、年龄等变化引起的问题，而对于观察视角的不同引起的人脸图像的变化研究较少。三维研究方法一般是需要从尽可能多的角度采集人脸组成人脸三维模型，并使用三维模型来构建人脸库，待识别人脸与这些三维模型逐个匹配来进行识别。三维研究方法的问题是计算量大，需要巨大存储空间，而且当前人脸库不能满足其需要，因此其走向实用化需要较长时间。二维研究方法多是寻找各个较多多姿态人脸到正脸的变换关系，并将待识别人脸转成正脸来进行识别，其理论依据是同一个人不同姿态的人脸图像差异比不同人相同姿态人脸之间的差异还要大。二维研究方法与三维研究方法相比，它的优点是计算复杂度低，计算速度快，存储容量小。

但是二维研究方法也有明显的缺点，主要体现在四个方面：

1.对人脸归一化要求高，而各种识别算法使用不同的归一化方式。任何多姿态人脸识别算法都有人脸归一化要求，然而由于不同人脸之间的形状差异较大，因此各种识别算法只能根据具体识别算法使用不同的人脸归一化方法。

2.对人脸库的要求模糊。大多数多姿态人脸识别算法使用的训练人脸都是在多次尝试之后选择的，再次试验该算法时，难找到完全一致的人脸库以及对人脸库的处理方式，算法可重复操作性差。

3.二维研究算法通常采取将所有训练正脸与多姿态人脸分别构成一个巨大的正脸矩阵和侧脸矩阵来进行运算，计算量大，处理时间长。

4.多数二维算法将人脸切割为仅含双眼、鼻子和嘴的很小的范围，去掉了很多能够区分人脸身份的信息。但是在使用一般摄像头进行监控的实际环境中，经过这样剪切之后人脸像素很少，几乎失去人脸特征，不能进行识别。

人脸识别算法中被采用最多的是PCA算法，它已经成为神经科学和计算机图像处理等领域的一种标准数据处理工具。基于PCA的人脸识别方法将人脸看作一个整体，利用统计学习的方法自动获取特征值，其算法简单并且完全无参数限制。使用PCA算法，只需简单计算就能将复杂的数据降维简化，很多基于PCA的改进算法虽然取得了较好的效果，但是却增加了算法的复杂度，通用性低。

PCA人脸识别算法将一高维的向量，通过一个特殊的特征向量矩阵，投影到一个低维的向量空间中，表示为一个低维向量，并不会损失有用信息。将人脸图像进行PCA变换之后，得到人脸的特征值和特征向量，其中较大的特征值对应的特征向量具有与人脸相似的形状，所以又称为特征脸，利用这些特征脸作为基底可以描述、表达和逼近人脸图像，进行人脸识别。说明书附图1(a)给出了使用68张CMU PIE人脸库中的正脸进行PCA变换之后，最大的前10个特征值对应的特征脸，说明书附图1(b)为最小的10个特征值对应的特征脸，两图中特征脸均按特征值由大到小排列。特征值越大，对应的特征脸越重要，特征值大的特征脸包含更多的正脸轮廓信息，而特征值小的特征脸包含更多的是细节信息。人脸识别的过程就是将待识别的人脸图像映射到特征脸展开的子空间上，比较其与已知人脸在特征空间中的距离，从而进行判别。

专利CN101515324A公开了一种适用于多种姿态的人脸识别布控***及方法。该方案利用对应姿态的人脸识别分类器提取人脸特征，并把人脸识别分类器提取的人脸特征与布控库中对应姿态的人脸特征作对比并判断是否报警。该发明用人脸三维重建技术将后台的布控对象变换出各种姿态的人脸，同时用对应姿态的人脸识别分类器提取特征，算法复杂，而且并未明确提及人脸归一化问题。

专利CN101458763A公布了一种基于图像加权平均的自动人脸识别方法。该方案首先利用快速线性插值算法将原始图像映射到标准正面模板，然后自动判别图像中人脸的左右偏转角度，并依据该角度赋予每张图像相应的权值进行平均，最后将加权平均结构图向加权平均形状图映射得到加权平均脸图像。该发明仅考虑人脸左右偏转的多姿态图像，利用快速线性插值算法将原始图像映射到标准正面模板这一过程准备度不能保证，而且原始图像上需要标记34个特征点，处理过程复杂。

专利CN101320484A公开了一种基于人脸全自动定位的三维人脸识别方法。该方案首先建立二维人脸形状模型和局部纹理模型，对二维人脸图像进行精确定位，根据定位结果，对所述二维人脸图像进行三维重建，得到三维人脸图像。然后，对所述三维人脸图像进行光照模型处理，得到姿态、光照变化的虚图像。该发明计算量大，算法复杂，三维重建后的效果受人脸图像配合度影响大。

发明内容

本发明的目的是针对当前多姿态人脸识别难度大的问题，提供一种简单有效基于PCA的多姿态人脸识别技术，通过正脸补偿算子来补偿多姿态人脸，使用补偿之后的人脸来进行识别的方法。说明书附图2为本发明的多姿态人脸识别流程图。

基于正脸补偿算法的多姿态人脸识别方法是这样实现的：

1.剪切少量(20张即可)的人脸正脸与相同数量对应的近似相同姿态人脸组成训练人脸库，对这些人脸进行简单的归一化。归一化可以保留头部全部信息，去掉图像彩色信息，确定人眼位置后将人眼固定在特定位置，并把图像放缩到相同的大小，最后对图像进行直方图均衡化处理；

2.计算训练多姿态人脸与正脸的平均脸，说明书附图3(a)为实验中的45°平均侧脸，说明书附图3(b)为平均正脸。平均脸是分别对训练库中人脸对应位置上的像素求和再取平均值，得到的平均脸弱化了细节信息，保留了大的轮廓信息；

3.使用平均正脸减去平均多姿态人脸得到该姿态下的正脸补偿算子，说明书附图3(c)为45°侧脸的正脸补偿算子。该算子不代表每个人的身份，它弱化了人脸的身份信息，能弥补人脸侧脸所缺乏的正脸轮廓；

4.将待识别人脸进行归一化处理，加上该姿态下的正脸补偿算子进行补偿，使用补偿之后的人脸进行PCA人脸识别。正脸补偿算子补偿了待识别人脸缺乏的正脸轮廓信息，即PCA大的特征值所对应的特征脸信息，同时也减少了干扰PCA算法的部分姿态偏转轮廓信息。多姿态人脸图像缺少正脸轮廓，而包括不需要的部分姿态偏转轮廓，这也是使用PCA算法难以进行多姿态人脸识别的原因。

由于本发明弥补了各种姿态人脸进行PCA识别时缺乏的正脸轮廓信息，而且正脸补偿算子是通过平均脸得到的，不代表任何人的身份辨认信息，因而不会误导PCA算法的识别，最终提高了PCA算法对多姿态人脸的识别率。

与其它技术相比，本发明具有以下的优点：

1.使用平均脸计算，没有采用将人脸库中人脸组成一个大矩阵来进行训练的方法，大幅度地减少了计算量，提高了计算速度。

2.对人脸归一化要求低，只需要将人脸眼睛部位固定在相同位置。很多算法为了保证算法稳定，将人脸切割到仅含眼睛、鼻子和嘴，需要各个部分严格对齐，而且剪切后的人脸图像像素也不能过大。本发明中可以保留人的头部的所有信息，对人脸图像像素数也没有要求，人脸图像像素数越高，识别效果也越好。

3.人脸库容易选择，而且需要的训练人脸数目很少。需要的人脸库无特别要求，使用当前比较流行的CMU PIE人脸库就能达到很好的效果，任意选择其中正脸与对应多姿态人脸各20张进行训练，即可达到很好的识别效果。

4.除基本PCA算法外，本发明仅包含简单的加减运算，没有很多多姿态人脸识别算法中包含矩阵乘法运算，计算量明显小得多。

5.本算法能够解决各种姿态下的人脸识别问题，如具有一定水平偏转角度的侧脸的识别，具有上下偏转角度，不同表情、光照、年龄、背景，包含胡须、眼镜、头发等各种条件下的多姿态人脸，算法通用性强。

附图说明

附图1示出了PCA分解得到的特征脸。(a)为最大的10个特征值对应的特征脸(按特征值由大到小排列)；(b)为最小的10个特征值对应的特征脸(按特征值由大到小排列)；

附图2示出了多姿态人脸的整个处理和识别过程；

附图3示出了得到的平均脸与正脸补偿算子，(a)为45°平均侧脸，(b)为平均正脸，(c)为正脸补偿算子；

附图4示出了未经对称处理的多姿态人脸补偿与识别结果，(a)为补偿后的多姿态人脸，(b)为补偿人脸的识别结果；

附图5示出了对称处理的多姿态人脸补偿与识别结果，(a)为补偿后的多姿态人脸，(b)为补偿人脸的识别结果。

具体实施方式

为了更好地理解本发明，下面将详细描述本发明的具体实施方式。

CMU PIE人脸库是众多人脸库中比较充分地考虑对多姿态人脸进行识别的人脸库，因此使用CMU PIE人脸库来对本发明进行详细讲解。CMU PIE人脸库包含68人的水平偏转角度为±22.5、±45和±67.5的侧脸，一定俯仰角度的人脸，共13种姿态条件，43种光照条件和4种表情下的多姿态人脸。选择各种姿态条件下的人脸与对应正脸进行归一化，然后对其取平均人脸，得到各个角度的平均脸，将平均正脸与各个姿态下的平均脸相减，得到各个姿态下的正脸补偿算子。现在以水平旋转角度为+45的侧脸识别为例进行详细阐述，其他多姿态条件下的人脸识别步骤是完全一样的。

首先是对人脸进行归一化，由于本发明对归一化要求低，因此只需去掉图像的彩色信息，将+45侧脸与正脸图像的人眼固定在指定位置，并将图像放缩到相同的大小(如100×100)。最后，对人脸图像进行直方图均衡化，去除不同光照带来的噪声影响。

用P0来表示正脸，用Pk来表示水平偏转角度为+45的侧脸，假设使用了N个人的正脸与侧脸进行训练，那么归一化之后，N张正脸与对应的N张水平偏转角度为+45的侧脸构成了训练序列。其中，正脸集表示为侧脸集表示为

是正脸

对应的侧脸图像。

则平均正脸可以表示为

$\stackrel{\‾}{x_0}=\frac{1}{N}(x_1^{p_0}+x_2^{p_0}+...+x_N^{p_0})---\left(1\right)$

平均侧脸可以表示为

$\stackrel{\‾}{x_k}=\frac{1}{N}(x_1^{p_k}+x_2^{p_k}+...+x_N^{p_k})---\left(2\right)$

本发明提出正脸补偿算子的概念，用Ω表示，计算方法为

$\mathrm{\Ω}=\stackrel{\‾}{x_0}-\stackrel{\‾}{x_k}---\left(3\right)$

设输入侧脸图像为

则经过正脸补偿算子补偿之后，人脸图像表示为

$y=y^{P_k}+\mathrm{\Ω}---\left(4\right)$

将待识别的侧脸加上一个正脸补偿算子，然后将补偿之后的侧脸作为识别人脸，使用PCA人脸识别算法进行识别。

对其多姿态人脸的识别的过程是一样的，即都是通过该姿态人脸与正脸进行训练，最后得到该姿态条件的正脸补偿算子，使用该正脸补偿算子对待识别人脸进行补偿，然后输入到PCA识别算法中进行识别。部分实验结果如说明书附图4所示，(a)为将侧脸通过正脸补偿算子补偿后的效果，(b)为使用补偿之后的侧脸进行识别的结果，这组人脸直接使用PCA算法进行识别是识别错误的，但是补偿之后再使用PCA算法进行识别，都能得到正确的结果。

此外，对首次识别错误的图像进行二次识别，即将识别出的错误结果排除进行识别，可以发现识别的正确率明显提高。

需要说明的是：由经验可知，对绝大多数人脸来说，从正面角度来看大致是一个左右对称的图形，而对于有偏转的侧脸，左右两边的信息量是不同的。由于阻挡作用，面向外侧的脸部信息量要多于背向外侧的信息量，经过正脸补偿的侧脸面向外侧的部分要清晰。但是通过对称处理使用面向外侧的人脸替换背向外侧部分的人脸，使用对称后的补偿人脸进行识别，识别率并没有提高，相反地却降低了，部分实验结果如说明书附图5所示。虽然内侧人脸比外侧人脸包含的信息要少，但是内侧人脸包含外侧部分没有的一些脸部轮廓信息和细节信息。而PCA算法是对整张人脸进行整体分析，而不是逐个像素的匹配，对称处理会去掉内侧部分包含的外侧部分没有的信息，因而会导致识别率降低。此外，对称处理之后，中间部分会出现图像像素的突变，相当于引入了噪声，也会对PCA识别人脸产生影响。

Claims (1)

1.一种多姿态人脸识别的方法，其中基于PCA的多姿态人脸识别技术，通过正脸补偿算子来补偿多姿态人脸，使用补偿之后的人脸来进行多姿态人脸识别，其特征在于采用了以下步骤：

A、剪切20张的正脸与相同数量对应的某个姿态的人脸组成训练人脸库，对这些人脸进行简单的归一化处理，只需将眼睛部位固定在特定位置；

B、根据图像的清晰度将图像放缩到相同的大小，并做灰度化和直方图均衡化处理，人脸图像像素数没有小于某一阈值的要求，原则上图像像素数越高，识别效果也越好；

C、计算多姿态人脸与正脸的平均脸，使用N个人的正脸与对应某个姿态的人脸进行训练，N张正脸

与对应的N张P_k姿态的人脸

构成训练序列，其中

是正脸对应的P_k姿态下的人脸图像，1≤i≤N；平均正脸表示为P_k姿态下的平均脸表示为

D、定义一个正脸轮廓补偿算子Ω，将平均正脸减P_k姿态下的平均脸得到

姿态下的正脸补偿算子，表示为

该算子不代表每个人的身份，弱化了人脸的身份信息，保留了大的轮廓信息；

E、将待输入多姿态人脸进行相同的归一化处理，并加上正脸补偿算子进行补偿，输入人脸经过正脸补偿算子补偿之后表示为

正脸补偿算子能够突出人脸的正脸轮廓信息，消除部分干扰PCA识别的多姿态轮廓信息，从而补偿PCA算法中大特征值所对应的特征脸信息；

F、第一次识别错误时，将错误识别出来的人脸排除，进行二次识别，能够提高识别率。

Images