CN101739546A - 基于图像交叉重建的单样本注册图像人脸识别方法 - Google Patents

Abstract

本发明公开一种基于图像交叉重建的单样本注册图像人脸识别方法，采用图像交叉重建的方法，通过计算机分析、处理，实现个人身份鉴别，其具体实施步骤包括：在人脸数据库中注册标准人脸图像的低频信息，获取待识别人脸的正面图像，提取待识别人脸图像的高频信息，把待识别人脸图像的高频信息和注册人脸图像的低频信息进行图像交叉重建，最后把融合后的图像和待识别人脸图像进行匹配判决，实现身份识别。本发明具有注册人脸信息的数据库空间小，算法简单，识别时间短，识别率高等优点。

Description

基于图像交叉重建的单样本注册图像人脸识别方法

技术领域

本发明属身份识别领域，尤其涉及一种通过图像交叉重建，进行身份识别的基于图像交叉重建的单样本注册图像人脸识别方法。

背景技术

人脸识别就是利用计算机分析人脸图像，从中提取人脸图像的信息，进行身份识别的一种技术。相对于其他生物特征识别，人脸识别在可用性方面具有独特的技术优势，这主要体现在：

1、可以隐蔽操作，尤其适用于安全监控；

2、非接触式采集，没有侵犯性，容易被接受；

3、具有方便、快捷、强大的事后追踪能力；

4、图像采集设备成本低；

5、更符合人类的识别习惯，可交互性强。

基于上述原因，人脸识别已经成为生物特征识别技术的一个重要组成部分，并受到越来越多的重视。

单样本人脸识别技术也就是利用计算机分析每个人的单幅人脸图像，从中提取出有效的识别信息，用来“辨认”身份的一门技术。

单样本人脸识别与传统的基于多幅图像的人脸识别相比，不但具有上述优点，同时还具一个非常重要的优点，就是易得到人脸数据库。在国家政府***门或一些小型部门通常易得到个人的单幅照片，如身份证、工作证、学生证、护照、毕业证和准考证等。而传统的基于多幅图像的人脸识别却是要求每人多幅图像进行训练，在此基础上进行识别，这就要求用户配合，以采集多种不同的照片，这在实际操作中是很困难的。由于单样本人脸识别具有这些优点，因此在一些大型的视频监控或罪犯追踪中非常实用。

目前的人脸识别技术主要是基于多幅训练图像的，需要采集多中变换情况人脸图像(如角度、光照、表情等)，作为训练图像综合提取特征，但是在实际中，要得到每个人的各种变化的人脸数据库是很困难的，实验室的人员会积极地配合完成建立特定的人脸数据库的各种要求，而在实际应用中要求普通人员也这样配合不切合实际。在许多的实际场合中，我们只有每个人一张照片，例如可能是身份证、工作证、学生证、护照、毕业证和准考证等上面的一张照片。因此用单样本进行人脸识别是非常有意义的。

从目前发表的论文和统计资料看，对于单张注册图像的人脸识别问题，最常用的方法是根据人脸模型，通过单样本图像生成多张训练图像，而识别方案主要还是采用现有的人脸识别技术，通过优化特征提取和分类方法提高识别率，使其尽量适于单样本识别问题。上述人脸识别方法尽管从不同角度出发，使人脸识别性能有所提高，但是对于单张注册图像的识别问题，仍然没有专门的有效解决方案。

现有的人脸识别方法各式各样。总的来说分为三步：

1、数据输入

数据输入方面就是采集不同的人脸图片，进行数据融合。例如：多视角的三维人脸识别，多姿态的人脸识别，彩色图像的人脸识别，动态人脸图像识别等。

2、特征提取

最近几年来人脸识别的方法主要是集中在特征提取方面。特征提取的方法很多，如基于Gabor小波的人脸识别方法，基于PCA的人脸识别方法，基于奇异值分解的人脸识别方法，基于小波的人脸识别方法等。

3、决策分类

决策分类上就是在寻找一个好的分类器来判别类间和类内。现有的识别方法主要有神经网络的方法，支持向量机的方法，隐马尔科夫模型的方法等。

但是只是单独的使用某一类方法，识别的效果并不是很好，于是大部分研究人员就使用以上两类或者三类的方法来综合识别人脸，以提高识别率。这就存在算法的复杂度提高，并且识别时间长的弊端。

发明内容

本发明旨在克服现有技术的不足之处而提供一种算法简单，识别时间短，鲁棒性强的基于图像交叉重建的单样本注册图像人脸识别方法。

为达到上述目的，本发明提出利用摄像***获取包含双眼的人脸正面图像，并提出一种基于图像交叉重建的单样本注册图像人脸识别方法，采用融合两张人脸图像各部分信息的方法，通过计算机对人脸图像进行分析，其主要包括以下步骤：

(1)提取标准人脸图像的低频信息作为注册数据；

(2)获取待识别人脸的包含双眼的人脸正面图像；

(3)提取待识别人脸图像的高频信息；

(4)将待识别人脸图像的高频信息与标准人脸图像的注册数据进行图像重建；

(5)把重建后的图像与待识别人脸图像进行匹配判别。

首先，作为一种优选方案，本发明所述步骤(1)中将标准人脸图像进行小波变换，提取变换后低频系数作为注册信息。

作为一种优选方案，本发明所述步骤(2)中获取待识别人脸的正面图像，此正面图像是指包含双眼人脸图像。

作为另一种优选方案，本发明所述步骤(3)中提取待识别人脸图像的高频信息按如下方式操作：

(A)将待识别图像进行定位，获取人脸部分；

(B)对待识别人脸图像进行光照处理；

(C)对待识别人脸图像进行角度校正；

(D)将待识别人脸图像进行尺度缩放；

(E)对待识别人脸图像进行小波变换，提取图像的高频信息。

另外，本发明所述步骤(4)中将待识别人脸图像的高频信息与数据库中的一幅标准人脸的注册数据构成一组新的小波变换系数后再将新组成的小波变换系数进行小波逆变换，获得重建图像。

其次，本发明把重建后的图像与待识别人脸图像进行距离计算，判断待识别图像与标准图像是否同属于一个人；如果不属于同一人，则重复步骤(4)，与数据库中下一幅注册数据进行重建并计算距离，直到匹配成功。

再次，本发明所述步骤(1)、步骤(3)、步骤(4)及步骤(5)中所述的注册人脸图像仅需注册人脸图像的部分信息。

本发明与其他人脸识别方法相比，具有如下几个特点：

(a)图像获取简单。本发明的注册图像只需要一张标准人脸图像，可以是身份证、工作证、学生证、护照、毕业证和准考证等，在拍照过程中可直接获取，建立数据库。

(b)算法简单。本发明只需要提取人脸的部分信息，而不需要对整个人脸进行特征提取。

(c)所需人脸数据库存储空间小。本发明的人脸数据库只需要存储人脸的部分信息，而不需要存储整张人脸图像。

附图说明

下面结合附图和具体实施方式对本发明作进一步说明。本发明的保护范围将不仅局限于下列内容的表述。

图1为本发明的人脸识别***框图；

图2-1为本发明人脸图像；

图2-2为本发明小波一级分解人脸图像；

图2-3为本发明小波一级分解人脸图像示意图；

图2-4为本发明小波二级分解人脸图像；

图2-5为本发明小波二级分解人脸图像示意图；

图3-1为本发明人脸图像光照处理前示意图；

图3-2为本发明人脸图像光照处理后示意图；

图4-1为本发明人脸眼睛定位示意图；

图4-2为本发明人脸眼睛定位后示意图；

图5-1为本发明待识别人脸图像；

图5-2为本发明人脸角度校正图像；

图5-3为本发明人脸尺度缩放图；

图6-1为本发明注册人脸图像；

图6-2为本发明注册人脸图像的低频重构图；

图7-1为本发明待识别人脸图像；

图7-2为本发明待识别人脸的高频信息重构示意图；

图8为本发明注册人脸图像的低频信息和待识别人脸图像的高频信息重建后的图像。

具体实施方式

如图1所示，本发明的具体实施步骤如下：

步骤一：提取标准人脸图像的低频信息

将标准人脸图像进行小波变换，提取变换后低频系数作为注册信息；

步骤二：获取待识别人脸的包含双眼的人脸正面图像

采用一个位置固定，但自身可以上下左右旋转的摄像头，与人形成一定的等高关系，采集到包含双眼的人脸图像；或者采用一个可上下左右都移动的摄像头，采集到包含双眼的人脸图像。

步骤三：提取待识别人脸图像的高频信息

(A)将待识别图像进行定位，获取人脸部分；

(B)对待识别人脸图像进行光照处理；

(C)对待识别人脸图像进行角度校正；

(D)将待识别人脸图像进行尺度缩放；

(E)对待识别人脸图像进行小波变换，提取图像的高频信息。

步骤四：把注册人脸图像的低频信息与待识别人脸图像的高频信息进行图像重建

(1)将待识别人脸图像的高频信息与数据库中的一幅标准人脸的注册数据构成一组新的小波变换系数；

(2)将新组成的小波变换系数进行小波逆变换，获得重建图像。

步骤五：把重建后的图像与待识别人脸图像进行距离计算，判断待识别图像与标准图像是否同属于一个人；如果不属于同一人，则重复步骤三，与数据库中下一幅注册数据进行重建并计算距离，直到匹配成功。

其中步骤一的具体实施方式为：

(1)用身份证、工作证、学生证、护照、毕业证和准考证等证件照片建立人脸图像数据库；

(2)根据人脸数据库图像特征选择小波基，本发明使用的注册人脸图像的大小是92*112，选用db3小波；

(3)根据人脸数据库图像确定分解层数，本发明确定为三级分解；

(4)对数据库中所有人脸图像进行小波三级分解，分解可以得到10个子图，提取低频子图作为注册信息。

其中步骤二的具体实施方式为：

首先设置摄像***的摄像头，摄像头与人的空间位置关系可以按照固定方式和可移动方式来实现。无论是固定方式还是可移动方式，都要求摄像头可以拍摄到含有双眼的人脸图像。为了方便图像的处理，摄像头与人的拍摄距离应该保持恒定，使每次拍摄的图像中，人脸的尺寸相对不变。

对于固定方式，摄像头的安装点高度可参考人的平均身高。若人的平均身高是m米，则摄像头离地的安装高度略小于m米(考虑到眼睛与头顶的一小段距离)，使得摄像头能够正对人的双眼。

对于可移动方式，摄像头的初始安装点可以按照固定方式的安装点来完成，在这个安装点的上下左右处再安装摄像头可滑动的轨道，使得摄像头可沿轨道上下左右移动。

摄像头在拍摄人脸图像的过程中要求摄像头所拍摄的范围内只能有一个人，这样会出现以下三种情况：

(1)找不到人的眼睛。由于人的身高差异，有的人的身高会偏离人的平均身高，使得摄像头寻找不到人的眼睛；

(2)只能找到人的一只眼睛。人脸在摄像头的拍摄范围内，但是由于人不是正对摄像头，则会出现人脸的偏转现象，使得摄像头只能拍摄到半边脸；

(3)可以找到人的双眼。

对于第一种情况，固定方式所采取的措施是：通过寻找人眼算法来控制摄像头自身的上下旋转，使得摄像头可以找到人的眼睛。例如，当某个人的身高大于(小于)人的平均身高时，摄像头寻找不到这个人的眼睛，则摄像头自身可以像上(下)旋转来寻找人的眼睛。可移动方式所采取的措施是：通过寻找人眼算法来自动上下移动摄像头。例如，当某个人的身高大于(小于)人的平均身高时，则摄像头自身可以像上(下)移动，直到找到人的眼睛为止。由于摄像头与人具有一定的拍摄距离，因此摄像头只需要上下旋转(移动)一小部分距离，就能改变一个大的视角范围，而不需要大角度的上下旋转(移动)。

对于第二种情况，固定方式所采取的措施是：通过寻找人眼算法来控制摄像头自身的左右旋转，使得摄像头可以找到人的双眼。可移动方式所采取的措施是：通过寻找人眼算法来控制摄像头自身的左右移动，直到摄像头找到人的双眼为止。

对于第三种情况，固定方式和可移动方式都可以正常的拍摄人脸。

摄像头是固定方式还是可移动方式对获取人脸图像的影响：

对于固定方式，当摄像头经过上下左右旋转后，摄像头的视角与人脸不是正对的，这时所拍摄的人脸图像存在空间位置上的偏转，例如俯仰旋转等。

对于可移动方式，当摄像头经过上下左右移动后，摄像头的视角与人脸还是正对的，因此所拍摄的人脸图像不存在空间位置上的偏转，但是这种方式在实际操作过程中比固定方式复杂。

无论摄像头是固定方式还是可移动方式拍摄人脸图像，在拍摄之前，都要求在摄像头在各个角度下，先拍摄一次背景图像，也就是在待识别对象不在的情况下，先拍摄一次图像，作为背景图像。

其中步骤三的具体实施方式为：

(1)将待识别图像进行定位，获取人脸部分

用图像采集卡获取人脸图像，其中视频帧的获取采用direct show技术，接着对每帧图像进行人脸定位。

本***采用基于肤色分割的人脸检测方法。肤色是人脸的重要信息，具有相对稳定性，并且和大多数背景物体的颜色相区别。一般我们所看到的彩色人脸图像都是基于RGB彩色空间的，但是在RGB彩色空间中，色度信息与亮度信息是混合在一起的，由于周围环境光照的改变，亮度可能使人脸的检测变得更加的复杂，使得肤色分割结果不可靠，因此本发明使用基于YCrCb的色彩空间。Y指明视度，即亮度(实际上代表灰度值)，而Cr和Cb则是指色度，即描述色彩的饱和度。实验研究表明：尽管不同民族、不同年龄、不同性别的人脸肤色看上去不同，但是这种不同主要集中在亮度上，在去除亮度的某些色彩空间中，不同人脸的肤色分布是一致的，而且集中在一个较小的区域里，即具有聚类特性。

具体实施步骤为：

①获得每一帧的彩色人脸图像；

②把彩色人脸图像的RGB值转化为YCrCb值；

③通过对大量彩色人脸图像进行实验找到肤色Cr值的区间；

④根据经验所得到的肤色Cr值的区间来判断人脸的肤色区域；对采集到的人脸图像进行逐点像素扫描，若某点像素的Cr值在这个区间内，则认为是类肤色像素，并将该像素设为白色，否则认为是非肤色，设为黑色，由此生成二值化图像；

⑤对二值化后的图像进行开闭运算，以消除有类肤色特性的小部分非人脸区域。由此定位出人脸；

⑥把定位出的彩色人脸图像转化为灰度人脸图像。

(2)对待识别人脸图像进行光照处理

光照问题一般表现为光照强度不一(或强或弱)，光照不均匀等。在这里本发明使用一种基于区域正则化的预处理技术。假设存在一个虚拟的“标准”光照条件，在该标准条件下，人脸图像的像素值分布范围为0～1。将得到该“标准”光照条件下的人脸图像作为图像正则化处理的目标。相应地，可认为已有的灰度分布为0～255之间的人脸图像均是在强于“标准”光照的光照条件下获得的。如果想将不同光照条件下得到的人脸图像“归一”到相同的固定光照条件，则应考虑光照的强弱影响。

因此，为了得出“标准”光照下的0～1之间分布的图像，应将原像素值除以一个大于其本身的数值。可假设“标准”照明下的图像为

$I_{\mathrm{xy}}^{\′}=\frac{I_{\mathrm{xy}}}{I_{\mathrm{xy}}+r+\stackrel{\‾}{I}}---\left(1\right)$

其中：I_xy为图像在(x，y)点的灰度值；

为整幅图像的像素均值；r为一正系数。这里假设人脸图像的像素均值与光照强弱成线性关系。此外，(1)式分母中的I_xy对抑制光源方向性的影响有一定作用。在点光源方向的方向角较大的情况下，与正方向光源条件下的成像相比，人脸图像可能一部分偏亮，另一部分偏暗。若用(1)式对图像进行正则处理，这样一种较大的明暗差别会得到削弱。具体实施步骤为：

①把人脸图像分为上下，左右大小相同的四块I₁、I₂、I₃和I₄；

②对人脸图像的每一块图像分别求像素均值

和

③把每一块的图像像素值及其均值带入公式(2)，求出每一块的对应点的像素值I′_i(i＝1，2，3，4)；

④把线性变换后的四块小图像I′_i(i＝1，2，3，4)重新组合成一张新的人脸图像，即为光照处理后的人脸图像。

(3)对待识别人脸图像进行角度校正

由上述方法定位出的人脸只是定位出了人脸的大致区域，在人脸轮廓附近会存在小部分的背景区域，这就会对人眼的定位造成影响，因此为了准确的定位出人眼，就需要减少不必要的干扰区域，需要进一步的找到人眼的大致区域。

实验表明与背景区域相比，人脸区域往往具有较高的亮度。在人脸左右边界处，垂直方向上亮度值的总和迅速减小，从而形成一个明显的凸峰。因此，只需要对人脸图像进行垂直积分投影，确定垂直灰度积分投影曲线中主要凸峰的左右边界，即可得到人脸的左右边界。同理对人脸图像进行水平积分投影。实验发现，水平积分投影曲线的第一个极小值点对应人的头顶，因为头发的低灰度产生了水平灰度积分投影曲线的低谷，而曲线的次最大值点和最大值点则对应人的额头部位和人的鼻子中部，因此只要找到水平灰度积分投影曲线的次最大值点和最大值点，从而定位出人脸图像的上下边界。这样就把人眼的大致区域划定，如图4-1所示。

用边缘检测算子对划定的人眼的大致区域进行边缘检测，可以得到人眼瞳孔边界区域，由于人眼瞳孔是类圆形，因此可以用Hough变换找到此区域中的瞳孔圆心，即定位出人眼所在的位置。由于视频图像中的人脸区域很小，因此用此方法所检测出来的人眼即使存在偏差，偏差也会很小，可以忽略不计，如图4-2所示。

通过对两眼的定位，找到眼睛所在的直线与水平方向直线的之间的夹角θ，根据这个角度θ，采用公式(2)对图像进行旋转。

$\left[\begin{array}{c}a(x,y)\\ b(x,y)\\ 1\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}& 0\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(2\right)$

其中a(x，y)和b(x，y)表示原坐标x和y所确定的新坐标。旋转后人脸图像示意图如图5-2所示。

(4)将待识别人脸图像进行尺度缩放

对旋转后的人脸图像进行缩放：由于人脸图像很小，因此本发明认为可以把每个人的两眼之间的距离视为相等。由此可以通过计算出两眼之间的距离与标准照中人脸图像的两眼之间的距离的比值γ，以γ为比例缩放系数，对旋转后的人脸图像进行缩放。

对缩放后的人脸图像进行裁剪：缩放后的人脸图像中的人脸大小与标准照一致了，但是其背景可能会出现扩充，造成整张人脸图像的尺寸与标准照的尺寸不一，因此需要把人脸图像裁剪到与标准照大小一致，以方便后续的特征提取，缩放后人脸图像的示意图如图5-3所示。

(5)对待识别人脸图像进行小波变换，提取图像的高频信息

对预处理完的待识别人脸图像进行小波3级分解。输入人脸图像可以是来自视频监控中人脸图像，或者是考勤中固定采集的人脸图像，但是输入人脸图像的大小必须和注册人脸图像的大小相同，使注册人脸图像和输入人脸图像可以在一个尺度下进行匹配。在这里，本发明提取输入人脸图像的频域信息，使用的方法为用小波进行提取。同样使用db3小波对输入人脸图像进行小波三级分解，分解可以得到10个子图，其中只有一个是低频子图，其它为高频子图。去除其低频子图，而留下9个高频子图，作为输入人脸图像的高频信息。9个高频子图用db3小波重构后如图7-2所示。

其中步骤四的具体实施方式为：

1)提取步骤一中得到了注册人脸图像的低频信息

2)提取步骤二、三中得到了待识别人脸图像的高频信息。

3)将以上低频和高频信息组成新的小波系数组，进行db3小波三级重构，得到重建后的图像，如图8所示，重建后的图像大小与输入人脸图像的大小相同。

其中步骤五的具体实施方式为：

设输入人脸图像的任意点像素值为f₁(i，j)，重建后的图像的任意点像素值为f₂(i，j)。其中i表示图像的行坐标，j表示图像的纵坐标。把重建后的图像与输入人脸图像进行欧式距离相减，得到重建后的图像与输入人脸图像的距离A，即：

$A=\underset{\mathrm{ij}}{\mathrm{\Σ}}|f_1(i,j)-f_2(i,j)|---\left(3\right)$

把输入人脸图像的低频信息与数据库中每一张标准注册人脸图像的低频信息进行重建，把重建后的若干个图像与输入人脸图像都进行欧式距离相减，找到与输入人脸图像距离最小的重建后的图像，即可判断，此输入人脸图像与提供的重建图像的低频信息的注册人脸是同一个人。

Claims (7)

1.一种基于图像交叉重建的单样本注册图像人脸识别方法，采用摄像***获得待识别人脸的包含双眼的人脸图像，用融合两张人脸图像各部分信息的方法，通过计算机对人脸图像进行分析，其特征在于包括以下步骤：

(1)提取单张标准人脸图像的低频信息作为注册数据；

(2)获取待识别人脸的包含双眼的人脸图像；

(3)提取待识别人脸图像的高频信息；

(4)将待识别人脸图像的高频信息与标准人脸图像的注册数据进行图像重建；

(5)把重建后的图像与待识别人脸图像进行匹配判别。

2.根据权利要求1所述的基于图像交叉重建的单样本注册图像人脸识别方法，其特征在于：所述步骤(1)中将标准人脸图像进行小波变换，提取变换后低频系数作为注册信息。

3.根据权利要求1所述的基于图像交叉重建的单样本注册图像人脸识别方法，其特征在于：所述步骤(2)中是采用一个位置固定，但镜头可以上下左右旋转的摄像头，与人形成一定的等高关系，采集到包含双眼的人脸正面图像；或者采用一个可上下左右都移动的摄像头，采集到包含双眼的人脸正面图像。

4.根据权利要求1或2所述的基于图像交叉重建的单样本注册图像人脸识别方法，其特征在于：所述步骤(3)中提取待识别人脸图像的高频信息按如下方式操作：

(A)将待识别图像进行定位，获取人脸部分；

(B)对待识别人脸图像进行光照处理；

(C)对待识别人脸图像进行角度校正；

(D)将待识别人脸图像进行尺度缩放；

(E)对待识别人脸图像进行小波变换，提取图像的高频信息。

5.根据权利要求4所述的基于图像交叉重建的单样本注册图像人脸识别方法，其特征在于：所述步骤(4)中将待识别人脸图像的高频信息与数据库中的一幅标准人脸的注册数据构成一组新的小波变换系数后再将新组成的小波变换系数进行小波逆变换，获得重建图像。

6.根据权利要求5所述的基于图像交叉重建的单样本注册图像人脸识别方法，其特征在于：把重建后的图像与待识别人脸图像进行距离计算，判断待识别图像与标准图像是否同属于一个人；如果不属于同一人，则重复步骤(4)，与数据库中下一幅注册数据进行重建并计算距离，直到匹配成功。

7.根据权利要求6所述的基于图像交叉重建的单样本注册图像人脸识别方法，其特征在于：所述步骤(1)、步骤(3)、步骤(4)及步骤(5)中所述的注册人脸图像仅需注册人脸图像的部分信息。

Images