CN103246880B - 基于多阶局部显著模式特征统计的人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于多阶局部显著模式特征统计的人脸识别方法，包括步骤：人脸图像预处理；对归一化的人脸图像的每个像素所在局部邻域计算不同阶数的局部差分模式特征向量；将人脸图像每个像素的每一阶局部差分模式特征向量编码成相应局部显著模式特征；对人脸图像每一阶的局部显著模式特征图分块并进行空间直方图统计；将人脸图像每一阶的所有局部显著模式特征直方图进行拼接，并用白化的主成分分析进行增强；根据每一阶增强后的局部显著模式直方图特征的判别能力，计算相应的权重；两幅人脸图像的特征相似度用加权的余弦距离度量。本发明可以用于低功耗的移动设备上的人脸识别***，计算的时间复杂度和空间复杂度都比较低。

Description

基于多阶局部显著模式特征统计的人脸识别方法

技术领域

本发明涉及计算机视觉、数字图像处理和模式识别等技术领域，特别是基于多阶局部显著模式特征统计的人脸识别方法。

背景技术

随着国民经济水平的不断提高，人均购买能力逐渐越强，在支付时需要进行身份认证的场合越来越多。基于人体生理特征的生物特征识别技术将在和国民经济发展、公共安全相关的多个重要领域都发挥越来越重要的作用。

其中，人脸识别可以说是目前潜力最大、最可能开展广泛应用的生物特征识别模态之一。因为，其采集设备的普及程度发展空前，几乎每个移动终端和PC终端都原装携带，同时设备的采集精度也从早期的几十万像素到几百万像素发展到现在的千万像素级别，而其他主流的生物特征模态(如：指纹、掌纹、虹膜、静脉)在图像获取时却需要特殊的采集设备，不论在易用性还是在设备价格，人脸识别都有有一定的优势。

然而，人脸图像会随着年龄增长、表情变化、化妆、环境光照变化、面部遮挡(如墨镜、围巾)以及姿态的变化而发生一定的改变。因此如何设计一种高区分性和强鲁棒性的人脸特征表示方法变得尤为重要。特别是当人脸识别要在一些计算能力弱、功耗要求高的移动设备上应用时，一些计算复杂度高的人脸特征提取方法并不适用。因此，开发一种计算复杂度低且鲁棒性高的人脸识别***在计算量要求高的低功耗移动设备具有重要的应用价值。

发明内容

本发明的目的是提出一种基于多阶局部显著模式特征统计的人脸识别方法，即利用多阶分析和显著性编码的局部差分模式进行统计分析来表示人脸图像，用于人脸识别。

为实现上述目的，基于多阶局部显著模式统计描述的人脸识别方法包括步骤：人脸图像预处理；对归一化的人脸图像的每个像素所在局部邻域计算不同阶数的局部差分模式特征向量；将人脸图像每个像素的每一阶局部差分模式特征向量编码成相应局部显著模式特征；对人脸图像每一尺度、每一阶的局部显著模式特征图分块并进行空间直方图统计；将人脸图像每一阶的所有局部显著模式特征直方图进行拼接，并用白化的主成分分析进行增强；根据每一阶增强后的局部显著模式直方图特征的判别能力，计算相应的权重；两幅人脸图像的特征相似度用加权的余弦距离度量。

本发明的人脸识别方法通过多阶分析计算不同阶的人脸局部差分模式特征向量，以获得多阶的人脸特征表达，同时通过显著性编码获得鲁棒的特征表示，并且通过分块直方图统计和每阶特征的子空间分析使该特征得到进一步增强，最后在匹配时通过计算所有阶增强的局部显著模式特征加权的余弦距离来度量两幅人脸图像之间的相似性。

该方法在人脸图像特征编码时一方面通过多阶分析丰富了人脸局部模式的表达能力，能更好的抵抗外界不同噪声的影响；另一方面又汲取了基于显著性编码方式的鲁棒性，即仅选用了最稳定的局部差分模式进行编码；最后通过直方图统计描述和子空间分析的方法使总的特征维度得到进一步压缩，不但增强了不同个体人脸图像之间的判别能力，同时还能容忍一定的噪声干扰。本发明具有计算速度快、鲁棒性高和匹配速度快的特点。本发明可用于移动互联环境下的低功耗设备一对一的身份认证***或者一对多的身份识别***。

附图说明

图1为基于多阶局部显著模式特征统计的人脸识别流程框图；

图2为人脸图像归一化示意图，其中图2a是摄像头采集到的人脸图像，图2b是图2a归一化结果；

图3为多阶局部显著模式人脸特征的提取过程示意图；

图4的图4a、4b、4c、4d、4e分别为归一化的人脸图像和其0阶、1阶、2阶、3阶局部显著模式特征图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

现有的人脸识别***总体分为软件和硬件两大模块：即人脸图像的获取装置和人脸识别算法。人脸识别算法包括人脸归一化、特征提取和特征相似度度量三个步骤。

本发明提出的方法将应用于人脸识别的软件模块，即通过计算机软件实现。

本发明的人脸识别算法通过多阶局部差分的方式获得人脸图像在不同阶下的局部模式特征向量；其后根据显著性仅选用最鲁棒的两个局部差分模式特征进行编码以获得更稳定、更紧凑的人脸表示；同时利用空间直方图统计和子空间分析的方法使人脸图像的空间结构特征得到保持同时使整体的特征判别能力得到增强。

本方法充分描述了不同个体的不同人脸图像在不同阶局部差分模式下的差异，同时利用显著性编码的方式在某种程度上也抑制了同一个体在类内发生的局部变化。由于采用了空间直方图统计的策略，能克服一定的噪声干扰。度量时，采用余弦距离进行匹配速度非常快，适用于移动终端设备一对多身份识别***，和一对一的访问控制***等诸多应用***中。本发明对硬件配置不高，仅需普通个人电脑的摄像头或移动终端的摄像头即可实现，易于在实际应用中快速搭建***。

本发明提出了一种基于多阶分析和显著性编码的局部模式统计描述的人脸识别方法，其流程图如图1所示。用户在使用前需要向***注册自己的人脸模板，然后才能进行识别。该***可以运行于人脸识别***常见的两种模式：

1)验证模式：又称1对1的匹配模式。该模式要求用户向***提出身份认证的申请，同时向***声明自己的身份，***通过对比即时从用户身上提取的人脸特征和用户声称的个体在注册时存储于数据库中的人脸特征模板，若相似度大于一定的阈值，则***判定为身份认证通过，该模式广泛应用于需要进行访问控制的情形，例如手机解锁、电脑***登录等等。

2)识别模式：即1对多的匹配模式。该模式用户不需申明自己的身份信息，***完全自动识别给出用户的身份，或者给出该用户不在注册名单之列的结论。因为在识别模式中包含验证模式，因此识别模式是一种比验证模式更高级同时难度也越大的识别方式。该模式在国防、刑侦和司法鉴定的应用较多。

本发明既可以用于验证模式，也能用于识别模式。和现有的其他人脸识别方法相比具有以下优势：1)现有方法仅采用圆形采样的方式进行局部差分模式的计算，而本发明将其推广到同心圆的方式，能使内圆局部模式表达更加丰富；2)现有的方法利用局部差分模式的所有信息进行编码，而本发明采用最鲁棒的两个显著差分模式的结果进行编码；3)现有的方法仅采用一阶局部差分模型进行特征统计，而本发明的方法将其扩展到更高阶，通过多阶局部差分模式特征计算，丰富了人脸在不同阶下的人脸局部差分模式的特征表达。

图1为本发明的基于多阶局部显著模式特征统计的人脸识别方法的流程图，包括注册和识别两个模块。参照图1，该方法主要包括以下各步骤：

步骤1，首先用摄像头或者数码相机对人脸图像进行采集。步骤2，对采集的人脸图像归一化。

在该步骤，针对采集到的如图2a所示的人脸图像，将检测到的人脸的双眼坐标中心平移到图像中心并旋转，使两眼的y坐标相同。然后进行图像的缩放变化，使人脸的瞳距保持在设定值。以两眼中心为坐标原点，按同一尺寸上下左右分割出归一化后的人脸图像，如图2b所示。

步骤3，人脸图像特征提取。(如图3所示)。

图3是人脸图像特征提取过程示意图。在该步骤，针对归一化的人脸图像先计算0阶的局部差分模式特征向量，公式如下所示：

V₀(x，y)＝{V_0，1，V_0，2，...，V_0，k}

V_0，i＝P_w，i-P_n，i，i＝1，2，3，...，k

其中，V₀(x，y)表示以归一化后人脸图像坐标为(x，y)的像素0阶局部差分模式特征向量，V_0，i表示V₀(x，y)中的第i个元素，其值由以像素坐标(x，y)为中心半径分别为r_w和r_n的同心圆的第i个采样的值P_w，i和P_n，i的差分结果计算而得，默认r_w＞r_n，k为总的采样点数，即特征向量V₀(x，y)的长度，采样点的位置在圆周上呈均匀分布。

在0阶的局部差分模式特征向量的基础上，可以计算更高阶的局部差分模式特征向量，计算公式如下表示：

V_t(x，y)＝{V_t，1，V_t，2，...，V_t，k}，t＝1，2，3...

V_t，i＝V_t-1，i-V_{t-1，(i+1)％k}，i＝1，2，3，...，k

其中，V_t(x，y)表示以归一化后人脸图像坐标为(x，y)的像素t阶局部差分模式特征向量，V_t，i表示V_t(x，y)中的第i个元素，其值由以t-1阶局部差分模式特征值V_t-1，i的第i个元素和第(i+1)％k个元素的差分结果计算而得，％为取模符号，k为总的采样点数，即特征向量V_t(x，y)的长度，采样点的位置在圆周上呈均匀分布，其中高阶是指阶数t＞0且t为整数。

在计算完不同阶数的局部差分模式特征向量后，根据显著性，计算其相应的局部显著模式特征，具体计算公式如下表示：

LSP_t(x，y)＝[max_pos(V_t(x，y))min_pos(V_t(x，y))]，t＝0，1，2，3...

其中，LSP_t(x，y)是坐标为(x，y)的t阶局部显著模式，是一个二元组，其第一个元素为特征向量V_t(x，y)中值最大元素的位置，第二个元素为V_t(x，y)特征向量中值最小元素的位置，位置在采样圆周按顺时针方向排列，排列序号为1，2，...，k。

对每个像素的局部显著模式根据其类型数(A(k，2)+1)进行编码，例如图像4(a)的0阶、1阶、2阶、3阶局部显著模式示意图分别如，图4(b)、4(c)、4(d)、4(e)所示。并且在此基础上对人脸图像每一阶的局部显著模式编码后的特征图分块并进行空间直方图统计可由如下公式表示：

$\mathrm{HLSP}(t,m)=\underset{x,y}{\mathrm{\Σ}}I\{{\mathrm{LSP}}_t(x,y)=a\},a=\mathrm{0,1},...,L-1$

其中，HLSP(t，m)表示在t阶人脸局部显著模式特征图的第m个非重叠区域的直方图拥有编码为a的模式特征的个数，L为编码字典的长度，此外函数I{A}的表达式为：

最后，划分成M块的人脸图像的第t阶局部显著模式直方图特征可以表示为：

HLSP(t)＝[HLSP(t，1)HLSP(t，2)...HLSP(t，M)]

步骤4，对每一阶的局部显著模式直方图特征优选的采用线性判别分析来计算投影方向，将原始直方图特征按投影方向投射到判别性能最强的子空间，达到类内散度最小，类间散度最大的目的，从而得到每一阶增强的人脸特征描述。

步骤5，对每一个增强后的特征采用Fisher准则训练权重，公式如下表示：

$W\left(t\right)=\frac{{(m_w\left(t\right)-m_b\left(t\right))}^2}{S_w^2\left(t\right)+S_b^2\left(t\right)}$

$m_w\left(t\right)=\frac{1}{N_w}\mathrm{\Σ}\cos ({\mathrm{EHLSP}}^i\left(t\right),{\mathrm{EHLSP}}^j\left(t\right))$

$m_b\left(t\right)=\frac{1}{N_b}\mathrm{\Σ}\cos ({\mathrm{EHLSP}}^i\left(t\right),{\mathrm{EHLSP}}^j\left(t\right))$

$S_w^2\left(t\right)=\frac{1}{N_w}\mathrm{\Σ}{(\cos ({\mathrm{EHLSP}}^i\left(t\right),{\mathrm{EHLSP}}^j\left(t\right))-m_w\left(t\right))}^2$

$S_b^2\left(t\right)=\frac{1}{N_b}\mathrm{\Σ}{(\cos ({\mathrm{EHLSP}}^i\left(t\right),{\mathrm{EHLSP}}^j\left(t\right))-m_b\left(t\right))}^2$

其中，cos(A，B)为两个特征向量之间的余弦距离，m_w(t)为相同个体不同人脸图像之间的余弦距离的均值，m_b(t)为不同个体人脸图像之间的余弦距离的均值，为相同个体不同人脸图像之间的余弦距离的方差，为不同个体人脸图像之间的余弦距离的方差，N_b为相同个体不同人脸图像的图像对数，N_w为不同个体的不同人脸图像的图像对数，EHLSPⁱ(t)表示第i幅图像增强后的第t阶人脸局部显著模式特征。

步骤6，用增强描述子的加权余弦距离来度量两幅人脸图像的相似性。增强描述子的加权余弦距离来度量第p幅人脸图像和第q幅人脸图像的相似性可用如下公式表示：

${\mathrm{Similarity}}_{p,q}=\underset{t=1}{\overset{T}{\mathrm{\Σ}}}W\left(t\right)\·\cos (T\left(t\right)*{\mathrm{EHLSP}}^p\left(t\right),T\left(t\right)*{\mathrm{EHLSP}}^q\left(t\right)),$ 其中*为矩阵乘法，T为总的阶数，EHLSPⁱ(t)表示第i幅图像增强后的第t阶人脸局部显著模式特征，W(t)表示步骤4中用Fisher准则计算的第t阶局部显著模式特征的权重。

应用场景1：基于人脸识别的手机解锁。

本发明的基于多阶局部显著模式特征统计的人脸识别方法可应用于1对1的人脸验证***，如用于基于人脸识别的手机解锁功能。手机在生活中的普及率越来越高，手机的安全性和解锁便捷性在用户体验方面变得非常重要。传统解锁方法需要用户在手机屏幕上输入密码或者用手绘图像完成解锁。这样的方式在解锁过程中需要用户手指和手机屏幕接触。在北方城市寒天的冬天里使用，用户必须摘除手套进行解锁，给用户使用带来不便；另一方面从安全性角度出发，传统的密码方式容易被遗忘或者被他人拷贝，增加了用户的使用的风险。而本发明的基于人脸识别的解锁方法可以在1秒之内非接触的完成解锁功能，在改善用户体验的同时也增加了手机隐私的安全性。

应用场景2：刑侦中基于人脸识别的目标人物排查***。

在刑侦中，常常需要对某个目标人物进行追查。利用本发明可以通过移动终端对犯罪嫌疑人的人脸进行快速排查，根据这些资料有助于案件的快速侦破。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多阶局部显著模式特征统计的人脸识别方法，包括步骤：

人脸图像预处理；

对归一化的人脸图像的每个像素所在局部邻域计算不同阶数的局部差分模式特征向量；

将人脸图像每个像素的每一阶局部差分模式特征向量编码成相应局部显著模式特征；

对人脸图像每一阶的局部显著模式特征图分块并进行空间直方图统计；

将人脸图像每一阶的所有局部显著模式特征直方图进行拼接，并用白化的主成分分析进行增强；

根据每一阶增强后的局部显著模式直方图特征的判别能力，计算相应的权重；

两幅人脸图像的特征相似度用加权的余弦距离度量；

其中，所述的对归一化的人脸图像的每个像素所在局部邻域计算不同阶数的局部差分模式特征向量包括步骤：

对归一化的人脸图像的每个像素计算0阶局部差分模式特征向量；

在0阶局部差分模式特征向量的基础上，对归一化的人脸图像的每个像素计算更高阶局部差分模式特征向量；

将人脸图像每一阶的所有局部显著模式特征直方图进行拼接，并用白化的主成分分析进行增强包括步骤：

在人脸训练库中的每幅人脸图像的每个区域分别提取t个局部显著模式直方图，并将其按阶数分别拼接组成t个该幅图像的特征向量，若一共有M个非重叠人脸区域，则第t阶局部显著模式直方图特征为：

HLSP(t)＝[HLSP(t，1)HLSP(t，2)...HLSP(t，M)]；

若人脸库中每个个体有充足的样本时采用线性判别分析LDA训练投影矩阵，若每个个体的样本不足或每个个体仅有一个样本时，则采用带白化过程的主成分分析WPCA进行投影矩阵训练，每阶的投影矩阵用T(t)表示，增强后的特征用EHLSP(t)来表示，所述阶数为0到t-1。

2.根据权利要求1所述的方法，其特征在于所述的对归一化的人脸图像的每个像素计算0阶局部差分模式特征向量其计算公式如下所示：

V₀(x，y)＝{V_0，1，V_0，2，...，V_0，k}

V_0，i＝P_w，i-P_n，i，i＝1，2，3，...，k

其中，V₀(x，y)表示以归一化后人脸图像坐标为(x，y)的像素0阶局部差分模式特征向量，V_0，i表示V₀(x，y)中的第i个元素，其值由以像素坐标(x，y)为中心半径分别为r_w和r_n的同心圆的第i个采样的值P_w，i和P_n，i的差分结果计算而得，默认r_w＞r_n，k为总的采样点数，即特征向量V₀(x，y)的长度，采样点的位置在圆周上呈均匀分布。

3.根据权利要求1所述的方法，其特征在于所述的对归一化的人脸图像的每个像素计算更高阶局部差分模式特征向量其计算公式如下表示：

V_t(x，y)＝{V_t，1，V_t，2，...，V_t，k}，t＝1，2，3...

V_t，i＝V_t-1，i-V_{t-1，(i+1)％k}，i＝1，2，3，...，k

其中，V_t(x，y)表示以归一化后人脸图像坐标为(x，y)的像素t阶局部差分模式特征向量，V_t，i表示V_t(x，y)中的第i个元素，其值由以t-1阶局部差分模式特征值V_t-1，i的第i个元素和第(i+1)％k个元素的差分结果计算而得，％为取模符号，k为总的采样点数，即特征向量V_t(x，y)的长度，采样点的位置在圆周上呈均匀分布，其中高阶是指阶数t＞0且t为整数。

4.根据权利要求1中所述的方法，其特征在于，所述的将人脸图像每个像素的每一阶局部差分模式特征向量编码成相应局部显著模式特征包括步骤：

计算人脸图像每个像素的每一阶局部差分模式特征向量相应的局部显著模式特征；

将计算所得的人脸图像每个像素的每一阶局部显著模式特征进行编码。

5.根据权利要求4中所述的方法，其特征在于，所述的计算人脸图像每个像素的每一阶局部差分模式特征向量相应的局部显著模式特征，其计算公式如下表示：

LSP_t(x，y)＝[max_pos(V_t(x，y))min_pos(V_t(x，y))]，t＝0，1，2，3...其中，LSP_t(x，y)是坐标为(x，y)的t阶局部显著模式，是一个二元组，其第一个元素为特征向量V_t(x，y)中值最大元素的位置，第二个元素为V_t(x，y)特征向量中值最小元素的位置，位置在采样圆周按顺时针方向排列，排列序号为1，2，...，k，k为采样点数。

6.根据权利要求4中所述的方法，其特征在于所述的将计算所得的人脸图像每个像素的每一阶局部显著模式特征进行编码，包括步骤：

根据采样点数构造局部显著模式编码字典；

根据字典对每一阶的人脸图像每个像素对应的局部显著模式进行特征编码。

7.根据权利要求6中所述的方法，其特征在于根据采样点数构造局部显著模式编码字典方式如下：

采样点数为k，则局部显著模式的构成方式有A(k，2)+1种，其中A()为k的排列数，即V_t(x，y)中最大和最小两个显著位不相等的时候，则从k个位置有顺序的选择两个非重复的位置；而当V_t(x，y)中两个显著位相等，则只有1种可能，即局部模式特征向量V_t(x，y)中的所有元素都相等。

8.根据权利要求1中所述的方法，其特征在于对人脸图像每一阶的局部显著模式特征图分块并进行空间直方图统计可由如下公式表示：

其中，HLSP(t，m)表示在t阶人脸局部显著模式特征图的第m个非重叠区域的直方图拥有编码为a的模式特征的个数，L为编码字典的长度，此外函数I{A}的表达式为：

9.根据权利要求1中所述的方法，其特征在于，对于人脸图像每一阶增强后的局部显著模式直方图特征的判别能力不同设不同的权重，阶数位t的局部显著模式直方图特征的权重用W(t)表示。

10.根据权利要求1中所述的方法，其特征在于，用加权的按阶数增强的局部显著模式直方图特征的余弦距离来度量第p幅人脸图像和第q幅人脸图像的相似度，若相似度大于某一阈值，则识别为同一个人，否则认为是不同的人。