CN106250811B - 基于hog特征稀疏表示的非约束人脸识别方法 - Google Patents

Abstract

本发明提供一种基于HOG特征稀疏表示的非约束人脸识别方法，首先输入人脸数据库图片，提取输入图片的HOG特征；从每类人中随机选择若干张图片作训练，其余留作测试；将每类人每张训练图片的HOG特征列向量构建特征字典；利用梯度投影稀疏重建算法得到测试样本的HOG特征稀疏表示系数；按类依次保留稀疏系数，剩余系数置零，得到近似稀疏系数，与字典相乘得到测试样本估计值；计算测试样本与估计值的均方误差，根据均方误差最小原则判断测试样本类别。该方法有效降低非约束环境对人脸识别性能的影响，增强非约束人脸识别的鲁棒性。解决了传统稀疏表示分类算法中因字典维度大导致运行速度慢的问题，有效提高算法运行效率。

Description

基于HOG特征稀疏表示的非约束人脸识别方法

技术领域

本发明涉及一种基于HOG特征稀疏表示的非约束人脸识别方法。

背景技术

人脸识别作为最具潜力的生物身份识别方式之一，已经深入了人类日常生活的方方面面，正确辨识出非约束环境中的人脸对和谐人机交互至关重要。但由于非约束人脸受光照、姿态、遮挡、分辨率等因素影响，因此设计出鲁棒性强、效率高的非约束人脸识别方法是一项具有挑战性的工作。

目前常用的识别方法主要分为基于手工特征提取的人脸识别和基于稀疏表示的人脸识别两类。基于手工特征提取的人脸识别方法是针对人脸干扰因素手工选取人脸纹理特征，进而采用SVM、KNN等浅层神经网络识别分类；基于稀疏表示的人脸识别方法是从训练样本中学习特征字典，测试样本由这些特征字典原子线性表示，根据稀疏表示系数进行人脸识别。

现有技术方案的不足之处在于：

一、基于手工特征提取的人脸识别方法其关键是人脸特征表示，良好特征表示对算法准确性起关键作用，但手工选取特征是一件非常费力、启发式的方法，能不能选取适合特征很大程度上靠经验和运气。对于有遮挡、姿态变化、表情变化等因素影响的非约束人脸，手工选取人脸本质特征更加困难，导致识别率大大降低。

二、基于稀疏表示的人脸识别方法可以有效增强非约束人脸识别的鲁棒性，但是传统字典是在原始人脸图像基础上直接构建的，字典维度高，影响算法运行效率，而且字典不能描述本质特征，冗余度高，稀疏性差。

上述问题是在人脸识别过程中应当予以考虑并解决的问题。

发明内容

本发明的目的是提供一种基于HOG特征稀疏表示的非约束人脸识别方法解决现有技术中存在的手工选取人脸本质特征困难，而传统字典是在原始人脸图像基础上直接构建的，字典维度高，影响算法运行效率，而且字典不能描述本质特征，冗余度高，稀疏性差的问题。

本发明的技术解决方案是：

一种基于HOG特征稀疏表示的非约束人脸识别方法，

S1、首先输入人脸数据库图片，提取输入图片的HOG特征；

S2、从每类人中随机选择若干张图片作训练，其余留作测试，分为测试样本和训练样本；将每类人每张训练图片的HOG特征列向量构建特征字典，字典列数与训练样本数目相同；

S3、利用梯度投影稀疏重建算法得到测试样本的HOG特征稀疏表示系数；

S4、按类依次保留稀疏系数，剩余系数置零，得到近似稀疏系数，与字典相乘得到测试样本估计值；

S5、计算测试样本与估计值的均方误差，根据均方误差最小原则判断测试样本类别。

进一步地，步骤S1具体为：输入原始图像即灰度图片I(x,y)，利用HOG算子提取样本图片I(x,y)纹理特征，记为HOG_feature_i，HOG_feature_i数组代表第i类人的HOG特征，其中每一行又存储了一幅图片的纹理特征，每一行由q个特征组成。

进一步地，步骤S2具体为：从HOG_feature_i中随机取出m行特征向量用于构建特征字典，m类似于每类人训练样本的个数；把从n类中抽取的m*n个特征向量转置构建特征字典D，使得每一列代表一个训练样本。

进一步地，步骤S3具体为：利用梯度投影稀疏重构算法依次对HOG_feature_i中剩余的特征向量y即测试样本的纹理特征向量进行重建，每次得到稀疏系数alpha，alpha是一个(m*n)*1的列向量。

进一步地，步骤S4具体为：依次保留稀疏系数alpha中的第1、2、3...n类对应的稀疏系数，其余类的对应系数置零，记为计算均方误差

进一步地，步骤S5具体为：比较n个均方误差值error_j，取其中最小的均方误差值error_j，j的值就是该测试样本y所属的类别。

进一步地，步骤S1中，提取输入图片的HOG特征采用基于关键点的多尺度主方向旋转HOG特征提取方法，具体为：

首先，构造多尺度主方向旋转梯度模板，包括3*3和5*5两个尺度的主方向旋转梯度模板；

然后，对人脸图像中生物视觉ROI区域即感兴趣区域进行关键点标记，以关键点为中心，在邻域范围内分别计算3*3和5*5两个尺度、四组旋转梯度模板下的HOG特征，并将每个尺度的四组HOG特征级联，得到3*3尺度、5*5尺度的主方向旋转HOG特征，即k-PDR-HOG-3、k-PDR-HOG-5；

最后，将k-PDR-HOG-3和k-PDR-HOG-5两个特征级联融合，得到基于关键点的多尺度主方向旋转HOG特征。

进一步地，构造3*3尺度主方向旋转梯度模板具体为：在一个圆周2π范围内将3*3尺度主方向梯度模板从主方向每隔45°沿逆时针旋转一次，得到八个旋转梯度模板，即3*3尺度主方向旋转梯度模板；

根据梯度求导规则将八个3*3尺度主方向旋转梯度模板两两为一组分为四组，其中每组旋转梯度模板包含两个主方向相互垂直模板。

进一步地，构造5*5尺度主方向旋转梯度模板具体为：在一个圆周2π范围内将5*5尺度主方向梯度模板从主方向每隔45°沿逆时针旋转一次，得到八个旋转梯度模板，即5*5尺度主方向旋转梯度模板；

根据梯度求导规则将5*5尺度主方向旋转梯度模板两两为一组分为四组，其中每组旋转梯度模板包含两个主方向相互垂直模板。

本发明的有益效果是：

一、该种基于HOG特征稀疏表示的非约束人脸识别方法，利用字典原子稀疏表示人脸特征，实现非约束人脸识别。相较传统的基于手工特征提取的人脸识别算法，更加符合人眼视觉神经元的稀疏性特征，有效降低非约束环境对人脸识别性能的影响，增强非约束人脸识别的鲁棒性。

二、本发明采用HOG特征构建字典，相比较传统字典而言，字典原子包含了训练图片更丰富的边缘纹理信息，能够更准确描述人脸本质特征。并且HOG特征相比传统字典维数降低，解决了传统稀疏表示分类算法中因字典维度大导致运行速度慢的问题，有效提高算法运行效率。

三、该种基于HOG特征稀疏表示的非约束人脸识别方法，提取输入图片的HOG特征时可采用基于关键点的多尺度主方向旋转HOG特征提取方法，能够有效提取非约束人脸特征，相比传统HOG算子，基于关键点的HOG算子的提取非约束人脸特征具有更高的准确率。

附图说明

图1是本发明实施例基于HOG特征稀疏表示的非约束人脸识别方法的说明示意图。

图2是实施例中提取输入图片的HOG特征的流程示意图。

图3是实施例中3*3尺度主方向旋转梯度模板的示意图。

图4是实施例中分组3*3尺度主方向旋转梯度模板的示意图。

图5是实施例中5*5尺度主方向旋转梯度模板的示意图。

图6是实施例中分组5*5尺度主方向旋转梯度模板的示意图。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

实施例

一种基于HOG特征稀疏表示的非约束人脸识别方法，如图1所示。首先输入人脸数据库图片，提取输入图片的HOG特征；从每类人中随机选择10张图片作训练，其余留作测试，分为测试样本和训练样本；将每类人每张训练图片的HOG特征列向量构建特征字典，字典列数与训练样本数目相同；利用梯度投影稀疏重建算法得到测试样本的HOG特征稀疏表示系数；按类依次保留稀疏系数，剩余系数置零，得到近似稀疏系数，与字典相乘得到测试样本估计值；计算测试样本与估计值的均方误差，根据均方误差最小原则判断测试样本类别。

具体为：

S1、输入原始图像即灰度图片I(x,y)，利用HOG算子提取样本图片I(x,y)纹理特征，记为HOG_feature_i(HOG_feature_i数组代表第i类人的HOG特征，其中每一行又存储了一幅图片的纹理特征，每一行由q个特征组成)；

S2、从HOG_feature_i中随机取出m行特征向量用于构建特征字典，m类似于每类人训样本的个数。把从n类中抽取的m*n个特征向量转置构建特征字典D，使得每一列代表一个训练样本；

S3、利用梯度投影稀疏重构算法依次对HOG_feature_i中剩余的特征向量y即测试样本的纹理特征向量进行重建，每次得到稀疏系数alpha，alpha是一个(m*n)*1的列向量，因为测试样本y是一个q*1的列向量，特征字典D是一个q*(m*n)的矩阵，且y＝D*alpha；

S4、依次保留alpha的第1、2、3...n类对应的稀疏系数，其余类的对应系数置零，记为计算均方误差

S5、比较n个error_j值，取其中最小的error_j值。j的值就是该测试样本y所属的类别。

步骤S1中，提取输入图片的HOG特征优选采用基于关键点的多尺度主方向旋转HOG特征提取方法，具体为：

首先，构造多尺度主方向旋转梯度模板，包括3*3和5*5两个尺度的主方向旋转梯度模板；

然后，对人脸图像中生物视觉ROI区域即感兴趣区域进行关键点标记，以关键点为中心，在邻域范围内分别计算3*3和5*5两个尺度、四组旋转梯度模板下的HOG特征，并将每个尺度的四组HOG特征级联，得到3*3尺度、5*5尺度的主方向旋转HOG特征，即k-PDR-HOG-3、k-PDR-HOG-5；

最后，将k-PDR-HOG-3和k-PDR-HOG-5两个特征级联融合，得到基于关键点的多尺度主方向旋转HOG特征。

步骤S1对原始HOG算子进行改进，构建了3*3、5*5两个尺度主方向旋转HOG算子，实现了非约束环境下有效人脸特征提取。一方面，相比原始HOG梯度模板，改进梯度模板范围变大，包含的像素点个数增加，从多尺度角度捕捉人脸纹理灰度变化统计信息；另一方面，改进梯度模板主方向在0°～360°范围内每隔45°逆时针旋转一次，得到八个旋转梯度模板，根据梯度求导规则将八个模板分为四组(Group)，分别计算关键点邻域范围内的梯度方向直方图，从多方向角度描述人脸纹理方向变化统计信息。

步骤S1的具体实现流程如图2所示：首先对人脸图像进行关键点标记，然后以关键点为中心，在一定邻域范围内分别提取3*3尺度、5*5尺度的主方向旋转HOG特征，得到基于关键点的3*3尺度主方向旋转HOG特征(3*3-Scale Principal Direction RotationHistograms of Oriented Gradient based on keypoints，k-PDR-HOG-3)和基于关键点的5*5尺度主方向旋转HOG特征(5*5-Scale Principal Direction Rotation Histograms ofOriented Gradient based on keypoints，k-PDR-HOG-5)，然后将这两个特征进行级联融合，得到最终的基于关键点的多尺度主方向旋转HOG特征(Multi-Scale PrincipalDirection Rotation Histograms of Oriented Gradient based on keypoints,k-MSPDR-HOG)。

3*3尺度主方向旋转梯度模板：利用传统的[-101]梯度模板计算梯度幅值和方向存在较大的局限性。首先，传统梯度模板仅考虑中心像素点周围4个像素点，包含的像素点灰度信息较少，不能丰富地体现中心像素点周围的纹理信息；其次，传统梯度算子仅计算水平和竖直两个方向的纹理变化，但是因为人脸五官的形状较为规律，人脸的主要几个组成部分，如眉毛，眼睛，鼻子和嘴，它们的中心部分均是水平或垂直延长的，但是它们的尾部均是大约在对角线方向(π/4和3π/4)收敛，仅从水平和竖直两个方向计算梯度幅值和梯度方向不足以体现人脸纹理信息的变化。受以上传统梯度模板局限性的启发，实施例构建了如下所示的3*3尺度主方向梯度模板，模板中权值2大于其他数值，设为主方向，如箭头所示。

在一个圆周2π范围内将模板主方向每隔45°沿逆时针旋转一次，得到八个旋转梯度模板，即3*3尺度主方向旋转梯度模板，如图3所示。并根据梯度求导规则将八个模板分为四组(Group)，如图4所示，其中m_xi和m_yi分别表示两个主方向相互垂直模板，便于计算不同方向的梯度幅值和梯度方向及统计HOG特征。相比传统[-101]梯度模板，3*3主方向旋转梯度模板计算中心像素点周围8*2＝16个像素点灰度值，而传统[-101]梯度模板仅计算中心像素点周围2*2＝4个像素点灰度值，统计像素点个数增加，可以捕捉到的人脸纹理灰度变化信息也增加；同时3*3主方向旋转梯度模板在0、π/4、π/2、3π/4、π、5π/4、3π/2、7π/4、2π方向上增加模板的权重，突出主方向的灰度变化情况，描述主要的人脸纹理延伸方向，并且将其分为四组，分别用来提取不同方向的HOG特征，可以更充分描述丰富的人脸纹理方向信息。

5*5尺度主方向旋转梯度算子：考虑不同尺度的梯度算子表征的人脸纹理信息不同，因此，本发明在3*3尺度主方向旋转梯度模板基础上，进一步构造5*5尺度主方向旋转梯度模板，并与3*3尺度主方向旋转梯度模板结合使用，使其表征的非约束人脸信息更加全面丰富。5*5主方向梯度模板如下：

同理，在一个圆周(2π)范围内将模板主方向每隔45°沿逆时针旋转一次，得到八个旋转梯度模板，即5*5尺度主方向旋转梯度模板，如图5所示。并根据梯度求导规则将八个模板分为四组(Group)，如图6所示。

在实施例中，一幅人脸图像标记51个关键点，分别标识人脸中眼睛、嘴巴、眉毛等关键特征区域。每个关键点的梯度方向直方图为9维，并且本发明从两个尺度八个方向全面充分描述非约束人脸特征，因此，最终的k-MSPDR-HOG特征维度为51*9*4*2＝3672，特征信息更全面丰富，噪声鲁棒性更强。

传统的HOG算法中用[-101]梯度模板计算像素点的梯度幅值和梯度方向，它仅描述了水平和垂直两个方向的灰度变化，且包含的像素点信息较少，应用于非约束人脸特征提取效果较差。因此实施例提出的基于关键点的多尺度主方向旋转HOG算子(Multi-ScalePrincipal Direction Rotation Histograms of Oriented Gradient based onkeypoints,k-MSPDR-HOG)可以有效提取非约束人脸特征。一方面，实施例是基于面部关键点提取特征，可以有效消除非约束全局人脸特征提取中光照、姿态、旋转等干扰因素影响，相比传统HOG算子，基于关键点的HOG算子(HOG based on keypoints,k-HOG)提取非约束人脸特征准确率提高了20.37％(LFW数据库)和5.5％(ORL数据库)；另一方面，实施例以关键点为中心，在一定邻域范围内从多尺度、多方向两个角度充分描述非约束人脸特征，相比k-HOG算子，k-MSPDR-HOG算子提取非约束人脸特征准确率又进一步提高了11.66％(LFW数据库)和6.68％(ORL数据库)。由此可见，实施例提出的基于关键点的多尺度主方向旋转HOG特征提取方法是一种有效的非约束环境下的人脸特征提取算法。

实验验证

所有实验均采用相同的人脸数据库LFW-GBVS数据库进行仿真，即LFW数据库经过基于视觉显著性的人脸目标检测算法处理所得。从中选出前10类人，按名称排序，作为样本，共344张图片，每张图片归一化为128*128像素大小。随机抽取样本中每类人的10张图片作为训练样本用于构建特征字典，每类人剩下的图片作为测试样本。仿真结果如下：

实施例与基于HOG、LBP、Gabor手工特征算子的人脸识别方法性能比较如下：

HOG、LBP和Gabor算子均用来提取人脸特征，不同特征算子的参数设置如下：

基于HOG算子的人脸识别方法具体参数设置为：先把一幅128*128(pixels)图片划分为64个16*16(pixels)的block，每个block划分成2*2个cell；计算每个cell中每个像素点的梯度方向和梯度幅值，将这些梯度方向划分为9个区间，得到一个cell的梯度方向直方图，把4个cell的梯度方向直方图连接起来得到一个block的梯度方向直方图，最后把所有block的梯度方向直方图连接起来，得到这幅图片的HOG特征；最后把HOG特征输入到SVM进行分类识别。

基于LBP算子的人脸识别方法具体参数设置为：先把一幅128*128(pixels)图片分成16个32*32(pixels)block，分别计算每个block的二进制编码值，然后把所有block的特征级联在一起得到图片的LBP特征，最后把LBP特征输入到SVM进行分类识别。

基于Gabor算子的人脸识别方法是提取每幅图片4个尺度6个方向的Gabor特征，再对这24个纹理特征图进行下采样降维，然后按照尺度、方向的顺序把系数矩阵排成列向量得到这幅图片的Gabor特征；最后把归一化的样本特征输入到SVM进行分类识别。

实施例与基于HOG、LBP、Gabor算子的人脸识别方法的性能比较如表1所示。

表1实施例与基于HOG、LBP、Gabor手工特征算子的人脸识别方法的性能比较

从表1可以看出，采用实施例的非约束人脸识别率最高，因为实施例算法可以适当的克服非约束环境对人脸识别性能的影响，具有更好的鲁棒性能。HOG算子是一种有效的边缘特征描述子，但是忽略了局部特征之间的空间排列信息，因此识别率略低于实施例；传统的LBP算子是一种有效的纹理特征描述子，缺点是LBP算子只覆盖了固定半径范围内的小区域，不能满足不同尺寸和频率纹理的需要，因此识别率较低；Gabor算子虽然是常用的特征提取算子，但是识别率也没有实施例的识别率高。

实施例与基于其他字典学习稀疏表示的人脸识别算法性能比较如下：

基于原图字典学习的稀疏表示人脸识别算法(Original_SRC)的字典构建是先把二维样本图片下采样转换成一维列向量(1024*1)，再随机选取一些向量构造字典，然后按照SRC算法进行识别分类。

基于ICA字典学习的稀疏表示人脸识别算法(ICA_SRC)字典构建方法：对每类人的训练样本图片随机取300个16*16的patch，把每个patch转换成256*1的列向量就形成了256*300的矩阵，把这个矩阵作为ICA的输入，得到这类人的独立成分分量256*300作为字典，按照同样的方法对样本中其他类人提取ICA特征，最后把得到的10类人的字典级联在一起，构成一个大字典。

基于Shearlet字典学习的稀疏表示人脸识别算法(Shearlet_SRC)字典构建方法：对样本图片进行非下采样Shearlet变换得到剪切波系数，选取高频分量每个尺度每个方向的系数的最大值作为高频分量的表征，对低频与高频的特征进行相加融合，最后通过取局部最大降低系数维度，用降维后的剪切波系数构造字典。

基于K-SVD字典学习的稀疏表示人脸识别算法(K-SVD_SRC)用K-SVD算法对训练样本进行训练得到字典。

表2实施例与其他基于字典学习的稀疏表示人脸识别算法的性能比较

从表2可以看出，采用实施例人脸识别算法的识别率最高而且识别时间最短；Original_SRC方法没有对原图像特征进行筛选而直接用原图像素值构造字典，字典原子不能稀疏地表示测试图片，只有67.6％的识别率，且识别时间较长；ICA_SRC方法采用学习训练图片的独立分量的方法构建字典，每类人的字典都是冗余的，虽然也得到了理想的识别率，但是此方法是以牺牲大量时间为代价；Shearlet_SRC方法采用训练样本的剪切波系数构建字典，其中降维会导致图像的部分方向和尺度信息丢失，因此识别率只有63％；K-SVD_SRC方法使用K-SVD方法从训练样本中学习字典，得到的冗余字典是训练样本的稀疏表示，再用这个字典进行稀疏表示分类可以得到70.9％的识别率，高于除实施例之外的其他SRC方法。

Claims (6)

1.一种基于HOG特征稀疏表示的非约束人脸识别方法，其特征在于，

S1、首先输入人脸数据库图片，提取输入图片的HOG特征；提取输入图片的HOG特征采用基于关键点的多尺度主方向旋转HOG特征提取方法，具体为：

首先，构造多尺度主方向旋转梯度模板，包括3*3和5*5两个尺度的主方向旋转梯度模板；构造3*3尺度主方向旋转梯度模板具体为：在一个圆周2π范围内将3*3尺度主方向梯度模板从主方向每隔45°沿逆时针旋转一次，得到八个旋转梯度模板，即3*3尺度主方向旋转梯度模板；根据梯度求导规则将八个3*3尺度主方向旋转梯度模板两两为一组分为四组，其中每组旋转梯度模板包含两个主方向相互垂直模板；构造5*5尺度主方向旋转梯度模板具体为：在一个圆周2π范围内将5*5尺度主方向梯度模板从主方向每隔45°沿逆时针旋转一次，得到八个旋转梯度模板，即5*5尺度主方向旋转梯度模板；根据梯度求导规则将5*5尺度主方向旋转梯度模板两两为一组分为四组，其中每组旋转梯度模板包含两个主方向相互垂直模板；

然后，对人脸图像中生物视觉ROI区域即感兴趣区域进行关键点标记，以关键点为中心，在邻域范围内分别计算3*3和5*5两个尺度、四组旋转梯度模板下的HOG特征，并将每个尺度的四组HOG特征级联，得到3*3尺度、5*5尺度的主方向旋转HOG特征，即k-PDR-HOG-3、k-PDR-HOG-5；

最后，将k-PDR-HOG-3和k-PDR-HOG-5两个特征级联融合，得到基于关键点的多尺度主方向旋转HOG特征；

S2、从每类人中随机选择若干张图片作训练，其余留作测试，分为测试样本和训练样本；将每类人每张训练图片的HOG特征列向量构建特征字典，字典列数与训练样本数目相同；

S3、利用梯度投影稀疏重建算法得到测试样本的HOG特征稀疏表示系数；

S4、按类依次保留稀疏系数，剩余系数置零，得到近似稀疏系数，与字典相乘得到测试样本估计值；

S5、计算测试样本与估计值的均方误差，根据均方误差最小原则判断测试样本类别。

2.如权利要求1所述的基于HOG特征稀疏表示的非约束人脸识别方法，其特征在于，步骤S1具体为：输入原始图像即灰度图片I(x,y)，利用HOG算子提取样本图片I(x,y)纹理特征，记为HOG_feature_i，HOG_feature_i数组代表第i类人的HOG特征，其中每一行又存储了一幅图片的纹理特征，每一行由q个特征组成。

3.如权利要求2所述的基于HOG特征稀疏表示的非约束人脸识别方法，其特征在于，步骤S2具体为：从HOG_feature_i中随机取出m行特征向量用于构建特征字典，m类似于每类人训练样本的个数；把从n类中抽取的m*n个特征向量转置构建特征字典D，使得每一列代表一个训练样本。

4.如权利要求3所述的基于HOG特征稀疏表示的非约束人脸识别方法，其特征在于，步骤S3具体为：利用梯度投影稀疏重构算法依次对HOG_feature_i中剩余的特征向量y即测试样本的纹理特征向量进行重建，每次得到稀疏系数alpha，alpha是一个(m*n)*1的列向量。

5.如权利要求4所述的基于HOG特征稀疏表示的非约束人脸识别方法，其特征在于，步骤S4具体为：依次保留稀疏系数alpha中的第1、2、3...n类对应的稀疏系数，其余类的对应系数置零，记为计算均方误差

6.如权利要求5所述的基于HOG特征稀疏表示的非约束人脸识别方法，其特征在于，步骤S5具体为：比较n个均方误差值error_j，取其中最小的均方误差值error_j，j的值就是该测试样本y所属的类别。