CN109389074A - 一种基于人脸特征点提取的表情识别方法 - Google Patents

Abstract

本发明提供一种基于人脸特征点提取的表情识别方法至少包括以下步骤：输入待检测的带人脸的图像p并将所述待检测的带人脸的图像p进行归一化处理，标记所述图像中的人脸特征点并分割提取的人脸图像p”，提取所述人脸图像p”的HOG特征及LBP特征，融合提取的特征融合后的特征进行特征降维，采用高斯核函数进行SVM分类，得出分类结果。本发明提出了一种基于人脸特征点提取的表情识别方法，通过标记并连通人脸68个特征点得到除去背景的人脸图像，提高了表情识别的准确度，同时融合了均匀LBP特征与HOG特征进行表情识别，同样提高识别准确度。

Description

一种基于人脸特征点提取的表情识别方法

技术领域

本发明涉及图像分析识别技术领域，具体而言，尤其涉及一种基于人脸特征点提取的表情识别方法。

背景技术

人脸面部表情是人类表达内在情绪的一种非语言的交流方式。在不同文化、不同种族的人类大环境下，心理学家将六种基本表情(高兴、悲伤、害怕、沮丧、惊讶、生气)作为广泛的具有共性的表情特征。随着行为科学，人机交互等人工智能领域的发展，人脸表情识别技术已经得到越来越多的关注。

人脸表情识别的目的是在人脸图像的范围内提取出对表情识别有利的特征，并以此特征为基础进行表情分类，因此提取出信息丰富易于分类的特征可提高表情分类的准确度。LBP(Local Binary Pattern，局部二值模式)特征是一种用来描述图像局部纹理特征的算子，它具有旋转不变性和灰度不变性等显著的优点。其用于纹理特征提取，而且提取的特征是图像的局部的纹理特征。

HOG(Histogram of Oriented Gradient)方向梯度直方图特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子，它通过计算和统计图像局部区域的梯度方向直方图来构成特征。HOG特征可以很好的描述人脸图像局部目标的形状(例如嘴，眼等部位)边缘的方向密度分布，虽具有计算简单，抗干扰能力强的优点，但没有旋转和尺度不变性。

在人脸表情识别过程中，图像的预处理是很重要的一步，对于除去人脸之外的无关背景、图像噪声、光照不均等处理是关乎于特征提取是否准确是否有效的根本。此外还需要提取利于分类的表情特征，而在人脸图像中往往包含许多冗余信息，因此对人脸表情特征融合的意义在于通过优化组合，处理两种特征矢量之间的相互依赖关系，既保留了有效的表情鉴别信息，又在一定程度上消除了冗余信息，这种新兴数据处理技术逐渐成为当前模式识别领域研究的热点方向。

发明内容

根据上述提出的技术问题，而提供一种基于人脸特征点提取的表情识别方法。本发明涉及一种基于人脸特征点提取的表情识别方法，其特征在于，至少包括以下步骤：

S1：输入待检测的带人脸的图像p并将所述待检测的带人脸的图像p进行归一化处理，获得归一化处理后的人脸的图像p’；

S2：标记所述图像中的人脸特征点并分割提取的人脸图像p”；

S3：提取所述人脸图像p”的HOG特征及LBP特征；

S4：融合步骤S3提取的所述特征；

S5：采用主成分分析法PCA对所述步骤S4融合后的特征进行特征降维；

S6：采用高斯核函数进行SVM分类；所述高斯核函数设置惩罚项参数C为0.4，核函数的系数gamam为0.125；

S7：得出分类结果。

进一步的，所述步骤S2标记所述图像中的人脸特征点并分割提取的人脸图像p”还包含：S21：获取所述归一化处理后的人脸的图像p’的人脸坐标；S22：获取所述人脸的图像p’的特征点坐标；所述特征点包含：脸部、眉毛、眼睛、鼻子、以及嘴巴；S23：根据所述特征点坐标构建脸部掩模图像；所述掩模图像尺寸与所述归一化处理后的人脸的图像p’尺寸相同；

更进一步的，所述构建脸部掩模图像是将所述特征点连线并绘制轮廓，将所述轮廓内的像素值设置为255，轮廓范围外的像素值为0。

进一步的，所述脸部掩模的特征点集为：

Ω₁＝{x₇₀,x₁₇,x₀,x₁,x₂,…,x₁₆,x₂₆,x₇₁}；

其中，x₁,x₂,…,x₆₅分别表示步骤S22检测到的人脸坐标；x₇₀,x₇₁,…，x₇₅分别表示自定义坐标。则人脸皮肤掩模图像为：

F＝f(Ω₁)；

其中，f(Ω)表示集合Ω围成轮廓的掩模图像，F表示人脸皮肤区域掩模图像。

进一步的，所述归一化处理的图像统一归一成64×64像素的图像；所述归一化处理还包含采用直方图均衡化方法；

所述直方图均衡化处理均衡化公式为：

P_r(r_k)＝r_k/N,0≤r_k≤；k＝0,1,2,3,….,L-1

其中，N表示像素的总数，k表示灰度级总数，k＝82，r_k表示第k个灰度级值则均衡化变换函数为：

其中，n_j表示灰度值为j的总像素数，P_r(r_j)表示灰度值为j的像素比例。

进一步的，所述提取所述人脸图像p”的HOG特征及LBP特征至少还包含以下步骤：S31：设置HOG特征提取参数；S32：计算所述提取的人脸图像p”中每个像素点的梯度为：

其中，f(x,y)表示图像中点(x,y)处的像素值，G_x(x,y)、G_y(x,y)分别表示所述提取的人脸图像p”中点(x,y)的x方向梯度及述提取的人脸图像p”中点(x,y)的y方向梯度，则像素点(x,y)的梯度幅值α(x,y)为：

S33：将所述人脸图像p”划分为16×16的小区域；

S34：对于每个所述小区域中的一个像素，将其与相邻的8个像素的灰度值与其进行比较，若所述相邻像素值大于所述像素，则该像素点的位置标记为1；若所述相邻像素值小于或等于所述像素，则该像素点的位置标记为0；

S35：计算所述小区域的直方图，即每个数字出现的频率并对所述直方图进行归一化处理；

S36：将所述直方图连接够成LBP特征向量。

更进一步的，根据权利要求1所述的一种基于人脸特征点提取的表情识别方法，其特征还在于：

所述主成分分析法PCA对所述步骤S4融合后的特征进行特征降维:

设样本数为N，特征向量为X_i，向量集为{x₁,x₂,...x_N}，则平均向量为：

则所述向量集的协方差为：

所述协方差为实对称矩阵，则所述协方差为n阶可逆矩阵，所述协方差的奇异值等于所述协方差的特征值，则存在正交矩阵Q：

其中，Q^-1＝Q^T，对角线上的元素即为协方差矩阵的特征值λ₁,λ₂,…λ_n；

将所述协方差矩阵的特征值从大到小降序排序λ₁≥λ₂≥…≥λ_n，若λ_n≥λ_d，则作为训练集信息；若λ_n<λ_d，则去除该值；λ_d表示第d个特征值；

则主成分分析法PCA的投影变换矩阵为：

U＝(λ₁,λ₂,…,λ_d)；

对每个特征集进行PCA降维后的向量为：

y_i＝U^Tx_i；

其中，U^T代表投影变换矩阵的转置，x_i表示特征向量。

较现有技术相比，本发明具有以下优点：

1、本发明提出了一种基于人脸特征点提取的表情识别方法。该方法通过标记并连通人脸68个特征点得到除去背景的人脸图像，提高了表情识别的准确度。

2、本发明融合了均匀LBP特征与HOG特征进行表情识别，同样提高识别准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的整体流程图示意图；

图2(a)-(c)为本发明实施例所采用的皮肤掩模；

图3(a)-(d)为本发明实施例截取后的人脸图像；

图4(a)-(c)为本发明实施例所采用部分脸部表情类型。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

如图1-4所示，一种基于人脸特征点提取的表情识别方法，至少包括以下步骤：

步骤S1：输入待检测的带人脸的图像p并将待检测的带人脸的图像p进行归一化处理，获得归一化处理后的人脸的图像p’。

作为优选的实施方式，本申请的人脸表情图像库来自于JAFFE：The JapansesFemale Facial Expression Database即日本女性面部表情数据库，该数据库共有213张表情图片，由10个女性的7种表情图片组成。可以理解为在其它的实施方式中，还可以采用其它的表情的数据库，或者设置离线建立数据库的方式建立数据库，只要能够满足能够有足够数量的识别特征图像进行图像的识别即可。如图3(a)-(d)、4(a)-(c)所示，分别表示正常表情、高兴、恐惧、惊奇、悲伤、愤怒、厌恶7种表情。

在本实施方式中，人脸检测与图像归一化处理。采用基于Haar-like特征的Adaboost检测算法进行人脸检测。首先通过积分图提取Haar-like特征；进而使用AdaBoost算法迭代获得最能够表征人脸的矩形特征，通过加权投票将弱分类器组成强分类器；再将强分类器组成级联分类器，设置每个节点分类器的阈值，识别人脸图像。可以理解为，在其它实施方式中，强分类器的训练方法还可以使用其他的方法只要能够满足能够将清楚的识别人脸图像即可。

同时作为优选的实施方式，将经检测出的人脸图像p经过几何校正，尺寸归一化预处理后将人脸图像统一归一化为64×64像素的图像，再采用直方图均衡化处理人脸图像，去除光照等客观因素对表情识别的影响。可以理解为在其它的实施方式中，图像的归一化尺寸按照实际情况进行确定，只要能够满足能够满足能够归一化处理后的图像包含待识别的人脸图像，并且清晰易于识别即可。

在本实施方式中，直方图均衡化处理是对图像进行非线性拉伸，从新分配图像像素值，使得一定灰度范围内的像素数量大致相同。保证灰度值在较大范围内能够趋于一致，增强图像的整体对比度。直方图均衡化处理均衡化公式为：

P_r(r_k)＝r_k/N,0≤r_k≤；k＝0,1,2,3,….,L-1；

其中，N表示像素的总数，k表示灰度级总数，k＝82，r_k表示第k个灰度级值，则均衡化变换函数为：

其中，n_j表示灰度值为j的总像素数，P_r(r_j)表示灰度值为j的像素比例。

步骤S2：标记图像中的人脸特征点并分割提取的人脸图像p”。作为优选的实施方式，步骤S2至少还包含：

步骤S21：获取归一化处理后的人脸的图像p’的人脸坐标。在本实施方式中，使用openCV自带的人脸检测函数检测该灰度图中的人脸坐标并在得到人脸在输入图像中的坐标位置后，使用Dlib开源库检测人脸中的特征点；。可以理解为在其它的实施方式中，还可以采用其它形式采集灰度图中的人脸坐标，只要能够满足能够获取坐标即可。

在本实施方式中，步骤S22：获取人脸的图像p’的特征点坐标；特征点包含：脸部、眉毛、眼睛、鼻子、以及嘴巴。步骤S23：根据特征点坐标构建脸部掩模图像；掩模图像尺寸与归一化处理后的人脸的图像p’尺寸相同。

作为优选的实施方式构建脸部掩模图像是将特征点连线并绘制轮廓，将轮廓内的像素值设置为255，轮廓范围外的像素值为0。在本实施方式中，脸部掩模的特征点集为：

Ω₁＝{x₇₀,x₁₇,x₀,x₁,x₂,…,x₁₆,x₂₆,x₇₁}；

其中，x₁,x₂,…,x₆₅分别表示步骤S22检测到的人脸坐标；x₇₀,x₇₁,…，x₇₅分别表示自定义坐标。则人脸皮肤掩模图像为：

F＝f(Ω₁)；

其中，f(Ω)表示集合Ω围成轮廓的掩模图像，F表示人脸皮肤区域掩模图像。

作为优选的实施方式，步骤S3：提取人脸图像p”的HOG特征及LBP特征。本实施方式中，提取人脸图像p”的HOG特征及LBP特征至少还包含以下步骤：

步骤S31：设置HOG特征提取参数。作为本申请的一种实施例，可以设置设置每个细胞单元的像素大小8*8、每个细胞单元划分9个方向、2*2个细胞单元合成一个图像块，以及图像块的重叠率设为0.5，则一幅图像的HOG特征为1764维。

步骤S32：计算提取的人脸图像p”中每个像素点的梯度为：

其中，f(x,y)表示图像中点(x,y)处的像素值，G_x(x,y)、G_y(x,y)分别表示提取的人脸图像p”中点(x,y)的x方向梯度及述提取的人脸图像p”中点(x,y)的y方向梯度，则像素点(x,y)的梯度幅值α(x,y)为：

作为本申请的一种实施例按照梯度方向与划分细胞单元9个方向对应原则进行梯度幅值直方图统计，则HOG特征的维数为1764维。

作为优选的实施方式，步骤S33：将人脸图像p”划分为16×16像素的小区域。

步骤S34：对于每个小区域中的一个像素，将其与相邻的8个像素的灰度值与其进行比较，若相邻像素值大于像素，则该像素点的位置标记为1；若相邻像素值小于或等于像素，则该像素点的位置标记为0。则作为本申请的一个实施例，3*3像素邻域内的8个点经比较可产生8位二进制数，即得到该窗口中心像素点的LBP值。

步骤S35：计算小区域的直方图，即每个数字出现的频率并对直方图进行归一化处理。

步骤S36：将直方图连接够成LBP特征向量。

根据权利要求1所述的一种基于人脸特征点提取的表情识别方法，其特征还在于：

所述主成分分析法PCA对所述步骤S4融合后的特征进行特征降维:

设样本数为N，特征向量为X_i，向量集为{x₁,x₂,...x_N}，则平均向量为：

则所述向量集的协方差为：

所述协方差为实对称矩阵，则所述协方差为n阶可逆矩阵，所述协方差的奇异值等于所述协方差的特征值，则存在正交矩阵Q：

其中，Q^-1＝Q^T，对角线上的元素即为协方差矩阵的特征值λ₁,λ₂,…λ_n；

将所述协方差矩阵的特征值从大到小降序排序λ₁≥λ₂≥…≥λ_n，若λ_n≥λ_d，则作为训练集信息；若λ_n<λ_d，则去除该值；λ_d表示第d个特征值；

则主成分分析法PCA的投影变换矩阵为：

U＝(λ₁,λ₂,…,λ_d)；

对每个特征集进行PCA降维后的向量为：

y_i＝U^Tx_i；

其中，U^T代表投影变换矩阵的转置，x_i表示特征向量。

在本实施方式中，步骤S4：融合步骤S3提取的特征。将图像的LBP统一模式的直方图特征与HOG特征进行串联融合，得到人脸表情图像的融合特征，融合特征维数为2020维。

作为优选的实施方式，步骤S5：采用主成分分析法PCA对步骤S4融合后的特征进行特征降维。

设样本数为N，特征向量为X_i，向量集为{x₁,x₂,...x_N}，则平均向量为：

则所述向量集的协方差为：

作为本申请的一种实施例，采用PCA对1771维的融合特征进行降维，考虑到计算时间以及信息的完整性，我们将1771维的融合特征降为60维，作为分类器的分类特征。

作为优选的实施方式，步骤S6：采用高斯核函数进行SVM分类；高斯核函数设置惩罚项参数C为0.4，核函数的系数gamam为0.125；

作为优选的实施方式，步骤S7：得出分类结果。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.一种基于人脸特征点提取的表情识别方法，其特征在于，至少包括以下步骤：

S1：输入待检测的带人脸的图像p并将所述待检测的带人脸的图像p进行归一化处理，获得归一化处理后的人脸的图像p’；

S2：标记所述图像中的人脸特征点并分割提取的人脸图像p”；

S3：提取所述人脸图像p”的HOG特征及LBP特征；

S4：融合步骤S3提取的所述特征；

S5：采用主成分分析法PCA对所述步骤S4融合后的特征进行特征降维；

S6：采用高斯核函数进行SVM分类；所述高斯核函数设置惩罚项参数C为0.4，核函数的系数gamam为0.125；

S7：得出分类结果；

所述步骤S2标记所述图像中的人脸特征点并分割提取的人脸图像p”还包含：

S21：获取所述归一化处理后的人脸的图像p’的人脸坐标；

S22：获取所述人脸的图像p’的特征点坐标；所述特征点包含：脸部、眉毛、眼睛、鼻子、以及嘴巴；

S23：根据所述特征点坐标构建脸部掩模图像；所述掩模图像尺寸与所述归一化处理后的人脸的图像p’尺寸相同；

所述构建脸部掩模图像是将所述特征点连线并绘制轮廓，将所述轮廓内的像素值设置为255，轮廓范围外的像素值为0；

所述脸部掩模的特征点集为：

Ω₁＝{x₇₀,x₁₇,x₀,x₁,x₂,…,x₁₆,x₂₆,x₇₁}；

其中，x₁,x₂,…,x₆₅分别表示步骤S22检测到的人脸坐标；x₇₀,x₇₁,…，x₇₅分别表示自定义坐标；

则人脸皮肤掩模图像为：

F＝f(Ω₁)；

其中，f(Ω)表示集合Ω围成轮廓的掩模图像，F表示人脸皮肤区域掩模图像。

2.根据权利要求1所述的一种基于人脸特征点提取的表情识别方法，其特征还在于：

所述归一化处理的图像统一归一成64×64像素的图像；

所述归一化处理还包含采用直方图均衡化方法；

所述直方图均衡化处理均衡化公式为：

P_r(r_k)＝r_k/N,0≤r_k≤；k＝0,1,2,3,….,L-1；

其中，N表示像素的总数，k表示灰度级总数，k＝82，r_k表示第k个灰度级值，则均衡化变换函数为：

其中，n_j表示灰度值为j的总像素数，P_r(r_j)表示灰度值为j的像素比例。

3.根据权利要求1所述的一种基于人脸特征点提取的表情识别方法，其特征还在于：

所述提取所述人脸图像p”的HOG特征及LBP特征至少还包含以下步骤：

S31：设置HOG特征提取参数；

S32：计算所述提取的人脸图像p”中每个像素点的梯度为：

其中，f(x,y)表示图像中点(x,y)处的像素值，G_x(x,y)、G_y(x,y)分别表示所述提取的人脸图像p”中点(x,y)的x方向梯度及述提取的人脸图像p”中点(x,y)的y方向梯度，则像素点(x,y)的梯度幅值α(x,y)为：

S33：将所述人脸图像p”划分为16×16像素的小区域；

S34：对于每个所述小区域中的一个像素，将其与相邻的8个像素的灰度值与其进行比较，若所述相邻像素值大于所述像素，则该像素点的位置标记为1；若所述相邻像素值小于或等于所述像素，则该像素点的位置标记为0；

S35：计算所述小区域的直方图，即每个数字出现的频率并对所述直方图进行归一化处理；

S36：将所述直方图连接够成LBP特征向量。

4.根据权利要求1所述的一种基于人脸特征点提取的表情识别方法，其特征还在于：

所述主成分分析法PCA对所述步骤S4融合后的特征进行特征降维:

设样本数为N，特征向量为X_i，向量集为{x₁,x₂,...x_N}，则平均向量为：

则所述向量集的协方差为：

所述协方差为实对称矩阵，则所述协方差为n阶可逆矩阵，所述协方差的奇异值等于所述协方差的特征值，则存在正交矩阵Q：

其中，Q^-1＝Q^T，对角线上的元素即为协方差矩阵的特征值λ₁,λ₂,…λ_n；

将所述协方差矩阵的特征值从大到小降序排序λ₁≥λ₂≥…≥λ_n，若λ_n≥λ_d，则作为训练集信息；若λ_n<λ_d，则去除该值；λ_d表示第d个特征值；

则主成分分析法PCA的投影变换矩阵为：

U＝(λ₁,λ₂,…,λ_d)；

对每个特征集进行PCA降维后的向量为：

y_i＝U^Tx_i；

其中，U^T代表投影变换矩阵的转置，x_i表示特征向量。