CN105913053B - 一种基于稀疏融合的单演多特征的人脸表情识别方法 - Google Patents
一种基于稀疏融合的单演多特征的人脸表情识别方法 Download PDFInfo
- Publication number
- CN105913053B CN105913053B CN201610420390.7A CN201610420390A CN105913053B CN 105913053 B CN105913053 B CN 105913053B CN 201610420390 A CN201610420390 A CN 201610420390A CN 105913053 B CN105913053 B CN 105913053B
- Authority
- CN
- China
- Prior art keywords
- facial expression
- singly
- sparse
- feature vector
- hmog
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于单演多特征的稀疏融合的人脸表情识别方法,包括如下步骤:1、对预处理后的表情图像进行单演滤波处理,获得三个尺度上的单演幅值信息、单演方向信息、单演相位信息、横向变换信息和纵向变换信息;2、利用五种单演信息对人脸表情图像提取单演二值模式直方图特征、单演方向直方图特征和单演相位直方图特征,三种特征分别构造相应的稀疏字典;3、利用l1正则化最小二乘法优化三个稀疏字典的权值,通过加权融合来实现人脸表情识别。本发明能充分提取人脸表情图像的纹理、形状和方向特征,提高表情识别率。
Description
技术领域
本发明涉及到特征提取方法和分类判别,属于模式识别领域,具体地说是一种基于稀疏融合的单演多特征的人脸表情识别方法。
背景技术
人脸表情识别作为心理学与计算机学的交叉学科,是人工智能和人机交互领域的重要组成部分。通常人脸表情识别过程分为三个步骤:图像预处理,特征提取,表情识别。
特征提取是人脸表情识别的重要过程,典型的人脸表情特征提取方法有:局部二值模式(Local binary pattern,LBP),Gabor小波以及基于这两者的改进算法,如融合LBP方法和Gabor小波方法的LGBP特征,它能够增强特征对光照和噪声的鲁棒性,但是Gabor小波产生的五个尺度、八个方向特征使得LGBP的特征维数十分庞大。单演二值模式(Monogenic binary pattern,MBP)结合了LBP和单演示波方法,有效地利用了单演幅值特征来表达图像的人脸纹理细节特征,不仅仅对于光照和噪声具有一定的鲁棒性,并且大大降低了时间和空间复杂度,但是其却丢失了大量单演方向和单演相位特征。
近年来,研究表明稀疏字典与人类视觉***原理具有一定的相似性,因此稀疏表示分类器(SRC)逐渐被应用于人脸表情识别,该方法在遮挡或者噪声的影响下依然取得了良好的识别效果。但是在情况复杂的情况下,单一特征往往无法达到良好的识别效果。
发明内容
本发明为避免上述现有技术存在的不足之处,提出一种基于稀疏表示的单演多特征的人脸表情识别方法,以期利用多种特征对人脸表情图像进行充分描述,利用稀疏融合的方法进行人脸表情的分类识别,从而降低时间复杂度,提高人脸表情识别的准确率。
本发明为解决技术问题采用如下技术方案:
本发明一种基于单演多特征的稀疏融合的人脸表情识别方法的特点是按如下步骤进行:
步骤1、对已知C类表情标签的人脸数据库中的图像进行预处理;
利用Haar-like小波特征和积分图方法对所述人脸数据库中图像的人脸区域进行检测,并对检测到的人脸区域采用双向灰度积分投影法进行眼睛定位,并对定位后的人脸区域进行归一化处理和直方图均衡化处理,获得人脸表情图像;将所有图像均进行预处理,从而获得人脸表情图像集;
以所述人脸表情图像集作为样本集,选取部分样本作为训练集,剩余部分作为测试集;
步骤2、将所述样本集中任意一人脸表情图像进行均匀分块,每一子块称为相应人脸表情图像的子图像;
步骤3、利用单演滤波器获得任意一人脸表情图像的任意一子图像上的任意一像素点z在第i个尺度上的单演幅值Ai(z),单演相位值Pi(z),单演方向值Ti(z),横向变换值纵向变换值i=1,2,3;
步骤4、提取所述人脸表情图像的单演多特征;
步骤4.1、提取所述人脸表情图像的HMBP特征;
步骤4.1.1、对所述人脸表情图像任意一子图像的任意一个像素点z,利用ULBP特征提取方法提取所述像素点z的单演幅值Ai(z)的纹理信息,从而获得6位二进制数Bi(z);
步骤4.1.2、利用式(1)的编码方式将所述像素点z的横向变换值转化为1位二进制数
步骤4.1.3、利用式(2)的编码方式将所述像素点z的纵向变换值转化为1位二进制数
步骤4.1.4、利用式(3)将提取的和Bi(z)串联起来,从而获得所述像素点z在第i个尺度上的MBP值,记为MBPi(z):
步骤4.1.5、将所述像素点z所在的子图像上的所有像素点均按照步骤4.1.1-步骤4.1.4进行处理,从而获得所述像素点z所在的子图像上所有像素点第i个尺度上的MBP值,并进行直方图统计,从而获得所述像素点z所在的子图像在第i个尺度上的HMBPi特征向量;进而获得所述像素点z所在的人脸表情图像上所有子图像在第i个尺度上的HMBPi特征向量;
步骤4.1.6、将相应人脸表情图像在第i个尺度上的HMBPi特征向量按照由左到右、由上到下的顺序进行级联,从而获得相应人脸表情图像在第i个尺度上的HMBPi特征向量;
步骤4.1.7、利用式(4)获得所述人脸表情图像的HMBP特征向量:
HMBP=(HMBP1,HMBP2,HMBP3) (4)
步骤4.2、提取所述人脸表情图像的HMOG特征向量;
步骤4.2.1、利用单演方向归一化方法将相应人脸表情图像的任意一子图像上所有像素点在第i个尺度上的单演方向值归一化到九个方向上;
步骤4.2.2、利用式(5)计算所述子图像在第i个尺度上的第bin个方向的MOGi,bin值,bin∈{1,2,……,9}:
步骤4.2.3、利用式(6)获得所述子图像的HMOGi特征向量:
HMOGi=(MOGi,1,MOGi,2,…,MOGi,9) (6)
步骤4.2.4、重复步骤4.2.1-步骤4.2.3,获得所述人脸表情图像的所有子图像在第i个尺度上的HMOGi特征,并将所有子图像在第i个尺度上的HMOGi特征按照由左到右、由上到下的顺序进行级联,从而获得所述人脸表情图像在第i个尺度上的HMOGi特征;
步骤4.2.5、利用式(7)获得所述人脸表情图像的HMOG特征向量:
HMOG=(HMOG1,HMOG2,HMOG3) (7)
步骤4.3、提取所述人脸表情图像的HEMP特征向量;
步骤4.3.1、利用式(8)对所述像素点z在第i个尺度上的幅值Ai(z)进行二值化操作,获得所述像素点z的掩膜值Mi(z):
式(8)中,θ为所设定的阈值;
步骤4.3.2、将所述像素点z的单演相位值pi(z)与掩膜值Mi(z)进行掩膜运算,获得所述像素点z修正后的单演相位值pi′(z);将所述像素点z的单演幅值Ai(z)与掩膜值Mi(z)进行掩膜运算,获得所述像素点修正后的单演幅值Ai′(z);
步骤4.3.3、将所述像素点z修正后的单演相位值pi′(z)与修正后的单演幅值Ai′(z)作差,从而获得所述像素点z的增强的单演相位值pi″(z);
步骤4.3.4、将所述像素点z所在的子图像上所有像素点按照步骤4.3.1-步骤4.3.3处理,获得相应子图像上所有像素点在第i个尺度上的增强的单演相位值,并利用直方图进行统计,从而获得相应子图像在第i个尺度上的HEMPi特征向量;
步骤4.3.5、重复步骤4.3.4,从而获得相应人脸表情图像上所有子图像在第i个尺度上的HEMPi特征向量,并按照由左到右、由上到下的顺序进行级联,从而获得所述人脸表情图像在第i个尺度上的HEMPi特征向量;
步骤4.3.6、利用式(9)获得所述人脸表情图像的HEMP特征向量:
HEMP=(HEMP1,HEMP2,HEMP3) (9)
步骤5、构造稀疏字典
步骤5.1、将所述训练集中所有人脸表情图像均按照步骤2-步骤4进行处理,从而获得所述训练集中所有人脸表情图像的HMBP特征向量、HMOG特征向量、HEMP特征向量;训练集中所有人脸表情图像的HMBP特征向量并联构成HMBP稀疏字典;训练集中所有人脸表情图像的HMOG特征向量并联构成HMOG稀疏字典;训练集中所有人脸表情图像的HEMP特征向量并联构成HEMP稀疏字典;
步骤6、获得三个稀疏字典的权值;
步骤6.1、获得稀疏字典的学习矩阵;
步骤6.1.1、对于所述训练集得到的稀疏字典记为Gu,其中u={HMBP,HMOG,HEMP},稀疏字典Gu中包含C类表情标签,假设第j类表情标签有nj个样本,则训练集共有N个训练样本,即j=1,2,…,C;第j类表情标签的稀疏子字典可表示为:
式(10)中,表示第j类表情标签的第k个样本所对应的u特征向量;k=1,2,…,nj;则所述训练集的稀疏字典Gu表示为:
步骤6.1.2、利用式(12)将第j类表情标签的第k个样本所对应的u特征向量线性表示为:
式(12)中,为的稀疏表示系数,并且利用l1范式求取的最优稀疏系数
步骤6.1.3、利用稀疏系数累积函数判断在稀疏字典Gu上所属的类别,并且将在稀疏字典Gu上的所属的类别的学习情况置为1,其余类别的学习情况置为0;
步骤6.1.4、将所述训练集中所有人脸表情图像的特征向量均按照步骤6.1.1和步骤6.1.2处理,从而获得所述训练集中所有人脸表情图像在稀疏字典Gu上的学习情况,从而获得稀疏字典Gu的学习矩阵 表示将第m个样本识别为第j类表情标签的学习情况;m=1,2,…,N;
步骤6.2、利用式(13)求出稀疏字典Gu的准确率向量Accu:
式(13)中,Class(m)表示所述训练集中第m个样本的表情标签;
步骤6.3、利用步骤4.2获得三个稀疏字典的准确率向量AccHMBP,AccHMOG和AccHEMP,将三个稀疏字典的准确率向量并联得到决策矩阵Acc;
步骤6.4、利用l1正则化最小二乘法对所述决策矩阵Acc进行优化学习,获得三个稀疏字典的权值wHMBP,wHMOG,wHEMP;
步骤7、利用单演多特征的稀疏融合的人脸表情识别方法进行人脸表情分类;
步骤7.1、选取所述测试集中的任意一幅人脸表情图像作为测试图像;
步骤7.2、对所述测试图像按照步骤2-步骤4进行处理,获得所述测试图像的HMBP特征向量、HMOG特征向量和HEMP特征向量;
步骤7.3、利用HMBP稀疏字典线性表示所述HMBP特征向量、利用HMOG稀疏字典线性表示所述HMOG特征向量、利用HEMP稀疏字典线性表示所述HEMP特征向量;
采用l1范式求取所述测试图像的三种特征向量的稀疏表达系数,从而获得所述测试图像分别在HMBP,HMOG和HEMP稀疏字典上的最优稀疏系数
步骤7.4、利用式(14)计算所述测试图像在三个稀疏字典上的最终加权融合系数
步骤7.5、利用稀疏系数累计函数对所述最终加权融合系数进行计算,所获得的计算结果作为所述测试图像的预测表情类别。
与已有技术相比,本发明的有益效果体现在:
1、本发明使用了一种多特征描述的人脸表情识别方法,对人脸表情图像从单演滤波的幅值、方向、相位、横向和纵向五个方面进行特征提取,获取单演信号能量,方向,结构三种性质的特征,使得人脸表情图像信息的表征更加充分。
2、本发明利用HMOG算法进行人脸表情特征提取,将幅值信息通过方向归一化累加统计,得到人脸表情图像不同方向上的形状特征,加强了形状信息对人脸表情的识别作用。
3、本发明定义了一种新的特征提取算法:HEMP特征提取方法,通过幅值能量信息对于人脸表情细节的分布刻画,加强了单演相位特征对于人脸表情的识别作用。
4、本发明采用HMOG特征,HEMP特征和HMBP特征构造稀疏字典,三种特征具有的互补性使得构建的稀疏字典更加完备。
5、本发明利用l1正则化最小二乘法来优化学习三个稀疏字典的权值,三种稀疏表示系数加权融合,利用稀疏系数累计函数实现最终的稀疏分类,有效提高了人脸表情的识别率。
附图说明
图1为本发明的流程图;
图2为本发明的人脸检测示意图;
图3为本发明的部分人脸表情库样本;
图4为本发明的单演方向归一化示意图。
具体实施方式
本实施例中,如图1所示,一种基于单演多特征的稀疏融合的人脸表情识别方法能充分提取人脸表情图像的纹理、形状和方向特征,通过对预处理后的表情图像进行单演滤波处理,获得三个尺度上的单演幅值信息、单演方向信息、单演相位信息、横向变换信息和纵向变换信息;再利用五种单演信息对人脸表情图像提取单演二值模式直方图特征、单演方向直方图特征和单演相位直方图特征,三种特征分别构造相应的稀疏字典;最后利用正则化的最小二乘法优化三个稀疏字典的权值,通过加权融合来实现人脸表情识别;具体的说,包括如下步骤:
步骤1、对已知表情标签的人脸数据库中的图像进行预处理;
步骤1.1、利用Haar-like小波特征和积分图方法对图像中的人脸区域进行检测,并对检测到的人脸区域采用双向灰度积分投影法进行眼睛定位;
步骤1.2、检测到的人脸区域如图2所示,对人脸区域进行裁剪得到裁剪图像;
步骤1.3、对裁剪图像进行归一化处理和直方图均衡化处理,从而获得预处理后的人脸表情图像;将所有图像均进行预处理,从而获得人脸表情图像集;本实施例中,预处理后人脸表情图像的尺寸为119×119;
以人脸表情图像集作为样本集,选取部分样本作为训练集,剩余部分作为测试集;
本实施例采用JAFFE人脸表情库和Cohn-Kanade(CK)人脸表情库,部分样本如图3所示。图3中a为JAFFE库中包含的七种基本表情:生气、厌恶、恐惧、高兴、中性、悲伤、吃惊。图3中b为CK库中包含的六种基本表情:悲伤、高兴、吃惊、恐惧、生气、厌恶。
步骤2、将样本集中任意一人脸表情图像进行均匀分块,每一子块称为人脸表情图像的子图像;
步骤3、利用单演滤波器获得任意一人脸表情图像的任意一子图像上的任意一像素点z在第i个尺度上的单演幅值Ai(z),单演相位值Pi(z),单演方向值Ti(z),横向变换值纵向变换值i=1,2,3;
步骤4、提取人脸表情图像的单演多特征;
步骤4.1、提取人脸表情图像的HMBP特征;
步骤4.1.1、对人脸表情图像任意一子图像的任意一个像素点z,利用ULBP特征提取方法提取像素点z的单演幅值Ai(z)的纹理信息,从而获得六位二进制数Bi(z);
步骤4.1.2、利用式(1)的编码方式将像素点z的横向变换值转化为一位二进制数
步骤4.1.3、利用式(2)的编码方式将像素点z的纵向变换值转化为一位二进制数
步骤4.1.4、利用式(3)将提取的和Bi(z)串联起来,从而获得像素点z在第i个尺度上的MBP值,记为MBPi(z):
步骤4.1.5、将像素点z所在的子图像上的所有像素点均按照步骤4.1.1-步骤4.1.4进行处理,从而获得像素点z所在的子图像上所有像素点第i个尺度上的MBP值,并进行直方图统计,从而获得像素点z所在的子图像在第i个尺度上的HMBPi特征向量;进而获得像素点z所在的人脸表情图像上所有子图像在第i个尺度上的HMBPi特征向量;
步骤4.1.6、将相应人脸表情图像在第i个尺度上的HMBPi特征向量按照由左到右、由上到下的顺序进行级联,从而获得相应人脸表情图像在第i个尺度上的HMBPi特征向量;
步骤4.1.7、利用式(4)将三个HMBP特征向量串联,从而获得人脸表情图像的HMBP特征向量:
HMBP=(HMBP1,HMBP2,HMBP3) (4)
步骤4.2、提取人脸表情图像的HMOG特征向量;
步骤4.2.1、利用单演方向归一化方法将相应人脸表情图像的任意一子图像上所有像素点在第i个尺度上的单演方向值归一化到九个方向上;
任意一个像素点z的单演方向值Ti(z)是[0,π]任意一个值,为了降低直方图统计的维数,将所有像素点的单演方向值归一化到某个方向区间上,如图4所示,本实例中将单演方向值归一化到9个区间上,每个区间间隔为20°,则单演方向值在0°~20°范围内归一化为方向1,21°~40°范围内归一化为方向2,以此类推,161°~180°归一化为方向9。
步骤4.2.2、利用式(5)计算子图像在第i个尺度上的第bin个方向的MOGi,bin值,bin∈{1,2,……,9}:
步骤4.2.3、利用式(6)获得子图像的HMOGi特征向量:
HMOGi=(MOGi,1,MOGi,2,…,MOGi,9) (6)
步骤4.2.4、重复步骤4.2.1-步骤4.2.3,获得人脸表情图像的所有子图像在第i个尺度上的HMOGi特征,并将所有子图像在第i个尺度上的HMOGi特征按照由左到右、由上到下的顺序进行级联,从而获得人脸表情图像在第i个尺度上的HMOGi特征;
步骤4.2.5、利用式(7)获得人脸表情图像的HMOG特征向量:
HMOG=(HMOG1,HMOG2,HMOG3) (7)
步骤4.3、提取人脸表情图像的HEMP特征向量;
步骤4.3.1、利用式(8)对像素点z在第i个尺度上的幅值Ai(z)进行二值化操作,获得像素点z的掩膜值Mi(z):
式(8)中,θ为所设定的阈值;
步骤4.3.2、将像素点z的单演相位值pi(z)与掩膜值Mi(z)进行掩膜运算,获得像素点z修正后的单演相位值pi′(z);将像素点z的单演幅值Ai(z)与掩膜值Mi(z)进行掩膜运算,获得像素点修正后的单演幅值Ai′(z);
通过掩膜运算,能够保留高能量区域,消除低能量区域。
步骤4.3.3、为了进一步突出关键部位的特征信息,将像素点z修正后的单演相位值pi′(z)与修正后的单演幅值Ai′(z)作差,从而获得像素点z的增强的单演相位值pi″(z);
步骤4.3.4、将像素点z所在的子图像上所有像素点按照步骤4.3.1-步骤4.3.3处理,获得相应子图像上所有像素点在第i个尺度上的增强的单演相位值,并利用直方图进行统计,从而获得相应子图像在第i个尺度上的HEMPi特征向量;
步骤4.3.5、重复步骤4.3.4,从而获得相应人脸表情图像上所有子图像在第i个尺度上的HEMPi特征向量,并按照由左到右、由上到下的顺序进行级联,从而获得人脸表情图像在第i个尺度上的HEMPi特征向量;
步骤4.3.6、利用式(9)获得人脸表情图像的HEMP特征向量:
HEMP=(HEMP1,HEMP2,HEMP3) (9)
步骤5、构造稀疏字典
步骤5.1、将训练集中所有人脸表情图像均按照步骤2-步骤4进行处理,从而获得训练集中所有人脸表情图像的HMBP特征向量、HMOG特征向量、HEMP特征向量;训练集中所有人脸表情图像的HMBP特征向量并联构成HMBP稀疏字典;训练集中所有人脸表情图像的HMOG特征向量并联构成HMOG稀疏字典;训练集中所有人脸表情图像的HEMP特征向量并联构成HEMP稀疏字典;
步骤6、获得三个稀疏字典的权值;
步骤6.1、获得稀疏字典的学习矩阵;
步骤6.1.1、对于训练集得到的稀疏字典记为Gu,其中u={HMBP,HMOG,HEMP},稀疏字典Gu中包含C类表情标签(JAFFE库中C=7,CK库中C=6),假设第j类表情标签有nj个样本,则训练集共有N个训练样本,即j=1,2,…,C;第j类表情标签的稀疏子字典可表示为:
式(10)中,表示第j类表情标签的第k个样本所对应的u特征向量;k=1,2,…,nj;则训练集的稀疏字典Gu表示为:
步骤6.1.2、利用式(12)将第j类表情标签的第k个样本所对应的u特征向量线性表示为:
式(12)中,为的稀疏表示系数,并且利用l1范式求取的最优稀疏系数
步骤6.1.3、利用稀疏系数累积函数判断在稀疏字典Gu上所属的类别,并且将在稀疏字典Gu上的所属的类别的学习情况置为1,其余类别的学习情况置为0;
步骤6.1.4、将训练集中所有人脸表情图像的特征向量均按照步骤6.1.1和步骤6.1.2处理,从而获得训练集中所有人脸表情图像在稀疏字典Gu上的学习情况,从而获得稀疏字典Gu的学习矩阵 表示将第m个样本识别为第j类表情标签的学习情况;m=1,2,…,N;例如第m个样本的HMBP特征在HMBP稀疏字典上被识别为高兴,则在悲伤、高兴、吃惊、恐惧、生气、厌恶这六类对应的学习情况依次为:0、1、0、0、0、0,则
步骤6.2、利用式(13)求出稀疏字典Gu的准确率向量Accu:
式(13)中,Class(m)表示训练集中第m个样本的表情标签;
步骤6.3、利用步骤4.2获得三个稀疏字典的准确率向量AccHMBP,AccHMOG和AccHEMP,将三个稀疏字典的准确率向量并联得到决策矩阵Acc;
步骤6.4、利用l1正则化最小二乘法对决策矩阵Acc进行优化学习,获得三个稀疏字典的权值wHMBP,wHMOG,wHEMP;
步骤7、利用单演多特征的稀疏融合的人脸表情识别方法进行人脸表情分类;
步骤7.1、选取测试集中的任意一幅人脸表情图像作为测试图像;
步骤7.2、对测试图像按照步骤2-步骤4进行处理,获得测试图像的HMBP特征向量、HMOG特征向量和HEMP特征向量;
步骤7.3、利用HMBP稀疏字典线性表示HMBP特征向量、利用HMOG稀疏字典线性表示HMOG特征向量、利用HEMP稀疏字典线性表示HEMP特征向量;
采用l1范式求取测试图像的三种特征向量的稀疏表达系数,从而获得测试图像分别在HMBP,HMOG和HEMP稀疏字典上的最优稀疏系数
步骤7.4、利用式(14)计算测试图像在三个稀疏字典上的最终加权融合系数
步骤7.5、利用稀疏系数累计函数对最终加权融合系数进行计算,所获得的计算结果作为测试图像的预测表情类别;如果预测的表情类别和测试图像的标签类别一致,则识别正确;
综上所述,本发明的意义在于:1本发明提取多种单演特征表述人脸表情图像的纹理、形状和方向信息,增强特征表征的精确性;2构造三个稀疏字典通过加权融合获得表情的分类,有效提高了人脸表情的识别率。
Claims (1)
1.一种基于单演多特征的稀疏融合的人脸表情识别方法,其特征是按如下步骤进行:
步骤1、对已知C类表情标签的人脸数据库中的图像进行预处理;
利用Haar-like小波特征和积分图方法对所述人脸数据库中图像的人脸区域进行检测,并对检测到的人脸区域采用双向灰度积分投影法进行眼睛定位,并对定位后的人脸区域进行归一化处理和直方图均衡化处理,获得人脸表情图像;将所有图像均进行预处理,从而获得人脸表情图像集;
以所述人脸表情图像集作为样本集,选取部分样本作为训练集,剩余部分作为测试集;
步骤2、将所述样本集中任意一人脸表情图像进行均匀分块,每一子块称为相应人脸表情图像的子图像;
步骤3、利用单演滤波器获得任意一人脸表情图像的任意一子图像上的任意一像素点z在第i个尺度上的单演幅值Ai(z),单演相位值Pi(z),单演方向值Ti(z),横向变换值纵向变换值
步骤4、提取所述人脸表情图像的单演多特征;
步骤4.1、提取所述人脸表情图像的HMBP特征;
步骤4.1.1、对所述人脸表情图像任意一子图像的任意一个像素点z,利用ULBP特征提取方法提取所述像素点z的单演幅值Ai(z)的纹理信息,从而获得6位二进制数Bi(z);
步骤4.1.2、利用式(1)的编码方式将所述像素点z的横向变换值转化为1位二进制数
步骤4.1.3、利用式(2)的编码方式将所述像素点z的纵向变换值转化为1位二进制数
步骤4.1.4、利用式(3)将提取的和Bi(z)串联起来,从而获得所述像素点z在第i个尺度上的MBP值,记为MBPi(z):
步骤4.1.5、将所述像素点z所在的子图像上的所有像素点均按照步骤4.1.1-步骤4.1.4进行处理,从而获得所述像素点z所在的子图像上所有像素点第i个尺度上的MBP值,并进行直方图统计,从而获得所述像素点z所在的子图像在第i个尺度上的HMBPi特征向量;进而获得所述像素点z所在的人脸表情图像上所有子图像在第i个尺度上的HMBPi特征向量;
步骤4.1.6、将相应人脸表情图像上所有子图像在第i个尺度上的HMBPi特征向量按照由左到右、由上到下的顺序进行级联,从而获得相应人脸表情图像在第i个尺度上的HMBPi特征向量;
步骤4.1.7、利用式(4)获得所述人脸表情图像的HMBP特征向量:
HMBP=(HMBP1,HMBP2,HMBP3) (4)
步骤4.2、提取所述人脸表情图像的HMOG特征向量;
步骤4.2.1、利用单演方向归一化方法将相应人脸表情图像的任意一子图像上所有像素点在第i个尺度上的单演方向值归一化到九个方向上;
步骤4.2.2、利用式(5)计算所述子图像在第i个尺度上的第bin个方向的MOGi,bin值,bin∈{1,2,……,9}:
步骤4.2.3、利用式(6)获得所述子图像的HMOGi特征向量:
HMOGi=(MOGi,1,MOGi,2,…,MOGi,9) (6)
步骤4.2.4、重复步骤4.2.1-步骤4.2.3,获得所述人脸表情图像的所有子图像在第i个尺度上的HMOGi特征,并将所有子图像在第i个尺度上的HMOGi特征按照由左到右、由上到下的顺序进行级联,从而获得所述人脸表情图像在第i个尺度上的HMOGi特征;
步骤4.2.5、利用式(7)获得所述人脸表情图像的HMOG特征向量:
HMOG=(HMOG1,HMOG2,HMOG3) (7)
步骤4.3、提取所述人脸表情图像的HEMP特征向量;
步骤4.3.1、利用式(8)对所述像素点z在第i个尺度上的幅值Ai(z)进行二值化操作,获得所述像素点z的掩膜值Mi(z):
式(8)中,θ为所设定的阈值;
步骤4.3.2、将所述像素点z的单演相位值pi(z)与掩膜值Mi(z)进行掩膜运算,获得所述像素点z修正后的单演相位值pi′(z);将所述像素点z的单演幅值Ai(z)与掩膜值Mi(z)进行掩膜运算,获得所述像素点修正后的单演幅值Ai′(z);
步骤4.3.3、将所述像素点z修正后的单演相位值pi′(z)与修正后的单演幅值Ai′(z)作差,从而获得所述像素点z的增强的单演相位值pi″(z);
步骤4.3.4、将所述像素点z所在的子图像上所有像素点按照步骤4.3.1-步骤4.3.3处理,获得相应子图像上所有像素点在第i个尺度上的增强的单演相位值,并利用直方图进行统计,从而获得相应子图像在第i个尺度上的HEMPi特征向量;
步骤4.3.5、重复步骤4.3.4,从而获得相应人脸表情图像上所有子图像在第i个尺度上的HEMPi特征向量,并按照由左到右、由上到下的顺序进行级联,从而获得所述人脸表情图像在第i个尺度上的HEMPi特征向量;
步骤4.3.6、利用式(9)获得所述人脸表情图像的HEMP特征向量:
HEMP=(HEMP1,HEMP2,HEMP3) (9)
步骤5、构造稀疏字典
步骤5.1、将所述训练集中所有人脸表情图像均按照步骤2-步骤4进行处理,从而获得所述训练集中所有人脸表情图像的HMBP特征向量、HMOG特征向量、HEMP特征向量;训练集中所有人脸表情图像的HMBP特征向量并联构成HMBP稀疏字典;训练集中所有人脸表情图像的HMOG特征向量并联构成HMOG稀疏字典;训练集中所有人脸表情图像的HEMP特征向量并联构成HEMP稀疏字典;
步骤6、获得三个稀疏字典的权值;
步骤6.1、获得稀疏字典的学习矩阵;
步骤6.1.1、对于所述训练集得到的稀疏字典记为Gu,其中u={HMBP,HMOG,HEMP},稀疏字典Gu中包含C类表情标签,假设第j类表情标签有nj个样本,则训练集共有N个训练样本,即第j类表情标签的稀疏子字典可表示为:
式(10)中,表示第j类表情标签的第k个样本所对应的u特征向量;k=1,2,…,nj;则所述训练集的稀疏字典Gu表示为:
步骤6.1.2、利用式(12)将第j类表情标签的第k个样本所对应的u特征向量线性表示为:
式(12)中,为的稀疏表示系数,并且利用l1范式求取的最优稀疏系数
步骤6.1.3、利用稀疏系数累积函数判断在稀疏字典Gu上所属的类别,并且将在稀疏字典Gu上的所属的类别的学习情况置为1,其余类别的学习情况置为0;
步骤6.1.4、将所述训练集中所有人脸表情图像的特征向量均按照步骤6.1.1和步骤6.1.2处理,从而获得所述训练集中所有人脸表情图像在稀疏字典Gu上的学习情况,从而获得稀疏字典Gu的学习矩阵 表示将第m个样本识别为第j类表情标签的学习情况;m=1,2,…,N;
步骤6.2、利用式(13)求出稀疏字典Gu的准确率向量Accu:
式(13)中,Class(m)表示所述训练集中第m个样本的表情标签;
步骤6.3、利用步骤6.2获得三个稀疏字典的准确率向量AccHMBP,AccHMOG和AccHEMP,将三个稀疏字典的准确率向量并联得到决策矩阵Acc;
步骤6.4、利用l1正则化最小二乘法对所述决策矩阵Acc进行优化学习,获得三个稀疏字典的权值wHMBP,wHMOG,wHEMP;
步骤7、利用单演多特征的稀疏融合的人脸表情识别方法进行人脸表情分类;
步骤7.1、选取所述测试集中的任意一幅人脸表情图像作为测试图像;
步骤7.2、对所述测试图像按照步骤2-步骤4进行处理,获得所述测试图像的HMBP特征向量、HMOG特征向量和HEMP特征向量;
步骤7.3、利用HMBP稀疏字典线性表示所述HMBP特征向量、利用HMOG稀疏字典线性表示所述HMOG特征向量、利用HEMP稀疏字典线性表示所述HEMP特征向量;
采用l1范式求取所述测试图像的三种特征向量的稀疏表达系数,从而获得所述测试图像分别在HMBP,HMOG和HEMP稀疏字典上的最优稀疏系数
步骤7.4、利用式(14)计算所述测试图像在三个稀疏字典上的最终加权融合系数
步骤7.5、利用稀疏系数累计函数对所述最终加权融合系数进行计算,所获得的计算结果作为所述测试图像的预测表情类别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610420390.7A CN105913053B (zh) | 2016-06-07 | 2016-06-07 | 一种基于稀疏融合的单演多特征的人脸表情识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610420390.7A CN105913053B (zh) | 2016-06-07 | 2016-06-07 | 一种基于稀疏融合的单演多特征的人脸表情识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105913053A CN105913053A (zh) | 2016-08-31 |
CN105913053B true CN105913053B (zh) | 2019-03-08 |
Family
ID=56750086
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610420390.7A Active CN105913053B (zh) | 2016-06-07 | 2016-06-07 | 一种基于稀疏融合的单演多特征的人脸表情识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105913053B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106529504B (zh) * | 2016-12-02 | 2019-05-31 | 合肥工业大学 | 一种复合时空特征的双模态视频情感识别方法 |
CN107256407B (zh) * | 2017-04-21 | 2020-11-10 | 深圳大学 | 一种高光谱遥感图像分类方法及装置 |
CN107832740B (zh) * | 2017-11-28 | 2020-08-25 | 中国地质大学(武汉) | 一种远程教学的教学质量评估方法及*** |
CN108734208B (zh) * | 2018-05-15 | 2020-12-25 | 重庆大学 | 基于多模态深度迁移学习机制的多源异构数据融合*** |
CN109635778B (zh) * | 2018-12-25 | 2020-01-03 | 北京心法科技有限公司 | 适于特殊人群的风险行为监测预警方法及*** |
CN109886149B (zh) * | 2019-01-29 | 2021-09-14 | 中国人民解放军空军预警学院 | 一种基于稀疏表示的双字典和多特征融合决策人脸表情识别方法 |
CN112395901A (zh) * | 2019-08-12 | 2021-02-23 | 天津大学青岛海洋技术研究院 | 一种改进型复杂环境下人脸检测定位识别方法 |
CN110837801B (zh) * | 2019-11-06 | 2022-08-02 | 中国人民解放军国防科技大学 | 基于分割图像稀疏表示的sar图像融合遮挡目标识别方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103971095A (zh) * | 2014-05-09 | 2014-08-06 | 西北工业大学 | 基于多尺度lbp和稀疏编码的大规模人脸表情识别方法 |
CN104008375A (zh) * | 2014-06-04 | 2014-08-27 | 北京工业大学 | 基于特征融合的集成人脸识别方法 |
CN105069447A (zh) * | 2015-09-23 | 2015-11-18 | 河北工业大学 | 一种人脸表情的识别方法 |
CN105117708A (zh) * | 2015-09-08 | 2015-12-02 | 北京天诚盛业科技有限公司 | 人脸表情识别的方法和装置 |
CN105160299A (zh) * | 2015-07-31 | 2015-12-16 | 华南理工大学 | 基于贝叶斯融合稀疏表示分类器的人脸情感识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9251405B2 (en) * | 2013-06-20 | 2016-02-02 | Elwha Llc | Systems and methods for enhancement of facial expressions |
-
2016
- 2016-06-07 CN CN201610420390.7A patent/CN105913053B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103971095A (zh) * | 2014-05-09 | 2014-08-06 | 西北工业大学 | 基于多尺度lbp和稀疏编码的大规模人脸表情识别方法 |
CN104008375A (zh) * | 2014-06-04 | 2014-08-27 | 北京工业大学 | 基于特征融合的集成人脸识别方法 |
CN105160299A (zh) * | 2015-07-31 | 2015-12-16 | 华南理工大学 | 基于贝叶斯融合稀疏表示分类器的人脸情感识别方法 |
CN105117708A (zh) * | 2015-09-08 | 2015-12-02 | 北京天诚盛业科技有限公司 | 人脸表情识别的方法和装置 |
CN105069447A (zh) * | 2015-09-23 | 2015-11-18 | 河北工业大学 | 一种人脸表情的识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105913053A (zh) | 2016-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105913053B (zh) | 一种基于稀疏融合的单演多特征的人脸表情识别方法 | |
CN107145842B (zh) | 结合lbp特征图与卷积神经网络的人脸识别方法 | |
CN104866829B (zh) | 一种基于特征学习的跨年龄人脸验证方法 | |
CN103605972B (zh) | 一种基于分块深度神经网络的非限制环境人脸验证方法 | |
Cheriyadat | Unsupervised feature learning for aerial scene classification | |
CN105205449B (zh) | 基于深度学习的手语识别方法 | |
CN105426919B (zh) | 基于显著性指导非监督特征学习的图像分类方法 | |
Arora et al. | Recognition of non-compound handwritten devnagari characters using a combination of mlp and minimum edit distance | |
Purohit et al. | A literature survey on handwritten character recognition | |
CN103761531A (zh) | 基于形状轮廓特征的稀疏编码车牌字符识别方法 | |
CN105469047A (zh) | 基于无监督学习深度学习网络的中文检测方法及*** | |
CN109325507A (zh) | 一种结合超像素显著性特征与hog特征的图像分类算法和*** | |
Arora et al. | Study of different features on handwritten Devnagari character | |
Venkataraman et al. | Support vector machine based classification of medicinal plants using leaf features | |
Rehman et al. | Cursive multilingual characters recognition based on hard geometric features | |
CN108710836A (zh) | 一种基于级联特征提取的唇部检测及读取方法 | |
CN109902692A (zh) | 一种基于局部区域深度特征编码的图像分类方法 | |
Ramteke et al. | Recognition of off-line MODI script: a structure similarity approach | |
Li et al. | Locally-enriched cross-reconstruction for few-shot fine-grained image classification | |
Arora et al. | Complementary features combined in a MLP-based system to recognize handwritten devnagari character | |
Patel et al. | Multiresolution technique to handwritten English character recognition using learning rule and Euclidean distance metric | |
Chacko et al. | Handwritten character recognition in malayalam scripts-a review | |
O***llah et al. | Transform based approach for Indic script identification from handwritten document images | |
Joshi et al. | Combination of multiple image features along with KNN classifier for classification of Marathi Barakhadi | |
Kobchaisawat et al. | A method for multi-oriented Thai text localization in natural scene images using Convolutional Neural Network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |