CN105069447A - 一种人脸表情的识别方法 - Google Patents
一种人脸表情的识别方法 Download PDFInfo
- Publication number
- CN105069447A CN105069447A CN201510621774.0A CN201510621774A CN105069447A CN 105069447 A CN105069447 A CN 105069447A CN 201510621774 A CN201510621774 A CN 201510621774A CN 105069447 A CN105069447 A CN 105069447A
- Authority
- CN
- China
- Prior art keywords
- human face
- textural characteristics
- facial expression
- face expression
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 162
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000014509 gene expression Effects 0.000 claims abstract description 31
- 239000000284 extract Substances 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 17
- 238000002474 experimental method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 230000007935 neutral effect Effects 0.000 claims description 5
- 238000005286 illumination Methods 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 14
- 238000000513 principal component analysis Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000007547 defect Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 1
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 1
- YTAHJIFKAKIKAV-XNMGPUDCSA-N [(1R)-3-morpholin-4-yl-1-phenylpropyl] N-[(3S)-2-oxo-5-phenyl-1,3-dihydro-1,4-benzodiazepin-3-yl]carbamate Chemical compound O=C1[C@H](N=C(C2=C(N1)C=CC=C2)C1=CC=CC=C1)NC(O[C@H](CCN1CCOCC1)C1=CC=CC=C1)=O YTAHJIFKAKIKAV-XNMGPUDCSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明一种人脸表情的识别方法,涉及用于识别图形的方法,是一种使用中心对称三值模式(Center?Symmetrical?Ternary?Patterns,以下简称CSTP)算法提取表情纹理特征的人脸表情的识别方法,步骤是:人脸表情图像预处理;提取每一人脸表情图像的子块上的人脸表情纹理特征;确定人脸表情图像最终的人脸表情纹理特征;完成人脸表情的识别。本发明方法克服了现有技术识别背景复杂导致的纹理描述不精细,识别率不高的缺陷。
Description
技术领域
本发明的技术方案涉及用于识别图形的方法,具体地说是一种人脸表情的识别方法。
背景技术
人脸表情识别是计算机视觉领域一个富有挑战性的研究课题,在心理学、人机交互研究等方面具有重要意义。近年来,人脸表情识别技术发展迅速,主流的方法有Gabor滤波法、主动形状模型ASM(ActiveShapeModels)、主成分分析PCA(PrincipalComponentAnalysis)和纹理特征法。Gabor小波可以从不同尺度和不同方向上提取人脸表情的纹理特征,但是其计算过程产生的高维数有可能导致计算机内存的耗尽,并且计算过程相当耗时。ASM算法能直观地反应表情的变化,但是模型的构建相当复杂,在一定程度上影响了算法的自动化程度。PCA算法可以提取表情图像的全局纹理特征,但是它很难避免处理数据时产生的协方差矩阵维数过高问题。二元主成分分析2DPCA是PCA的拓展算法,在一定程度上解决了上述问题,但是它是在水平方向上提取图像的特征,而忽略了垂直方向上的特点。局部二值模式LBP算子最早是由Ojala等人提出的,它能够有效地描绘图像局部纹理信息,LBP及其扩展特征被应用于人脸表情检测,有突出的表现,其缺点是当光照变化剧烈时,LBP的可靠性会下降。针对LBP的局限性,付晓峰等人将中心化二值模式(CBP)应用到表情识别,CBP特点是采用“对角原则”,即计算对角元素的灰度值,将中心点像素加入到传统的LBP算子中去,且赋予中心点像素最高权值。但是,CBP与LBP同样存在是只利用周边像素亮度变化信息,而没有考虑人脸表情的区域性的局部信息,导致表情的识别率不高的缺陷。
总之,现有的人脸表情识别方法存在因识别背景复杂导致的纹理描述不精细,识别率不高的缺陷。
发明内容
本发明所要解决的技术问题是:提供一种人脸表情的识别方法,是一种使用中心对称三值模式(CenterSymmetricalTernaryPatterns,以下简称CSTP)算法提取表情纹理特征的人脸表情的识别方法,克服了现有技术识别背景复杂导致的纹理描述不精细,识别率不高的缺陷。
本发明解决该技术问题所采用的技术方案是:一种人脸表情的识别方法,是一种使用CSTP算法提取人脸表情纹理特征的人脸表情的识别方法,具体步骤如下:
第一步,人脸表情图像预处理:
采用已经进行了人脸检测和几何归一化的人脸表情库中的人脸表情图像,并在原数据库上应用如下的公式(1)进行高斯滤波处理,由此完成人脸表情图像预处理,
其中(x,y)是像素点坐标,σ是方差;
第二步,提取每一人脸表情图像的子块上的人脸表情纹理特征:
对第一步预处理完成的人脸表情图像进行分块,将其分成5×5个非重叠的子块,利用CSTP算法提取每一人脸表情图像子块上的人脸表情纹理特征,步骤如下;
(1)计算在(P,R)邻域内关于中心像素对称的像素对差Δgi:
Δgi=gi-gi+P/2,i=0,1,…,P/2-1(2),
其中,g是像素,P是周围邻域个数,R是半径,R=2;
(2)统计该(P,R)邻域的像素对差的均值
(3)设定上限值U和下限值L:
其中,t为阈值参数,是经验值,t∈(0,1),t随光照的变化而调整;
(4)提取每一像素的CSTP人脸表情纹理特征:
其中,
CSTP的编码过程是,从左上角顺时针起,当周围像素点的灰度值gi与以中心像素为对称的gi+P/2的差值Δgi大于U,则该位编码为1,当Δgi小于L,则该位编码为-1;把编码中的所有“-1”清为“0”,称为正模式,把编码中的“1”清为“0”,然后把“-1”置为“1”,称为负模式,在完成正、负两个模式的编码后对正负模式进行相应的“或”运算,每个子块内的每一像素都进行CSTP的特征提取,即提取每一像素的CSTP人脸表情纹理特征,统计每个子块的CSTP直方图H就是提取的每一人脸表情图像子块上的人脸表情纹理特征;
第三步,确定人脸表情图像最终的人脸表情纹理特征:
(1)计算第二步中的每一人脸表情图像子块的信息熵Ej:
其中,表示第j个子块第i级像素出现的概率,m代表级数,取256;
(2)计算每一人脸表情图像子块的权值Wj:
其中,n为每一人脸表情图像子块个数;
(3)计算每一人脸表情图像各个子块加权后的直方图向量
其中Hj是利用第二步提取的每一人脸表情图像第j个子块的直方图;
串联每一人脸表情图像各个子块加权后的直方图向量作为最终的人脸表情纹理特征;
第四步,完成人脸表情的识别:
采用SVMKernelMethods工具箱训练SVM分类器,具体流程如下:
(1)输入训练样本和测试样本提取到的人脸表情纹理特征,该人脸表情纹理特征是经过上面的第二步和第三步后所得,根据这些人脸表情纹理特征样本构造出训练样本人脸表情纹理特征矩阵和测试样本人脸表情纹理特征矩阵分别对应的训练和测试类别样本矩阵,类别样本矩阵中的值为样本的分类类别;
(2)针对局部人脸表情纹理特征采用高斯核函数,核数设为8,拉格朗日因子c=100,二次最优方法的调节参数λ=10-7,首先将训练样本人脸表情纹理特征矩阵和训练类别样本矩阵送入svmmulticlassoneagainstall函数得到支持向量、权重和偏置,再将训练样本纹理特征矩阵、支持向量、权重、偏置和高斯函数送入svmmultival函数中进行训练,最后将测试样本纹理特征矩阵、支持向量、权重、偏置和高斯函数送入svmmultival函数中进行预测,由此完成人脸表情的识别,在JAFFE库中实验得到生气、厌恶、害怕、高兴、中性、伤心和惊讶7种表情,而CMU-AMP库中实验得到生气、高兴和惊讶3种表情,由此完成人脸表情的识别。
上述人脸表情识别方法,所述的SVM分类器是公知的。
本发明的有益效果是:与现有技术相比,本发明的突出的实质性特点和显著进步如下:
(1)本发明方法摆脱了对中心像素的依赖性,克服了现有技术识别背景复杂导致的纹理描述不精细,识别性能低的缺陷,对局部纹理描述的更加精细,“或”运算增强了表情的重要信息,使得整个人脸表情纹理特征空间样本的表征和分类性能得到进一步增强和提高;
(2)本发明方法通过计算每个子块的信息熵构造各个子块自适应加权后的特征向量,将自适应加权后的各个子块特征向量串连起来作为人脸表情图像最终的人脸表情纹理特征,融合了局部特征和全局特征,提高了表情识别的性能。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明方法的流程示意框图。
图2(a)是人脸表情预处理后JAFFE库中的人脸表情图像。
图2(b)是人脸表情预处理后CMU-AMP库中的人脸表情图像。
图3(a)是CSTP三值化示意图。
图3(b)是CSTP“或”运算示意图。
图4(a)是本发明方法中JAFFE库中CSTP取不同t值下的识别率示意图。
图4(b)是本发明方法中CMU-AMP库中CSTP取不同t值下的识别率示意图。
具体实施方式
图1所示实施例表明,本发明人脸表情的识别方法的流程是:人脸表情图像预处理→提取每一人脸表情图像的子块上的人脸表情纹理特征→确定人脸表情图像最终的人脸表情纹理特征→完成人脸表情的识别。
更详细地说,上述提取每一人脸表情图像的子块上的纹理特征中包括:计算在(P,R)邻域内关于中心像素对称的像素对差Δgi→统计该(P,R)邻域的像素对差的均值→设定上限值U和下限值L→提取每一像素的CSTP纹理特征;上述确定人脸表情图像最终的纹理特征中包括:计算上一步中的每一人脸表情图像子块的信息熵Ej→计算每一人脸表情图像子块的权值Wj→计算每一人脸表情图像各个子块加权后的直方图向量
图2是本发明方法中的人脸表情图像预处理后的示意图,其中:图2(a)所示实施例显示在本发明方法中人脸表情预处理后JAFFE库中的人脸表情图像,分别是生气、厌恶、害怕、高兴、中性、伤心和惊讶7种表情。图2(b)所示实施例显示在本发明方法中人脸表情预处理后的CMU-AMP库中的人脸表情图像,分别是惊讶、生气和高兴3种表情。
图3所示实施例说明在本发明方法中子块内每一像素进行CSTP纹理特征提取定义如下:
其中,
图3(a)是CSTP三值化示意图,其中从左至右,该图第一个图像子块中有九个小方块,每个小方块里的数值代表了每个像素的灰度值,第一个图像子块中相同样式圆圈内的两个像素代表一个像素对,共4个像素对,分别为(251,178)、(135,90)、(53,23)和(246,198)。从左上角顺时针方向计算该邻域内关于中心像素对称的像素对差Δgi,其数值如该图第二个图像子块中含有数值的四个小方块所示,从左上角顺时针方向看分别是73、45、30、48;接着统计第二个图像子块中含有数值的四个小方块的像素对差的均值利用和阈值t求出上限值U和下限值L,最后根据公式(12)判断3种模式(-1、0、1),其结果如该图第三个图像子块中含有数值的4个小方块所示为1、0、-1、0。
图3(b)是CSTP或运算示意图,直观上将图3(a)第三个图像子块中含有数值的4个小方块按顺时针变成一个列向量形式,拆分成正、负两个模式分别进行加权;上面一行列向量编码中的-1部分由0代替,定义为正模式,二进制编码为1000,加权转变成十进制为8;下面一行列向量编码中的1部分由0代替,-1取绝对值,定义为负模式,二进制编码为0010,加权转变成十进制为2;最后进行“或”运算,二进制编码为1010,加权转变成十进制为10;“或”运算增强表情信息,防止其在特征提取过程中一些重要信息的丢失。
图4(a)所示实施例显示JAFFE数据库中的CSTP中阈值t与人脸表情平均识别率的关系,该图显示了JAFFE数据库中不同的CSTP中阈值t取值与人脸表情的平均识别率的对应关系,当JAFFE数据库中的CSTP中阈值t取0.5和0.7时,效果最好,人脸表情的识别率能够达到95.71%。
图4(b)所示实施例显示CMU-AMP数据库中CSTP中阈值t与人脸表情平均识别率的关系,该图显示了CMU-AMP数据库中不同的CSTP中阈值t取值与人脸表情的平均识别率的对应关系,当CMU-AMP数据库中的CSTP中阈值t取0.9时,人脸表情的平均识别率最高。
图4(a)和图4(b)所示实施例的实验基础是训练样本和测试样本均分为5×5个子块,P=8,R=2,SVM核数设为8。
实施例
本实施例的一种人脸表情的识别方法,是一种使用CSTP算法提取人脸表情纹理特征的人脸表情的识别方法,具体步骤如下:
第一步,人脸表情图像预处理:
采用已经进行了人脸检测和几何归一化的人脸表情库中的人脸表情图像,并在原数据库上应用如下的公式(1)进行高斯滤波处理,由此完成人脸表情图像预处理,
其中(x,y)是像素点坐标,σ是方差;
第二步,提取每一人脸表情图像的子块上的人脸表情纹理特征:
对第一步预处理完成的人脸表情图像进行分块,将其分成5×5个非重叠的子块,利用CSTP算法提取每一人脸表情图像子块上的人脸表情纹理特征,步骤如下;
(1)计算在(P,R)邻域内关于中心像素对称的像素对差Δgi:
Δgi=gi-gi+P/2,i=0,1,…,P/2-1(2),
其中,g是像素,P是周围邻域个数,R是半径,R=2;
(2)统计该(P,R)邻域的像素对差的均值
(3)设定上限值U和下限值L:
其中,t为阈值参数,是经验值,t∈(0,1),t随光照的变化而调整;
(4)提取每一像素的CSTP人脸表情纹理特征:
其中,
CSTP的编码过程是,从左上角顺时针起,当周围像素点的灰度值gi与以中心像素为对称的gi+P/2的差值Δgi大于U,则该位编码为1,当Δgi小于L,则该位编码为-1;把编码中的所有“-1”清为“0”,称为正模式,把编码中的“1”清为“0”,然后把“-1”置为“1”,称为负模式,在完成正、负两个模式的编码后对正负模式进行相应的“或”运算,每个子块内的每一像素都进行CSTP的特征提取,即提取每一像素的CSTP人脸表情纹理特征,统计每个子块的CSTP直方图H就是提取的每一人脸表情图像子块上的人脸表情纹理特征;
第三步,确定人脸表情图像最终的人脸表情纹理特征:
(1)计算第二步中的每一人脸表情图像子块的信息熵Ej:
其中,表示第j个子块第i级像素出现的概率,m代表级数,取256;
(2)计算每一人脸表情图像子块的权值Wj:
其中,n为每一人脸表情图像子块个数;
(3)计算每一人脸表情图像各个子块加权后的直方图向量
其中Hj是利用第二步提取的每一人脸表情图像第j个子块的直方图;
串联每一人脸表情图像各个子块加权后的直方图向量作为最终的人脸表情纹理特征;
第四步,完成人脸表情的识别:
采用SVMKernelMethods工具箱训练SVM分类器,具体流程如下:
(1)输入训练样本和测试样本提取到的人脸表情纹理特征,该人脸表情纹理特征是经过上面的第二步和第三步后所得,根据这些人脸表情纹理特征样本构造出训练样本人脸表情纹理特征矩阵和测试样本人脸表情纹理特征矩阵分别对应的训练和测试类别样本矩阵,类别样本矩阵中的值为样本的分类类别;
(2)针对局部人脸表情纹理特征采用高斯核函数,核数设为8,拉格朗日因子c=100,二次最优方法的调节参数λ=10-7,首先将训练样本人脸表情纹理特征矩阵和训练类别样本矩阵送入svmmulticlassoneagainstall函数得到支持向量、权重和偏置,再将训练样本纹理特征矩阵、支持向量、权重、偏置和高斯函数送入svmmultival函数中进行训练,最后将测试样本纹理特征矩阵、支持向量、权重、偏置和高斯函数送入svmmultival函数中进行预测,由此完成人脸表情的识别,最后在JAFFE库中实验得到生气、厌恶、害怕、高兴、中性、伤心和惊讶7种表情,而CMU-AMP库中实验得到惊讶、生气和高兴3种表情,由此完成人脸表情的识别。
本实施例使用SVM分类器的高斯函数作为分类函数,进行多类分类。
本实施例在JAFFE和CMU-AMP人脸表情数据库进行实验。其中JAFFE表情库中共有10个人,每个人有7种表情,即生气、厌恶、害怕、高兴、中性、伤心和惊讶,每种表情3幅图像,共210幅图像。实验中,每人每种表情选取2张作为训练样本,共140张,剩下的70张作为测试样本,图像的尺寸归一化为128×128。CMU-AMP表情库中共有13个人,每个人都含有惊讶、生气、高兴这3种表情,每种表情选取16幅图像,共624幅图像。实验中,每人每种表情随机选取8张作为训练样本,共312张训练样本,在剩余图像中选取每人8张作为测试样本,共312张作为测试样本,图像的尺寸归一化为64×64。本实施例是在Windows8环境下的MATLABR2013b平台上运行完成。图2是本实施例的JAFFE人脸表情库中的7种表情部分样本和CMU-AMP人脸表情库中的3种表情部分样本。实施例的实验基础是两个表情库中的训练样本和测试样本均分为5×5个子块,P=8,R=2,SVM核数设为8。
表1列出了本实施例的JAFFE数据库上的人脸表情的识别率(%)。表2列出了本实施例的CMU-AMP数据库上的表情识别率(%)。
表1.JAFFE数据库上的人脸表情的识别率(%)
表2.CMU-AMP数据库上的表情识别率(%)
综合表1和表2的数据可知,本发明方法的平均识别率要明显高出2DPCA、Gabor+PCA、LBP和CBP这四种经典算法,在JAFFE数据库中害怕这种表情识别率低于Gabor+PCA和CBP,由于害怕与厌恶和惊讶的表情相似度高,CSTP特征相似,易于将害怕归为厌恶和惊讶,这也是未来需要解决的问题;在CMU-AMP数据库中用CSTP算法提取表情纹理特征的人脸表情的识别方法在生气和高兴这两种人脸表情以及平均识别率上优于其他几种算法,惊讶这种人脸表情低于2DPCA,原因是CMU-AMP数据库中人脸表情类别过少,训练样本过多的原因,同时说明本发明用CSTP算法提取表情纹理特征的人脸表情的识别方法在处理小样本问题上具有优越性。
Claims (1)
1.一种人脸表情的识别方法,其特征在于:是一种使用CSTP算法提取人脸表情纹理特征的人脸表情的识别方法,具体步骤如下:
第一步,人脸表情图像预处理:
采用已经进行了人脸检测和几何归一化的人脸表情库中的人脸表情图像,并在原数据库上应用如下的公式(1)进行高斯滤波处理,由此完成人脸表情图像预处理,
其中(x,y)是像素点坐标,σ是方差;
第二步,提取每一人脸表情图像的子块上的人脸表情纹理特征:
对第一步预处理完成的人脸表情图像进行分块,将其分成5×5个非重叠的子块,利用CSTP算法提取每一人脸表情图像子块上的人脸表情纹理特征,步骤如下;
(1)计算在(P,R)邻域内关于中心像素对称的像素对差Δgi:
Δgi=gi-gi+P/2,i=0,1,…,P/2-1(2),
其中,g是像素,P是周围邻域个数,R是半径,R=2;
(2)统计该(P,R)邻域的像素对差的均值
(3)设定上限值U和下限值L:
其中,t为阈值参数,是经验值,t∈(0,1),t随光照的变化而调整;
(4)提取每一像素的CSTP人脸表情纹理特征:
其中,
CSTP的编码过程是,从左上角顺时针起,当周围像素点的灰度值gi与以中心像素为对称的gi+P/2的差值Δgi大于U,则该位编码为1,当Δgi小于L,则该位编码为-1;把编码中的所有“-1”清为“0”,称为正模式,把编码中的“1”清为“0”,然后把“-1”置为“1”,称为负模式,在完成正、负两个模式的编码后对正负模式进行相应的“或”运算,每个子块内的每一像素都进行CSTP的特征提取,即提取每一像素的CSTP人脸表情纹理特征,统计每个子块的CSTP直方图H就是提取的每一人脸表情图像子块上的人脸表情纹理特征;
第三步,确定人脸表情图像最终的人脸表情纹理特征:
(1)计算第二步中的每一人脸表情图像子块的信息熵Ej:
其中,表示第j个子块第i级像素出现的概率,m代表级数,取256;
(2)计算每一人脸表情图像子块的权值Wj:
其中,n为每一人脸表情图像子块个数;
(3)计算每一人脸表情图像各个子块加权后的直方图向量
其中Hj是利用第二步提取的每一人脸表情图像第j个子块的直方图;
串联每一人脸表情图像各个子块加权后的直方图向量作为最终的人脸表情纹理特征;
第四步,完成人脸表情的识别:
采用SVMKernelMethods工具箱训练SVM分类器,具体流程如下:
(1)输入训练样本和测试样本提取到的人脸表情纹理特征,该人脸表情纹理特征是经过上面的第二步和第三步后所得,根据这些人脸表情纹理特征样本构造出训练样本人脸表情纹理特征矩阵和测试样本人脸表情纹理特征矩阵分别对应的训练和测试类别样本矩阵,类别样本矩阵中的值为样本的分类类别;
(2)针对局部人脸表情纹理特征采用高斯核函数,核数设为8,拉格朗日因子c=100,二次最优方法的调节参数λ=10-7,首先将训练样本人脸表情纹理特征矩阵和训练类别样本矩阵送入svmmulticlassoneagainstall函数得到支持向量、权重和偏置,再将训练样本纹理特征矩阵、支持向量、权重、偏置和高斯函数送入svmmultival函数中进行训练,最后将测试样本纹理特征矩阵、支持向量、权重、偏置和高斯函数送入svmmultival函数中进行预测,由此完成人脸表情的识别,在JAFFE库中实验得到生气、厌恶、害怕、高兴、中性、伤心和惊讶7种表情,而CMU-AMP库中实验得到生气、高兴和惊讶3种表情,由此完成人脸表情的识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510621774.0A CN105069447B (zh) | 2015-09-23 | 2015-09-23 | 一种人脸表情的识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510621774.0A CN105069447B (zh) | 2015-09-23 | 2015-09-23 | 一种人脸表情的识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105069447A true CN105069447A (zh) | 2015-11-18 |
CN105069447B CN105069447B (zh) | 2018-05-29 |
Family
ID=54498809
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510621774.0A Expired - Fee Related CN105069447B (zh) | 2015-09-23 | 2015-09-23 | 一种人脸表情的识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105069447B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105913053A (zh) * | 2016-06-07 | 2016-08-31 | 合肥工业大学 | 一种基于稀疏融合的单演多特征的人脸表情识别方法 |
CN106096557A (zh) * | 2016-06-15 | 2016-11-09 | 浙江大学 | 一种基于模糊训练样本的半监督学习人脸表情识别方法 |
CN106127196A (zh) * | 2016-09-14 | 2016-11-16 | 河北工业大学 | 基于动态纹理特征的人脸表情的分类与识别方法 |
CN106778529A (zh) * | 2016-11-25 | 2017-05-31 | 南京理工大学 | 一种基于改进ldp的人脸识别方法 |
CN107045618A (zh) * | 2016-02-05 | 2017-08-15 | 北京陌上花科技有限公司 | 一种人脸表情识别方法及装置 |
CN107392151A (zh) * | 2017-07-21 | 2017-11-24 | 竹间智能科技(上海)有限公司 | 基于神经网络的人脸影像多维度情感判别***及方法 |
CN108229552A (zh) * | 2017-12-29 | 2018-06-29 | 咪咕文化科技有限公司 | 一种模型处理方法、装置及存储介质 |
CN108268838A (zh) * | 2018-01-02 | 2018-07-10 | 中国科学院福建物质结构研究所 | 人脸表情识别方法及人脸表情识别*** |
CN109299653A (zh) * | 2018-08-06 | 2019-02-01 | 重庆邮电大学 | 一种基于改进完备局部三值模式的人脸表情特征提取方法 |
CN109886091A (zh) * | 2019-01-08 | 2019-06-14 | 东南大学 | 基于带权重局部旋度模式的三维人脸表情识别方法 |
CN114140865A (zh) * | 2022-01-29 | 2022-03-04 | 深圳市中讯网联科技有限公司 | 智能预警方法、装置、存储介质及电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140055609A1 (en) * | 2012-08-22 | 2014-02-27 | International Business Machines Corporation | Determining foregroundness of an object in surveillance video data |
CN103778412A (zh) * | 2014-01-16 | 2014-05-07 | 重庆邮电大学 | 一种基于局部三值模式自适应阈值的人脸识别方法 |
-
2015
- 2015-09-23 CN CN201510621774.0A patent/CN105069447B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140055609A1 (en) * | 2012-08-22 | 2014-02-27 | International Business Machines Corporation | Determining foregroundness of an object in surveillance video data |
CN103778412A (zh) * | 2014-01-16 | 2014-05-07 | 重庆邮电大学 | 一种基于局部三值模式自适应阈值的人脸识别方法 |
Non-Patent Citations (2)
Title |
---|
SUKANYA SAGARIKA MEHER等: "Face Recognition and Facial Expression Identification Using PCA", 《ADVANCE COMPUTING CONFERENCE (IACC), 2014 IEEE INTERNATIONAL》 * |
李德宁: "改进型LTP在人脸识别中的研究与应用", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107045618A (zh) * | 2016-02-05 | 2017-08-15 | 北京陌上花科技有限公司 | 一种人脸表情识别方法及装置 |
CN105913053B (zh) * | 2016-06-07 | 2019-03-08 | 合肥工业大学 | 一种基于稀疏融合的单演多特征的人脸表情识别方法 |
CN105913053A (zh) * | 2016-06-07 | 2016-08-31 | 合肥工业大学 | 一种基于稀疏融合的单演多特征的人脸表情识别方法 |
CN106096557B (zh) * | 2016-06-15 | 2019-01-18 | 浙江大学 | 一种基于模糊训练样本的半监督学习人脸表情识别方法 |
CN106096557A (zh) * | 2016-06-15 | 2016-11-09 | 浙江大学 | 一种基于模糊训练样本的半监督学习人脸表情识别方法 |
CN106127196A (zh) * | 2016-09-14 | 2016-11-16 | 河北工业大学 | 基于动态纹理特征的人脸表情的分类与识别方法 |
CN106127196B (zh) * | 2016-09-14 | 2020-01-14 | 河北工业大学 | 基于动态纹理特征的人脸表情的分类与识别方法 |
CN106778529A (zh) * | 2016-11-25 | 2017-05-31 | 南京理工大学 | 一种基于改进ldp的人脸识别方法 |
CN107392151A (zh) * | 2017-07-21 | 2017-11-24 | 竹间智能科技(上海)有限公司 | 基于神经网络的人脸影像多维度情感判别***及方法 |
CN108229552A (zh) * | 2017-12-29 | 2018-06-29 | 咪咕文化科技有限公司 | 一种模型处理方法、装置及存储介质 |
CN108268838A (zh) * | 2018-01-02 | 2018-07-10 | 中国科学院福建物质结构研究所 | 人脸表情识别方法及人脸表情识别*** |
CN108268838B (zh) * | 2018-01-02 | 2020-12-29 | 中国科学院福建物质结构研究所 | 人脸表情识别方法及人脸表情识别*** |
CN109299653A (zh) * | 2018-08-06 | 2019-02-01 | 重庆邮电大学 | 一种基于改进完备局部三值模式的人脸表情特征提取方法 |
CN109886091A (zh) * | 2019-01-08 | 2019-06-14 | 东南大学 | 基于带权重局部旋度模式的三维人脸表情识别方法 |
CN109886091B (zh) * | 2019-01-08 | 2021-06-01 | 东南大学 | 基于带权重局部旋度模式的三维人脸表情识别方法 |
CN114140865A (zh) * | 2022-01-29 | 2022-03-04 | 深圳市中讯网联科技有限公司 | 智能预警方法、装置、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN105069447B (zh) | 2018-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105069447A (zh) | 一种人脸表情的识别方法 | |
Jiang et al. | HDCB-Net: A neural network with the hybrid dilated convolution for pixel-level crack detection on concrete bridges | |
CN110738207B (zh) | 一种融合文字图像中文字区域边缘信息的文字检测方法 | |
CN106845478B (zh) | 一种字符置信度的二次车牌识别方法及装置 | |
CN108876780B (zh) | 一种复杂背景下桥梁裂缝图像裂缝检测方法 | |
CN105956560B (zh) | 一种基于池化多尺度深度卷积特征的车型识别方法 | |
CN101859382B (zh) | 一种基于最大稳定极值区域的车牌检测与识别的方法 | |
CN104680127A (zh) | 手势识别方法及*** | |
CN104598885B (zh) | 街景图像中的文字标牌检测与定位方法 | |
CN103605972A (zh) | 一种基于分块深度神经网络的非限制环境人脸验证方法 | |
CN107784288A (zh) | 一种基于深度神经网络的迭代定位式人脸检测方法 | |
CN103279770B (zh) | 基于笔画片段和轮廓特征的笔迹识别方法 | |
CN104298981A (zh) | 人脸微表情的识别方法 | |
Cai et al. | Traffic sign recognition algorithm based on shape signature and dual-tree complex wavelet transform | |
CN104778472B (zh) | 人脸表情特征提取方法 | |
CN103854016A (zh) | 基于方向性共同发生特征的人体行为分类识别方法及*** | |
CN104143091A (zh) | 基于改进mLBP的单样本人脸识别方法 | |
CN105868734A (zh) | 基于bow图像表征模型的输电线路大型施工车辆识别方法 | |
CN104951793A (zh) | 一种基于stdf特征的人体行为识别算法 | |
CN103186776A (zh) | 基于多特征和深度信息的人体检测方法 | |
CN110751195A (zh) | 一种基于改进YOLOv3的细粒度图像分类方法 | |
CN111104924B (zh) | 一种识别低分辨率商品图像的处理算法 | |
CN105046278A (zh) | 基于Haar特征的Adaboost检测算法的优化方法 | |
Shitole et al. | Recognition of handwritten Devanagari characters using linear discriminant analysis | |
Cai et al. | Vehicle Detection Based on Deep Dual‐Vehicle Deformable Part Models |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180529 |
|
CF01 | Termination of patent right due to non-payment of annual fee |