CN105069447B - 一种人脸表情的识别方法 - Google Patents
一种人脸表情的识别方法 Download PDFInfo
- Publication number
- CN105069447B CN105069447B CN201510621774.0A CN201510621774A CN105069447B CN 105069447 B CN105069447 B CN 105069447B CN 201510621774 A CN201510621774 A CN 201510621774A CN 105069447 B CN105069447 B CN 105069447B
- Authority
- CN
- China
- Prior art keywords
- mrow
- facial expression
- msub
- pixel
- cstp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 163
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000014509 gene expression Effects 0.000 claims abstract description 34
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 32
- 239000011159 matrix material Substances 0.000 claims description 28
- 239000013598 vector Substances 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000002474 experimental method Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 claims 1
- 230000007547 defect Effects 0.000 abstract description 4
- 239000000284 extract Substances 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 7
- 206010063659 Aversion Diseases 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明一种人脸表情的识别方法，涉及用于识别图形的方法，是一种使用中心对称三值模式(Center Symmetrical Ternary Patterns，以下简称CSTP)算法提取表情纹理特征的人脸表情的识别方法，步骤是：人脸表情图像预处理；提取每一人脸表情图像的子块上的人脸表情纹理特征；确定人脸表情图像最终的人脸表情纹理特征；完成人脸表情的识别。本发明方法克服了现有技术识别背景复杂导致的纹理描述不精细，识别率不高的缺陷。
Description
技术领域
本发明的技术方案涉及用于识别图形的方法，具体地说是一种人脸表情的识别方法。
背景技术
人脸表情识别是计算机视觉领域一个富有挑战性的研究课题，在心理学、人机交互研究等方面具有重要意义。近年来，人脸表情识别技术发展迅速，主流的方法有Gabor滤波法、主动形状模型ASM(Active Shape Models)、主成分分析PCA(Principal ComponentAnalysis)和纹理特征法。Gabor小波可以从不同尺度和不同方向上提取人脸表情的纹理特征，但是其计算过程产生的高维数有可能导致计算机内存的耗尽，并且计算过程相当耗时。ASM算法能直观地反应表情的变化，但是模型的构建相当复杂，在一定程度上影响了算法的自动化程度。PCA算法可以提取表情图像的全局纹理特征，但是它很难避免处理数据时产生的协方差矩阵维数过高问题。二元主成分分析2DPCA是PCA的拓展算法，在一定程度上解决了上述问题，但是它是在水平方向上提取图像的特征，而忽略了垂直方向上的特点。局部二值模式LBP算子最早是由Ojala等人提出的，它能够有效地描绘图像局部纹理信息，LBP及其扩展特征被应用于人脸表情检测，有突出的表现，其缺点是当光照变化剧烈时，LBP的可靠性会下降。针对LBP的局限性，付晓峰等人将中心化二值模式(CBP)应用到表情识别，CBP特点是采用“对角原则”，即计算对角元素的灰度值，将中心点像素加入到传统的LBP算子中去，且赋予中心点像素最高权值。但是，CBP与LBP同样存在是只利用周边像素亮度变化信息，而没有考虑人脸表情的区域性的局部信息，导致表情的识别率不高的缺陷。
总之，现有的人脸表情识别方法存在因识别背景复杂导致的纹理描述不精细，识别率不高的缺陷。
发明内容
本发明所要解决的技术问题是：提供一种人脸表情的识别方法，是一种使用中心对称三值模式(Center Symmetrical Ternary Patterns，以下简称CSTP)算法提取表情纹理特征的人脸表情的识别方法，克服了现有技术识别背景复杂导致的纹理描述不精细，识别率不高的缺陷。
本发明解决该技术问题所采用的技术方案是：一种人脸表情的识别方法，是一种使用CSTP算法提取人脸表情纹理特征的人脸表情的识别方法，具体步骤如下：
第一步，人脸表情图像预处理：
采用已经进行了人脸检测和几何归一化的人脸表情库中的人脸表情图像，并在原数据库上应用如下的公式(1)进行高斯滤波处理，由此完成人脸表情图像预处理，
其中(x,y)是像素点坐标，σ是方差；
第二步，提取每一人脸表情图像的子块上的人脸表情纹理特征：
对第一步预处理完成的人脸表情图像进行分块，将其分成5×5个非重叠的子块，利用CSTP算法提取每一人脸表情图像子块上的人脸表情纹理特征，步骤如下；
(1)计算在(P，R)邻域内关于中心像素对称的像素对差Δgi：
Δgi＝gi-gi+P/2,i＝0,1,…,P/2-1 (2)，
其中，g是像素，P是周围邻域个数，R是半径，R＝2；
(2)统计该(P，R)邻域的像素对差的均值
(3)设定上限值U和下限值L：
其中，t为阈值参数，是经验值，t∈(0,1)，t随光照的变化而调整；
(4)提取每一像素的CSTP人脸表情纹理特征：
其中，
CSTP的编码过程是，从左上角顺时针起，当周围像素点的灰度值gi与以中心像素为对称的gi+P/2的差值Δgi大于U，则该位编码为1，当Δgi小于L，则该位编码为-1；把编码中的所有“-1”清为“0”，称为正模式，把编码中的“1”清为“0”，然后把“-1”置为“1”，称为负模式，在完成正、负两个模式的编码后对正负模式进行相应的“或”运算，每个子块内的每一像素都进行CSTP的特征提取，即提取每一像素的CSTP人脸表情纹理特征，统计每个子块的CSTP直方图H就是提取的每一人脸表情图像子块上的人脸表情纹理特征；
第三步，确定人脸表情图像最终的人脸表情纹理特征：
(1)计算第二步中的每一人脸表情图像子块的信息熵Ej：
其中，表示第j个子块第i级像素出现的概率，m代表级数，取256；
(2)计算每一人脸表情图像子块的权值Wj：
其中，n为每一人脸表情图像子块个数；
(3)计算每一人脸表情图像各个子块加权后的直方图向量
其中Hj是利用第二步提取的每一人脸表情图像第j个子块的直方图；
串联每一人脸表情图像各个子块加权后的直方图向量作为最终的人脸表情纹理特征；
第四步，完成人脸表情的识别：
采用SVM Kernel Methods工具箱训练SVM分类器，具体流程如下：
(1)输入训练样本和测试样本提取到的人脸表情纹理特征，该人脸表情纹理特征是经过上面的第二步和第三步后所得，根据这些人脸表情纹理特征样本构造出训练样本人脸表情纹理特征矩阵和测试样本人脸表情纹理特征矩阵分别对应的训练和测试类别样本矩阵，类别样本矩阵中的值为样本的分类类别；
(2)针对局部人脸表情纹理特征采用高斯核函数，核数设为8，拉格朗日因子c＝100，二次最优方法的调节参数λ＝10-7，首先将训练样本人脸表情纹理特征矩阵和训练类别样本矩阵送入svmmulticlassoneagainstall函数得到支持向量、权重和偏置，再将训练样本纹理特征矩阵、支持向量、权重、偏置和高斯函数送入svmmultival函数中进行训练，最后将测试样本纹理特征矩阵、支持向量、权重、偏置和高斯函数送入svmmultival函数中进行预测，由此完成人脸表情的识别，在JAFFE库中实验得到生气、厌恶、害怕、高兴、中性、伤心和惊讶7种表情，而CMU-AMP库中实验得到生气、高兴和惊讶3种表情，由此完成人脸表情的识别。
上述人脸表情识别方法，所述的SVM分类器是公知的。
本发明的有益效果是：与现有技术相比，本发明的突出的实质性特点和显著进步如下：
(1)本发明方法摆脱了对中心像素的依赖性，克服了现有技术识别背景复杂导致的纹理描述不精细，识别性能低的缺陷，对局部纹理描述的更加精细，“或”运算增强了表情的重要信息，使得整个人脸表情纹理特征空间样本的表征和分类性能得到进一步增强和提高；
(2)本发明方法通过计算每个子块的信息熵构造各个子块自适应加权后的特征向量，将自适应加权后的各个子块特征向量串连起来作为人脸表情图像最终的人脸表情纹理特征，融合了局部特征和全局特征，提高了表情识别的性能。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明方法的流程示意框图。
图2(a)是人脸表情预处理后JAFFE库中的人脸表情图像。
图2(b)是人脸表情预处理后CMU-AMP库中的人脸表情图像。
图3(a)是CSTP三值化示意图。
图3(b)是CSTP“或”运算示意图。
图4(a)是本发明方法中JAFFE库中CSTP取不同t值下的识别率示意图。
图4(b)是本发明方法中CMU-AMP库中CSTP取不同t值下的识别率示意图。
具体实施方式
图1所示实施例表明，本发明人脸表情的识别方法的流程是：人脸表情图像预处理→提取每一人脸表情图像的子块上的人脸表情纹理特征→确定人脸表情图像最终的人脸表情纹理特征→完成人脸表情的识别。
更详细地说，上述提取每一人脸表情图像的子块上的纹理特征中包括：计算在(P,R)邻域内关于中心像素对称的像素对差Δgi→统计该(P,R)邻域的像素对差的均值→设定上限值U和下限值L→提取每一像素的CSTP纹理特征；上述确定人脸表情图像最终的纹理特征中包括：计算上一步中的每一人脸表情图像子块的信息熵Ej→计算每一人脸表情图像子块的权值Wj→计算每一人脸表情图像各个子块加权后的直方图向量
图2是本发明方法中的人脸表情图像预处理后的示意图，其中：图2(a)所示实施例显示在本发明方法中人脸表情预处理后JAFFE库中的人脸表情图像，分别是生气、厌恶、害怕、高兴、中性、伤心和惊讶7种表情。图2(b)所示实施例显示在本发明方法中人脸表情预处理后的CMU-AMP库中的人脸表情图像，分别是惊讶、生气和高兴3种表情。
图3所示实施例说明在本发明方法中子块内每一像素进行CSTP纹理特征提取定义如下：
其中，
图3(a)是CSTP三值化示意图，其中从左至右，该图第一个图像子块中有九个小方块，每个小方块里的数值代表了每个像素的灰度值，第一个图像子块中相同样式圆圈内的两个像素代表一个像素对，共4个像素对，分别为(251,178)、(135,90)、(53,23)和(246,198)。从左上角顺时针方向计算该邻域内关于中心像素对称的像素对差Δgi，其数值如该图第二个图像子块中含有数值的四个小方块所示，从左上角顺时针方向看分别是73、45、30、48；接着统计第二个图像子块中含有数值的四个小方块的像素对差的均值利用和阈值t求出上限值U和下限值L，最后根据公式(12)判断3种模式(-1、0、1)，其结果如该图第三个图像子块中含有数值的4个小方块所示为1、0、-1、0。
图3(b)是CSTP或运算示意图，直观上将图3(a)第三个图像子块中含有数值的4个小方块按顺时针变成一个列向量形式，拆分成正、负两个模式分别进行加权；上面一行列向量编码中的-1部分由0代替，定义为正模式，二进制编码为1000，加权转变成十进制为8；下面一行列向量编码中的1部分由0代替，-1取绝对值，定义为负模式，二进制编码为0010，加权转变成十进制为2；最后进行“或”运算，二进制编码为1010，加权转变成十进制为10；“或”运算增强表情信息，防止其在特征提取过程中一些重要信息的丢失。
图4(a)所示实施例显示JAFFE数据库中的CSTP中阈值t与人脸表情平均识别率的关系，该图显示了JAFFE数据库中不同的CSTP中阈值t取值与人脸表情的平均识别率的对应关系，当JAFFE数据库中的CSTP中阈值t取0.5和0.7时，效果最好，人脸表情的识别率能够达到95.71％。
图4(b)所示实施例显示CMU-AMP数据库中CSTP中阈值t与人脸表情平均识别率的关系，该图显示了CMU-AMP数据库中不同的CSTP中阈值t取值与人脸表情的平均识别率的对应关系，当CMU-AMP数据库中的CSTP中阈值t取0.9时，人脸表情的平均识别率最高。
图4(a)和图4(b)所示实施例的实验基础是训练样本和测试样本均分为5×5个子块，P＝8，R＝2，SVM核数设为8。
实施例
本实施例的一种人脸表情的识别方法，是一种使用CSTP算法提取人脸表情纹理特征的人脸表情的识别方法，具体步骤如下：
第一步，人脸表情图像预处理：
采用已经进行了人脸检测和几何归一化的人脸表情库中的人脸表情图像，并在原数据库上应用如下的公式(1)进行高斯滤波处理，由此完成人脸表情图像预处理，
其中(x,y)是像素点坐标，σ是方差；
第二步，提取每一人脸表情图像的子块上的人脸表情纹理特征：
对第一步预处理完成的人脸表情图像进行分块，将其分成5×5个非重叠的子块，利用CSTP算法提取每一人脸表情图像子块上的人脸表情纹理特征，步骤如下；
(1)计算在(P，R)邻域内关于中心像素对称的像素对差Δgi：
Δgi＝gi-gi+P/2,i＝0,1,…,P/2-1 (2)，
其中，g是像素，P是周围邻域个数，R是半径，R＝2；
(2)统计该(P，R)邻域的像素对差的均值
(3)设定上限值U和下限值L：
其中，t为阈值参数，是经验值，t∈(0,1)，t随光照的变化而调整；
(4)提取每一像素的CSTP人脸表情纹理特征：
其中，
CSTP的编码过程是，从左上角顺时针起，当周围像素点的灰度值gi与以中心像素为对称的gi+P/2的差值Δgi大于U，则该位编码为1，当Δgi小于L，则该位编码为-1；把编码中的所有“-1”清为“0”，称为正模式，把编码中的“1”清为“0”，然后把“-1”置为“1”，称为负模式，在完成正、负两个模式的编码后对正负模式进行相应的“或”运算，每个子块内的每一像素都进行CSTP的特征提取，即提取每一像素的CSTP人脸表情纹理特征，统计每个子块的CSTP直方图H就是提取的每一人脸表情图像子块上的人脸表情纹理特征；
第三步，确定人脸表情图像最终的人脸表情纹理特征：
(1)计算第二步中的每一人脸表情图像子块的信息熵Ej：
其中，表示第j个子块第i级像素出现的概率，m代表级数，取256；
(2)计算每一人脸表情图像子块的权值Wj：
其中，n为每一人脸表情图像子块个数；
(3)计算每一人脸表情图像各个子块加权后的直方图向量
其中Hj是利用第二步提取的每一人脸表情图像第j个子块的直方图；
串联每一人脸表情图像各个子块加权后的直方图向量作为最终的人脸表情纹理特征；
第四步，完成人脸表情的识别：
采用SVM Kernel Methods工具箱训练SVM分类器，具体流程如下：
(1)输入训练样本和测试样本提取到的人脸表情纹理特征，该人脸表情纹理特征是经过上面的第二步和第三步后所得，根据这些人脸表情纹理特征样本构造出训练样本人脸表情纹理特征矩阵和测试样本人脸表情纹理特征矩阵分别对应的训练和测试类别样本矩阵，类别样本矩阵中的值为样本的分类类别；
(2)针对局部人脸表情纹理特征采用高斯核函数，核数设为8，拉格朗日因子c＝100，二次最优方法的调节参数λ＝10-7，首先将训练样本人脸表情纹理特征矩阵和训练类别样本矩阵送入svmmulticlassoneagainstall函数得到支持向量、权重和偏置，再将训练样本纹理特征矩阵、支持向量、权重、偏置和高斯函数送入svmmultival函数中进行训练，最后将测试样本纹理特征矩阵、支持向量、权重、偏置和高斯函数送入svmmultival函数中进行预测，由此完成人脸表情的识别，最后在JAFFE库中实验得到生气、厌恶、害怕、高兴、中性、伤心和惊讶7种表情，而CMU-AMP库中实验得到惊讶、生气和高兴3种表情，由此完成人脸表情的识别。
本实施例使用SVM分类器的高斯函数作为分类函数，进行多类分类。
本实施例在JAFFE和CMU-AMP人脸表情数据库进行实验。其中JAFFE表情库中共有10个人，每个人有7种表情，即生气、厌恶、害怕、高兴、中性、伤心和惊讶，每种表情3幅图像，共210幅图像。实验中，每人每种表情选取2张作为训练样本，共140张，剩下的70张作为测试样本，图像的尺寸归一化为128×128。CMU-AMP表情库中共有13个人，每个人都含有惊讶、生气、高兴这3种表情，每种表情选取16幅图像，共624幅图像。实验中，每人每种表情随机选取8张作为训练样本，共312张训练样本，在剩余图像中选取每人8张作为测试样本，共312张作为测试样本，图像的尺寸归一化为64×64。本实施例是在Windows 8环境下的MATLABR2013b平台上运行完成。图2是本实施例的JAFFE人脸表情库中的7种表情部分样本和CMU-AMP人脸表情库中的3种表情部分样本。实施例的实验基础是两个表情库中的训练样本和测试样本均分为5×5个子块，P＝8，R＝2，SVM核数设为8。
表1列出了本实施例的JAFFE数据库上的人脸表情的识别率(％)。表2列出了本实施例的CMU-AMP数据库上的表情识别率(％)。
表1.JAFFE数据库上的人脸表情的识别率(％)
表2.CMU-AMP数据库上的表情识别率(％)
综合表1和表2的数据可知，本发明方法的平均识别率要明显高出2DPCA、Gabor+PCA、LBP和CBP这四种经典算法，在JAFFE数据库中害怕这种表情识别率低于Gabor+PCA和CBP，由于害怕与厌恶和惊讶的表情相似度高，CSTP特征相似，易于将害怕归为厌恶和惊讶，这也是未来需要解决的问题；在CMU-AMP数据库中用CSTP算法提取表情纹理特征的人脸表情的识别方法在生气和高兴这两种人脸表情以及平均识别率上优于其他几种算法，惊讶这种人脸表情低于2DPCA，原因是CMU-AMP数据库中人脸表情类别过少，训练样本过多的原因，同时说明本发明用CSTP算法提取表情纹理特征的人脸表情的识别方法在处理小样本问题上具有优越性。
Claims (1)
1.一种人脸表情的识别方法，其特征在于：是一种使用CSTP算法提取人脸表情纹理特征的人脸表情的识别方法，具体步骤如下：
第一步，人脸表情图像预处理：
采用已经进行了人脸检测和几何归一化的人脸表情库中的人脸表情图像，并在原数据库上应用如下的公式(1)进行高斯滤波处理，由此完成人脸表情图像预处理，
<mrow>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<msup>
<mi>&pi;&sigma;</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mfrac>
<mrow>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<mn>2</mn>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
</mrow>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
其中(x,y)是像素点坐标，σ是方差；
第二步，提取每一人脸表情图像的子块上的人脸表情纹理特征：
对第一步预处理完成的人脸表情图像进行分块，将其分成5×5个非重叠的子块，利用CSTP算法提取每一人脸表情图像子块上的人脸表情纹理特征，步骤如下；
(1)计算在(P，R)邻域内关于中心像素对称的像素对差Δgi：
Δgi＝gi-gi+P/2,i＝0,1,…,P/2-1 (2)，
其中，g是像素，P是周围邻域个数，R是半径，R＝2；
(2)统计该(P，R)邻域的像素对差的均值
<mrow>
<mover>
<mrow>
<msub>
<mi>&Delta;g</mi>
<mi>i</mi>
</msub>
</mrow>
<mo>&OverBar;</mo>
</mover>
<mo>=</mo>
<mrow>
<mo>(</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>P</mi>
<mo>/</mo>
<mn>2</mn>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msub>
<mi>&Delta;g</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>/</mo>
<mrow>
<mo>(</mo>
<mi>P</mi>
<mo>/</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
(3)设定上限值U和下限值L：
<mrow>
<mi>U</mi>
<mo>=</mo>
<mover>
<mrow>
<msub>
<mi>&Delta;g</mi>
<mi>i</mi>
</msub>
</mrow>
<mo>&OverBar;</mo>
</mover>
<mo>*</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>+</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
<mrow>
<mi>L</mi>
<mo>=</mo>
<mover>
<mrow>
<msub>
<mi>&Delta;g</mi>
<mi>i</mi>
</msub>
</mrow>
<mo>&OverBar;</mo>
</mover>
<mo>*</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
其中，t为阈值参数，是经验值，t∈(0,1)，t随光照的变化而调整；
(4)提取每一像素的CSTP人脸表情纹理特征：
<mrow>
<msub>
<mi>CSTP</mi>
<mrow>
<mi>P</mi>
<mo>,</mo>
<mi>R</mi>
</mrow>
</msub>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>P</mi>
<mo>/</mo>
<mn>2</mn>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msup>
<mn>2</mn>
<mi>i</mi>
</msup>
<mo>&CenterDot;</mo>
<mi>S</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>&Delta;g</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<mi>U</mi>
<mo>,</mo>
<mi>L</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
其中，
CSTP的编码过程是，从左上角顺时针起，当周围像素点的像素gi与以中心像素为对称的gi+P/2的差值Δgi大于U，则该位编码为1，当Δgi小于L，则该位编码为-1；把编码中的所有“-1”清为“0”，称为正模式，把编码中的“1”清为“0”，然后把“-1”置为“1”，称为负模式，在完成正、负两个模式的编码后对正负模式进行相应的“或”运算，每个子块内的每一像素都进行CSTP的特征提取，即提取每一像素的CSTP人脸表情纹理特征，统计每个子块的CSTP直方图H就是提取的每一人脸表情图像子块上的人脸表情纹理特征；
第三步，确定人脸表情图像最终的人脸表情纹理特征：
(1)计算第二步中的每一人脸表情图像子块的信息熵Ej：
<mrow>
<msub>
<mi>E</mi>
<mi>j</mi>
</msub>
<mo>=</mo>
<mo>-</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>m</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msubsup>
<mi>P</mi>
<mi>j</mi>
<mi>i</mi>
</msubsup>
<mi>log</mi>
<mi> </mi>
<msubsup>
<mi>P</mi>
<mi>j</mi>
<mi>i</mi>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
其中，表示第j个子块第i级像素出现的概率，m代表级数，取256；
(2)计算每一人脸表情图像子块的权值Wj：
<mrow>
<msub>
<mi>W</mi>
<mi>j</mi>
</msub>
<mo>=</mo>
<msub>
<mi>E</mi>
<mi>j</mi>
</msub>
<mo>/</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msub>
<mi>E</mi>
<mi>j</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
其中，n为每一人脸表情图像子块个数；
(3)计算每一人脸表情图像各个子块加权后的直方图向量
其中Hj是利用第二步提取的每一人脸表情图像第j个子块的直方图；
串联每一人脸表情图像各个子块加权后的直方图向量作为最终的人脸表情纹理特征；
第四步，完成人脸表情的识别：
采用SVM Kernel Methods工具箱训练SVM分类器，具体流程如下：
(1)输入训练样本和测试样本提取到的人脸表情纹理特征，该人脸表情纹理特征是经过上面的第二步和第三步后所得，根据这些人脸表情纹理特征样本构造出训练样本人脸表情纹理特征矩阵和测试样本人脸表情纹理特征矩阵分别对应的训练和测试类别样本矩阵，类别样本矩阵中的值为样本的分类类别；
(2)针对局部人脸表情纹理特征采用高斯核函数，核数设为8，拉格朗日因子c＝100，二次最优方法的调节参数λ＝10-7，首先将训练样本人脸表情纹理特征矩阵和训练类别样本矩阵送入svmmulticlassoneagainstall函数得到支持向量、权重和偏置，再将训练样本纹理特征矩阵、支持向量、权重、偏置和高斯函数送入svmmultival函数中进行训练，最后将测试样本纹理特征矩阵、支持向量、权重、偏置和高斯函数送入svmmultival函数中进行预测，由此完成人脸表情的识别，在JAFFE库中实验得到生气、厌恶、害怕、高兴、中性、伤心和惊讶7种表情，而CMU-AMP库中实验得到生气、高兴和惊讶3种表情，由此完成人脸表情的识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510621774.0A CN105069447B (zh) | 2015-09-23 | 2015-09-23 | 一种人脸表情的识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510621774.0A CN105069447B (zh) | 2015-09-23 | 2015-09-23 | 一种人脸表情的识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105069447A CN105069447A (zh) | 2015-11-18 |
| CN105069447B true CN105069447B (zh) | 2018-05-29 |
Family
ID=54498809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510621774.0A Expired - Fee Related CN105069447B (zh) | 2015-09-23 | 2015-09-23 | 一种人脸表情的识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105069447B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107045618B (zh) * | 2016-02-05 | 2020-07-03 | 北京陌上花科技有限公司 | 一种人脸表情识别方法及装置 |
| CN105913053B (zh) * | 2016-06-07 | 2019-03-08 | 合肥工业大学 | 一种基于稀疏融合的单演多特征的人脸表情识别方法 |
| CN106096557B (zh) * | 2016-06-15 | 2019-01-18 | 浙江大学 | 一种基于模糊训练样本的半监督学习人脸表情识别方法 |
| CN106127196B (zh) * | 2016-09-14 | 2020-01-14 | 河北工业大学 | 基于动态纹理特征的人脸表情的分类与识别方法 |
| CN106778529A (zh) * | 2016-11-25 | 2017-05-31 | 南京理工大学 | 一种基于改进ldp的人脸识别方法 |
| CN107392151A (zh) * | 2017-07-21 | 2017-11-24 | 竹间智能科技（上海）有限公司 | 基于神经网络的人脸影像多维度情感判别***及方法 |
| CN108229552B (zh) * | 2017-12-29 | 2021-07-09 | 咪咕文化科技有限公司 | 一种模型处理方法、装置及存储介质 |
| CN108268838B (zh) * | 2018-01-02 | 2020-12-29 | 中国科学院福建物质结构研究所 | 人脸表情识别方法及人脸表情识别*** |
| CN109299653A (zh) * | 2018-08-06 | 2019-02-01 | 重庆邮电大学 | 一种基于改进完备局部三值模式的人脸表情特征提取方法 |
| CN109886091B (zh) * | 2019-01-08 | 2021-06-01 | 东南大学 | 基于带权重局部旋度模式的三维人脸表情识别方法 |
| CN114140865A (zh) * | 2022-01-29 | 2022-03-04 | 深圳市中讯网联科技有限公司 | 智能预警方法、装置、存储介质及电子设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103778412A (zh) * | 2014-01-16 | 2014-05-07 | 重庆邮电大学 | 一种基于局部三值模式自适应阈值的人脸识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9330315B2 (en) * | 2012-08-22 | 2016-05-03 | International Business Machines Corporation | Determining foregroundness of an object in surveillance video data |
-
2015
- 2015-09-23 CN CN201510621774.0A patent/CN105069447B/zh not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103778412A (zh) * | 2014-01-16 | 2014-05-07 | 重庆邮电大学 | 一种基于局部三值模式自适应阈值的人脸识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| Face Recognition and Facial Expression Identification Using PCA;Sukanya Sagarika Meher等;《Advance Computing Conference (IACC), 2014 IEEE International》;20140222;第1093-1098页 * |
| 改进型LTP在人脸识别中的研究与应用;李德宁;《中国优秀硕士学位论文全文数据库信息科技辑》;20130715(第07期);第1-37页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105069447A (zh) | 2015-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105069447B (zh) | 一种人脸表情的识别方法 | |
| CN110555368B (zh) | 基于三维卷积神经网络的跌倒行为识别方法 | |
| CN100461204C (zh) | 一种基于二维偏最小二乘法的面部表情识别方法 | |
| CN106023220B (zh) | 一种基于深度学习的车辆外观部件图像分割方法 | |
| CN105956560B (zh) | 一种基于池化多尺度深度卷积特征的车型识别方法 | |
| CN108921019B (zh) | 一种基于GEI和TripletLoss-DenseNet的步态识别方法 | |
| CN108009222B (zh) | 基于较优视图和深度卷积神经网络的三维模型检索方法 | |
| CN108932479A (zh) | 一种人体异常行为检测方法 | |
| CN103605972A (zh) | 一种基于分块深度神经网络的非限制环境人脸验证方法 | |
| CN108062543A (zh) | 一种面部识别方法及装置 | |
| CN106529504B (zh) | 一种复合时空特征的双模态视频情感识别方法 | |
| CN105825183A (zh) | 基于部分遮挡图像的人脸表情识别方法 | |
| Badawi et al. | A hybrid memetic algorithm (genetic algorithm and great deluge local search) with back-propagation classifier for fish recognition | |
| CN105550657A (zh) | 基于关键点的改进sift人脸特征提取方法 | |
| CN114091606B (zh) | 一种隧道***炮孔半眼痕识别和损伤平整度评价分类方法 | |
| CN107784288A (zh) | 一种基于深度神经网络的迭代定位式人脸检测方法 | |
| CN107122712A (zh) | 基于卷积神经网络和双向局部特征聚合描述向量的掌纹图像识别方法 | |
| CN104299003A (zh) | 一种基于相似规则高斯核函数分类器的步态识别方法 | |
| CN110826408B (zh) | 一种分区域特征提取人脸识别方法 | |
| CN103839033A (zh) | 一种基于模糊规则的人脸识别方法 | |
| CN113239839B (zh) | 基于dca人脸特征融合的表情识别方法 | |
| CN109325507A (zh) | 一种结合超像素显著性特征与hog特征的图像分类算法和*** | |
| CN102129561B (zh) | 一种基于人工免疫遗传和形态学的指纹图像分割方法 | |
| CN1858773A (zh) | 一种基于Gabor相位模式的图像识别方法 | |
| CN107506718A (zh) | 基于mb‑2dpca特征的人脸表情识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180529 |