CN109376711A - 一种基于iltp的人脸情绪预判方法 - Google Patents
一种基于iltp的人脸情绪预判方法 Download PDFInfo
- Publication number
- CN109376711A CN109376711A CN201811493019.9A CN201811493019A CN109376711A CN 109376711 A CN109376711 A CN 109376711A CN 201811493019 A CN201811493019 A CN 201811493019A CN 109376711 A CN109376711 A CN 109376711A
- Authority
- CN
- China
- Prior art keywords
- image
- src
- iltp
- sample
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000036651 mood Effects 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 79
- 238000012549 training Methods 0.000 claims abstract description 52
- 230000001815 facial effect Effects 0.000 claims abstract description 29
- 230000008921 facial expression Effects 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 238000004519 manufacturing process Methods 0.000 claims abstract description 9
- 238000012360 testing method Methods 0.000 claims description 29
- 241001269238 Data Species 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 9
- 230000002996 emotional effect Effects 0.000 claims description 8
- 230000007935 neutral effect Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 230000006399 behavior Effects 0.000 claims description 4
- 235000013399 edible fruits Nutrition 0.000 claims description 3
- 230000007812 deficiency Effects 0.000 claims 1
- 238000005286 illumination Methods 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract description 12
- 238000013461 design Methods 0.000 abstract description 3
- 238000011160 research Methods 0.000 description 8
- 230000008451 emotion Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000035922 thirst Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于ILTP的人脸情绪预判方法，包括制作人脸情绪样本图库、利用改进的LTP算法ILTP提取人脸图像纹理特征进行训练、利用提取到的人脸图像纹理特征进行人脸情绪预判；所述制作人脸情绪样本图库包括以下步骤：S11、样本收集：收集整理人脸表情图片；S12、样本分类：对收集的人脸表情图片进行分类处理。该种发明设计合理，使用方便，利用改进后的图像纹理特征ILTP进行人脸特征的提取，人脸表情分类的准确性依赖于所提取特征的有效性，因而，表情特征的高效提取与应用是提高表情识别率的一个关键步骤，同时结合了算法进行人脸情绪样本的训练和识别，最终利用与残差融合的算法提高识别率，该发明简单方便，适合广泛推广。
Description
技术领域
本发明涉及人脸情绪识别和图像处理技术领域，特别涉及一种基于ILTP的人脸情绪预判方法。
背景技术
人脸表情识别是人工情感和人工心理理论研究的重要组成部分，涉及到生理学、心理学、图像处理、模式识别、机器视觉、计算机图形学、人工智能、认知科学等多种学科，有着广泛的应用前景。如，自然和谐的人机交互、安全驾驶、智能监控、身份验证、智能测谎、医疗监控、行为科学、心理学研究、精神分析等。人脸表情识别在和谐的人机交互中扮演着重要的角色，对表情识别的深入研究不仅可以使得计算机更好的理解人类的感情和心理，为人类更好的服务，而且表情识别的研究成果也为其他的学科提供了有价值的研究手段和方法，对促进计算机视觉方面的研究也有直接的作用。
传统的人机交互模式是由人向计算机进行输入，然后计算机再根据人的输入完成命令。这种简单的人机交互模式只是单向的交互，计算机本身不能自主地判断人的心理和情绪状态。近几十年来，随着计算机技术和人工智能技术及其相关学科的迅猛发展，整个社会的自动化程度不断提高，人们渴望实现类似于人与人交流方式的人机交互模式。如果计算机能够识别人的表情，这将使得人机交互过程变得更友好更和谐。当今，类似于这样的人机交互模型的研究已成为一个研究热门。而对人脸情绪识别是人机交互研究中的重要研究方向。人脸情绪识别可以是计算机更好地理解人类的感情和心理，在与人的交互环境中，变得更加人性化、更快捷、更智慧。
发明内容
本发明的主要目的在于提供一种基于ILTP的人脸情绪预判方法，可以有效解决背景技术中的问题。
为实现上述目的，本发明采取的技术方案为：
一种基于ILTP的人脸情绪预判方法，包括制作人脸情绪样本图库、利用改进的LTP算法ILTP提取人脸图像纹理特征进行训练、利用提取到的人脸图像纹理特征进行人脸情绪预判；
所述制作人脸情绪样本图库包括以下步骤：
S11、样本收集：收集整理人脸表情图片；
S12、样本分类：对收集的人脸表情图片进行分类处理，将人脸情绪分为三类：中性、积极和消极，中性情绪为人在正常情况下的面部表现；积极情绪为人高兴时候的面部表现；消极情绪包括生气、愤怒、悲伤、惊讶和消极的情绪；
S13、样本正规化：将原始样本图像进行图像大小变换操作，将其图像分辨率统一到255*255，并将图像数据转化为浮点向量数据；
S14、样本标记：根据不同类别对样本进行标记；
所述利用ILTP算法提取人脸图像纹理特征进行训练的步骤：
S21、获取待训练样本集；
S22、对样本集中所有图像依次进行ILTP(8,2)变换，得到ILTP(8,2)特征图像；即每一张图像都可以得到一副顶层模式图像和一副底层模式图像；
S23、将各幅图像得到的顶层模式图像分为3*5个相同大小并且相互不重叠的区域，对每个区域进行直方图统计得到特征数据；
S24、UILTP(8,2)+SRC：将步骤S23得到的特征数据作为SRC的输入进行SRC分类训练；
S25、将各幅图像得到的底层模式图像分为3*5个相同大小并且相互不重叠的区域，对每个区域进行直方图统计得到特征数据；
S26、LILTP(8,2)+SRC：将步骤S24得到的特征数据作为SRC的输入进行SRC分类训练。
进一步地，所述利用人脸图像纹理特征进行人脸情绪预判包括以下步骤：
S31、获取待测样本图片；
S32、ILTP(8,2)：利用ILTP(8,2)算子得到顶层特模式特征图像(UILTP(8,2)特征图像)和底层模式特征图像(LILTP(8,2)特征图像)；
S33、UILTP(8,2)+SRC：将得到的顶层模式特征图像分为3*5相同大小并且相互不重叠的区域，然后对每个区域进行直方图统计，最后将得到的15个59维数据串联得到最终特征信息，将其作为SRC的输入进行SRC分类，并同时记录识别结果和测试图像与三种表情数据之间的残差；
S34、LILTP(8,2)+SRC：将得到的底层模式特征图像分为3*5相同大小并且相互不重叠的方块，然后对每个方块进行直方图统计，最后将得到的5个59维数据串联得到最终特征信息，将其作为SRC的输入进行SRC分类，并同时记录识别结果和测试图像与三种表情数据之间的残差；
S35、最后，融合步骤S33和步骤S34的分类结果，UILTP(8,2)+SRC算法和LILTP(8,2)+SRC算法得到相同的识别类别结果，识别结果保持不变，这两种算法的识别类别不同，要分别计算两种算法对应的第二小残差与最小残差的比值，将大比值所对应的算法获得的识别结果作为最终识别结果；
S36、输出第S35步的结果。
进一步地，所述的ILTP算法是对LTP算法的一种优化，LTP局部三值模式自身是局部二值模式(Local binary pattern,LBP)算法的一种优化，LTP算法在LBP的基础上引入了阈值区间，即将LBP算子以中心值(gc)为阈值变为以中心值的区间([gc-t,gc+t])为阈值，邻域值在中心值区间内编码值将为0；邻域值比中心值区间大编码将为1；邻域值比中心值区间小编码将为-1，其具体编码规则如公式(1)所示；
其中，t为设定的阈值，不同的阈值会有不同的编码效果，gc为中心值像素点，gi为邻域像素点。在编码过程中t取5，中心值区间为[50,60]；
通过LTP编码可以得到三值编码数据，得到的LTP编码为1100(-1)(-1)00，为了降低编码的复杂度，在编码过程中往往会将三值模式转换为两个二值模式，然后分别统计直方图信息，如100(-1)(-1)00将会被拆分为顶层模式(11000000)和底层模式(00001100)这两种二值模式；
在编码过程中t＝10；
虽然LTP在图像均匀的区域比LBP具有区分能力和对噪声、光源变化的鲁棒性特点，但是，其在图像的多尺度变化和局部遮挡问题的处理上还有不足之处，一方面产生的直方图维数过大；另一方面，LTP在图像的多尺度变化和局部遮挡等问题的处理上还有一定的局限，同时，传统LTP算子在编码的过程中只是简单将中心像素点值与邻域值进行比较，故丢失了一些局部结构信息，针对LTP算子的缺点，编码过程中将会给中心像素和邻域值分配不同的权重得到新的g'c值，并将获得的g'c值用于后期编码，从而得到ILTP算子；
所述ILTP算法如下文；
g'c定义为
g'c＝g7·1+g6·(-2)+g5·1+g4·(-2)+g3·1+g2·(-2)+g1·1+g0·(-2)+gc·5
(2)
则ILTP编码中心值区间将变为[g'c-t,g'c+t]，其中t＝10。
进一步地，所述的一种基于ILTP的人脸情绪预判方法，所述利用稀疏表示分类算法进行样本的训练和分类。
SRC的基本思想为，假设有i类j幅训练样本，将其重构排列为Ai＝[vi,1,vi,2,...,vi,j,...,vi,J]∈RN*J，其中，向量N＝m*n为图像大小，那么，Ai的每一个列向量就是第i类对应的训练样本，假设有足够的测试样本，那么一个属于i类的测试样本y∈RN可用训练样本线性表达为
y＝Aivi,j
(3)
可以将包含K组训练样本的矩阵A作为测量矩阵，即
A＝[A1,A2,...,AK]＝[v1,1,v1,2,...,vi,j,...,vK,J]∈RN*(k*J)(4)
则对属于第i类的测试样本y可以用线性组合表示为
y＝Ax0
(5)
其中，方程(5)的解为x0＝[0,...,0,ai,1,...,ai,J,0,...,0]，其为系数向量除了第i类的系数是非零项外，其它项都为零的向量，实验是通过选择最小l1范数问题来求得方程(5)的解，即
min||x||1 s.t.||Ax-y||2≤ε
(6)
最后，通过公式(7)判断y属于哪一，即
其中，ri(y)＝||y-Aδi(x1)||2，表示测试样本y与线性表示Aδi(x1)的残差，最小残差值对应的类别即为测试样本y的类别。
进一步地，所述的一种基于ILTP的人脸情绪预判方法最终的识别结果是通过将图像ILTP特征中的顶层模式和底层模式分开进行训练与识别，然后进行差值比较获取最终识别结果，具体步骤如下：
在S33步骤中，利用UILTP(8,2)+SRC方法进行人脸情绪的训练，即将得到的顶层模式特征图像(通过UILTP(8,2)算法得到的人脸特征图像)分为3*5相同大小并且相互不重叠的区域，然后对每个区域进行直方图统计，最后将得到的15个59维数据串联得到最终特征信息，得到的这一组数据即为图像的一组特征数据，将其作为SRC的输入进行SRC分类，并同时记录识别结果和测试图像与三种表情数据之间的残差；
在S34步骤中，利用LILTP(8,2)+SRC方法进行人脸情绪的训练，将得到的底层模式特征图像(通过LILTP(8,2)算法得到的人脸特征图像)分为3*5相同大小并且相互不重叠的方块，然后对每个方块进行直方图统计，最后将得到的5个59维数据串联得到最终特征信息，得到的这一组数据即为图像的一组特征数据，将其作为SRC的输入进行SRC分类，并同时记录识别结果和测试图像与三种表情数据之间的残差；
在步骤S35中，融合步骤S34和步骤S44的分类结果；
若UILTP(8,2)+SRC算法和LILTP(8,2)+SRC算法得到相同的识别类别结果，则识别结果保持不变；
这两种算法的识别类别不同，要分别计算两种算法对应的第二小残差与最小残差的比值，将大比值所对应的算法获得的识别结果作为最终识别结果。
进一步地，所述数据模块即为人脸三类情绪图片；训练模块即为利用人脸三类情绪图片、ILTP算法、SRC算法进行人脸情绪训练，得到最终的识别器；分类模块即为利用训练模块得到的识别器进行人脸情绪的识别。
与现有技术相比，本发明具有如下有益效果：该种发明设计合理，使用方便，利用改进后的图像纹理特征ILTP进行人脸特征的提取，人脸表情分类的准确性依赖于所提取特征的有效性，因而，表情特征的高效提取与应用是提高表情识别率的一个关键步骤，同时结合了SRC算法进行人脸情绪样本的训练和识别，最终利用UILTP(8,2)+SRC与LILTP(8,2)+SRC残差融合的算法提高识别率，该发明简单方便，适合广泛推广。
附图说明
图1为本发明制作人脸情绪样本图库步骤。
图2为本发明利用提取到的人脸图像纹理特征进行训练的步骤。
图3为本发明利用训练得到的识别分类器进行识别的步骤.
图4为本发明基本LTP运算。
图5为本发明LTP拆分编码。
图6为本发明ILTP编码图像。
具体实施方式
为使本发明实现的技术手段；创作特征；达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
本发明最关键的构思在于：本发明先通过改进的图像纹理特征提取算法ILTP提取图像的纹理特征，然后结合SRC构建一个良好的分类器，然后利用该分类器对采集的视频图像进行人脸情绪的检测及分类，具有泛化能力强、鲁棒性强、检测准确率高等优点。
如图1-6所示，一种基于ILTP的人脸情绪预判方法，包括制作人脸情绪样本图库、利用改进的LTP算法ILTP提取人脸图像纹理特征、利用提取到的人脸图像纹理特征进行人脸情绪预判；
所述制作人脸情绪样本图库包括以下步骤：
S11、样本收集：收集整理人脸表情图片；
S12、样本分类：对收集的人脸表情图片进行分类处理，将人脸情绪分为三类：中性、积极和消极，中性情绪为人在正常情况下的面部表现；积极情绪为人高兴时候的面部表现；消极情绪包括生气、愤怒、悲伤、惊讶和消极的情绪；
S13、样本正规化：将原始样本图像进行图像大小变换操作，将其图像分辨率统一到255*255，并将图像数据转化为浮点向量数据；
S14、样本标记：根据不同类别对样本进行标记；
所述利用ILTP算法提取人脸图像纹理特征行训练的步骤：
S21、获取待训练样本集；
S22、对样本集中所有图像依次进行ILTP(8,2)变换，得到ILTP(8,2)特征图像；即每一张图像都可以得到一副顶层模式图像和一副底层模式图像；
S23、将各幅图像得到的顶层模式图像分为3*5个相同大小并且相互不重叠的区域，对每个区域进行直方图统计得到特征数据；
S24、UILTP(8,2)+SRC：将步骤S22得到的特征数据作为SRC的输入进行SRC分类训练；
S25、将各幅图像得到的底层模式图像分为3*5个相同大小并且相互不重叠的区域，对每个区域进行直方图统计得到特征数据；
S26、LILTP(8,2)+SRC：将步骤S24得到的特征数据作为SRC的输入进行SRC分类训练；
其中，所述利用人脸图像纹理特征进行人脸情绪预判包括以下步骤：
S31、获取待测样本图片；
S32、ILTP(8,2)：利用ILTP(8,2)算子得到顶层特模式特征图像(UILTP(8,2)特征图像)和底层模式特征图像(LILTP(8,2)特征图像)；
S33、UILTP(8,2)+SRC：将得到的顶层模式特征图像分为3*5相同大小并且相互不重叠的区域，然后对每个区域进行直方图统计；最后将得到的15个59维数据串联得到最终特征信息，将其作为SRC的输入进行SRC分类，并同时记录识别结果和测试图像与三种表情数据之间的残差；
S34、LILTP(8,2)+SRC：将得到的底层模式特征图像分为3*5相同大小并且相互不重叠的方块，然后对每个方块进行直方图统计；最后将得到的5个59维数据串联得到最终特征信息，将其作为SRC的输入进行SRC分类，并同时记录识别结果和测试图像与三种表情数据之间的残差；
S35、最后，融合步骤S33和步骤S34的分类结果；若UILTP(8,2)+SRC算法和LILTP(8,2)+SRC算法得到相同的识别类别结果，则识别结果保持不变；若这两种算法的识别类别不同，则要分别计算两种算法对应的第二小残差与最小残差的比值，将大比值所对应的算法获得的识别结果作为最终识别结果；
S36、输出第S35步的结果。
其中，所述的ILTP算法是对LTP算法的一种优化，LTP局部三值模式自身是局部二值模式(Local binary pattern,LBP)算法的一种优化，LTP算法在LBP的基础上引入了阈值区间，即将LBP算子以中心值(gc)为阈值变为以中心值的区间([gc-t,gc+t])为阈值，邻域值在中心值区间内编码值将为0；邻域值比中心值区间大编码将为1；邻域值比中心值区间小编码将为-1，其具体编码规则如公式(1)所示；
t为设定的阈值，不同的阈值会有不同的编码效果，gc为中心值像素点，gi为邻域像素点。在编码过程中t取5，中心值区间为[50,60]；
通过LTP编码可以得到三值编码数据，得到的LTP编码为1100(-1)(-1)00，为了降低编码的复杂度，在编码过程中往往会将三值模式转换为两个二值模式，然后分别统计直方图信息，如100(-1)(-1)00将会被拆分为顶层模式(11000000)和底层模式(00001100)这两种二值模式；
在编码过程中t＝10；
虽然LTP在图像均匀的区域比LBP具有区分能力和对噪声、光源变化的鲁棒性特点，但是，其在图像的多尺度变化和局部遮挡问题的处理上还有不足之处，一方面产生的直方图维数过大；另一方面，LTP在图像的多尺度变化和局部遮挡等问题的处理上还有一定的局限，同时，传统LTP算子在编码的过程中只是简单将中心像素点值与邻域值进行比较，故丢失了一些局部结构信息，针对LTP算子的缺点，编码过程中将会给中心像素和邻域值分配不同的权重得到新的g'c值，并将获得的g'c值用于后期编码，从而得到ILTP算子；
所述ILTP算法如下文；
g'c定义为
g'c＝g7·1+g6·(-2)+g5·1+g4·(-2)+g3·1+g2·(-2)+g1·1+g0·(-2)+gc·5
(2)
则ILTP编码中心值区间将变为[g'c-t,g'c+t]，其中t＝10。
其中，所述的一种基于ILTP的人脸情绪预判方法，所述利用稀疏表示分类算法进行样本的训练和分类。
SRC的基本思想为，假设有i类j幅训练样本，将其重构排列为Ai＝[vi,1,vi,2,...,vi,j,...,vi,J]∈RN*J，其中，向量N＝m*n为图像大小，那么，Ai的每一个列向量就是第i类对应的训练样本，假设有足够的测试样本，那么一个属于i类的测试样本y∈RN可用训练样本线性表达为
y＝Aivi,j
(3)
可以将包含K组训练样本的矩阵A作为测量矩阵，即
A＝[A1,A2,...,AK]＝[v1,1,v1,2,...,vi,j,...,vK,J]∈RN*(k*J)
(4)
则对属于第i类的测试样本y可以用线性组合表示为
y＝Ax0
(5)
方程(5)的解为x0＝[0,...,0,ai,1,...,ai,J,0,...,0]，其为系数向量除了第i类的系数是非零项外，其它项都为零的向量，实验是通过选择最小l1范数问题来求得方程(5)的解，即
min||x||1 s.t.||Ax-y||2≤ε
(6)
最后，通过公式(7)判断y属于哪一，即
ri(y)＝||y-Aδi(x1)||2，表示测试样本y与线性表示Aδi(x1)的残差，最小残差值对应的类别即为测试样本y的类别。
其中，所述的一种基于ILTP的人脸情绪预判方法最终的识别结果是通过将图像ILTP特征中的顶层模式和底层模式分开进行训练与识别，然后进行差值比较获取最终识别结果，具体步骤如下：
在S33步骤中，利用UILTP(8,2)+SRC方法进行人脸情绪的训练，即将得到的顶层模式特征图像(通过UILTP(8,2)算法得到的人脸特征图像)分为3*5相同大小并且相互不重叠的区域，然后对每个区域进行直方图统计，最后将得到的15个59维数据串联得到最终特征信息，得到的这一组数据即为图像的一组特征数据，将其作为SRC的输入进行SRC分类，并同时记录识别结果和测试图像与三种表情数据之间的残差；
在S34步骤中，利用LILTP(8,2)+SRC方法进行人脸情绪的训练，将得到的底层模式特征图像(通过LILTP(8,2)算法得到的人脸特征图像)分为3*5相同大小并且相互不重叠的方块，然后对每个方块进行直方图统计，最后将得到的5个59维数据串联得到最终特征信息，得到的这一组数据即为图像的一组特征数据，将其作为SRC的输入进行SRC分类，并同时记录识别结果和测试图像与三种表情数据之间的残差；
在步骤S35中，融合步骤S34和步骤S44的分类结果；
若UILTP(8,2)+SRC算法和LILTP(8,2)+SRC算法得到相同的识别类别结果，则识别结果保持不变；
这两种算法的识别类别不同，要分别计算两种算法对应的第二小残差与最小残差的比值，将大比值所对应的算法获得的识别结果作为最终识别结果。
其中，所述数据模块即为人脸三类情绪图片；训练模块即为利用人脸三类情绪图片、ILTP算法、SRC算法进行人脸情绪训练，得到最终的识别器；分类模块即为利用训练模块得到的识别器进行人脸情绪的识别。
实施例一:
一种基于ILTP的人脸情绪预判方法，包括制作人脸情绪样本图库、利用改进的LTP算法ILTP提取人脸图像纹理特征、利用提取到的人脸图像纹理特征进行人脸情绪预判；
所述制作人脸情绪样本图库包括以下步骤：
S11、样本收集：收集整理人脸表情图片；
S12、样本分类：对收集的人脸表情图片进行分类处理；将人脸情绪分为三类：中性、积极和消极；中性情绪为人在正常情况下的面部表现；积极情绪为人高兴时候的面部表现；消极情绪包括生气、愤怒、悲伤、惊讶和消极的情绪；
S13、样本正规化：将原始样本图像进行图像大小变换操作，将其图像分辨率统一到255*255，并将图像数据转化为浮点向量数据；
S14、样本标记：根据不同类别对样本进行标记；
所述利用ILTP算法提取人脸图像纹理特征行训练的步骤：
S21、获取待训练样本集；
S22、对样本集中所有图像依次进行ILTP(8,2)变换，得到ILTP(8,2)特征图像；即每一张图像都可以得到一副顶层模式图像和一副底层模式图像；
S23、将各幅图像得到的顶层模式图像分为3*5个相同大小并且相互不重叠的区域，对每个区域进行直方图统计得到特征数据；S24、UILTP(8,2)+SRC：将步骤S22得到的特征数据作为SRC的输入进行SRC分类训练。
S25、将各幅图像得到的底层模式图像分为3*5个相同大小并且相互不重叠的区域，对每个区域进行直方图统计得到特征数据；
S26、LILTP(8,2)+SRC：将步骤S24得到的特征数据作为SRC的输入进行SRC分类训练；
所述利用人脸图像纹理特征进行人脸情绪预判包括以下步骤：
S31、获取待测样本图片；
S32、ILTP(8,2)：利用ILTP(8,2)算子得到顶层特模式特征图像(UILTP(8,2)特征图像)和底层模式特征图像(LILTP(8,2)特征图像)；
S33、UILTP(8,2)+SRC：将得到的顶层模式特征图像分为3*5相同大小并且相互不重叠的区域，然后对每个区域进行直方图统计；最后将得到的15个59维数据串联得到最终特征信息，将其作为SRC的输入进行SRC分类，并同时记录识别结果和测试图像与三种表情数据之间的残差；
S34、LILTP(8,2)+SRC：将得到的底层模式特征图像分为3*5相同大小并且相互不重叠的方块，然后对每个方块进行直方图统计；最后将得到的5个59维数据串联得到最终特征信息，将其作为SRC的输入进行SRC分类，并同时记录识别结果和测试图像与三种表情数据之间的残差；
S35、最后，融合步骤S33和步骤S34的分类结果；UILTP(8,2)+SRC算法和LILTP(8,2)+SRC算法得到相同的识别类别结果，则识别结果保持不变；这两种算法的识别类别不同，则要分别计算两种算法对应的第二小残差与最小残差的比值，将大比值所对应的算法获得的识别结果作为最终识别结果；
S36、输出第S35步的结果利用改进后的图像纹理特征ILTP进行人脸特征的提取，并将提取后的特征作为SRC的输入进行训练，人脸表情分类的准确性依赖于所提取特征的有效性，因而，表情特征的高效提取与应用是提高表情识别率的一个关键步骤；利用ILTP提取的人脸面部特征即包含了人脸的局部信息同时也包含了脸部的整体信息，与一些传统的纹理特征算子相比在特征提出中更高效。
实施例二:
一种基于ILTP的人脸情绪预判方法，包括制作人脸情绪样本图库、利用改进的LTP算法ILTP提取人脸图像纹理特征、利用提取到的人脸图像纹理特征进行人脸情绪预判；
所述制作人脸情绪样本图库包括以下步骤：
S11、样本收集：收集整理人脸表情图片；
S12、样本分类：对收集的人脸表情图片进行分类处理；将人脸情绪分为三类：中性、积极和消极；中性情绪为人在正常情况下的面部表现；积极情绪为人高兴时候的面部表现；消极情绪包括生气、愤怒、悲伤、惊讶和消极的情绪；
S13、样本正规化：将原始样本图像进行图像大小变换操作，将其图像分辨率统一到255*255，并将图像数据转化为浮点向量数据；
S14、样本标记：根据不同类别对样本进行标记；
所述利用ILTP算法提取人脸图像纹理特征行训练的步骤：
S21、获取待训练样本集；
S22、对样本集中所有图像依次进行ILTP(8,2)变换，得到ILTP(8,2)特征图像；即每一张图像都可以得到一副顶层模式图像和一副底层模式图像；
S23、将各幅图像得到的顶层模式图像分为3*5个相同大小并且相互不重叠的区域，对每个区域进行直方图统计得到特征数据；
S24、UILTP(8,2)+SRC：将步骤S22得到的特征数据作为SRC的输入进行SRC分类训练；
S25、将各幅图像得到的底层模式图像分为3*5个相同大小并且相互不重叠的区域，对每个区域进行直方图统计得到特征数据；
S26、LILTP(8,2)+SRC：将步骤S24得到的特征数据作为SRC的输入进行SRC分类训练；
所述利用人脸图像纹理特征进行人脸情绪预判包括以下步骤：
S31、获取待测样本图片；
S32、ILTP(8,2)：利用ILTP(8,2)算子得到顶层特模式特征图像(UILTP(8,2)特征图像)和底层模式特征图像(LILTP(8,2)特征图像)；
S33、UILTP(8,2)+SRC：将得到的顶层模式特征图像分为3*5相同大小并且相互不重叠的区域，然后对每个区域进行直方图统计；最后将得到的15个59维数据串联得到最终特征信息，将其作为SRC的输入进行SRC分类，并同时记录识别结果和测试图像与三种表情数据之间的残差；
S34、LILTP(8,2)+SRC：将得到的底层模式特征图像分为3*5相同大小并且相互不重叠的方块，然后对每个方块进行直方图统计；最后将得到的5个59维数据串联得到最终特征信息，将其作为SRC的输入进行SRC分类，并同时记录识别结果和测试图像与三种表情数据之间的残差；
S35、最后，融合步骤S33和步骤S34的分类结果；若UILTP(8,2)+SRC算法和LILTP(8,2)+SRC算法得到相同的识别类别结果，则识别结果保持不变；若这两种算法的识别类别不同，则要分别计算两种算法对应的第二小残差与最小残差的比值，将大比值所对应的算法获得的识别结果作为最终识别结果；
S36、输出第S35步的结果在训练和识别过程中用到了两个分类器，一个分类器由图像UILTP特征训练得到，另一个分类器由图像LILTP特征训练得到，在进行预判时，最终预判结果由两个分类器共同决定，即由UILTP(8,2)+SRC与LILTP(8,2)+SRC这两种分类器共同决定，融合两种分类器得到最终结果的方法在一定程度上提高了识别率。
首先在使用时，先利用改进后的ILTP算子对图像进行特征提取，再将提取后的特征数据作为SRC的输入进行分类器训练，表情特征提取就是提取包含表情因素的信息，提取能够输入表情本质的信息，现有的一些特征提取方法无论从实用性、精确度等来说都存在一些不足，本发明提出的ILTP算子是对现有的LTP算子的一种改进，具有泛化能力强、鲁棒性强、计数准确率高、计数速度快等优点。
以上显示和了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (5)
1.一种基于ILTP的人脸情绪预判方法，包括制作人脸情绪样本图库、利用改进的LTP算法ILTP提取人脸图像纹理特征进行训练、利用提取到的人脸图像纹理特征进行人脸情绪预判，其特征在于：所述制作人脸情绪样本图库包括以下步骤：
S11、样本收集：收集整理人脸表情图片；
S12、样本分类：对收集的人脸表情图片进行分类处理，将人脸情绪分为三类：中性、积极和消极，中性情绪为人在正常情况下的面部表现；积极情绪为人高兴时候的面部表现；消极情绪包括生气、愤怒、悲伤、惊讶和消极的情绪；
S13、样本正规化：将原始样本图像进行图像大小变换操作，将其图像分辨率统一到255*255，并将图像数据转化为浮点向量数据；
S14、样本标记：根据不同类别对样本进行标记；
所述改进的LTP算法ILTP：
在图像均匀区域LTP算子用于人脸表情识别比LBP具有判别能力，对噪声和光照变化有好的鲁棒性，但LTP仍然存在不足，一方面产生的直方图维数过大；另一方面，LTP在图像的多尺度变化和局部遮挡等问题的处理上还有一定的局限，同时，传统LTP算子在编码的过程中只是简单将中心像素点值与邻域值进行比较，丢失了一些局部结构信息，针对LTP算子的缺点，编码过程中将会给中心像素和邻域值分配不同的权重得到新的g′c值，并将获得的g′c值用于后期编码，从而得到ILTP算子；
所述利用ILTP算法提取人脸图像纹理特征进行训练的步骤：
S21、获取待训练样本集；
S22、对样本集中所有图像依次进行ILTP(8,2)变换，得到ILTP(8,2)特征图像，即每一张图像都可以得到一副顶层模式图像和一副底层模式图像；
S23、将各幅图像得到的顶层模式图像分为3*5个相同大小并且相互不重叠的区域，对每个区域进行直方图统计得到特征数据；
S24、将步骤S22得到UILTP(8,2)+SRC的特征数据作为SRC的输入进行SRC分类训练；
S25、将各幅图像得到的底层模式图像分为3*5个相同大小并且相互不重叠的区域，对每个区域进行直方图统计得到特征数据；
S26、LILTP(8,2)+SRC将步骤S24得到的特征数据作为SRC的输入进行SRC分类训练；
所述利用人脸图像纹理特征进行人脸情绪预判包括以下步骤：
S31、获取待测样本图片；
S32、ILTP(8,2)：利用ILTP(8,2)算子得到待测样本图片顶层特模式特征图像和底层模式特征图像；
S33、UILTP(8,2)+SRC：将得到的顶层模式特征图像分为3*5相同大小并且相互不重叠的区域，然后对每个区域进行直方图统计，最后将得到的15个59维数据串联得到最终特征信息，将其作为SRC的输入进行SRC分类，并同时记录识别结果和测试图像与三种表情数据之间的残差；
S34、LILTP(8,2)+SRC：将得到的底层模式特征图像分为3*5相同大小并且相互不重叠的方块，然后对每个方块进行直方图统计，最后将得到的5个59维数据串联得到最终特征信息，将其作为SRC的输入进行SRC分类，并同时记录识别结果和测试图像与三种表情数据之间的残差；
S35、最后，融合步骤S33和步骤S34的分类结果，若UILTP(8,2)+SRC算法和LILTP(8,2)+SRC算法得到相同的识别类别结果，则识别结果保持不变，若这两种算法的识别类别不同，则要分别计算两种算法对应的第二小残差与最小残差的比值，将大比值所对应的算法获得的识别结果作为最终识别结果；
S36、输出第S35步的结果。
2.根据权利要求1所述一种基于ILTP的人脸情绪预判方法，其特征在于：所述人脸图像纹理特征基于LTP进行了改进；
LTP算法在LBP的基础上引入了阈值区间，即将LBP算子以中心值(gc)为阈值变为以中心值的区间([gc-t,gc+t])为阈值，邻域值在中心值区间内编码值将为0；邻域值比中心值区间大编码将为1；邻域值比中心值区间小编码将为-1；
其中，t为设定的阈值，gc为中心值像素点，gi为邻域像素点；
通过LTP编码可以得到三值编码数据。
3.根据权利要求1所述一种基于ILTP的人脸情绪预判方法，其特征在于：所述利用稀疏表示分类算法进行样本的训练和分类；
SRC的基本思想为，有i类j幅训练样本，将其重构排列为Ai＝[vi,1,vi,2,...,vi,j,...,vi,J]∈RN*J，其中，向量N＝m*n为图像大小，那么，Ai的每一个列向量就是第i类对应的训练样本，有足够的测试样本；
其中，ri(y)＝||y-Aδi(x1)||2，表示测试样本y与线性表示Aδi(x1)的残差，最小残差值对应的类别即为测试样本y的类别。
4.根据权利要求1所述的一种基于ILTP的人脸情绪预判方法，其特征在于：将图像ILTP特征中的顶层模式和底层模式分开进行训练与识别，然后进行差值比较获取最终识别结果；
在S33步骤中，利用UILTP(8,2)+SRC方法进行人脸情绪的训练，即将得到的顶层模式特征图像分为3*5相同大小并且相互不重叠的区域，然后对每个区域进行直方图统计，最后将得到的15个59维数据串联得到最终特征信息，得到的这一组数据即为图像的一组特征数据，将其作为SRC的输入进行SRC分类，并同时记录识别结果和测试图像与三种表情数据之间的残差；
在S34步骤中，利用LILTP(8,2)+SRC方法进行人脸情绪的训练，将得到的底层模式特征图像分为3*5相同大小并且相互不重叠的方块，然后对每个方块进行直方图统计，最后将得到的5个59维数据串联得到最终特征信息，得到的这一组数据即为图像的一组特征数据，将其作为SRC的输入进行SRC分类，并同时记录识别结果和测试图像与三种表情数据之间的残差；
在步骤S35中，融合步骤S33和步骤S34的分类结果；
若UILTP(8,2)+SRC算法和LILTP(8,2)+SRC算法得到相同的识别类别结果，则识别结果保持不变；
这两种算法的识别类别不同，分别计算两种算法对应的第二小残差与最小残差的比值，将大比值所对应的算法获得的识别结果作为最终识别结果。
5.根据权利要求1所述的一种基于ILTP的人脸情绪预判方法，其特征在于：所述LTP算法包括数据模块、训练模块、分类模块，所述数据模块即为人脸三类情绪图片；训练模块即为利用人脸三类情绪图片、ILTP算法和SRC算法进行人脸情绪训练，得到最终的识别器；分类模块即为利用训练模块得到的识别器进行人脸情绪的识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811493019.9A CN109376711A (zh) | 2018-12-06 | 2018-12-06 | 一种基于iltp的人脸情绪预判方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811493019.9A CN109376711A (zh) | 2018-12-06 | 2018-12-06 | 一种基于iltp的人脸情绪预判方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109376711A true CN109376711A (zh) | 2019-02-22 |
Family
ID=65376664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811493019.9A Pending CN109376711A (zh) | 2018-12-06 | 2018-12-06 | 一种基于iltp的人脸情绪预判方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109376711A (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102663426A (zh) * | 2012-03-29 | 2012-09-12 | 东南大学 | 一种基于小波多尺度分析和局部三值模式的人脸识别方法 |
| CN102968643A (zh) * | 2012-11-16 | 2013-03-13 | 华中科技大学 | 一种基于李群论的多模态情感识别方法 |
| CN103761507A (zh) * | 2014-01-03 | 2014-04-30 | 东南大学 | 一种基于韦伯法则的局部多值模式的人脸识别方法 |
| CN103778412A (zh) * | 2014-01-16 | 2014-05-07 | 重庆邮电大学 | 一种基于局部三值模式自适应阈值的人脸识别方法 |
| CN105780129A (zh) * | 2014-12-15 | 2016-07-20 | 天津华大基因科技有限公司 | 目标区域测序文库构建方法 |
| US20160275341A1 (en) * | 2015-03-18 | 2016-09-22 | Adobe Systems Incorporated | Facial Expression Capture for Character Animation |
| CN106127196A (zh) * | 2016-09-14 | 2016-11-16 | 河北工业大学 | 基于动态纹理特征的人脸表情的分类与识别方法 |
| CN106548149A (zh) * | 2016-10-26 | 2017-03-29 | 河北工业大学 | 监控视频序列中人脸微表情图像序列的识别方法 |
| CN107248167A (zh) * | 2017-05-05 | 2017-10-13 | 深圳市丰巨泰科电子有限公司 | 一种运动目标阴影检测方法、装置及计算机可读存储介质 |
| CN107563312A (zh) * | 2017-08-17 | 2018-01-09 | 南昌航空大学 | 人脸表情识别方法 |
| CN107633203A (zh) * | 2017-08-17 | 2018-01-26 | 平安科技（深圳）有限公司 | 面部情绪识别方法、装置及存储介质 |
| CN107729835A (zh) * | 2017-10-10 | 2018-02-23 | 浙江大学 | 一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法 |
| CN108268859A (zh) * | 2018-02-08 | 2018-07-10 | 南京邮电大学 | 一种基于深度学习的人脸表情识别方法 |
| US20180211102A1 (en) * | 2017-01-25 | 2018-07-26 | Imam Abdulrahman Bin Faisal University | Facial expression recognition |
-
2018
- 2018-12-06 CN CN201811493019.9A patent/CN109376711A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102663426A (zh) * | 2012-03-29 | 2012-09-12 | 东南大学 | 一种基于小波多尺度分析和局部三值模式的人脸识别方法 |
| CN102968643A (zh) * | 2012-11-16 | 2013-03-13 | 华中科技大学 | 一种基于李群论的多模态情感识别方法 |
| CN103761507A (zh) * | 2014-01-03 | 2014-04-30 | 东南大学 | 一种基于韦伯法则的局部多值模式的人脸识别方法 |
| CN103778412A (zh) * | 2014-01-16 | 2014-05-07 | 重庆邮电大学 | 一种基于局部三值模式自适应阈值的人脸识别方法 |
| CN105780129A (zh) * | 2014-12-15 | 2016-07-20 | 天津华大基因科技有限公司 | 目标区域测序文库构建方法 |
| US20160275341A1 (en) * | 2015-03-18 | 2016-09-22 | Adobe Systems Incorporated | Facial Expression Capture for Character Animation |
| CN106127196A (zh) * | 2016-09-14 | 2016-11-16 | 河北工业大学 | 基于动态纹理特征的人脸表情的分类与识别方法 |
| CN106548149A (zh) * | 2016-10-26 | 2017-03-29 | 河北工业大学 | 监控视频序列中人脸微表情图像序列的识别方法 |
| US20180211102A1 (en) * | 2017-01-25 | 2018-07-26 | Imam Abdulrahman Bin Faisal University | Facial expression recognition |
| CN107248167A (zh) * | 2017-05-05 | 2017-10-13 | 深圳市丰巨泰科电子有限公司 | 一种运动目标阴影检测方法、装置及计算机可读存储介质 |
| CN107563312A (zh) * | 2017-08-17 | 2018-01-09 | 南昌航空大学 | 人脸表情识别方法 |
| CN107633203A (zh) * | 2017-08-17 | 2018-01-26 | 平安科技（深圳）有限公司 | 面部情绪识别方法、装置及存储介质 |
| CN107729835A (zh) * | 2017-10-10 | 2018-02-23 | 浙江大学 | 一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法 |
| CN108268859A (zh) * | 2018-02-08 | 2018-07-10 | 南京邮电大学 | 一种基于深度学习的人脸表情识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 李立赛等: "基于改进LTP算子和稀疏表示的人脸表情识别", 五邑大学学报(自然科学版) * |
| 黄丽雯等: "非对称方向性局部二值模式人脸表情识别", 计算机工程与应用 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Song et al. | Recognizing spontaneous micro-expression using a three-stream convolutional neural network | |
| Dino et al. | Facial expression classification based on SVM, KNN and MLP classifiers | |
| Raza et al. | Appearance based pedestrians’ gender recognition by employing stacked auto encoders in deep learning | |
| Hu et al. | Digital image recognition based on Fractional-order-PCA-SVM coupling algorithm | |
| CN105005765B (zh) | 一种基于Gabor小波和灰度共生矩阵的人脸表情识别方法 | |
| CN111523462B (zh) | 基于自注意增强cnn的视频序列表情识别***及方法 | |
| CN110084156A (zh) | 一种步态特征提取方法及基于步态特征的行人身份识别方法 | |
| Kumar et al. | Micro-expression classification based on landmark relations with graph attention convolutional network | |
| CN110464366A (zh) | 一种情绪识别方法、***及存储介质 | |
| CN106548149B (zh) | 监控视频序列中人脸微表情图像序列的识别方法 | |
| CN110399821A (zh) | 基于人脸表情识别的顾客满意度获取方法 | |
| Jiang et al. | Fast and efficient facial expression recognition using a gabor convolutional network | |
| CN109543603A (zh) | 一种基于宏表情知识迁移的微表情识别方法 | |
| CN102156885A (zh) | 基于级联式码本生成的图像分类方法 | |
| CN116311483B (zh) | 基于局部面部区域重构和记忆对比学习的微表情识别方法 | |
| Verma et al. | Affectivenet: Affective-motion feature learning for microexpression recognition | |
| CN108288048A (zh) | 基于改进头脑风暴优化算法的面部情绪识别特征选择方法 | |
| Li et al. | Dating ancient paintings of Mogao Grottoes using deeply learnt visual codes | |
| CN110135251A (zh) | 一种基于注意力机制和混合网络的群体图像情绪识别方法 | |
| Gao et al. | Tfe: A transformer architecture for occlusion aware facial expression recognition | |
| CN109919196A (zh) | 一种基于特征选择和分类模型的体质识别方法 | |
| Wei | Saliency maps-based convolutional neural networks for facial expression recognition | |
| Meng et al. | Facial expression recognition algorithm based on fusion of transformed multilevel features and improved weighted voting SVM | |
| Sooch et al. | Emotion Classification and Facial Key point detection using AI | |
| CN113011436A (zh) | 一种基于卷积神经网络的中医舌色苔色协同分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20191224 Address after: 518000 third floor, r1-a modern building, No.23, gaoxinnan 4th Road, South District, Nanshan District, Shenzhen City, Guangdong Province Applicant after: Shenzhen Shengli Wantong Technology Co., Ltd Address before: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Science Park North Qi Min Road No. 1 Betel building 3 floor Applicant before: Shenzhen rice washing technology Co., Ltd. |