CN113076916A - 基于几何特征加权融合的动态人脸表情识别方法及*** - Google Patents
基于几何特征加权融合的动态人脸表情识别方法及*** Download PDFInfo
- Publication number
- CN113076916A CN113076916A CN202110418667.3A CN202110418667A CN113076916A CN 113076916 A CN113076916 A CN 113076916A CN 202110418667 A CN202110418667 A CN 202110418667A CN 113076916 A CN113076916 A CN 113076916A
- Authority
- CN
- China
- Prior art keywords
- geometric
- expression
- geometric features
- facial expression
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000004927 fusion Effects 0.000 title claims abstract description 28
- 230000014509 gene expression Effects 0.000 claims abstract description 71
- 230000008859 change Effects 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 241000282414 Homo sapiens Species 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 22
- 238000010606 normalization Methods 0.000 claims description 19
- 238000012360 testing method Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 12
- 230000001815 facial effect Effects 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 230000008451 emotion Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 230000002996 emotional effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出了基于几何特征加权融合的动态人脸表情识别方法及***，包括：针对处理后的人脸表情图像序列进行特征提取；具体包括：提取引起表情变化的关键部位特征点的位置信息，作为第一几何特征；提取表情变化过程中表情的形变信息，作为第二几何特征；将上述第一几何特征及第二几何特征分别单独进行分类，分别获得其对应的识别准确率；基于上述识别准确率对上述两种几何特征进行权重分配，级联成一维几何特征，对加权融合后的一维几何特征进行分类，得到表情的识别结果。有效利用表情发生过程中产生的几何特征，并从位置、时间、形变多个角度进行分析，增强了几何特征的表达能力和特征提取速率。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及基于几何特征加权融合的动态人脸表情识别方法及***。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
随着计算机软硬件的发展和互联网的普及，人机交互技术逐渐受到重视。为更好地实现人机交互，科研人员在诸多领域进行了深入的理论和技术研究，广泛应用于模式识别、图像处理等领域的人脸识别和表情识别技术就是其中之一。作为情感交流的重要方式之一，面部表情是人类情感表达***中不可或缺的组成部分，可以生动直观地反映人类的情绪状态。心理学家的研究表明，相较于语言、声调等媒介，说话者的面部表情其实可以传递更多的情感信息，更进一步指出，面部表情传达的信息甚至达到信息传输总量的55％。心理学家将人类的情绪划分为六种基本情感，即愤怒、厌恶、恐惧、快乐、悲伤和惊讶，每种情感有其相应的表情。尽管现实中人类可以轻松实现面部表情识别，然而计算机则需要进行大量计算来区分人类不同的表情，进而解读其传递的情绪。如果计算机能够实现对人类面部表情的精准快速识别，则可以有效促进人机交互***的发展，因此人脸表情识别具有很高的研究价值和意义。
目前，人脸表情识别的研究有两种主流方法：基于图像的方法和基于视频的方法。基于图像的方法是一种静态的方法，其特点是直接对表情的峰值帧进行分析和提取特征；而基于视频的方法则是一种动态的方法，通过对图像序列进行处理，提取出表情序列中的时间和运动信息。由于人脸表情是一个动态变化的过程，基于动态表情识别的研究更具现实性。
虽然现有的基于传统手工设计特征和基于深度学习的人脸表情识别方法已经取得显著进展，但是由于以下难点，面部表情识别仍然有待研究。第一，受试者所处环境的光照强度不同导致同一表情外观差异较大；第二，不同受试者的皱纹、脸型等与表情无关的干扰信息和面部遮挡，面部姿势变化带来的影响；第三，深度学习模型的训练时间长，计算量大，对硬件要求较高。
发明内容
为克服上述现有技术的不足，本发明提供了基于几何特征加权融合的动态人脸表情识别方法，该方法从两个角度描述表情变化过程中的几何特性，在时间维度提取两种几何特征，分别是位置特征和形变特征。在特征层采用加权融合方式，以上述两种特征的表情识别率的反馈确定权重，量化各特征的贡献，从而提高几何特征的鲁棒性。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
第一方面，公开了基于几何特征加权融合的动态人脸表情识别方法，包括：
针对预处理后的人脸表情图像序列进行特征提取；
具体包括：提取引起表情变化的关键部位特征点的位置信息，作为第一几何特征；提取表情变化过程中表情的形变信息，作为第二几何特征；
将上述第一几何特征及第二几何特征分别单独进行分类，获得其相对应的识别准确率；
基于上述识别准确率对以上两种几何特征进行权重分配，级联成一维几何特征，对加权融合后的一维几何特征进行分类，得到表情的识别结果。
进一步的技术方案，提取第一几何特征时，将人脸关键点坐标分别以X轴和Y轴进行标准化操作，转化为无量纲的值，表示单帧表情图像的几何位置信息；
基于人脸表情在动态发生的过程中同一面部关键点在帧与帧之间会产生相对位移，将单帧表情图像的几何位置信息扩展到时间维度，描述连续L帧人脸表情图像的几何位置变化。
进一步的技术方案，提取第二几何特征时，所述提取表情变化过程中表情的形变信息时具体为：计算相邻两帧表情图像的关键点到固定点欧式距离的差值来表示人脸面部表情形状的改变；
具体的，第二几何特征的提取步骤具体包括：以人脸表情图像鼻梁处关键点的位置作为固定点，计算其它关键点到该点的欧氏距离描述静态图像的面部形变信息；
将L帧的各帧间上述距离的差值进行串联形成第二几何特征G，维度是48×(L-1)。
进一步的技术方案，还包括：获取待识别的人脸表情图像序列，以及对待识别的人脸表情图像序列进行人脸检测、人脸旋转矫正、归一化等预处理操作。
进一步的技术方案，对待识别的人脸表情图像序列预处理操作，具体包括：
对待识别的人脸表情图像序列进行灰度归一化处理；
对灰度归一化处理后的人脸表情图像序列，通过人脸检测后，进行人脸旋转矫正，也称人脸对齐操作；
对人脸对齐后的人脸表情图像序列进行裁剪和几何归一化处理。
进一步的技术方案，人脸对齐操作时，在检测到人脸关键位置坐标的基础上，将人脸进行旋转校正，使得双眼处于同一水平线，具体为：
对灰度归一化后的图像序列采用级联回归方法：监督下降法SDM对人脸关键点检测的目标函数进行优化。
进一步的技术方案，对第一和第二几何特征分别单独进行分类，得到第一、第二识别准确率，具体包括：
将第一几何特征划分为第一训练集和第一测试集，采用第一训练集训练得到第一基分类器模型，对第一测试集进行表情识别，得到第一识别准确率；
同样地，将第二几何特征划分为第二训练集和第二测试集，采用第二训练集训练得到第二基分类器模型，对第二测试集进行表情识别，得到第二识别准确率。
进一步的技术方案，根据得到的第一和第二识别准确率，求出第一和第二几何特征的权重，表示出按照权重进行级联的几何特征。
第二方面，公开了基于几何特征加权融合的动态人脸表情识别***，包括：
特征提取模块，被配置为：针对预处理后的人脸表情图像序列进行特征提取；
具体包括：提取引起表情变化的关键部位特征点的位置信息，作为第一几何特征；提取表情变化过程中表情的形变信息，作为第二几何特征；
识别准确率计算模块，被配置为：将上述第一几何特征及第二几何特征分别单独进行分类，获得其相对应的识别准确率；
加权融合识别模块，被配置为：基于上述识别准确率对上述两种几何特征进行权重分配，级联成一维几何特征，对加权融合后的一维几何特征进行分类，得到表情的识别结果。
以上一个或多个技术方案存在以下有益效果：
(1)本发明提出了基于几何特征加权融合的动态人脸表情识别方法及***，其通过获取人脸表情变化过程中每种表情区别于其他表情固有的几何特征来有效实现人脸表情识别。
(2)人脸表情图像关键点坐标的定位不受受试者的人脸形状、性别、年龄、种族等冗余的身份信息以及输入图像亮度的影响，通过级联表情序列的关键点坐标作为第一几何特征，可以排除人脸图像的共同底层结构和脸型的影响，有效表示人脸关键点相对位置的变化。
(3)图像序列在从表情中性帧到表情峰值帧的变化过程中，人脸关键点间的距离也会发生改变，通过级联表情序列各关键点坐标到固定点欧式距离的差值作为第二几何特征，可以有效表示人脸表情变化过程中的形变信息。
(4)对上述两种几何特征采用基于反馈的加权融合方式进行特征层的融合，从而有效发挥各特征的优势，增强几何特征的表达能力。
(5)本发明所提出的两种几何特征具有容易获取、计算简便以及对硬件设备要求低等优点。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明的***流程图；
图2为本发明采用SDM(Supervised Descent Method)算法检测到的人脸49个关键点位置信息示意图。
图3为本发明预处理阶段人脸校正前后对比示意图；
图4为本发明预处理阶段人脸裁剪和归一化的示意图；
图5本发明第一几何特征的提取流程示意图；
图6(a)-图6(e)为生气表情序列的关键点标注示意图；
图6(f)-图6(j)为高兴表情序列的关键点标注示意图；
图7本发明第二几何特征的提取流程示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
需要注意的是，本实施例中涉及人脸图像的示意图来自扩展的Cohn-Kanade(CK+)数据集。
如图1所示，基于几何特征加权融合的动态人脸表情识别方法，包括：
第一步：获取待识别的人脸表情图像序列；
第二步：对待识别的人脸表情图像序列进行人脸检测、人脸旋转矫正、归一化等预处理操作；
第三步：对预处理后的人脸表情图像序列，提取引起表情变化的关键部位特征点的位置信息，作为第一几何特征；提取表情变化过程中各帧面部关键点到固定点的欧式距离，来描述人脸表情在时间维度的形变信息，作为第二几何特征；
第四步：对第一和第二几何特征分别单独进行分类，得到第一、第二识别准确率；
第五步：根据反馈的原理，按照第一和第二识别准确率对上述两种几何特征进行权重分配，级联成一维几何特征；
第六步：对加权融合后的几何特征进行分类，得到表情的最终识别结果；
作为一个或多个实施例，第一步所述获取待识别的人脸表情图像序列，通过摄像头进行采集。
作为一个或多个实施例，所述第二步：对待识别的人脸表情图像序列进行人脸检测、人脸旋转矫正、归一化等预处理操作，以减少与表情无关的背景等冗余信息，保证输入图片的一致性，提升后续特征提取质量和分类准确率；具体包括：
步骤A：对待识别的人脸表情图像序列进行灰度归一化处理；
步骤B：对灰度归一化处理后的人脸表情图像序列，通过人脸检测后，进行人脸旋转矫正，也称人脸对齐操作，使得双眼在同一水平线上；
步骤C：对人脸对齐后的人脸表情图像序列进行裁剪和几何归一化处理。
示例性的，所述步骤A：采用如下公式(1)对人脸表情图像进行灰度归一化：
Igray＝IB×0.114+IG×0.578+IR×0.299 (1)
其中，IB、IG、IR分别代表图像的蓝、绿、红三个颜色通道；
示例性的，所述步骤B：在检测到人脸关键位置坐标的基础上，将人脸进行旋转校正，使得双眼在同一水平线上；具体包括：
对灰度归一化后的图像序列采用采用级联回归方法：监督下降法SDM对人脸关键点检测的目标函数进行优化。该方法定位出的人脸49个关键点坐标的位置信息如图2所示。分别用(x1,y1)、(x2,y2)表示左右眼睛的瞳孔坐标，则人脸图像双眼的偏转角度为：
根据偏转角度θ，对图像其它像素点进行仿射变换，用(xi,yi)表示原始图像像素点坐标，(x′i,y′i)表示仿射变换后的图像坐标，变换公式如下：
人脸校正前后的对比图如图3所示。
示例性的，所述步骤C：对旋转矫正后的人脸表情图像序列进行裁剪和几何归一化处理；具体包括：
根据人脸黄金比率分割法，用deye表示双眼瞳孔的距离，则裁剪后的人脸宽和高分别为：w＝1.865×deye，h＝3.018×deye，最后将裁剪后的人脸表情图像几何归一化为M×N，如图4所示；
作为一个或多个实施例，所述第三步：对预处理后的人脸表情图像序列，分别提取第一和第二几何特征，具体包括：
步骤A：对于第一几何特征，将人脸关键点坐标分别以X轴和Y轴进行均值为0，方差为1的标准化操作，转化为无量纲的值，第i帧表情图像的几何位置信息可以表示为：
n是检测到的关键点个数，在本发明取49；人脸表情在动态发生的过程中，同一面部关键点在帧与帧之间也会产生相对位移，因此，可以将单帧表情图像的几何位置信息扩展到时间维度，用V描述连续L帧人脸表情图像的几何位置变化：
进一步地，第一几何特征的提取流程图如图5所示；将L帧归一化后的关键点坐标串联形成第一几何特征V，维度是98×L。
步骤B：对于第二几何特征，可以计算相邻两帧表情图像的关键点到固定点距离的差值来表示人脸面部表情形状的改变，从图6(a)-图6(e)以及图6(f)-图6(j)可以看出，关键点的位置随着表情的发生而改变，通过观察发现，位于鼻梁处11号关键点的位置(图中用黑点标出)基本保持不变，因此，通过其它关键点到该点的欧氏距离可以描述静态图像的面部形变信息，用di表示第i个关键点到11号关键点(xl,yl)的距离：
因此，人脸表情图像序列在时间维度上的形变信息可以用以下矩阵G表示，作为第二几何特征：
其中，
表示相邻两帧同一关键点到固定点距离的差值；进一步地，第二几何特征的提取流程图如图7所示；
作为一个或多个实施例，所述第四步：对第一和第二几何特征分别单独进行分类，从而得到第一、第二识别准确率，用来作为后续权重划分的依据，具体包括：
将第一几何特征划分为第一训练集和第一测试集，采用第一训练集训练得到第一基分类器模型，对第一测试集进行表情识别，得到第一识别准确率R1；
同样地，将第二几何特征划分为第二训练集和第二测试集，采用第二训练集训练得到第二基分类器模型，对第二测试集进行表情识别，得到第二识别准确率R2；
作为一个或多个实施例，第五步：根据反馈的原理，按照第一和第二识别准确率对上述两种几何特征进行权重分配后，级联成一维几何特征；具体包括：
根据第四步得到的第一和第二识别结果，求出第一和第二几何特征的权重：
按照权重进行级联的几何特征，具体为按照权重占比对第一和第二几何特征进行串联，形成加权融合几何特征，从而充分发挥上述两种几何特征的优势，得到可以同时获取人脸表情的位置信息和形变信息的几何特征，加权融合几何特征可以表示为：
F＝ω1V∪ω2G (9)
其中，符号∪表示第一几何特征和第二几何特征的串联；
作为一个或多个实例，所述第六步：对加权融合后的几何特征进行分类，得到表情的最终识别结果，具体包括：
将加权融合几何特征划分为训练集和测试集，采用训练集训练得到基分类器模型，对测试集进行表情识别，得到最终识别结果；
基于几何特征加权融合的动态人脸表情识别方法，是一种将时间维度上的人脸表情位置信息和形变信息相结合的方法；具体来说，采用逐帧人脸表情关键点作为第一几何特征，逐帧人脸表情关键点距离的差值作为第二几何特征。
实施例二
本实施例的目的是提供一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
实施例三
本实施例的目的是提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行上述方法的步骤。
实施例四
本实施例的目的是提供了基于几何特征加权融合的动态人脸表情识别***，包括：
特征提取模块，被配置为：针对处理后的人脸表情图像序列进行特征提取；
具体包括：提取引起表情变化的关键部位特征点的位置信息，作为第一几何特征；提取表情变化过程中表情的形变信息，作为第二几何特征；
识别准确率计算模块，被配置为：将上述第一几何特征及第二几何特征分别单独进行分类，分别获得其对应的识别准确率；
加权融合识别模块，被配置为：基于上述识别准确率对上述两种几何特征进行权重分配，级联成一维几何特征，对加权融合后的一维几何特征进行分类，得到表情的识别结果。
以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.基于几何特征加权融合的动态人脸表情识别方法，其特征是，包括：
针对处理后的人脸表情图像序列进行特征提取；
具体包括：提取引起表情变化的关键部位特征点的位置信息，作为第一几何特征；提取表情变化过程中表情的形变信息，作为第二几何特征；
将上述第一几何特征及第二几何特征分别单独进行分类，分别获得其对应的识别准确率；
基于上述识别准确率对上述两种几何特征进行权重分配，级联成一维几何特征，对加权融合后的一维几何特征进行分类，得到表情的识别结果。
2.如权利要求1所述的基于几何特征加权融合的动态人脸表情识别方法，其特征是，提取第一几何特征时，将人脸关键点坐标分别以X轴和Y轴进行标准化操作，转化为无量纲的值，表示单帧表情图像的几何位置信息；
基于人脸表情在动态发生的过程中同一面部关键点在帧与帧之间会产生相对位移，将单帧表情图像的几何位置信息扩展到时间维度，描述连续L帧人脸表情图像的几何位置变化。
3.如权利要求1所述的基于几何特征加权融合的动态人脸表情识别方法，其特征是，提取第二几何特征时，所述提取表情变化过程中表情的形变信息时具体为：计算相邻两帧表情图像的关键点到固定点欧式距离的差值来表示人脸面部表情形状的改变；
或，第二几何特征的提取步骤具体包括：以人脸表情图像鼻梁处关键点的位置作为固定点，计算其它关键点到该点的欧氏距离描述静态图像的面部形变信息；
将L帧的各帧间上述距离的差值进行串联形成第二几何特征。
4.如权利要求1所述的基于几何特征加权融合的动态人脸表情识别方法，其特征是，还包括：获取待识别的人脸表情图像序列，以及对待识别的人脸表情图像序列进行人脸检测、人脸旋转矫正、归一化预处理操作。
5.如权利要求4所述的基于几何特征加权融合的动态人脸表情识别方法，其特征是，对待识别的人脸表情图像序列预处理操作，具体包括：
对待识别的人脸表情图像序列进行灰度归一化处理；
对灰度归一化处理后的人脸表情图像序列，通过人脸检测后，进行人脸旋转矫正，也称人脸对齐操作；
对人脸对齐后的人脸表情图像序列进行裁剪和几何归一化处理。
6.如权利要求4所述的基于几何特征加权融合的动态人脸表情识别方法，其特征是，人脸对齐操作时，在检测到人脸关键位置坐标的基础上，将人脸进行旋转校正，使得双眼处于同一水平线，具体为：
对灰度归一化后的图像序列采用级联回归方法：监督下降法SDM对人脸关键点检测的目标函数进行优化。
7.如权利要求1所述的基于几何特征加权融合的动态人脸表情识别方法，其特征是，对第一和第二几何特征分别单独进行分类，得到第一、第二识别准确率，具体包括：
将第一几何特征划分为第一训练集和第一测试集，采用第一训练集训练得到第一基分类器模型，对第一测试集进行表情识别，得到第一识别准确率；
同样地，将第二几何特征划分为第二训练集和第二测试集，采用第二训练集训练得到第二基分类器模型，对第二测试集进行表情识别，得到第二识别准确率。
优选的，根据得到的第一和第二识别准确率，求出第一和第二几何特征的权重，表示出按照权重进行级联的几何特征。
8.基于几何特征加权融合的动态人脸表情识别***，其特征是，包括：
特征提取模块，被配置为：针对处理后的人脸表情图像序列进行特征提取；
具体包括：提取引起表情变化的关键部位特征点的位置信息，作为第一几何特征；提取表情变化过程中表情的形变信息，作为第二几何特征；
识别准确率计算模块，被配置为：将上述第一几何特征及第二几何特征分别单独进行分类，分别获得其对应的识别准确率；
加权融合识别模块，被配置为：基于上述识别准确率对上述两种几何特征进行权重分配，级联成一维几何特征，对加权融合后的一维几何特征进行分类，得到表情的识别结果。
9.一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现上述权利要求1-7任一所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时执行上述权利要求1-7任一所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110418667.3A CN113076916B (zh) | 2021-04-19 | 2021-04-19 | 基于几何特征加权融合的动态人脸表情识别方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110418667.3A CN113076916B (zh) | 2021-04-19 | 2021-04-19 | 基于几何特征加权融合的动态人脸表情识别方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113076916A true CN113076916A (zh) | 2021-07-06 |
| CN113076916B CN113076916B (zh) | 2023-05-12 |
Family
ID=76618105
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110418667.3A Active CN113076916B (zh) | 2021-04-19 | 2021-04-19 | 基于几何特征加权融合的动态人脸表情识别方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113076916B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114582002A (zh) * | 2022-04-18 | 2022-06-03 | 华南理工大学 | 一种结合注意力模块与二阶池化机制的人脸表情识别方法 |
| CN116077071A (zh) * | 2023-02-10 | 2023-05-09 | 湖北工业大学 | 一种智能康复按摩方法、机器人及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103984919A (zh) * | 2014-04-24 | 2014-08-13 | 上海优思通信科技有限公司 | 基于粗糙集与混合特征的人脸表情识别方法 |
| CN106127156A (zh) * | 2016-06-27 | 2016-11-16 | 上海元趣信息技术有限公司 | 基于声纹和人脸识别的机器人交互方法 |
| CN109034099A (zh) * | 2018-08-14 | 2018-12-18 | 华中师范大学 | 一种表情识别方法及装置 |
| CN109446980A (zh) * | 2018-10-25 | 2019-03-08 | 华中师范大学 | 表情识别方法及装置 |
| CN109522818A (zh) * | 2018-10-29 | 2019-03-26 | 中国科学院深圳先进技术研究院 | 一种表情识别的方法、装置、终端设备及存储介质 |
| CN110363124A (zh) * | 2019-07-03 | 2019-10-22 | 广州多益网络股份有限公司 | 基于人脸关键点与几何形变的快速表情识别及应用方法 |
| CN112070058A (zh) * | 2020-09-18 | 2020-12-11 | 深延科技(北京)有限公司 | 人脸面部复合情感表情识别方法及*** |
| US20210000404A1 (en) * | 2019-07-05 | 2021-01-07 | The Penn State Research Foundation | Systems and methods for automated recognition of bodily expression of emotion |
| CN112418095A (zh) * | 2020-11-24 | 2021-02-26 | 华中师范大学 | 一种结合注意力机制的面部表情识别方法及*** |
-
2021
- 2021-04-19 CN CN202110418667.3A patent/CN113076916B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103984919A (zh) * | 2014-04-24 | 2014-08-13 | 上海优思通信科技有限公司 | 基于粗糙集与混合特征的人脸表情识别方法 |
| CN106127156A (zh) * | 2016-06-27 | 2016-11-16 | 上海元趣信息技术有限公司 | 基于声纹和人脸识别的机器人交互方法 |
| CN109034099A (zh) * | 2018-08-14 | 2018-12-18 | 华中师范大学 | 一种表情识别方法及装置 |
| CN109446980A (zh) * | 2018-10-25 | 2019-03-08 | 华中师范大学 | 表情识别方法及装置 |
| CN109522818A (zh) * | 2018-10-29 | 2019-03-26 | 中国科学院深圳先进技术研究院 | 一种表情识别的方法、装置、终端设备及存储介质 |
| CN110363124A (zh) * | 2019-07-03 | 2019-10-22 | 广州多益网络股份有限公司 | 基于人脸关键点与几何形变的快速表情识别及应用方法 |
| US20210000404A1 (en) * | 2019-07-05 | 2021-01-07 | The Penn State Research Foundation | Systems and methods for automated recognition of bodily expression of emotion |
| CN112070058A (zh) * | 2020-09-18 | 2020-12-11 | 深延科技(北京)有限公司 | 人脸面部复合情感表情识别方法及*** |
| CN112418095A (zh) * | 2020-11-24 | 2021-02-26 | 华中师范大学 | 一种结合注意力机制的面部表情识别方法及*** |
Non-Patent Citations (1)
| Title |
|---|
| 杨欢欢: "多特征融合人脸表情识别算法研究", 《中国优秀硕士学位论文全文数据 信息科技辑》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114582002A (zh) * | 2022-04-18 | 2022-06-03 | 华南理工大学 | 一种结合注意力模块与二阶池化机制的人脸表情识别方法 |
| CN116077071A (zh) * | 2023-02-10 | 2023-05-09 | 湖北工业大学 | 一种智能康复按摩方法、机器人及存储介质 |
| CN116077071B (zh) * | 2023-02-10 | 2023-11-17 | 湖北工业大学 | 一种智能康复按摩方法、机器人及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113076916B (zh) | 2023-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110427867B (zh) | 基于残差注意力机制的面部表情识别方法及*** | |
| CN109344701B (zh) | 一种基于Kinect的动态手势识别方法 | |
| CN109344693B (zh) | 一种基于深度学习的人脸多区域融合表情识别方法 | |
| CN110532900B (zh) | 基于U-Net和LS-CNN的人脸表情识别方法 | |
| Zhang et al. | Multimodal learning for facial expression recognition | |
| CN112800903B (zh) | 一种基于时空图卷积神经网络的动态表情识别方法及*** | |
| WO2021139557A1 (zh) | 肖像简笔画生成方法、***及绘画机器人 | |
| CN109657612B (zh) | 一种基于人脸图像特征的质量排序***及其使用方法 | |
| CN108280426B (zh) | 基于迁移学习的暗光源表情识别方法及装置 | |
| González-Hernández et al. | Recognition of learning-centered emotions using a convolutional neural network | |
| CN111666845B (zh) | 基于关键帧采样的小样本深度学习多模态手语识别方法 | |
| CN105335719A (zh) | 活体检测方法及装置 | |
| CN113076916B (zh) | 基于几何特征加权融合的动态人脸表情识别方法及*** | |
| CN111126240A (zh) | 一种三通道特征融合人脸识别方法 | |
| CN112329683A (zh) | 一种基于注意力机制融合的多通道卷积神经网络人脸表情识别方法 | |
| Zhao et al. | Applying contrast-limited adaptive histogram equalization and integral projection for facial feature enhancement and detection | |
| Raut | Facial emotion recognition using machine learning | |
| CN110046544A (zh) | 基于卷积神经网络的数字手势识别方法 | |
| US20070014433A1 (en) | Image processing apparatus and image processing method | |
| CN112633221A (zh) | 一种人脸方向的检测方法及相关装置 | |
| Tautkutė et al. | Classifying and visualizing emotions with emotional DAN | |
| CN110826534A (zh) | 一种基于局部主成分分析的人脸关键点检测方法及*** | |
| CN117333908A (zh) | 基于姿态特征对齐的跨模态行人重识别方法 | |
| CN109766860B (zh) | 基于改进的Adaboost算法的人脸检测方法 | |
| CN109165551B (zh) | 一种自适应加权融合显著性结构张量和lbp特征的表情识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |