CN115205933A - 面部表情识别方法、装置、设备及可读存储介质 - Google Patents

面部表情识别方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN115205933A
CN115205933A CN202210748378.4A CN202210748378A CN115205933A CN 115205933 A CN115205933 A CN 115205933A CN 202210748378 A CN202210748378 A CN 202210748378A CN 115205933 A CN115205933 A CN 115205933A
Authority
CN
China
Prior art keywords
image
facial
face
action unit
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210748378.4A
Other languages
English (en)
Inventor
潘毅
王安瑞
陈维洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Shenzhen Technology University
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Shenzhen Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS, Shenzhen Technology University filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202210748378.4A priority Critical patent/CN115205933A/zh
Publication of CN115205933A publication Critical patent/CN115205933A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请适用于计算机视觉技术领域，提供了面部表情识别方法、装置、终端设备及可读存储介质，方法包括：确定目标人脸图像中人脸上的各个面部动作单元所在的区域图像；根据目标人脸图像确定各个面部动作单元的动作强度；根据各个面部动作单元的强度信息和目标人脸图像，确定面部表情增强图像；将各个面部动作单元对应的区域图像和面部表情增强图像输入到预设的神经网络模型中处理，得到目标人脸图像的表情识别结果。该方法可以有效提高人脸图像的表情识别的准确度。

Description

面部表情识别方法、装置、设备及可读存储介质
技术领域
本申请属于计算机视觉技术领域，尤其涉及面部表情识别方法、装置、设备及可读存储介质。
背景技术
面部表情是人类表达情感和意图的最常见方式之一，基本的面部表情大概包括生气、厌恶、恐惧、开心、伤心、吃惊和中性脸7种。面部表情识别在人机交互方面具有广泛应用，例如疲劳驾驶检测，医疗健康和线上授课等方面。在计算技术视觉领域，通过人脸图像进行面部表情识别成为研究热点。
因此，如何更好地通过人脸图像进行面部表情识别成为亟待解决的技术问题。
发明内容
本申请实施例提供了面部表情识别方法、装置、设备和可读存储介质，可以解决如何有效提高基于人脸图像的表情识别的准确度的问题。
第一方面，本申请实施例提供了一种面部表情识别方法，包括：
确定目标人脸图像中人脸上的各个面部动作单元所在的区域图像；
根据所述目标人脸图像确定各个所述面部动作单元的动作强度；
根据各个所述面部动作单元的所述动作强度和所述目标人脸图像，确定面部表情增强图像；
将各个所述面部动作单元对应的所述区域图像和所述面部表情增强图像输入到预设的神经网络模型中处理，得到所述目标人脸图像的表情识别结果。
在第一方面的一种可能的实现方式中，所述预设的神经网络模型包括局部特征提取模型、全局特征提取模型和分类模型，
所述将各个所述面部动作单元对应的所述区域图像和所述面部表情增强图像输入到预设的神经网络模型中处理，得到所述目标人脸图像的表情识别结果；包括：
将各个所述区域图像分别输入到所述局部特征提取模型中，得到各个所述区域图像对应的局部区域特征；
将所述面部表情增强图像输入到所述全局特征提取模型中，得到所述目标人脸图像对应的全局表情特征；
将各个所述局部区域特征与所述全局表情特征进行融合，得到融合表情特征；
将所述融合表情特征输入到所述分类模型中，获得所述目标人脸图像的表情识别结果。
在第一方面的一种可能的实现方式中，所述局部特征提取模型包括特征提取子模型和特征降维子模型；
所述将各个所述区域图像输入到所述局部特征提取模型中，得到各个所述面部动作单元对应的局部区域特征，包括：
将各个所述区域图像输入到所述特征提取子模型，获得各个所述面部动作单元对应的初始局部区域特征；
将各个所述初始局部区域特征输入到所述特征降维子模型进行特征降维，获得各个所述局部区域特征。
在第一方面的一种可能的实现方式中，所述确定目标人脸图像中人脸上的各个面部动作单元所在的区域图像，包括：
在所述目标人脸图像中识别各个所述面部动作单元的活动中心点；
分别确定以各个所述面部动作单的所述活动中心点为中心的预设像素大小的图像，为各个所述面部动作单元所在的区域图像。
在第一方面的一种可能的实现方式中，所述在所述目标人脸图像中识别各个所述面部动作单元的活动中心点，包括：
在目标人脸图像中识别各个所述面部动作单元对应的人脸关键点；
分别根据各个所述面部动作单元对应的人脸关键点确定各个所述面部动作单元的所述活动中心点。
在第一方面的一种可能的实现方式中，所述分别根据各个所述面部动作单元对应的人脸关键点确定各个所述面部动作单元的所述活动中心点，包括：
获取所述目标人脸图像中的所述人脸的两个内眼角之间的距离值；
根据所述距离值和各个所述面部动作单元对应的人脸关键点，分别确定各个所述面部动作单元的活动中心点。
在第一方面的一种可能的实现方式中，所述根据各个所述面部动作单元的所述动作强度和所述目标人脸图像，确定面部表情增强图像，包括：
根据各个所述面部动作单元的动作强度和活动中心点，生成高斯热图；
将所述高斯热图与所述目标人脸图像进行融合，获得所述面部表情增强图像。
第二方面，本申请实施例提供了一种面部表情识别装置，包括：
区域图像确定单元，用于确定目标人脸图像中人脸上的各个面部动作单元所在的区域图像；
动作强度确定单元，用于根据所述目标人脸图像确定各个所述面部动作单元的动作强度；
表情增强单元，用于根据各个所述面部动作单元的所述动作强度和所述目标人脸图像，确定面部表情增强图像；
表情识别单元，用于将各个所述面部动作单元对应的所述区域图像和所述面部表情增强图像输入到预设的神经网络模型中处理，得到所述目标人脸图像的表情识别结果。
第三方面，本申请实施例提供了一种面部表情识别设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在数据处理设备上运行时，使得数据处理设备执行上述第一方面中任一项所述的方法。
基于上述第一方面所述的方法，通过将包括面部动作单元的动作强度和目标人脸图像的面部表情增强图像，与目标人脸图像中的各个面部动作单元的区域图像，输入到预设的神经网络模型中，从而获得目标人脸图像的表情识别结果；该方法将面部动作单元的动作强度融合到表情识别中，充分利用了面部动作单元的动作强度中所包括含的丰富信息，从而提高了人脸图像面部表情识别的准确度。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面所述的方法的有益效果的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的面部表情识别方法的流程示意图；
图2为本申请一实施例中的68个人脸关键点的分布示意图；
图3为本申请一实施例中计算出的15个面部动作单元的活动中心在人脸图像中的大***置的示意图；
图4为本申请一实施例提供的神经网络模型的结构示意图；
图5为本申请一实施例提供的神经网络模型在RaFD数据集上的实验结果图；
图6为本申请一实施例提供的神经网络模型在Oulu-CASIA数据集上的实验结果图；
图7为本申请一实施例提供的面部表情识别装置的结构框图；
图8为本申请一实施例提供的面部表情识别设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
首先对本申请中的名词进行解释说明：
面部动作单元(action unit，AU)：是人脸上特定位置肌肉运动的外观表示。关于AU首次表述出现在1978年美国心理学家Ekman从面部解剖学角度首次提出的面部运动编码***(facial action coding system，FACS)中。FACS定义了44个AU，并具体定义了每个AU的作用区域、运动表观特征以及各种表情的AU构成。每个AU均表示一种具有特定语义的脸部肌肉运动，如AU1表示眉毛内角提升运动，AU2表示眉毛外角提升，AU4表示眉毛聚拢并下压，AU9表示皱鼻，AU25表示嘴唇张开等。不同的面部表情可以通过不同的AU的组合来表示，例如生气可以由AU4(眉毛聚拢并下压)、AU9(皱鼻)和AU25(嘴唇张开)的组合进行表示，微笑可以由AU12(嘴角拉升)和AU6(脸颊提升)的组合进行表示等。
人脸检测：具体是指给定一张图片，输出图片中人脸的大***置。例如，可以使用矩形框标记图片中出有人脸的区域，并给出矩形框位置信息；根据位置信息确定出图片中的人脸区域。其中矩形框的位置信息可以包括的矩形框左上角坐标与右下角坐标，或者矩形框左上角坐标与矩形框的长宽。
人脸对齐：是指把所有图像上的人脸映射到一个统一的坐标系上。例如可以包括以下步骤：获取人脸关键点的坐标；通过仿射变换来进行人脸对齐。期或其中，人脸关键点可以选择左右眼中心、鼻尖和左右嘴角。
仿射变换：是指在几何空间中，一个向量空间通过一次线性变换和一次平移操作之后，变换成另一个向量空间。实施例中通过将不同的人脸图像经过仿射变换后，可以变换到一个统一的向量空间中。
本申请提供一种面部表情识别方法，通过将包括面部动作单元的动作强度和目标人脸图像的面部表情增强图像，与目标人脸图像中的各个面部动作单元的区域图像，输入到预设的神经网络模型中，从而获得目标人脸图像的表情识别结果；该方法将面部动作单元的动作强度融合到表情识别中，充分利用了面部动作单元的动作强度中所包括含的丰富信息，从而提高了人脸图像面部表情识别的准确度。
下面结合具体实施例，对本申请提供的面部表情识别方法进行示例性的说明。
图1示出了本申请提供的面部表情识别方法的流程示意图，参见图1，该方法包括：
步骤S110，确定目标人脸图像中人脸上的各个面部动作单元所在的区域图像。
实施例中，目标人脸图像指的是待进行表情识别的包括人脸的图像，该目标人脸图像可以为实时拍摄的人脸图像、预先存储的人脸图像或者互联网中获取的人脸图像等。
可选的，目标人脸图像为对原始图像进行预处理后得到的图像，具体的预处理过程包括：对原始图像进行人脸检测，获得所述原始图像的人脸区域，所述人脸区域中包括完整人脸；对所述人脸区域进行人脸对齐操作，并将裁剪为预设大小，获得所述目标人脸图像。对于原始图像进行人脸检测和人脸对齐操作，可以避免图像差异(例如不同图像的尺寸大小不一、不同图像上的人脸区域大小不相同以及不同图像上的人脸的旋转角度不同)给表情识别结果所带来的不利影响，保证表情识别结果的稳定性。
实施例中，目标人脸图像中的面部动作单元即为FACS所定义的面部动作单元。为了提高运算效率，可以选用FACS定义的44个面部动作单元中的部分面部动作单元来进行面部表情的识别。例如，在一个实施例中选取15个面部动作单元进行表情识别，15个面部动作单元分别为AU1(眉毛内角提升)、AU2(眉毛外角提升)、AU4(眉毛聚拢并下压)、AU5(上眼睑提升)、AU6(脸颊提升)、AU7(眼睑收紧)、AU9(皱鼻)、AU10(上嘴唇提升)、AU12(嘴角拉升)、AU15(嘴角下拉)、AU17(下巴提升)、AU20(嘴角拉伸)、AU23(嘴唇收紧)、AU25(嘴唇分开)和AU26(下巴下降)。
实施例中，各个面部动作单元所在的区域图像指的是目标人脸图像中对应面部动作单元的感兴趣区域图像。
可选的，确定各个区域图像的方法可以为：在目标人脸图像中识别各个面部动作单元的活动中心点；分别确定以各个面部动作单的活动中心点为中心的预设像素大小的图像，为各个所述面部动作单元所在的区域图像。其中，预设像素大小可以根据需要来设置，例如在一个实施例中预设像素大小为20*20个像素点，即每个区域图像的大小为20*20个像素点。
上述方法中通过活动中心点来进行区域图像的裁剪，使得得到的区域图像可以很好的代表对应的面部动作单元，进而保证表情识别的准确性。
可以理解的是，活动中心点为对应面部动作单元中动作强度最大的点，由于人面部一般是关于人脸中线对称的，每个面部动作单元的动作强度和位置也是关于中线对称的，因此为每个面部动作单元定义两个活动中心点，同一个面部动作单元的两个活动中心点关于人脸中线对称。相应的，每个面部动作单元对应两个区域图像，两个区域图像关于人脸中线对称。
示例性的，获取各个面部动作单元的活动中心的方法可以包括以下步骤：
(1)在目标人脸图像中识别各个面部动作单元对应的人脸关键点。
(2)分别根据各个面部动作单元对应的人脸关键点确定各个面部动作单元的活动中心点。
实施例中，人脸关键点检测具体是指在目标人脸图像中定位出人脸面部的关键特征点。其中关键特征点为对应的人脸的眉毛、眼睛、鼻子、嘴巴以及人脸部轮等在人脸图像中的定位点。获得的人脸关键点具体来说为目标人脸图像中的各个关键特征点的坐标值。
在获得各个面部动作单元对应的人脸关键点之前，需要首先确定目标人脸图像上的所有人脸关键点，例如可以为N个人脸关键点，其中N的大小可以根据需要来确定，例如N可以为21、29、68、96、98、106、108等。本领域技术人员可以采用采用已有的各种人脸关键点检测技术来获得不同数量的人脸关键点，在此不再赘述。
例如，在一个实施例中，人脸关键点的预设数量为68，用于获取68个人脸关键点的人脸关键点检测技术可以为Openface 2.0工具箱、seetaFace6.0或Dlib库等。
图2为本申请一实施例中采用Openface 2.0工具箱获得的68个人脸关键点在人脸图像上的分布示意图，其中数字标号为人脸关键点的序号，*指示人脸关键点的位置。
实施例中，人脸关键点分布在整个目标人脸图像上，可以分别利用与各个面部动作单元对应的人脸关键点来确定各个面部动作单元的活动中心点。
为了保证面部动作单元的活动中心点的坐标值的准确计算，可以确定人脸关键点中的位置稳定的人脸关键点作为各个面部动作单元对应的人脸关键点，进而确定各个面部动作单元的活动中心点。其中位置稳定的人脸关键点指的是不随着人脸表情的变化而产生坐标变化的人脸关键点。
下面，以图2中的68个人脸关键点为例对位置稳定的人脸关键点进行说明，如图2所示，其中用于标注内眼角的40号和43号人脸关键点，用于标注外眼角的37号和46号，位于人脸图像中线上的28号、31号和9号等人脸关键点为位置稳定的人脸关键点。
为了消除不同人脸图像中人脸的大小差异，在一个可选的实施例中，采用目标人脸图像中的两个内眼角之间的距离d作为缩放距离，通过位置稳定的人脸关键点的坐标和缩放距离之间的计算获取与人脸关键点对应的面部动作单元的活动中心点。
示例性的，各个面部动作单元对应的活动中心点具体根据以下方法获得：获取目标人脸图像中的人脸区域上的两个内眼角之间的距离值；根据各个面部动作单元对应的人脸关键点和距离值，确定各个所述面部动作单元对应的活动中心点。具体来说，可以通过将各个面部动作单元对应的人脸关键点和距离值，代入预设计算公式，获得各个面部动作单元对应的活动中心点，
在一个实施例中，使用目标人脸图像中的15个面部动作单元来进行面部表情识别，人脸关键点的个数为68；内眼角之间的距离值为d，15个面部动作单元的运动中心根据表1中的公式进行计算获得。
表1
Figure BDA0003720298980000101
Figure BDA0003720298980000111
表1展示了每个面部动作单元的运动中心点的位值计算公式。每个面部动作单元分为左右两个部分，序号表示定义的每个面部动作单元AU的编号，AU表示相应的FACS中的面部动作单元的编码，x和y分别表示相应序号上人脸关键点的坐标，d表示两个内眼角的欧几里得距离。图3为本申请一个实施例中计算出的15个面部动作单元的活动中心在人脸图像中的大***置的示意图。
步骤S120，根据目标人脸图像确定各个面部动作单元的动作强度。
实施例中，可以采用现有技术中任何可用的面部动作单元强度估计算法来获取目标人脸图像上各个面部动作单元的动作强度。例如可以采用Openface 2.0来对目标人脸图像上的各个面部动作单元的动作强度。
示例性的，面部动作单元的动作强度可以以强度值来表示，强度值的等级分为6级(强度值的取值范围从0到5，强度值的取值越大说明对应面部动作单元的动作强度越高)。
步骤S130、根据各个面部动作单元的动作强度和目标人脸图像，确定面部表情增强图像。
实施例中，面部表情增强图像是将各个面部动作单元的动作强度融合到目标人脸图像上获得的。
在一个实施例中，获得面部表情增强图像的方法包括：根据各个面部动作单元的动作强度和活动中心点，生成高斯热图；将高斯热图与目标人脸图像进行融合，获得面部表情增强图像。
示例性的，获得面部表情增强图像的方法，具体可以包括以下步骤：
(1)获取各个面部动作单元对应的多个第二像素点高斯函数值；第二像素点为目标人脸图像上，以各个活动中心点为中心、以第一预设数量的像素点为边长的方形内的像素点。
(2)获得各个高斯函数值与对应的面部动作单元的动作强度的强度值的乘积。
示例性的，高斯函数值与对应的面部动作单元的动作强度的强度值的乘积，根据下式获得：
Figure BDA0003720298980000121
其中，g(m)表示第二像素点m的高斯函数值与强度值的乘积，λ表示一个常量系数，I表示面部动作单元的动作强度的强度值，σ是一个标准差系数，pi表示与第二像素点对应的第i个活动中心点，
Figure BDA0003720298980000122
表示第二像素点m和活动中心点pi的欧几里得距离。
(3)将初始模板图上与各个第二像素点对应的像素点进行赋值，得到高斯热图；其中初始模板图与目标人脸图像大小相同且每个像素的值均为0。
(4)将高斯热图与目标人脸图像进行融合，获得面部表情增强图像。
示例性的，目标人脸图像为RGB三通道彩色图像，三个通道即为三个二维数组；为了实现高斯热图和目标人脸图像的融合，高斯热图可以绘制在三通道模板图上，具体来说包括：首先建立与目标人脸图像大小相同的初始二维数组，初始二维数组中每个值均默认为0；获取目标人脸图像中的各个第二像素点高斯函数值与对应的面部动作单元的动作强度的强度值的乘积；将各个乘积赋值给初始二维数组中与第二像素点对应的点赋值，获得目标二维数组；将目标二维数据复制两次，得到包括三个目标二维数组；将三个目标二维数组与目标人脸图像的三个通道的数组相乘，获得面部表情增强图像。
示例性的，面部表情增强图像上在各个活动中心点对应的第二像素点，与活动中心点的距离小相应的高斯值越大，当对应面部动作单元的强度值不是0的情况下，该第二像素点在高斯热图上对应的值越大，即将第二像素点与对应活动中心点的距离的变化趋势转化为高斯热图上的对应值的变化趋势，从而使得虽然一个面部动作单元只对应一个强度值，通过高斯函数值来对不同的第二像素点赋予不同的值，从而准确体现不同第二像素点在面部动作单元强度上的差异性。从而充分挖掘面部动作单元的强度值所包含的丰富信息，提高表情识别的准确度。
步骤S140，将各个面部动作单元对应的区域图像和面部表情增强图像输入到预设的神经网络模型中处理，得到目标人脸图像的表情识别结果。
实施例中，预设的神经网络模型可以为深度神经网络模型，深度神经网络模型对各个区域图像和面部表情增强图像进行特征提取和表情识别分类。
可选的，深度神经网络模型可以为卷积神经网络(CNN)模型、图神经网络模型或生成对抗网络(GAN)模型。
可选的，卷积神经网络模型可以为金字塔模式网络模型、Unet网络模型、VGG网络模型(例如VGG16网络模型)、ResNet残差网络模型或卷积自动编码器。
上述实施例中，通过将目标人脸图像中的各个面部动作单元的区域图像和面部表情增强图像，输入到预设的神经网络模型中，从而获得目标人脸图像的表情识别结果；该方法将面部动作单元的强度信息融合到表情识别中，充分利用了面部动作单元的强度信息中所包括含的丰富信息，从而提高了人脸图像面部表情识别的准确度。
在一个实施例中，预设的神经网络模型是有多个模型组成的网络模型，例如预设的神经网络模型可以包括局部特征提取模型、全局特征提取模型和分类模型，步骤S104包括：
(1)将各个区域图像分别输入到局部特征提取模型中，得到各个区域图像对应的局部区域特征。
实施例中，各个区域图像对应的局部区域特征代表了对应的面部动作单元的图像特征。可选的，其中局部特征提取模型为卷积神经网络模型。
在一个实施例中，局部特征提取模型包括特征提取子模型和特征降维子模型，获取各个面部动作单元对应的局部区域特征的过程包括：将各个区域图像输入到特征提取子模型，获得各个面部动作单元对应的初始局部区域特征；将各个初始局部区域特征输入到特征降维子模型进行特征降维，获得各个局部区域特征。由于目标人脸图像上有多个面部动作单元，如果直接考虑每个面部动作单元的局部区域特征将会大致输入特征的维度较大，从而容易导致神经网络的过拟合。通过特征降维子模型对初始局部区域特征进行降维，避免过拟合现象的产生。
示例性的，特征提取子模型包括5个卷积层，每一个卷积层包括一个卷积核是3、步长是2、填充是1的二维卷积操作、批量归一化和激活函数；特征降维子模型包括4个卷积层，每一个卷积层包括一个卷积核是1、步长是1、填充是0的二维卷积操作、批量归一化和激活函数。其中激活函数可以为LeakReLU激活函数、sigmoid激活函数、tanh激活函数等。优选的，采用LeakReLU激活函数。
在一个实施例中，特征提取子模型的第一卷积层的输入是3通道，输出是64通道；第二卷积层的输入是64通道，输出是128通道；第三卷积层的输入是128通道，输出是256通道；第四卷积层的输入是256通道，输出是512通道；第五卷积层输入是512通道，输出是1024通道。特征降维子模型的第一卷积层的输入是1024通道，输出是512通道；第二卷积层的输入是512通道，输出是256通道；第三卷积层的输入是256通道，输出是128通道；第四卷积层输入是128通道，输出是64通道。
(2)将面部表情增强图像输入到全局特征提取模型中，得到目标人脸图像对应的全局表情特征。
实施例中，由于面部表情增强图像中融合了各个面部动作单元的强度值，因此对面部表情增强图像进行特征提取获得的全局表情特征为包含了面部动作单元的强度值的特征。
在一个实施例中，全局特征提取模型为卷积神经网络模型。
示例性的，全局特征提取模型可以包括7个卷积层，每一个卷积层包括一个卷积核是4、步长是2、填充是1的二维卷积操作、批量归一化和激活函数。其中激活函数可以为LeakReLU激活函数、sigmoid激活函数、tanh激活函数等。优选的，激活函数为LeakReLU激活函数。
在一个实施例中，全局特征提取模型在第一卷积层之前还有一个批量归一化操作。其中，第一卷积层的输入是3通道，输出是64通道；第二卷积层的输入是64通道，输出是128通道；第三卷积层的输入是128通道，输出是256通道；第四卷积层的输入是256通道，输出是512通道；第五卷积层的输入是512通道，输出是1024通道；第六卷积层输入的是1024通道，输出是2048通道；第七卷积层的输入是2048通道，输出是4096通道。
(3)将各个局部区域特征与全局表情特征进行融合，得到融合表情特征。
实施例中，特征融合的方法可以为特征拼接、特征求和(均值、pooling、加权求和)以及特征之间对应元素相乘等。
假设，两个输入特征x和特征y的维数分别为p和q；如果可以直接将两个特征进行连接，融合特征z的维数为p+q；如果采用将两个特征组合成复合向量，融合特征的维数为p+qi,，其中i表示是虚数。
示例性的，特征融合方法可以包括以下步骤：将全局表情特征拉伸为一行数据；将各个局部区域特征拉伸为一行数据；然后将各个局部区域特征对对应的数据放在全局表情特征的后面形成新的一行数据，形成新的一行数据即为融合表情特征。
实施例中，预设的分类模型用于根据输入的融合表情特征进行处理，输出目标人脸图像的表情识别结果，表情识别结果可以为任意表情预设的表情类型的任一类型。例如可以为生气、厌恶、恐惧、开心、伤心、吃惊和中性脸中任一表情。
(4)将融合表情特征输入到分类模型中，获得目标人脸图像的表情识别结果。
在一个实施例中，分类模型为全连接神经网络分类模型，例如可以为多层感知机模型。具体的，分类模型可以为三层感知机模型，每一层为一个线性全连接层。
上述方法中，通过从目标人脸图像中提取各个面部动作单元的局部区域特征；从面部表情增强图像提取全局表情特征；并将各个局部区域特征与全局表情特征进行融合，得到融合表情特征，并将融合表情特征输入到预设的分类模型中，获得目标人脸图像的表情识别结果。该方法将包括面部动作单元的强度信息的全局表情特征与各个局部区域特征进行融合，进而实现人脸图像的面部表情识别，充分利用了面部动作单元的强度信息，从而提高了人脸图像面部表情识别的准确度。
在一个实施例中，预设的神经网络模型均为基于pytorch框架来搭建的。图4为本申请一实施例提供的神经网络模型的结构示意图，该神经网络模型为卷积自动编码器。如图4所示，其中AU-RoI代表局部特征提取模型中的特征提取子模型，用来提取各个面部动作单元的初始局部区域特征，FD代表局部特征提取模型中的特征降维子模型，对初始局部区域特征进行降维获得各个局部区域特征；AUI-E代表全局特征提取模型，用于从面部表情增强图像提取全局表情特征；FC代表分类模型，用于根据各个局部区域特征和全局表情特征的融合特征，对目标人脸图像的表情进行分类。
其中，AU-RoI部分的输入是每个面部动作单元的感兴趣区域图像，大小为20*20，输出是各个面部动作单元的局部区域特征。AUI-E的输入是使用面部动作单元增强后的面部表情增强图像，输出是增强后的全局表情特征，FC的输入是各个局部区域特征和全局表情特征的融合特征，输出是一个一维的矩阵，矩阵长度与表情类别个数相同(例如个数可以为6或7等)，最后通过softmax函数选出矩阵中值最大的标签作为结果，该结果对应表情标签。
实施例中，预设的神经网络模型的训练参数包括：epoch是10，批量大小是16，初始学习率设置为0.001。优化器是随机梯度下降方法，衰减权重是0.0001，动量设置为0.9。
为了证明本申请实施例中的表情识别方法的有效性，利用图6所示的神经网络模型，在RAFD和Oulu-Casia两个数据集上进行了验证。
其中，RAFD是一个由67名受试者在实验室控制环境下拍摄的面部表情数据集。该数据集记录了每个受试者的5种角度的面部姿势，3种眼睛凝视方向和八种表情。它总共包含8056张高分辨率图片。在我们的实验中，我们只选择了七种表情(不包含蔑视)的正向面部图像。在RAFD数据集上，我们总共使用了1407个实验样本。具体地说，我们使用了67个受试者的3个凝视方向的7个表情。
Oulu-Casia数据集包含从80个受试者收集的480个视频序列，每个视频序列是由受试者从中性表情到六个基本表情的一种。该数据集采用近红外(NIR)和可见光(VIS)两种成像***捕获三种不同的光照条件下的面部表情。我们的实验只使用了VIS***在正常室内光照下收集的每个序列的最后三帧和第一帧的中性表情。因此，Oulu-Casia数据库包含了1440张用于我们的实验的面部图像。
在两个数据集上进行了10折交叉验证，具体来说将一个数据集中的所有可用图片平均分成10份，每次9份用来训练神经网络模型，1份用来测试神经网络模型，在每个数据集上分别进行10次模型训练和模型测试，最后求10次准确率的平均值作为评价指标。例如：RaFD数据集有1400张图片，分成10份，每份约是140张图像，其中9份(9*140)用来训练模型，剩下一份用来测试模型，进行10次，每次的输入到模型中的测试图像是不一样的，这样使得获得的模型更具有鲁棒性。
图5和图6分别为本申请实施例中神经网络模型在RaFD和Oulu-CASIA这两个数据集上的实验结果，实验结果图中展示的是实验得到的混淆矩阵，矩阵中每种不同的表情被识别成了哪种表情，如果某种表情全都被识别正确则在对应的位置显示100％。在RaFD数据集上进行7种表情(生气、厌恶、恐惧、开心、伤心、吃惊和中性脸)实验，本申请实施例中的模型的表情识别准确率达到了99.79％；在Oulu-CASIA数据集进行了6种表情识别(生气、厌恶、恐惧、开心、伤心和吃惊)，的表情识别准确率准确达到了100％。
另外，还将本申请实施例中的实验结果与现有的公开文件中的实验结果进行对比，对比结果如表2和表3所示。
表2
模型 准确度(％)
k最近邻算法(KNN)模型 94.60
极限学习机(ELM)模型 98.65
判别式深度关联学习(DDAL)模型 94.63
二分支解缠生成对抗网络(TDGAN)模型 99.32
扩展的迷你表情识别网络(Extebded MiniExpNet)模型 96.12
本申请模型 99.79
表3
Figure BDA0003720298980000191
其中表2为本申请实施例中的模型与其他模型在RaFD数据集上进行7种表情识别的比较结果。表3为本申请实施例中的模型与其他模型在RaFD数据集上进行7种表情识别的比较结果。由表2和表3可知，基于本申请实施例中的面部表情识别方法的神经网络模型，在两个数据集中的表现优于其他网络模型，从而说明了本申请实施例中的面部表情识别方法的优越性。
综上所述，与现有技术相比本申请实施例中的面部表情识别方法，具有以下技术效果：
(1)将面部动作单元的动作强度融合到表情识别中，充分利用了面部动作单元的动作强度中所包括含的丰富信息，从而提高了人脸图像面部表情识别的准确度。
(2)神经网络模型包括局部特征提取模型和全局特征提取模型，使得局部区域特征的提取和全局表情特征的提取步骤有一定的独立性，使得得到的各个特征保留各自特点；最终局部区域特征和全局表情特征融合后输入分类模型，使得表情识别结果充分考虑两种不同的特征，保证表情识别的准确度。
(3)局部特征提取模型包括特征提取子模型和特征降维子模型，使得在提取局部区域特征的同时可以对得到的局部区域特征进行降维，从而避免过拟合现象的产生。
(4)通过各个面部动作单元的活动中心点来确定各个区域图像，使得得到的区域图像与各个面部动作单元对应性更强，进而保证各个区域图像可以准确表征对应的面部动作单元。
(5)通过人脸关键点来确定各个面部动作单元的活动中心点，方法简单有效。
(6)通过内眼角的距离作为参照来对对应目标人脸图像中的人脸进行缩放，将活动中心点的位置通过内眼角距离和人脸关键点的计算来得到，避免了不同脸型对面部动作单元中心点位置的影响，提高了计算的结果的通用性。
(7)通过高斯热图的方式将面部动作单元的强度融合到目标人脸图像上，方法简便有效。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的表情识别方法，图7示出了本申请实施例提供的面部表情识别装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图7，面部表情识别装置700包括：区域图像确定单元701、动作强度确定单元702、表情增强单元703和表情识别单元704：
区域图像确定单元701，用于确定目标人脸图像中人脸上的各个面部动作单元所在的区域图像；
动作强度确定单元702，用于根据所述目标人脸图像确定各个所述面部动作单元的动作强度；
表情增强单元703，用于根据各个所述面部动作单元的所述动作强度和所述目标人脸图像，确定面部表情增强图像；
表情识别单元704，用于将各个面部动作单元对应的区域图像和面部表情增强图像输入到预设的神经网络模型中处理，得到目标人脸图像的表情识别结果。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
基于同一发明构思，本申请一实施例还提供一种表情识别设备，如图8所示，该实施例的面部表情识别设备800包括：处理器801、存储器802以及存储在存储器802中并可在处理器801上运行的计算机程序804。计算机程序804可被处理器801运行，生成指令803，处理器801可根据指令803实现上述各个表情识别方法实施例中的步骤。或者，处理器801执行计算机程序804时实现上述各装置实施例中各模块/单元的功能，例如图7所示的区域图像确定单元701至表情识别单元704的功能。
所述面部表情识别设备800可以是终端设备。例如可以为移动终端、桌上型计算机、笔记本、掌上电脑等。该面部表情识别设备可包括，但不仅限于，处理器801、存储器802。本领域技术人员可以理解，图8仅仅是面部表情识别设备800的举例，并不构成对面部表情识别设备800的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器801可以是中央处理单元(Central Processing Unit，CPU)，该处理器801还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器802在一些实施例中可以是所述面部表情识别设备800的内部存储单元，例如面部表情识别设备800的硬盘或内存。所述存储器802在另一些实施例中也可以是所述面部表情识别设备800的外部存储设备，例如所述面部表情识别设备800上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器802还可以既包括所述面部表情识别设备800的内部存储单元也包括外部存储设备。所述存储器802用于存储操作***、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器802还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种网络设备，该网络设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在数据处理设备上运行时，使得数据处理设备执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到装置/数据处理设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种面部表情识别方法，其特征在于，包括：
确定目标人脸图像中人脸上的各个面部动作单元所在的区域图像；
根据所述目标人脸图像确定各个所述面部动作单元的动作强度；
根据各个所述面部动作单元的所述动作强度和所述目标人脸图像，确定面部表情增强图像；
将各个所述面部动作单元对应的所述区域图像和所述面部表情增强图像输入到预设的神经网络模型中处理，得到所述目标人脸图像的表情识别结果。
2.如权利要求1所述的方法，其特征在于，所述预设的神经网络模型包括局部特征提取模型、全局特征提取模型和分类模型，
所述将各个所述面部动作单元对应的所述区域图像和所述面部表情增强图像输入到预设的神经网络模型中处理，得到所述目标人脸图像的表情识别结果；包括：
将各个所述区域图像分别输入到所述局部特征提取模型中，得到各个所述区域图像对应的局部区域特征；
将所述面部表情增强图像输入到所述全局特征提取模型中，得到所述目标人脸图像对应的全局表情特征；
将各个所述局部区域特征与所述全局表情特征进行融合，得到融合表情特征；
将所述融合表情特征输入到所述分类模型中，获得所述目标人脸图像的表情识别结果。
3.如权利要求2所述的方法，其特征在于，所述局部特征提取模型包括特征提取子模型和特征降维子模型；
所述将各个所述区域图像输入到所述局部特征提取模型中，得到各个所述面部动作单元对应的局部区域特征，包括：
将各个所述区域图像输入到所述特征提取子模型，获得各个所述面部动作单元对应的初始局部区域特征；
将各个所述初始局部区域特征输入到所述特征降维子模型进行特征降维，获得各个所述局部区域特征。
4.如权利要求1所述的方法，其特征在于，所述确定目标人脸图像中人脸上的各个面部动作单元所在的区域图像，包括：
在所述目标人脸图像中识别各个所述面部动作单元的活动中心点；
分别确定以各个所述面部动作单的所述活动中心点为中心的预设像素大小的图像，为各个所述面部动作单元所在的区域图像。
5.如权利要求4所述的方法，其特征在于，所述在所述目标人脸图像中识别各个所述面部动作单元的活动中心点，包括：
在目标人脸图像中识别各个所述面部动作单元对应的人脸关键点；
分别根据各个所述面部动作单元对应的人脸关键点确定各个所述面部动作单元的所述活动中心点。
6.如权利要求5所述的方法，其特征在于，所述分别根据各个所述面部动作单元对应的人脸关键点确定各个所述面部动作单元的所述活动中心点，包括：
获取所述目标人脸图像中的所述人脸的两个内眼角之间的距离值；
根据所述距离值和各个所述面部动作单元对应的人脸关键点，分别确定各个所述面部动作单元的活动中心点。
7.如权利要求4至6任一项所述的方法，其特征在于，所述根据各个所述面部动作单元的所述动作强度和所述目标人脸图像，确定面部表情增强图像，包括：
根据各个所述面部动作单元的动作强度和活动中心点，生成高斯热图；
将所述高斯热图与所述目标人脸图像进行融合，获得所述面部表情增强图像。
8.一种面部表情识别装置，其特征在于，包括：
区域图像确定单元，用于确定目标人脸图像中人脸上的各个面部动作单元所在的区域图像；
动作强度确定单元，用于根据所述目标人脸图像确定各个所述面部动作单元的动作强度；
表情增强单元，用于根据各个所述面部动作单元的所述动作强度和所述目标人脸图像，确定面部表情增强图像；
表情识别单元，用于将各个所述面部动作单元对应的所述区域图像和所述面部表情增强图像输入到预设的神经网络模型中处理，得到所述目标人脸图像的表情识别结果。
9.一种面部表情识别设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
CN202210748378.4A 2022-06-29 2022-06-29 面部表情识别方法、装置、设备及可读存储介质 Pending CN115205933A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210748378.4A CN115205933A (zh) 2022-06-29 2022-06-29 面部表情识别方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210748378.4A CN115205933A (zh) 2022-06-29 2022-06-29 面部表情识别方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN115205933A true CN115205933A (zh) 2022-10-18

Family

ID=83578036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210748378.4A Pending CN115205933A (zh) 2022-06-29 2022-06-29 面部表情识别方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN115205933A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797523A (zh) * 2023-01-05 2023-03-14 武汉创研时代科技有限公司 一种基于人脸动作捕捉技术的虚拟角色处理***及方法
CN115946150A (zh) * 2022-12-13 2023-04-11 深圳无芯科技有限公司 具有面部表情的头部结构及具有其的机器人

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115946150A (zh) * 2022-12-13 2023-04-11 深圳无芯科技有限公司 具有面部表情的头部结构及具有其的机器人
CN115946150B (zh) * 2022-12-13 2023-11-14 深圳无芯科技有限公司 具有面部表情的头部结构及具有其的机器人
CN115797523A (zh) * 2023-01-05 2023-03-14 武汉创研时代科技有限公司 一种基于人脸动作捕捉技术的虚拟角色处理***及方法

Similar Documents

Publication Publication Date Title
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN112800903B (zh) 一种基于时空图卷积神经网络的动态表情识别方法及***
Murtaza et al. Analysis of face recognition under varying facial expression: a survey.
CN106897675A (zh) 双目视觉深度特征与表观特征相结合的人脸活体检测方法
Elforaici et al. Posture recognition using an RGB-D camera: exploring 3D body modeling and deep learning approaches
CN110555481A (zh) 一种人像风格识别方法、装置和计算机可读存储介质
Houshmand et al. Facial expression recognition under partial occlusion from virtual reality headsets based on transfer learning
CN108830237B (zh) 一种人脸表情的识别方法
JP6207210B2 (ja) 情報処理装置およびその方法
CN115205933A (zh) 面部表情识别方法、装置、设备及可读存储介质
CN111062328B (zh) 一种图像处理方法、装置及智能机器人
Mirehi et al. Hand gesture recognition using topological features
CN111783748A (zh) 人脸识别方法、装置、电子设备及存储介质
CN111680550B (zh) 情感信息识别方法、装置、存储介质及计算机设备
CN110909680A (zh) 人脸图像的表情识别方法、装置、电子设备及存储介质
CN113570684A (zh) 图像处理方法、装置、计算机设备和存储介质
Lee et al. Head and body orientation estimation using convolutional random projection forests
CN112836680A (zh) 一种基于视觉的人脸表情识别方法
CN115862120B (zh) 可分离变分自编码器解耦的面部动作单元识别方法及设备
Dar et al. Efficient-SwishNet based system for facial emotion recognition
CN112906520A (zh) 一种基于姿态编码的动作识别方法及装置
CN107194364B (zh) 一种基于分治策略的Huffman-LBP多姿态人脸识别方法
Kwolek et al. Recognition of JSL fingerspelling using deep convolutional neural networks
WO2024000233A1 (zh) 面部表情识别方法、装置、设备及可读存储介质
Zhang et al. Biometric recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination