CN112801002A - 基于复杂场景下的人脸表情识别方法、装置及电子设备 - Google Patents

基于复杂场景下的人脸表情识别方法、装置及电子设备 Download PDF

Info

Publication number
CN112801002A
CN112801002A CN202110162293.3A CN202110162293A CN112801002A CN 112801002 A CN112801002 A CN 112801002A CN 202110162293 A CN202110162293 A CN 202110162293A CN 112801002 A CN112801002 A CN 112801002A
Authority
CN
China
Prior art keywords
recognized
face
image
facial expression
facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110162293.3A
Other languages
English (en)
Inventor
刘志欣
刘富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heilongjiang Xunrui Technology Co ltd
Original Assignee
Heilongjiang Xunrui Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heilongjiang Xunrui Technology Co ltd filed Critical Heilongjiang Xunrui Technology Co ltd
Priority to CN202110162293.3A priority Critical patent/CN112801002A/zh
Publication of CN112801002A publication Critical patent/CN112801002A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于复杂场景下的人脸表情识别方法、装置及电子设备，具体涉及人脸识别技术领域。其中该方法包括：获取待识别人脸图像；基于待识别人脸图像进行图像灰度化处理，获得待识别人脸灰度图像；根据待识别人脸灰度图像进行边缘检测，获得待识别人脸灰度图像中至少一个待识别人脸的边缘轮廓；基于至少一个待识别人脸的边缘轮廓对应设置至少一个人脸表情识别窗口；利用多个人脸识别窗口对待识别人脸图像中的人脸表情进行识别，从而使人脸表情识别能够灵活适应复杂场景同时通过设置人脸表情识别窗口使其能够对人脸图像中的每张人脸信息进行识别，从而实现对人脸图像中的多个人脸表情进行准确识别。

Description

基于复杂场景下的人脸表情识别方法、装置及电子设备
技术领域
本发明涉及人脸识别技术领域，具体涉及一种基于复杂场景下的人脸表情识别方法及装置、电子设备。
背景技术
随着计算机软硬件技术的进步，人脸识别也从单一的人脸五官面部识别进入了人脸面部表情识别，但对于现阶段的面部表情识别来说虽能够进行人脸表情识别，但由于在人员较多的复杂场景下，比如说学校、机场和车站等场合，每个人脸面部之间存在个体间的面部表情差异或是每个面部图像都会受到在进行面部识别过程中的环境、灯光位置、遮挡等背景条件的影响，而无法对人脸图像中的多个人脸表情进行准确识别。
发明内容
有鉴于此，本发明实施例提供了一种基于复杂场景下的人脸表情识别方法及装置、电子设备，以解决无法对人脸图像中的多个人脸表情进行准确识别的问题。
根据第一方面，本发明实施例提供了一种基于复杂场景下的人脸表情识别方法，包括：获取待识别人脸图像；其中，所述待识别人脸图像包括至少一个待识别人脸；基于所述待识别人脸图像进行图像灰度化处理，获得待识别人脸灰度图像；根据所述待识别人脸灰度图像进行边缘检测，获得待识别人脸灰度图像中所述至少一个待识别人脸的边缘轮廓；基于所述至少一个待识别人脸的边缘轮廓对应设置至少一个人脸表情识别窗口；利用所述至少一个人脸表情识别窗口对待识别人脸图像中的人脸进行人脸表情识别。
在本实施例中，通过获取待识别人脸图像，将待识别人脸图像进行图像灰度化处理，以突出人脸图像中的人脸边缘轮廓，之后对人脸图像中所检测到的每个人脸边缘轮廓设置人脸表情识别窗口，利用多个人脸识别窗口对待识别人脸图像中的人脸表情进行识别，从而使人脸表情识别能够灵活适应复杂场景同时通过设置人脸表情识别窗口使其能够对人脸图像中的每张人脸信息进行识别，从而实现对人脸图像中的多个人脸表情进行准确识别。
结合第一方面，在第一方面第一实施方式中，所述利用所述至少一个人脸表情识别窗口对待识别人脸图像中的人脸进行人脸表情识别，包括：
获取人脸表情图像；基于所述人脸表情图像进行人脸表情特征提取得到人脸表情特征；将所述人脸表情特征与所述人脸表情图像送入识别模型进行迭代训练，得到人脸表情识别模型；基于所述至少一个人脸表情识别窗口进行待识别人脸截取，获得待识别人脸表情信息；将所述待识别人脸表情信息送入人脸表情识别模型进行人脸表情识别，输出人脸表情识别信息。
在本实施例中，通过获取人脸表情图像建立人脸表情识别模型，之后通过获取人脸表情识别窗口截取的待识别人脸进行人脸表情识别，从而解决了在现有技术中因单次识别人脸图像中的多个人脸表情，由于人脸图像中的环境、灯光位置、遮挡等背景条件的影响无法获得最优的人脸表情识别信息，并且通过设置多个人脸表情识别窗口并利用窗口截取的待识别人脸的方式提高了人脸表情的识别精度及人脸识别的执行效率。
结合第一方面，在第一方面第二实施方式中，所述基于所述待识别人脸图像进行图像灰度化处理，获得待识别人脸灰度图像，包括：
提取所述待识别人脸图像的三原色信息；基于所述待识别人脸图像的三原色信息进行灰度计算得到待识别人脸灰度信息；利用所述待识别人脸灰度信息设置所述待识别人脸图像得到待识别人脸灰度图。
在本实施例中，对待识别人脸图像进行图像灰度化处理是为了能够获得更好的人脸图像中单个人脸的边缘轮廓，从而进一步提高人脸表情识别的准确性。
结合第一方面，在第一方面第三实施方式中，在所述根据所述待识别人脸灰度图像进行边缘检测，获得待识别人脸灰度图像中所述至少一个待识别人脸的边缘轮廓之前，还包括：将所述待识别人脸灰度图像送入高斯滤波器进行图像滤波，得到待人脸识别的滤波图像。
在本实施例中，将所述待识别人脸灰度图像送入高斯滤波器进行图像滤波，得到待人脸识别的滤波图像，从而进一步提高人脸表情识别的准确性。
结合第一方面或第一方面第三实施方式，在第一方面第四实施方式中，所述根据所述待识别人脸灰度图像进行边缘检测，获得待识别人脸灰度图像中所述至少一个待识别人脸的边缘轮廓，包括：获取待识别人脸灰度图像中的人脸面部特征；基于所述人脸面部特征判断所述人脸面部特征是否满足待识别人脸的边缘轮廓生成条件；若所述人脸面部特征满足待识别人脸的边缘轮廓生成条件，则获得待识别人脸的边缘轮廓；若所述人脸面部特征不满足待识别人脸的边缘轮廓生成条件，则重新获取待识别人脸灰度图像中的人脸面部特征。
在本实施例中，通过判断人脸面部特征是否满足待识别人脸的边缘轮廓生成条件，从而进一步提高人脸表情识别的准确性。
根据第二方面，本发明实施例提供了一种基于复杂场景下的人脸表情识别装置，包括：第一获取模块，用于获取待识别人脸图像；其中，所述待识别人脸图像包括至少一个待识别人脸；处理模块，用于基于所述待识别人脸图像进行图像灰度化处理，获得待识别人脸灰度图像；检测模块，用于根据所述待识别人脸灰度图像进行边缘检测，获得待识别人脸灰度图像中所述至少一个待识别人脸的边缘轮廓；设置模块，用于基于所述至少一个待识别人脸的边缘轮廓对应生成至少一个人脸表情识别窗口；第一识别模块，用于利用所述至少一个人脸表情识别窗口对待识别人脸图像中的人脸进行人脸表情识别。
在本实施例中，通过设置第一获取模块，获取待识别人脸图像，在将所获取的待识别人脸图像发送给处理模块，由处理模块对待识别人脸图像进行灰度化处理，其次将灰度化处理后的待识别人脸图像发送给检测模块进行人脸轮廓检测，之后将检测出的轮廓信息发送给设置模块，通过设置模块生成人脸表情识别窗口，之后利用第一识别模块对人脸表情识别窗口中的人脸表情进行识别，从而解决了在现有技术中因单次识别人脸图像中的多个人脸表情，由于人脸图像中的环境、灯光位置、遮挡等背景条件的影响无法获得最优的人脸表情识别信息，并且通过设置多个人脸表情识别窗口并利用窗口截取的待识别人脸的方式提高了人脸表情的识别精度及人脸识别的执行效率。
结合第一方面，在第二方面第一实施方式中，包括：
第二获取模块，用于获取人脸表情图像；
第一提取模块，用于基于所述人脸表情图像进行人脸表情特征提取得到人脸表情特征；
训练模块，用于将所述人脸表情特征与所述人脸表情图像送入识别模型进行迭代训练，得到人脸表情识别模型；
截取模块，用于基于所述至少一个人脸表情识别窗口进行待识别人脸截取，获得待识别人脸表情信息；
第二识别模块，用于将所述待识别人脸表情信息送入人脸表情识别模型进行人脸表情识别，输出人脸表情识别信息。
结合第二方面，在第二方面第二实施方式中，包括：
第二提取模块，用于提取所述待识别人脸图像的三原色信息；
计算模块，用于基于所述待识别人脸图像的三原色信息进行灰度计算得到待识别人脸灰度信息；
设置模块，用于利用所述待识别人脸灰度信息设置所述待识别人脸图像得到待识别人脸灰度图。
根据第三方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的基于复杂场景下的人脸表情识别方法。
根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的基于复杂场景下的人脸表情识别方法。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1为基于复杂场景下的人脸表情识别方法的流程图；
图2为根据本发明实施例提供的基于复杂场景下的人脸表情识别方法中步骤S2的流程图；
图3为根据本发明实施例提供的基于复杂场景下的人脸表情识别方法中步骤S4的流程图；
图4为根据本发明实施例提供的基于复杂场景下的人脸表情识别方法中步骤S5的流程图；
图5为根据本发明实施例提供的基于复杂场景下的人脸表情识别的结构框图；
图6为根据本发明实施例提供的一种电子设备的结构框图。
附图标记
1-第一获取模块；2-处理模块；3-检测模块；4-设置模块；5-第一识别模块；61-处理器；62-存储器。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在此还需说明，本申请的复杂场景可以理解为人脸图像中人脸信息存在至少一个人脸信息的情况，该人脸图像中每个人脸面部之间存在个体间的面部表情差异或是每个面部图像受到的环境、光线、等因素影响的情况下，无法准确识别出人脸识别的场景。而为了能够实现对人脸图像中的多个人脸表情进行准确识别。本实施例提供了一种基于复杂场景下的人脸表情识别方法，具体的，如图1所示，为基于复杂场景下的人脸表情识别方法的流程图，该基于复杂场景下的人脸表情识别方法，包括：
S1，获取待识别人脸图像；其中，待识别人脸图像包括至少一个待识别人脸。
在本实施例中，待识别人脸图像可以是通过摄像头或是预先人工采集的上传到数据中心、云端或是存储卡内的待识别人脸图像，其待识别人脸图像中至少存在1个人的人脸信息。可选的，为了防止待识别人脸图像的有效性，在获取待识别人脸图像之前需要进行人工或是及计算机自动筛选出图像中存在有人脸信息的人脸图像。
S2，基于待识别人脸图像进行图像灰度化处理，获得待识别人脸灰度图像。
在本实施例中，当获得待识别人脸图像可以通过分量法、最大值法、平均值法及加权平均法中的任意一种或多种对待识别人脸图像进行图像灰度化处理，以得到待识别人脸灰度图像，以便于对人脸图像的人脸轮廓进行提取。优选的，可以以加权平均法进行图像灰度化处理，以获得较为均衡的灰度图像。
S3，根据待识别人脸灰度图像进行边缘检测，获得待识别人脸灰度图像中至少一个待识别人脸的边缘轮廓。
在本实施例中，当获得待识别人脸灰度图像后，可以利用高斯滤波获得平滑的图像数据，其次根据所获得的图像数据利用canny算子求取待识别人脸灰度图像中的梯度幅值和梯度方向，之后为能够凸显边缘轮廓剔除非边缘信息，将采用非极大值抑制的方式剔除非边缘信息，最后为了能够获得准确有效的待识别人脸的边缘轮廓，还需要通过双阈值法闭合边缘得到完整的边缘轮廓，以此保证能够提取到最优的人脸边缘轮廓，保证其人脸识别的准确性。可选的，对待识别人脸灰度图像提取边缘轮廓可以使用matlab、labview等建模软件实现。其具体的边缘检测的具体实施步骤可参考现有的执行个过程，在此不再赘述。
S4，基于至少一个待识别人脸的边缘轮廓对应设置至少一个人脸表情识别窗口。
在本实施例中，当获取待识别人脸的边缘轮廓，需要根据待识别人脸的边缘轮廓信息，根据边缘轮廓最大长宽数据设置预设人脸表情识别的滑动窗口，该滑动窗口可以根据边缘轮廓变化进行自动调整。进一步提高其实施效率。另外，在存在对个人脸信息的人脸图像中，其所预设人脸表情识别的窗口数与人脸图像中的待识别人脸数相等。
S5，利用至少一个人脸表情识别窗口对待识别人脸图像中的人脸进行人脸表情识别。
在本实施例中，通过人脸表情识别窗口对单个待识别人脸图像中的人脸信息进行截取，同时将截取内容发送给人脸表情识别模型进行人脸表情识别，其中所截取的人脸信息为输入信息将输入至人脸表情识别模型中，可选的，用户可以选择逐一进行人脸信息的人脸表情识别或是选择并行识别。若执行并行识别，需要连接多个人脸表情识别模型，从而进一步提高人脸表情的识别精度及人脸识别的执行效率。
在本实施例中，通过获取待识别人脸图像，将待识别人脸图像进行图像灰度化处理，以突出人脸图像中的人脸边缘轮廓，之后对人脸图像中所检测到的每个人脸边缘轮廓设置人脸表情识别窗口，利用多个人脸识别窗口对待识别人脸图像中的人脸表情进行识别，从而使人脸表情识别能够灵活适应复杂场景同时通过设置人脸表情识别窗口使其能够对人脸图像中的每张人脸信息进行识别，从而实现对人脸图像中的多个人脸表情进行准确识别。
可选的，如图2所示，在本实施例提供的基于复杂场景下的人脸表情识别方法中的步骤S2，还包括：
S21，提取待识别人脸图像的三原色信息。
在本实施例中，需要通过使用图像软件采集待识别人脸图像的红、绿、蓝三原色信息，并记录所采集的三原色信息。
S22，基于待识别人脸图像的三原色信息进行灰度计算得到待识别人脸灰度信息。
S23，利用待识别人脸灰度信息设置待识别人脸图像得到待识别人脸灰度图。
在本实施例中，通过图像软件获得三原色的信息值，利用平均值法获取所需要设置的待识别人脸灰度信息值，同时通过图像软件将三原色的信息值设置为待识别人脸灰度信息值，以得到灰度图像。例如：平均值法的公式为：
C＝(R+B+G)/3；
其中，C为待设置的灰度信息值，R为软件检测到待识别人脸图像中红色的所占的信息值，B为软件检测到待识别人脸图像中蓝色的所占的信息值，G为软件检测到待识别人脸图像中绿色的所占的信息值。
当通过获得C值时，利用图像软件将三原色一一设置为C值，则获得待识别人脸图像灰度图。
可选的，在进行灰度值调整时，也可以根据光的亮度特性进行调整。
在本实施例中，对待识别人脸图像进行图像灰度化处理是为了能够获得更好的人脸图像中单个人脸的边缘轮廓，从而进一步提高人脸表情识别的准确性。
可选的，在本实施例提供的基于复杂场景下的人脸表情识别方法中的步骤S4之前，还包括：将待识别人脸灰度图像送入高斯滤波器进行图像滤波，得到待人脸识别的滤波图像。
在本实施例中，需要使用高斯滤波器对待识别人脸灰度图像进行滤波，之后通过导数计算梯度幅值和方向，其次根据幅值和方向进行非极大值抑制，之后利用双阈值进行检测在使其边缘点进行连接，从而得到人脸图像的边缘。
可选的，如图3所示，在本实施例提供的基于复杂场景下的人脸表情识别方法中的步骤S4，还包括：
S41，获取待识别人脸灰度图像中的人脸面部特征。
在本实施例中，可以通过步骤S3获得待识别人脸灰度图像，在从待识别人脸灰度图像中提取人脸面部特征，其中，人脸面部特征可以是五官信息，例如：耳、鼻、嘴、眼信息。
S42，基于人脸面部特征判断人脸面部特征是否满足待识别人脸的边缘轮廓生成条件。
在本实施例中，待识别人脸的边缘轮廓生成条件为在待识别人脸灰度图像中的人脸信息对应的人脸面部特征是否齐全，也就是需要识别判断所人脸信息中五官信息是否有所残缺，若该特征有所缺损，则会影响后续人脸表情识别的准确率，因此，为了保证人脸表情识别的准确率，需要剔除不完整的人脸信息，以此保证最终结果的准确性。
S43，若人脸面部特征满足待识别人脸的边缘轮廓生成条件，则获得待识别人脸的边缘轮廓。
在本实施例中，若人脸面部特征满足待识别人脸的边缘轮廓生成条件，则突出显示所获得的待识别人脸的边缘轮廓。
S44，若人脸面部特征不满足待识别人脸的边缘轮廓生成条件，则重新获取待识别人脸灰度图像中的人脸面部特征。
可选的，如图4所示，在本实施例提供的基于复杂场景下的人脸表情识别方法中的步骤S5，还包括：
S51，获取人脸表情图像。
在本实施例中，可以通过已有的人脸数据库中提取人脸表情图片，在将人脸表情图片整理为人脸表情图像集合，该图像集合用于训练人脸表情识别模型。
S52，基于人脸表情图像进行人脸表情特征提取得到人脸表情特征。
在本实施例中，可以从人脸表情图像中提取表情特征以及人脸特征。例如：人脸表情特征可以是人脸信息中的嘴角上扬图片。
S53，将人脸表情特征与人脸表情图像送入识别模型进行迭代训练，得到人脸表情识别模型。
在本实施例中，可以从人脸表情图像中提取部分图像信息，并对其图像信息进行人脸表情特征提取，之后以提取完成的特征数据作为基准，把基准的特征信息与人脸表情图像送入识别模型中进行训练从而获得人脸表情识别模型。
S54，基于至少一个人脸表情识别窗口进行待识别人脸截取，获得待识别人脸表情信息；
S55，将待识别人脸表情信息送入人脸表情识别模型进行人脸表情识别，输出人脸表情识别信息。
在本实施例中，将所获得的人脸表情识别模型与待识别人脸图像中标注有人脸表情识别窗口进行匹配，其中人脸表情识别窗口先截取人脸表情信息，之后将所截取的人脸表情信息发送给人脸表情识别模型进行人脸信息识别，从而实现快速准确的获得人脸表情信息。
可选的，人脸表情识别窗口是根据人脸图像中的数量信息确定的，当面处于复杂场景下需要进行多人表情识别时，可以通过本申请所提供的基于复杂场景下的人脸表情识别方法进行多人脸表情识别，由于本方法是在单个图像上生成对个检测识别窗口，即人脸表情识别窗口，每个窗口之间相当于独立的检测装置，因此在对同一图像上的多人脸进行识别时，可以减少同一画面中每个人脸面部之间存在个体间的面部表情差异或是每个面部图像都会受到在进行面部识别过程中的环境、灯光位置、遮挡等背景条件的影响，实现对人脸图像中的多个人脸表情进行准确识别。
此外还应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
相应地，请参考图5，本发明实施例提供一种基于复杂场景下的人脸表情识别装置，该装置包括：
第一获取模块1，用于获取待识别人脸图像；其中，所述待识别人脸图像包括至少一个待识别人脸，详细内容参考步骤S1所述；
处理模块2，用于基于所述待识别人脸图像进行图像灰度化处理，获得待识别人脸灰度图像，详细内容参考步骤S2所述；
检测模块3，用于根据所述待识别人脸灰度图像进行边缘检测，获得待识别人脸灰度图像中所述至少一个待识别人脸的边缘轮廓，详细内容参考步骤S3所述；
设置模块4，用于基于所述至少一个待识别人脸的边缘轮廓对应生成至少一个人脸表情识别窗口，详细内容参考步骤S4所述；
第一识别模块5，用于利用所述至少一个人脸表情识别窗口对待识别人脸图像中的人脸进行人脸表情识别，详细内容参考步骤S5所述。
在本实施例中，通过设置第一获取模块，获取待识别人脸图像，在将所获取的待识别人脸图像发送给处理模块，由处理模块对待识别人脸图像进行灰度化处理，其次将灰度化处理后的待识别人脸图像发送给检测模块进行人脸轮廓检测，之后将检测出的轮廓信息发送给设置模块，通过设置模块生成人脸表情识别窗口，之后利用第一识别模块对人脸表情识别窗口中的人脸表情进行识别，从而解决了在现有技术中因单次识别人脸图像中的多个人脸表情，由于人脸图像中的环境、灯光位置、遮挡等背景条件的影响无法获得最优的人脸表情识别信息，并且通过设置多个人脸表情识别窗口并利用窗口截取的待识别人脸的方式提高了人脸表情的识别精度及人脸识别的执行效率。
可选的，在本实施例中，还可以包括：
第二获取模块，用于获取人脸表情图像，详细内容参考步骤S51所述。
第一提取模块，用于基于所述人脸表情图像进行人脸表情特征提取得到人脸表情特征，详细内容参考步骤S52所述。
训练模块，用于将所述人脸表情特征与所述人脸表情图像送入识别模型进行迭代训练，得到人脸表情识别模型，详细内容参考步骤S53所述。
截取模块，用于基于所述至少一个人脸表情识别窗口进行待识别人脸截取，获得待识别人脸表情信息，详细内容参考步骤S54所述。
第二识别模块，用于将所述待识别人脸表情信息送入人脸表情识别模型进行人脸表情识别，输出人脸表情识别信息，详细内容参考步骤S55所述。
可选的，在本实施例中，还可以包括：
第二提取模块，用于提取所述待识别人脸图像的三原色信息，详细内容参考步骤S21所述。
计算模块，用于基于所述待识别人脸图像的三原色信息进行灰度计算得到待识别人脸灰度信息，详细内容参考步骤S22所述。
设置模块，用于利用所述待识别人脸灰度信息设置所述待识别人脸图像得到待识别人脸灰度图，详细内容参考步骤S23所述。
本发明实施例还提供了一种电子设备，如图6所示，该电子设备可以包括处理器61和存储器62，其中处理器61和存储器62可以通过总线或者其他方式连接，图6中以通过总线连接为例。
处理器61可以为中央处理器(Central Processing Unit，CPU)。处理器61还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器62作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中基于复杂场景下的人脸表情识别方法所对应的程序指令/模块(例如，图5所示的第一获取模块1、处理模块2、检测模块3、设置模块4和第一识别模块5)。处理器61通过运行存储在存储器62中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的基于复杂场景下的人脸表情识别方法。
存储器62可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储处理器61所创建的数据等。此外，存储器62可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器62可选包括相对于处理器61远程设置的存储器，这些远程存储器可以通过网络连接至处理器61。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器62中，当被所述处理器61执行时，执行如图1-4所示实施例中的基于复杂场景下的人脸表情识别方法。
上述电子设备具体细节可以对应参阅图1至图4所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种基于复杂场景下的人脸表情识别方法，其特征在于，包括：
获取待识别人脸图像；其中，所述待识别人脸图像包括至少一个待识别人脸；
基于所述待识别人脸图像进行图像灰度化处理，获得待识别人脸灰度图像；
根据所述待识别人脸灰度图像进行边缘检测，获得待识别人脸灰度图像中所述至少一个待识别人脸的边缘轮廓；
基于所述至少一个待识别人脸的边缘轮廓对应设置至少一个人脸表情识别窗口；
利用所述至少一个人脸表情识别窗口对待识别人脸图像中的人脸进行人脸表情识别。
2.根据权利要求1所述的人脸表情识别方法，其特征在于，所述利用所述至少一个人脸表情识别窗口对待识别人脸图像中的人脸进行人脸表情识别，包括：
获取人脸表情图像；
基于所述人脸表情图像进行人脸表情特征提取得到人脸表情特征；
将所述人脸表情特征与所述人脸表情图像送入识别模型进行迭代训练，得到人脸表情识别模型；
基于所述至少一个人脸表情识别窗口进行待识别人脸截取，获得待识别人脸表情信息；
将所述待识别人脸表情信息送入人脸表情识别模型进行人脸表情识别，输出人脸表情识别信息。
3.根据权利要求1所述的人脸表情识别方法，其特征在于，所述基于所述待识别人脸图像进行图像灰度化处理，获得待识别人脸灰度图像，包括：
提取所述待识别人脸图像的三原色信息；
基于所述待识别人脸图像的三原色信息进行灰度计算得到待识别人脸灰度信息；
利用所述待识别人脸灰度信息设置所述待识别人脸图像得到待识别人脸灰度图。
4.根据权利要求1所述的方法，其特征在于，在所述根据所述待识别人脸灰度图像进行边缘检测，获得待识别人脸灰度图像中所述至少一个待识别人脸的边缘轮廓之前，还包括：将所述待识别人脸灰度图像送入高斯滤波器进行图像滤波，得到待人脸识别的滤波图像。
5.根据权利要求1或4所述的方法，其特征在于，所述根据所述待识别人脸灰度图像进行边缘检测，获得待识别人脸灰度图像中所述至少一个待识别人脸的边缘轮廓，包括：
获取待识别人脸灰度图像中的人脸面部特征；
基于所述人脸面部特征判断所述人脸面部特征是否满足待识别人脸的边缘轮廓生成条件；
若所述人脸面部特征满足待识别人脸的边缘轮廓生成条件，则获得待识别人脸的边缘轮廓；
若所述人脸面部特征不满足待识别人脸的边缘轮廓生成条件，则重新获取待识别人脸灰度图像中的人脸面部特征。
6.一种基于复杂场景下的人脸表情识别装置，其特征在于，包括：
第一获取模块，用于获取待识别人脸图像；其中，所述待识别人脸图像包括至少一个待识别人脸；
处理模块，用于基于所述待识别人脸图像进行图像灰度化处理，获得待识别人脸灰度图像；
检测模块，用于根据所述待识别人脸灰度图像进行边缘检测，获得待识别人脸灰度图像中所述至少一个待识别人脸的边缘轮廓；
设置模块，用于基于所述至少一个待识别人脸的边缘轮廓对应设置至少一个人脸表情识别窗口；
第一识别模块，用于利用所述至少一个人脸表情识别窗口对待识别人脸图像中的人脸进行人脸表情识别。
7.根据权利要求6所述的人脸表情识别装置，其特征在于，包括：
第二获取模块，用于获取人脸表情图像；
第一提取模块，用于基于所述人脸表情图像进行人脸表情特征提取得到人脸表情特征；
训练模块，用于将所述人脸表情特征与所述人脸表情图像送入识别模型进行迭代训练，得到人脸表情识别模型；
截取模块，用于基于所述至少一个人脸表情识别窗口进行待识别人脸截取，获得待识别人脸表情信息；
第二识别模块，用于将所述待识别人脸表情信息送入人脸表情识别模型进行人脸表情识别，输出人脸表情识别信息。
8.根据权利要求6所述的人脸表情识别装置，其特征在于，包括：
第二提取模块，用于提取所述待识别人脸图像的三原色信息；
计算模块，用于基于所述待识别人脸图像的三原色信息进行灰度计算得到待识别人脸灰度信息；
设置模块，用于利用所述待识别人脸灰度信息设置所述待识别人脸图像得到待识别人脸灰度图。
9.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-5中任一项所述的基于复杂场景下的人脸表情识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的基于复杂场景下的人脸表情识别方法。
CN202110162293.3A 2021-02-05 2021-02-05 基于复杂场景下的人脸表情识别方法、装置及电子设备 Pending CN112801002A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110162293.3A CN112801002A (zh) 2021-02-05 2021-02-05 基于复杂场景下的人脸表情识别方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110162293.3A CN112801002A (zh) 2021-02-05 2021-02-05 基于复杂场景下的人脸表情识别方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN112801002A true CN112801002A (zh) 2021-05-14

Family

ID=75814438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110162293.3A Pending CN112801002A (zh) 2021-02-05 2021-02-05 基于复杂场景下的人脸表情识别方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112801002A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449194A (zh) * 2021-07-14 2021-09-28 青岛科技大学 基于卷积神经网络的表情识别音乐推荐***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102842033A (zh) * 2012-08-17 2012-12-26 苏州两江科技有限公司 基于人脸识别进行人物表情情感语义识别方法
CN109711378A (zh) * 2019-01-02 2019-05-03 河北工业大学 人脸表情自动识别方法
CN110705430A (zh) * 2019-09-26 2020-01-17 江苏科技大学 基于深度学习的多人面部表情识别方法和识别***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102842033A (zh) * 2012-08-17 2012-12-26 苏州两江科技有限公司 基于人脸识别进行人物表情情感语义识别方法
CN109711378A (zh) * 2019-01-02 2019-05-03 河北工业大学 人脸表情自动识别方法
CN110705430A (zh) * 2019-09-26 2020-01-17 江苏科技大学 基于深度学习的多人面部表情识别方法和识别***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449194A (zh) * 2021-07-14 2021-09-28 青岛科技大学 基于卷积神经网络的表情识别音乐推荐***

Similar Documents

Publication Publication Date Title
CN110276767B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US10740912B2 (en) Detection of humans in images using depth information
KR102641115B1 (ko) 객체 검출을 위한 영상 처리 방법 및 장치
CN109389135B (zh) 一种图像筛选方法及装置
WO2021179471A1 (zh) 一种人脸模糊度检测方法、装置、计算机设备及存储介质
KR20180065889A (ko) 타겟의 검측 방법 및 장치
WO2022206319A1 (zh) 图像处理方法、装置、设备、存储介质计算机程序产品
CN109871845B (zh) 证件图像提取方法及终端设备
CN109522775B (zh) 人脸属性检测方法、装置及电子设备
WO2020244071A1 (zh) 基于神经网络的手势识别方法、装置、存储介质及设备
EP4300417A1 (en) Method and apparatus for evaluating image authenticity, computer device, and storage medium
CN111444555B (zh) 一种测温信息显示方法、装置及终端设备
CN107944395B (zh) 一种基于神经网络验证人证合一的方法及***
CN110245573B (zh) 一种基于人脸识别的签到方法、装置及终端设备
EP3282387A1 (en) Fire detection method, fire detection apparatus and electronic equipment
CN110276831B (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质
CN105678245A (zh) 一种基于哈尔特征的靶位识别方法
WO2017167381A1 (en) Method for foreground and background determination in an image
CN110059607B (zh) 活体多重检测方法、装置、计算机设备及存储介质
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
CN106920266B (zh) 验证码的背景生成方法和装置
Devadethan et al. Face detection and facial feature extraction based on a fusion of knowledge based method and morphological image processing
CN114663726A (zh) 目标类别检测模型的训练方法、目标检测方法及电子设备
CN112801002A (zh) 基于复杂场景下的人脸表情识别方法、装置及电子设备
CN113822927A (zh) 一种适用弱质量图像的人脸检测方法、装置、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination