CN109190487A - 人脸情绪识别方法、装置、计算机设备及存储介质 - Google Patents
人脸情绪识别方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN109190487A CN109190487A CN201810892915.6A CN201810892915A CN109190487A CN 109190487 A CN109190487 A CN 109190487A CN 201810892915 A CN201810892915 A CN 201810892915A CN 109190487 A CN109190487 A CN 109190487A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- mood
- emotion identification
- key frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 157
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000036651 mood Effects 0.000 claims abstract description 148
- 239000013598 vector Substances 0.000 claims abstract description 79
- 230000009466 transformation Effects 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 62
- 230000014509 gene expression Effects 0.000 claims description 37
- 230000007935 neutral effect Effects 0.000 claims description 37
- 230000002996 emotional effect Effects 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 16
- 241000725874 Facelis Species 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000003066 decision tree Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 10
- 230000008921 facial expression Effects 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种人脸情绪识别方法、装置、计算机设备及存储介质。该方法包括：获取实时采集的视频图像；对视频图像中的所有帧图像进行小波变换以得到对应的能量特征向量；获取标准能量特征向量，并根据图像差分运算方法计算每个能量特征向量与标准能量特征向量之间的欧式距离值；判断多个欧式距离值中是否存在超过预设阈值的欧式距离值；若多个欧式距离值中存在超过预设阈值的欧式距离值，将超过预设阈值的欧式距离值的能量特征向量对应的图像作为关键帧图像；基于情绪识别模型识别每个关键帧图像中的人脸情绪；根据所有关键帧图像中的人脸情绪获取视频图像对应的人脸情绪，以完成人脸情绪的识别。该方法可以准确地识别出人脸情绪。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种人脸情绪识别方法、装置、计算机设备及存储介质。
背景技术
在人们的日常生活中，通过语言来传递的信息占7％，通过声音来传递的信息占38％，而通过面部表情来传递的信息则达到55％。由此可见人脸表情是人类交流的重要载体和非语言交流的一种重要方式，它可以很好地表达出人类的情感状态。
一般情况下，人类的情感状态会在一定程度上影响人类的行为活动。譬如，当司机处于愤怒、悲伤、焦虑等负面情绪时，就很容易忽略周围的路况、对应急事物的反应速度降低，导致交通事故发生率较高。基于这一点，可以通过对人脸情绪进行识别来指导司机等人员的行为。譬如，当通过对司机人脸情绪进行识别时，若识别出司机处于负面情绪，可以提示司机调整情绪状态以避免发生交通事故。因此，如何准确地识别出人脸情绪成为亟待解决的技术问题。
发明内容
本申请提供了一种人脸情绪识别方法、装置、计算机设备及存储介质，以准确地识别人脸情绪。
第一方面，本申请提供了一种人脸情绪识别方法，其包括：获取实时采集的视频图像；对所述视频图像中的所有帧图像进行小波变换以得到对应的能量特征向量；获取标准能量特征向量，并根据图像差分运算方法计算每个所述能量特征向量与所述标准能量特征向量之间的欧式距离值；判断多个所述欧式距离值中是否存在超过预设阈值的欧式距离值；若多个所述欧式距离值中存在超过所述预设阈值的欧式距离值，将超过所述预设阈值的欧式距离值的能量特征向量对应的图像作为关键帧图像，其中，所述关键帧图像的个数为至少一个；获取预先存储的情绪识别模型，并基于所述情绪识别模型识别每个所述关键帧图像中的人脸情绪；以及根据所有所述关键帧图像中的人脸情绪获取所述视频图像对应的人脸情绪，以完成人脸情绪的识别。
第二方面，本申请提供了一种人脸情绪识别装置，其包括：获取单元，用于获取实时采集的视频图像；变换单元，用于对所述视频图像中的所有帧图像进行小波变换以得到对应的能量特征向量；距离计算单元，用于获取标准能量特征向量，并根据图像差分运算方法计算每个所述能量特征向量与所述标准能量特征向量之间的欧式距离值；距离判断单元，用于判断多个所述欧式距离值中是否存在超过预设阈值的欧式距离值；关键帧获取单元，用于若多个所述欧式距离值中存在超过所述预设阈值的欧式距离值，将超过所述预设阈值的欧式距离值的能量特征向量对应的图像作为关键帧图像，其中，所述关键帧图像的个数为至少一个；情绪识别单元，用于获取预先存储的情绪识别模型，并基于所述情绪识别模型识别每个所述关键帧图像中的人脸情绪；以及情绪获取单元，用于根据所有所述关键帧图像中的人脸情绪获取所述视频图像对应的人脸情绪，以完成人脸情绪的识别。
第三方面，本申请又提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面提供的所述的人脸情绪识别方法。
第四方面，本申请还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行第一方面提供的所述的人脸情绪识别方法。
本申请提供一种人脸情绪识别方法、装置、计算机设备及存储介质。该方法可以准确地识别出人脸情绪。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种人脸情绪识别方法的示意流程图；
图2至图6均为本申请实施例提供的一种人脸情绪识别方法的另一示意流程图；
图7至图8均为本申请实施例提供的一种人脸情绪识别方法的具体示意流程图；
图9为本申请实施例提供的一种人脸情绪识别方法的另一示意流程图；
图10为本申请实施例提供的一种人脸情绪识别装置的示意性框图；
图11至图15均为本申请实施例提供的一种人脸情绪识别装置的另一示意性框图；
图16为本申请实施例提供的一种计算机设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1是本申请实施例提供的一种人脸情绪识别方法的示意流程图。该人脸情绪识别方法可以应用于人脸情绪识别***，该人脸情绪识别***可以安装于手机、汽车等具备摄像功能的设备中。该人脸情绪识别***可以作为独立的***存在于设备中，也可以嵌入至设备的其他***中。譬如，人脸情绪识别***可内嵌至车驾驶***中，以识别司机的情绪。又譬如，该人脸情绪识别***可内嵌至手机的某个应用程序中，以辅助该应用程序实现人脸情绪识别功能等。
如图1所示，该人脸情绪识别方法包括步骤S101～S107。
S101、获取实时采集的视频图像。
当用户开启人脸情绪识别***以进行人脸情绪识别时，该人脸情绪识别***所在的设备调用摄像头以对用户进行实时的图像采集。该设备通过摄像头获取实时采集的一定时间段内的视频图像。譬如，获取实时采集的10秒内的视频图像。可以理解的是，该视频图像将包括多帧图像。
由于该人脸情绪识别方法在进行人脸情绪识别时，需要使用到中性表情图像、标准能量特征向量、情绪识别模型等信息，因此，在用户使用该人脸情绪识别***进行人脸情绪识别之前，即，在步骤S101之前，人脸情绪识别***还需执行以下操作：
在一实施例中，如图2所示，图2为本申请实施例提供的一种人脸情绪识别方法的另一示意流程图。在步骤S101之前，还包括步骤S101a、S101b和S101c。
S101a、获取中性表情图像。
S101b、对所述中性表情图像进行小波变换以得到对应的标准能量特征向量。
S101c、存储所述中性表情图像和标准能量特征向量。
在图2所示的实施例中，在进行人脸情绪识别之前，需要预先准备好中性表情图像和标准能量特征向量。其中，该中性表情可以为用户在较为平稳的情绪下的面部表情。譬如，用户在拍摄证件照片时一般采用的表情可理解为中性表情。
当用户首次使用该人脸情绪识别***时，设备可以发出语音提示或文字提示等以提示用户做好中性表情。在用户做好中性表情后，通过摄像头拍摄用户的中性表情的图像以获取到中性表情图像。
当然，也可以通过其他方式获取到中性表情图像。譬如，当用户首次使用该人脸情绪识别***时，获取用户输入的证件照等中性表情图像。也就是说，用户将以往拍过的中性表情的图像传入人脸情绪识别***所在的设备中作为中性表情图像。又譬如，当用户首次使用该人脸情绪识别***时，获取用户输入的身份信息，然后根据身份信息从后台服务器中获取身份信息对应的证件照片作为中性表情图像，其中，该后台服务器可以为车载***的后台服务器、手机应用程序的后台服务器、人脸情绪识别***的后台服务器等等，该后台服务器可以存储用户的身份信息对应的证件照片，也可以在获取到身份信息后，调用第三方服务器或通过网络爬虫等技术从网络数据中获取用户的身份信息对应的证件照片等。在此不对中性表情图像的获取方式做限制。
当获取到中性表情图像后，对中性表情图像采用Gabor小波变换等方式进行小波变换以得到对应的标准能量特征向量，并存储该中性表情图像和对应的标准能量特征向量，以方便用户在使用该人脸情绪识别***进行人脸情绪识别时，可以调用该中性表情图像和对应的标准能量特征向量进行人脸情绪识别。
在一实施例中，如图3所示，图3为本申请实施例提供的一种人脸情绪识别方法的另一示意流程图。在步骤S101之前，还包括步骤S101d和S101e。
S101d、获取情绪训练样本图像集，其中，所述情绪训练样本图像集包括多个情绪训练样本图像和所述情绪训练样本图像中人脸的情绪标签。
S101e、将所述情绪训练样本图像和对应的情绪标签输入至卷积神经网络模型中进行机器学习以得到情绪识别模型，并存储所述情绪识别模型。
在图3所示的实施例中，在进行人脸情绪识别之前，需要预先准备好情绪识别模型。具体地，人脸情绪识别***需要获取情绪训练样本图像集。该情绪训练样本图像集包括大量的情绪训练样本图像和每个情绪训练样本图像对应的人脸的情绪标签。需要说明的是，每张情绪训练样本图像中人脸的情绪标签可以通过人工方式进行标记，也可以通过其他方法进行标记，在此不做具体限制。
在获得情绪训练样本图像集后，将情绪训练样本图像和对应的人脸的情绪标签输入至卷积神经网络(英文全称：Convolutional Neural Networks，简称：CNN)模型中进行机器学习，从而获得情绪识别模型，再将情绪识别模型存储在人脸情绪识别***所在的设备中，以方便后续使用人脸情绪识别***时，可以调用该情绪识别模型进行情绪识别。
在一实施例中，当用户开启人脸情绪识别***以进行人脸情绪识别时，若人脸情绪识别***所在的设备的摄像头不能很好地对用户进行实时的图像采集，譬如，摄像头的角度不对，使得实时采集的视频图像中没有采集到用户脸部信息，或者用户脸部信息只采集到一半，这样的视频图像在后续进行人脸情绪识别时，势必会降低人脸情绪识别的准确率。因此，为了确保后续在进行人脸情绪识别时，可以拍摄到较好的人脸的视频图像，提高后续人脸情绪识别的准确性，在获取实时采集的视频图像之前，还需要对摄像头进行校准的工作。
具体地，如图4所示，图4为本申请实施例提供的一种人脸情绪识别方法的另一示意流程图。在步骤S101之前，还包括步骤S101f、S101g、S101h和S101j。
S101f、获取实时采集的校准视频图像。
S101g、从所述校准视频图像中的多帧图像中按照预设规则抽取预设帧数的图像作为校准图像。
S101h、基于预先存储的人脸检测识别模型，判断每帧所述校准图像中是否均存在人脸信息。
S101j、若至少一帧所述校准图像中不存在人脸信息，发出提示信息以使得用户根据所述提示信息调整摄像头的角度，并在调整好所述摄像头的角度后，返回执行S101f的步骤，直至使得每帧所述校准图像中均存在人脸信息为止。
在图4所示的实施例中，人脸情绪识别***需要获取实时采集的一段校准视频图像。可以理解的是，该校准视频图像包括多帧图像。然后按照预设抽取规则从校准视频图像的多帧图像中抽取出预设帧数的图像作为校准图像。
在一实施例中，该预设抽取规则可以为每间隔1秒钟抽取1张图像作为校准图像。预设帧数可以设置为100，该预设帧数可以根据实际需求进行设置，另外，该预设抽取规则也可以不局限于上述的规则，可以根据实际需求进行设置，在此不做限制。
在获得多帧校准图像后，获取预先存储的人脸检测识别模型，该人脸检测识别模型是用来识别校准图像中是否存在人脸信息的。
若通过人脸检测识别模型判断出每个校准图像中均存在人脸信息，说明当前摄像头的角度良好，可以拍摄较好的人脸的视频图像，此时，可以执行步骤S101，即执行获取实时采集的视频图像的步骤。
若至少有一帧校准图像中不存在人脸信息，说明当前摄像头的角度不好，需要进行调整，此时可以通过语音方或显示方式等发出提示信息，以使得用户根据提示信息重新调整摄像头的角度，并在调整好摄像头角度后，重新返回执行S101f的步骤，即返回执行获取实时采集的校准视频图像的步骤，直至使得每帧所述校准图像中均存在人脸信息为止，从而完成对摄像头的角度校准。
由于在进行摄像头的角度校准时，需要使用到人脸检测识别模型，因此，该人脸检测识别模型需要预先生成并存储在人脸情绪识别***所在的设备中。在一实施例中，如图5所示，图5为本申请实施例提供的一种人脸情绪识别方法的另一示意流程图。在步骤S101之前，还包括步骤S101k、S101m、S101n、和S101p。
S101k、获取训练样本图像集，其中，所述训练样本图像集包括多个训练样本图像和用于表征所述训练样本图像中是否存在人脸信息的人脸标签。
S101m、获取所述训练样本图像的人脸哈尔特征向量。
S101n、将所述训练样本图像对应的人脸哈尔特征向量以及人脸标签输入至基于决策树模型的Adaboost提升模型中进行训练，以得到人脸检测识别模型。
S101p、存储所述人脸检测识别模型。
在图5所示的实施例中，在进行人脸情绪识别之前，需要预先准备好人脸检测识别模型，以便于在进行摄像头角度校准时使用。具体地，首先获取训练样本图像集，该训练样本图像集中包括多个训练样本图像，以及每个训练样本图像对应的人脸标签。该人脸标签用于表征对应的人脸样本图像中是否存在人脸信息的。然后，对每个训练样本图像进行人脸的哈尔特征提取，以获取到每个训练样本图像对应的人脸哈尔特征向量。再将每个训练样本图像对应的人脸哈尔特征向量以及对应的人脸标签输入至基于决策树模型的Adaboost提升模型中进行训练，这就可以得到人脸检测识别模型。最后将该人脸检测识别模型存储在人脸情绪识别***所在的设备中。
S102、对所述视频图像中的所有帧图像进行小波变换以得到对应的能量特征向量。
在步骤S101获得视频图像后，需要对视频图像中的所有帧图像进行小波变换，以获取到每帧图像对应的能量特征向量。
在一实施例中，该小波变换可例如为Gabor小波变换，当然，该小波变换还可以采用其他方法，在此不做具体限制。
S103、获取标准能量特征向量，并根据图像差分运算方法计算每个所述能量特征向量与所述标准能量特征向量之间的欧式距离值。
该标准能量特征向量为预先采集的用户的中性表情图像进行小波变换后的能量特征向量。在本实施例中，该标准能量特征向量预先存储于人脸情绪识别***所在的设备中。由于设备中预先存储了该标准能量特征向量，因此，获取标准能量特征向量，具体为获取预先存储的标准能量特征向量。
在获得标准能量特征向量后，将根据图像差分运算方法计算步骤S102中每个能量特征向量与标准能量特征向量之间的欧式距离值。
需要说明的是，在本实施例中，由于该标准能量特征向量是预先存储于人脸情绪识别***所在的设备中，这样在步骤S103中就可以直接调用该标准能量特征向量，从而减小对人脸情绪识别***所在的设备的CPU资源的占用，降低计算时间等。当然，在其他实施例中，人脸情绪识别***所在的设备也可以只预先存储中性表情图像，这样，在步骤S103获取标准能量特征向量时，先获取预先存储的中性表情图像，然后再对中性表情图像进行小波变换以得到标准能量特征向量，在此不对计算标准能量特征向量的时间做限制。
S104、判断多个所述欧式距离值中是否存在超过预设阈值的欧式距离值。
在步骤S103计算出每个能量特征向量与标准能量特征向量之间的欧式距离值后，会得到多个欧式距离值，然后判断多个欧式距离值中是否存在超过预设阈值的欧式距离值。
若存在超过预设阈值的欧式距离值，说明视频图像中的人脸表情与中性表情之间的差距较大，此时执行步骤S105。
在一实施例中，如图6所示，图6为本申请实施例提供的一种人脸情绪识别方法的另一示意流程图。当步骤S104判断出不存在超过预设阈值的欧式距离值时，说明当前的视频图像中人脸表情与中性表情差距较小，此时将执行步骤S108，即将所述标准能量特征向量对应的中性表情图像作为所述关键帧图像。然后再执行后续的步骤S106和S107等。
当然，在其他实施例中，若步骤S104判断出不存在超过预设阈值的欧式距离值，也可以直接设置视频图像对应的人脸情绪为中性情绪，从而完成人脸情绪的识别。
S105、若多个所述欧式距离值中存在超过所述预设阈值的欧式距离值，将超过所述预设阈值的欧式距离值的能量特征向量对应的图像作为关键帧图像，其中，所述关键帧图像的个数为至少一个。
在本实施例中，超过预设阈值的欧式距离值的个数可以为一个，也可以为两个或更多个，此时关键帧图像的个数就为至少一个。
S106、获取预先存储的情绪识别模型，并基于所述情绪识别模型识别每个所述关键帧图像中的人脸情绪。
在本实施例中，该情绪识别模型为预先进行机器学习训练得到的用于识别人脸情绪的模型，该情绪识别模块可例如为卷积神经网络模型。人脸情绪识别***所在的设备先获取该情绪识别模型，然后将关键帧图像作为输入值输入至情绪识别模型中，该情绪识别模型对关键帧图像进行情绪识别，以输出每个关键帧图像中的人脸情绪。
具体地，在一实施例中，如图7所示，图7为本申请实施例提供的一种人脸情绪识别方法的具体示意流程图。该步骤S106包括步骤S1061至S1063。
S1061、依次将每个所述关键帧图像作为输入值输入至所述情绪识别模型中。
S1062、获取所述情绪识别模型输出的每个所述关键帧图像在多种预设情绪上的概率值。
S1063、将每个所述关键帧图像对应的多个概率值中较大的概率值对应的情绪作为所述关键帧图像中的人脸情绪。
在图7所示的实施例中，依次将每个关键帧图像作为输入值输入至情绪识别模型中，然后情绪识别模型会输出每个关键帧图像在多种预设情绪上的概率值。譬如，多种预设情绪包括害怕、愤怒、悲哀、厌恶、高兴、惊奇和中性等7种预设的情绪。情绪识别模型会识别出每个关键帧图像中的人脸情绪在这7种预设表情上的概率，如，情绪识别模型识别出某个关键帧图像中的人脸情绪在上述7种预设情绪上的概率依次为10％、70％、15％、5％、0％、0％和0％。
然后，将每个关键帧图像对应的多个概率值中较大的概率值对应的情绪作为该关键帧图像中的人脸情绪。譬如，将概率值最大的70％的愤怒情绪作为某个关键帧图像对应的人脸情绪。
S107、根据所有所述关键帧图像中的人脸情绪获取所述视频图像对应的人脸情绪，以完成人脸情绪的识别。
具体地，在一实施例中，如图8所示，图8为本申请实施例提供的一种人脸情绪识别方法的具体示意流程图。该步骤S107包括步骤S1071至S1072。
S1071、对所有所述关键帧图像中的人脸情绪进行概率统计。
S1072、将出现概率较大的人脸情绪作为所述视频图像对应的人脸情绪，以完成人脸情绪的识别。
譬如，关键帧图像的个数为10个，通过情绪识别模型识别出8个关键帧图像的人脸情绪为愤怒，1个关键帧图像的人脸情绪为厌恶，一个关键帧图像的人脸情绪为害怕，通过对10个关键帧图像的人脸情绪进行概率统计，可以得出愤怒的人脸情绪出现的概率为80％，厌恶的人脸情绪出现的概率为10％，害怕的人脸情绪出现的概率为10％。这样就可以将出现概率较大的愤怒情绪作为整段视频图像对应的人脸情绪，从而完成在视频图像对应的时间段内人脸情绪的识别。
在一实施例中，如图9所示，图9为本申请实施例提供的一种人脸情绪识别方法的另一示意流程图。在步骤S107之后，还包括步骤S109至S112。
S109、将所述视频图像对应的时间段以及所述视频图像对应的人脸情绪记录至情绪列表中。
S110、根据所述情绪列表，统计预设时间段内的所有所述视频图像对应的人脸情绪中属于预设情绪类的人脸情绪的概率。
S111、判断属于预设情绪类的人脸情绪的概率是否超过预设概率值。
S112、若属于所述预设情绪类的人脸情绪的概率超过所述预设概率值，获取预设提示方式和预设提示信息，并根据所述预设提示方式向用户提示所述预设提示信息。
譬如，假设预设时间段为2分钟，预设情绪类为负面情绪类，该负面情绪类所包括的人脸情绪为害怕、愤怒、悲哀和厌恶四种。同时，假设情绪列表中2分钟内的视频图像的个数为100个，那么就会有100个人脸情绪，然后统计这100个人脸情绪中属于负面情绪类的人脸情绪所占的概率，比如概率为99％，当属于负面情绪类的人脸情绪所占的概率超过预设概率值80％时，说明用户在这2分钟内一直处于负面情绪中，此时将获取预设提示方式和预设提示信息，并根据预设提示方式向用户提示预设提示信息。其中，该预设提示方式可例如为语音提示方式、文字显示方式、语音提示与震动组合方式等等。该预设提示信息可例如为“您目前的情绪较低落，请注意安全驾驶”等。
本实施例中的人脸情绪识别方法，可以准确地识别出人脸情绪。
本申请实施例还提供一种人脸情绪识别装置，该人脸情绪识别装置用于执行前述任一项人脸情绪识别方法。具体地，请参阅图10，图10是本申请实施例提供的一种人脸情绪识别装置的示意性框图。人脸情绪识别装置300可以安装于汽车、手机等设备中。
如图10所示，人脸情绪识别装置300包括获取单元301、变换单元302、距离计算单元303、距离判断单元304、关键帧获取单元305、情绪识别单元306和情绪获取单元307。
获取单元301，用于获取实时采集的视频图像。
在一实施例中，如图11所示，图11为本申请实施例提供的一种人脸情绪识别装置的另一示意性框图。该人脸情绪识别装置300还包括存储单元308。
获取单元301，还用于获取中性表情图像。
变换单元302，还用于对所述中性表情图像进行小波变换以得到对应的标准能量特征向量。
存储单元308，用于存储所述中性表情图像和标准能量特征向量。
在一实施例中，如图12所示，图12为本申请实施例提供的一种人脸情绪识别装置的另一示意性框图。该人脸情绪识别装置300还包括情绪模型训练单元309。
获取单元301，还用于获取情绪训练样本图像集，其中，所述情绪训练样本图像集包括多个情绪训练样本图像和所述情绪训练样本图像中人脸的情绪标签。
情绪模型训练单元309，用于将所述情绪训练样本图像和对应的情绪标签输入至卷积神经网络模型中进行机器学习以得到情绪识别模型，并存储所述情绪识别模型。
在一实施例中，如图13所示，图13为本申请实施例提供的一种人脸情绪识别装置的另一示意性框图。该人脸情绪识别装置300还包括抽取单元310、人脸判断单元311和提示单元312。
获取单元301，还用于获取实时采集的校准视频图像。
抽取单元310，用于从所述校准视频图像中的多帧图像中按照预设规则抽取预设帧数的图像作为校准图像。
人脸判断单元311，用于基于预先存储的人脸检测识别模型，判断每帧所述校准图像中是否均存在人脸信息。
获取单元301，还用于若每帧所述校准图像中均存在人脸信息，获取实时采集的视频图像。
提示单元312，用于若至少一帧所述校准图像中不存在人脸信息，发出提示信息以使得用户根据所述提示信息调整摄像头的角度，并在调整好所述摄像头的角度后，获取单元301返回执行获取实时采集的校准视频图像的步骤，直至使得每帧所述校准图像中均存在人脸信息为止。
相应地，在一实施例中，如图14所示，图14为本申请实施例提供的一种人脸情绪识别装置的另一示意性框图。该人脸情绪识别装置300还包括向量获取单元313和人脸模型训练单元314。
获取单元301，还用于获取训练样本图像集，其中，所述训练样本图像集包括多个训练样本图像和用于表征所述训练样本图像中是否存在人脸信息的人脸标签。
向量获取单元313，用于获取所述训练样本图像的人脸哈尔特征向量。
人脸模型训练单元314，用于将所述训练样本图像对应的人脸哈尔特征向量以及人脸标签输入至基于决策树模型的Adaboost提升模型中进行训练，以得到人脸检测识别模型，以及存储所述人脸检测识别模型。
变换单元302，用于对所述视频图像中的所有帧图像进行小波变换以得到对应的能量特征向量。
距离计算单元303，用于获取标准能量特征向量，并根据图像差分运算方法计算每个所述能量特征向量与所述标准能量特征向量之间的欧式距离值。
距离判断单元304，用于判断多个所述欧式距离值中是否存在超过预设阈值的欧式距离值。
关键帧获取单元305，用于若多个所述欧式距离值中存在超过所述预设阈值的欧式距离值，将超过所述预设阈值的欧式距离值的能量特征向量对应的图像作为关键帧图像，其中，所述关键帧图像的个数为至少一个。
在一实施例中，关键帧获取单元305，还用于若多个所述欧式距离值中不存在超过所述预设阈值的欧式距离值，将所述标准能量特征向量对应的中性表情图像作为所述关键帧图像。
情绪识别单元306，用于获取预先存储的情绪识别模型，并基于所述情绪识别模型识别每个所述关键帧图像中的人脸情绪。
具体地，在一实施例中，该情绪识别单元306具体用于：依次将每个所述关键帧图像作为输入值输入至所述情绪识别模型中；获取所述情绪识别模型输出的每个所述关键帧图像在多种预设情绪上的概率值；以及将每个所述关键帧图像对应的多个概率值中较大的概率值对应的情绪作为所述关键帧图像中的人脸情绪。
情绪获取单元307，用于根据所有所述关键帧图像中的人脸情绪获取所述视频图像对应的人脸情绪，以完成人脸情绪的识别。
具体地，在一实施例中，该情绪获取单元307具体用于：对所有所述关键帧图像中的人脸情绪进行概率统计；以及将出现概率较大的人脸情绪作为所述视频图像对应的人脸情绪，以完成人脸情绪的识别。
在一实施例中，如图15所示，图15为本申请实施例提供的一种人脸情绪识别装置的另一示意性框图。该人脸情绪识别装置300还包括记录单元315、统计单元316、概率判断单元317和信息提示单元318。
记录单元315，用于将所述视频图像对应的时间段以及所述视频图像对应的人脸情绪记录至情绪列表中。
统计单元316，用于根据所述情绪列表，统计预设时间段内的所有所述视频图像对应的人脸情绪中属于预设情绪类的人脸情绪的概率。
概率判断单元317，用于判断属于预设情绪类的人脸情绪的概率是否超过预设概率值。
信息提示单元318，用于若属于所述预设情绪类的人脸情绪的概率超过所述预设概率值，获取预设提示方式和预设提示信息，并根据所述预设提示方式向用户提示所述预设提示信息。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述人脸情绪识别装置300和各单元的具体实现过程，可以参考前述人脸情绪识别方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
本实施例中的人脸情绪识别装置300可以准确地识别出人脸情绪。
上述人脸情绪识别装置可以实现为一种计算机程序的形式，该计算机程序可以在如图16所示的计算机设备上运行。
请参阅图16，图16是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是手机等终端，也可以是应用于汽车中的设备。
参阅图16，该计算机设备500包括通过***总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作***5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种人脸情绪识别方法。
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种人脸情绪识别方法。
该网络接口505用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图16中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下功能：获取实时采集的视频图像；对所述视频图像中的所有帧图像进行小波变换以得到对应的能量特征向量；获取标准能量特征向量，并根据图像差分运算方法计算每个所述能量特征向量与所述标准能量特征向量之间的欧式距离值；判断多个所述欧式距离值中是否存在超过预设阈值的欧式距离值；若多个所述欧式距离值中存在超过所述预设阈值的欧式距离值，将超过所述预设阈值的欧式距离值的能量特征向量对应的图像作为关键帧图像，其中，所述关键帧图像的个数为至少一个；获取预先存储的情绪识别模型，并基于所述情绪识别模型识别每个所述关键帧图像中的人脸情绪；以及根据所有所述关键帧图像中的人脸情绪获取所述视频图像对应的人脸情绪，以完成人脸情绪的识别。
在一实施例中，处理器502在执行获取实时采集的视频图像之前，还实现如下功能：获取中性表情图像；对所述中性表情图像进行小波变换以得到对应的标准能量特征向量；以及存储所述中性表情图像和标准能量特征向量。
在一实施例中，处理器502在执行获取实时采集的视频图像之前，还实现如下功能：获取情绪训练样本图像集，其中，所述情绪训练样本图像集包括多个情绪训练样本图像和所述情绪训练样本图像中人脸的情绪标签；以及将所述情绪训练样本图像和对应的情绪标签输入至卷积神经网络模型中进行机器学习以得到情绪识别模型，并存储所述情绪识别模型。
在一实施例中，处理器502在执行获取实时采集的视频图像之前，还实现如下功能：获取训练样本图像集，其中，所述训练样本图像集包括多个训练样本图像和用于表征所述训练样本图像中是否存在人脸信息的人脸标签；获取所述训练样本图像的人脸哈尔特征向量；将所述训练样本图像对应的人脸哈尔特征向量以及人脸标签输入至基于决策树模型的Adaboost提升模型中进行训练，以得到人脸检测识别模型；以及存储所述人脸检测识别模型。
在一实施例中，处理器502在执行获取实时采集的视频图像之前，还实现如下功能：获取实时采集的校准视频图像；从所述校准视频图像中的多帧图像中按照预设规则抽取预设帧数的图像作为校准图像；基于预先存储的人脸检测识别模型，判断每帧所述校准图像中是否均存在人脸信息；若每帧所述校准图像中均存在人脸信息，执行获取实时采集的视频图像的步骤；若至少一帧所述校准图像中不存在人脸信息，发出提示信息以使得用户根据所述提示信息调整摄像头的角度，并在调整好所述摄像头的角度后，返回执行获取实时采集的校准视频图像的步骤，直至使得每帧所述校准图像中均存在人脸信息为止。
在一实施例中，处理器502在执行基于所述情绪识别模型识别每个所述关键帧图像中的人脸情绪时，具体实现如下功能：依次将每个所述关键帧图像作为输入值输入至所述情绪识别模型中；获取所述情绪识别模型输出的每个所述关键帧图像在多种预设情绪上的概率值；以及将每个所述关键帧图像对应的多个概率值中较大的概率值对应的情绪作为所述关键帧图像中的人脸情绪。
在一实施例中，处理器502在执行根据所有所述关键帧图像中的人脸情绪获取所述视频图像对应的人脸情绪，以完成人脸情绪的识别时，具体实现如下功能：对所有所述关键帧图像中的人脸情绪进行概率统计；以及将出现概率较大的人脸情绪作为所述视频图像对应的人脸情绪，以完成人脸情绪的识别。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述人脸情绪识别方法实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序可存储于一计算机可读存储介质中。该计算机程序被该计算机***中的至少一个处理器执行，以实现包括如上述各人脸情绪识别方法的实施例的流程步骤。
该存储介质可以是U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本申请实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种人脸情绪识别方法，其特征在于，包括：
获取实时采集的视频图像；
对所述视频图像中的所有帧图像进行小波变换以得到对应的能量特征向量；
获取标准能量特征向量，并根据图像差分运算方法计算每个所述能量特征向量与所述标准能量特征向量之间的欧式距离值；
判断多个所述欧式距离值中是否存在超过预设阈值的欧式距离值；
若多个所述欧式距离值中存在超过所述预设阈值的欧式距离值，将超过所述预设阈值的欧式距离值的能量特征向量对应的图像作为关键帧图像，其中，所述关键帧图像的个数为至少一个；
获取预先存储的情绪识别模型，并基于所述情绪识别模型识别每个所述关键帧图像中的人脸情绪；以及
根据所有所述关键帧图像中的人脸情绪获取所述视频图像对应的人脸情绪，以完成人脸情绪的识别。
2.根据权利要求1所述的人脸情绪识别方法，其特征在于，在所述获取实时采集的视频图像之前，还包括：
获取中性表情图像；
对所述中性表情图像进行小波变换以得到对应的标准能量特征向量；以及
存储所述中性表情图像和标准能量特征向量。
3.根据权利要求1所述的人脸情绪识别方法，其特征在于，在所述获取实时采集的视频图像之前，还包括：
获取情绪训练样本图像集，其中，所述情绪训练样本图像集包括多个情绪训练样本图像和所述情绪训练样本图像中人脸的情绪标签；以及
将所述情绪训练样本图像和对应的情绪标签输入至卷积神经网络模型中进行机器学习以得到情绪识别模型，并存储所述情绪识别模型。
4.根据权利要求1所述的人脸情绪识别方法，其特征在于，在所述获取实时采集的视频图像之前，还包括：
获取训练样本图像集，其中，所述训练样本图像集包括多个训练样本图像和用于表征所述训练样本图像中是否存在人脸信息的人脸标签；
获取所述训练样本图像的人脸哈尔特征向量；
将所述训练样本图像对应的人脸哈尔特征向量以及人脸标签输入至基于决策树模型的Adaboost提升模型中进行训练，以得到人脸检测识别模型；以及
存储所述人脸检测识别模型。
5.根据权利要求4所述的人脸情绪识别方法，其特征在于，在所述获取实时采集的视频图像之前，还包括：
获取实时采集的校准视频图像；
从所述校准视频图像中的多帧图像中按照预设规则抽取预设帧数的图像作为校准图像；
基于预先存储的人脸检测识别模型，判断每帧所述校准图像中是否均存在人脸信息；
若每帧所述校准图像中均存在人脸信息，执行获取实时采集的视频图像的步骤；
若至少一帧所述校准图像中不存在人脸信息，发出提示信息以使得用户根据所述提示信息调整摄像头的角度，并在调整好所述摄像头的角度后，返回执行获取实时采集的校准视频图像的步骤，直至使得每帧所述校准图像中均存在人脸信息为止。
6.根据权利要求1所述的人脸情绪识别方法，其特征在于，所述基于所述情绪识别模型识别每个所述关键帧图像中的人脸情绪，包括：
依次将每个所述关键帧图像作为输入值输入至所述情绪识别模型中；
获取所述情绪识别模型输出的每个所述关键帧图像在多种预设情绪上的概率值；以及
将每个所述关键帧图像对应的多个概率值中较大的概率值对应的情绪作为所述关键帧图像中的人脸情绪。
7.根据权利要求1所述的人脸情绪识别方法，其特征在于，所述根据所有所述关键帧图像中的人脸情绪获取所述视频图像对应的人脸情绪，以完成人脸情绪的识别，包括：
对所有所述关键帧图像中的人脸情绪进行概率统计；以及
将出现概率较大的人脸情绪作为所述视频图像对应的人脸情绪，以完成人脸情绪的识别。
8.一种人脸情绪识别装置，其特征在于，包括：
获取单元，用于获取实时采集的视频图像；
变换单元，用于对所述视频图像中的所有帧图像进行小波变换以得到对应的能量特征向量；
距离计算单元，用于获取标准能量特征向量，并根据图像差分运算方法计算每个所述能量特征向量与所述标准能量特征向量之间的欧式距离值；
距离判断单元，用于判断多个所述欧式距离值中是否存在超过预设阈值的欧式距离值；
关键帧获取单元，用于若多个所述欧式距离值中存在超过所述预设阈值的欧式距离值，将超过所述预设阈值的欧式距离值的能量特征向量对应的图像作为关键帧图像，其中，所述关键帧图像的个数为至少一个；
情绪识别单元，用于获取预先存储的情绪识别模型，并基于所述情绪识别模型识别每个所述关键帧图像中的人脸情绪；以及
情绪获取单元，用于根据所有所述关键帧图像中的人脸情绪获取所述视频图像对应的人脸情绪，以完成人脸情绪的识别。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项的人脸情绪识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7中任一项所述的人脸情绪识别方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810892915.6A CN109190487A (zh) | 2018-08-07 | 2018-08-07 | 人脸情绪识别方法、装置、计算机设备及存储介质 |
| PCT/CN2018/108251 WO2020029406A1 (zh) | 2018-08-07 | 2018-09-28 | 人脸情绪识别方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810892915.6A CN109190487A (zh) | 2018-08-07 | 2018-08-07 | 人脸情绪识别方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109190487A true CN109190487A (zh) | 2019-01-11 |
Family
ID=64921037
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810892915.6A Pending CN109190487A (zh) | 2018-08-07 | 2018-08-07 | 人脸情绪识别方法、装置、计算机设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109190487A (zh) |
| WO (1) | WO2020029406A1 (zh) |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109784277A (zh) * | 2019-01-17 | 2019-05-21 | 南京大学 | 一种基于智能眼镜的情绪识别方法 |
| CN109816893A (zh) * | 2019-01-23 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 信息发送方法、装置、服务器及存储介质 |
| CN109871807A (zh) * | 2019-02-21 | 2019-06-11 | 百度在线网络技术（北京）有限公司 | 人脸图像处理方法和装置 |
| CN109934097A (zh) * | 2019-01-23 | 2019-06-25 | 深圳市中银科技有限公司 | 一种基于人工智能的表情和心理健康管理*** |
| CN109992505A (zh) * | 2019-03-15 | 2019-07-09 | 平安科技（深圳）有限公司 | 应用程序测试方法、装置、计算机设备及存储介质 |
| CN110047588A (zh) * | 2019-03-18 | 2019-07-23 | 平安科技（深圳）有限公司 | 基于微表情的呼叫方法、装置、计算机设备及存储介质 |
| CN110175526A (zh) * | 2019-04-28 | 2019-08-27 | 平安科技（深圳）有限公司 | 狗情绪识别模型训练方法、装置、计算机设备及存储介质 |
| CN110399837A (zh) * | 2019-07-25 | 2019-11-01 | 深圳智慧林网络科技有限公司 | 用户情绪识别方法、装置以及计算机可读存储介质 |
| CN110414323A (zh) * | 2019-06-14 | 2019-11-05 | 平安科技（深圳）有限公司 | 情绪检测方法、装置、电子设备及存储介质 |
| CN110751381A (zh) * | 2019-09-30 | 2020-02-04 | 东南大学 | 一种路怒车辆风险评估和防控方法 |
| CN110991427A (zh) * | 2019-12-25 | 2020-04-10 | 北京百度网讯科技有限公司 | 用于视频的情绪识别方法、装置和计算机设备 |
| CN111401198A (zh) * | 2020-03-10 | 2020-07-10 | 广东九联科技股份有限公司 | 观众情绪识别方法、装置及*** |
| CN111767779A (zh) * | 2020-03-18 | 2020-10-13 | 北京沃东天骏信息技术有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
| CN111783587A (zh) * | 2020-06-22 | 2020-10-16 | 腾讯数码（天津）有限公司 | 一种互动方法、装置和存储介质 |
| CN111859025A (zh) * | 2020-07-03 | 2020-10-30 | 广州华多网络科技有限公司 | 表情指令生成方法、装置、设备及存储介质 |
| CN112541425A (zh) * | 2020-12-10 | 2021-03-23 | 深圳地平线机器人科技有限公司 | 情绪检测方法、装置、介质及电子设备 |
| CN112699774A (zh) * | 2020-12-28 | 2021-04-23 | 深延科技(北京)有限公司 | 视频中人物的情绪识别方法及装置、计算机设备及介质 |
| CN113076813A (zh) * | 2021-03-12 | 2021-07-06 | 首都医科大学宣武医院 | 面具脸特征识别模型训练方法和装置 |
| CN113128399A (zh) * | 2021-04-19 | 2021-07-16 | 重庆大学 | 一种用于情感识别的语音图像关键帧提取方法 |
| CN113505665A (zh) * | 2021-06-28 | 2021-10-15 | 哈尔滨工业大学（深圳） | 基于视频的学生在校情绪判读方法以及装置 |
| CN114005153A (zh) * | 2021-02-01 | 2022-02-01 | 南京云思创智信息科技有限公司 | 面貌多样性的个性化微表情实时识别方法 |
| CN110097004B (zh) * | 2019-04-30 | 2022-03-29 | 北京字节跳动网络技术有限公司 | 面部表情识别方法和装置 |
| CN114694234A (zh) * | 2022-06-02 | 2022-07-01 | 杭州智诺科技股份有限公司 | 情绪识别方法、***、电子设备和存储介质 |
| EP4024403A1 (en) * | 2020-12-31 | 2022-07-06 | Acer Incorporated | Method and system for mental index prediction |
| CN116343314A (zh) * | 2023-05-30 | 2023-06-27 | 之江实验室 | 一种表情识别方法、装置、存储介质及电子设备 |
| CN116563915A (zh) * | 2023-04-28 | 2023-08-08 | 深圳大器时代科技有限公司 | 一种基于深度学习算法的人脸状态识别方法及装置 |
| CN116665281A (zh) * | 2023-06-28 | 2023-08-29 | 湖南创星科技股份有限公司 | 一种基于医患交互的关键情绪提取方法 |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111627086A (zh) * | 2020-06-03 | 2020-09-04 | 上海商汤智能科技有限公司 | 一种头像的展示方法、装置、计算机设备及存储介质 |
| CN111860407B (zh) * | 2020-07-29 | 2023-04-25 | 华侨大学 | 一种视频中人物的表情识别方法、装置、设备及存储介质 |
| CN111950447B (zh) * | 2020-08-11 | 2023-08-22 | 合肥工业大学 | 基于走路姿态的情绪识别方法和***、存储介质 |
| CN112016437B (zh) * | 2020-08-26 | 2023-02-10 | 中国科学院重庆绿色智能技术研究院 | 一种基于人脸视频关键帧的活体检测方法 |
| CN112364736A (zh) * | 2020-10-30 | 2021-02-12 | 深圳点猫科技有限公司 | 一种动态人脸表情识别方法、装置及设备 |
| CN112507824A (zh) * | 2020-11-27 | 2021-03-16 | 长威信息科技发展股份有限公司 | 一种视频图像特征识别的方法及*** |
| CN112418146B (zh) * | 2020-12-02 | 2024-04-30 | 深圳市优必选科技股份有限公司 | 表情识别方法、装置、服务机器人和可读存储介质 |
| CN112507959A (zh) * | 2020-12-21 | 2021-03-16 | 中国科学院心理研究所 | 一种基于视频中个体面部分析的情绪感知模型的建立方法 |
| CN112712022B (zh) * | 2020-12-29 | 2023-05-23 | 华南理工大学 | 基于图像识别的压力检测方法、***、装置及存储介质 |
| CN112686195B (zh) * | 2021-01-07 | 2024-06-14 | 风变科技（深圳）有限公司 | 情绪识别方法、装置、计算机设备和存储介质 |
| CN113434647B (zh) * | 2021-06-18 | 2024-01-12 | 竹间智能科技（上海）有限公司 | 一种人机交互方法、***及存储介质 |
| CN114943924B (zh) * | 2022-06-21 | 2024-05-14 | 深圳大学 | 基于人脸表***的疼痛评估方法、***、设备及介质 |
| CN115177252B (zh) * | 2022-07-13 | 2024-01-12 | 承德石油高等专科学校 | 一种可便捷操作的智能养老服务心理疏导装置 |
| CN115019374B (zh) * | 2022-07-18 | 2022-10-11 | 北京师范大学 | 基于人工智能的智慧课堂学生专注度低耗检测方法及*** |
| CN114998440B (zh) * | 2022-08-08 | 2022-11-11 | 广东数业智能科技有限公司 | 基于多模态的测评方法、装置、介质及设备 |
| CN117312992B (zh) * | 2023-11-30 | 2024-03-12 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 多视角人脸特征与音频特征融合的情绪识别方法及*** |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103870820A (zh) * | 2014-04-04 | 2014-06-18 | 南京工程学院 | 极端光照人脸识别的光照归一化方法 |
| CN104298682A (zh) * | 2013-07-18 | 2015-01-21 | 广州华久信息科技有限公司 | 一种基于人脸表情图像的信息推荐效果的评价方法及手机 |
| CN106295566A (zh) * | 2016-08-10 | 2017-01-04 | 北京小米移动软件有限公司 | 人脸表情识别方法及装置 |
| CN106951856A (zh) * | 2017-03-16 | 2017-07-14 | 腾讯科技（深圳）有限公司 | 表情包提取方法及装置 |
| CN106980811A (zh) * | 2016-10-21 | 2017-07-25 | 商汤集团有限公司 | 人脸表情识别方法和人脸表情识别装置 |
| CN107358169A (zh) * | 2017-06-21 | 2017-11-17 | 厦门中控智慧信息技术有限公司 | 一种人脸表情识别方法及人脸表情识别装置 |
| CN107633203A (zh) * | 2017-08-17 | 2018-01-26 | 平安科技（深圳）有限公司 | 面部情绪识别方法、装置及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104008391A (zh) * | 2014-04-30 | 2014-08-27 | 首都医科大学 | 一种基于非线性降维的人脸微表情捕捉及识别方法 |
| CN105354527A (zh) * | 2014-08-20 | 2016-02-24 | 南京普爱射线影像设备有限公司 | 一种消极表情识别鼓励*** |
| CN107403142B (zh) * | 2017-07-05 | 2018-08-21 | 山东中磁视讯股份有限公司 | 一种微表情的检测方法 |
| CN107665074A (zh) * | 2017-10-18 | 2018-02-06 | 维沃移动通信有限公司 | 一种色温调节方法及移动终端 |
-
2018
- 2018-08-07 CN CN201810892915.6A patent/CN109190487A/zh active Pending
- 2018-09-28 WO PCT/CN2018/108251 patent/WO2020029406A1/zh active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104298682A (zh) * | 2013-07-18 | 2015-01-21 | 广州华久信息科技有限公司 | 一种基于人脸表情图像的信息推荐效果的评价方法及手机 |
| CN103870820A (zh) * | 2014-04-04 | 2014-06-18 | 南京工程学院 | 极端光照人脸识别的光照归一化方法 |
| CN106295566A (zh) * | 2016-08-10 | 2017-01-04 | 北京小米移动软件有限公司 | 人脸表情识别方法及装置 |
| CN106980811A (zh) * | 2016-10-21 | 2017-07-25 | 商汤集团有限公司 | 人脸表情识别方法和人脸表情识别装置 |
| CN106951856A (zh) * | 2017-03-16 | 2017-07-14 | 腾讯科技（深圳）有限公司 | 表情包提取方法及装置 |
| CN107358169A (zh) * | 2017-06-21 | 2017-11-17 | 厦门中控智慧信息技术有限公司 | 一种人脸表情识别方法及人脸表情识别装置 |
| CN107633203A (zh) * | 2017-08-17 | 2018-01-26 | 平安科技（深圳）有限公司 | 面部情绪识别方法、装置及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 许宏: "基于图像差分的关键帧检测技术", 《计算机工程与设计》, 31 December 2010 (2010-12-31) * |
| 郭宝龙等: "《数字图像处理***工程导论》", 北京：北京理工大学出版社, pages: 192 - 196 * |
Cited By (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109784277A (zh) * | 2019-01-17 | 2019-05-21 | 南京大学 | 一种基于智能眼镜的情绪识别方法 |
| CN109816893A (zh) * | 2019-01-23 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 信息发送方法、装置、服务器及存储介质 |
| CN109934097A (zh) * | 2019-01-23 | 2019-06-25 | 深圳市中银科技有限公司 | 一种基于人工智能的表情和心理健康管理*** |
| CN109871807A (zh) * | 2019-02-21 | 2019-06-11 | 百度在线网络技术（北京）有限公司 | 人脸图像处理方法和装置 |
| CN109992505A (zh) * | 2019-03-15 | 2019-07-09 | 平安科技（深圳）有限公司 | 应用程序测试方法、装置、计算机设备及存储介质 |
| CN110047588A (zh) * | 2019-03-18 | 2019-07-23 | 平安科技（深圳）有限公司 | 基于微表情的呼叫方法、装置、计算机设备及存储介质 |
| CN110175526A (zh) * | 2019-04-28 | 2019-08-27 | 平安科技（深圳）有限公司 | 狗情绪识别模型训练方法、装置、计算机设备及存储介质 |
| CN110097004B (zh) * | 2019-04-30 | 2022-03-29 | 北京字节跳动网络技术有限公司 | 面部表情识别方法和装置 |
| CN110414323A (zh) * | 2019-06-14 | 2019-11-05 | 平安科技（深圳）有限公司 | 情绪检测方法、装置、电子设备及存储介质 |
| CN110399837B (zh) * | 2019-07-25 | 2024-01-05 | 深圳智慧林网络科技有限公司 | 用户情绪识别方法、装置以及计算机可读存储介质 |
| CN110399837A (zh) * | 2019-07-25 | 2019-11-01 | 深圳智慧林网络科技有限公司 | 用户情绪识别方法、装置以及计算机可读存储介质 |
| CN110751381A (zh) * | 2019-09-30 | 2020-02-04 | 东南大学 | 一种路怒车辆风险评估和防控方法 |
| CN110991427A (zh) * | 2019-12-25 | 2020-04-10 | 北京百度网讯科技有限公司 | 用于视频的情绪识别方法、装置和计算机设备 |
| CN110991427B (zh) * | 2019-12-25 | 2023-07-14 | 北京百度网讯科技有限公司 | 用于视频的情绪识别方法、装置和计算机设备 |
| CN111401198A (zh) * | 2020-03-10 | 2020-07-10 | 广东九联科技股份有限公司 | 观众情绪识别方法、装置及*** |
| CN111401198B (zh) * | 2020-03-10 | 2024-04-23 | 广东九联科技股份有限公司 | 观众情绪识别方法、装置及*** |
| CN111767779A (zh) * | 2020-03-18 | 2020-10-13 | 北京沃东天骏信息技术有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
| CN111783587A (zh) * | 2020-06-22 | 2020-10-16 | 腾讯数码（天津）有限公司 | 一种互动方法、装置和存储介质 |
| CN111859025A (zh) * | 2020-07-03 | 2020-10-30 | 广州华多网络科技有限公司 | 表情指令生成方法、装置、设备及存储介质 |
| CN112541425A (zh) * | 2020-12-10 | 2021-03-23 | 深圳地平线机器人科技有限公司 | 情绪检测方法、装置、介质及电子设备 |
| CN112699774A (zh) * | 2020-12-28 | 2021-04-23 | 深延科技(北京)有限公司 | 视频中人物的情绪识别方法及装置、计算机设备及介质 |
| CN112699774B (zh) * | 2020-12-28 | 2024-05-24 | 深延科技(北京)有限公司 | 视频中人物的情绪识别方法及装置、计算机设备及介质 |
| EP4024403A1 (en) * | 2020-12-31 | 2022-07-06 | Acer Incorporated | Method and system for mental index prediction |
| US11955245B2 (en) | 2020-12-31 | 2024-04-09 | Acer Incorporated | Method and system for mental index prediction |
| CN114005153A (zh) * | 2021-02-01 | 2022-02-01 | 南京云思创智信息科技有限公司 | 面貌多样性的个性化微表情实时识别方法 |
| CN113076813A (zh) * | 2021-03-12 | 2021-07-06 | 首都医科大学宣武医院 | 面具脸特征识别模型训练方法和装置 |
| CN113076813B (zh) * | 2021-03-12 | 2024-04-12 | 首都医科大学宣武医院 | 面具脸特征识别模型训练方法和装置 |
| CN113128399A (zh) * | 2021-04-19 | 2021-07-16 | 重庆大学 | 一种用于情感识别的语音图像关键帧提取方法 |
| CN113505665B (zh) * | 2021-06-28 | 2023-06-20 | 哈尔滨工业大学（深圳） | 基于视频的学生在校情绪判读方法以及装置 |
| CN113505665A (zh) * | 2021-06-28 | 2021-10-15 | 哈尔滨工业大学（深圳） | 基于视频的学生在校情绪判读方法以及装置 |
| CN114694234A (zh) * | 2022-06-02 | 2022-07-01 | 杭州智诺科技股份有限公司 | 情绪识别方法、***、电子设备和存储介质 |
| CN116563915A (zh) * | 2023-04-28 | 2023-08-08 | 深圳大器时代科技有限公司 | 一种基于深度学习算法的人脸状态识别方法及装置 |
| CN116343314B (zh) * | 2023-05-30 | 2023-08-25 | 之江实验室 | 一种表情识别方法、装置、存储介质及电子设备 |
| CN116343314A (zh) * | 2023-05-30 | 2023-06-27 | 之江实验室 | 一种表情识别方法、装置、存储介质及电子设备 |
| CN116665281A (zh) * | 2023-06-28 | 2023-08-29 | 湖南创星科技股份有限公司 | 一种基于医患交互的关键情绪提取方法 |
| CN116665281B (zh) * | 2023-06-28 | 2024-05-10 | 湖南创星科技股份有限公司 | 一种基于医患交互的关键情绪提取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020029406A1 (zh) | 2020-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109190487A (zh) | 人脸情绪识别方法、装置、计算机设备及存储介质 | |
| CN110085225B (zh) | 语音交互方法、装置、智能机器人及计算机可读存储介质 | |
| CN111190939B (zh) | 一种用户画像构建方法及装置 | |
| US8781991B2 (en) | Emotion recognition apparatus and method | |
| CN109523652B (zh) | 基于驾驶行为的保险的处理方法、装置、设备及存储介质 | |
| Vhaduri et al. | Estimating drivers' stress from GPS traces | |
| CN107943583B (zh) | 应用程序的处理方法、装置、存储介质及电子设备 | |
| CN109875579A (zh) | 情绪健康管理***和情绪健康管理方法 | |
| CN107480624B (zh) | 常住人口获取方法、装置及***、计算机装置和存储介质 | |
| US11468984B2 (en) | Device, method and application for establishing a current load level | |
| CN106792456A (zh) | 数据分析***和方法 | |
| CN108124485A (zh) | 针对肢体冲突行为的告警方法、装置、存储介质及服务器 | |
| CN108197592B (zh) | 信息获取方法和装置 | |
| CN108875682A (zh) | 信息推送方法和装置 | |
| US20160361999A1 (en) | Automated distraction measurement of machine operator | |
| CN113592817A (zh) | 检测呼吸率的方法、装置、存储介质及电子设备 | |
| CN112299172A (zh) | 手势求救的识别方法、装置及存储介质 | |
| CN112435469A (zh) | 车辆预警控制方法、装置、计算机可读介质及电子设备 | |
| CN110135345A (zh) | 基于深度学习的行为识别方法、装置、设备及存储介质 | |
| CN107728772B (zh) | 应用程序的处理方法、装置、存储介质及电子设备 | |
| CN113576452A (zh) | 基于热成像的呼吸率检测方法、装置及电子设备 | |
| CN113592785A (zh) | 一种目标流量统计方法及装置 | |
| CN115620384A (zh) | 模型训练方法、眼底图像预测方法及装置 | |
| CN110516760A (zh) | 情境识别方法、装置、终端及计算机可读存储介质 | |
| CN105232063B (zh) | 用户心理健康检测方法及智能终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190111 |