CN112686195A - 情绪识别方法、装置、计算机设备和存储介质 - Google Patents
情绪识别方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112686195A CN112686195A CN202110017082.0A CN202110017082A CN112686195A CN 112686195 A CN112686195 A CN 112686195A CN 202110017082 A CN202110017082 A CN 202110017082A CN 112686195 A CN112686195 A CN 112686195A
- Authority
- CN
- China
- Prior art keywords
- emotion
- probability
- type
- local
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 47
- 230000008451 emotion Effects 0.000 claims abstract description 306
- 230000009471 action Effects 0.000 claims abstract description 127
- 230000001815 facial effect Effects 0.000 claims abstract description 61
- 238000013136 deep learning model Methods 0.000 claims abstract description 40
- 210000004709 eyebrow Anatomy 0.000 claims description 86
- 230000014509 gene expression Effects 0.000 claims description 60
- 210000003128 head Anatomy 0.000 claims description 42
- 238000004590 computer program Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 23
- 238000010586 diagram Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 8
- 230000007935 neutral effect Effects 0.000 description 48
- 210000001508 eye Anatomy 0.000 description 23
- 230000000630 rising effect Effects 0.000 description 19
- 238000012937 correction Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000003068 static effect Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000004886 head movement Effects 0.000 description 5
- 230000036651 mood Effects 0.000 description 5
- 206010028813 Nausea Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000028161 membrane depolarization Effects 0.000 description 3
- 230000008693 nausea Effects 0.000 description 3
- 206010063659 Aversion Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及一种情绪识别方法、装置、计算机设备和存储介质。所述方法包括：获取待识别面部图片；通过预先训练的用于情绪识别的深度学习模型对所述待识别面部图片进行情绪分类，得到预设类型情绪的概率；所述预设类型的情绪包括第一类型情绪和第二类型情绪；当所述第一类型情绪的概率大于第一阈值时，对所述待识别面部图片进行识别得到局部特征值；获取局部特征判断规则，并根据所述局部特征判断规则对所述局部特征值进行计算，得到局部动作概率；根据所述第一类型情绪的概率、所述第二类型情绪的概率和所述局部动作概率，得到所述待识别面部图片对应的情绪。采用本方法能够提高情绪识别的准确率。
Description
技术领域
本申请涉及图像识别技术领域，特别是涉及一种情绪识别方法、装置、计算机设备和存储介质。
背景技术
随着人工智能技术的发展，出现了面部微表情识别技术，传统的面部微表情识别技术通常包括基于面部特征的方法和基于深度学习的方法。
其中基于深度学习的方法，通常是采用卷积神经网络，即以数据驱动为主的，虽然能带来较好的识别效果，但其缺点是只能识别训练集上有标注的表情，目前比较主流的数据集上提供的有标注的表情类别通常只有6至8类。
基于面部特征的方法则需要面部特征定义规则，但是该些部分特征定义规则不完善，例如采用眼睛中心点和眉毛两端点之间的夹角计算夹角来判断人是否发生皱眉，然而眼睛中心会由于眼球运动产生剧烈的变化，从而影响角度计算的准确性，对皱眉产生漏判和误判。
因此急需一种能够准确地识别情绪的方法。
发明内容
基于此，有必要针对上述技术问题，提供一种能够融合面部特征和深度学习以提高准确性的情绪识别方法、装置、计算机设备和存储介质。
一种情绪识别方法，所述方法包括：
获取待识别面部图片；
通过预先训练的用于情绪识别的深度学习模型对所述待识别面部图片进行情绪分类，得到预设类型情绪的概率；所述预设类型的情绪包括第一类型情绪和第二类型情绪；
当所述第一类型情绪的概率大于第一阈值时，对所述待识别面部图片进行识别得到局部特征值；
获取局部特征判断规则，并根据所述局部特征判断规则对所述局部特征值进行计算，得到局部动作概率；
根据所述第一类型情绪的概率、所述第二类型情绪的概率和所述局部动作概率，得到所述待识别面部图片对应的情绪。
在其中一个实施例中，所述通过预先训练的用于情绪识别的深度学习模型对所述待识别面部图片进行情绪分类，得到预设类型情绪的概率，包括：
采用按照预设顺序串联的深度可分离卷积层依次提取特征图；
当所述特征图大小为预设大小时，采用在所述深度可分离卷积层之间增加的感受野扩大模块进行特征图提取；
通过全连接层对所得到的特征图进行处理，得到预设类型情绪的概率。
在一个实施例中，所述对所述待识别面部图片进行识别得到局部特征值之后，还包括：
将所述局部特征值按照时间顺序更新至局部特征动态序列中。
在一个实施例中，所述获取局部特征判断规则，并根据所述局部特征判断规则对所述局部特征值进行计算，得到局部动作概率，包括：
通过预设的规则从所述局部特征动态序列中提取第一类型情绪下眉毛角度；
确定当前表情下眉毛角度与所述第一类型情绪下眉毛角度的第一差值以及皱眉表情下眉毛角度与所述第一类型情绪下眉毛角度的第一最大差值；
根据所述第一差值与所述第一最大差值的比率得到皱眉概率。
在一个实施例中，所述获取局部特征判断规则，并根据所述局部特征判断规则对所述局部特征值进行计算，得到局部动作概率，包括：
通过预设的规则从所述局部特征动态序列中提取第一类型情绪下嘴角特征值；
确定当前表情下所述嘴角特征值与所述第一类型情绪下嘴角特征值的第二差值，嘴角上扬表情下嘴角特征值与所述第一类型情绪下嘴角特征值的第二最大差值以及嘴角下移表情下嘴角特征值与所述第一类型情绪下嘴角特征值的第三最大差值；
根据所述第二差值与所述第二最大差值的比率得到嘴角上扬概率，根据所述第二差值与所述第三最大差值的比率得到嘴角下移概率。
在一个实施例中，所述方法还包括：
对所述待识别面部图片进行识别，得到头部动作的欧拉角；
当所述欧拉角的绝对值大于第二阈值时，对所述局部动作概率进行校正。
在一个实施例中，所述方法还包括：
对所述待识别面部图片进行识别，得到头部动作的欧拉角；
将所述欧拉角按照时间顺序更新至头部动作动态序列中；
当所述头部动作动态序列中欧拉角的极大值和极小值差的绝对值大于第四阈值时，对所述局部动作概率进行校正。
在一个实施例中，所述根据所述第一类型情绪的概率、所述第二类型情绪的概率和局部动作概率，得到所述待识别面部图片对应的情绪，包括：
当所述局部动作概率大于第三阈值时，对所述第一类型情绪的概率和所述第二类型情绪的概率进行校正；
根据校正后的所述第一类型情绪的概率和所述第二类型情绪的概率，得到所述待识别面部图片对应的情绪。
一种情绪识别装置，所述装置包括：
图片获取模块，用于获取待识别面部图片；
情绪概率计算模块，用于通过预先训练的用于情绪识别的深度学习模型对所述待识别面部图片进行情绪分类，得到预设类型情绪的概率；所述预设类型的情绪包括第一类型情绪和第二类型情绪；
局部特征值识别模块，用于当所述第一类型情绪的概率大于第一阈值时，对所述待识别面部图片进行识别得到局部特征值；
局部动作概率计算模块，用于获取局部特征判断规则，并根据所述局部特征判断规则对所述局部特征值进行计算，得到局部动作概率；
情绪判定模块，用于根据所述第一类型情绪的概率、所述第二类型情绪的概率和所述局部动作概率，得到所述待识别面部图片对应的情绪。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例中所述的方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例中所述的方法的步骤。
上述表情识别方法、装置、计算机设备和存储介质，终端采用以训练集数据驱动的深度学习模型，提高了在复杂现实场景下的情绪识别的准确率，通过局部特征判断规则计算情绪概率，则解决了深度学习模型不能识别训练集标注数据之外的情绪。融合深度学习模型和局部特征判断规则之后，大大提高了情绪识别的准确率，适用性和灵活度。
附图说明
图1为一个实施例中情绪识别方法的流程示意图；
图2为一个实施例中通过深度学习模型得到情绪概率的流程示意图；
图3为一个实施例中获得皱眉概率的流程示意图；
图4为一个实施例中获得嘴角上扬或者下移概率的流程示意图；
图5为一个实施例中通过欧拉角校正局部动作概率的流程示意图；
图6为一个实施例中通过欧拉角序列校正局部动作概率的流程示意图；
图7为一个实施例中校正情绪概率的流程示意图；
图8为一个实施例中情绪识别方法的整体流程示意图；
图9为一个实施例中情绪识别装置的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种情绪识别方法，本实施例以该方法应用于终端为例进行说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的***，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤S102，获取待识别面部图片。
其中，待识别面部图片可以是带有面部表情特征的图像或一段视频中的一帧画面。
具体地，终端通过前置摄像头采集用户的脸部图片或者以其他方式获取带有面部表情特征的图片，比如从本地相册中获取脸部图片。
步骤S104，通过预先训练的用于情绪识别的深度学习模型对待识别面部图片进行情绪分类，得到预设类型情绪的概率；预设类型的情绪包括第一类型情绪和第二类型情绪。
其中，深度学习模型包括但不限于多层结构的卷积神经网络模型。该模型是预先训练得到的，输入是面部图片，输出是预设类型情绪的概率。
在其中一个实施例中，预设类型情绪主要包括第一类型情绪和第二类型情绪，具体地第一类型情绪包括中性情绪，第二类型情绪可以包括消极情绪和积极情绪。其中消极情绪包括：悲伤、生气、厌恶、恐惧以及恶心。积极情绪包括：开心和惊讶。
具体地，终端使用训练过的深度学习模型对输入的图片进行情绪分类，分别得到积极情绪、消极情绪和中性情绪的概率。
步骤S106，当第一类型情绪的概率大于第一阈值时，对待识别面部图片进行识别得到局部特征值。
其中，第一类型情绪是指中性情绪，第一阈值是一个根据实验或者经验预先设定好的概率值，比如95％，在此不作具体的限定。局部特征值包括眼部特征值和嘴部特征值其中至少一个。
具体地，当终端通过深度学习模型判定中性情绪的概率大于设定的阈值时，对待识别的面部图片进行识别，提取面部关键点，进一步得到眼部的特征值和嘴部的特征值。另外，当终端通过深度学习模型判定中性情绪的概率小于等于设定的阈值时，则直接输出积极情绪，消极情绪和中性情绪的概率。
之所以要单独针对中性情绪进行局部动作分析是因为情绪识别深度学习模型能较好地识别明显的正负向情绪，但是对于如皱眉、轻微嘴角上扬或下移等微表情，容易将其误判为中性情绪，因此在中性情绪概率较高时，终端进一步采用动态特征分析来识别微表情，从而提高情绪概率的准确性。
步骤S108，获取局部特征判断规则，并根据局部特征判断规则对局部特征值进行计算，得到局部动作概率。
其中，局部特征判断规则是一套预先定义的特征值计算方法，可以通过该方法对特征值进行计算，从而得到局部动作的概率。其中，局部动作主要包括眼部动作和嘴部动作，因此对应的局部特征判断规则是眼部动作的特征值计算方法和嘴部动作的特征值计算方法。眼部动作是指皱眉，嘴部动作是指嘴角上扬或嘴角下移。
具体地，终端获取眼部皱眉动作的概率计算方法，根据采集到的眉毛的特征值，通过皱眉动作的计算方法，得到脸部图片中皱眉的概率。终端获取嘴部嘴角动作的概率计算方法，根据采集到的嘴角的特征值，通过嘴角动作的计算方法，得到脸部图片中嘴角上扬或者嘴角下移的概率。
步骤S110，根据第一类型情绪的概率、第二类型情绪的概率和局部动作概率，得到待识别面部图片对应的情绪。
其中，在经过归一化处理之后，第一类型情绪的概率与第二类型情绪的概率的相加的和为1。例如中性情绪概率为20％，积极情绪的概率为80％，消极情绪的概率为0％，三者相加为100％。局部动作的概率会影响第二类情绪的概率，第二类情绪包括积极情绪和消极情绪。第一类情绪包括中性情绪。
具体地，终端会对各个情绪进行相应的校正，比如局部动作会对积极情绪和消极情绪产生影响，终端会根据预先设定的校正规则对第一类型和第二类型的情绪做一个校正。例如当发生局部动作的时候，可以将局部动作的概率视为对应的积极或消极情绪的概率，中性情绪的概率为1-局部动作的概率，最后通过一个情绪面板输出所有不同情绪的概率，并同时输出局部动作的概率。
上述情绪识别方法中，终端采用以训练集数据驱动的深度学习模型，提高了在复杂现实场景下的情绪识别的准确率，通过局部特征判断规则计算情绪概率，则解决了深度学习模型不能识别训练集标注数据之外的情绪。融合深度学习模型和局部特征判断规则之后，大大提高了情绪识别的准确率，适用性和灵活度。
在一个实施例中，如图2所示，通过预先训练的用于情绪识别的深度学习模型对待识别面部图片进行情绪分类，得到预设类型情绪的概率，包括：
步骤S202，采用按照预设顺序串联的深度可分离卷积层依次提取特征图。
其中，可分离卷积相比常规的卷积操作，深度可分离卷积用到的参数数量和运算成本相对较低，模型整体大小较小，深度学习模型的基本结构为预设顺序串联的深度可分离卷积层，这样本实施例中，模型总体大小在1.3Mb左右，在CPU上性能在140fps左右。可分离卷积层之间可以采用残差连接技巧。使用残差连接即将模型的拟合函数由F(X)变成了F(X)+X，既可以缓解梯度消失，也可以降低拟合函数F的拟合难度。此时拟合函数只需要拟合残差，而不是直接拟合X本身。
具体地，终端将面部图片输入给预先训练的深度学习模型中的第一层卷积，一般为常规卷积，从深度学习模型的每二层开始，采用可分离卷积接收上一层卷积输出的特征图，经过对特征图的再提取，把再提取的特征图传递给下一层可分离卷积进行特征图提取。另外，在不同卷积层之间根据实验或者经验选择是否采用残差连接技巧。
例如，一个深度学习模型的结构如表1所示。表中skip＝true表示在该层使用残差连接技巧，skip＝false则表示不使用残差连接技巧。
表1深度学习模型的结构
步骤S204，当特征图大小为预设大小时，采用在深度可分离卷积层之间增加感受野扩大模块进行特征图提取。
其中，感受野扩大模块结合了初始(inception)结构和空洞卷积，可以在减少参数量的同时，增强模型的特征抽取能力。例如采用1、3、5的卷积核配合1、2、2的空洞比率。
具体地，当特征图大小满足预设的大小时，例如16*16，在所在的前后卷积层之间加入感受野扩大模块RFBBlock。
步骤S206，通过全连接层对所得到的特征图进行处理，得到预设类型情绪的概率。
其中，全连接层起到了分类器的作用，可由卷积层操作实现：对前层是全连接的全连接层可以转化为卷积核为1*1的卷积，全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来，预设类型情绪是指积极情绪、消极情绪和中性情绪。
具体地，终端通过全连接层将各卷积层提取的特征图映射到已经标记的空间，从而实现分类，在做归一化处理之后，统一输出积极情绪、消极情绪和中性情绪的概率。
本实施例中，终端通过采用轻量级深度学习模型，占用内存少，运算耗时小，在保留了卷积神经网络在复杂场景下的情绪识别优势的同时，终端又能做到实时地运行该深度模型，且对终端本身的硬件性能没有特殊的要求，能在设备性能有限的场景下使用，适用性得到了增强。
在一个实施例中，对待识别面部图片进行识别得到局部特征值之后，还包括：将局部特征值按照时间顺序更新至局部特征动态序列中。
其中，局部特征值是指在中性情绪的概率被深度学习模型判定超过第一阈值时，终端记录下来的眼部特征值和嘴部特征值。局部特征动态序列用于保存一段时间内每一帧画面中被终端记录下来的中性情绪下的局部特征值，即眼部特征值或嘴部特征值。局部特征动态序列可以包括眼部特征动态序列和嘴部特征动态序列两个动态序列。局部特征动态序列中的局部特征值按照时间顺序排序。且动态序列中的局部特征值随时间的变化进行更新。
具体地，当终端通过深度学习模型判断第一次输入的脸部图片是中性情绪的概率大于第一阈值时，例如95％，则将图片上的眼部特征值和嘴部特征值记录下来，并存储至局部特征动态序列中。具体地，当局部特征动态序列没有被填满时，将眼部特征值和嘴部特征值按照时间顺序分别写入对应的眼部特征动态序列和嘴部特征动态序列中。当局部特征动态序列被填满时，按照时间顺序，用识别到的最新的局部特征值替换动态序列中保存时间最长的局部特征值。当输入的脸部图片是一帧一帧的视频图像时，只要深度学习模型判断脸部图片是中性情绪的概率大于第一阈值时，记录每一帧图像的眼部特征值和嘴部特征值，并保存到相应的眼部特征动态序列和嘴部特征动态序列中。
上述实施例中用于计算局部动作概率(皱眉概率、嘴角上扬或下移概率)的中性情绪下的局部特征值(眉毛角度、嘴角特征值)并不是静态不变的，而是通过动态的特征序列去高频次地更新和调整局部特征值，因此动态更新的中性情绪下的特征值为参照，计算得到的局部动作概率会更加准确。
在一个实施例中，如图3所示，获取局部特征判断规则，并根据局部特征判断规则对局部特征值进行计算，得到局部动作概率，包括：
步骤S302，通过预设的规则从局部特征动态序列中提取第一类型情绪下眉毛角度。
其中，眉毛角度(眼部特征)是以眉毛和眼睛部位为主体，用来描述眉毛的舒展程度，定义为眉毛两端点与眼角连线中点之间的夹角。以右眼为例，假设(x1,y1)和(x2,y2)表示眉毛两端的坐标，(x3,y3)表示眼角连线中点的坐标，其所构成的夹角β为：
β＝arccos(v1·v2/||v1||★||v2||)
其中，v1＝(x1-x3，y1-y3)，v2＝(x2-x3，y2-y3)，β值越大，表示皱眉越明显。
其中，第一类型情绪下眉毛角度即中性情绪下眉毛角度。
具体地，终端维护了两类动态序列，一类是长序列，一类是短序列。长序列保存长时间范围内，例如2到3秒内(20帧到30帧)的局部特征值，即眉毛角度。短序列保存短时间范围内，例如1秒(10帧)内的局部特征值，即眉毛角度。一般情况下，用户突发皱眉的持续时间很短，约0.5秒，在这种情况下，终端从短序列中选取最小值作为中性情绪下眉毛角度。当用户出现连续的皱眉动作时，例如持续皱眉了1到2秒，在这种情况下，短序列已经被皱眉时的眉毛角度填满，再从短序列中取最小值无法判断是否皱眉，因此终端按照时间顺序从长序列中取靠前的3个眉毛角度的均值作为中性情绪下眉毛角度。这几个眉毛角度值因为处于2到3秒前，相比连续皱眉前1秒内的眉毛角度更能表征中性情绪下眉毛角度。
步骤S304，确定当前表情下眉毛角度与第一类型情绪下眉毛角度的第一差值以及皱眉表情下眉毛角度与第一类型情绪下眉毛角度的第一最大差值。
其中，皱眉表情下眉毛角度与第一类型情绪下眉毛角度的第一最大差值是一个根据实验数据得出的经验值。这么做的原因在于不同个体之间的眉毛角度存在差异，采用差值相对于直接获取眉毛角度的绝对值更加稳定，误差小，适用范围广。
具体地，终端根据眉毛角度的定义获取当前表情下的眉毛角度，将当前表情下的眉毛角度与步骤S302中获取的中性情绪下的眉毛角度作差，获得第一差值。终端直接获取基于实验数据预先设定好的皱眉表情下眉毛角度与第一类型情绪下眉毛角度的第一最大差值。
步骤S306，根据第一差值与第一最大差值的比率得到皱眉概率。
具体地，终端将步骤S304获取的当前表情下眉毛角度与中性情绪下眉毛角度的第一差值与预先设定好的皱眉表情下眉毛角度与中性情绪下眉毛角度的第一最大差值相除，得到第一差值与第一最大差值的比率即获得皱眉概率。
本实施例中，改善了对眼部特征的定义规则，提出了采用眉毛两端点和眼角连线中点夹角的方式来定义眉毛角度而不是传统定义中采用眉毛两端点和眼睛中心来定义眉毛角度，这么做可以排除因为眼球运动产生剧烈变化的不确定因素，从而提高了眉毛角度计算的准确性，减少了对皱眉的漏判和误判。此外，终端采用动态序列保存中性情绪下眉毛角度的方式，解决了采用静态阈值所面临的个体差异导致静态阈值所确定的眉毛角度适用范围小的问题，进一步提高了眉毛角度计算中参照标准的准确度、稳定性以及特殊情况下，例如连续皱眉时的适用性。
在一个实施例中，如图4所示，获取局部特征判断规则，并根据局部特征判断规则对局部特征值进行计算，得到局部动作概率，包括：
步骤S402，通过预设的规则从局部特征动态序列中提取第一类型情绪下嘴角特征值。
其中，嘴角特征值(嘴部特征)主要表现为嘴角的偏转程度，由嘴角连线中点与嘴巴中心线中点的偏差及嘴角连线之间的水平夹角共同定义。假设(x1,y1)和(x2,y2)表示嘴角两端的坐标，(x3,y3)表示嘴巴中心点的坐标，其偏差d为：
d＝y3-(y1+y2)/2
其水平夹角γ为：
γ＝arctan(y2-yi/x2-x1)
当d>0且γ＝0,嘴角发生上扬；当d<0且γ＝0时,嘴角发生下移。
其中，第一类型情绪下嘴角特征值即中性情绪下嘴角特征值。
具体地，终端维护了两类动态序列，一类是长序列，一类是短序列。长序列保存长时间范围内，例如2到3秒内(20帧到30帧)的局部特征值，即嘴角特征值。短序列保存短时间范围内，例如1秒(10帧)内的局部特征值，即嘴角特征值。一般情况下，用户突发嘴角上扬或下移的持续时间很短，约0.5秒，在这种情况下，将短序列中的嘴角特征值按照从小到大排列，取记录中的中位数作为中性情绪下的嘴角特征值。当用户出现连续的嘴角上扬或者下移的动作时，例如持续嘴角上扬或者嘴角下移了1到2秒，在这种情况下，短序列已经被嘴角上扬时的嘴角特征值填满，再从短序列中取中位数无法判断是否嘴角上扬，因此终端按照时间顺序从长序列中取靠前的3个嘴角特征值的均值作为中性情绪下嘴角特征值。这几个嘴角特征值因为处于2到3秒前，相比连续嘴角上扬或下移前1秒内的嘴角特征值更能表征中性情绪下嘴角特征值。
步骤S404，确定当前表情下嘴角特征值与第一类型情绪下嘴角特征值的第二差值，嘴角上扬表情下嘴角特征值与第一类型情绪下嘴角特征值的第二最大差值以及嘴角下移表情下嘴角特征值与第一类型情绪下嘴角特征值的第三最大差值。
其中，嘴角上扬表情下与第一类型情绪下嘴角特征值的第二最大差值是一个根据实验数据得出的经验值。同样，嘴角下移表情下与第一类型情绪下嘴角特征值的第三最大差值也是一个根据实验数据得出的经验值。这么做的原因在于不同个体之间的嘴角特征值存在差异，采用差值相对于直接获取眉毛角度的绝对值更加稳定，误差小，适用范围广。
具体地，终端根据嘴角特征值地定义获取当前表情下的嘴角特征值，将当前表情下的嘴角特征值与步骤S402中获取的中性情绪下的嘴角特征值作差，获得第二差值。终端直接获取基于实验数据预先设定好的嘴角上扬或下移表情下嘴角特征值与第一类型情绪下嘴角特征值的第二最大差值(嘴角上扬)和第三最大差值(嘴角下移)。
步骤S406，根据第二差值与第二最大差值的比率得到嘴角上扬概率，根据第二差值与第三最大差值的比率得到嘴角下移概率。
具体地，终端将步骤S404获取的当前表情下嘴角特征值与中性情绪下嘴角特征值的第二差值与预先设定好的嘴角上扬表情下嘴角特征值与中性情绪下嘴角特征值的第二最大差值相除，得到第二差值与第二最大差值的比率即获得嘴角上扬的概率。终端将步骤S404获取的当前表情下嘴角特征值与中性情绪下嘴角特征值的第二差值与预先设定好的嘴角下移表情下嘴角特征值与中性情绪下嘴角特征值的第三最大差值相除，得到第二差值与第三最大差值的比率即获得嘴角下移的概率。
本实施例中，终端采用动态序列保存中性情绪下嘴角特征值的方式，解决了采用静态阈值所面临的个体差异导致静态阈值所确定的嘴角特征值适用范围小的问题，进一步提高了嘴角特征值计算中参照标准的准确度、稳定性以及特殊情况下，例如连续嘴角上扬或下移时的适用性。
在一个实施例中，如图5所示，该方法还包括：
步骤S502，对待识别面部图片进行识别，得到头部动作的欧拉角。
其中，待识别面部图片包括由终端摄像头实时采集的用户面部图片。欧拉角是表达旋转的一种方式，形式上它是一个三维向量，其值分别代表物体绕坐标系三个轴(x,y,z轴)的旋转角度。一般按照所绕的轴将欧拉角的旋转值分成俯仰角、偏航角和翻滚角。头部动作的幅度和方向可以分解成不同的欧拉角进行表征。
具体地，终端利用头部姿态模型FSANet对输入的人脸图片进行特征抽取，并利用抽取到的特征取推理当前人脸的三个欧拉角(俯仰角、偏航角和翻滚角)。其中，头部姿态模型FSANet是一个端对端的深度学习模型，可以用于获取得到输入图片中头部动作的欧拉角。
步骤S504，当欧拉角的绝对值大于第二阈值时，对局部动作概率进行校正。
其中，第二阈值是根据实验数据和经验获得的值。每一个欧拉角(俯仰角、偏航角和翻滚角)都有一个对应的阈值，这三个欧拉角对应的阈值互相之间可以关联也可以不关联，在此不作限定。局部动作概率是指发生皱眉、嘴角上扬或者嘴角下移的概率。
具体地，当步骤S502中获取的欧拉角的绝对值大于预先设定的第二阈值时，将局部动作概率乘以一个与局部动作概率对应的校正系数。其中，校正系数可以单独适用于一个类型的局部动作概率，也可以适用于所有类型的局部动作概率。例如，当俯仰角>10或者俯仰角<-10时，终端认为用户发生了点头的动作，将皱眉概率乘以0.5，将嘴角上扬和嘴角下移概率乘以0.4。当偏航角>15或者偏航角<-15时，终端认为用户发生了摇头的动作，将皱眉概率乘以0.5，将嘴角上扬和嘴角下移概率乘以0.4。
本实施例中，终端通过检测头部动作欧拉角的幅度，对皱眉概率、嘴角上扬和嘴角下移概率作了相应的校正，解决了局部动作概率易受头部动作影响的问题，提高了情绪识别在发生头部动作情况下的准确率。
在一个实施例中，如图6所示，该方法还包括：
步骤S602，对待识别面部图片进行识别，得到头部动作的欧拉角。
具体地，步骤S602与步骤S502的内容完全一致，在此不再赘述。
步骤S604，将欧拉角按照时间顺序更新至头部动作动态序列中。
其中，头部动作动态序列包括保存俯仰角的动态序列、保存偏航角的动态序列和保存翻滚角的动态序列。该动态序列保存一段时间内的欧拉角数据(俯仰角、偏航角和翻滚角)
具体地，终端通过摄像头实时地捕获用户的头部动作，并通过头部姿态模型FSANet去分析用户的头部动作并获得相应的欧拉角。终端将得到的欧拉角按照时间顺序保存至一个或多个头部动作动态序列中。当头部动作动态序列没有被填满时，直接将最新获取的欧拉角数据保存至这个动态序列中。当头部动作动态序列被填满时，用最新获取的欧拉角数据替换掉这个动态序列中最早的欧拉角数据。
步骤S606，当头部动作动态序列中欧拉角的极大值和极小值差的绝对值大于第四阈值时，对局部动作概率进行校正。
其中，第四阈值是根据实验数据和经验获得的值。每一个欧拉角动态序列(俯仰角动态序列、偏航角动态序列和翻滚角动态序列)都有一个对应的阈值，这三个欧拉角动态序列对应的阈值互相之间可以关联也可以不关联，在此不作限定。局部动作概率是指发生皱眉、嘴角上扬或者嘴角下移的概率。
具体地，当欧拉角动态序列中的欧拉角极大值和欧拉角极小值的差的绝对值大于第四阈值时，将局部动作概率乘以一个与局部动作概率对应的校正系数。其中，校正系数可以单独适用于一个类型的局部动作概率，也可以适用于所有类型的局部动作概率。例如，在俯仰角动态序列中，俯仰角极大值为20，俯仰角极小值为10，差值为10，差值大于对应的第四阈值为9，因此终端认为用户发生了点头的动作，将皱眉概率乘以0.5，将嘴角上扬和嘴角下移概率乘以0.4。在偏航角动态序列中，偏航角极大值为25，偏航角极小值为15，差值为10，差值大于对应的第四阈值8，终端认为用户发生了点头的动作，将皱眉概率乘以0.5，将嘴角上扬和嘴角下移概率乘以0.4。
本实施例中，终端通过检测头部动作欧拉角序列中极大值和极小值的差，对皱眉概率、嘴角上扬和嘴角下移概率作了相应的校正，解决了局部动作概率易受头部动作影响的问题，提高了情绪识别在发生头部动作情况下的准确率。
在一个实施例中，如图7所示，根据第一类型情绪的概率、第二类型情绪的概率和局部动作概率，得到待识别面部图片对应的情绪，包括：
步骤S702，当局部动作概率大于第三阈值时，对第一类型情绪的概率和第二类型情绪的概率进行校正。
其中，第三阈值是根据实验数据和经验预先设置的一个阈值，第三阈值和对应的局部动作或者局部动作的组合对应，第三阈值可以是一个单独的值，也可以是一个组合值。第二类型情绪包括积极情绪和消极情绪。
具体地，当皱眉概率和嘴角下移概率大于与皱眉和嘴角下移对应的第三阈值时，对消极情绪概率施加一个影响因子加以校正。当嘴角上扬概率大于与嘴角上扬对应的第三阈值时，对积极情绪概率施加一个影响因此加以校正。例如，当皱眉概率和嘴角下移概率都大于30％时，对消极情绪概率乘以一个1.2的影响因子。当皱眉概率大于30％，嘴角下移概率大于35％时，对消极情绪概率乘以一个1.3的影响因子。例如当嘴角上扬概率大于30％时，对积极情绪概率乘以一个1.2的影响因子。
步骤S704，根据校正后的第一类型情绪的概率和第二类型情绪的概率，得到待识别面部图片对应的情绪。
为了使得本领域技术人员充分了解本申请中的情绪识别方法，下文就给出情绪识别方法的具体实施例，如图8所示：
本实施例中，用户面对终端的前置摄像头，依次展现开心，悲伤和普通的表情。前置摄像头采集过程中用户的面部图片。
具体地，终端利用FERPlus数据集训练了一个轻量级的情绪分类深度学***衡，终端在8类的基础上将其合并成3类，即积极、消极和中性。积极表情包括开心和惊讶，消极表情则包括悲伤、生气、厌恶、恐惧以及恶心。TFER情绪分类深度学习模型可以分辨出对应的情绪，并给出相应的情绪概率。
具体地，根据图8所示的流程，用户展现开心的表情时，积极情绪的概率为90％，中性情绪的概率此时为10％，小于95％的概率，深度学习模型TFER直接输出积极情绪90％的概率和中性情绪10％的概率。
具体地，根据图8所示的流程，用户展现悲伤的表情时，消极情绪的概率为90％，中性情绪的概率此时为10％，小于95％的概率，深度学习模型TFER直接输出消极情绪90％的概率和中性情绪10％的概率。
具体地，根据图8所示的流程，用户展现了一个普通的情绪，深度学习模型TFER判断中性情绪的概率为97％，则进入到局部动作的判断步骤。通过关键点检测，终端获取了面部关键点包括眉毛角度信息和嘴角特征值信息，并将上述信息保存至4个动态序列中：其中两个动态序列保存眉毛角度的信息，分别保存到1秒(10帧)和3秒(30帧)的眉毛角度数据。其中两个动态序列保存嘴角特征值的信息，分别保存1秒(10帧)和3秒(30帧)的嘴角特征值数据。同时，终端通过头部动作识别模型获得头部姿态的欧拉角，并将欧拉角数据更新至不同的动态序列中。终端将欧拉角中的俯仰角和偏航角分别保存到对应的动态序列中。
具体地，当用户只出现短暂的皱眉时，终端从眉毛角度的短序列中挑选眉毛角度值最小的值作为正常表情下的眉毛角度值。当用户出现持续的皱眉时，终端从眉毛角度的长序列中挑选最新的前3个眉毛角度值，取3个值的均值作为正常表情下的眉毛角度值。终端根据皱眉概率的计算方法，计算获得发生皱眉的概率。
具体地，当用户只出现短暂的嘴角上扬或下移动作时，终端从嘴角特征值的短序列中挑选嘴角特征值的中位数作为正常表情下的嘴角特征值。当用户出现持续的嘴角上扬或下移动作时，终端从嘴角特征值的长序列中挑选最新的前3个嘴角特征值，取3个值的均值作为正常表情下的嘴角特征值。终端根据嘴角上扬或者下移概率的计算方法，计算获得发生嘴角上扬或者下移的概率。
具体地，按照图8所示的流程，终端根据用户的头部动作判断是否要对皱眉概率、嘴角上扬概率和嘴角下移概率进行校正。当发生点头、摇头和头部偏转过大时，上述概率的可信度会降低，此时对计算出来的概率进行惩罚。当偏航角>15或偏航角<-15或俯仰角>10或俯仰角<-10时，终端对皱眉概率、嘴角上扬概率和嘴角下移概率乘以0.5施加惩罚。终端同时维护了两个动态的偏航角序列和俯仰角序列。当偏航角序列中偏航角的极大极小值差的绝对值大于10时，终端判断发生了摇头动作。当俯仰角序列中俯仰角的极大极小值差的绝对值大于6时，终端判断发生了点头动作，终端对皱眉概率、嘴角上扬概率和嘴角下移概率乘以0.5施加惩罚。
具体地，如图8所示的流程，当终端判断皱眉概率和嘴角下移的概率为40％时，大于设置的阈值30％，终端对消极情绪进行校正，将消极情绪的概率调整为40％，将中性情绪的概率下调为60％。当终端判断嘴角上扬的概率为50％时，大于设置的阈值30％，终端对积极情绪进行校正，将积极情绪的概率调整为50％，将中性情绪的概率下调为50％。
具体地，嘴角的轻微变化会引起眉毛角度的变化，终端利用嘴角上扬概率修正皱眉概率，因此，修正后的皱眉概率＝(1-嘴角上扬概率)*修正前的皱眉概率。
实际应用中，由于关键点检测模型存在误差，预测的嘴部特征点与真实特征点之间存在像素级偏差，此外，还有头部的轻微偏转，这些都会导致嘴角连线之间的水平夹角不等于0。因此，需设置一定程度的阈值，即可容忍的误差范围，一般设为5，嘴角连线之间的水平夹角小于5即可。
具体地，根据图8所示的流程，终端对校正后的概率进行归一化并输出各类情绪和局部动作的概率。
应该理解的是，虽然图1-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-7中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，提供了一种情绪识别装置，包括：图片获取模块100、情绪概率计算模块200、局部特征值识别模块300、局部动作概率计算模块400和情绪判定模块500，其中：图片获取模块100，用于获取待识别面部图片；情绪概率计算模块200，用于通过预先训练的用于情绪识别的深度学习模型对待识别面部图片进行情绪分类，得到预设类型情绪的概率；预设类型的情绪包括第一类型情绪和第二类型情绪；局部特征值识别模块300，用于当第一类型情绪的概率大于第一阈值时，对待识别面部图片进行识别得到局部特征值；局部动作概率计算模块400，用于获取局部特征判断规则，并根据局部特征判断规则对局部特征值进行计算，得到局部动作概率；情绪判定模块500，用于根据第一类型情绪的概率、第二类型情绪的概率和局部动作概率，得到待识别面部图片对应的情绪。
在一个实施例中，上述情绪概率计算模块，包括：特征提取单元，用于采用按照预设顺序串联的深度可分离卷积层依次提取特征图；感受野增强单元，用于当特征图大小为预设大小时，采用在深度可分离卷积层之间增加的感受野扩大模块进行特征图提取；全连接单元，用于通过全连接层对所得到的特征图进行处理，得到预设类型情绪的概率。
在一个实施例中，该情绪识别装置还包括：动态序列模块，用于将局部特征值按照时间顺序更新至局部特征动态序列中。在一个实施例中，局部动作概率计算模块还用于通过预设的规则从局部特征动态序列中提取第一类型情绪下眉毛角度；确定当前表情下眉毛角度与第一类型情绪下眉毛角度的第一差值以及皱眉表情下眉毛角度与所述第一类型情绪下眉毛角度的第一最大差值；根据第一差值与第一最大差值的比率得到皱眉概率。
在一个实施例中，局部动作概率计算模块还用于通过预设的规则从局部特征动态序列中提取第一类型情绪下嘴角特征值；确定当前表情下嘴角特征值与第一类型情绪下嘴角特征值的第二差值，嘴角上扬表情下与第一类型情绪下嘴角特征值的第二最大差值以及嘴角下移表情下与第一类型情绪下嘴角特征值的第三最大差值；根据第二差值与第二最大差值的比率得到嘴角上扬概率，根据第二差值与第三最大差值的比率得到嘴角下移概率。
在一个实施例中，情绪识别装置还包括：欧拉角获取模块，用于对待识别面部图片进行识别，得到头部动作的欧拉角；校正模块，用于当欧拉角的绝对值大于第二阈值时，对局部动作概率进行校正。
在一个实施例中，情绪识别装置还包括：欧拉角获取模块，用于对待识别面部图片进行识别，得到头部动作的欧拉角；动态序列保存模块，用于将欧拉角按照时间顺序更新至头部动作动态序列中；校正模块，用于当头部动作动态序列中欧拉角的极大值和极小值差的绝对值大于第四阈值时，对局部动作概率进行校正。
在一个实施例中，情绪判定模块还用于当局部动作概率大于第三阈值时，对第一类型情绪的概率和第二类型情绪的概率进行校正；根据校正后的第一类型情绪的概率和第二类型情绪的概率，得到待识别面部图片对应的情绪。
关于情绪识别装置的具体限定可以参见上文中对于情绪识别方法的限定，在此不再赘述。上述情绪识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种情绪识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取待识别面部图片；通过预先训练的用于情绪识别的深度学习模型对待识别面部图片进行情绪分类，得到预设类型情绪的概率；预设类型的情绪包括第一类型情绪和第二类型情绪；当第一类型情绪的概率大于第一阈值时，对待识别面部图片进行识别得到局部特征值；获取局部特征判断规则，并根据局部特征判断规则对局部特征值进行计算，得到局部动作概率；根据第一类型情绪的概率、第二类型情绪的概率和局部动作概率，得到待识别面部图片对应的情绪。
在一个实施例中，处理器执行计算机程序时实现通过预先训练的用于情绪识别的深度学习模型对待识别面部图片进行情绪分类，得到预设类型情绪的概率，包括以下步骤：采用按照预设顺序串联的深度可分离卷积层依次提取特征图；当特征图大小为预设大小时，采用在深度可分离卷积层之间增加的感受野扩大模块进行特征图提取；通过全连接层对所得到的特征图进行处理，得到预设类型情绪的概率。
在一个实施例中，处理器执行计算机程序时实现对待识别面部图片进行识别得到局部特征值之后，还包括以下步骤：将局部特征值按照时间顺序更新至局部特征动态序列中。
在一个实施例中，处理器执行计算机程序时实现获取局部特征判断规则，并根据局部特征判断规则对局部特征值进行计算，得到局部动作概率，包括以下步骤：通过预设的规则从局部特征动态序列中提取第一类型情绪下眉毛角度；确定当前表情下眉毛角度与第一类型情绪下眉毛角度的第一差值以及皱眉表情下眉毛角度与第一类型情绪下眉毛角度的第一最大差值；根据第一差值与第一最大差值的比率得到皱眉概率。
在一个实施例中，处理器执行计算机程序时实现获取局部特征判断规则，并根据局部特征判断规则对局部特征值进行计算，得到局部动作概率，包括以下步骤：通过预设的规则从局部特征动态序列中提取第一类型情绪下嘴角特征值；确定当前表情下嘴角特征值与第一类型情绪下嘴角特征值的第二差值，嘴角上扬表情下嘴角特征值与第一类型情绪下嘴角特征值的第二最大差值以及嘴角下移表情下嘴角特征值与第一类型情绪下嘴角特征值的第三最大差值；根据第二差值与第二最大差值的比率得到嘴角上扬概率，根据第二差值与第三最大差值的比率得到嘴角下移概率。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对待识别面部图片进行识别，得到头部动作的欧拉角；当欧拉角的绝对值大于第二阈值时，对局部动作概率进行校正。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对待识别面部图片进行识别，得到头部动作的欧拉角；将欧拉角按照时间顺序更新至头部动作动态序列中；当头部动作动态序列中欧拉角的极大值和极小值差的绝对值大于第四阈值时，对局部动作概率进行校正。
在一个实施例中，处理器执行计算机程序时实现根据第一类型情绪的概率、第二类型情绪的概率和局部动作盖了，得到待识别面部图片对应的情绪，包括以下步骤：当局部动作概率大于第三阈值时，对第一类型情绪的概率和第二类型情绪的概率进行校正；根据校正后的第一类型情绪的概率和第二类型情绪的概率，得到待识别面部图片对应的情绪。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取待识别面部图片；通过预先训练的用于情绪识别的深度学习模型对待识别面部图片进行情绪分类，得到预设类型情绪的概率；预设类型的情绪包括第一类型情绪和第二类型情绪；当第一类型情绪的概率大于第一阈值时，对待识别面部图片进行识别得到局部特征值；获取局部特征判断规则，并根据局部特征判断规则对局部特征值进行计算，得到局部动作概率；根据第一类型情绪的概率、第二类型情绪的概率和局部动作概率，得到待识别面部图片对应的情绪。
在一个实施例中，计算机程序被处理器执行时实现通过预先训练的用于情绪识别的深度学习模型对待识别面部图片进行情绪分类，得到预设类型情绪的概率，包括以下步骤：采用按照预设顺序串联的深度可分离卷积层依次提取特征图；当特征图大小为预设大小时，采用在深度可分离卷积层之间增加的感受野扩大模块进行特征图提取；通过全连接层对所得到的特征图进行处理，得到预设类型情绪的概率。
在一个实施例中，计算机程序被处理器执行时实现对待识别面部图片进行识别得到局部特征值之后，还包括以下步骤：将局部特征值按照时间顺序更新至局部特征动态序列中。
在一个实施例中，计算机程序被处理器执行时实现获取局部特征判断规则，并根据局部特征判断规则对局部特征值进行计算，得到局部动作概率，包括以下步骤：通过预设的规则从局部特征动态序列中提取第一类型情绪下眉毛角度；确定当前表情下眉毛角度与第一类型情绪下眉毛角度的第一差值以及皱眉表情下眉毛角度与第一类型情绪下眉毛角度的第一最大差值；根据第一差值与第一最大差值的比率得到皱眉概率。
在一个实施例中，计算机程序被处理器执行时实现获取局部特征判断规则，并根据局部特征判断规则对局部特征值进行计算，得到局部动作概率，包括以下步骤：通过预设的规则从局部特征动态序列中提取第一类型情绪下嘴角特征值；确定当前表情下嘴角特征值与第一类型情绪下嘴角特征值的第二差值，嘴角上扬表情下嘴角特征值与第一类型情绪下嘴角特征值的第二最大差值以及嘴角下移表情下嘴角特征值与第一类型情绪下嘴角特征值的第三最大差值；根据第二差值与第二最大差值的比率得到嘴角上扬概率，根据第二差值与第三最大差值的比率得到嘴角下移概率。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对待识别面部图片进行识别，得到头部动作的欧拉角；当欧拉角的绝对值大于第二阈值时，对局部动作概率进行校正。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对待识别面部图片进行识别，得到头部动作的欧拉角；将欧拉角按照时间顺序更新至头部动作动态序列中；当头部动作动态序列中欧拉角的极大值和极小值差的绝对值大于第四阈值时，对局部动作概率进行校正。
在一个实施例中，计算机程序被处理器执行时实现根据第一类型情绪的概率、第二类型情绪的概率和局部动作盖了，得到待识别面部图片对应的情绪，包括以下步骤：当局部动作概率大于第三阈值时，对第一类型情绪的概率和第二类型情绪的概率进行校正；根据校正后的第一类型情绪的概率和第二类型情绪的概率，得到待识别面部图片对应的情绪。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (11)
1.一种情绪识别方法，其特征在于，所述方法包括：
获取待识别面部图片；
通过预先训练的用于情绪识别的深度学习模型对所述待识别面部图片进行情绪分类，得到预设类型情绪的概率；所述预设类型的情绪包括第一类型情绪和第二类型情绪；
当所述第一类型情绪的概率大于第一阈值时，对所述待识别面部图片进行识别得到局部特征值；
获取局部特征判断规则，并根据所述局部特征判断规则对所述局部特征值进行计算，得到局部动作概率；
根据所述第一类型情绪的概率、所述第二类型情绪的概率和所述局部动作概率，得到所述待识别面部图片对应的情绪。
2.根据权利要求1所述的方法，其特征在于，所述通过预先训练的用于情绪识别的深度学习模型对所述待识别面部图片进行情绪分类，得到预设类型情绪的概率，包括：
采用按照预设顺序串联的深度可分离卷积层依次提取特征图；
当所述特征图大小为预设大小时，采用在所述深度可分离卷积层之间增加的感受野扩大模块进行特征图提取；
通过全连接层对所得到的特征图进行处理，得到预设类型情绪的概率。
3.根据权利要求1所述的方法，其特征在于，所述对所述待识别面部图片进行识别得到局部特征值之后，还包括：
将所述局部特征值按照时间顺序更新至局部特征动态序列中。
4.根据权利要求3所述的方法，其特征在于，所述获取局部特征判断规则，并根据所述局部特征判断规则对所述局部特征值进行计算，得到局部动作概率，包括：
通过预设的规则从所述局部特征动态序列中提取第一类型情绪下眉毛角度；
确定当前表情下眉毛角度与所述第一类型情绪下眉毛角度的第一差值以及皱眉表情下眉毛角度与所述第一类型情绪下眉毛角度的第一最大差值；
根据所述第一差值与所述第一最大差值的比率得到皱眉概率。
5.根据权利要求3所述的方法，其特征在于，所述获取局部特征判断规则，并根据所述局部特征判断规则对所述局部特征值进行计算，得到局部动作概率，包括：
通过预设的规则从所述局部特征动态序列中提取第一类型情绪下嘴角特征值；
确定当前表情下所述嘴角特征值与所述第一类型情绪下嘴角特征值的第二差值，嘴角上扬表情下嘴角特征值与所述第一类型情绪下嘴角特征值的第二最大差值以及嘴角下移表情下嘴角特征值与所述第一类型情绪下嘴角特征值的第三最大差值；
根据所述第二差值与所述第二最大差值的比率得到嘴角上扬概率，根据所述第二差值与所述第三最大差值的比率得到嘴角下移概率。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述待识别面部图片进行识别，得到头部动作的欧拉角；
当所述欧拉角的绝对值大于第二阈值时，对所述局部动作概率进行校正。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述待识别面部图片进行识别，得到头部动作的欧拉角；
将所述欧拉角按照时间顺序更新至头部动作动态序列中；
当所述头部动作动态序列中欧拉角的极大值和极小值差的绝对值大于第四阈值时，对所述局部动作概率进行校正。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述根据所述第一类型情绪的概率、所述第二类型情绪的概率和所述局部动作概率，得到所述待识别面部图片对应的情绪，包括：
当所述局部动作概率大于第三阈值时，对所述第一类型情绪的概率和所述第二类型情绪的概率进行校正；
根据校正后的所述第一类型情绪的概率和所述第二类型情绪的概率，得到所述待识别面部图片对应的情绪。
9.一种情绪识别装置，其特征在于，所述装置包括：
图片获取模块，用于获取待识别面部图片；
情绪概率计算模块，用于通过预先训练的用于情绪识别的深度学习模型对所述待识别面部图片进行情绪分类，得到预设类型情绪的概率；所述预设类型的情绪包括第一类型情绪和第二类型情绪；
局部特征值识别模块，用于当所述第一类型情绪的概率大于第一阈值时，对所述待识别面部图片进行识别得到局部特征值；
局部动作概率计算模块，用于获取局部特征判断规则，并根据所述局部特征判断规则对所述局部特征值进行计算，得到局部动作概率；
情绪判定模块，用于根据所述第一类型情绪的概率、所述第二类型情绪的概率和所述局部动作概率，得到所述待识别面部图片对应的情绪。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110017082.0A CN112686195B (zh) | 2021-01-07 | 2021-01-07 | 情绪识别方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110017082.0A CN112686195B (zh) | 2021-01-07 | 2021-01-07 | 情绪识别方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112686195A true CN112686195A (zh) | 2021-04-20 |
| CN112686195B CN112686195B (zh) | 2024-06-14 |
Family
ID=75456237
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110017082.0A Active CN112686195B (zh) | 2021-01-07 | 2021-01-07 | 情绪识别方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112686195B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113520393A (zh) * | 2021-06-08 | 2021-10-22 | 深圳市镜象科技有限公司 | 冲突事件的检测方法、装置、可穿戴设备及存储介质 |
| CN113920575A (zh) * | 2021-12-15 | 2022-01-11 | 深圳佑驾创新科技有限公司 | 一种人脸表情识别方法、装置及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140050408A1 (en) * | 2012-08-14 | 2014-02-20 | Samsung Electronics Co., Ltd. | Method for on-the-fly learning of facial artifacts for facial emotion recognition |
| US20150206543A1 (en) * | 2014-01-22 | 2015-07-23 | Samsung Electronics Co., Ltd. | Apparatus and method for emotion recognition |
| CN107369196A (zh) * | 2017-06-30 | 2017-11-21 | 广东欧珀移动通信有限公司 | 表情包制作方法、装置、存储介质及电子设备 |
| CN107633203A (zh) * | 2017-08-17 | 2018-01-26 | 平安科技（深圳）有限公司 | 面部情绪识别方法、装置及存储介质 |
| CN109284692A (zh) * | 2018-08-31 | 2019-01-29 | 河南工程学院 | 融合em算法和概率二维cca的人脸识别方法 |
| CN109711356A (zh) * | 2018-12-28 | 2019-05-03 | 广州海昇教育科技有限责任公司 | 一种表情识别方法和*** |
| CN109858405A (zh) * | 2019-01-17 | 2019-06-07 | 深圳壹账通智能科技有限公司 | 基于微表情的满意度评价方法、装置、设备及存储介质 |
| WO2020029406A1 (zh) * | 2018-08-07 | 2020-02-13 | 平安科技（深圳）有限公司 | 人脸情绪识别方法、装置、计算机设备及存储介质 |
-
2021
- 2021-01-07 CN CN202110017082.0A patent/CN112686195B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140050408A1 (en) * | 2012-08-14 | 2014-02-20 | Samsung Electronics Co., Ltd. | Method for on-the-fly learning of facial artifacts for facial emotion recognition |
| US20150206543A1 (en) * | 2014-01-22 | 2015-07-23 | Samsung Electronics Co., Ltd. | Apparatus and method for emotion recognition |
| CN107369196A (zh) * | 2017-06-30 | 2017-11-21 | 广东欧珀移动通信有限公司 | 表情包制作方法、装置、存储介质及电子设备 |
| CN107633203A (zh) * | 2017-08-17 | 2018-01-26 | 平安科技（深圳）有限公司 | 面部情绪识别方法、装置及存储介质 |
| WO2019033573A1 (zh) * | 2017-08-17 | 2019-02-21 | 平安科技（深圳）有限公司 | 面部情绪识别方法、装置及存储介质 |
| WO2020029406A1 (zh) * | 2018-08-07 | 2020-02-13 | 平安科技（深圳）有限公司 | 人脸情绪识别方法、装置、计算机设备及存储介质 |
| CN109284692A (zh) * | 2018-08-31 | 2019-01-29 | 河南工程学院 | 融合em算法和概率二维cca的人脸识别方法 |
| CN109711356A (zh) * | 2018-12-28 | 2019-05-03 | 广州海昇教育科技有限责任公司 | 一种表情识别方法和*** |
| CN109858405A (zh) * | 2019-01-17 | 2019-06-07 | 深圳壹账通智能科技有限公司 | 基于微表情的满意度评价方法、装置、设备及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113520393A (zh) * | 2021-06-08 | 2021-10-22 | 深圳市镜象科技有限公司 | 冲突事件的检测方法、装置、可穿戴设备及存储介质 |
| CN113520393B (zh) * | 2021-06-08 | 2022-01-21 | 深圳市镜象科技有限公司 | 冲突事件的检测方法、装置、可穿戴设备及存储介质 |
| CN113920575A (zh) * | 2021-12-15 | 2022-01-11 | 深圳佑驾创新科技有限公司 | 一种人脸表情识别方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112686195B (zh) | 2024-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10452893B2 (en) | Method, terminal, and storage medium for tracking facial critical area | |
| CN113286194A (zh) | 视频处理方法、装置、电子设备及可读存储介质 | |
| CN108932053B (zh) | 基于手势的绘图方法、装置、存储介质和计算机设备 | |
| US10318797B2 (en) | Image processing apparatus and image processing method | |
| JP4799105B2 (ja) | 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体 | |
| US11417095B2 (en) | Image recognition method and apparatus, electronic device, and readable storage medium using an update on body extraction parameter and alignment parameter | |
| JP4799104B2 (ja) | 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体 | |
| US20050201594A1 (en) | Movement evaluation apparatus and method | |
| CN107633237B (zh) | 图像背景分割方法、装置、设备及介质 | |
| KR20070034966A (ko) | 정보 처리 장치 및 그 제어방법 | |
| CN112686195A (zh) | 情绪识别方法、装置、计算机设备和存储介质 | |
| KR101652261B1 (ko) | 카메라를 이용한 오브젝트 검출 방법 | |
| JP6948851B2 (ja) | 情報処理装置、情報処理方法 | |
| CN109063626B (zh) | 动态人脸识别方法和装置 | |
| CN111800569B (zh) | 拍照处理方法、装置、存储介质及电子设备 | |
| CN111046734A (zh) | 基于膨胀卷积的多模态融合视线估计方法 | |
| US10986287B2 (en) | Capturing a photo using a signature motion of a mobile device | |
| CN110245609A (zh) | 行人轨迹生成方法、装置及可读存储介质 | |
| CN111488774A (zh) | 一种图像处理方法、装置和用于图像处理的装置 | |
| CN107911601A (zh) | 一种拍照时智能推荐拍照表情和拍照姿势的方法及其*** | |
| CN111553250B (zh) | 一种基于人脸特征点的精准面瘫程度评测方法及装置 | |
| CN115115552B (zh) | 图像矫正模型训练及图像矫正方法、装置和计算机设备 | |
| CN115497094A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN111553249B (zh) | 一种cv下基于h-b分级的精准面瘫程度评测方法及装置 | |
| CN113537398A (zh) | 颜值评估模型训练方法及组件，颜值评估方法及组件 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |