CN107633203A - 面部情绪识别方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种面部情绪识别方法，该方法包括：获取摄像装置拍摄的实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像；将该实时脸部图像输入预先训练好的第一情绪分类模型及第二情绪分类模型进行情绪识别，得到每种情绪的第一概率及第二概率；根据第一情绪分类模型、第二情绪分类模型识别出的情绪及概率，判断该实时脸部图像中的情绪。本发明通过结合两个模型的输出结果，对实时图像中人脸的情绪进行识别，提高了面部情绪识别的准确性。本发明还公开了一种电子装置及一种计算机可读存储介质。

Description

面部情绪识别方法、装置及存储介质

技术领域

本发明涉及计算机视觉处理技术领域，尤其涉及一种面部情绪识别方法、装置及计算机可读存储介质。

背景技术

在人们的日常交流中，通过语言来传递的信息占7％，通过声音来传递的信息占38％，而通过面部表情来传递的信息则达到55％。由此可见人脸表情是人类交流的重要载体和非语言交流的一种重要方式，它不仅能够表达人类的情感状态、认知活动和人格特征，而且它所富含的人体行为信息与人的情感状态、精神状态、健康状态等其他因素有着极为密切的关联。人脸情绪识别是人机交互与情感计算研究的重要组成部分，涉及心理学、社会学、人类学、生命科学、认知科学、计算机科学等研究领域，对人机交互智能化和谐化极具意义。

随着人工智能技术的不断发展以及人们对于交互体验要求的不断提高，智能交互方式已逐渐开始替代一些传统的人机交互方式，且对人脸情绪识别的要求也不断提高。

现阶段的人脸情绪识别一般是通过收集大量情绪样本，对样本进行整理，分成几类，训练出情绪识别模型，用来进行情绪识别，但该方法以单一的方式进行识别，然而，单一的情绪识别方法无法达到准确识别面部情绪效果，且单一方法在情绪识别所获取的数据有限，判断机制单一，故存在识别的准确度低、误差大和容易受外界因素影响等问题。

发明内容

本发明提供一种面部情绪识别方法、装置及计算机可读存储介质，其主要目的在于根据嘴唇特征点的坐标计算实时脸部图像中嘴唇的运动信息，实现对嘴唇区域的分析及对嘴唇动作的实时捕捉。

为实现上述目的，本发明提供一种电子装置，该装置包括：存储器、处理器及摄像装置，所述存储器中包括面部情绪识别程序，所述面部情绪识别程序被所述处理器执行时实现如下步骤：

实时脸部图像获取步骤：获取摄像装置拍摄的实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像；

情绪识别步骤：将该实时脸部图像输入预先训练好的第一情绪分类模型及第二情绪分类模型进行情绪识别，得到每种情绪的第一概率及第二概率；及

情绪判断步骤：根据第一情绪分类模型、第二情绪分类模型识别出的情绪及概率，判断该实时脸部图像中的情绪。

可选地，所述第一情绪分类模型及第二情绪分类模型的训练步骤包括：

特征点提取步骤：建立一个人脸样本库，在每张人脸样本图像中标记t个面部特征点；

特征向量计算步骤：将各个面部特征点的坐标与该人脸样本图像中规范化后的人脸区域的宽度及高度进行除运算，得到人脸样本图像的特征向量；

第一模型训练步骤：利用所述人脸样本图像及其特征向量对支持向量机分类器进行学习训练，得到第一情绪分类模型；

情绪标签分配步骤：给每张人脸样本图像分配一个情绪标签，并根据情绪标签对人脸样本库中的人脸样本图像进行分类；及

第二模型训练步骤：利用分类后的人脸样本图像对卷积神经网络进行学习训练，得到第二情绪分类模型。

可选地，所述情绪判断步骤包括：

判断所述第一情绪分类模型、第二情绪分类模型识别出的一种或多种情绪是否相同。

可选地，所述情绪判断步骤还包括：

当第一情绪分类模型、第二情绪分类模型识别出的是相同的一种或多种情绪，计算各情绪的第一概率、第二概率的均值，以第一概率、第二概率的均值中较大值对应的情绪作为从该实时图像中识别到的情绪；或

当第一情绪分类模型、第二情绪分类模型识别出的是不同的一种或多种情绪，以第一概率、第二概率中较大值对应的情绪作为从该实时图像中识别到的情绪。

此外，为实现上述目的，本发明还提供一种面部情绪识别方法，该方法包括：

实时脸部图像获取步骤：获取摄像装置拍摄的实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像；

情绪识别步骤：将该实时脸部图像输入预先训练好的第一情绪分类模型及第二情绪分类模型进行情绪识别，得到每种情绪的第一概率及第二概率；及

情绪判断步骤：根据第一情绪分类模型、第二情绪分类模型识别出的情绪及概率，判断该实时脸部图像中的情绪。

可选地，所述第一情绪分类模型及第二情绪分类模型的训练步骤包括：

特征点提取步骤：建立一个人脸样本库，在每张人脸样本图像中标记t个面部特征点；

特征向量计算步骤：将各个面部特征点的坐标与该人脸样本图像中规范化后的人脸区域的宽度及高度进行除运算，得到人脸样本图像的特征向量；

第一模型训练步骤：利用所述人脸样本图像及其特征向量对支持向量机分类器进行学习训练，得到第一情绪分类模型；

情绪标签分配步骤：给每张人脸样本图像分配一个情绪标签，并根据情绪标签对人脸样本库中的人脸样本图像进行分类；及

第二模型训练步骤：利用分类后的人脸样本图像对卷积神经网络进行学习训练，得到第二情绪分类模型。

可选地，所述情绪判断步骤包括：

判断所述第一情绪分类模型、第二情绪分类模型识别出的一种或多种情绪是否相同。

可选地，所述情绪判断步骤还包括：

当第一情绪分类模型、第二情绪分类模型识别出的是相同的一种或多种情绪，计算各情绪的第一概率、第二概率的均值，以第一概率、第二概率的均值中较大值对应的情绪作为从该实时图像中识别到的情绪；或

当第一情绪分类模型、第二情绪分类模型识别出的是不同的一种或多种情绪，以第一概率、第二概率中较大值对应的情绪作为从该实时图像中识别到的情绪。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中包括面部情绪识别程序，所述面部情绪识别程序被处理器执行时，实现如上所述的面部情绪识别方法中的任意步骤。

本发明提出的面部情绪识别方法、电子装置及计算机可读存储介质，通过将实时脸部图像输入第一情绪分类模型及第二情绪分类模型，分别得到每种情绪的第一概率和第二概率，结合两个情绪分类模型输出的结果，对当前脸部图像中的情绪进行判断，提高了人脸情绪识别的准确率。

附图说明

图1为本发明电子装置较佳实施例的示意图；

图2为图1中面部情绪识别程序的功能模块图；

图3为本发明面部情绪识别方法第一实施例的流程图；

图4为本发明面部情绪识别方法第一实施例中步骤S30的细化流程图；

图5为本发明面部情绪识别方法第二实施例中步骤S30的细化流程图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种电子装置1。参照图1所示，为本发明电子装置1较佳实施例的示意图。

在本实施例中，电子装置1可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。

该电子装置1包括：处理器12、存储器11、摄像装置13、网络接口14及通信总线15。其中，摄像装置13安装于特定场所，如办公场所、监控区域，对进入该特定场所的目标实时拍摄得到实时图像，通过网络将拍摄得到的实时图像传输至处理器12。网络接口14可选地可以包括标准的有线接口、无线接口(如WI-FI接口)。通信总线15用于实现这些组件之间的连接通信。

存储器11包括至少一种类型的可读存储介质。所述至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器等的非易失性存储介质。在一些实施例中，所述可读存储介质可以是所述电子装置1的内部存储单元，例如该电子装置1的硬盘。在另一些实施例中，所述可读存储介质也可以是所述电子装置1的外部存储器，例如所述电子装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。

在本实施例中，所述存储器11的可读存储介质通常用于存储安装于所述电子装置1的面部情绪识别程序10、人脸图像样本库及预先训练好的情绪分类模型等。所述存储器11还可以用于暂时地存储已经输出或者将要输出的数据。

处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行面部情绪识别程序10等。

图1仅示出了具有组件11-15的电子装置1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

可选地，该电子装置1还可以包括用户接口，用户接口可以包括输入单元比如键盘(Keyboard)、语音输入装置比如麦克风(microphone)等具有语音识别功能的设备、语音输出装置比如音响、耳机等，可选地用户接口还可以包括标准的有线接口、无线接口。

可选地，该电子装置1还可以包括显示器，显示器也可以适当的称为显示屏或显示单元。在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。显示器用于显示在电子装置1中处理的信息以及用于显示可视化的用户界面。

可选地，该电子装置1还包括触摸传感器。所述触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外，这里所述的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且，所述触摸传感器不仅包括接触式的触摸传感器，也可包括接近式的触摸传感器等。此外，所述触摸传感器可以为单个传感器，也可以为例如阵列布置的多个传感器。

此外，该电子装置1的显示器的面积可以与所述触摸传感器的面积相同，也可以不同。可选地，将显示器与所述触摸传感器层叠设置，以形成触摸显示屏。该装置基于触摸显示屏侦测用户触发的触控操作。

可选地，该电子装置1还可以包括RF(Radio Frequency，射频)电路，传感器、音频电路等等，在此不再赘述。

在图1所示的装置实施例中，作为一种计算机存储介质的存储器11中可以包括操作***、以及面部情绪识别程序10；处理器12执行存储器11中存储的面部情绪识别程序10时实现如下步骤：

获取摄像装置13拍摄的实时图像，利用人脸识别算法从该实时图像中提取出实时脸部图像；处理器12从存储器11中调用预先训练好的第一情绪分类模型及第二情绪分类模型，并将该实时脸部图像输入第一情绪分类模型及第二情绪分类模型，分别得到每种情绪的第一概率及第二概率；结合两个情绪分类模型输出的结果，对当前脸部图像中的情绪进行判断。

在其他实施例中，面部情绪识别程序10还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由处理器12执行，以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。

参照图2所示，为图1中面部情绪识别程序10的功能模块图。

所述面部情绪识别程序10可以被分割为：获取模块110、识别模块120、判断模块130、及提示模块140。

获取模块110，用于获取摄像装置13拍摄的实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像。当摄像装置13拍摄到一张实时图像，摄像装置13将这张实时图像发送到处理器12，当处理器12接收到该实时图像后，所述获取模块110先获取图片的大小，建立一个相同大小的灰度图像；将获取的彩色图像，转换成灰度图像，同时创建一个内存空间；将灰度图像直方图均衡化，使灰度图像信息量减少，加快检测速度，然后加载Intel公司的训练库，检测图片中的人脸，并返回一个包含人脸信息的对象，获得人脸所在位置的数据，并记录个数；最终获取头像的区域且保存下来，这样就完成了一次实时脸部图像提取的过程。

具体地，从该实时图像中提取实时脸部图像的人脸识别算法还可以为：基于几何特征的方法、局部特征分析方法、特征脸方法、基于弹性模型的方法、神经网络方法，等等。

识别模块120，用于将该实时脸部图像输入预先训练好的第一情绪分类模型及第二情绪分类模型进行情绪识别，得到每种情绪的第一概率及第二概率。其中，第一情绪分类模型及第二情绪分类模型是预先构建并训练好的，具体实施方式将在下述面部情绪识别方法中进行说明。

假设获取模块110从实时图像中提取出了实时脸部图像A，识别模块120将实时脸部图像A分别输入第一情绪模型及第二情绪模型，会出现多种情况：

第一种情况：第一情绪模型输出的结果与第二模型输出的结果中的情绪类别只有一种，情绪类别一致，概率不一定相同。例如，第一情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“喜悦”的概率值为0.62；第二情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“喜悦”的概率值为0.68；

第二种情况：第一情绪模型输出的结果与第二模型输出的结果中的情绪类别有两种或两种以上，情绪类别一致，概率不一定相同。例如，第一情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“愤怒”、“悲伤”的第一概率值分别为0.51、0.49；第二情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“愤怒”、“悲伤”的第二概率值分别为0.41、0.59；

第三种情况：第一情绪模型输出的结果与第二模型输出的结果中的情绪类别不同，概率不一定相同。例如，第一情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“喜悦”的概率值为0.65；第二情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“愤怒”的概率值为0.61；及

第四种情况：第一情绪模型输出的结果与第二模型输出的结果中的情绪类别有两种或两种以上，情绪类别不同，概率不一定相同。例如，第一情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“愤怒”、“悲伤”的第一概率值分别为0.51、0.49；第二情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“喜悦”、“惊讶”的第二概率值分别为0.45、0.55。

判断模块130，用于根据第一情绪分类模型、第二情绪分类模型识别出的情绪及概率，判断该实时脸部图像中的情绪。

具体地，所述判断模块130用于判断所述第一情绪分类模型、第二情绪分类模型识别出的一种或多种情绪是否相同。

所述判断模块130还用于，当第一情绪分类模型、第二情绪分类模型识别出的是相同的一种或多种情绪，计算各情绪的第一概率、第二概率的均值，以第一概率、第二概率的均值中较大值对应的情绪作为从该实时图像中识别到的情绪。

对于上述第一和第二两种情况，两个情绪分类模型输出的结果为相同的一种或多种情绪，那么，对各情绪的第一概率和第二概率取均值：

第一种情况：情绪“喜悦”：对第一概率0.62及第二概率0.68求均值，得到平均概率为0.65，判断模块130最终判断当前实时脸部图像A中的面部情绪为“喜悦”。

第二种情况：情绪“愤怒”、“悲伤”：对第一概率0.51、0.49及第二概率0.41、0.59求均值，得到各情绪的平均概率为0.46、0.54，判断模块130最终判断当前实时脸部图像A中的面部情绪为“悲伤”。

具体地，所述判断模块130还用于，当第一情绪分类模型、第二情绪分类模型识别出的是不同的一种或多种情绪，以第一概率、第二概率中较大值对应的情绪作为从该实时图像中识别到的情绪。

对于上述第三和第四两种情况，两个情绪分类模型输出的结果为不同的一种或多种情绪，那么，对各情绪的第一概率和第二概率取较大值：

第三种情况：情绪为“喜悦”的概率值为0.65，情绪为“愤怒”的概率值为0.61，判断模块130最终判断当前实时脸部图像A中的面部情绪为“喜悦”。

第四种情况：情绪为四愤怒”、“悲伤”的第一概率值分别为0.51、0.49，情绪为“喜悦”、“惊讶”的第二概率值分别为0.45、0.55，判断模块130最终判断当前实时脸部图像A中的面部情绪为“惊讶”。

在其他实施例中，判断模块130还用于，当第一情绪分类模型、第二情绪分类模型识别出的是相同的一种或多种情绪，且第一概率、第二概率的均值中较大值大于第一预设阈值，判断均值中较大值对应的情绪作为从该实时图像中识别到的情绪；或

当第一情绪分类模型、第二情绪分类模型识别出的是不同的一种或多种情绪，且第一概率、第二概率中较大值大于第二预设阈值，则将较大值对应的情绪作为从该实时图像识别到该种情绪。

假设第一预设阈值为0.55，第二预设阈值为0.6，那么，

第一种情况：情绪“喜悦”的平均概率为0.65，0.65＞0.55，将“喜悦”作为当前实时脸部图像A中的面部情绪；

第二种情况：情绪“愤怒”、“悲伤”的平均概率分别为0.46、0.54，平均概率中较大值为0.54，0.54＜0.55，则认为从当前实时脸部图像A中识别面部情绪失败；

第三种情况：情绪“喜悦”、“愤怒”的第一概率、第二概率中的较大值为0.65，0.65＞0.6，将“喜悦”作为当前实时脸部图像A中的面部情绪；及

第四种情况：情绪“愤怒”、“悲伤”、“喜悦”、“惊讶”的第一概率、第二概率中的较大值为0.55，0.55＜0.6，则认为从当前实时脸部图像A中识别面部情绪失败。

提示模块140，用于当所述第一概率、第二概率的均值中较大值小于第一预设概率，且所述第一概率、第二概率中较大值小于第二预设阈值，则提示面部情绪识别失败，并返回至实时脸部图像获取步骤。对于上述第二种情况，情绪“愤怒”、“悲伤”的第一概率及第二概率的均值中的较大值(0.54)小于第一预设阈值(0.55)，对于上述第四种情况，情绪“愤怒”、“悲伤”、“喜悦”、“惊讶”的第一概率及第二概率中的较大值(0.55)小于第二预设阈值(0.6)，上述情况则表明无法从当前实时脸部图像A中识别出面部情绪，在电子装置的显示屏上弹出提示框，提示模块140提示无法从实时脸部图像A中识别出情绪类型，流程返回至步骤S10，并进行后续步骤。

本实施例提出的电子装置1，从实时图像中提取实时脸部图像，将该实时脸部图像输入第一情绪分类模型及第二情绪分类模型，分别得到每种情绪的第一概率和第二概率，结合两个情绪分类模型输出的结果，对当前脸部图像中的情绪进行判断，提高了面部情绪识别的准确率。

此外，本发明还提供一种面部情绪识别方法。参照图3所示，为本发明面部情绪识别方法第一实施例的流程图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。

在本实施例中，面部情绪识别方法包括：步骤S10-步骤S30。

步骤S10，获取摄像装置拍摄的实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像。当摄像装置13拍摄到一张实时图像，摄像装置13将这张实时图像发送到处理器12，当处理器12接收到该实时图像后，先获取图片的大小，建立一个相同大小的灰度图像；将获取的彩色图像，转换成灰度图像，同时创建一个内存空间；将灰度图像直方图均衡化，使灰度图像信息量减少，加快检测速度，然后加载Intel公司的训练库，检测图片中的人脸，并返回一个包含人脸信息的对象，获得人脸所在位置的数据，并记录个数；最终获取头像的区域且保存下来，这样就完成了一次实时脸部图像提取的过程。

具体地，从该实时图像中提取实时脸部图像的人脸识别算法还可以为：基于几何特征的方法、局部特征分析方法、特征脸方法、基于弹性模型的方法、神经网络方法，等等。

步骤S20，将该实时脸部图像输入预先训练好的第一情绪分类模型及第二情绪分类模型进行情绪识别，得到每种情绪的第一概率及第二概率。

具体地，所述第一情绪分类模型及第二情绪分类模型通过以下步骤得出：

建立一个人脸样本库，在每张人脸样本图像中标记t个面部特征点；

将各个面部特征点的坐标与该人脸样本图像中规范化后的人脸区域的宽度及高度进行除运算，得到人脸样本图像的特征向量；

利用所述人脸样本图像及其特征向量对支持向量机分类器(SVM)进行学习训练，得到第一情绪分类模型；

给每张人脸样本图像分配一个情绪标签，并根据情绪标签对人脸样本库中的人脸样本图像进行分类；及

利用分类后的人脸样本图像对卷积神经网络(CNN)进行学习训练，得到第二情绪分类模型。

收集n张人脸图像，将每张人脸图像中的人脸区域规范化，形成人脸样本库，并在每张人脸样本图像中，手动标记t个面部特征点，所述面部特征点包括：眼睛、眉毛、鼻子、嘴巴、脸部外轮廓的位置特征点。每张人脸图像中的规范后的人脸区域为一个a*b的矩形，其中宽度为a，高度为b，该人脸样本图像中的各个面部特征点的坐标为(x，y)，将x对a进行除运算，将y对b进行除运算，得到该人脸样本图像的特征向量。根据样本库中每张人脸样本图像中的面部情绪进行分类：悲伤、愤怒、喜悦、惊讶等，给每张人脸样本图像分配一个对应的情绪标签。利用样本库中的n张人脸样本图像及得到的n个特征向量对支持向量机分类器(Support Vector Machine，SVM)进行学习训练，得到第一情绪分类模型。利用依情绪类型分类后的人脸样本图像对卷积神经网络(Convolutional Neural Network，CNN)进行训练，得到第二情绪分类模型。

假设从实时图像中提取出了实时脸部图像A，并将实时脸部图像A分别输入第一情绪模型及第二情绪模型，会出现多种情况：

第一种情况：第一情绪模型输出的结果与第二模型输出的结果中的情绪类别只有一种，情绪类别一致，概率不一定相同。例如，第一情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“喜悦”的概率值为0.62；第二情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“喜悦”的概率值为0.68；

第二种情况：第一情绪模型输出的结果与第二模型输出的结果中的情绪类别有两种或两种以上，情绪类别一致，概率不一定相同。例如，第一情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“愤怒”、“悲伤”的第一概率值分别为0.51、0.49；第二情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“愤怒”、“悲伤”的第二概率值分别为0.41、0.59；

第三种情况：第一情绪模型输出的结果与第二模型输出的结果中的情绪类别不同，概率不一定相同。例如，第一情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“喜悦”的概率值为0.65；第二情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“愤怒”的概率值为0.61；及

第四种情况：第一情绪模型输出的结果与第二模型输出的结果中的情绪类别有两种或两种以上，情绪类别不同，概率不一定相同。例如，第一情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“愤怒”、“悲伤”的第一概率值分别为0.51、0.49；第二情绪分类模型输出的结果为：实时脸部图像A中面部情绪为“喜悦”、“惊讶”的第二概率值分别为0.45、0.55。

步骤S30，根据第一情绪分类模型、第二情绪分类模型识别出的情绪及概率，判断该实时脸部图像中的情绪。

具体地，参照图4所示，步骤S30包括：

步骤S31，判断所述第一情绪分类模型、第二情绪分类模型识别出的一种或多种情绪是否相同；

步骤S32，当第一情绪分类模型、第二情绪分类模型识别出的是相同的一种或多种情绪，计算各情绪的第一概率、第二概率的均值，以第一概率、第二概率的均值中较大值对应的情绪作为从该实时图像中识别到的情绪；或

步骤S33，当第一情绪分类模型、第二情绪分类模型识别出的是不同的一种或多种情绪，以第一概率、第二概率中较大值对应的情绪作为从该实时图像中识别到的情绪。

对于上述第一和第二两种情况，两个情绪分类模型输出的结果为相同的一种或多种情绪，那么，对各情绪的第一概率和第二概率取均值：

第一种情况：情绪“喜悦”：对第一概率0.62及第二概率0.68求均值，得到平均概率为0.65，最终将“喜悦”作为当前实时脸部图像A中的面部情绪。

第二种情况：情绪“愤怒”、“悲伤”：对第一概率0.51、0.49及第二概率0.41、0.59求均值，得到各情绪的平均概率为0.46、0.54，最终将“悲伤”作为当前实时脸部图像A中的面部情绪。

对于上述第三和第四两种情况，两个情绪分类模型输出的结果为不同的一种或多种情绪，那么，对各情绪的第一概率和第二概率取较大值：

第三种情况：情绪为“喜悦”的概率值为0.65，情绪为“愤怒”的概率值为0.61，最终将“喜悦”作为当前实时脸部图像A中的面部情绪。

第四种情况：情绪为“愤怒”、“悲伤”的第一概率值分别为0.51、0.49，情绪为“喜悦”、“惊讶”的第二概率值分别为0.45、0.55，最终将“惊讶”作为当前实时脸部图像A中的面部情绪。

本实施例提出的面部情绪识别方法，从实时图像中提取实时脸部图像，将该实时脸部图像输入第一情绪分类模型及第二情绪分类模型，分别得到每种情绪的第一概率和第二概率，结合两个情绪分类模型输出的结果，对当前脸部图像中的情绪进行判断，提高了面部情绪识别的准确率。

基于第一实施例提出面部情绪识别方法的第二实施例，在本实施例中，该方法包括：步骤S10-步骤S30。其中，步骤S10、步骤S20与第一实施例中大致相同，这里不再赘述。

步骤S30，根据第一情绪分类模型、第二情绪分类模型识别出的情绪及概率，判断该实时脸部图像中的情绪。

具体地，参照图5所示，步骤S30包括：

步骤S31，判断所述第一情绪分类模型、第二情绪分类模型识别出的一种或多种情绪是否相同；

步骤S32，当第一情绪分类模型、第二情绪分类模型识别出的是相同的一种或多种情绪，对各情绪的第一概率、第二概率求均值，并取均值中的较大值；

步骤S33，判断第一概率、第二概率的均值中较大值是否大于第一预设阈值；

步骤S34，当第一概率、第二概率的均值中较大值大于第一预设阈值，判断均值中较大值对应的情绪作为从该实时图像中识别到的情绪；或

步骤S35，当第一情绪分类模型、第二情绪分类模型识别出的是不同的一种或多种情绪，取各情绪第一概率、第二概率中的较大值；

步骤S36，判断各情绪第一概率、第二概率中的较大值是否大于第二预设阈值；

步骤S37，当第一概率、第二概率中较大值大于第二预设阈值，则将较大值对应的情绪作为从该实时图像识别到该种情绪。

假设第一预设阈值为0.55，第二预设阈值为0.6，那么，

第一种情况：情绪“喜悦”的平均概率为0.65，0.65＞0.55，将“喜悦”作为当前实时脸部图像A中的面部情绪；

第二种情况：情绪“愤怒”、“悲伤”的平均概率分别为0.46、0.54，平均概率中较大值为0.54，0.54＜0.55，则认为从当前实时脸部图像A中识别面部情绪失败；

第三种情况：情绪“喜悦”、“愤怒”的第一概率、第二概率中的较大值为0.65，0.65＞0.6，将“喜悦”作为当前实时脸部图像A中的面部情绪；及

第四种情况：情绪“愤怒”、“悲伤”、“喜悦”、“惊讶”的第一概率、第二概率中的较大值为0.55，0.55＜0.6，则认为从当前实时脸部图像A中识别面部情绪失败。

进一步地，步骤S30还包括步骤S38，当所述第一概率、第二概率的均值中较大值及所述第一概率、第二概率中较大值小于预设阈值，则提示面部情绪识别失败，并返回至实时脸部图像获取步骤。对于上述第二种情况，情绪“愤怒”、“悲伤”的第一概率及第二概率的均值中的较大值(0.54)小于第一预设阈值(0.55)，对于上述第四种情况，情绪“愤怒”、“悲伤”、“喜悦”、“惊讶”的第一概率及第二概率中的较大值(0.55)小于第二预设阈值(0.6)，上述情况则表明无法从当前实时脸部图像A中识别出面部情绪，在电子装置的显示屏上弹出提示框，提示无法从实时脸部图像A中识别出情绪类型，流程返回至步骤S10，并进行后续步骤。

本实施例提出的面部情绪识别方法，从实时图像中提取实时脸部图像，将该实时脸部图像输入第一情绪分类模型及第二情绪分类模型，通过设置第一预设阈值及第二预设阈值，对两个情绪分类模型输出的结果进行筛选，然后对实时脸部图像中人脸的面部情绪进行判断，提高了面部情绪识别的准确率。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质中包括面部情绪识别程序，所述面部情绪识别程序被处理器执行时实现如下操作：

实时脸部图像获取步骤：获取摄像装置拍摄的实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像；

情绪识别步骤：将该实时脸部图像输入预先训练好的第一情绪分类模型及第二情绪分类模型进行情绪识别，得到每种情绪的第一概率及第二概率；及

情绪判断步骤：根据第一情绪分类模型、第二情绪分类模型识别出的情绪及概率，判断该实时脸部图像中的情绪。

可选地，所述情绪判断步骤包括：

判断所述第一情绪分类模型、第二情绪分类模型识别出的一种或多种情绪是否相同。

可选地，所述情绪判断步骤还包括：

当第一情绪分类模型、第二情绪分类模型识别出的是相同的一种或多种情绪，计算各情绪的第一概率、第二概率的均值，以第一概率、第二概率的均值中较大值对应的情绪作为从该实时图像中识别到的情绪；或

当第一情绪分类模型、第二情绪分类模型识别出的是不同的一种或多种情绪，以第一概率、第二概率中较大值对应的情绪作为从该实时图像中识别到的情绪。

本发明之计算机可读存储介质的具体实施方式与上述面部情绪识别方法的具体实施方式大致相同，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种电子装置，其特征在于，所述装置包括存储器、处理器及摄像装置，所述存储器中包括面部情绪识别程序，所述面部情绪识别程序被所述处理器执行时实现如下步骤：

实时脸部图像获取步骤：获取摄像装置拍摄的实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像；

情绪识别步骤：将该实时脸部图像输入预先训练好的第一情绪分类模型及第二情绪分类模型进行情绪识别，得到每种情绪的第一概率及第二概率；及

情绪判断步骤：根据第一情绪分类模型、第二情绪分类模型识别出的情绪及概率，判断该实时脸部图像中的情绪。

2.根据权利要求1所述的电子装置，其特征在于，所述第一情绪分类模型及第二情绪分类模型的训练步骤包括：

特征点提取步骤：建立一个人脸样本库，在每张人脸样本图像中标记t个面部特征点；

特征向量计算步骤：将各个面部特征点的坐标与该人脸样本图像中规范化后的人脸区域的宽度及高度进行除运算，得到人脸样本图像的特征向量；

第一模型训练步骤：利用所述人脸样本图像及其特征向量对支持向量机分类器进行学习训练，得到第一情绪分类模型；

情绪标签分配步骤：给每张人脸样本图像分配一个情绪标签，并根据情绪标签对人脸样本库中的人脸样本图像进行分类；及

第二模型训练步骤：利用分类后的人脸样本图像对卷积神经网络进行学习训练，得到第二情绪分类模型。

3.根据权利要求1所述的电子装置，其特征在于，所述情绪判断步骤包括：

判断所述第一情绪分类模型、第二情绪分类模型识别出的一种或多种情绪是否相同。

4.根据权利要求1或3所述的电子装置，其特征在于，所述情绪判断步骤还包括：

当第一情绪分类模型、第二情绪分类模型识别出的是相同的一种或多种情绪，计算各情绪的第一概率、第二概率的均值，以第一概率、第二概率的均值中较大值对应的情绪作为从该实时图像中识别到的情绪；或

当第一情绪分类模型、第二情绪分类模型识别出的是不同的一种或多种情绪，以第一概率、第二概率中较大值对应的情绪作为从该实时图像中识别到的情绪。

5.一种面部情绪识别方法，其特征在于，所述方法包括：

实时脸部图像获取步骤：获取摄像装置拍摄的实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像；

情绪识别步骤：将该实时脸部图像输入预先训练好的第一情绪分类模型及第二情绪分类模型进行情绪识别，得到每种情绪的第一概率及第二概率；及

情绪判断步骤：根据第一情绪分类模型、第二情绪分类模型识别出的情绪及概率，判断该实时脸部图像中的情绪。

6.根据权利要求5所述的面部情绪识别方法，其特征在于，所述第一情绪分类模型及第二情绪分类模型的训练步骤包括：

特征点提取步骤：建立一个人脸样本库，在每张人脸样本图像中标记t个面部特征点；

特征向量计算步骤：将各个面部特征点的坐标与该人脸样本图像中规范化后的人脸区域的宽度及高度进行除运算，得到人脸样本图像的特征向量；

第一模型训练步骤：利用所述人脸样本图像及其特征向量对支持向量机分类器进行学习训练，得到第一情绪分类模型；

情绪标签分配步骤：给每张人脸样本图像分配一个情绪标签，并根据情绪标签对人脸样本库中的人脸样本图像进行分类；及

第二模型训练步骤：利用分类后的人脸样本图像对卷积神经网络进行学习训练，得到第二情绪分类模型。

7.根据权利要求5所述的面部情绪识别方法，其特征在于，所述情绪判断步骤包括：

判断所述第一情绪分类模型、第二情绪分类模型识别出的一种或多种情绪是否相同。

8.根据权利要求5或7所述的面部情绪识别方法，其特征在于，所述情绪判断步骤还包括：

当第一情绪分类模型、第二情绪分类模型识别出的是相同的一种或多种情绪，计算各情绪的第一概率、第二概率的均值，以第一概率、第二概率的均值中较大值对应的情绪作为从该实时图像中识别到的情绪；或

当第一情绪分类模型、第二情绪分类模型识别出的是不同的一种或多种情绪，以第一概率、第二概率中较大值对应的情绪作为从该实时图像中识别到的情绪。

9.根据权利要求5所述的面部情绪识别方法，其特征在于，所述人脸识别算法还可以为：基于几何特征的方法、局部特征分析方法、特征脸方法、基于弹性模型的方法、神经网络方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括面部情绪识别程序，所述面部情绪识别程序被处理器执行时，实现如权利要求5至9中任一项所述的面部情绪识别方法的步骤。