CN112472088B - 一种情绪状态评定方法、装置、智能终端及存储介质 - Google Patents

Abstract

本发明公开了一种情绪状态评定方法、装置、智能终端及存储介质，所述方法包括：获取待测试者的面部视频，并对所述面部视频进行预处理，得到目标面部视频；将所述目标面部视频输入预设的情绪状态评分模型中，得到与所述目标面部视频的面部特征所对应的情绪状态分数，所述情绪状态评分模型是基于面部特征与情绪状态分数的对应关系训练而成的；对所述情绪状态分数进行记录，并对应记录与所述情绪状态分数对应的面部特征。本发明通过预设的情绪状态评分模型来确定面部视频中的面部特征所对应的情绪状态分数，客观地且更为便捷得到情绪状态的分数，避免人为因素的干预，以便为后续的分析判断工作提供客观依据。

Description

一种情绪状态评定方法、装置、智能终端及存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及的是一种情绪状态评定方法、装置、智能终端及存储介质。

背景技术

情绪在人们的生活中起着举足轻重的作用，对人们的思维、决策和行为产生很大程度的影响。随着社会竞争压力的增加，如果常面临繁重的精神压力，长期处于不良情绪容易导致失眠以及增加焦虑症、抑郁症等心理疾病发病率、威胁人们健康甚至生命。因此对情绪易失控的人群，通过情绪识别及早发现情绪是否异常，有助于帮助缓解这类人群的精神压力，改善人体的身心健康状况。

在现有技术中，情绪状态的评定方法主要使用问诊观察、监护设备测量生理参数、量表评分等方式。问诊观察主要是通过问诊的方式进行主观判断；监护设备测量生理参数容易受到精神或情绪状态的影响，造成生理参数的失真，例如用血压计测量血压容易引发焦虑紧张导致血压升高；量表评分耗时长，同时受到人为经验和主观判断的影响，影响评分准确度。

因此，现有技术还有待改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种情绪状态评定方法、装置、智能终端及存储介质，旨在解决现有技术中的精神情绪状态的评定方法，存在人为经验和主观判断的影响的问题。

本发明解决问题所采用的技术方案如下：

第一方面，本发明实施例提供一种情绪状态评定方法，其中，所述方法包括：

获取待测试者的面部视频，并对所述面部视频进行预处理，得到目标面部视频；

将所述目标面部视频输入预设的情绪状态评分模型中，得到与所述目标面部视频的面部特征所对应的情绪状态分数，所述情绪状态评分模型是基于面部特征与情绪状态分数的对应关系训练而成的；

对所述情绪状态分数进行记录，并对应记录与所述情绪状态分数对应的面部特征。

在一种实现方式中，所述对所述面部视频进行预处理，包括：

在得到所述待测试者的所述面部视频后，对所述面部视频件进行过滤处理，筛选出不存在面部图像的视频段，并将所述不存在面部图像的视频段切除，得到所述目标面部视频。

在一种实现方式中，所述将所述目标面部视频输入预设的情绪状态评分模型中，得到与所述目标面部视频的面部特征所对应的情绪状态分数，包括：

当将所述目标面部视频输入至所述情绪状态评分模型后，所述情绪状态评分模型对所述目标图像进行面部特征提取；

获取所述面部特征，并利用所述情绪状态评分模型获取所述面部特征对应的情绪状态分数；

将所述情绪状态分数以及对应的面部特征输出。

在一种实现方式中，所述情绪状态评分模型的生成方式包括：

采集视频样本，所述视频样本中包括有各种不同情绪表情的面部图像；

从所述视频样本获取所述面部图像，并根据所述面部图像获取面部特征，所述面部特征用于反映所述面部图像对应的情绪表情；

根据预设的评分表，确定所述面部特征对应的情绪状态分数，生成所述面部特征与所述情绪状态分数的对应关系；

将所述对应关系输入预设的网络模型中进行训练，生成所述情绪状态评分模型。

在一种实现方式中，所述面部特征包括所述面部图像的情绪特征、面部关键点运动特征以及以及面部动作部位。

在一种实现方式中，所述评分表中存储有各种面部特征以及与每一种面部特征对应的情绪状态分数的对应关系，所述对应关系为一一对应关系。

在一种实现方式中，所述预设的网络模型包括自由支持向量机模型、机器学习模型、神经网络学习模型中的任意一种。

第二方面，本发明实施例还提供一种情绪状态评定装置，其中，所述装置包括：

视频获取单元，用于获取待测试者的面部视频，并对所述面部视频进行预处理，得到目标面部视频；

分数确定单元，将所述目标面部视频输入预设的情绪状态评分模型中，得到与所述目标面部视频的面部特征所对应的情绪状态分数，所述情绪状态评分模型是基于面部特征与情绪状态分数的对应关系训练而成的；

数据记录单元，对所述情绪状态分数进行记录，并对应记录与所述情绪状态分数对应的面部特征。

第三方面，本发明实施还提供一种智能终端，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如上述任意一项所述的情绪状态评定方法。

第四方面，本发明实施例还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述中任意一项所述的情绪状态评定方法。

本发明的有益效果：本发明通过预设的情绪状态评分模型来确定面部视频中的面部特征所对应的情绪状态分数，当将待测试者的面部视频输入至所述情绪状态评分模型后，就可以直接得到对应的情绪状态评分，可见，本发明可以客观地且更为便捷得到情绪状态的分数，避免人为因素的干预，以便为后续的分析判断工作提供客观依据。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的情绪状态评定方法的流程示意图。

图2是本发明实施例提供的情绪状态评定方法中的情绪状态评分模型的生成流程示意图。

图3是本发明实施例提供的情绪状态评定装置的原理框图。

图4是本发明实施例提供的智能终端的内部结构原理框图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进行详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

在现有技术中，精神情绪状态的评定方法主要使用问诊观察、监护设备测量生理参数、量表评分等方式。问诊观察主要是通过问诊的方式进行主观判断；监护设备测量生理参数容易受到精神或情绪状态的影响，造成生理参数的失真，例如用血压计测量血压容易引发焦虑紧张导致血压升高；量表评分耗时长，同时受到人为经验和主观判断的影响，影响评分准确度。

因此，为了解决现有技术中的问题，本发明实施例提供一种情绪状态评定方法，本发明实施例中主要是通过预设的情绪状态评分模型来确定面部视频中的面部特征所对应的情绪状态分数，当将待测试者的面部视频输入至所述情绪状态评分模型后，就可以直接得到对应的情绪状态评分，可见，本发明可以客观地且更为便捷得到情绪状态的分数，避免人为因素的干预，以便为后续的分析判断工作提供客观依据。

伴随着医疗理念的进步，由生理疾病引发的心理问题也越来越受到临床医生的重视。积极对症开展心理治疗，有助于减轻疾病症状、增强患者治疗时的依从性、提升生活幸福感。反之，不利于患者痊愈。情绪作为大脑的高级功能，反映了人的认知和精神状态。因此利用计算机辅助***对人的精神和情绪状态作出判断，以便向医师提供客观的、准确的精神和情绪状态的信息。本实施例就是基于计算机辅助***，提供一种情绪状态评定方法，该方法可以应用于智能终端中，如图1中所示，包括如下步骤：

步骤S100、获取待测试者的面部视频，并对所述面部视频进行预处理，得到目标面部视频。

由于本实施例中是需要根据面部视频来确定面部视频中的面部特征所对应的情绪状态分数，因此本实施例中，首先需要获取到待测试者的面部视频，并对该面部视频进行预处理。在具体实施时，本实施例可以采用视频采集装置来采集待测试者的面部视频，比如利用拍照装置来采集所述面部视频。由于在拍摄获得的待测试者的面部视频可能会存在没有面部图像的视频段，而本实施例真正需要分析的仅仅是具有面部图像的视频段。当面部视频中存在没有面部图像的视频段(即存在无效视频段)时，会影响后续步骤中的处理效率。因此，为了使得所述面部视频中更为纯净(即不存在没有面部图像的视频段)，本实施例中需要从所述面部视频段中筛选出不存在面部图像的视频段，并将所述不存在面部图像的视频段切除，得到所述目标面部视频。所述目标面部视频即为仅存在面部图像的视频段，因此后续步骤中在对所述目标面部视频进行特征提取时，可以更加快速地提取出面部特征。在一种实施方式中，在获取到面部视频后，还可以对所述面部视频进行降噪处理，提高面部视频的质量。

步骤S200、将所述目标面部视频输入预设的情绪状态评分模型中，得到与所述目标面部视频的面部特征所对应的情绪状态分数，所述情绪状态评分模型是基于面部特征与情绪状态分数的对应关系训练而成的。

本实施例中的情绪状态评分模型是预先设置的，可以直接被调用。当将所述目标面部视频输入至所述情绪状态评分模型后，所述情绪状态评分模型对所述目标图像进行面部特征提取。然后，获取所述面部特征，并利用所述情绪状态评分模型获取所述面部特征对应的情绪状态分数。由于本实施例中的所述情绪状态评分模型是基于面部特征与情绪状态分数的对应关系训练而成的，必然是存在所述面部特征与情绪状态分数的对应关系的，因此，通过所述所述情绪状态评分模型可以自动确定出情绪状态分数。当确定出所述情绪状态分数后，本实施例将所述情绪状态分数以及对应的面部特征输出。

在一种实施方式中，本实施例在生成所述情绪状态评分模型时，如图2中所示，包括以下步骤：

步骤S201、当将所述目标面部视频输入至所述情绪状态评分模型后，所述情绪状态评分模型对所述目标图像进行面部特征提取；

步骤S202、获取所述面部特征，并利用所述情绪状态评分模型获取所述面部特征对应的情绪状态分数；

步骤S203、将所述情绪状态分数以及对应的面部特征输出。

具体地，首先采集视频样本，所述视频样本中包括有各种不同情绪表情的面部图像，从所述视频样本获取所述面部图像，并根据所述面部图像获取面部特征，所述面部特征用于反映所述面部图像对应的情绪表情；比如情绪表情可以为：正常(nature)、开心(happiness)、恐惧(fear)、惊讶(surprise)、厌恶(disgust)、悲伤(sadness)、生气(anger)。每一个情绪表情都会有各自对应的面部特征。然后，根据预设的评分表，确定所述面部特征对应的情绪状态分数，生成所述面部特征与所述情绪状态分数的对应关系。在具体实施，所述评分表预设的，该评分表中存储有各种面部特征以及与所述面部特征所对应的情绪状态分数。当从所述面部图像获取面部特征后，根据该评分表中就可以确定出该面部特征对应的情绪状态分数，然后将确定出情绪状态分数与面部特征建立一个对应关系，将所述对应关系输入预设的网络模型中进行训练，生成所述情绪状态评分模型。

在一种实施方式中，所述评分表中的各种面部特征以及与每一种面部特征对应的情绪状态分数的对应关系可以为一一对应关系。所述评分表可以为汉密尔顿焦虑量表，该汉密尔顿焦虑量表中存储的是有关汉密尔顿焦虑症状对应的面部特征以及每一种面部特征所对应的情绪状态分数，这样训练得到的所述情绪状态评分模型是可以自动从面部视频中获取到有关汉密尔顿焦虑症状对应的面部特征以及情绪状态分数。为了实现对于不同场景下或者不同的病理下的情绪状态分数的确定，可以对所述评分表进行替换，比如将汉密尔顿焦虑量表替换为汉密尔顿抑郁量表(HAMD-17)等评测情绪状态的量表，或者统一帕金森症评定量表(UPDRS)等评测认知状态的量表。这样可以扩大本实施例的应用场景，实现不同疾病的面部特征的情绪状态分数评定。

在一种实施方式中，所述面部特征包括所述面部图像的情绪特征、面部关键点运动特征以及以及面部动作部位。通过从所述面部视频中提取多种维度的面部特征，从而训练出更为精准的情绪状态评分模型。具体地，本实施例中的情绪特征包括七种基本情绪：正常(nature)、开心(happiness)、恐惧(fear)、惊讶(surprise)、厌恶(disgust)、悲伤(sadness)、生气(anger)。并且面部视频中可能还包括有混合情绪的分布情况，即包括但不限于基本情绪中的两种或多种的组合。并且本实施例中的情绪特征还可以包括各种情绪的随时间的状态变化。本实施例中的面部关键点运动特征包括的是面部关键点单个或多个的频率特征以及面部关键点的单个或多个的运动轨迹特征。当然，所述动作部位也可以是单种、两种或多种的组合的特征。这样，面部特征就可以包括多个维度，从而训练处一个更为精确的情绪状态评分模型。

当然，本实施例在训练情绪状态评分模型时，可以使用另一种数据源(如音频)或者多种数据源组合的方式，来代替使用面部视频数据作为训练样本。本实施例训练情绪状态评分模型时用到的网络模型可以为自由支持向量机模型、机器学习模型、神经网络学习模型中的任意一种。

步骤S300、对所述情绪状态分数进行记录，并对应记录与所述情绪状态分数对应的面部特征。

当通过所述情绪状态评分模型得到情绪状态分数后，对所述情绪状态分数进行记录，并对应记录与所述情绪状态分数对应的面部特征，实现对数据的记录，以便数据的核查与复现。

可见，本实施例通过预设的情绪状态评分模型来确定面部视频中的面部特征所对应的情绪状态分数，当将待测试者的面部视频输入至所述情绪状态评分模型后，就可以直接得到对应的情绪状态评分，可见，本发明可以客观地且更为便捷得到情绪状态的分数，避免人为因素的干预，以便为后续的分析判断工作提供客观依据。本实施例得到的情绪状态分数与做相应情绪状态评分量表的量表评估分数具有同一性，可以用来作为诊疗精神情绪状态评价的客观依据，并且结果可复现，摆脱人的主观因素的影响。例如：利用该技术方案得到的有关焦虑的评定分数，与使用汉密尔顿焦虑量表的到的评分分数具有一致性。

示例性设备

如图3中所示，本发明实施例提供一种情绪状态评定装置，该装置包括：视频获取单元310、分数确定单元320以及数据记录单元330。具体地，所述视频获取单元310，用于获取待测试者的面部视频，并对所述面部视频进行预处理，得到目标面部视频。所述分数确定单元320，将所述目标面部视频输入预设的情绪状态评分模型中，得到与所述目标面部视频的面部特征所对应的情绪状态分数，所述情绪状态评分模型是基于面部特征与情绪状态分数的对应关系训练而成的。所述数据记录单元330，对所述情绪状态分数进行记录，并对应记录与所述情绪状态分数对应的面部特征。。

基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图4所示。该智能终端包括通过***总线连接的处理器、存储器、网络接口、显示屏、图像传感器。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种情绪状态评定方法。该智能终端的显示屏可以是OLED显示屏、液晶显示屏或者电子墨水显示屏等多种类的显示屏，该智能终端的图像传感器是预先在智能终端内部设置，用于获取被测试者的面部视频。此图像传感器也可以是位于网络的网络摄像头。

本领域技术人员可以理解，图4中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种智能终端，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

获取待测试者的面部视频，并对所述面部视频进行预处理，得到目标面部视频；

将所述目标面部视频输入预设的情绪状态评分模型中，得到与所述目标面部视频的面部特征所对应的情绪状态分数，所述情绪状态评分模型是基于面部特征与情绪状态分数的对应关系训练而成的；

对所述情绪状态分数进行记录，并对应记录与所述情绪状态分数对应的面部特征。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

综上所述，本发明公开了一种情绪状态评定方法、装置、智能终端及存储介质，所述方法包括：获取待测试者的面部视频，并对所述面部视频进行预处理，得到目标面部视频；将所述目标面部视频输入预设的情绪状态评分模型中，得到与所述目标面部视频的面部特征所对应的情绪状态分数，所述情绪状态评分模型是基于面部特征与情绪状态分数的对应关系训练而成的；对所述情绪状态分数进行记录，并对应记录与所述情绪状态分数对应的面部特征。本发明通过预设的情绪状态评分模型来确定面部视频中的面部特征所对应的情绪状态分数，客观地且更为便捷得到情绪状态的分数，避免人为因素的干预，以便为后续的分析判断工作提供客观依据。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (9)

1.一种情绪状态评定方法，其特征在于，所述方法包括：

获取待测试者的面部视频，并对所述面部视频进行预处理，得到目标面部视频；

将所述目标面部视频输入预设的情绪状态评分模型中，得到与所述目标面部视频的面部特征所对应的情绪状态分数，所述情绪状态评分模型是基于面部特征与情绪状态分数的对应关系训练而成的；

对所述情绪状态分数进行记录，并对应记录与所述情绪状态分数对应的面部特征；

所述将所述目标面部视频输入预设的情绪状态评分模型中，得到与所述目标面部视频的面部特征，包括：

所述情绪状态评分模型从所述目标面部视频中提取多种维度的面部特征，所述面部特征包括所述目标面部视频中的面部图像的情绪特征、面部关键点运动特征以及面部动作部位，所述情绪特征包括随时间变化的各种情绪，所述面部关键点运动特征包括面部关键点单个或多个的频率特征以及面部关键点的单个或多个的运动轨迹特征，所述面部动作部位是单种或多种的组合的特征。

2.根据权利要求1所述的情绪状态评定方法，其特征在于，所述对所述面部视频进行预处理，包括：

在得到所述待测试者的所述面部视频后，对所述面部视频件进行过滤处理，筛选出不存在面部图像的视频段，并将所述不存在面部图像的视频段切除，得到所述目标面部视频。

3.根据权利要求1所述的情绪状态评定方法，其特征在于，所述将所述目标面部视频输入预设的情绪状态评分模型中，得到与所述目标面部视频的面部特征所对应的情绪状态分数，包括：

当将所述目标面部视频输入至所述情绪状态评分模型后，所述情绪状态评分模型对所述目标面部视频进行面部特征提取；

获取所述面部特征，并利用所述情绪状态评分模型获取所述面部特征对应的情绪状态分数；

将所述情绪状态分数以及对应的面部特征输出。

4.根据权利要求3所述的情绪状态评定方法，其特征在于，所述情绪状态评分模型的生成方式包括：

采集视频样本，所述视频样本中包括有各种不同情绪表情的面部图像；

从所述视频样本获取所述不同情绪表情的面部图像，并根据所述不同情绪表情的面部图像获取面部特征，所述面部特征用于反映所述不同情绪表情的面部图像对应的情绪表情；

根据预设的评分表，确定所述面部特征对应的情绪状态分数，生成所述面部特征与所述情绪状态分数的对应关系；

将所述对应关系输入预设的网络模型中进行训练，生成所述情绪状态评分模型。

5.根据权利要求4所述的情绪状态评定方法，其特征在于，所述评分表中存储有各种面部特征以及与每一种面部特征对应的情绪状态分数的对应关系，所述对应关系为一一对应关系。

6.根据权利要求4所述的情绪状态评定方法，其特征在于，所述预设的网络模型包括支持向量机模型、神经网络学习模型中的任意一种。

7.一种情绪状态评定装置，其特征在于，所述装置包括：

视频获取单元，用于获取待测试者的面部视频，并对所述面部视频进行预处理，得到目标面部视频；

分数确定单元，将所述目标面部视频输入预设的情绪状态评分模型中，得到与所述目标面部视频的面部特征所对应的情绪状态分数，所述情绪状态评分模型是基于面部特征与情绪状态分数的对应关系训练而成的，所述将所述目标面部视频输入预设的情绪状态评分模型中，得到与所述目标面部视频的面部特征，包括：所述情绪状态评分模型从所述目标面部视频中提取多种维度的面部特征，所述面部特征包括所述目标面部视频中的面部图像的情绪特征、面部关键点运动特征以及面部动作部位，所述情绪特征包括随时间变化的各种情绪，所述面部关键点运动特征包括面部关键点单个或多个的频率特征以及面部关键点的单个或多个的运动轨迹特征，所述面部动作部位是单种或多种的组合的特征；

数据记录单元，对所述情绪状态分数进行记录，并对应记录与所述情绪状态分数对应的面部特征。

8.一种智能终端，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如权利要求1-6中任意一项所述的方法。

9.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1-6中任意一项所述的方法。

Images