CN108960022A - 一种情绪识别方法及其装置 - Google Patents

Abstract

本发明提供了一种情绪识别方法及其装置，其中包括采集识别对象面部图像后进行数据处理，数据库存储并建立表情判别特征模型，得出情绪输出的方法；还包括采集单元，数据处理单元，数据库单元构成的识别装置。本发明情绪识别方法可辨识度高，表情特征判别模型具有高度的完整性、可靠性，通过模型得出的情绪结果更准确。

Description

一种情绪识别方法及其装置

技术领域

本发明涉及图像处理应用领域，具体涉及一种情绪识别方法及其装置。

背景技术

随着人工智能科学的飞速发展，如何使计算机能够识别人类的表情进而得到人类的情感状态，已经越来越多地受到计算机科学、心理学等学科的关注。

目前在情感计算领域已出现了诸多情感模型，但大多局限于图像的整体融合训练，情感模型结果不够进准，无法满足细微表情状态下的情绪状态判断。

申请号为201611014343.9的中国专利，公开了一种基于深度学习的情绪识别方法及其装置，该装置包括人脸图像采集模块，基于深度学习表情识别模块，表情预警模块。通过对采集每次员工打卡时候的面部图像，采用技术深度学习算法的表情分析算法来分析员工的情绪，并与历史情绪进行对比分析，当情绪出现异常时，装置向相关人员发出告警信息；其获取员工的人脸正面图像，并将图像按照员工的ID和打卡日期的方式存储到图像数据库中，这种以固定ID的方式使用不便，且图像处理将人脸面部图像调整为227*227大小的RGB图像，通过已经训练好的VGGNet网络进行情绪分类，其图像处理较为粗略，不能进准分辨微表情，是的情绪分类效果不够理想，迫切需要加以改进。

发明内容

为解决上述问题，本发明提供了一种情绪识别方法及其装置，其中情绪识别方法可辨识度高，表情特征判别模型具有高度的完整性、可靠性，通过模型得出的情绪结果更准确。

为实现所述技术目的，本发明的技术方案是：一种情绪识别方法，包括采集识别对象面部图像后进行数据处理，数据库存储并建立表情判别特征模型，得出情绪输出的方法；

所述数据处理方法是根据面部特征分区，提取各区内特征部分变化参数，建立个人ID后将参数发送至数据库中后进行图像预处理；

所述建立数据库是将所述参数和预处理图像参照历史数据库后，以个人ID目录所构建的参数库和图像库的整合；

所述建立表情判别特征模型方法是基于所述数据库，通过卷积神经网络进行训练。

进一步，所述数据处理方法包括以下步骤：

S1：采集识别对象面部图像，通过面部识别技术，根据面部特征分为前额区、鼻翼区、眉区、唇周区、脸颊区至少五个区域，并对所述各个区域分别放大进行数据分析，所述数据分析是对前额细纹变化、鼻翼收缩、眉毛间距和抖动、唇周外形变化、脸色变化参数的分析；

S2：利用图像压缩技术采集到的图像进行图像预处理；

S3：建立个人ID，将步骤S1中数据分析后的参数发送至所述参数库，将步骤S2中图像预处理后的图像发送至所述图像库。

进一步，所述步骤S1中数据分析还包括对血压参数、脉搏参数、体温参数的分析。

进一步，所述建立数据库包括以下步骤：

第一步：通过模糊逻辑和D-S融合技术将数据分析后得到的参数和图像预处理后的图像分别参照对比历史数据库中的参数库和图像库，判断是否具有所述个人ID的历史参数或图像；

第二步：在历史数据库中具有所述个人ID的历史参数或图像时，将此个人ID更新为历史个人ID，并在历史个人ID目录下添加参数和预处理图像；在历史数据库中没有所述个人ID的历史参数或图像时，将此个人ID存储为新的个人ID目录，并在新的个人ID目录下存储参数和预处理图像。

进一步，所述模糊逻辑是根据所述面部特征各分区的权重进行的参照对比。

进一步，所述建立表情判别特征模型方法包括以下步骤：

第一：以个人ID目录下的图像库和参数库进行训练，得到个人表情判别特征模型；

第二：以图像库和参数库整体进行训练，得到整体表情判别特征模型；

第三：所述个人表情判别特征模型将所述预处理图像和参数结合，形成情绪特征指数，并融合对比个人表情判别特征模型将情绪分类并分级，输出为情绪类别和情绪级数；

第四：在个人ID目录下的图像库和参数库经验数据不足时，整体表情判别特征模型将所述处理图像和参数结合，形成情绪特征指数，并融合对比整体表情判别特征模型将情绪分类并分级，输出为情绪类别和情绪级数。

进一步，所述表情判别模型是以所述图像库为主体，以所述参数库为参考体进行训练。

进一步，所述个人表情判别特征模型和整体表情判别特征模型根据图像库和参数库的更新不断深度学习。

一种情绪识别装置，包括：采集单元，数据处理单元，数据库单元；

所述采集单元以高分辨率摄像头采集图像；

所述数据处理单元包括图像预处理模块和数据分析模块分别对采集单元捕获的面部图像进行预处理和分析；

所述数据库单元包括个人ID库、图像库、参数库；且所述图像库和参数库存放于个人ID库目录下，且数据库单元存储于服务器内；

所述服务器内存储表情判别特征模型，且通过表情判别特征模型通过输入模块输入参数和图像，通过输出模块输出情绪类别和情绪级数。

进一步所述采集单元和数据处理单元通过近距离点对点通信模块进行数据交互，所述输出模块设置交互模块交互情绪类别和情绪级数。

本发明的有益效果在于：

1)对于不同用户可自动生成ID，以参照对比历史数据库的方式，并存储用户个人ID的图像和参数，方便了不同用户的使用；对于同一用户再次使用本装置时，也无需输入个人ID，根据图像和参数自动匹配到个人历史ID目录；极大了方便了用户的使用体验，且确保了数据库经验数据的不断累积。

2)表情判别特征模型以个人为主体进行训练出个人模型外还训练了整体模型；在特定用户经验数据不足时，利用整体模型，确保了情绪识别的稳定性。

3)本发明的表情判别模型不仅仅依赖于图像的处理融合，更结合了前额细纹变化、鼻翼收缩(表达为呼吸频率)、眉毛间距和抖动、唇周外形变化、脸色变化参数、血压参数、脉搏参数、体温参数等参数，这些参数和人的情绪状态息息相关，完善了表情判别模型的完整性。同时对面部特征的分区，更能准确获取微表情的细微面部参数，提高了情绪的可辨识度。

综上，本发明的情绪识别方法可辨识度高，表情特征判别模型具有高度的完整性、可靠性，通过模型得出的情绪结果更准确。

附图说明

图1是本发明的数据库结构示意图；

图2是本发明情绪识别装置的模块原理图。

具体实施方式

下面将对本发明的技术方案进行清楚、完整地描述。

一种情绪识别方法，包括采集识别对象面部图像后进行数据处理，数据库存储并建立表情判别特征模型，得出情绪输出的方法；

所述数据处理方法是根据面部特征分区，提取各区内特征部分变化参数，建立个人ID后将参数发送至数据库中后进行图像预处理；通过在数据处理单元进行的数据处理的方法，将大大减小服务器的运算开支，提高了服务器运行速率。

如图1所示，所述建立数据库是将所述参数和预处理图像参照历史数据库后，以个人ID目录所构建的参数库和图像库的整合；以个人ID为目录的数据库的建立，方便了数据比对，和模型的建立。

所述建立表情判别特征模型方法是基于所述数据库，通过卷积神经网络进行训练得到的。

进一步，所述数据处理方法包括以下步骤：

S1：采集识别对象面部图像，通过面部识别技术，根据面部特征分为前额区、鼻翼区、眉区、唇周区、脸颊区至少五个区域，并对所述各个区域分别放大进行数据分析，所述数据分析是对前额细纹变化、鼻翼收缩、眉毛间距和抖动、唇周外形变化、脸色变化参数的分析；其中前额区舒展，细纹较少，嘴角后拉且上翘，脸颊上提等较大面部肌肉运动时表现的情绪为“快乐”；眉区双眉高挑，唇周嘴部张开，脸颊舒张(下颌张开)等变化参数表现的情绪为“惊奇”；眉区眉内皱，鼻翼区鼻翼扩张且张口呈方形或紧闭等变化参数表现的情绪为“愤怒”，通过分区进行数据处理的方法，将大大减小服务器的运算开支，提高了服务器运行速率。

S2：利用图像压缩技术采集到的图像进行图像预处理；图像预处理的目的是压缩图像，节约了在数据库内的存储空间，方便了向服务器高速传输图像。

S3：建立个人ID，将步骤S1中数据分析后的参数发送至所述参数库，将步骤S2中图像预处理后的图像发送至所述图像库。

进一步，所述步骤S1中数据分析还包括对血压参数、脉搏参数、体温参数的分析。这些参数和人的情绪状态息息相关，在表情判别模型中加入这些参数，大大提高了表情判别模型的精准性。

进一步，所述建立数据库包括以下步骤：

第一步：通过模糊逻辑和D-S融合技术将数据分析后得到的参数和图像预处理后的图像分别参照对比历史数据库中的参数库和图像库，判断是否具有所述个人ID的历史参数或图像；

第二步：在历史数据库中具有所述个人ID的历史参数或图像时，将此个人ID更新为历史个人ID，并在历史个人ID目录下添加参数和预处理图像；在历史数据库中没有所述个人ID的历史参数或图像时，将此个人ID存储为新的个人ID目录，并在新的个人ID目录下存储参数和预处理图像。这种参照对比的方式，对于不同用户可自动生成ID，并存储用户个人ID的图像和参数，方便了不同用户的使用；对于同一用户再次使用本装置时，也无需输入个人ID，根据图像和参数自动匹配到个人历史ID目录。

进一步，所述模糊逻辑是根据所述面部特征各分区的权重进行的参照对比。通过模糊逻辑的运算，提高了ID的建立和识别效率。

进一步，所述建立表情判别特征模型方法包括以下步骤：

第一：以个人ID目录下的图像库和参数库进行训练，得到个人表情判别特征模型；这种针对个人而建立的个人表情判别特征模型，提高了模型的可靠性，使得情绪的输出结果较大数据的数据库更精准。

第二：以图像库和参数库整体进行训练，得到整体表情判别特征模型；

第三：所述个人表情判别特征模型将所述预处理图像和参数结合，形成情绪特征指数，并融合对比个人表情判别特征模型将情绪分类并分级，输出为情绪类别和情绪级数；

第四：在个人ID目录下的图像库和参数库经验数据不足时，整体表情判别特征模型将所述处理图像和参数结合，形成情绪特征指数，并融合对比整体表情判别特征模型将情绪分类并分级，输出为情绪类别和情绪级数。整体表情判别特征模型在特定用户经验数据不足时，确保了情绪识别的稳定性和准确度。

进一步，所述表情判别模型是以所述图像库为主体，以所述参数库为参考体进行训练。本发明的表情判别模型不仅仅依赖于图像的处理融合，更结合了前额细纹变化、鼻翼收缩(表达为呼吸频率)、眉毛间距和抖动、唇周外形变化、脸色变化参数、血压参数、脉搏参数、体温参数等参数，这些参数和人的情绪状态息息相关，完善了表情判别模型的完整性。同时，作为本发明的一种实施例，所述表情判别模型还通过一种基于深度微表情的方法做进一步完善，所述深度微表情是指：对面部图像放大至少1000倍，挖掘脸部局部颤抖、脸色细微变化等因素和情绪类别的关系，而进行的深度学习。通过深度微表情技术，挖掘出了因情绪带来的面部细微变化，大大提高了情绪识别的精准性。

进一步，所述个人表情判别特征模型和整体表情判别特征模型根据图像库和参数库的更新不断深度学习。这种根据数据库的更新来进行深度学习训练模型的方式，不断提高了模型的可信度。

如图2所示，一种情绪识别装置，包括：采集单元，数据处理单元，数据库单元；

所述采集单元以高分辨率摄像头采集图像；

所述数据处理单元包括图像预处理模块和数据分析模块分别对采集单元捕获的面部图像进行预处理和分析；

所述数据库单元包括个人ID库、图像库、参数库；且所述图像库和参数库存放于个人ID库目录下，且数据库单元存储于服务器内；

所述服务器内存储表情判别特征模型，且通过表情判别特征模型通过输入模块输入参数和图像，通过输出模块输出情绪类别和情绪级数。

进一步，所述采集单元和数据处理单元通过近距离点对点通信模块进行数据交互，所述输出模块设置交互模块交互情绪类别和情绪级数。

作为本发明的一种实施例，一种情绪***，尤其是应用于婴儿或病人护理应用上，所述图像采集单元可安装于婴儿和病人面部周围，所述数据处理单元和所述交互模块集成于手环等穿戴设备上；所述图像采集单元和所述手环上的数据处理单元外均设置通信模块形成短距离点对点通信，所述数据处理单元还外设互联网模块和所述远程终端服务器单元通信，且手环上各模块通过电池供电并集成整流滤波和稳压电路为电池充电；所述血压传感器、脉搏传感器、体温传感器集成在所述手环上。

由婴儿或病人佩戴手环，位于面部周围的图像采集单元通过摄像头对所需识别对象进行面部图像采集，通过点对点通信方式，将图像发送至所述数据处理单元进行图像压缩和图像识别，识别后的图像根据面部特征进分区和面部特征变化参数分析；其中面部特征进分区是根据面部特征分为前额区、鼻翼区、眉区、唇周区、脸颊区至少五个区域，并对所述各个区域通过深度微表情技术放大进行数据分析，通过深度微表情技术，挖掘出因情绪带来的部局部颤抖、脸色细微变化等，大大提高了情绪识别的精准性。

所述数据分析是对前额细纹变化、鼻翼收缩、眉毛间距和抖动、唇周外形变化、脸色变化参数的分析；

所述手环上还设置血压传感器、脉搏传感器、体温传感器分别连接至所述数据库单元和表情判别特征模型；所述表情判别模型是以所述图像库为主体，以所述参数库为参考体进行训练。本发明的表情判别模型不仅仅依赖于图像的处理融合，更结合了前额细纹变化、鼻翼收缩(表达为呼吸频率)、眉毛间距和抖动、唇周外形变化、脸色变化参数、血压参数、脉搏参数、体温参数等参数，这些参数和人的情绪状态息息相关，完善了表情判别模型的完整性。

同时所述手环判断血压、脉搏、体温和脸色参数是否大于设定阈值，如果超过设定阈值则进行语音提示家长或医护人员，在必要情况下可发短信或电话至家长或医护人员；其中预处理后的图像和分析得到的数据通过wifi或LTE等互联网络发送至所述远程终端服务器单元表情判别特征模型中的输入模块，所述表情判别特征模型将图像预处理单元预处理的图像和数据分析单元分析后得到的参数结合，形成情绪特征指数，并融合对比表情判别特征模型将情绪分类并分级，通过输出模块输出情绪类别和情绪级数，通过输出模块输出情绪类别和情绪级数，所述情绪类别和情绪级数直接反馈至交互模块；根据类别和级数判决交互模块工作模式，例如用震动次数表示情绪种类，利用震动强度表示情绪级数或直接进行语音提示。这种便携式的情绪识别探测装置，方便了家长对婴儿的健康状况幼和情绪的理解，方便了医护人员对病人的健康状况和情绪的理解。在婴儿和病人护理等领域具有较好实用性。同时，在这种应用领域内，往往所需识别对象相对固定，故建立个人ID的图像数据和参数数据。

所述图像库和参数库是以个人ID所构建的图像数据和参数数据的整合。且所述表情判别特征模型包括：以所述个人ID所构建的图像数据和参数数据进行训练的个人表情判别特征模型和以图像库和参数库进行训练的整体表情判别特征模型；且所述表情判别模型是以所述图像预处理单元预处理的图像为主体，以所述数据分析单元分析后得到的参数为参考体进行训练的；所述个人表情判别特征模型和整体表情判别特征模型根据图像和参数的更新不断深度学习，确保了模型的可靠性。且个人表情判别特征模型依赖于特定的用户积累的经验数据，对情绪的识别更加准确；整体表情判别特征模型在特定用户经验数据不足时，确保了情绪识别的稳定性和准确度。

作为本发明的一种实施例，一种情绪***，尤其是应用于安检或一些需精神高度紧张的岗位上，所述采集单元可安装于工人周围，所述数据处理单元和所述交互模块集成于手环上；所述采集单元和所述手环上的数据处理单元外均设置通信模块形成短距离点对点通信，所述数据处理单元还外设互联网模块和所述远程终端服务器单元通信；所述手环上各模块通过电池供电，所述手环上集成整流滤波和稳压电路为电池充电；所述血压传感器、脉搏传感器、体温传感器集成在所述手环上。

由工人佩戴手环，位于面部周围的采集单元通过摄像头对所需识别对象进行面部图像采集，通过点对点通信方式，将图像发送至所述数据处理单元进行图像压缩和图像识别，识别后的图像根据面部特征进分区和面部特征变化参数分析；

所述手环上还设置血压传感器、脉搏传感器、体温传感器分别连接至所述数据库单元和表情判别特征模型；所述表情判别模型是以所述图像库为主体，以所述参数库为参考体进行训练。本发明的表情判别模型不仅仅依赖于图像的处理融合，更结合了前额细纹变化、鼻翼收缩(表达为呼吸频率)、眉毛间距和抖动、唇周外形变化、脸色变化参数、血压参数、脉搏参数、体温参数等参数，其中前额区舒展，细纹较少，嘴角后拉且上翘，脸颊上提等较大面部肌肉运动时表现的情绪为“快乐”；眉区双眉高挑，唇周嘴部张开，脸颊舒张(下颌张开)等变化参数表现的情绪为“惊奇”；眉区眉内皱，鼻翼区鼻翼扩张且张口呈方形或紧闭等变化参数表现的情绪为“愤怒”；这些参数和人的情绪状态息息相关，完善了表情判别模型的完整性。

所述手环判断血压、脉搏、体温和脸色参数是否大于设定阈值，如果超过设定阈值则进行语音提示管理人员，在必要情况下可发短信或电话至管理人员，强行停止工人的工作；其中压缩后的图像和分析得到的数据通过wifi或LTE等互联网络发送至所述远程终端服务器单元的输入模块，所述表情判别特征模型将图像预处理单元预处理的图像和数据分析单元分析后得到的参数结合，形成情绪特征指数，并融合对比表情判别特征模型将情绪分类并分级，通过输出模块输出情绪类别和情绪级数，所述情绪类别和情绪级数通过互联网反馈至手环上。根据类别和级数判决交互模块工作模式，例如用震动次数表示情绪种类，利用震动强度表示情绪级数或直接进行语音提示，并由管理人员获取交互模块工作记录，方便了家长对管理人员对工人的心理干预和工作管理。同时，在这种应用领域内，往往所需识别对象相对固定，故建立个人ID的图像数据和参数数据。

所述图像库和参数库是以个人ID所构建的图像数据和参数数据的整合。且所述表情判别特征模型包括：以所述个人ID所构建的图像数据和参数数据进行训练的个人表情判别特征模型和以图像库和参数库进行训练的整体表情判别特征模型；且所述表情判别模型是以所述图像预处理单元预处理的图像为主体，以所述数据分析单元分析后得到的参数为参考体进行训练的；所述个人表情判别特征模型和整体表情判别特征模型根据图像和参数的更新不断深度学习，确保了模型的可靠性。且个人表情判别特征模型依赖于特定的用户积累的经验数据，对情绪的识别更加准确；整体表情判别特征模型在特定用户经验数据不足时，确保了情绪识别的稳定性和准确度。

对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (10)

1.一种情绪识别方法，其特征在于，包括以下步骤：

采集识别对象面部图像的步骤；

面部图像处理的步骤，

包括提取面部图像特征区变化参数的步骤和建立个人ID后将参数发送至数据库的步骤；

建立数据库的步骤；

通过训练表情判别特征模型，得出情绪输出的步骤。

2.根据权利要求1所述的一种情绪识别方法，其特征在于，所述面部图像处理步骤包括以下步骤：

S1：采集识别对象面部图像，通过面部识别技术，根据面部特征分为前额区、鼻翼区、眉区、唇周区、脸颊区至少五个区域，并对所述各个区域分别放大进行数据分析，所述数据分析是对前额细纹变化、鼻翼收缩、眉毛间距和抖动、唇周外形变化、脸色变化参数的分析；

S2：利用图像压缩技术采集到的图像进行图像预处理；

S3：建立个人ID，将步骤S1中数据分析后的参数发送至数据库中的参数库，将步骤S2中图像预处理后的图像发送至数据库中的图像库。

3.根据权利要求2所述的一种情绪识别方法，其特征在于，所述步骤S1中数据分析还包括对血压参数、脉搏参数、体温参数的分析。

4.根据权利要求2所述的一种情绪识别方法，其特征在于，所述建立数据库步骤包括以下步骤：

第一步：通过模糊逻辑和D-S融合技术将数据分析后得到的参数和图像预处理后的图像分别参照对比历史数据库中的参数库和图像库，判断是否具有所述个人ID的历史参数或图像；

第二步：在历史数据库中具有所述个人ID的历史参数或图像时，将此个人ID更新为历史个人ID，并在历史个人ID目录下添加参数和预处理图像；在历史数据库中没有所述个人ID的历史参数或图像时，将此个人ID存储为新的个人ID目录，并在新的个人ID目录下存储参数和预处理图像。

5.根据权利要求4所述的一种情绪识别方法，其特征在于，所述模糊逻辑是根据所述面部特征各分区的权重进行的参照对比。

6.根据权利要求2所述的一种情绪识别方法，其特征在于，所述训练表情判别特征模型，得出情绪输出的步骤包括以下步骤：

第一：以个人ID目录下的图像库和参数库进行训练，得到个人表情判别特征模型；

第二：以图像库和参数库整体进行训练，得到整体表情判别特征模型；

第三：所述个人表情判别特征模型将所述预处理图像和参数结合，形成情绪特征指数，并融合对比个人表情判别特征模型将情绪分类并分级，输出为情绪类别和情绪级数；

第四：在个人ID目录下的图像库和参数库经验数据不足时，整体表情判别特征模型将所述处理图像和参数结合，形成情绪特征指数，并融合对比整体表情判别特征模型将情绪分类并分级，输出为情绪类别和情绪级数。

7.根据权利要求6所述的一种情绪识别方法，其特征在于，所述表情判别模型是以所述图像库为主体，以所述参数库为参考体进行训练。

8.根据权利要求6所述的一种情绪识别方法，其特征在于，所述个人表情判别特征模型和整体表情判别特征模型根据图像库和参数库的更新不断深度学习。

9.一种情绪识别装置，其特征在于，包括：

采集单元，用于采集识别对象面部图像；

数据处理单元，用于图像预处理和参数分析；

数据库单元包括：

个人ID库，用于存放个人ID，

图像库，用于存放预处理图像，

参数库，用于存放参数；

服务器包括：

输入模块，与数据处理单元通信，以处理后的图像和分析后的参数作为表情判别特征模型的输入；

表情判别特征模型，用于根据数据库单元训练得到用于识别情绪的表情判别特征模型；

输出模块，用于表情判别特征模型的输出。

10.根据权利要求9所述的一种情绪识别装置，其特征在于，所述采集单元和数据处理单元通过近距离点对点通信模块进行数据交互，所述输出模块设置交互模块交互情绪类别和情绪级数。