CN107463874A - 情绪识别方法及***、及应用该方法的智能看护*** - Google Patents

Abstract

本发明涉及一种情绪识别方法及***、及应用该方法的智能看护***，其中，该情绪识别方法包括步骤：获取同一时刻或同一时间段内的被测人脸图像和脑电信号；对被测人脸图像和脑电信号分别处理，分别得到表情参数值和内心情绪参数值；对表情参数值和内心情绪参数值进行数据融合处理，得到情绪融合参数值；根据情绪融合参数值于预存的情绪融合数据库中识别被测人脸的当前情绪，得到情绪信息。由此本发明实现了通过从人脸图像处理和人体脑电波处理两方面入手，并利用信息融合技术将人脸和人体脑电波结合处理，实现对人体的情绪识别，提高情绪识别的准确率和可靠性，并降低识别难度和避免个体差异性对情绪识别的影响。

Description

情绪识别方法及***、及应用该方法的智能看护***

技术领域

本发明涉及情绪识别领域，特别是涉及一种情绪识别方法及***、及应用该方法的智能看护***。

背景技术

情绪是人的感觉、思想和行为的综合状态，其既包括人们由于个人经历对外界或自身刺激的心里反应，也包括随之产生的生理反应。情绪在人们的日常生活沟通交流中至关重要，而情绪识别可以应用到多个领域，如智能机器人控制、娱乐、教育、卫生保健甚至市场营销领域。

目前，情绪的识别一般是基于人的面部表情、声音或肢体语言等外在特征，虽然这些特征容易提取，但是也容易被伪装，尤其是当人们不想让别人知道他们的想法时，很可能会作出与上述特征相反的其它反应，故根据人体面部表情、声音或肢体语言等外在特征实现情绪识别的方法的可靠性较低，不能保证识别出来的情绪即为人体此时的情绪。

为了解决上述问题，现有也提出了一种基于脑电信号的情绪识别方法，以获取人体的内在特征，从而提高情绪识别的可靠性。但是，目前基于脑电信号的情绪识别的研究，大多数都还处于实验室状态，离实际应用尚有相当距离，其存在的主要问题有：

1、脑电信号的采集质量尚待改善、稳定性不高，且成本较高；

2、脑电信号的采集所在的真实环境较为复杂，会对脑电信号造成较大的影响，且脑电信号的处理对于伪迹去除算法有较高要求，需要更加有效地伪迹去除算法才能够将脑电信号中掺杂的眼电、肌电、心电、工频干扰、电磁干扰等信号及与情绪不相关的其它脑电信号去除掉；因此，脑电信号的预处理即去除伪迹信号的处理对算法的要求较高，实现难度较大；

3、由于脑电信号在信号表征的过程中具有一定的个性差异，且不同被试者对于同一刺激材料的反应存在差异，如何从这种差异中寻找稳定的情绪与脑电信号特征的对应关系，从而基本消除个体差异性，是一个具有挑战性的问题。

发明内容

为解决上述现有技术的缺点和不足，本发明提供了一种情绪识别方法及***，通过从人脸图像处理和人体脑电波处理两方面入手，并利用信息融合技术将人脸和人体脑电波结合处理，实现对人体的情绪识别，提高情绪识别的准确率和可靠性，并降低识别难度和避免个体差异性对情绪识别的影响。另外，为在医疗保健方面，能够及时获取被看护人的情绪状态，以使看护人采取更好的措施对被看护人进行照顾，并实现在被看护人发生紧急状态时使看护人能够及时应对和救助，本发明还提供了一种应用上述情绪识别方法的智能看护***。

为实现本发明的第一目的，本发明提供了一种情绪识别方法，适于在计算设备中执行，该方法包括以下步骤：

获取同一时刻或同一时间段内的被测人脸图像和脑电信号；

对被测人脸图像和脑电信号分别处理，分别得到表情参数值和内心情绪参数值；

对表情参数值和内心情绪参数值进行数据融合处理，得到情绪融合参数值；

根据情绪融合参数值于预存的情绪融合数据库中识别被测人脸的当前情绪，得到情绪信息。

由此通过以上技术方案，本发明实现了通过从人脸图像处理和人体脑电波处理两方面入手，并利用信息融合技术将人脸和人体脑电波结合处理，实现对人体的情绪识别，提高情绪识别的准确率和可靠性，并降低识别难度和避免个体差异性对情绪识别的影响。

所述步骤获取同一时刻或同一时间段内的被测人脸图像和脑电信号，其中，被测人脸图像的获取包括以下步骤：

调用摄像设备，并控制摄像设备的摄像头朝向被测人体正面；

通过摄像设备获取人体正面图像；

显示人体正面图像，并于人体正面图像中生成人脸检测框；

通过人脸检测框实时检测并确定人体正面图像中的人脸位置，得到被测人脸图像；

以及，脑电信号的获取包括以下步骤：

调用脑电提取设备；

通过脑电提取设备获取被测人体的脑电信号。

通过对此处步骤的限定，有利于保证了人脸图像和脑电信号获取的准确性，从而进一步提高情绪识别的准确度。

进一步，在所述步骤获取同一时刻或同一时间段内的被测人脸图像和脑电信号中，在每天内，每隔时间T1获取一次被测人脸图像，及在获取被测人脸图像的同时每隔时间T2获取一次脑电信号，并根据时间顺序将每次获取的被测人脸图像和脑电信号保存至一初始数据库；所述初始数据库记录有被测人脸图像及其获取时间、脑电信号及其获取时间；

当需要获取同一时刻或同段时间内的被测人脸图像和脑电信号时，调用所述初始数据库，并于所述初始数据库中获取相应的被测人脸图像和脑电信号。

通过对此处步骤的限定，有利于规律地测试并识别被测人体的情绪，从而能够更好地得知被测人体的情绪的变化规律，有利于丰富了情绪的识别结果，从而更加能够发现被测人体的情绪规律并作出合适的计划。

进一步，所述步骤对被测人脸图像和脑电信号分别处理，分别得到表情参数值和内心情绪参数值，其中，对被测人脸图像的处理包括以下步骤：

对被测人脸图像中进行灰度化处理，得到人脸灰度图像；

对人脸灰度图像进行特征提取，得到表情原始特征数据；

对表情原始特征数据进行离散余弦变换处理，而后通过主成分分析进行数据降维，得到表情特征值；

将所述表情特征值输入预先训练好的卷积神经网络，计算得到表情参数值；

以及，对脑电信号的处理包括以下步骤：

对脑电信号依次进行特征标准化和特征归一化处理，得到脑电特征值；

通过预先训练好的SVM分类器对所述脑电特征值进行特征分类，得到内心情绪参数值。

通过对此处步骤的限定，有利于提高表情参数值和内心情绪参数值的准确度，以进一步提高情绪信息的准确度。

进一步，所述步骤对表情原始特征数据进行离散余弦变换处理，而后通过主成分分析进行数据降维，得到表情特征值；其中的步骤通过主成分分析进行数据降维，得到表情特征值，包括以下步骤：

B1：通过离散余弦变换处理后的表情原始特征数据为一个M×N矩阵E₀，其中，M为样本数目，N表示每个样本的数据维数；

B2：对所述矩阵E₀进行样本矩阵中心化处理：

B21：分别计算并记录每一维数的所有样本数据的均值 其中，1≤n≤N；

B22：对所述矩阵E₀中的每一维上的每一数据Xmn重新赋值，即其中，1≤m≤M；

B23：判断每一维数的所有样本数据的均值是否为0，是则保存当前矩阵E，并执行步骤B3，否则，返回步骤B21；

B3：计算并得到矩阵E的协方差矩阵；

B4：计算协方差矩阵的特征值和特征向量，得到N个特征值和与所述N个特征值一一对应的N个特征向量，并根据N个特征值将与其对应的特征向量从大到小依序排列，形成N×N矩阵，并于所述N×N矩阵中选取其前k列数据，组成一N×k的降维矩阵；

B5：将所述矩阵E₀与所述N×k的降维矩阵相乘得到一M×k的降维矩阵，实现对表情原始特征数据的降维，得到表情特征值，所述表情特征值为所述M×k的降维矩阵。

通过对此处步骤的限定，有利于减少数据集的维数，同时保持数据集中对方差贡献最大的特征，并减少表情参数值的计算量，降低计算复杂度。

进一步，在所述步骤对被测人脸图像和脑电信号分别处理，分别得到表情参数值和内心情绪参数值之前，还包括步骤：监听人脸检测框内是否有信号输入，是则才对被测人脸图像和脑电信号分别处理，否则继续监听人脸检测框内是否有信号输入。

通过此处步骤的限定，有利于根据实际需要而确定是否对被测人脸图像和脑电信号进行处理。

进一步，所述步骤对表情参数值和内心情绪参数值进行数据融合处理，得到情绪融合参数值中，情绪融合参数值S_ture＝w₁S_face+w₂S_EEG，其中，S_ture表示情绪融合参数值，S_face表示表情参数值，S_EEG表示内心情绪参数值，w₁表示表情参数值的权重系数，w₂表示内心情绪参数值的权重系数；

以及，所述w₁和w₂的获取步骤包括：

设定一损失函数Loss，其中，predict＝w₁S_face+w₂S_EEG，output为实际内心情绪参数值，该实际内心情绪参数值通过实验者填写真实的自我情绪评定表后最终得到的数据直接获取；

求出损失函数Loss的值最小时对应的系数w₁和w₂，得到w₁和w₂的初值；

将求得的w₁和w₂的初值分别覆盖原w₁和w₂的值，更新损失函数Loss；

通过随机梯度下降算法对更新后的损失函数Loss进行迭代更新处理，不断迭代更新Loss函数，直至得到最小化的损失函数Loss；

求出最小化的损失函数Loss的值最小时对应的系数w₁和w₂，得到w₁和w₂的最终值。

通过此处步骤的限定，有利于提高情绪融合参数值的准确度，从而获取更加准确的情绪信息。

为实现本发明的第二目的，本发明还提供了与上述情绪识别方法相应的一种情绪识别***，该***包括

处理器，适于实现各指令；

存储器，适于存储多条指令，所述指令适于由处理器加载并执行权利要求1～8任一项所述的情绪识别方法；

摄像设备，适于由所述处理器控制而获取被测人体的人体正面图像；

以及脑电提取设备，适于由所述处理器控制而获取被测人体的脑电信号。

由于本发明的情绪识别***与本发明的情绪识别方法相应，故本发明的情绪识别***具有与本发明的情绪识别方法相同的所有技术效果，在此不再赘述。

为实现本发明的第三目的，本发明还提供了一种应用上述情绪识别方法的智能看护***，其包括摄像设备、脑电提取设备、客户端和服务器；

所述摄像设备，适于由所述服务器控制而获取相关图像；

所述脑电提取设备，适于由所述服务器控制而获取被测人体的脑电信号；

所述客户端，适于与所述服务器进行数据交互，并执行以下指令：

提供用户注册平台和用户登录平台；

获取用户注册信息或用户登录信息，并发送至所述服务器，由服务器判断是否允许该用户注册或登录，如果服务器允许，则客户端获取与该用户相关的被看护人信息，并发送至服务器，由服务器绑定该用户和与其对应的被看护人；如果服务器不允许，则由服务器拒绝该用户的注册或登录请求，并返回拒绝信息至客户端；

判断用户是否已经登录，如果是，则监听是否有调取指令输入，如有则发送调取请求至服务器，由服务器根据该调取请求返回相应的被看护人的情绪信息至客户端，如无调取指令输入则客户端继续监听是否有调取指令输入；如果用户还未登录，则客户端提醒用户登录或不执行任何操作；

提醒用户是否需要定期推送，并获取用户的决定，如果用户需要定期推送，则发送推送请求至服务器，由服务器记录并根据推送请求定期推送被看护人的情绪信息至客户端；如果用户不需要定期推送，则发送不推送请求至服务器，由服务器记录并不推送被看护人的情绪信息至客户端；

所述服务器，适于与客户端进行数据交互，并执行以下指令：

通过摄像设备实时获取被看护人的正面图像，并对正面图像进行处理得到被看护人的人脸图像，同时通过脑电提取设备实时获取被看护人的脑电信号，并保存实时获取的人脸图像和脑电信号；

对人脸图像和脑电信号分别处理，分别得到表情参数值和内心情绪参数值；

对表情参数值和内心情绪参数值进行数据融合处理，得到数据融合参数值；

根据情绪融合参数值于预存的情绪融合数据库中识别被测人脸的当前情绪，得到情绪信息；

根据时间顺序保存被看护人的所有情绪信息，实现对被看护人的不同情绪信息的记录，并生成情绪信息数据库；

根据情绪信息数据库统计被看护人在某段时间内的情绪变化，得到被看护人在该段时间内的心态状况；

根据当前获取的情绪信息判断被看护人是否处于紧急状况，如果是则返回警报信息至客户端；

同时，监听客户端是否有调取请求输入，如有则根据客户端当前发送的调取请求于所述情绪信息数据库中调取与该客户端的用户绑定的被看护人的情绪信息，并返回至客户端；

根据客户端的用户推送请求推送被看护人的情绪信息和/或心态状况至客户端。

由此通过上述技术方案，本发明的智能看护***能够及时获取被看护人的情绪状态，使看护人采取更好地措施对被看护人进行照顾，并实现在被看护人发生紧急状态时使看护人能够及时应对和救助。

为了更好地理解和实施，下面结合附图详细说明本发明。

附图说明

图1为本发明情绪识别方法的方法流程图；

图2为仅基于表情的情绪识别的实验效果准确率图；

图3为仅基于脑电信号的情绪识别的实验效果准确率图；

图4为本发明情绪识别方法、仅基于表情的情绪识别、以及仅基于脑电信号的情绪识别的三者之间的实验效果准确率对比示意图；

图5为本发明智能看护***中显示于客户端的显示屏中的情绪波动占比总览图；

图6为本发明智能看护***中显示于客户端的显示屏中的详细情绪波动预览图；

图7为本发明智能看护***中显示于客户端的显示屏中的特定情绪波动图。

具体实施方式

请参阅图1，本发明提供了一种情绪识别方法，适于在计算设备中执行，该方法包括以下步骤：

S1：获取同一时刻或同一时间段内的被测人脸图像和脑电信号；

S2：对被测人脸图像和脑电信号分别处理，分别得到表情参数值和内心情绪参数值；

S3：对表情参数值和内心情绪参数值进行数据融合处理，得到情绪融合参数值；

S4：根据情绪融合参数值于预存的情绪融合数据库中识别被测人脸的当前情绪，得到情绪信息。

为进一步提高本发明的情绪识别的准确度，以下为本实施例中所述步骤S1～S4的最优具体方案，而在其它变形实施例中，只要能从本实施例中实现步骤S1～S4的具体方案获取相应的变形方案或在本领域中能够不付出创造性得到实现步骤S1～S4的所有方案都应该纳入本发明的实施手段和保护范围内。

具体地，本实施例中，为保证人脸图像和脑电信号获取的准确性，从而进一步提高情绪识别的准确度，优选地，所述步骤S1中，被测人脸图像的获取包括以下步骤：

S111：调用摄像设备，并控制摄像设备的摄像头朝向被测人体正面；

S112：通过摄像设备获取人体正面图像；

S113：显示人体正面图像，并于人体正面图像中生成人脸检测框；在该步骤S113中，是通过Haar分类器使用Adaboost算法训练区分人脸和非人脸的强分类器，并将通过筛选式级联将训练得到的强分类器级联在一起，实现对人脸的准确检测，其具体训练方式与现有技术相同，故不赘述。由此可根据使用需要在相关图像上形成人脸检测框，从而实现对人脸的检测和提取。

S114：通过人脸检测框实时检测并确定人体正面图像中的人脸位置，得到被测人脸图像；

以及，脑电信号的获取包括以下步骤：

S121：调用脑电提取设备；在本实施例中，所述脑电提取设备采用Neurosky公司的脑电提取设备；

S122：通过脑电提取设备获取被测人体的脑电信号；在本实施例中，通过Neurosky公司的脑电提取设备提取出的每种脑电波的值也即脑电信号是一个无符号整数。

在本实施例中，所述步骤S111～S114和S121～S122是并行的。

为有规律地测试并识别被测人体的情绪，从而能够更好地得知被测人体的情绪的变化规律，有利于丰富了情绪的识别结果，从而更加能够发现被测人体的情绪规律并作出合适的计划，作为一种更优的技术方案，在所述步骤S1中，人脸图像和脑电信号的获取是在每天内，每隔时间T1获取一次被测人脸图像，及在获取被测人脸图像的同时每隔时间T2获取一次脑电信号，并根据时间顺序将每次获取的被测人脸图像和脑电信号保存至一初始数据库；所述初始数据库记录有被测人脸图像及其获取时间、脑电信号及其获取时间；当需要获取同一时刻或同段时间内的被测人脸图像和脑电信号时，调用所述初始数据库，并于所述初始数据库中获取相应的被测人脸图像和脑电信号。

优选地，0＜T1＜300s，0＜T2＜300s，而在其它实施例中，可根据实际使用需求而重新定义T1和T2的大小，不一定是要在本发明的范围内。

进一步优选地，在本实施例中，在获取人脸图像的时间内每隔1s获取一次脑电信号。

优选地，所述步骤S2中，对被测人脸图像的处理包括以下步骤：

S211：对被测人脸图像中进行灰度化处理，得到人脸灰度图像；在经过灰度化处理后，还可以进一步通过高斯滤波处理，以去除更多噪声、光照及其他与表情无关的干扰信息，提高图像质量；

S212：对人脸灰度图像进行特征提取，得到表情原始特征数据；此处对人脸灰度图像的特征提取指的是提取全部人脸图像像素的特征，而提取方法与现有人脸特征提取方法相同，故在此不再赘述；

S213：对表情原始特征数据进行离散余弦变换处理，而后通过主成分分析进行数据降维，得到表情特征值；其中的步骤通过主成分分析(PCA，Principal ComponentAnalysis)进行数据降维，得到表情特征值，包括以下步骤：

B1：通过离散余弦变换(DCT，Discrete Cosine Transform)处理后的表情原始特征数据为一个M×N矩阵E₀，其中，M为样本数目，N表示每个样本的数据维数；

B2：对所述矩阵E₀进行样本矩阵中心化处理：

B21：分别计算并记录每一维数的所有样本数据的均值 其中，1≤n≤N；

B22：对所述矩阵E₀中的每一维上的每一数据Xmn重新赋值，即其中，1≤m≤M；

B23：判断每一维数的所有样本数据的均值是否为0，是则保存当前矩阵E，并执行步骤B3，否则，返回步骤B21；

B3：计算并得到矩阵E的协方差矩阵；其中，协方差矩阵的计算与现有技术相同，故在此不再赘述；

B4：计算协方差矩阵的特征值和特征向量，得到N个特征值和与所述N个特征值一一对应的N个特征向量，并根据N个特征值将与其对应的特征向量从大到小依序排列，形成N×N矩阵，并于所述N×N矩阵中选取其前k列数据，组成一N×k的降维矩阵；

B5：将所述矩阵E₀与所述N×k的降维矩阵相乘得到一M×k的降维矩阵，实现对表情原始特征数据的降维，得到表情特征值，所述表情特征值为所述M×k的降维矩阵；

S214：将所述表情特征值输入预先训练好的卷积神经网络，计算得到表情参数值；在本实施例中，只要将现有的卷积神经网络应用于表情特征值的多次训练即可得到训练好的卷积神经网络，其具体的训练方法和训练过程与现有技术的相同，故在此也不再赘述；

以及，对脑电信号的处理包括以下步骤：

S221：对脑电信号依次进行特征标准化和特征归一化处理，得到脑电特征值；

S222：通过预先训练好的SVM分类器对所述脑电特征值进行特征分类，得到内心情绪参数值；其中，通过预先训练好的SVM(Support Vector Machine，支持向量机)分类器对脑电特征值进行特征分类指的是：将被测人体的内心情绪分类，分成虚弱、普通和强烈三类，以对应情绪波动的强弱程度；另外，所述内心情绪参数值反映的是内心情绪波动，也可以理解为是内心情绪波动信息。

本实施例中，使用交叉验证方法对基于脑电特征值对SVM分类器进行多次训练和检验，并在交叉验证中，将训练数据分成n块，通过SVM算法对n-1块数据进行训练，并用最后一块进行检验，且每块数据都被SVM算***流处理若干次，由此保证SVM算法可以在训练中评估所有数据，得到一个准确率高的SVM分类器。

由于脑电信号一般由DELTA、THETA,、ALPHA1、ALPHA2、BETA1、BETA2、GAMMA1、GAMMA2共8种信号组成，故脑电信号是一个8维向量，则必须基于脑电信号对SVM分类器进行训练，以使SVM分类器能够进行特征识别，得到相关的内心情绪参数值。具体地，本发明对SVM分类器的训练包括以下步骤：

D1：给定脑电信号训练样本D，设脑电信号的每个样本点为(x_i，y_i)，其中，并基于训练样本D在样本空间中寻找得到一个划分超平面，以使不用类别的样本分开；

D2：设线性可分时存在的上述划分超平面可表示为：f(x)＝w^Tx+b，其中，w为待确定的行向量，b为在实际数据训练中训练得到的偏置常数，以提高模型适应度；

D3：将分类任务分成两个类别，将y＝+1的情况视为一个类别，将y＝-1和y＝0的情况视为一个类别，此时计算每个样本点到超平面的距离r，其中，如果y_i＝+1，则w^Tx+b＞0，如果y_i＝-1或0，则w^Tx+b＜0；

D4：令如果距离超平面最近的训练样本点使得上式等号成立，则这些训练样本点为支持向量；支持向量的点到超平面的距离之和为

D5：判断是否存在满足条件的w值：通过拉格朗日乘子算法计算公式s.t.y_i(w^Tx+b)≥1,i＝1,2,...,m的等价公式s.t.y_i(w^Tx+b)≥1,i＝1,2,...,m的最优解，如果存在最优解也即w值，则执行步骤D6，否则，表示不存在w值，并执行步骤D7；

D6：将w值代入到公式f(x)＝w^Tx+b，求得线性可分时的超平面；

D7：w值不存在，表示线性不可分，此时存在超平面可将样本从原始空间映射到一个更高维的空间，使得训练样本D在整个样本空间线性可分，设g(x)为x映射后的特征向量，则在特征空间中划分超平面的模型可参照所述步骤D3～D5求出w的值，并将w值代入到公式f(x)＝w^Tg(x)+b，求得线性可分时的超平面；参照所述步骤D3～D5求出w的值，并将w值代入到公式f(x)＝w^Tg(x)+b，求得线性可分时的超平面；以表示为f(x)＝w^Tg(x)+b；

D8：参照所述步骤D3～D5求出w的值，并将w值代入到公式f(x)＝w^Tg(x)+b，求得线性可分时的超平面；

D9：将从所述步骤D6或D8得到的超平面函数模型记录为f₁(x)；

D10：根据f₁(x)对y＝-1和y＝0的情况进行分类，此时计算每个样本点到超平面的距离r，其中，如果y_i＝0，则f₁(x)＞0，如果y_i＝-1，则f₁(x)＜0，并根据所述D4～D8求得相应的超平面函数模型f₂(x)。

由此通过步骤D1～D9不断对超平面函数模型f₂(x)进行训练，实现超平面函数模型f₂(x)能够对脑电特征值进行准确分类，以得到最好的SVM分类器，由此能够准确地对脑电特征值进行特征分类，并得到相应的内心情绪参数值。

在计算内心情绪参数值时，只要将得到的脑电特征值作为输入值输入到训练好的SVM分类器中，也即将脑电特征值作为变量x输入到训练好的SVM分类器中的超平面函数模型f₂(x)中，即可计算得到此时的内心情绪参数值f₂(x)。

进一步，在执行所述步骤S2前，先执行步骤：监听人脸检测框内是否有信号输入，是则才对被测人脸图像和脑电信号分别处理，否则继续监听人脸检测框内是否有信号输入；其中，在本实施例中，监听人脸检测框内是否有信号输入中的信号指的是鼠标信号，也即，如果在人体检测框内监听到因按击鼠标左键或右键所产生的输入信号时，也即表示人脸检测框内有信号输入，即可进行步骤S2。

进一步，所述步骤S3中，情绪融合参数值S_ture＝w₁S_face+w₂S_EEG，其中，S_ture表示情绪融合参数值，S_face表示表情参数值，S_EEG表示内心情绪参数值，w₁表示表情参数值的权重系数，w₂表示内心情绪参数值的权重系数；所述w₁和w₂的获取步骤包括：

C1：设定一损失函数Loss，其中，predict＝w₁S_face+w₂S_EEG，output为实际内心情绪参数值，该实际内心情绪参数值通过实验者填写真实的自我情绪评定表后最终得到的数据直接获取；

C2：求出损失函数Loss的值最小时对应的系数w₁和w₂，得到w₁和w₂的初值；

C3：将求得的w₁和w₂的初值分别覆盖原w₁和w₂的值，更新损失函数Loss；

C4：通过随机梯度下降算法对更新后的损失函数Loss进行迭代更新处理，不断迭代更新Loss函数，直至得到最小化的损失函数Loss；

C5：求出最小化的损失函数Loss的值最小时对应的系数w₁和w₂，得到w₁和w₂的最终值。

进一步，所述步骤S4中，情绪融合数据库是通过对大量实验者的实际情绪和识别出的情绪信息进行统计分析得到的。

另外，在所述步骤S4中，还可以将每个被测人体的情绪信息按照时间顺序整合并存储形成相应的个人情绪数据库，并为了更加清楚被测人体的情绪变化，还可以增加步骤S5：根据个人情绪数据库统计该被测人体在某段时间内的情绪变化，得到相应的心态状况，也可以将该情绪变化绘制成相应的曲线。

在实际中，选取了20名18～22岁的实验对象，其中的男女比例为1：1。对每个对象检测8种基本表情，每种表情检测3次。被测对象的内心的心情状态各有不同，但表情都被要求装成所需要的表情。用总体准确率(识别准确的个数与总体识别个数的比例)评估识别的效果：

首先，对于仅仅基于表情的情绪识别，表情识别实验效果准确率如图2表示，其中，x轴表示实验者编号，y轴表示准确率。由此根据图2可知，虽然对人脸的各种表情准确率能够高达90％左右，但是对内心情绪波动程度的辨别程度几乎为0。因此，单纯基于人脸图像对真实情绪检测的准确率并不高。

其次，对于仅仅基于脑电信号的情绪识别，只利用脑电提取设备，对每个对象的不同的内心情绪分别检测10次，将每人每次的检测作为一个样本，进行内心情绪波动程度的检测，检测效果如图3所示。由此可知，仅仅利用脑电信号对内心情绪波动检测的方法对内心情绪波动微弱检测的召回率较差，但在其它方面均可达到80％的准确率。

最后，基于本发明的情绪识别方法的情绪识别，在表情识别的基础上结合脑电信号进行情绪识别，本发明的情绪识别方法、仅基于表情的情绪识别、以及仅基于脑电信号的情绪识别三者对情绪强烈、情绪正常、情绪微弱的三种情绪的识别效果如图4所示，其中，x轴表示实验者编号，y轴表示准确率。由此可知，仅基于表情的情绪识别进行真实情绪识别时具有较高的波动性，因为实验者只要懂得假装自己的面部表情即可成功地骗过机器；而基于本发明情绪识别方法的识别能够很好地弥补了仅基于单一信息源识别的缺陷，在检测出面部表情的基础上，还检测出了内心情绪的波动程度，这部分准确率在80％左右，很大程度上拓宽了情绪信息的广度。

相应地，本发明还提供了与上述情绪识别方法相应的一种情绪识别***，该***包括处理器、存储器、摄像设备和脑电提取设备。

所述处理器，适于实现各指令。

所述存储器，适于存储多条指令，所述指令适于由处理器加载并执行本发明的情绪识别方法的所有步骤，具体步骤可查看本发明的情绪识别方法，故在此不赘述。

所述摄像设备，适于由所述处理器控制而获取被测人体的人体正面图像。

所述脑电提取设备，适于由所述处理器控制而获取被测人体的脑电信号。

另外，为了使得本发明的情绪识别方法更好地应用于医疗保健领域，以能够及时获取被看护人的情绪状态，使看护人采取更好的措施对被看护人进行照顾，并实现在被看护人发生紧急状态时使看护人能够及时应对和救助，本发明还提供了一种应用上述情绪识别方法的智能看护***，其包括摄像设备、脑电提取设备、客户端和服务器。

所述摄像设备，适于由所述服务器控制而获取相关图像。

所述脑电提取设备，适于由所述服务器控制而获取被测人体的脑电信号。

所述客户端，适于与所述服务器进行数据交互，并执行以下指令：

步骤E1：提供用户注册平台和用户登录平台；在本实施例中，会在客户端中设置相应的看护应用程序或软件，而该看护应用程序或软件的功能及实现可参照本发明需要实现的功能进行设计完成，其设计完成所涉及的方法与现有客户端应用程序的设计方法相同，故不赘述；

步骤E2：获取用户注册信息或用户登录信息，并发送至所述服务器，由服务器判断是否允许该用户注册或登录，如果服务器允许，则客户端获取与该用户相关的被看护人信息，并发送至服务器，由服务器绑定该用户和与其对应的被看护人；如果服务器不允许，则由服务器拒绝该用户的注册或登录请求，并返回拒绝信息至客户端；

步骤E3：判断用户是否已经登录，如果是，则监听是否有调取指令输入，如有则发送调取请求至服务器，由服务器根据该调取请求返回相应的被看护人的情绪信息至客户端，如无调取指令输入则客户端继续监听是否有调取指令输入；如果用户还未登录，则客户端提醒用户登录或不执行任何操作；

步骤E4：提醒用户是否需要定期推送，并获取用户的决定，如果用户需要定期推送，则发送推送请求至服务器，由服务器记录并根据推送请求定期推送被看护人的情绪信息至客户端；如果用户不需要定期推送，则发送不推送请求至服务器，由服务器记录并不推送被看护人的情绪信息至客户端。

在本实施例中，根据实际操作需要，客户端从服务器接收到的相应数据后的显示可以包括图5～7三种显示方式，其中，图5所示为显示于客户端的显示屏中的情绪波动占比总览图，图6为显示于客户端的显示屏中的详细情绪波动预览图，图7为显示于客户端的显示屏中的特定情绪波动图。

所述服务器，适于与客户端进行数据交互，并执行以下指令：

步骤F1：通过摄像设备实时获取被看护人的正面图像，并对正面图像进行处理得到被看护人的人脸图像，同时通过脑电提取设备实时获取被看护人的脑电信号，并保存实时获取的人脸图像和脑电信号；

步骤F2：对人脸图像和脑电信号分别处理，分别得到表情参数值和内心情绪参数值；

步骤F3：对表情参数值和内心情绪参数值进行数据融合处理，得到数据融合参数值；

步骤F4：根据情绪融合参数值于预存的情绪融合数据库中识别被测人脸的当前情绪，得到情绪信息；

步骤F5：根据时间顺序保存被看护人的所有情绪信息，实现对被看护人的不同情绪信息的记录，并生成情绪信息数据库；

步骤F6：根据情绪信息数据库统计被看护人在某段时间内的情绪变化，得到被看护人在该段时间内的心态状况；

步骤F7：根据当前获取的情绪信息判断被看护人是否处于紧急状况，如果是则返回警报信息至客户端；在本实施例中，紧急情况的判定是先根据被看护人的情绪情况而设定一个阈值，当求得的看护人的情绪信息的值超过该阈值，则表示其情绪不稳定并处于紧急状况；

步骤F8：同时，监听客户端是否有调取请求输入，如有则根据客户端当前发送的调取请求于所述情绪信息数据库中调取与该客户端的用户绑定的被看护人的情绪信息，并返回至客户端；

步骤F9：根据客户端的用户推送请求推送被看护人的情绪信息和/或心态状况至客户端。

其中，所述步骤F1～步骤F5、步骤F6～步骤F7、步骤F8、步骤F9之间为并行执行。并且，所述步骤F1～步骤F4的实现原理与本发明的情绪识别方法的步骤S1～步骤S4的实现原理相同，故可参照步骤S1～步骤S4对所述步骤F1～步骤F4进行理解，在此不再赘述。

相对于现有技术，本发明情绪识别方法及***通过从人脸图像处理和人体脑电波处理两方面入手，并利用信息融合技术将人脸和人体脑电波结合处理，实现对人体的情绪识别，提高情绪识别的准确率和可靠性，并降低识别难度和避免个体差异性对情绪识别的影响；同时本发明中应用所述情绪识别方法的智能看护***能够及时获取被看护人的情绪状态，使看护人采取更好的措施对被看护人进行照顾，并实现在被看护人发生紧急状态时使看护人能够及时应对和救助。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (9)

1.一种情绪识别方法，适于在计算设备中执行，其特征在于：该方法包括以下步骤：

获取同一时刻或同一时间段内的被测人脸图像和脑电信号；

对被测人脸图像和脑电信号分别处理，分别得到表情参数值和内心情绪参数值；

对表情参数值和内心情绪参数值进行数据融合处理，得到情绪融合参数值；

根据情绪融合参数值于预存的情绪融合数据库中识别被测人脸的当前情绪，得到情绪信息。

2.根据权利要求1所述的情绪识别方法，其特征在于：所述步骤获取同一时刻或同一时间段内的被测人脸图像和脑电信号，其中，被测人脸图像的获取包括以下步骤：

调用摄像设备，并控制摄像设备的摄像头朝向被测人体正面；

通过摄像设备获取人体正面图像；

显示人体正面图像，并于人体正面图像中生成人脸检测框；

通过人脸检测框实时检测并确定人体正面图像中的人脸位置，得到被测人脸图像；

以及，脑电信号的获取包括以下步骤：

调用脑电提取设备；

通过脑电提取设备获取被测人体的脑电信号。

3.根据权利要求2所述的情绪识别方法，其特征在于：在所述步骤获取同一时刻或同一时间段内的被测人脸图像和脑电信号中，在每天内，每隔时间T1获取一次被测人脸图像，及在获取被测人脸图像的同时每隔时间T2获取一次脑电信号，并根据时间顺序将每次获取的被测人脸图像和脑电信号保存至一初始数据库；所述初始数据库记录有被测人脸图像及其获取时间、脑电信号及其获取时间；

当需要获取同一时刻或同段时间内的被测人脸图像和脑电信号时，调用所述初始数据库，并于所述初始数据库中获取相应的被测人脸图像和脑电信号。

4.根据权利要求2或3所述的情绪识别方法，其特征在于：所述步骤对被测人脸图像和脑电信号分别处理，分别得到表情参数值和内心情绪参数值，其中，对被测人脸图像的处理包括以下步骤：

对被测人脸图像中进行灰度化处理，得到人脸灰度图像；

对人脸灰度图像进行特征提取，得到表情原始特征数据；

对表情原始特征数据进行离散余弦变换处理，而后通过主成分分析进行数据降维，得到表情特征值；

将所述表情特征值输入预先训练好的卷积神经网络，计算得到表情参数值；

以及，对脑电信号的处理包括以下步骤：

对脑电信号依次进行特征标准化和特征归一化处理，得到脑电特征值；

通过预先训练好的SVM分类器对所述脑电特征值进行特征分类，得到内心情绪参数值。

5.根据权利要求4所述的情绪识别方法，其特征在于：所述步骤对表情原始特征数据进行离散余弦变换处理，而后通过主成分分析进行数据降维，得到表情特征值；其中的步骤通过主成分分析进行数据降维，得到表情特征值，包括以下步骤：

B1：通过离散余弦变换处理后的表情原始特征数据为一个M×N矩阵E₀，其中，M为样本数目，N表示每个样本的数据维数；

B2：对所述矩阵E₀进行样本矩阵中心化处理：

B21：分别计算并记录每一维数的所有样本数据的均值 其中，1≤n≤N；

B22：对所述矩阵E₀中的每一维上的每一数据Xmn重新赋值，即其中，1≤m≤M；

B23：判断每一维数的所有样本数据的均值是否为0，是则保存当前矩阵E，并执行步骤B3，否则，返回步骤B21；

B3：计算并得到矩阵E的协方差矩阵；

B4：计算协方差矩阵的特征值和特征向量，得到N个特征值和与所述N个特征值一一对应的N个特征向量，并根据N个特征值将与其对应的特征向量从大到小依序排列，形成N×N矩阵，并于所述N×N矩阵中选取其前k列数据，组成一N×k的降维矩阵；

B5：将所述矩阵E₀与所述N×k的降维矩阵相乘得到一M×k的降维矩阵，实现对表情原始特征数据的降维，得到表情特征值，所述表情特征值为所述M×k的降维矩阵。

6.根据权利要求4所述的情绪识别方法，其特征在于：在所述步骤对被测人脸图像和脑电信号分别处理，分别得到表情参数值和内心情绪参数值之前，还包括步骤：监听人脸检测框内是否有信号输入，是则才对被测人脸图像和脑电信号分别处理，否则继续监听人脸检测框内是否有信号输入。

7.根据权利要求1或2或3或5或6所述的情绪识别方法，其特征在于：所述步骤对表情参数值和内心情绪参数值进行数据融合处理，得到情绪融合参数值中，情绪融合参数值S_ture＝w₁S_face+w₂S_EEG，其中，S_ture表示情绪融合参数值，S_face表示表情参数值，S_EEG表示内心情绪参数值，w₁表示表情参数值的权重系数，w₂表示内心情绪参数值的权重系数；

以及，所述w₁和w₂的获取步骤包括：

设定一损失函数Loss，其中，predict＝w₁S_face+w₂S_EEG，output为实际内心情绪参数值，该实际内心情绪参数值通过实验者填写真实的自我情绪评定表后最终得到的数据直接获取；

求出损失函数Loss的值最小时对应的系数w₁和w₂，得到w₁和w₂的初值；

将求得的w₁和w₂的初值分别覆盖原w₁和w₂的值，更新损失函数Loss；

通过随机梯度下降算法对更新后的损失函数Loss进行迭代更新处理，不断迭代更新Loss函数，直至得到最小化的损失函数Loss；

求出最小化的损失函数Loss的值最小时对应的系数w₁和w₂，得到w₁和w₂的最终值。

8.一种情绪识别***，其特征在于：包括

处理器，适于实现各指令；

存储器，适于存储多条指令，所述指令适于由处理器加载并执行权利要求1～7任一项所述的情绪识别方法；

摄像设备，适于由所述处理器控制而获取被测人体的人体正面图像；

以及脑电提取设备，适于由所述处理器控制而获取被测人体的脑电信号。

9.一种智能看护***，其特征在于：包括摄像设备、脑电提取设备、客户端和服务器；

所述摄像设备，适于由所述服务器控制而获取相关图像；

所述脑电提取设备，适于由所述服务器控制而获取被测人体的脑电信号；

所述客户端，适于与所述服务器进行数据交互，并执行以下指令：

提供用户注册平台和用户登录平台；

获取用户注册信息或用户登录信息，并发送至所述服务器，由服务器判断是否允许该用户注册或登录，如果服务器允许，则客户端获取与该用户相关的被看护人信息，并发送至服务器，由服务器绑定该用户和与其对应的被看护人；如果服务器不允许，则由服务器拒绝该用户的注册或登录请求，并返回拒绝信息至客户端；

判断用户是否已经登录，如果是，则监听是否有调取指令输入，如有则发送调取请求至服务器，由服务器根据该调取请求返回相应的被看护人的情绪信息至客户端，如无调取指令输入则客户端继续监听是否有调取指令输入；如果用户还未登录，则客户端提醒用户登录或不执行任何操作；

提醒用户是否需要定期推送，并获取用户的决定，如果用户需要定期推送，则发送推送请求至服务器，由服务器记录并根据推送请求定期推送被看护人的情绪信息至客户端；如果用户不需要定期推送，则发送不推送请求至服务器，由服务器记录并不推送被看护人的情绪信息至客户端；

所述服务器，适于与客户端进行数据交互，并执行以下指令：

通过摄像设备实时获取被看护人的正面图像，并对正面图像进行处理得到被看护人的人脸图像，同时通过脑电提取设备实时获取被看护人的脑电信号，并保存实时获取的人脸图像和脑电信号；

对人脸图像和脑电信号分别处理，分别得到表情参数值和内心情绪参数值；

对表情参数值和内心情绪参数值进行数据融合处理，得到数据融合参数值；

根据情绪融合参数值于预存的情绪融合数据库中识别被测人脸的当前情绪，得到情绪信息；

根据时间顺序保存被看护人的所有情绪信息，实现对被看护人的不同情绪信息的记录，并生成情绪信息数据库；

根据情绪信息数据库统计被看护人在某段时间内的情绪变化，得到被看护人在该段时间内的心态状况；

根据当前获取的情绪信息判断被看护人是否处于紧急状况，如果是则返回警报信息至客户端；

同时，监听客户端是否有调取请求输入，如有则根据客户端当前发送的调取请求于所述情绪信息数据库中调取与该客户端的用户绑定的被看护人的情绪信息，并返回至客户端；

根据客户端的用户推送请求推送被看护人的情绪信息和/或心态状况至客户端。