CN114694234B - 情绪识别方法、***、电子设备和存储介质 - Google Patents

情绪识别方法、***、电子设备和存储介质 Download PDF

Info

Publication number
CN114694234B
CN114694234B CN202210621369.9A CN202210621369A CN114694234B CN 114694234 B CN114694234 B CN 114694234B CN 202210621369 A CN202210621369 A CN 202210621369A CN 114694234 B CN114694234 B CN 114694234B
Authority
CN
China
Prior art keywords
classification result
value
result
emotion recognition
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210621369.9A
Other languages
English (en)
Other versions
CN114694234A (zh
Inventor
涂涛
郑舟旋
王增锹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Zeno Videopark Import Export Co ltd
Original Assignee
Hangzhou Zeno Videopark Import Export Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Zeno Videopark Import Export Co ltd filed Critical Hangzhou Zeno Videopark Import Export Co ltd
Priority to CN202210621369.9A priority Critical patent/CN114694234B/zh
Publication of CN114694234A publication Critical patent/CN114694234A/zh
Application granted granted Critical
Publication of CN114694234B publication Critical patent/CN114694234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Engineering & Computer Science (AREA)
  • Educational Technology (AREA)
  • Biomedical Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Developmental Disabilities (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种情绪识别方法、***、电子设备和存储介质，该方法包括获取人脸视频，计算人脸视频中各帧间的运动向量，对运动向量进行DCT系数转换处理，得到时间排序数组和空间排序数组，将时间排序数组和空间排序数组输入ExplainableAI模型，得到情绪识别分类结果，根据情绪识别分类结果得到健康状态标签的值，如此，可以快速帮助家长或老师发现有潜在心理风险的学生。另外，相较于传统的无监督聚类K‑Means算法通过非线性计算的方式，本实施例的ExplainableAI模型采用线性计算的方式，不仅降低了计算的复杂度，还缩短了响应时间，还提升了情绪识别分类结果的解释性。

Description

情绪识别方法、***、电子设备和存储介质
技术领域
本申请涉及情绪识别技术领域，特别是情绪识别方法、***、电子设备和存储介质。
背景技术
人们都存在情绪，特别是青少年学生群体，一些行为或者心里上存在障碍的青少年如果情绪、情感处理不当，会形成情绪内耗，让一个人持续精神不振，不仅不利于孩子的心理健康，还会影响孩子的成绩，严重的甚至引发一系列心理疾病，因此，孩子的情绪急需家长和社会关注。
目前，采用传统的无监督聚类K-Means算法，因为其发现准确率为75%，召回率为30%，测试的准确性和稳定性都较低，因此，远远达不到实用的目标，从而导致无法有效发现有潜在心理风险的学生。
目前针对相关技术中通过无监督聚类K-Means算法对学生情绪进行分析，测试的准确性和稳定性较低，导致无法有效发现有潜在心理风险的学生，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种情绪识别方法、***、电子设备和存储介质，以至少解决相关技术中通过无监督聚类K-Means算法对学生情绪进行分析，测试的准确性和稳定性较低，导致无法有效发现有潜在心理风险的学生的问题。
第一方面，本申请实施例提供了一种情绪识别方法，该方法包括：
获取人脸视频，所述人脸视频由若干振动图像组成；
计算所述人脸视频中各帧间的运动向量；
对所述运动向量进行DCT系数转换处理，得到时间排序数组和空间排序数组；
将所述时间排序数组和所述空间排序数组输入ExplainableAI模型，得到情绪识别分类结果，根据所述情绪识别分类结果得到健康状态标签的值。
在其中一些实施例中，所述ExplainableAI模型为广义相加模型，其中，所述广义相加模型为基于EBM模型通过Bagging算法和Boosting算法进行集成学***衡分类结果、自信分类结果、活力分类结果、自我调节分类结果、抑制分类结果、神经质分类结果、抑郁分类结果和幸福分类结果。
在其中一些实施例中，所述ExplainableAI模型的训练步骤如下：
构建所述ExplainableAI模型的交叉熵函数，并计算所述交叉熵函数的值；
在所述交叉熵函数的计算结果最小时，得到各分类器的权重矩阵和第一组临界值矩阵和第二组临界值矩阵；
将训练集输入所述ExplainableAI模型，得到第一向量；
将所述第一向量与所述第一组临界值矩阵进行比较；
将比较结果与所述第二组临界值矩阵相乘，将相乘结果的最大值作为特征向量；
将第一结果和第二结果相加得的值作为健康状态标签的值，其中，所述第一结果通过将所述特征向量与所述权重矩阵相乘得到，所述第二结果通过拟合计算出的常数权重与第一常数相乘得到，所述第一常数为常量c与约束过拟合的正则化系数L之和。
在其中一些实施例中，所述交叉熵函数的计算公式如下：
Figure 939509DEST_PATH_IMAGE001
其中，yi为真实标签值，i为样本，pi为样本的概率分布；
所述约束过拟合的正则化系数L的计算公式如下：
Figure 466305DEST_PATH_IMAGE002
其中，L为约束过拟合的正则化系数，N表示样本的总个数，y为健康状态标签的值，x为训练样本，W为权重矩阵，T为矩阵转置符号。
在其中一些实施例中，根据情绪识别分类结果得到健康状态标签的值之后，所述方法还包括：
判断所述健康状态标签的值是否小于预设值，若是，则表示该人脸视频中的学生的情绪为非健康，若否，则表示该人脸视频中的学生的情绪为健康。
在其中一些实施例中，将所述时间排序数组和所述空间排序数组输入ExplainableAI模型，得到情绪识别分类结果，根据所述情绪识别分类结果得到健康状态标签的值之后，所述方法还包括：
将所述健康状态标签的值与心里测量表进行比对，计算重合率。
在其中一些实施例中，所述人脸视频为通过MPEG编码后的视频，且所述人脸视频包含预设时间的人脸上半身视频。
第二方面，本申请实施例提供了一种情绪识别***，所述***包括：
获取模块，用于获取人脸视频，所述人脸视频由若干振动图像组成；
计算模块，用于计算所述人脸视频中各帧间的运动向量；
转换模块，用于对所述运动向量进行DCT系数转换处理，得到时间排序数组和空间排序数组；
分类模块，用于将所述时间排序数组和所述空间排序数组输入ExplainableAI模型，得到情绪识别分类结果，根据所述情绪识别分类结果得到健康状态标签的值。
第三方面，本申请实施例提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执如上述的情绪识别方法。
第四方面，本申请实施例提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行如上述的情绪识别方法。
相比于相关技术，本申请实施例提供的情绪识别方法中，在识别青少年学生群里的情绪场景中，本实施例首先获取人脸视频，然后，计算人脸视频中各帧间的运动向量，对运动向量进行DCT系数转换处理，得到时间排序数组和空间排序数组，将时间排序数组和空间排序数组输入ExplainableAI模型，得到情绪识别分类结果，根据情绪识别分类结果得到健康状态标签的值，解决了相关技术中无法有效发现有潜在心理风险的学生的问题，本实施例通过多项维度的分类结果来全方位评价一个人（即青少年学生）当前的心理状态，从而能够准确的识别出被测试者（即青少年学生）当前的情绪状态，并且通过健康状态标签的值可以快速帮助家长或老师发现有潜在心理风险的学生。另外，相较于传统的无监督聚类K-Means算法通过非线性计算的方式，本实施例的ExplainableAI模型采用线性计算的方式，不仅降低了计算的复杂度，还缩短了响应时间（响应时间从3s降低为0.02s），而且由于情绪识别分类结果可以通过特征值向量的形式以作图体现参数权重，还提升了结果的解释性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的情绪识别方法的第一流程图；
图2是根据本申请实施例的情绪识别***的结构框图；
图3是根据本申请实施例的电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本申请提供一种情绪识别方法，图1为本申请实施例的情绪识别方法的第一流程图，如图1所示，在本实施例中，该方法包括如下步骤：
步骤S101，获取人脸视频，人脸视频由若干振动图像组成；其中，本实施例中的振动图像为通过测量人的脖子上的肌肉内使人脑保持垂直方向的前庭-情感反射来获得一个人面部的图像，相较于普通影像、热成像或者X光影像无法反映像素点的振动频率和振动幅度的情况，本实施例的振动图像可以从时间和空间两个维度，也就是频率和振幅两个方向计算视频每一帧之间的向量变化，进而反映像素点的振动频率和振动幅度；需要说明的是，本实施例中的人脸视频主要针对青少年学生群体的人脸视频，当然其他实施例中也可以是其他不同年龄、职业或地域的群体，此处不做具体限定；
本领域技术人员易于理解的是，振动成像技术是在前庭情绪反射的基础上，通过心理生理学参数来表征头部的反射运动。一个人的精神状态会对其振动有明显的影响，即使是心理情绪状态的微小变化也会瞬间导致运动能量和振动的改变。心理情绪状态的正常也符合振动分布的正常规律，类似于生理状况。安静状态的特点是低频振动，精神向上波动会导致振动频率增加。
由于原始数据往往非常混乱，机器学习模型无法快速的提取有效信息，为了快速的提取人脸视频中的信息，在步骤S101之后，即在获取人脸视频之后，该方法还包括如下步骤：
对人脸视频进行预处理，以去除噪音和多余的抖动，并通过现有的AI手段智能去除视频中的背景；
步骤S102，计算人脸视频中各帧间的运动向量；其中，计算人脸视频中各帧间的运动向量包括如下步骤：
边解码边读取若干帧Macroblock（宏块）进行计算，以得到运动向量，其中，若干帧Macroblock可以是根据用户需求设置，比如，边解码边读取每2帧Macroblock进行计算，或者，边解码边读取每5帧Macroblock进行计算，或者，边解码边读取每10帧Macroblock进行计算，此处不做具体限定，易于理解的是，帧数不同会影响到的是计算性能，即帧数叠加越多计算越快。
另外，本领域技术人员知道Macroblock（宏块）是视频编码技术中的一个基本概念，即通过将画面分成一个个大小不同的块来不同位置实行不同的压缩策略，因此，此处不在一一赘述。
步骤S103，对运动向量进行DCT系数转换处理，得到时间排序数组和空间排序数组；其中，本实施例通过对运动向量进行DCT系数转换处理，实现将高低频分离，从而得到时间排序和空间排序的两类数组；
步骤S104，将时间排序数组和空间排序数组输入ExplainableAI模型，得到情绪识别分类结果，根据情绪识别分类结果得到健康状态标签的值，从而能够准确的识别出被测试者（即青少年学生）当前的情绪状态，并且通过健康状态标签的值可以快速帮助家长或老师发现有潜在心理风险的学生。其中，情绪识别分类结果为多维度的分类结果，可以是攻击性，压力，焦虑，可疑，平衡，自信，能量，自我调节，抑制，神经质，抑郁，快乐中一种或多种组合的分类结果，在其他实施例中，还可以是更多，此处不做具体限定。
通过上述步骤S101至步骤S104，在识别青少年学生群里的情绪场景中，本实施例首先获取人脸视频，然后，计算人脸视频中各帧间的运动向量，对运动向量进行DCT系数转换处理，得到时间排序数组和空间排序数组，将时间排序数组和空间排序数组输入ExplainableAI模型，得到情绪识别分类结果，根据情绪识别分类结果得到健康状态标签的值，解决了相关技术中无法有效发现有潜在心理风险的学生的问题，本实施例通过多项维度的分类结果来全方位评价一个人（即青少年学生）当前的心理状态，从而能够准确的识别出被测试者（即青少年学生）当前的情绪状态，并且通过健康状态标签的值可以快速帮助家长或老师发现有潜在心理风险的学生。另外，相较于传统的无监督聚类K-Means算法通过非线性计算的方式，本实施例的ExplainableAI模型采用线性计算的方式，不仅降低了计算的复杂度，还缩短了响应时间（响应时间从3s降低为0.02s），而且由于情绪识别分类结果可以通过特征值向量的形式以作图体现参数权重，还提升了结果的解释性。
在其中一些实施例中，ExplainableAI模型为广义相加模型，其中，广义相加模型为基于EBM模型（Explainable Boosting Machine，解释性机器学***衡分类结果、自信分类结果、活力分类结果、自我调节分类结果、抑制分类结果、神经质分类结果、抑郁分类结果和幸福分类结果。本实施例通过十二个项维度的分类结果来全方位评价一个人（即青少年学生）当前的心理状态，从而能够准确的识别出被测试者（即青少年学生）当前的情绪状态，并且通过健康状态标签的值可以快速帮助家长或老师发现有潜在心理风险的学生。另外，由于本领域技术人员知道EBM模型、Bagging算法和Boosting算法的工作原理，此处不在一一赘述。
在其中一些实施例中，ExplainableAI模型的训练步骤如下：
首先，构建ExplainableAI模型的交叉熵函数，并计算交叉熵函数的值；
然后，在交叉熵函数的计算结果最小时，得到各分类器的权重矩阵和第一组临界值矩阵和第二组临界值矩阵；其中，第一组临界值矩阵和第二组临界值矩阵是指分割的临界点矩阵，可以想象成很多分箱，数据落入各个数据区间里，而区间之间的分割点即为临界点矩阵；本实施例中，权重矩阵为w1，w2，w3，w4，w5，w6，w7，w8，w9，w10，w11，w12，第一组临界值矩阵为a1，a2，a3，a4，a5，a6，a7，a8，a9，a10，a11，a12，第二组临界值矩阵为b1，b2，b3，b4，b5，b6，b7，b8，b9，b10，b11，b12；
需要说明的是，在攻击性、压力、焦虑、可疑、平衡、自信、活力、自我调节、抑制、神经质、抑郁、幸福十二项情绪生理参数（即各分类结果）的基础上进行集成学习，首先形成若干棵不同的树，在训练集上进行训练，以最小的交叉熵为目标，每颗树在单个特征上学习N轮，具体训练过程中，如果某个样本点已经被准确地分类，那么在构造下一个训练集中，它的权值就被降低；相反，如果某个样本点没有被准确地分类，那么它的权值就得到提高。然后，权值更新过的样本集被用于训练下一个分类器，整个训练过程如此迭代地进行下去。易于理解的是，每一个最基本的分类器为一棵树，树是计算机中的一种数据结构，如二叉树，ExplainableAI模型是很多树经过不断训练参数之后组合而成的森林。
接着，将训练集输入ExplainableAI模型，得到第一向量；
接着，将第一向量与第一组临界值矩阵进行比较；
接着，将比较结果与第二组临界值矩阵相乘，将相乘结果的最大值作为特征向量；
最后，将第一结果和第二结果相加得的值作为健康状态标签的值，其中，第一结果通过将特征向量与权重矩阵相乘得到，第二结果通过拟合计算出的常数权重与第一常数相乘得到，第一常数为常量c与约束过拟合的正则化系数L之和。其中，常量c为样本集观察值与估计值之间的平均差。
具体地，ExplainableAI模型的训练步骤可以通过如下公式表示：
Figure 604026DEST_PATH_IMAGE003
其中，y为健康状态标签的值，w0为拟合计算出的常数权重，c为样本集观察值与估计值之间的平均差，L为约束过拟合的正则化系数，w1，w2，w3，w4，w5，w6，w7，w8，w9，w10，w11，w12为权重矩阵，x1，x2，x3，x4，x5，x6，x7，x8，x9，x10，x11，x12为特征向量。
在其中一些实施例中，交叉熵函数的计算公式如下：
Figure 925285DEST_PATH_IMAGE001
其中，yi为真实标签值，i为样本，pi为样本的概率分布；
另外，约束过拟合的正则化系数L的计算公式如下：
Figure 148456DEST_PATH_IMAGE002
其中，L为约束过拟合的正则化系数，N表示样本的总个数，y为健康状态标签的值， x为训练样本，W为权重矩阵，T为矩阵转置符号，
Figure 947785DEST_PATH_IMAGE004
为正则化系数，其中，
Figure 126963DEST_PATH_IMAGE004
的值越大，惩罚 力度越大。
在其中一些实施例中，根据情绪识别分类结果得到健康状态标签的值之后，该方法还包括如下步骤：
判断健康状态标签的值是否小于预设值，若是，则表示该人脸视频中的学生的情绪为非健康，若否，则表示该人脸视频中的学生的情绪为健康。本实施例中的预设值为0，也就是说，判断健康状态标签的值是否小于0时，若是，则表示该人脸视频中的学生的情绪为非健康（即需要关注的人），若否，则表示该人脸视频中的学生的情绪为健康，从而有利于帮助家长或老师找到有潜在心理风险的学生，进而及时为有潜在心理风险的学生提高相应的帮助。
在其中一些实施例中，将时间排序数组和空间排序数组输入ExplainableAI模型，得到情绪识别分类结果，根据情绪识别分类结果得到健康状态标签的值之后，该方法还包括如下步骤：
将健康状态标签的值与心里测量表进行比对，计算重合率。其中，本实施例的心里测量表为SAS（Self-Rating Anxiety Scale，焦虑自评量表）和心理学量表SDS（Self-Rating Depression Scale，抑郁自评量表），分别测焦虑和抑郁，另外，由于本领域技术人员知道SAS被称为焦虑自评量表，是心理学上的专业名词，是一种焦虑评定的标准，用于测量焦虑状态轻重程度及其在治疗过程中变化情况的心理量表。主要用于疗效评估，不能用于诊断，以及本领域技术人员知道SDS是（心理学）抑郁自评量表。广泛应用于门诊病人的粗筛、情绪状态评定以及调查、科研等，不能用于诊断，此处不在一一赘述。
其中，本实施例中，重合率的计算公式为：重合率=(检测出焦虑的人OR检测出抑郁的人) And(被模型判为需关注的人)的人数/总人数；
准确率的计算公式如下：
Figure 25648DEST_PATH_IMAGE005
其中，Accuracy为准确率，TP（True Positive）为正确的正例，一个实例是正类并且也被判定成正类，FN（False Negative）为错误的反例，漏报，即本为正类但判定为假类，FP（False Positive）为错误的正例，误报，即本为假类但判定为正类，TN（True Negative）为正确的反例，即一个实例是假类并且也被判定成假类；本实施例中，此处正类为健康，负类为非健康（即需关注）。
另外，召回率的计算公式如下：
Figure 595170DEST_PATH_IMAGE006
其中，Recall为召回率。
在一可选实施例中，某中学针对班主任老师和医生共同评定的在行为和心理上有一定障碍的学生（以下简称为问题学生）进行了批量测试，共有68名问题学生和32名老师挑选的普通学生，即100名学生作为测试样本的情况下，通过上述步骤S101至步骤S104计算出：TP=28，TN=66，FN=4，FP=2；则计算出准确率Accuracy = (28+66) /100=0.94；召回率Recall=28/(28+4)=0.875；重合率=(检测出焦虑的人OR检测出抑郁的人) And(被模型判为需关注的人)的人数/总人数=85/100=85%；综上，相较于采用传统的无监督聚类K-Means算法，其准确率为75%，召回率为30%，无法有效发现有潜在心理风险的学生的情况，本实施例通过上述方法得到准确率为94%，比之前提高了19%，召回率为88%，比之前提高了58%，和心理量表对比的重合率达到85%，如此，极大提高了测试的准确性和稳定性。
为了提高编码效率，在一实施例中，人脸视频为通过MPEG编码后的视频，且人脸视频包含预设时间的人脸上半身视频。由于获取的原始的人脸视频为Avi格式、其分辨率为1280x720，画面每秒传输帧数为30fps，本实施例通过MPEG编码后人脸视频由于提高了编码效率，有利于后续模型的使用。需要说明的是，预设时间可以根据用户需求设置为1分钟或者其他，此处不做具体。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种情绪识别***，该***用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图2是根据本申请实施例的情绪识别***的结构框图，如图2所示，该***包括：
获取模块21，用于获取人脸视频，人脸视频由若干振动图像组成；
计算模块22，用于计算人脸视频中各帧间的运动向量；
转换模块23，用于对运动向量进行DCT系数转换处理，得到时间排序数组和空间排序数组；
分类模块24，用于将时间排序数组和空间排序数组输入ExplainableAI模型，得到情绪识别分类结果，根据情绪识别分类结果得到健康状态标签的值。在识别青少年学生群里的情绪场景中，本实施例首先获取了人脸视频，然后，计算人脸视频中各帧间的运动向量，对运动向量进行DCT系数转换处理，得到时间排序数组和空间排序数组，将时间排序数组和空间排序数组输入ExplainableAI模型，得到情绪识别分类结果，根据情绪识别分类结果得到健康状态标签的值，解决了相关技术中无法有效发现有潜在心理风险的学生的问题，本实施例通过多项维度的分类结果（例如，攻击性分类结果、压力分类结果、焦虑分类结果、可疑分类结果、平衡分类结果、自信分类结果、活力分类结果、自我调节分类结果、抑制分类结果、神经质分类结果、抑郁分类结果和幸福分类结果）来全方位评价一个人（即青少年学生）当前的心理状态，从而能够准确的识别出被测试者（即青少年学生）当前的情绪状态，并且通过健康状态标签的值可以快速帮助家长或老师发现有潜在心理风险的学生。另外，相较于传统的无监督聚类K-Means算法通过非线性计算的方式，本实施例的ExplainableAI模型采用线性计算的方式，不仅降低了计算的复杂度，还缩短了响应时间（响应时间从3s降低为0.02s），而且由于情绪识别分类结果可以通过特征值向量的形式以作图体现参数权重，还提升了结果的解释性。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
步骤S101，获取人脸视频，人脸视频由若干振动图像组成；
步骤S102，计算人脸视频中各帧间的运动向量；
步骤S103，对运动向量进行DCT系数转换处理，得到时间排序数组和空间排序数组；
步骤S104，将时间排序数组和空间排序数组输入ExplainableAI模型，得到情绪识别分类结果，根据情绪识别分类结果得到健康状态标签的值。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的情绪识别方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种情绪识别方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种情绪识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
在一个实施例中，图3是根据本申请实施例的电子设备的内部结构示意图，如图3所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图3所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作***、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作***和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种情绪识别方法，数据库用于存储数据。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种情绪识别方法，其特征在于，所述方法包括：
获取人脸视频，所述人脸视频由若干振动图像组成；
计算所述人脸视频中各帧间的运动向量；
对所述运动向量进行DCT系数转换处理，得到时间排序数组和空间排序数组；
将所述时间排序数组和所述空间排序数组输入ExplainableAI模型，得到情绪识别分类结果，根据所述情绪识别分类结果得到健康状态标签的值；
所述ExplainableAI模型的训练步骤如下：
构建所述ExplainableAI模型的交叉熵函数，并计算所述交叉熵函数的值；
在所述交叉熵函数的计算结果最小时，得到各分类器的权重矩阵和第一组临界值矩阵和第二组临界值矩阵；
将训练集输入所述ExplainableAI模型，得到第一向量；
将所述第一向量与所述第一组临界值矩阵进行比较；
将比较结果与所述第二组临界值矩阵相乘，将相乘结果的最大值作为特征向量；
将第一结果和第二结果相加得的值作为健康状态标签的值，其中，所述第一结果通过将所述特征向量与所述权重矩阵相乘得到，所述第二结果通过拟合计算出的常数权重与第一常数相乘得到，所述第一常数为常量c与约束过拟合的正则化系数L之和。
2.根据权利要求1所述方法，其特征在于，所述ExplainableAI模型为广义相加模型，其中，所述广义相加模型为基于EBM模型通过Bagging算法和Boosting算法进行集成学***衡分类结果、自信分类结果、活力分类结果、自我调节分类结果、抑制分类结果、神经质分类结果、抑郁分类结果和幸福分类结果。
3.根据权利要求1所述方法，其特征在于，所述交叉熵函数的计算公式如下：
Figure DEST_PATH_IMAGE002
其中，yi为真实标签值，i为样本，pi为样本的概率分布；
所述约束过拟合的正则化系数L的计算公式如下：
Figure DEST_PATH_IMAGE004
其中，L为约束过拟合的正则化系数，N表示样本的总个数，y为健康状态标签的值，x为训练样本，W为权重矩阵，T为矩阵转置符号。
4.根据权利要求1所述方法，其特征在于，根据情绪识别分类结果得到健康状态标签的值之后，所述方法还包括：
判断所述健康状态标签的值是否小于预设值，若是，则表示该人脸视频中的学生的情绪为非健康，若否，则表示该人脸视频中的学生的情绪为健康。
5.根据权利要求1所述方法，其特征在于，将所述时间排序数组和所述空间排序数组输入ExplainableAI模型，得到情绪识别分类结果，根据所述情绪识别分类结果得到健康状态标签的值之后，所述方法还包括：
将所述健康状态标签的值与心里测量表进行比对，计算重合率。
6.根据权利要求1所述方法，其特征在于，所述人脸视频为通过MPEG编码后的视频，且所述人脸视频包含预设时间的人脸上半身视频。
7.一种情绪识别***，其特征在于，所述***包括：
获取模块，用于获取人脸视频，所述人脸视频由若干振动图像组成；
计算模块，用于计算所述人脸视频中各帧间的运动向量；
转换模块，用于对所述运动向量进行DCT系数转换处理，得到时间排序数组和空间排序数组；
分类模块，用于将所述时间排序数组和所述空间排序数组输入ExplainableAI模型，得到情绪识别分类结果，根据所述情绪识别分类结果得到健康状态标签的值；
所述ExplainableAI模型的训练步骤如下：
构建所述ExplainableAI模型的交叉熵函数，并计算所述交叉熵函数的值；
在所述交叉熵函数的计算结果最小时，得到各分类器的权重矩阵和第一组临界值矩阵和第二组临界值矩阵；
将训练集输入所述ExplainableAI模型，得到第一向量；
将所述第一向量与所述第一组临界值矩阵进行比较；
将比较结果与所述第二组临界值矩阵相乘，将相乘结果的最大值作为特征向量；
将第一结果和第二结果相加得的值作为健康状态标签的值，其中，所述第一结果通过将所述特征向量与所述权重矩阵相乘得到，所述第二结果通过拟合计算出的常数权重与第一常数相乘得到，所述第一常数为常量c与约束过拟合的正则化系数L之和。
8.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至6中任一项所述的情绪识别方法。
9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至6中任一项所述情绪识别方法。
CN202210621369.9A 2022-06-02 2022-06-02 情绪识别方法、***、电子设备和存储介质 Active CN114694234B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210621369.9A CN114694234B (zh) 2022-06-02 2022-06-02 情绪识别方法、***、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210621369.9A CN114694234B (zh) 2022-06-02 2022-06-02 情绪识别方法、***、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN114694234A CN114694234A (zh) 2022-07-01
CN114694234B true CN114694234B (zh) 2023-02-03

Family

ID=82131009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210621369.9A Active CN114694234B (zh) 2022-06-02 2022-06-02 情绪识别方法、***、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN114694234B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117612720B (zh) * 2023-11-28 2024-05-14 郑州师范学院 一种基于人工智能模型的心理测试方法、***及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020087494A1 (zh) * 2018-11-02 2020-05-07 金湘范 视频采集情感生成方法
CN113647950A (zh) * 2021-08-23 2021-11-16 北京图安世纪科技股份有限公司 心理情绪检测方法及***
CN113822164A (zh) * 2021-08-25 2021-12-21 深圳市安视宝科技有限公司 动态情绪识别方法、装置、计算机设备和存储介质
CN113868437A (zh) * 2021-10-09 2021-12-31 中国人民大学 基于知识图谱的可解释的情绪逻辑识别方法、***及介质
CN114005468A (zh) * 2021-09-07 2022-02-01 华院计算技术(上海)股份有限公司 一种基于全局工作空间的可解释情绪识别方法和***
CN114424940A (zh) * 2022-01-27 2022-05-03 山东师范大学 基于多模态时空特征融合的情绪识别方法及***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190487A (zh) * 2018-08-07 2019-01-11 平安科技（深圳）有限公司 人脸情绪识别方法、装置、计算机设备及存储介质
CN110020582B (zh) * 2018-12-10 2023-11-24 平安科技（深圳）有限公司 基于深度学习的人脸情绪识别方法、装置、设备及介质
KR20220073209A (ko) * 2020-11-26 2022-06-03 조선대학교산학협력단 심전도 신호로부터 설명 가능한 히트맵 영상에 근거한 질병을 판별하는 시스템 및 판별 방법
CN113057633B (zh) * 2021-03-26 2022-11-01 华南理工大学 多模态情绪压力识别方法、装置、计算机设备及存储介质
CN113435330B (zh) * 2021-06-28 2024-05-28 平安科技（深圳）有限公司 基于视频的微表情识别方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020087494A1 (zh) * 2018-11-02 2020-05-07 金湘范 视频采集情感生成方法
CN113647950A (zh) * 2021-08-23 2021-11-16 北京图安世纪科技股份有限公司 心理情绪检测方法及***
CN113822164A (zh) * 2021-08-25 2021-12-21 深圳市安视宝科技有限公司 动态情绪识别方法、装置、计算机设备和存储介质
CN114005468A (zh) * 2021-09-07 2022-02-01 华院计算技术(上海)股份有限公司 一种基于全局工作空间的可解释情绪识别方法和***
CN113868437A (zh) * 2021-10-09 2021-12-31 中国人民大学 基于知识图谱的可解释的情绪逻辑识别方法、***及介质
CN114424940A (zh) * 2022-01-27 2022-05-03 山东师范大学 基于多模态时空特征融合的情绪识别方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Emotion Recognition Using Explainable Genetically Optimized Fuzzy ART Ensembles";WEI SHIUNG LIEW 等;《IEEE Access》;20210428;61513-61531 *
"基于LIME的改进机器学习可解释性方法";林志萍 等;《数据挖掘》;20210330;第11卷(第2期);38-49 *

Also Published As

Publication number Publication date
CN114694234A (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
Gumaei et al. A hybrid deep learning model for human activity recognition using multimodal body sensing data
Qin et al. Imaging and fusing time series for wearable sensor-based human activity recognition
Jin et al. Internal feature selection method of CSP based on L1-norm and Dempster–Shafer theory
Tavakolian et al. Deep binary representation of facial expressions: A novel framework for automatic pain intensity recognition
WO2021120007A1 (zh) 一种基于红外图像序列的睡眠质量评估***和方法
Adam et al. Designing an Artificial Neural Network model for the prediction of kidney problems symptom through patient's metal behavior for pre-clinical medical diagnostic
CN115130656A (zh) 异常检测模型的训练方法、装置、设备及存储介质
CN114694234B (zh) 情绪识别方法、***、电子设备和存储介质
Giannakakis et al. Automatic stress analysis from facial videos based on deep facial action units recognition
Li et al. Multistep deep system for multimodal emotion detection with invalid data in the internet of things
Soni et al. Electroencephalography signals-based sparse networks integration using a fuzzy ensemble technique for depression detection
Viscaino et al. Computer-aided ear diagnosis system based on CNN-LSTM hybrid learning framework for video otoscopy examination
Lucey et al. Improving pain recognition through better utilisation of temporal information
CN111063438B (zh) 一种基于红外图像序列的睡眠质量评估***和方法
Li et al. Bone disease prediction and phenotype discovery using feature representation over electronic health records
Wahla et al. Visual fall detection from activities of daily living for assistive living
CN114943695A (zh) 医学序列影像的异常检测方法、装置、设备及存储介质
CN115249371A (zh) 一种人脸识别模型的训练方法、装置及电子设备
Lee et al. Online learning for classification of Alzheimer disease based on cortical thickness and hippocampal shape analysis
Chen et al. Camera-based peripheral edema measurement using machine learning
Chernenko et al. Physical Activity Set Selection for Emotional State Harmonization Based on Facial Micro-Expression Analysis
din Tahir et al. Triaxial Inertial Devices for Stochastic Life-Log Monitoring via Augmented-Signal and a Hierarchical Recognizer
Debnath et al. A step towards automated functional assessment of activities of daily living
Wang et al. Depression Detection with Dynamic and Static Visual Features.
CN118141377B (zh) 患者的负性情绪监测***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant