CN113837153B - 一种融合瞳孔数据和面部表情的实时情绪识别方法及*** - Google Patents
一种融合瞳孔数据和面部表情的实时情绪识别方法及*** Download PDFInfo
- Publication number
- CN113837153B CN113837153B CN202111410951.2A CN202111410951A CN113837153B CN 113837153 B CN113837153 B CN 113837153B CN 202111410951 A CN202111410951 A CN 202111410951A CN 113837153 B CN113837153 B CN 113837153B
- Authority
- CN
- China
- Prior art keywords
- data
- pupil
- emotion
- real
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000001747 pupil Anatomy 0.000 title claims abstract description 144
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000008921 facial expression Effects 0.000 title claims abstract description 21
- 230000008451 emotion Effects 0.000 claims abstract description 90
- 238000005259 measurement Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 21
- 238000007781 pre-processing Methods 0.000 claims description 18
- 210000001508 eye Anatomy 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 16
- 230000002996 emotional effect Effects 0.000 claims description 13
- 230000006698 induction Effects 0.000 claims description 12
- 230000001939 inductive effect Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 210000004709 eyebrow Anatomy 0.000 claims description 10
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 230000000284 resting effect Effects 0.000 claims description 9
- 230000004424 eye movement Effects 0.000 claims description 8
- 238000013079 data visualisation Methods 0.000 claims description 7
- 230000036651 mood Effects 0.000 claims description 7
- 230000000638 stimulation Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 239000000463 material Substances 0.000 claims description 5
- 230000001815 facial effect Effects 0.000 claims description 4
- 238000012417 linear regression Methods 0.000 claims description 4
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 210000000214 mouth Anatomy 0.000 claims 2
- 210000001331 nose Anatomy 0.000 claims 1
- 230000001149 cognitive effect Effects 0.000 abstract description 4
- 238000011160 research Methods 0.000 abstract description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000012706 support-vector machine Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000037007 arousal Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 208000027534 Emotional disease Diseases 0.000 description 1
- 210000003403 autonomic nervous system Anatomy 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000006397 emotional response Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明属于人工智能和认知科学的交叉领域,涉及一种融合瞳孔数据和面部表情的实时情绪识别方法及***,在沉浸式VR环境下利用HTC Vive Pro Eye虚拟现实头戴式设备和VR取像组件实时采集被试者瞳孔数据和人脸数据,提取人脸数据中的关键特征点,构造人脸几何结构特征向量,并融合瞳孔直径特征,采用支持向量机SVM分类器进行分类,从而在沉浸式环境中实时识别被试者情绪。本发明基于沉浸式VR头戴式设备进行实时人脸捕捉,同时融合瞳孔数据进行实时情绪识别,提高了情绪识别的准确率,能够在沉浸式虚拟现实环境中进行实时隐式测量,在情绪研究领域具有广泛的应用前景。
Description
技术领域
本发明属于人工智能和认知科学的交叉领域,涉及一种融合瞳孔数据和面部表情的实时情绪识别方法及***。
背景技术
情绪是人对特定情况或刺激的身体反应,在每个人的生活中都扮演着非常重要的角色。人们在日常工作、人际交往或认知活动中都有情绪。近年来,对情绪自动识别方法的研究有了很大的增长。识别情绪的有效方法的发展不仅可以改善人机交互,还有助于其他领域的发展,如心理学、医学、教育和娱乐等。
情绪诱发是指利用情绪诱发素材对受试者的情绪进行诱发,通常由视觉刺激(图像、电影)和声音刺激(音乐、声音)诱发情绪。传统的基于照片或视频的情绪识别存在以下几个缺点:(1)难以通过操纵刺激来适应任务难度;(2)大多数刺激只在白色或中性背景下显示孤立的面孔或上半身;(3)二维电脑屏幕或照片沉浸感差。相比之下,日常生活中的情感识别是在复杂的环境中进行的,而且往往是在互动过程中进行的。
随着虚拟现实技术的快速发展,虚拟现实技术具有沉浸感、真实感、想象性和交互性等特点,利用沉浸式虚拟现实技术制作的情感诱发场景和360°视频场景在情绪诱发中具有极大的优势:(1)沉浸式VR能够提供被试者完全沉浸的体验,使被试者有一种身临其境的感觉;(2)沉浸式VR能够避免外界环境的干扰,获得相对客观的情绪反应;(3)360°视频数据比图片、平面视频能诱发更强烈的情绪反应,虚拟现实的沉浸感会产生更逼真的认知和情感功能;(4)在沉浸式VR中,单一环境刺激,能够获取多模态的情感。
在360°视频作为情绪刺激材料进行情绪诱发时,需要对360°视频对受试者所触发的情绪进行评价进而得到相应的情绪标签。根据二维情绪模型(情绪唤醒度和情绪效价)对被诱发的情绪状态进行总体评价,并标记快乐、悲伤、愤怒、惊讶、厌恶、恐惧和平静七种情绪标签。
传统虚拟现实头戴式设备由于面部遮挡,不利于识别被试者情绪,而内置眼动仪的虚拟现实头戴式设备能够在沉浸式环境中捕捉眼动数据,利用眼动数据能够辅助情绪识别。其中,瞳孔大小是眼动研究中一个重要的参数指标,在一定程度上能够反映人的心理活动并影响他人的心理与行为。瞳孔不仅受到亮度等物理因素的影响,还受到自身所经历的情绪影响,情绪唤醒会激活自主神经***,进而引起瞳孔变化。瞳孔指标在控制好无关变量的前提下可以作为探测心理活动的重要指标之一。
发明内容
针对现有技术的不足,本发明提供了一种融合瞳孔数据和面部表情的实时情绪识别方法及***,利用360°视频诱发情绪,基于沉浸式虚拟现实头戴式设备进行隐式人脸捕捉和瞳孔数据采集,提出在利用人脸特征进行情绪识别时融入瞳孔直径特征,最后采用支持向量机SVM分类器进行分类,从而识别被试者情绪。
其具体技术方案如下:
一种融合瞳孔数据和面部表情的实时情绪识别方法,包括以下步骤:
S1、获取用于诱发情绪的360°VR视频数据;
S2、基于Unity虚拟现实引擎搭建VR场景视频播放模块,作为情绪刺激材料,诱发被试者的情绪;
S3、基于HTC Vive Pro Eye虚拟现实头戴式设备记录情感诱发视频,并采集被试者人脸数据和瞳孔数据;
S4、采用5点校准法对被试者进行眼动校准,采集被试者静息态下的人脸数据和瞳孔数据,得到静息态下的标准人脸和瞳孔基线数据;
S5、播放360°情绪诱发视频,使被试者置身于沉浸的虚拟现实环境中,并同步采集被试者的人脸数据和瞳孔数据;
S6、在人脸数据上选取特征点,提取人脸几何特征向量;
S7、在瞳孔数据上进行数据预处理,计算瞳孔校正数据,得到瞳孔直径特征;
S8、将步骤S6获取的人脸几何特征向量融合步骤S7获取的瞳孔直径特征输入到训练好的SVM情绪识别模型进行实时情绪识别。
进一步的,所述步骤S1具体为:采用360°VR视频在沉浸式环境下唤起被试者情绪,对360°视频诱发的被试者情绪进行评价得到相应的情绪标签,诱发七种基本的情绪,包括快乐、悲伤、愤怒、惊讶、厌恶、恐惧和平静。
进一步的,所述步骤S4的静息态下的标准人脸数据和瞳孔基线数据,是指被试者在接受情感诱发视频之前的平静情绪下的人脸数据和瞳孔基线数据,其中瞳孔基线数据采用情绪诱发刺激前后多次测量的均值。
进一步的,所述步骤S6具体为:在人脸的眼睛、眉毛、鼻子和嘴巴选择80个特征点(,,,…,)以及构造眉心特征点,以鼻尖特征点和眉心特征点为基准,构造其
他人脸特征点与基准点之间的特征向量,提取人脸几何特征向量的公式如下:
进一步的,所述步骤S7的瞳孔数据预处理,包括:异常数据剔除和缺失数据填补,异常数据通过低通滤波器滤波的方法剔除,缺失数据则通过线性插值填补。
进一步的,所述步骤S7的计算瞳孔校正数据,包括:计算由情绪变化引起的瞳孔校正数据和计算由屏幕亮度、注视位置不同而引起的瞳孔数据变化;
所述由情绪变化引起的瞳孔校正数据的计算公式如下:
进一步的,所述由屏幕亮度、注视位置不同而引起的瞳孔数据变化,具体为:利用多元线性回归模型建立瞳孔直径与屏幕亮度和注视位置之间的关系,对于每个被试者,屏幕亮度和注视位置对瞳孔直径影响的线性模型如下:
进一步的,所述步骤S8的在训练SVM情绪识别模型时,采用One-versus-One方法,对任意两类情绪训练样本都构造一个子分类器,在测试阶段将每个待测样本分别输入各个子分类器,最后统计子分类器结果,得到情绪识别结果。
进一步的,所述步骤S8中,在步骤S6获取的人脸几何特征和步骤S7获取的瞳孔直径特征上分别建立SVM模型,然后利用特征权重学习算法学习人脸几何特征和瞳孔直径特征的权重,对每一个待测样本分别利用这两个模型给出属于各个情绪类别的概率,再利用权重系数计算获得待测样本属于各个情绪的概率,根据最小误差原则获得该待测样本的为概率最大的情绪类别;
一种融合瞳孔数据和面部表情的实时情绪识别***,包括:
VR头戴式显示设备,作为360°VR视频播放介质,用于诱发被试者的情绪,同时内置眼动仪用于捕捉被试者人脸眼睛与眉毛部位的运动以及采集瞳孔数据,并将该数据传输给实时人脸情绪识别单元;
VR取像组件,用于捕捉被试者人脸嘴巴部位的运动数据,并将其传输给实时人脸情绪识别单元;
实时人脸情绪识别单元,包括情绪诱发模块、人脸数据预处理模块、瞳孔数据预处理模块、实时情绪识别模块和数据可视化模块,所述的情绪诱发模块用于播放360°VR视频来诱发被试者情绪,所述的人脸数据预处理模块用于对采集的被试者人脸数据选取特征点并提取特征向量,所述的瞳孔数据预处理模块用于对采集的瞳孔数据进行异常数据剔除和缺失数据填补并计算瞳孔校正数据,提取瞳孔直径特征,所述的实时情绪识别模块用于将人脸几何特征和瞳孔直径特征输入到训练好的SVM情绪识别模型进行实时情绪识别,所述的数据可视化模块用于展示实时情绪识别结果。
与现有技术相比,本发明的有益效果如下:
本发明的一种融合瞳孔数据和面部表情的实时情绪识别方法及***,在沉浸式环境下利用360°视频诱发情绪,通过沉浸式虚拟现实头戴式设备进行隐式人脸捕捉和瞳孔数据采集,在使用支持向量机分类器进行情绪分类时,融合了面部表情和瞳孔直径特征,提高了情绪识别的准确率。
附图说明
图1为本发明的融合瞳孔数据和面部表情的实时情绪识别***的结构图;
图2为本发明的融合瞳孔数据和面部表情的实时情绪识别方法的流程图;
图3为本发明的人脸数据的人脸特征点示意图。
具体实施方式
为了使本发明的目的、技术方案和效果更加清楚明白,以下结合说明书附图对本发明的优选实例进行说明,应当理解,此处所描述的具体实施例仅仅用于说明和解释本发明,并不用于限定本发明。
如图1所示,本发明的融合瞳孔数据和面部表情的实时情绪识别***,包括:
VR 头戴式显示设备,作为360°VR视频播放介质,用于诱发被试者的情绪,同时内置眼动仪用于捕捉被试者人脸眼睛与眉毛部位的运动以及采集瞳孔数据,并将这些数据传输给实时人脸情绪识别单元。本发明选用HTC Vive Pro Eye虚拟现实头戴式设备,内置眼动仪采集瞳孔数据。
VR取像组件,用于捕捉被试者人脸嘴巴部位的运动,并将其传输给实时人脸情绪识别单元。
实时人脸情绪识别单元,包括情绪诱发模块、人脸数据预处理模块、瞳孔数据预处理模块、实时情绪识别模块和数据可视化模块。
所述情绪诱发模块用于播放360°VR视频来诱发被试者情绪;所述人脸数据预处理模块用于对采集的被试者人脸数据选取特征点并提取特征向量;所述瞳孔数据预处理模块用于对采集的瞳孔数据进行异常数据剔除和缺失数据填补并计算排除屏幕亮度和注视位置影响后的瞳孔校正数据,提取瞳孔直径特征;所述实时情绪识别模块用于将人脸几何特征和瞳孔直径特征输入到训练好的SVM情绪识别模型进行实时情绪识别,并将情绪识别结果发送到数据可视化模块;所述数据可视化模块用于展示实时情绪识别结果,帮助用户对被试者的情绪识别进行监测,辅助研究。
如图2所示,本发明的融合瞳孔数据和面部表情的实时情绪识别方法,具体包括如下步骤:
S1、获取用于诱发情绪的360°VR视频数据;
采用360°VR视频在沉浸式环境下唤起被试者情绪,对360°视频诱发的被试者情绪进行评价进而得到相应的情绪标签,诱发七种基本的情绪,包括快乐、悲伤、愤怒、惊讶、厌恶、恐惧和平静;
S2、基于Unity虚拟现实引擎搭建VR场景视频播放模块,作为情绪刺激材料,诱发被试者的情绪;
S3、基于HTC Vive Pro Eye虚拟现实头戴式设备记录情感诱发视频,并采集被试者人脸数据和瞳孔数据;
S4、采用5点校准对被试者进行眼动校准,采集被试者静息态下的人脸数据和瞳孔数据,得到静息态下的标准人脸和瞳孔基线数据;
被试者被要求在扶手椅上采取一个舒适的姿势,支撑着他们的手和后背,头戴HTCVive Pro Eye虚拟现实头戴式设备,进行眼动追踪校准;
静息态下的标准人脸数据和瞳孔基线数据,是指被试者在接受情感诱发视频之前的平静情绪下的人脸数据和瞳孔基线数据,其中瞳孔基线数据采用情绪诱发刺激前后多次测量的均值;
S5、播放360°情绪诱发视频,使被试者置身于沉浸的虚拟现实环境中,并同步采集被试者的人脸数据和瞳孔数据;
播放唤起不同情绪的不同360°视频片段之间设置10秒的黑屏,平复之前的情绪,并且为下一次情绪诱发做准备,同时便于测量刺激前后的瞳孔基线数据;
S6、在人脸数据上选取特征点,提取人脸几何特征向量;
如图3所示,在人脸的眼睛、眉毛、鼻子和嘴巴选择80个特征点(,,,…,)
以及构造眉心特征点,以鼻尖特征点和眉心特征点为基准,构造其他人脸特征点
与基准点之间的特征向量,提取人脸几何特征向量的公式如下:
S7、在瞳孔数据上进行数据预处理,计算瞳孔校正数据,得到瞳孔直径特征;
瞳孔数据预处理包括异常数据剔除和缺失数据填补,异常数据通过低通滤波器滤波的方法剔除,缺失数据则通过线性插值填补;
计算瞳孔校正数据包括计算由情绪变化引起的瞳孔校正数据和计算由屏幕亮度、注视位置不同而引起的瞳孔数据变化;
由情绪变化引起的瞳孔校正数据的计算公式如下:
利用多元线性回归模型建立了瞳孔直径与亮度和注视位置之间的关系。沉浸式虚拟现实头戴式设备能避免周围环境亮度的影响,因此亮度对被试者瞳孔变化的影响主要是屏幕亮度。对于每个被试者,屏幕亮度和注视位置对瞳孔直径影响的线性模型如下:
S8、将S6获取的人脸几何特征向量融合S7获取的瞳孔直径特征输入到训练好的SVM情绪识别模型进行实时情绪识别。
在训练SVM情绪识别模型时,采用One-versus-One方法,对任意两类情绪训练样本都构造一个子分类器,在测试阶段将每个待测样本分别输入各个子分类器,最后统计子分类器结果,得到情绪识别结果。
在人脸几何特征和瞳孔直径特征上分别建立SVM模型,然后利用特征权重学习算法学习人脸几何特征和瞳孔直径特征的权重,对每一个待测样本分别利用这两个模型给出属于各个情绪类别的概率,再利用权重系数计算获得待测样本属于各个情绪的概率,根据最小误差原则获得该待测样本的为概率最大的情绪类别。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种融合瞳孔数据和面部表情的实时情绪识别方法,其特征在于,包括以下步骤:
S1、获取用于诱发情绪的360°VR视频数据;
S2、基于虚拟现实引擎搭建VR场景视频播放模块,作为情绪刺激材料,诱发被试者的情绪;
S3、基于虚拟现实头戴式设备记录情感诱发视频,并采集被试者人脸数据和瞳孔数据;
S4、采用5点校准法对被试者进行眼动校准,采集被试者静息态下的人脸数据和瞳孔数据,得到静息态下的标准人脸和瞳孔基线数据;
S5、播放360°情绪诱发视频,并同步采集被试者的人脸数据和瞳孔数据;
S6、在人脸数据上选取特征点,提取人脸几何特征向量;
S7、在瞳孔数据上进行数据预处理,计算瞳孔校正数据,得到瞳孔直径特征;
S8、将步骤S6获取的人脸几何特征向量融合步骤S7获取的瞳孔直径特征输入到训练好的SVM情绪识别模型进行实时情绪识别;
所述步骤S7的计算瞳孔校正数据,包括:计算由情绪变化引起的瞳孔校正数据和计算由屏幕亮度、注视位置不同而引起的瞳孔数据变化;
所述由情绪变化引起的瞳孔校正数据的计算公式如下:
所述由屏幕亮度、注视位置不同而引起的瞳孔数据变化,具体为:利用多元线性回归模型建立瞳孔直径与屏幕亮度和注视位置之间的关系,对于每个被试者,屏幕亮度和注视位置对瞳孔直径影响的线性模型如下:
2.根据权利要求1所述的一种融合瞳孔数据和面部表情的实时情绪识别方法,其特征在于,所述步骤S1具体为:采用360°VR视频在沉浸式环境下唤起被试者情绪,对360°视频诱发的被试者情绪进行评价得到相应的情绪标签,诱发七种基本的情绪,包括快乐、悲伤、愤怒、惊讶、厌恶、恐惧和平静。
3.根据权利要求1所述的一种融合瞳孔数据和面部表情的实时情绪识别方法,其特征在于,所述步骤S4的静息态下的标准人脸数据和瞳孔基线数据,是指被试者在接受情感诱发视频之前的平静情绪下的人脸数据和瞳孔基线数据,其中瞳孔基线数据采用情绪诱发刺激前后多次测量的均值。
5.根据权利要求1所述的一种融合瞳孔数据和面部表情的实时情绪识别方法,其特征在于,所述步骤S7的瞳孔数据预处理,包括:异常数据剔除和缺失数据填补,异常数据通过低通滤波器滤波的方法剔除,缺失数据则通过线性插值填补。
6.根据权利要求1所述的一种融合瞳孔数据和面部表情的实时情绪识别方法,其特征在于,所述步骤S8的在训练SVM情绪识别模型时,采用One-versus-One方法,对任意两类情绪训练样本都构造一个子分类器,在测试阶段将每个待测样本分别输入各个子分类器,最后统计子分类器结果,得到情绪识别结果。
8.一种根据权利要求1所述的一种融合瞳孔数据和面部表情的实时情绪识别方法的***,其特征在于,包括:
VR头戴式显示设备,作为360°VR视频播放介质,用于诱发被试者的情绪,同时内置眼动仪用于捕捉被试者人脸眼睛与眉毛部位的运动以及采集瞳孔数据,并将该数据传输给实时人脸情绪识别单元;
VR取像组件,用于捕捉被试者人脸嘴巴部位的运动数据,并将其传输给实时人脸情绪识别单元;
实时人脸情绪识别单元,包括情绪诱发模块、人脸数据预处理模块、瞳孔数据预处理模块、实时情绪识别模块和数据可视化模块,所述的情绪诱发模块用于播放360°VR视频来诱发被试者情绪,所述的人脸数据预处理模块用于对采集的被试者人脸数据选取特征点并提取特征向量,所述的瞳孔数据预处理模块用于对采集的瞳孔数据进行异常数据剔除和缺失数据填补并计算瞳孔校正数据,提取瞳孔直径特征,得到由情绪变化引起的瞳孔校正数据,以及利用多元线性回归模型建立瞳孔直径与屏幕亮度和注视位置之间的关系从而得到由屏幕亮度、注视位置不同而引起的瞳孔数据变化,所述的实时情绪识别模块用于将人脸几何特征和瞳孔直径特征输入到训练好的SVM情绪识别模型进行实时情绪识别,所述的数据可视化模块用于展示实时情绪识别结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111410951.2A CN113837153B (zh) | 2021-11-25 | 2021-11-25 | 一种融合瞳孔数据和面部表情的实时情绪识别方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111410951.2A CN113837153B (zh) | 2021-11-25 | 2021-11-25 | 一种融合瞳孔数据和面部表情的实时情绪识别方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113837153A CN113837153A (zh) | 2021-12-24 |
CN113837153B true CN113837153B (zh) | 2022-03-18 |
Family
ID=78971718
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111410951.2A Active CN113837153B (zh) | 2021-11-25 | 2021-11-25 | 一种融合瞳孔数据和面部表情的实时情绪识别方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113837153B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU215462U1 (ru) * | 2022-05-25 | 2022-12-14 | Элеонора Вячеславовна Липатова | Устройство электронной маски для лица |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114209324B (zh) * | 2022-02-21 | 2022-07-15 | 北京科技大学 | 基于图像视觉认知的心理测评数据获取方法及vr*** |
CN114463827A (zh) * | 2022-04-12 | 2022-05-10 | 之江实验室 | 一种基于ds证据理论的多模态实时情绪识别方法及*** |
WO2023245309A1 (zh) * | 2022-06-20 | 2023-12-28 | 大连理工大学 | 一种融合眼动追踪计算的轻量化实时情绪分析方法 |
CN116343314B (zh) * | 2023-05-30 | 2023-08-25 | 之江实验室 | 一种表情识别方法、装置、存储介质及电子设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103761508A (zh) * | 2014-01-02 | 2014-04-30 | 大连理工大学 | 一种融合人脸和手势的生物识别方法和*** |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105868694B (zh) * | 2016-03-24 | 2019-03-08 | 中国地质大学(武汉) | 基于面部表情和眼球动作的双模态情感识别方法及*** |
CN108216254B (zh) * | 2018-01-10 | 2020-03-10 | 山东大学 | 基于面部图像与脉搏信息融合的路怒情绪识别方法 |
CN113366491B (zh) * | 2021-04-26 | 2022-07-22 | 华为技术有限公司 | 眼球追踪方法、装置及存储介质 |
CN113642393B (zh) * | 2021-07-07 | 2024-03-22 | 重庆邮电大学 | 基于注意力机制的多特征融合视线估计方法 |
-
2021
- 2021-11-25 CN CN202111410951.2A patent/CN113837153B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103761508A (zh) * | 2014-01-02 | 2014-04-30 | 大连理工大学 | 一种融合人脸和手势的生物识别方法和*** |
Non-Patent Citations (1)
Title |
---|
一种基于机器学习的人脸情绪识别方法研究;李广鹏等;《计算机技术与发展》;20181221(第05期);全文 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU215462U1 (ru) * | 2022-05-25 | 2022-12-14 | Элеонора Вячеславовна Липатова | Устройство электронной маски для лица |
Also Published As
Publication number | Publication date |
---|---|
CN113837153A (zh) | 2021-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113837153B (zh) | 一种融合瞳孔数据和面部表情的实时情绪识别方法及*** | |
CN109298779B (zh) | 基于虚拟代理交互的虚拟训练***与方法 | |
US10210425B2 (en) | Generating and using a predictive virtual personification | |
Vinola et al. | A survey on human emotion recognition approaches, databases and applications | |
CN110349667B (zh) | 结合调查问卷及多模态范式行为数据分析的孤独症评估*** | |
US11301775B2 (en) | Data annotation method and apparatus for enhanced machine learning | |
KR102277820B1 (ko) | 반응정보 및 감정정보를 이용한 심리 상담 시스템 및 그 방법 | |
CN109475294A (zh) | 用于治疗精神障碍的移动和可穿戴视频捕捉和反馈平台 | |
Raudonis et al. | Evaluation of human emotion from eye motions | |
CN110135242B (zh) | 基于低分辨率红外热成像深度感知的情绪识别装置及方法 | |
CN110169770A (zh) | 情绪脑电的细粒度可视化***和方法 | |
Sivasangari et al. | Emotion recognition system for autism disordered people | |
CN108363969B (zh) | 一种基于移动终端的新生儿疼痛评估方法 | |
WO2007043712A1 (ja) | 感情評価方法および感情表示方法、並びに、それらのための、プログラム、記録媒体およびシステム | |
CN111887867A (zh) | 基于表情识别与心理学测试生成性格的分析方法及*** | |
CN113693552A (zh) | 视觉疲劳监测方法、装置、电子设备及可读存储介质 | |
David et al. | A comprehensive survey of emotion recognition system in facial expression | |
CN117438048B (zh) | 一种精神科患者用心理障碍测评方法及*** | |
Li et al. | An EEG-based multi-modal emotion database with both posed and authentic facial actions for emotion analysis | |
Li et al. | Research on leamer's emotion recognition for intelligent education system | |
CN109620265A (zh) | 识别方法及相关装置 | |
CN114067185A (zh) | 一种基于人脸表情识别的电影评价*** | |
Masmoudi et al. | Meltdowncrisis: Dataset of autistic children during meltdown crisis | |
CN115429271A (zh) | 基于眼动和面部表情的孤独症谱系障碍筛查***及方法 | |
CN115578668A (zh) | 目标行为识别方法、电子设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |