CN110309714A - 基于表情识别的心理健康评估方法、装置和存储介质 - Google Patents
基于表情识别的心理健康评估方法、装置和存储介质 Download PDFInfo
- Publication number
- CN110309714A CN110309714A CN201910427483.6A CN201910427483A CN110309714A CN 110309714 A CN110309714 A CN 110309714A CN 201910427483 A CN201910427483 A CN 201910427483A CN 110309714 A CN110309714 A CN 110309714A
- Authority
- CN
- China
- Prior art keywords
- mental health
- expression
- image
- face
- facial characteristics
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 148
- 230000004630 mental health Effects 0.000 title claims abstract description 127
- 238000011156 evaluation Methods 0.000 title claims abstract description 54
- 230000001815 facial effect Effects 0.000 claims abstract description 54
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 36
- 238000013507 mapping Methods 0.000 claims abstract description 20
- 239000000284 extract Substances 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 43
- 230000036541 health Effects 0.000 claims description 12
- 230000009323 psychological health Effects 0.000 abstract description 8
- 238000013473 artificial intelligence Methods 0.000 abstract 1
- 239000010410 layer Substances 0.000 description 18
- 230000036651 mood Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 230000008921 facial expression Effects 0.000 description 5
- 230000008451 emotion Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010016344 Feeling of despair Diseases 0.000 description 1
- 241000287828 Gallus gallus Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005189 cardiac health Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003001 depressive effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 201000003373 familial cold autoinflammatory syndrome 3 Diseases 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 235000014347 soups Nutrition 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请涉及人工智能技术领域，提供了基于表情识别的心理健康评估方法、装置和存储介质，方法包括：获取多个面部图像；通过卷积神经网络分别提取每个面部图像中的面部特征，得到面部特征集合；将面部特征集合输入至表情识别模型，获得所述表情识别模型输出的表情集合；表情集合包括多个表情；根据表情类型与心理健康参数之间的映射关系，分别得到每个表情对应的心理健康值；计算各心理健康值的平均值；根据平均值、心理健康评价结果和心理健康指导结果之间的映射关系，得到与平均值对应的心理健康评价结果和心理健康指导结果。该方法能够实时、全面以及客观地的反映出用户在若干天内的心理健康状态，有效提高心理健康评估的准确率。
Description
技术领域
本申请涉及图像识别技术领域，尤其涉及基于表情识别的心理健康评估方法、装置和存储介质。
背景技术
心理健康(mental health)是指心理的各个方面及活动过程处于一种良好或正常的状态。心理健康的理想状态是保持性格完美、智力正常、认知正确、情感适当、意志合理、态度积极、行为恰当和适应良好的状态。
抑郁是人类心理失调的最主要和最经常出现的问题之一，从心理学的角度看，抑郁是无效应对生活压力的后果，以情绪失调为核心，包括沮丧、无价值感、无助与绝望感以及躯体活动水平下降等一系列身心不适表现。面部表情是人的心理情绪的直观表现，利用面部表情能够客观的识别出用户是否有抑郁情绪。
目前，对用户的心理健康评估主要依据用户的自我陈述，例如，用户回答通用的心理健康问卷，然后根据评估规则以及用户的回答结果来评估用户的心理状况。
然而，现有的心理健康评估方法无法针对用户自身的实际心理，因此，难以实时、全面以及客观地反映出用户的真实的心理健康状态。
发明内容
本申请的主要目的在于解决现有的心理健康评估方法缺乏实时性和准确性等技术问题，提出了一种基于表情识别的心理健康评估方法，通过表情识别模型对用户上传的各面部图像进行表情识别；根据表情类型与心理健康程度的映射关系，分别得到与表情对应的心理健康值，计算各心理健康值的平均值；该平均值基于用户平常的生活表情得到，能够实时、全面以及客观地的反映出用户在若干天内的心理健康状态；此外，根据该平均值对用户做出心理健康评价和心理健康指导，可以有效地协助用户调整心态，从而改善用户的心理健康状况。
一种基于表情识别的心理健康评估方法，包括：获取多个面部图像；每个所述面部图像中携带同一个用户的面部特征；每个所述面部图像的拍摄日期不相同；通过卷积神经网络分别提取每个所述面部图像中的面部特征，得到面部特征集合；将所述面部特征集合输入至表情识别模型，获得所述表情识别模型输出的表情集合；所述表情集合包括多个表情，各所述表情与各面部特征一一对应；根据表情类型与心理健康参数之间的映射关系，分别得到每个所述表情对应的所述心理健康值；计算各所述心理健康值的平均值；根据所述平均值、心理健康评价结果和心理健康指导结果之间的映射关系，得到与所述平均值对应的所述心理健康评价结果和所述心理健康指导结果。
可选地，所述通过卷积神经网络分别提取每个所述面部图像中的面部特征，包括：通所述过卷积神经网络的卷积层以相同的权重参数分别提取每个所述面部图像中的目标数据；通过所述卷积神经网络的池化层分别对每个所述目标数据进行去冗余处理，得到每个所述面部图像中的面部特征。
可选地，在所述获取多个面部图像之后，以及所述通过卷积神经网络分别提取每个所述面部图像中的面部特征之前，所述方法还包括：对所述面部图像进行平滑滤波处理，得到平滑图像；对所述平滑图像进行光线补偿处理，得到补偿图像；对所述补偿图像进行灰度化处理，得到灰度图像。
所述通过卷积神经网络分别提取每个所述面部图像中的面部特征，包括：通过所述卷积神经网络分别提取每个所述灰度图像中的面部特征。
可选地，所述平滑滤波处理的算法表达式为：
其中，f(x，y)表示所述面部图像中像素点(x，y)经过平滑滤波处理后的灰度值，x表示横坐标，y表示纵坐标，δ为非0的常数。
可选地，所述灰度化处理的算法表达式为：
其中，h(x,y)表示所述补偿图像中像素点(x，y)的灰度值，g(x,y)表示所述像素点(x，y)经过灰度化处理后的灰度值，h1表示所述像素点(x，y)满足时的最大灰度值，h2表示所述像素点(x，y)满足时的最小灰度值，hist[]表示所述灰度图像的灰度值直方图，N表示所述灰度图像的像素点个数。
可选地，所述表情识别模型的算法表达式为：
其中，t表示所述表情识别模型中的回归器的级联序号，τt[]表示所述表情识别模型中的当前级的回归器，每个回归器由多棵回归树组成，S(t)为所述表情识别模型的形状估计；每个回归器τt[]根据S(t)和当前输入的面部特征I来预测S(t)的增量
可选地，所述卷积层为5*5像素宽度的卷积窗。
基于相同的技术构思，本申请还提供了一种基于表情识别的心理健康评估装置，包括：
获取模块，用于获取多个面部图像。每个所述面部图像中携带同一个用户的面部特征；每个所述面部图像的拍摄日期不相同。
处理模块，用于通过卷积神经网络分别提取所述获取模块所获取的每个所述面部图像中的面部特征，得到面部特征集合；将所述面部特征集合输入至表情识别模型，获得所述表情识别模型输出的表情集合；所述表情集合包括多个表情，各所述表情与各面部特征一一对应；根据表情类型与心理健康参数之间的映射关系，分别得到每个所述表情对应的所述心理健康值；计算各所述心理健康值的平均值；根据所述平均值、心理健康评价结果和心理健康指导结果之间的映射关系，得到与所述平均值对应的所述心理健康评价结果和所述心理健康指导结果。
可选地，所述处理模块具体用于通所述过卷积神经网络的卷积层以相同的权重参数分别提取每个所述面部图像中的目标数据；通过所述卷积神经网络的池化层分别对每个所述目标数据进行去冗余处理，得到每个所述面部图像中的面部特征。
可选地，所述处理模块还用于对所述面部图像进行平滑滤波处理，得到平滑图像；对所述平滑图像进行光线补偿处理，得到补偿图像；对所述补偿图像进行灰度化处理，得到灰度图像。
所述通过卷积神经网络分别提取每个所述面部图像中的面部特征，包括：通过所述卷积神经网络分别提取每个所述灰度图像中的面部特征。
可选地，所述平滑滤波处理的算法表达式为：
其中，f(x，y)表示所述面部图像中像素点(x，y)经过平滑滤波处理后的灰度值，x表示横坐标，y表示纵坐标，δ为非0的常数。
可选地，所述灰度化处理的算法表达式为：
其中，h(x,y)表示所述补偿图像中像素点(x，y)的灰度值，g(x,y)表示所述像素点(x，y)经过灰度化处理后的灰度值，h1表示所述像素点(x，y)满足时的最大灰度值，h2表示所述像素点(x，y)满足时的最小灰度值，hist[]表示所述灰度图像的灰度值直方图，N表示所述灰度图像的像素点个数
可选地，所述卷积层为5*5像素宽度的卷积窗。
基于相同的技术构思，本申请还提供了一种计算机设备，包括输入输出单元、存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如上述的基于表情识别的心理健康评估方法中的步骤。
基于相同的技术构思，本申请还提供了一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述的基于表情识别的心理健康评估方法中的步骤。
本申请的有益效果：通过表情识别模型对用户上传的各面部图像进行表情识别；根据表情类型与心理健康程度的映射关系，分别得到与表情对应的心理健康值，计算各心理健康值的平均值；该平均值基于用户平常的生活表情得到，能够实时、全面以及客观地的反映出用户在若干天内的心理健康状态，有效提高心理健康评估的准确率；此外，根据该平均值对用户做出心理健康评价和心理健康指导，可以有效地协助用户调整心态，从而改善用户的心理健康状况。
附图说明
图1为本申请实施例中基于表情识别的心理健康评估方法的流程示意图。
图2为本申请实施例中基于表情识别的心理健康评估装置的结构示意图。
图3为本申请实施例中计算机设备的结构示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可以包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、程序、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、程序、步骤、操作、元件、组件和/或它们的组。
图1为本申请一些实施方式中一种基于表情识别的心理健康评估方法的流程图，该基于表情识别的心理健康评估方法由基于表情识别的心理健康评估设备执行，基于表情识别的心理健康评估设备可以是电脑或手机等设备，如图1所示，可以包括以下步骤S1-S6：
S1、获取多个面部图像。
每个所述面部图像中携带同一个用户的面部特征。每个所述面部图像的拍摄日期不相同。
一些实施方式中，面部特征包括眼睛、额头、眉毛、鼻子、嘴巴以及下颌等轮廓特征。
一些实施方式中，使用带有web服务功能的摄像头，该摄像头用于拍摄用户的面部图像。该摄像头能以水平和垂直两种方式旋转，其中水平转角为270度，垂直转角为120度，摄像头通过水平旋转和垂直旋转的组合可以精确对准人脸。该摄像头采用CMOS的图像传感器，并且能支持TCP/IP等基本协议。
S2、通过卷积神经网络(Convolutional NeuralNetworks，CNN)分别提取每个所述面部图像中的面部特征，得到面部特征集合。
所述卷积神经网络仿造生物的视知觉(visualperception)机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化(grid-like topology)特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程(feature engineering)要求。
一些实施方式中，步骤S2包括以下步骤S21-S22：
S21、通所述过卷积神经网络的卷积层以相同的权重参数分别提取每个所述面部图像中的目标数据。
可选地，所述卷积层为5*5像素宽度的卷积窗，通过卷积窗从面部图像的起始位置开始，逐步对面部图像的数据进行遍历，对面部图像进行取样。
S22、通过所述卷积神经网络的池化层分别对每个所述目标数据进行去冗余处理，得到每个所述面部图像中的面部特征。
所述卷积神经网络通过卷积层提取图像的不同特征，通过池化层对提取到的特征进行采样，以去除由于图像内部相邻像素之间存在较强的相关性所造成的空间冗余信息。在一个卷积神经网络中可以包含多个卷积层以及多个池化层。
本实施例中通过所述卷积神经网络进行面部特征提取，所述卷积神经网络中同一层中的权重参数可以共享，因为同一张图像的各个不同区域具有一定的相似性，这样解决了全连接计算量过大问题。
一些实施方式中，在步骤S1之后，以及步骤S2之前，该方法还包括以下步骤S11-S13：
S11、对所述面部图像进行平滑滤波处理，得到平滑图像。
一些实施方式中，所述平滑滤波处理的算法表达式为：
其中，f(x，y)表示所述面部图像中像素点(x，y)经过平滑滤波处理后的灰度值，x表示横坐标，y表示纵坐标，δ为非0的常数。
上述表达式，对整幅面部图像进行加权平均，每一个像素点的值都由其本身和邻域内的其他像素值经过加权平均后得到，从而有效抑制服从正态分布的噪声。
S12、对所述平滑图像进行光线补偿处理，得到补偿图像。
当光照条件发生变化时，人脸颜色也会发生一定的变化。当平滑图像的亮度较亮时，即光线较强时，人脸大部分区域的颜色不会超出正常光照条件下人脸颜色的变化范围，但是，当平滑图像的亮度较低时，即光线较暗时，人脸颜色的变化受亮度降低的影响较大，此时平滑图像中人脸的颜色很可能超出正常光照条件下人脸颜色的变化范围。因此，需要对平滑图像进行光线补偿处理，以进行亮度补偿。
一些实施方式中，将平滑图像中所有像素经过非线性伽马(Gamma)校正后的亮度值按从高到低的顺序进行排列，取前5％的像素的亮度值作为“参考白”，也就是将其色彩的红(R)、绿(G)、蓝(L)分量值都调整为最大值255。整个平滑图像的其他像素的色彩值均按照这一调整尺度进行变换，为了避免由于光照不均匀造成的漏检，可以将红(R)分量值设置的大一些。
S13、对所述补偿图像进行灰度化处理，得到灰度图像。
一些实施方式中，所述灰度化处理的算法表达式为：
其中，h(x,y)表示所述补偿图像中像素点(x，y)的灰度值，g(x,y)表示所述像素点(x，y)经过灰度化处理后的灰度值，h1表示所述像素点(x，y)满足时的最大灰度值，h2表示所述像素点(x，y)满足时的最小灰度值，hist[]表示所述灰度图像的灰度值直方图，N表示所述灰度图像的像素点个数。
相应地，步骤S2包括以下步骤：通过所述卷积神经网络分别提取每个所述灰度图像中的面部特征。
S3、将所述面部特征集合输入至表情识别模型，获得所述表情识别模型输出的表情集合。
所述表情集合包括多个表情，各所述表情与各面部特征一一对应。
一些实施方式中，所述表情识别模型的算法表达式为：
其中，t表示所述表情识别模型中的回归器的级联序号，τt[]表示所述表情识别模型中的当前级的回归器，每个回归器由多棵回归树组成，S(t)为所述表情识别模型的形状估计；每个回归器τt[]根据S(t)和当前输入的面部特征I来预测S(t)的增量
在所述表情识别模型训练的过程中，从n张样本图像的每张样本图像的t个特征点中取一部分特征点训练出第一棵回归树，将第一棵回归树的预测值与所述部分特征点的真实值的残差用来训练第二棵树...依次类推，直到训练出第N棵树的预测值与所述部分特征点的真实值接近于0，得到所述表情识别模型算法的所有回归树，根据这些回归树得到关于面部特征点的表情识别模型。
S4、根据表情类型与心理健康参数之间的映射关系，分别得到每个所述表情对应的所述心理健康值。
一些实施方式中，所述表情类型包括6种基本表情，即高兴、悲伤、惊讶、恐惧、愤怒和厌恶，还包括惊喜(高兴+惊讶)、悲愤(悲伤+愤怒)等15种可被区分的复合表情。
可根据情绪程度将每种表情细分成多级，例如将高兴表情划分为“一般高兴”、“高兴”和“很高兴”3个级别。
人的心理健康情况与日常的内心情绪有关，人的面部表情往往容易表现出人的内心情绪。例如，高兴的表情反映了人的心情愉悦；心理学认为，长时间保持心情愉悦的人，心态乐观，一般心理会比较健康。相反，长时间的悲伤、恐惧、愤怒和厌恶等表情，反映了人的悲观心态，心理健康情况不佳。
本申请，结合心理学领域中大数据的分析结果，为不同的表情设置对应的心理健康值，旨在通过人的表情识别出人的心理健康情况。例如，高兴的表情一般反映了人的心理健康情况很好，将表情‘很高兴’所对应的心理健康值设置为10分，表情‘高兴’所对应的心理健康值设置为9分，表情‘一般高兴’所对应的心理健康值设置为8分；同理，悲伤的表情一般反映了人的心理健康情况很差，将表情‘很悲伤’所对应的心理健康值设置为0.5分，表情‘悲伤’所对应的心理健康值设置为1分，表情‘一般悲伤’所对应的心理健康值设置为1.5分。
S5、计算各所述心理健康值的平均值。
由于各所述面部图像的拍摄日期不相同，所以每张所述面部图像所对应的表情反映了用户各天的内心情绪，也反映了用户多天的心理健康情况。对用户若干天内的心理健康值求平均，得到的所述平均值，可以更客观的反映出用户在若干天内的心理健康状态。
S6、根据所述平均值、心理健康评价结果和心理健康指导结果之间的映射关系，得到与所述平均值对应的所述心理健康评价结果和所述心理健康指导结果。
一些实施方式中，预先划分心理健康等级，所述心理健康等级包括A、B、C、D、E五个等级，所述心理健康等级、心理健康评价和心理健康指导相映射，映射关系如下表1所示。
| 心理健康等级 | 心理健康评价 | 心理健康指导 |
| A级(9分～10分) | 优 | 保持心情 |
| B级(8分～8.9分) | 良 | 保持心情，再接再厉 |
| C级(7分～7.9分) | 一般 | 调整心情 |
| D级(6分～6.9分) | 差 | 调整心情，建议咨询心理医生 |
| E级(6分以下) | 很差 | 急需调整心情并咨询心理医生 |
表1
根据表1确定所述平均值对应的所述心理健康等级，然后确定与所述心理健康等级对应的所述心理健康评价结果和所述心理健康指导结果。例如，所述平均值等于7.5分，则与所述平均值对应的所述心理健康等级为C级，则与所述平均值对应的所述心理健康评价结果为“一般”和所述心理健康指导结果为需要“调整心情”。对于需要调整心情的用户，推送一些“开心段子”、“心灵鸡汤”等，以调节用户情绪，或是可以通过机器人来进行语音互动疏导。
上述实施例中，通过表情识别模型对用户上传的各面部图像进行表情识别；根据表情类型与心理健康参数的映射关系，分别得到与表情对应的心理健康值，计算各心理健康值的平均值；该平均值基于用户平常的生活表情得到，能够实时、全面以及客观地的反映出用户在若干天内的心理健康状态；此外，根据该平均值对用户做出心理健康评价和心理健康指导，可以有效地协助用户调整心态，从而改善用户的心理健康状况。
基于相同的技术构思，本申请还提供了一种基于表情识别的心理健康评估装置，其可用于根据用户的面部表情识别用户的心理健康状态，本申请实施例中的装置能够实现对应于上述图1所对应的实施例中所执行的基于表情识别的心理健康评估的方法的步骤。该装置实现的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。如图2所示，该装置包括获取模块1和处理模块2。所述处理模块2和获取模块2的功能实现可参考图1所对应的实施例中所执行的操作，此处不作赘述。所述处理模块2可用于控制所述获取模块1的收发操作。
所述获取模块1，用于获取多个面部图像。每个所述面部图像中携带同一个用户的面部特征；每个所述面部图像的拍摄日期不相同。
所述处理模块2，用于用于通过卷积神经网络分别提取所述获取模块1所获取的每个所述面部图像中的面部特征，得到面部特征集合；将所述面部特征集合输入至表情识别模型，获得所述表情识别模型输出的表情集合；所述表情集合包括多个表情，各所述表情与各面部特征一一对应；根据表情类型与心理健康参数之间的映射关系，分别得到每个所述表情对应的所述心理健康值；计算各所述心理健康值的平均值；根据所述平均值、心理健康评价结果和心理健康指导结果之间的映射关系，得到与所述平均值对应的所述心理健康评价结果和所述心理健康指导结果。
一些实施方式中，所述处理模块2具体用于通所述过卷积神经网络的卷积层以相同的权重参数分别提取每个所述面部图像中的目标数据；通过所述卷积神经网络的池化层分别对每个所述目标数据进行去冗余处理，得到每个所述面部图像中的面部特征。
一些实施方式中，所述处理模块2还用于对所述面部图像进行平滑滤波处理，得到平滑图像；对所述平滑图像进行光线补偿处理，得到补偿图像；对所述补偿图像进行灰度化处理，得到灰度图像。相应地，所述处理模块2用于通过所述卷积神经网络分别提取每个所述灰度图像中的面部特征。
一些实施方式中，所述平滑滤波处理的算法表达式为：
其中，f(x，y)表示所述面部图像中像素点(x，y)经过平滑滤波处理后的灰度值，x表示横坐标，y表示纵坐标，δ为非0的常数。
一些实施方式中，所述灰度化处理的算法表达式为：
其中，h(x,y)表示所述补偿图像中像素点(x，y)的灰度值，g(x,y)表示所述像素点(x，y)经过灰度化处理后的灰度值，h1表示所述像素点(x，y)满足时的最大灰度值，h2表示所述像素点(x，y)满足时的最小灰度值，hist[]表示所述灰度图像的灰度值直方图，N表示所述灰度图像的像素点个数
一些实施方式中，所述卷积层为5*5像素宽度的卷积窗。
上述实施例中，通过表情识别模型对用户上传的各面部图像进行表情识别；根据表情类型与心理健康参数的映射关系，分别得到与表情对应的心理健康值，计算各心理健康值的平均值；该平均值基于用户平常的生活表情得到，能够实时、全面以及客观地的反映出用户在若干天内的心理健康状态；此外，根据该平均值对用户做出心理健康评价和心理健康指导，可以有效地协助用户调整心态，从而改善用户的心理健康状况。
基于相同的技术构思，本申请还提供了一种计算机设备，如图3所示，该计算机设备包括输入输出单元31、处理器32和存储器33，所述存储器33中存储有计算机可读指令，所述计算机可读指令被所述处理器32执行时，使得所述处理器执行上述各实施方式中的所述的基于表情识别的心理健康评估方法的步骤。
图2中所示的获取模块1对应的实体设备为图3所示的输入输出单元31，该输入输出单元31能够实现获取模块1部分或全部的功能，或者实现与获取模块1相同或相似的功能。
图2中所示的处理模块2对应的实体设备为图3所示的处理器32，该处理器32能够实现处理模块2部分或全部的功能，或者实现与处理模块2相同或相似的功能。
基于相同的技术构思，本申请还提供了一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施方式中的所述的基于表情识别的心理健康评估方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，这些均属于本申请的保护之内。
Claims (10)
1.一种基于表情识别的心理健康评估方法，其特征在于，包括：
获取多个面部图像；每个所述面部图像中携带同一个用户的面部特征；每个所述面部图像的拍摄日期不相同；
通过卷积神经网络分别提取每个所述面部图像中的面部特征，得到面部特征集合；
将所述面部特征集合输入至表情识别模型，获得所述表情识别模型输出的表情集合；所述表情集合包括多个表情，各所述表情与各面部特征一一对应；
根据表情类型与心理健康参数之间的映射关系，分别得到每个所述表情对应的所述心理健康值；
计算各所述心理健康值的平均值；
根据所述平均值、心理健康评价结果和心理健康指导结果之间的映射关系，得到与所述平均值对应的所述心理健康评价结果和所述心理健康指导结果。
2.根据权利要求1所述的基于表情识别的心理健康评估方法，其特征在于，
所述通过卷积神经网络分别提取每个所述面部图像中的面部特征，包括：
通所述过卷积神经网络的卷积层以相同的权重参数分别提取每个所述面部图像中的目标数据；
通过所述卷积神经网络的池化层分别对每个所述目标数据进行去冗余处理，得到每个所述面部图像中的面部特征。
3.根据权利要求1所述的基于表情识别的心理健康评估方法，其特征在于，
在所述获取多个面部图像之后，以及所述通过卷积神经网络分别提取每个所述面部图像中的面部特征之前，所述方法还包括：
对所述面部图像进行平滑滤波处理，得到平滑图像；
对所述平滑图像进行光线补偿处理，得到补偿图像；
对所述补偿图像进行灰度化处理，得到灰度图像；
所述通过卷积神经网络分别提取每个所述面部图像中的面部特征，包括：
通过所述卷积神经网络分别提取每个所述灰度图像中的面部特征。
4.根据权利要求3所述的基于表情识别的心理健康评估方法，其特征在于，
所述平滑滤波处理的算法表达式为：
其中，f(x，y)表示所述面部图像中像素点(x，y)经过平滑滤波处理后的灰度值，x表示横坐标，y表示纵坐标，δ为非0的常数。
5.根据权利要求3或4所述的基于表情识别的心理健康评估方法，其特征在于，
所述灰度化处理的算法表达式为：
其中，h(x,y)表示所述补偿图像中像素点(x，y)的灰度值，g(x,y)表示所述像素点(x，y)经过灰度化处理后的灰度值，h1表示所述像素点(x，y)满足时的最大灰度值，h2表示所述像素点(x，y)满足时的最小灰度值，hist[]表示所述灰度图像的灰度值直方图，N表示所述灰度图像的像素点个数。
6.根据权利要求1至3中任一所述的基于表情识别的心理健康评估方法，其特征在于，
所述表情识别模型的算法表达式为：
其中，t表示所述表情识别模型中的回归器的级联序号，τt[]表示所述表情识别模型中的当前级的回归器，每个回归器由多棵回归树组成，S(t)为所述表情识别模型的形状估计；每个回归器τt[]根据S(t)和当前输入的面部特征I来预测S(t)的增量
7.根据权利要求2所述的基于表情识别的心理健康评估方法，其特征在于，
所述卷积层为5*5像素宽度的卷积窗。
8.一种基于表情识别的心理健康评估装置，其特征在于，包括：
获取模块，用于获取多个面部图像；每个所述面部图像中携带同一个用户的面部特征；每个所述面部图像的拍摄日期不相同；
处理模块，用于通过卷积神经网络分别提取所述获取模块所获取的每个所述面部图像中的面部特征，得到面部特征集合；将所述面部特征集合输入至表情识别模型，获得所述表情识别模型输出的表情集合；所述表情集合包括多个表情，各所述表情与各面部特征一一对应；根据表情类型与心理健康参数之间的映射关系，分别得到每个所述表情对应的所述心理健康值；计算各所述心理健康值的平均值；根据所述平均值、心理健康评价结果和心理健康指导结果之间的映射关系，得到与所述平均值对应的所述心理健康评价结果和所述心理健康指导结果。
9.一种计算机设备，其特征在于，包括输入输出单元、存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中的任一所述的基于表情识别的心理健康评估方法中的步骤。
10.一种存储有计算机可读指令的存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中的任一所述的基于表情识别的心理健康评估方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910427483.6A CN110309714A (zh) | 2019-05-22 | 2019-05-22 | 基于表情识别的心理健康评估方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910427483.6A CN110309714A (zh) | 2019-05-22 | 2019-05-22 | 基于表情识别的心理健康评估方法、装置和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110309714A true CN110309714A (zh) | 2019-10-08 |
Family
ID=68075499
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910427483.6A Pending CN110309714A (zh) | 2019-05-22 | 2019-05-22 | 基于表情识别的心理健康评估方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110309714A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111599472A (zh) * | 2020-05-14 | 2020-08-28 | 重庆大学 | 用于学生心理状态识别的方法及装置、计算机 |
| CN111887867A (zh) * | 2020-07-10 | 2020-11-06 | 衡阳师范学院 | 基于表情识别与心理学测试生成性格的分析方法及*** |
| CN112784776A (zh) * | 2021-01-26 | 2021-05-11 | 山西三友和智慧信息技术股份有限公司 | 一种基于改进残差网络的bpd面部情绪识别方法 |
| CN113205869A (zh) * | 2021-04-29 | 2021-08-03 | 华东师范大学 | 一种基于用户社交软件头像的心理健康检测及干预方法 |
| CN116434955A (zh) * | 2023-03-20 | 2023-07-14 | 吉林金域医学检验所有限公司 | 一种员工健康状态评价方法及装置 |
| CN117995399A (zh) * | 2024-01-25 | 2024-05-07 | 徐州医科大学 | 基于多模态数据的大规模心理健康智能评价方法及*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107085654A (zh) * | 2017-04-06 | 2017-08-22 | 深圳创维－Rgb电子有限公司 | 基于人脸图像的健康分析方法及装置 |
| CN107205731A (zh) * | 2015-02-13 | 2017-09-26 | 欧姆龙株式会社 | 健康管理辅助装置及健康管理辅助方法 |
| CN108509905A (zh) * | 2018-03-30 | 2018-09-07 | 百度在线网络技术（北京）有限公司 | 健康状态评估方法、装置、电子设备及存储介质 |
| CN109145871A (zh) * | 2018-09-14 | 2019-01-04 | 广州杰赛科技股份有限公司 | 心理行为识别方法、装置与存储介质 |
| CN109215763A (zh) * | 2018-10-26 | 2019-01-15 | 广州华见智能科技有限公司 | 一种基于人脸图像的情感健康监控方法及*** |
-
2019
- 2019-05-22 CN CN201910427483.6A patent/CN110309714A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107205731A (zh) * | 2015-02-13 | 2017-09-26 | 欧姆龙株式会社 | 健康管理辅助装置及健康管理辅助方法 |
| CN107085654A (zh) * | 2017-04-06 | 2017-08-22 | 深圳创维－Rgb电子有限公司 | 基于人脸图像的健康分析方法及装置 |
| CN108509905A (zh) * | 2018-03-30 | 2018-09-07 | 百度在线网络技术（北京）有限公司 | 健康状态评估方法、装置、电子设备及存储介质 |
| CN109145871A (zh) * | 2018-09-14 | 2019-01-04 | 广州杰赛科技股份有限公司 | 心理行为识别方法、装置与存储介质 |
| CN109215763A (zh) * | 2018-10-26 | 2019-01-15 | 广州华见智能科技有限公司 | 一种基于人脸图像的情感健康监控方法及*** |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111599472A (zh) * | 2020-05-14 | 2020-08-28 | 重庆大学 | 用于学生心理状态识别的方法及装置、计算机 |
| CN111599472B (zh) * | 2020-05-14 | 2023-10-24 | 重庆大学 | 用于学生心理状态识别的方法及装置、计算机 |
| CN111887867A (zh) * | 2020-07-10 | 2020-11-06 | 衡阳师范学院 | 基于表情识别与心理学测试生成性格的分析方法及*** |
| CN112784776A (zh) * | 2021-01-26 | 2021-05-11 | 山西三友和智慧信息技术股份有限公司 | 一种基于改进残差网络的bpd面部情绪识别方法 |
| CN113205869A (zh) * | 2021-04-29 | 2021-08-03 | 华东师范大学 | 一种基于用户社交软件头像的心理健康检测及干预方法 |
| CN116434955A (zh) * | 2023-03-20 | 2023-07-14 | 吉林金域医学检验所有限公司 | 一种员工健康状态评价方法及装置 |
| CN117995399A (zh) * | 2024-01-25 | 2024-05-07 | 徐州医科大学 | 基于多模态数据的大规模心理健康智能评价方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110309714A (zh) | 基于表情识别的心理健康评估方法、装置和存储介质 | |
| CN106408564B (zh) | 一种基于深度学习的眼底图像处理方法、装置及*** | |
| Palma-Amestoy et al. | A perceptually inspired variational framework for color enhancement | |
| CN104408752B (zh) | 一种基于混合色调映射算法的高动态范围图像压缩方法 | |
| Bertalmío et al. | Issues about retinex theory and contrast enhancement | |
| Yang et al. | A biological vision inspired framework for image enhancement in poor visibility conditions | |
| CN107679525A (zh) | 图像分类方法、装置及计算机可读存储介质 | |
| CN107016676B (zh) | 一种基于pcnn的视网膜血管图像分割方法和*** | |
| CN109685742A (zh) | 一种暗光环境下的图像增强方法 | |
| CN112614077A (zh) | 一种基于生成对抗网络的非监督低照度图像增强方法 | |
| SG190730A1 (en) | Method and an apparatus for determining vein patterns from a colour image | |
| CN111402285B (zh) | 一种基于视觉机制暗边缘增强的轮廓检测方法 | |
| CA3060762A1 (en) | Diagnosis assisting device, and image processing method in diagnosis assisting device | |
| CN109008952A (zh) | 基于深度学习的监护方法及相关产品 | |
| CN106683080A (zh) | 一种视网膜眼底图像预处理方法 | |
| EP3872700A3 (en) | Image processing method, apparatus, electronic device, and storage medium | |
| CN113012093B (zh) | 青光眼图像特征提取的训练方法及训练*** | |
| Rajani et al. | Quality improvement of retinal optical coherence tomography | |
| Azemin et al. | Fibrovascular redness grading using Gaussian process regression with radial basis function kernel | |
| CN108537852A (zh) | 一种基于图像局部对比度的自适应颜色恒常性方法 | |
| Hua et al. | Low-light image enhancement based on joint generative adversarial network and image quality assessment | |
| Athif et al. | Face Mask Detection under Low Light Condition Using Convolutional Neural Network (CNN) | |
| Kung et al. | A Study on Image Quality Assessment using Neural Networks and Structure Similarty. | |
| Anjarsari et al. | Hybrid radial basis function with firefly algorithm and simulated annealing for detection of high cholesterol through iris images | |
| Kurniasih et al. | Osteoarthritis disease detection system using self organizing maps method based on Ossa Manus X-Ray |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |