CN118044813B - 基于多任务学习的心理健康状况评估方法及*** - Google Patents
基于多任务学习的心理健康状况评估方法及*** Download PDFInfo
- Publication number
- CN118044813B CN118044813B CN202410451199.3A CN202410451199A CN118044813B CN 118044813 B CN118044813 B CN 118044813B CN 202410451199 A CN202410451199 A CN 202410451199A CN 118044813 B CN118044813 B CN 118044813B
- Authority
- CN
- China
- Prior art keywords
- task
- layer
- data
- convolution
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000009323 psychological health Effects 0.000 title claims abstract description 31
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000004458 analytical method Methods 0.000 claims abstract description 6
- 230000004927 fusion Effects 0.000 claims description 40
- 238000012549 training Methods 0.000 claims description 34
- 238000000605 extraction Methods 0.000 claims description 32
- 238000011156 evaluation Methods 0.000 claims description 27
- 230000036772 blood pressure Effects 0.000 claims description 26
- 230000004630 mental health Effects 0.000 claims description 23
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 21
- 239000008280 blood Substances 0.000 claims description 21
- 210000004369 blood Anatomy 0.000 claims description 21
- 229910052760 oxygen Inorganic materials 0.000 claims description 21
- 239000001301 oxygen Substances 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 20
- 230000001815 facial effect Effects 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000005611 electricity Effects 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000012512 characterization method Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 230000008451 emotion Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000000718 qrs complex Methods 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000015654 memory Effects 0.000 claims description 2
- 238000012360 testing method Methods 0.000 abstract description 34
- 238000005065 mining Methods 0.000 abstract description 4
- 230000003542 behavioural effect Effects 0.000 abstract description 3
- 238000000354 decomposition reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 206010000059 abdominal discomfort Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 210000001097 facial muscle Anatomy 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 208000004998 Abdominal Pain Diseases 0.000 description 1
- 206010000060 Abdominal distension Diseases 0.000 description 1
- 206010006784 Burning sensation Diseases 0.000 description 1
- 206010010774 Constipation Diseases 0.000 description 1
- 206010012735 Diarrhoea Diseases 0.000 description 1
- 208000025967 Dissociative Identity disease Diseases 0.000 description 1
- 208000037490 Medically Unexplained Symptoms Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001079 digestive effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003183 myoelectrical effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开一种基于多任务学习的心理健康状况评估方法及***,属于对心理健康状况相关数据进行挖掘分析的技术领域。本发明首先分析被测人员的多模态生理和行为数据进行心理健康状况评估任务；其次通过生理数据判断被测人员测试过程中是否认真答题，评估结果是否有效。通过多任务学习方法共享表示和特征提取，实现多个任务之间的知识共享和相互增强，提高模型的泛化能力和预测准确性，进一步提高心理评估的客观性、准确性的同时并确保评估结果的有效性。
Description
技术领域
本发明公开一种基于多任务学习的心理健康状况评估方法及***，属于对心理健康状况相关数据进行挖掘分析的技术领域。
背景技术
传统的心理健康状况评估方法主要依赖于从事心理相关工作的专业人员积累的经验或现有心理健康评估量表。这些方法通常需要专业人员进行面对面的交流和评估，主观性较强，容易受到评估人员主观因素的影响。此外，还需要对每个被测人员进行详细的评估，耗时耗力，难以满足大规模人群的心理健康评估的需求。传统的心理健康评估方法往往需要在特定的时间和地点进行，这可能会对被测试人员的正常工作和生活产生一定的影响。同时，传统心理健康评估方法往往需要被测人员填写大量的量表和问卷，量表和问卷可能会让被测人员感到困惑和不适，进一步增加其心理负担，会导致被测人员测试过程注意力不集中，得到的测试结果不能准确反映其真实的心理健康状况。
近年来因为心理原因引起的躯体症状来就诊的患者日渐增多，表现为腹痛、腹胀、腹部不适、腹泻、便秘、咽部异物感、腹部烧灼感等看似非常常见的消化内科症状，或者其他说不出来的腹部不适感，但各种检查结果均无异常。心身疾病的患者通常辗转多家医院，病程长且反复难愈，极大地增加了家庭和社会的负担，也给医疗卫生事业带来了巨大的挑战。
除此之外，相关专利文献也公开了以下技术内容：
中国专利文献CN117612720A公开了一种基于人工智能模型的心理测试方法、***及存储介质，包括：步骤S1：识别测试用户的回复数据属于第一文本集后，继续执行步骤S2；步骤S2：各个测试问题由相邻上一个测试问题生成，基于各个测试问题对应的应答数据生成测试结果图和测试结果序列；步骤S3：统计所有测试问题和应答数据生成对话数据，并生成总结文本；步骤S4：将所有测试用户分类为多个小组类别后，学习模型基于总结文本和时间分布序列生成标准文本，计算对话数据的交互度并调整测试问题。通过本专利文献可以实时与测试用户进行交互式交流以评估测试用户的心理状态，从而解决传统心理测评工具的测试问题单一性和建立测评题库的繁琐性。
综上可知，现有技术中虽然已经开始探索多维度因素对心理健康状况测试影响，但是其量化手段并不是针对相关大数据挖掘和测算得到的，因此，其得到的测试评估结果可信度需要持续被关注、修正，从而难以满足现有技术领域对心理健康状况评估准确及时的实际需求。
发明内容
针对现有技术的不足，本发明公开一种基于多任务学习的心理健康状况评估方法。
本发明还公开一种实现上述方法的***。
本发明首先分析被测人员的多模态生理和行为数据进行心理健康状况评估任务；其次通过生理数据判断被测人员测试过程中是否认真答题，评估结果是否有效。通过多任务学习方法共享表示和特征提取，实现多个任务之间的知识共享和相互增强，提高模型的泛化能力和预测准确性，进一步提高心理评估的客观性、准确性的同时并确保评估结果的有效性。
本发明详细的技术方案如下：
一种基于多任务学习的心理健康状况评估方法，其特征在于，包括：
步骤1：通过可穿戴设备和高清摄像头采集被测人员的多模态数据，以构建训练样本集；
所述多模态数据是通过可采集血压、血氧心率、皮肤电数据的可穿戴设备以及采集面部视频数据的高清摄像头所对应获得的数据；
进一步，所述可穿戴设备和高清摄像头还能实现在线实施监测血压、血氧饱和度、心率并能对异常报警，所述异常报警判断标准可以是人工设定，也可以是通过相关训练数据模块输出的判断阈值；
步骤2：对于心理健康状况评估任务A和评估结果有效性判断任务B，利用构建的特征提取网络提取训练样本集中多模态数据的深层特征，并通过融合层将多模态数据的深层特征进行融合，得到融合特征，即融合特征A和融合特征B；
步骤3：构建所述任务A和任务B之间的共享表示层，即通过对所述任务A和任务B的分别特征集合进行映射，实现多任务间的参数共享；
步骤4：将融合特征输入到具有共享表示层的多任务分类器中进行训练，并利用损失函数和算法不断调整每个任务的权重，最终得到心理健康状况评估和有效性判断模型；
步骤5：利用所述心理健康状况评估和有效性判断模型对被测人员的多模态数据进行输出：待测试人员真实的心理状态分类结果以及评估结果是否有效性。
根据本发明优选的，在步骤1中，在形成训练样本集之前还包括对采集到的多模态数据进行预处理：
对血压、血氧、心率、皮肤电数据进行预处理并转为结构化数据作为深层特征提取模块的输入。
根据本发明优选的，所述预处理具体包括：
（1-1）利用小波分析方法对血压数据进行滤波并去除工频干扰，小波基函数为haar，小波包分解可以将血压数据分解为高频和低频，利用该特性提取血压数据的特征。选取分解后的高频系数和低频系数的均值、标准差和能量作为血压数据的特征，最终经过3层分解，得到血压数据的8个频带以及24维特征向量；
（1-2）人体血氧数据属于非平稳信号，在测量过程中极易受到高频噪声的干扰，使用0.1~40Hz的滤波器去除干扰噪声，通过小波变换对血氧饱和度数据进行分解重构得到血氧频带的能量特征；
（1-3）心率数据的干扰来源主要包括工频干扰、肌电干扰等高频噪声，通过Matlab工具箱中设置FIR高通滤波器的频率范围在40-100Hz滤除高频干扰；利用差分阈值算法中差分运算提取心率数据中斜率较大的QRS复合波，提取R波波峰和QRS的起始点和终止点作为心率数据的特征序列；
（1-4）人体的皮肤电数据有效频率范围为0.02~0.2Hz，通过0.3Hz截止频率的巴特沃斯滤波器去除噪声；人在心理状态改变的过程中皮肤电数据会出现明显差异，对皮肤电数据进行一阶差分和二阶差分运算后提取均值，方差、最大值比率、最小值比率、标准差、功率谱密度特征，构成皮肤电数据的12维特征向量；
（1-5）Paul Ekman等人提出的面部运动编码***，将人脸的面部肌肉运动编码为41个运动单元，通过其组合可以反映测试人员在刺激状态下的真实情绪状态以及心理变化。对于采集的面部视频数据，通过OpenFace提取测试人员的面部运动单元，其中包括AU01，AU02，AU04，AU05，AU06，AU07，AU09，AU10，AU12，AU14，AU15，AU17，AU20，AU23，AU25，AU26，AU28，AU45。将提取的面部运动单元的检测强度系数0-5以及该面部运动单元是否存在的二进制数据作为特征描述测试人员心理状态发生改变时的情绪变化。
根据本发明优选的，在步骤2中，所述构建的特征提取网络为多层CNN特征提取网络，将所述步骤（1）预处理得到的各任务的多模态数据作为输入提取特征，并通过融合层分别得到任务A、任务B的多模态融合特征。
根据本发明优选的，在步骤2中，所述的多层CNN特征提取网络的结构包括三层卷积块：每层卷积块包括一层卷积层Conv、Batch Normalization层BN和ReLU层；在所述每层卷积块后面一层为全连接层FC，其与下一层卷积块相连接。利用构建的特征提取网络分别对任务A的面部视频、血压、血氧、心率、皮肤电多模态数据以及任务B的血压、心率、皮肤电数据进行深层特征提取，并通过Concatenate层将提取的多模态的深层特征融合得到融合特征A、融合特征B。
根据本发明优选的，所述步骤3中，所述构建所述任务A和任务B之间的共享表示层的具体步骤包括：
任务A和任务B的第层共享参数表征矩阵的计算包括：
（3-1）任务A的第一层卷积层输出经过最大池化后得到，同理得到任务A的第一层卷积层的输出；
（3-2）计算任务A与任务B信息交叉矩阵：，；将信息交叉矩阵输入到SoftMax函数计算任务间的信息共享系数和：
；
（3-3）将任务A和任务B之间的信息共享系数分配到各任务的信息交叉矩阵得到共享参数表征矩阵：
=。
一种加载有上述基于多任务学习的心理健康状况评估方法的评估***，其特征在于，包括：数据采集模块、深层特征提取模块、特征融合模块和多任务分类模块；
所述数据采集模块，用于执行所述步骤1的硬件模块，即构建训练样本集；
所述深层特征提取模块，用于执行所述步骤2的硬件模块，所述数据采集模块将训练样本集传输至所述深层特征提取模块，所述深层特征提取模块再提取每种模态数据的深层特征，即被配置为将所述多模态数据输入到本模块中，以提取每种模态数据的深层特征；
所述特征融合模块，用于执行所述步骤3的硬件模块，即将所述深层特征进行融合，得到多模态数据深层特征的融合特征；
所述多任务分类模块，用于执行所述步骤4的硬件模块，接收所述特征融合模块所形成的融合特征，最终训练得到心理健康状况评估和有效性判断模型，即被配置为将所述融合特征输入到构建的多任务分类器中输出最终每个任务的分类结果。
其中，在所述心理健康状况评估和有效性判断模型训练过程中：将所述融合特征和实际测到的心理健康状况评估、实际核实的有效性作为训练样本集首先，将构建的训练样本集按照8:2的比例分为训练数据集和测试数据集，将训练数据集输入分类器进行前向传播得到预测分类结果，根据预测的分类结果和真实标签计算两者之间的损失函数值，通过损失函数对网络参数进行梯度计算，并利用反向传播算法进行梯度的反向传播和梯度下降法调整网络权重，以最小化损失函数；在训练过程中，利用测试数据集评估模型的性能，避免过拟合，根据在测试数据集上的性能表现，调整网络结构和训练过程中的批次大小、学习率超参数，当测试数据集上的性能不再提升时，采用早停策略停止训练，以避免过拟合；
上述模型训练的损失函数：采用多任务学习的联合损失函数，使得模型在任务A和任务B上都能取得良好的性能；对于分类任务A和任务B，其损失函数和都采用交叉熵损失函数，交叉熵损失能够有效衡量分类器输出与真实标签之间的差异；
任务A的损失函数；
任务B的损失函数；
其中，是样本数量，和是分类器在第个样本上任务A和任务B的真实类别标签，和是分类器在第个样本上任务A和任务B的预测类别；
上述模型训练的联合损失函数：通过结合两个任务的损失函数，为任务A和任务B分配不同的权重因子
。
在每个训练周期结束时，计算任务A和任务B的测试数据集上F1分值指标，通过两个任务之间的性能差异，然后通过自动更新权重，其中，是指新权重，是指旧权重，和分别是任务A和任务B的性能指标——F1分值，其通过均衡模型的召回率和精确率指标实现对模型的性能进行评估，是预先设定的小的步长参数，用于控制权重调整的幅度。
根据本发明优选的，所述评估***中，训练得到心理健康状况评估和有效性判断模型之后，将被测人员的实时多模态数据输入所述数据采集模块，并依次再经过深层特征提取模块、特征融合模块和多任务分类模块，最终通过心理健康状况评估和有效性判断模型得到每个任务的分类结果，即心理健康状况评估分类结果。
根据本发明优选的，所述评估***中，在所述具有共享表示层的多任务分类器是指通过共享表示层和多任务分类器组成基于多任务学习的心理健康状况评估方法的两种任务的集成模型，即得到心理健康状况评估和有效性判断模型；
所述的多任务分类器的输入为步骤2得到融合特征A、融合特征B；所述多任务分类器包括两组由卷积层Conv和最大池化层Maxpool构成的卷积块、所述两组由长短期记忆网络层LSTM和全连接层FC组成的LSTM块；
所述卷积块和LSTM块这两个网络块之间没有直接连接，而是通过共享表示层将所述卷积块中第一卷积块的最大池化层与第二卷积块的卷积层相连，第二卷积块的最大池化层与LSTM块中的第一LSTM块的LSTM层相连，第一LSTM块的全连接层与LSTM块中第二LSTM块的LSTM层相连；最后由第二卷积块的全连接层输出最终的结果。
本发明的有益技术效果：
1、本发明所述技术方案通过便携式装备采集测试人员的面部视频、血压、血氧、心率、皮肤电数据对测试人员心理状态进行高维特征层面的刻画，充分反应心理状态的真实变化，对比传统的访谈和量表评估方法更具有客观性和科学性。另一方面，通过构建特定情绪诱发场景激发不同测试任务人员产生心理状态波动，同时也会产生相应面部单元、生理数据的变化，通过深度学习技术对这些数据进行深层特征挖掘，实现对被测人员心理健康状况的准确分析以及结果的有效性判断。
2、本发明所述技术方案通过提取不同层级之间不同尺度深度特征，充分利用来源于浅层网络的低级特征细节表达能力强、特征分辨率高而来源于深层网络的高级特征的全局信息更加丰富的特点，增强同一种数据不同尺度特征的互补性。同时利用特征层融合测试人员的多模态数据特征，解决异构数据无法有效融合问题，增强不同数据特征的互补性，提高特定任务输出结果的准确性。
3、本发明所述技术方案通过加入多任务学习方法利用特定任务间的共享表示，实现多个任务之间的知识共享和相互增强，通过学习多个任务，从有限的训练数据中获取更多的信息，进一步提高心理评估的效果，同时也通过任务间的信息流动提高输出的准确性，减少大规模数据和计算需求，提高各特定任务的效率。
附图说明
图1 本发明所述评估方法流程图；
图2 本发明所述评估方法中特征提取网络结构图；
图3 本发明所述评估方法中的多任务共享表示网络结构图。
具体实施方式
下面结合实施例和说明书附图对本发明做详细的说明，但不限于此。
实施例1：
如图1所示，一种基于多任务学习的心理健康状况评估方法，包括：
步骤1：通过可穿戴设备和高清摄像头采集被测人员的多模态数据构建训练样本集。
步骤2：对于心理健康状况评估任务A和评估结果有效性判断任务B，利用构建的特征提取网络提取训练样本集中多模态数据的深层特征，并通过融合层将多模态深层特征进行融合；
步骤3：构建任务A和任务B之间的共享表示层，通过对不同任务的特征集合进行映射实现多任务间的参数共享；
步骤4：将融合特征输入到具有共享表示层的多任务分类器中进行训练，利用损失函数和算法不断调整每个特定任务的权重，对模型不断迭代优化。利用构建心理健康状况评估和有效性判断模型对被测人员的进行有效和准确的心理评估。
进一步所述步骤1中：通过网页端加载明尼苏达多项人格测试（MinnesotaMultiphasic Per-sonality Inventory，MMPI），采集测试人员在作答MMPI过程中的多模态数据，即生理数据和行为数据：
所述生理数据包括血压、血氧心率、皮肤电；
所述行为数据包括高分辨率的面部视频。
通过可穿戴设备和高清摄像头采集上述测试人员的多模态数据，包括测试人员的面部视频、血压、血氧、心率、皮肤电数据。
利用采集的多模态数据以及MMPI结果构建训练样本库，如心理测试类型改变，则利用采集的多模态数据以及对于的心理测试结果构建训练样本库，在此不再赘述。具体的，以MMPI测试的最终结果作为心理健康状况评估任务的标签：
0-60分表明被测人员心理健康；60分以上表明健康状况异常；其中所述MMPI中还包括多个效度量表，其中能够确定测试结果是否有效的量表包括疑问量表（QuestionScale，简称Q）和说谎量表（Lie Scale，简称L），如果被测试人员测试结果中存在Q大于30或者L大于10时，则将该测试人员的测试结果标记为无效，否则标记为有效。将该标记作为评估结果有效性判断任务的标签。
具体的，对采集的多模态数据进行预处理过程具体包括：对血压、血氧、心率、皮肤电数据进行预处理并转为结构化数据作为深层特征提取模块的输入；
（1-1）利用小波分析方法对血压数据进行滤波并去除工频干扰，小波基函数为haar。小波包分解可以将血压数据分解为高频和低频，利用该特性提取血压数据的特征。选取分解后的高频系数和低频系数的均值、标准差和能量作为血压数据的特征，最终经过3层分解，得到血压数据的8个频带以及24维特征向量。
（1-2）人体血氧数据属于非平稳信号，在测量过程中极易受到高频噪声的干扰。使用0.1~40Hz的滤波器去除干扰噪声，通过小波变换对血氧饱和度数据进行分解重构得到血氧频带的能量特征。
（1-3）心率数据的干扰来源主要包括工频干扰、肌电干扰等高频噪声。通过Matlab工具箱中设置FIR高通滤波器的频率范围在40-100Hz滤除高频干扰。利用差分阈值算法中差分运算提取心率数据中斜率较大的QRS复合波，提取R波波峰和QRS的起始点和终止点作为心率数据的特征序列。
（1-4）人体的皮肤电数据有效频率范围为0.02~0.2Hz，通过0.3Hz截止频率的巴特沃斯滤波器去除噪声。人在心理状态改变的过程中皮肤电数据会出现明显差异，对皮肤电数据进行一阶差分和二阶差分运算后提取均值，方差、最大值比率、最小值比率、标准差、功率谱密度特征，构成皮肤电数据的12维特征向量。
（1-5）Paul Ekman等人提出的面部运动编码***，将人脸的面部肌肉运动编码为41个运动单元，通过其组合可以反映测试人员在刺激状态下的真实情绪状态以及心理变化。对于采集的面部视频数据，通过OpenFace提取测试人员的面部运动单元，其中包括AU01，AU02，AU04，AU05，AU06，AU07，AU09，AU10，AU12，AU14，AU15，AU17，AU20，AU23，AU25，AU26，AU28，AU45。将提取的面部运动单元的检测强度系数（0-5）以及该面部运动单元是否存在的二进制数据作为特征描述测试人员心理状态发生改变时的情绪变化。
进一步所述步骤2包括：构建多层CNN特征提取网络，将步骤（1）预处理得到的各任务的多模态数据作为输入提取特征，并通过融合层分别得到任务A、任务B的多模态融合特征。
其中，所述的多层CNN特征提取网络的结构包括三层卷积块，如附图2所示。具体的，每层卷积块包括一层卷积层（Conv），Batch Normalization层（BN）和ReLU层；每层卷积块后面一层为全连接层（FC），其与下一层卷积块相连接。利用构建的特征提取网络分别对任务A的面部视频、血压、血氧、心率、皮肤电多模态数据以及任务B的血压、心率、皮肤电数据进行深层特征提取，并通过Concatenate层将提取的多模态的深层特征融合得到融合特征A、融合特征B。
进一步所述步骤3包括：通过在任务A和任务B构建共享表示层，在不同任务间共享学习特征过程中的高级信息；其中，任务A和任务B之间的共享表示层的结构如附图3所示，任务A和任务B的第层共享参数表征矩阵的计算过程如下：任务A的第一层卷积层输出经过最大池化后得到，同理得到任务A的第一层卷积层的输出。计算任务A与任务B信息交叉矩阵：，；将信息交叉矩阵输入到SoftMax函数计算任务间的信息共享系数：；将任务间的信息共享系数分配到各任务的信息交叉矩阵得到共享参数表征矩阵：=。
进一步所述步骤4包括：构建心理健康状况评估任务A、评估结果有效性判断任务B的多任务分类器，通过共享表示层和多任务分类器组成基于多任务学习的心理健康状况评估方法的两种任务的集成模型。通过构建训练样本集训练模型，使用训练后的最优模型输出待测试人员真实的心理状态分类结果以及评估结果是否有效性。
其中，所述的多任务分类器的输入为步骤2得到融合特征A、融合特征B。多任务分类器包括两组由卷积层Conv和最大池化层Maxpool构成的卷积块，两组由长短期记忆网络层LSTM和全连接层FC组成的LSTM块。网络块之间没有直接连接，而是通过共享表示层将第一卷积块的最大池化层与第二卷积块的卷积层相连，第二卷积块的最大池化层与第一LSTM块的LSTM层相连，第一LSTM块的全连接层与第二LSTM块的LSTM层相连；最后由第二卷积块的全连接层输出最终的结果。
在本发明中，通过构建共享表示层将具有相关性的多个任务实施参数共享，提高多任务学习的泛化性；同时改变每个任务的权重更新的动态特性，提高每个任务的学习速率和效果；在学习过程中，某些特征可能在任务A上无法很好的学习获得，通过其他任务来辅助强化该任务的学习过程，提升该任务的效果和效率；构建的多任务集成模型有利于底部共享层对通用特征表示的学习，通过关联任务共享信息，提升了网络小样本学习的能力，同时提高了学习特征过程的效率，节省了计算、存储以及模型维护过程中的资源。
Claims (9)
1.一种基于多任务学习的心理健康状况评估方法，其特征在于，包括：
步骤1：通过可穿戴设备和高清摄像头采集被测人员的多模态数据，以构建训练样本集；
步骤2：对于心理健康状况评估任务A和评估结果有效性判断任务B，利用构建的特征提取网络提取训练样本集中多模态数据的深层特征，并通过融合层将多模态数据的深层特征进行融合，得到融合特征，即融合特征A和融合特征B；
步骤3：构建所述任务A和任务B之间的共享表示层，即通过对所述任务A和任务B的分别特征集合进行映射，实现多任务间的参数共享；
步骤4：将融合特征输入到具有共享表示层的多任务分类器中进行训练，并利用损失函数和算法不断调整每个任务的权重，最终得到心理健康状况评估和有效性判断模型；
步骤5：利用所述心理健康状况评估和有效性判断模型对被测人员的多模态数据进行输出：待测试人员真实的心理状态分类结果以及评估结果是否有效性。
2.根据权利要求1所述的一种基于多任务学习的心理健康状况评估方法，其特征在于，在步骤1中，在形成训练样本集之前还包括对采集到的多模态数据进行预处理：
对血压、血氧、心率、皮肤电数据进行预处理并转为结构化数据作为深层特征提取模块的输入。
3.根据权利要求2所述的一种基于多任务学习的心理健康状况评估方法，其特征在于，所述预处理具体包括：
（1-1）利用小波分析方法对血压数据进行滤波并去除工频干扰，小波基函数为haar；
（1-2）使用0.1~40Hz的滤波器去除干扰噪声，通过小波变换对血氧饱和度数据进行分解重构得到血氧频带的能量特征；
（1-3）通过Matlab工具箱中设置FIR高通滤波器的频率范围在40-100Hz滤除高频干扰；利用差分阈值算法中差分运算提取心率数据中斜率较大的QRS复合波，提取R波波峰和QRS的起始点和终止点作为心率数据的特征序列；
（1-4）人体的皮肤电数据有效频率范围为0.02~0.2Hz，通过0.3Hz截止频率的巴特沃斯滤波器去除噪声；人在心理状态改变的过程中皮肤电数据会出现明显差异，对皮肤电数据进行一阶差分和二阶差分运算后提取均值，方差、最大值比率、最小值比率、标准差、功率谱密度特征，构成皮肤电数据的12维特征向量；
（1-5）通过OpenFace提取测试人员的面部运动单元，其中包括AU01，AU02，AU04，AU05，AU06，AU07，AU09，AU10，AU12，AU14，AU15，AU17，AU20，AU23，AU25，AU26，AU28，AU45；将提取的面部运动单元的检测强度系数0-5以及该面部运动单元是否存在的二进制数据作为特征描述测试人员心理状态发生改变时的情绪变化。
4.根据权利要求1所述的一种基于多任务学习的心理健康状况评估方法，其特征在于，在步骤2中，所述构建的特征提取网络为多层CNN特征提取网络，将所述步骤1预处理得到的各任务的多模态数据作为输入提取特征，并通过融合层分别得到任务A、任务B的多模态融合特征。
5.根据权利要求4所述的一种基于多任务学习的心理健康状况评估方法，其特征在于，在步骤2中，所述的多层CNN特征提取网络的结构包括三层卷积块：每层卷积块包括一层卷积层Conv、Batch Normalization层BN和ReLU层；在所述每层卷积块后面一层为全连接层FC，其与下一层卷积块相连接。
6.根据权利要求1所述的一种基于多任务学习的心理健康状况评估方法，其特征在于，所述步骤3中，所述构建所述任务A和任务B之间的共享表示层的具体步骤包括：
任务A和任务B的第层共享参数表征矩阵的计算包括：
（3-1）任务A的第一层卷积层输出经过最大池化后得到，同理得到任务B的第一层卷积层的输出；
（3-2）计算任务A与任务B信息交叉矩阵：，；将信息交叉矩阵输入到SoftMax函数计算任务间的信息共享系数和：
；
（3-3）将任务A和任务B之间的信息共享系数分配到各任务的信息交叉矩阵得到共享参数表征矩阵：
=。
7.根据权利要求1所述的一种基于多任务学习的心理健康状况评估方法，其特征在于，在所述步骤4中，在所述具有共享表示层的多任务分类器是指通过共享表示层和多任务分类器组成基于多任务学习的心理健康状况评估方法的两种任务的集成模型，即得到心理健康状况评估和有效性判断模型；
所述的多任务分类器的输入为步骤2得到融合特征A、融合特征B；所述多任务分类器包括两组由卷积层Conv和最大池化层Maxpool构成的卷积块、两组由长短期记忆网络层LSTM和全连接层FC组成的LSTM块；
所述卷积块和LSTM块这两个网络块之间通过共享表示层将所述卷积块中第一卷积块的最大池化层与第二卷积块的卷积层相连，第二卷积块的最大池化层与LSTM块中的第一LSTM块的LSTM层相连，第一LSTM块的全连接层与LSTM块中第二LSTM块的LSTM层相连；最后由第二卷积块的全连接层输出最终的结果。
8.一种加载有如权利要求1所述基于多任务学习的心理健康状况评估方法的评估***，其特征在于，包括：数据采集模块、深层特征提取模块、特征融合模块和多任务分类模块；
所述数据采集模块，用于执行所述步骤1的硬件模块；
所述深层特征提取模块，用于执行所述步骤2的硬件模块，所述数据采集模块将训练样本集传输至所述深层特征提取模块，所述深层特征提取模块再提取每种模态数据的深层特征；
所述特征融合模块，用于执行所述步骤3的硬件模块；
所述多任务分类模块，用于执行所述步骤4的硬件模块，接收所述特征融合模块所形成的融合特征，最终训练得到心理健康状况评估和有效性判断模型。
9.如权利要求8所述评估***中，训练得到心理健康状况评估和有效性判断模型之后，将被测人员的实时多模态数据输入所述数据采集模块，并依次再经过深层特征提取模块、特征融合模块和多任务分类模块，最终通过心理健康状况评估和有效性判断模型得到每个任务的分类结果，即心理健康状况评估分类结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410451199.3A CN118044813B (zh) | 2024-04-16 | 2024-04-16 | 基于多任务学习的心理健康状况评估方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410451199.3A CN118044813B (zh) | 2024-04-16 | 2024-04-16 | 基于多任务学习的心理健康状况评估方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118044813A CN118044813A (zh) | 2024-05-17 |
| CN118044813B true CN118044813B (zh) | 2024-07-02 |
Family
ID=91053907
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410451199.3A Active CN118044813B (zh) | 2024-04-16 | 2024-04-16 | 基于多任务学习的心理健康状况评估方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118044813B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114010170A (zh) * | 2021-12-24 | 2022-02-08 | 厦门理工学院 | 一种基于标识显示的智能监测提醒方法及装置 |
| CN115064246A (zh) * | 2022-08-18 | 2022-09-16 | 山东第一医科大学附属省立医院(山东省立医院) | 一种基于多模态信息融合的抑郁症评估***及设备 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8655437B2 (en) * | 2009-08-21 | 2014-02-18 | The Nielsen Company (Us), Llc | Analysis of the mirror neuron system for evaluation of stimulus |
| CN109087706B (zh) * | 2018-07-13 | 2022-12-02 | 浙江清华长三角研究院 | 基于睡眠大数据的人体健康评估方法及评估*** |
| WO2020091096A1 (en) * | 2018-10-30 | 2020-05-07 | Samsung Electronics Co., Ltd. | Methods for determining a planes, methods for displaying augmented reality display information and corresponding devices |
| JP7256765B2 (ja) * | 2020-02-28 | 2023-04-12 | 株式会社日立製作所 | 医用撮像装置、医用画像処理装置、及び、画像処理プログラム |
| CN113837265A (zh) * | 2021-09-22 | 2021-12-24 | 湖南工业大学 | 基于联合域分离表示分层图融合网络的多模态情感分析方法 |
| CN116211306A (zh) * | 2023-03-06 | 2023-06-06 | 济南国科医工科技发展有限公司 | 基于眼动和心电信号的心理健康自评估*** |
| CN116564561A (zh) * | 2023-05-11 | 2023-08-08 | 亿慧云智能科技（深圳）股份有限公司 | 基于生理与情感特征的智能语音看护***及看护方法 |
-
2024
- 2024-04-16 CN CN202410451199.3A patent/CN118044813B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114010170A (zh) * | 2021-12-24 | 2022-02-08 | 厦门理工学院 | 一种基于标识显示的智能监测提醒方法及装置 |
| CN115064246A (zh) * | 2022-08-18 | 2022-09-16 | 山东第一医科大学附属省立医院(山东省立医院) | 一种基于多模态信息融合的抑郁症评估***及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118044813A (zh) | 2024-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110507335B (zh) | 基于多模态信息的服刑人员心理健康状态评估方法及*** | |
| CN113052113B (zh) | 一种基于紧凑型卷积神经网络的抑郁症识别方法及*** | |
| CN111202517B (zh) | 一种睡眠自动分期方法、***、介质及电子设备 | |
| CN111544015B (zh) | 基于认知力的操控工效分析方法、设备及*** | |
| CN115064246B (zh) | 一种基于多模态信息融合的抑郁症评估***及设备 | |
| CN109864714A (zh) | 一种基于深度学习的心电信号分析方法 | |
| CN111523601A (zh) | 一种基于知识引导和生成对抗学习的潜在情绪识别方法 | |
| CN111598451B (zh) | 基于任务执行能力的操控工效分析方法、设备及*** | |
| CN114566282B (zh) | 一种基于超声心动图检测报告的治疗决策*** | |
| CN111513732A (zh) | 面向疫病状况下多类人群的心理压力智能评估预警*** | |
| CN112806977A (zh) | 基于多尺度融合网络的生理参数测量方法 | |
| CN112185493A (zh) | 人格偏好诊断装置及基于该装置的项目推荐*** | |
| CN115211858A (zh) | 一种基于深度学习的情绪识别方法、***及可存储介质 | |
| CN113017650A (zh) | 一种基于功率谱密度图像的脑电特征提取方法和*** | |
| CN115500843A (zh) | 基于零样本学习与对比学习的睡眠阶段分期方法 | |
| CN113974627B (zh) | 一种基于脑机生成对抗的情绪识别方法 | |
| CN111798980A (zh) | 基于深度学习网络的复杂医学生物信号处理方法和装置 | |
| CN115251845A (zh) | 基于TB-TF-BiGRU模型处理脑电波信号的睡眠监测方法 | |
| CN110693510A (zh) | 一种注意力缺陷多动障碍辅助诊断装置及其使用方法 | |
| Nugroho et al. | Implementation of Certainty Factor in an Expert System for Diagnosing Oral Cancer | |
| CN117373595A (zh) | 一种基于ai的内科患者个性化治疗方案生成*** | |
| CN118044813B (zh) | 基于多任务学习的心理健康状况评估方法及*** | |
| CN115399735A (zh) | 基于时频双流增强的多头注意机制睡眠分期方法 | |
| CN115273176A (zh) | 一种基于生命体征和表情的疼痛多算法客观评估方法 | |
| Zhang et al. | Research on lung sound classification model based on dual-channel CNN-LSTM algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |