CN111938670B - 基于人体骨架运动学特征信息的抑郁症识别方法及*** - Google Patents
基于人体骨架运动学特征信息的抑郁症识别方法及*** Download PDFInfo
- Publication number
- CN111938670B CN111938670B CN202010608130.9A CN202010608130A CN111938670B CN 111938670 B CN111938670 B CN 111938670B CN 202010608130 A CN202010608130 A CN 202010608130A CN 111938670 B CN111938670 B CN 111938670B
- Authority
- CN
- China
- Prior art keywords
- data
- depression
- submodule
- module
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000003062 neural network model Methods 0.000 claims abstract description 33
- 238000007781 pre-processing Methods 0.000 claims abstract description 28
- 238000004364 calculation method Methods 0.000 claims abstract description 24
- 238000013075 data extraction Methods 0.000 claims abstract description 16
- 238000003745 diagnosis Methods 0.000 claims abstract description 16
- 238000013480 data collection Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000013528 artificial neural network Methods 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 29
- 238000013527 convolutional neural network Methods 0.000 claims description 24
- 230000009471 action Effects 0.000 claims description 23
- 230000000994 depressogenic effect Effects 0.000 claims description 23
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 21
- 238000002372 labelling Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 19
- 230000000638 stimulation Effects 0.000 claims description 19
- 238000012216 screening Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 5
- 239000006185 dispersion Substances 0.000 claims description 5
- 238000012854 evaluation process Methods 0.000 claims description 5
- 239000012634 fragment Substances 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 208000020401 Depressive disease Diseases 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 206010010144 Completed suicide Diseases 0.000 description 1
- 206010012374 Depressed mood Diseases 0.000 description 1
- 208000006083 Hypokinesia Diseases 0.000 description 1
- 206010024642 Listless Diseases 0.000 description 1
- 206010027940 Mood altered Diseases 0.000 description 1
- 208000019022 Mood disease Diseases 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000003920 cognitive function Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013401 experimental design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000005556 hormone Substances 0.000 description 1
- 229940088597 hormone Drugs 0.000 description 1
- 230000003483 hypokinetic effect Effects 0.000 description 1
- 208000017971 listlessness Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000008448 thought Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Psychiatry (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Social Psychology (AREA)
- Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Signal Processing (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于人体骨架运动学特征信息的抑郁症识别方法及***,属于图像处理与模式识别领域,本发明要解决的技术问题为如何能够建立客观有效的指标,根据指标参数准备的诊断抑郁症,采用的技术方案为:该方法具体如下:S1、收集人体骨架运动学特征数据;S2、提取人体骨架运动学特征数据;S3、特征数据预处理并制作数据集;S4、构建及训练抑郁症识别神经网络模型;S5、将待识别的人体骨架运动学数据输入到训练好的抑郁症识别神经网络模型,完成抑郁症的识别诊断,得到预测结果并计算准确率。该***包括数据收集模块、数据提取模块、预处理及数据集制作模块、模型构建及训练模块及结果预测及准确率计算模块。
Description
技术领域
本发明涉及图像处理与模式识别领域,具体地说是一种基于人体骨架运动学特征信息的抑郁症识别方法及***。
背景技术
抑郁症(depression)是指以显著而持久的情绪低落、活动能力减退、思维与认知功能迟缓为临床特征的一类情感性精神障碍。抑郁症患者有着严重的心理障碍和不良的情绪,经常缺乏睡眠、精神萎靡不振,重度抑郁症患者甚至出现***行为。
目前,抑郁症的诊断尚处于症状推断阶段,并无客观的理化检查诊断指标。现阶段抑郁症识别方法存在较多缺陷,其主要有:
(一)临床的诊断措施多以主观方式评判,缺乏客观有效的指标,很容易导致误诊和漏诊的情况;
(二)识别参考指标单一:目前用于识别抑郁症的方法主要是依据患者体内激素水平和各种生化指标作识别参考指标,缺乏生物电信号的指标参数,使得抑郁症识别具有一定的局限性。
故如何能够建立客观有效的指标,根据指标参数准备的诊断抑郁症是目前亟待解决的技术问题。
发明内容
本发明的技术任务是提供一种基于人体骨架运动学特征信息的抑郁症识别方法及***,来解决如何能够建立客观有效的指标,根据指标参数准备的诊断抑郁症的问题。
本发明的技术任务是按以下方式实现的,一种基于人体骨架运动学特征信息的抑郁症识别方法,该方法是根据Kinect设备所捕捉到的人体骨架特征信息,提取出人体关节点运动学特征信息,对基于时间维度的每个关节点空间位置数据进行数据预处理,利用预处理后的数据构建数据集,使用数据集进行抑郁症识别神经网络模型的训练和测试;具体如下:
S1、收集人体骨架运动学特征数据;
S2、提取人体骨架运动学特征数据;
S3、特征数据预处理并制作数据集;
S4、构建及训练抑郁症识别神经网络模型;
S5、将待识别的人体骨架运动学数据输入到训练好的抑郁症识别神经网络模型,完成抑郁症的识别诊断,得到预测结果并计算准确率。
作为优选,所述步骤S1中收集人体骨架运动学特征数据具体如下:
S101、开启Kinect设备进行人体骨架运动学特征数据的收集;
S102、引导实验对象进入指定位置,播放预先设计的刺激动作任务指令;其中,刺激动作总共包括五个运动学片段,分别为:左臂抬起与复位、右臂抬起与复位、双臂抬起及复位、相左转身及复位、向右转身及复位;每个运动学片段之间时间间隔为5s,完成整个刺激动作所需要的时间为60s;
S103、打开Kinect StudioV2软件,完成人体骨架运动学数据的录制工作;
S104、待完成数据录制后,精神医师对当前实验对象的抑郁状态进行评估,评估过程将记录实验对象的汉密尔顿抑郁量表(24项版本)得分;其中,实验对象分为抑郁组和非抑郁组;
S105、根据汉密尔顿抑郁量表评分标准,筛选抑郁症组评分大于20,对照组评分小于8分为有效实验数据。
作为优选,所述步骤S2中提取人体骨架运动学特征数据具体如下:
S201、遍历文件夹中的.xef记录文件,获取文件名称,得到记录文件路径;
S202、执行脚本命令批量运行SkeletonExtractor.exe打开.xef记录文件,读取原始记录数据;
S203、提取基于.xef记录文件的时间序列数据;
S204、提取对人体骨架关节点的空间位置(x,y,z),并剔除噪声数据;具体为:对任意Kinect检测的目标i=1,2,3…,每个人体骨架关节点均检测空间位置(x,y,z),对于待锁定目标对象i在任意时间t有如下关系:
S205、针对降噪处理的数据,提取其空间坐标系的四元数((Rx,Ry,Rz),Rw),公式如下:
则捕捉到的每个人体骨架关节点由(x,y,z)和((Rx,Ry,Rz),Rw)组成,即每个人体骨架关节点n在运动学片段时间t时刻,均由表述空间位置关系的七个维度数据构成:
djt=[xjt,yjt,zjt,Rxjt,Ryjt,Rzjt,Rwjt];
且对于25个Kinect捕捉的人体骨架关节点,在运动学片段时间T内所提取的人体骨架数据,具体如下:
其中,t表示时间;j表示人体骨架关节点;1≤t≤T,1≤j≤25;
S206、获得实验对象的提取结果(时间、每个关节的基于时间维度的空间位置坐标值及四元数),并以实验对象的名称保存为csv格式的文件。
作为优选,所述步骤S3中特征数据预处理并制作数据集具体如下:
S301、读取提取得到的实验对象csv文件;
S302、读取时间序列,并重新写入到另一文件夹中的同名csv文件中;
S303、读取csv文件除时间序列以外的数据,并对采用标准化数据预处理,具体如下:对于人体骨架数据时间序列x1,x2,...,xt,使用离差标准化的方法对原始数据的线性变换,使结果映射到[0,1]区间,公式如下:
其中,n表示序列长度,则新序列y1,y2,...,yn∈[0,1]且无量纲;
S304、将标准化后的数据写入到步骤S302中的csv文件;
S305、将抑郁组和非抑郁组的实验对象分别进行标注,将抑郁组标注为0,将非抑郁组标注为1;
S306、通过pythonnumpy库预处理过的新数据序列进行数据集制作,所有实验对象提取的数据将以二进制数据的格式保存为.npy格式文件;
S307、对数据集采用随机划分的模式,将数据集70%设为训练集,30%用做测试集。
作为优选,所述步骤S4中构建及训练抑郁症识别神经网络模型具体如下:
S401、将训练集数据输入到时间卷积神经网络(Temporal Convolution NeuralNetwork),得到时间卷积神经网络输出结果;其中,时间卷积神经网络包括两个顺序连接的时间空洞卷积残差块,每一个残差块的每层均为一维空洞卷积网络,随机丢弃率为0.5,激活函数为ReLU,每一层的输出直接作为下一层的输入;
S402、将得到的时间卷积神经网络输出结果作为特征信息输入到瓶颈卷积神经网络(BottleneckConvolutionNeural Network)中,得到瓶颈卷积神经网络的输出结果;其中,瓶颈卷积神经网络包括一个瓶颈网络残差块;瓶颈网络残差块包括三层一维卷积网络,其核函数尺寸K=1,3,1;
S403、将瓶颈卷积神经网络的输出结果转换为一维向量并连接后输入到全连接层,再经softmax分类器进行抑郁症识别。
更优地,所述步骤S5中完成抑郁症的识别诊断,得到预测结果并计算准确率具体如下:
S501、采用softmax作为分类器进行抑郁症的识别诊断,公式为:
其中,Si表示第i类的softmax预测值;i和j均为类别序号;
S502、将人体骨架运动学特征数据输入到抑郁症识别神经网络模型中,在进行抑郁症类别预测时,每一个类别(抑郁与非抑郁)都对应一个小于1的计算值且总和为1,最大计算值所对应的类别则为预测类;
S503、将预测类别与真实类别进行比较,计算训练数据集中预测正确类别的抑郁症类别数量占数据总数量的比例,输出即为抑郁症识别神经网络模型的准确率;
S504、预测错误类别的损失采用损失函数来计算,设定抑郁症识别神经网络模型的损失函数为交叉熵函数Loss,公式为:
其中,M表示类别数量;c表示类别序号;yc表示真实标签;pc表示softmax的输出。
一种基于人体骨架运动学特征信息的抑郁症识别***,该***包括,
数据收集模块,用于收集人体骨架运动学特征数据;
数据提取模块,用于提取人体骨架运动学特征数据;
预处理及数据集制作模块,用于特征数据预处理并制作数据集;
模型构建及训练模块,用于构建及训练抑郁症识别神经网络模型;
结果预测及准确率计算模块,用于将待识别的人体骨架运动学数据输入到训练好的抑郁症识别神经网络模型,完成抑郁症的识别诊断,得到预测结果并计算准确率。
作为优选,所述数据收集模块包括,
设备开启及数据收集子模块,用于开启Kinect设备进行人体骨架运动学特征数据的收集;
指令播放子模块,用于引导实验对象进入指定位置,播放预先设计的刺激动作任务指令;其中,刺激动作总共包括五个运动学片段,分别为:左臂抬起与复位、右臂抬起与复位、双臂抬起及复位、相左转身及复位、向右转身及复位;每个运动学片段之间时间间隔为5s,完成整个刺激动作所需要的时间为60s;
数据录制子模块,用于打开Kinect StudioV2软件,完成人体骨架运动学数据的录制工作;
抑郁状态评估子模块,用于待完成数据录制后,精神医师对当前实验对象的抑郁状态进行评估,评估过程将记录实验对象的汉密尔顿抑郁量表(24项版本)得分;其中,实验对象分为抑郁组和非抑郁组;
筛选子模块,用于根据汉密尔顿抑郁量表评分标准,筛选抑郁症组评分大于20,对照组评分小于8分为有效实验数据;
所述数据提取模块包括,
文件路径记录子模块,用于遍历文件夹中的.xef记录文件,获取文件名称,得到记录文件路径;
原始记录数据读取子模块,用于执行脚本命令批量运行SkeletonExtracto r.exe打开.xef记录文件,读取原始记录数据;
时间序列数据提取子模块,用于提取基于.xef记录文件的时间序列数据;
噪音数据剔除子模块,用于提取对人体骨架关节点的空间位置(x,y,z),并剔除噪声数据;具体为:对任意Kinect检测的目标i=1,2,3…,每个人体骨架关节点均检测空间位置(x,y,z),对于待锁定目标对象i在任意时间t有如下关系:
四元数提取子模块,用于针对降噪处理的数据,提取其空间坐标系的四元数((Rx,Ry,Rz),Rw),公式如下:
则捕捉到的每个人体骨架关节点由(x,y,z)和((Rx,Ry,Rz),Rw)组成,即每个人体骨架关节点n在运动学片段时间t时刻,均由表述空间位置关系的七个维度数据构成:
djt=[xjt,yjt,zjt,Rxjt,Ryjt,Rzjt,Rwjt];
且对于25个Kinect捕捉的人体骨架关节点,在运动学片段时间T内所提取的人体骨架数据,具体如下:
其中,t表示时间;j表示人体骨架关节点;1≤t≤T,1≤j≤25;
提取结果获得子模块,用于获得实验对象的提取结果(时间、每个关节的基于时间维度的空间位置坐标值及四元数),并以实验对象的名称保存为csv格式的文件;
所述预处理及数据集制作模块包括,
文件读取子模块,用于读取提取得到的实验对象csv文件;
时间序列读取子模块,用于读取时间序列,并重新写入到另一文件夹中的同名csv文件中;
标准化数据预处理子模块,用于读取csv文件除时间序列以外的数据,并对采用标准化数据预处理,具体如下:对于人体骨架数据时间序列x1,x2,...,xt,使用离差标准化的方法对原始数据的线性变换,使结果映射到[0,1]区间,公式如下:
其中,n表示序列长度,则新序列y1,y2,...,yn∈[0,1]且无量纲;
文件写入子模块,用于将标准化后的数据写入到csv文件;
对象标注子模块,用于将抑郁组和非抑郁组的实验对象分别进行标注,将抑郁组标注为0,将非抑郁组标注为1;
数据集制作子模块,用于通过pythonnumpy库预处理过的新数据序列进行数据集制作,所有实验对象提取的数据将以二进制数据的格式保存为.npy格式文件;
数据集划分子模块,用于对数据集采用随机划分的模式,将数据集70%设为训练集,30%用做测试集;
所述模型构建及训练模块包括,
时间卷积神经网络结果输出子模块,用于将训练集数据输入到时间卷积神经网络(Temporal Convolution Neural Network),得到时间卷积神经网络的输出结果;其中,时间卷积神经网络包括两个顺序连接的时间空洞卷积残差块,每一个残差块的每层均为一维空洞卷积网络,随机丢弃率为0.5,激活函数为ReLU,每一层的输出直接作为下一层的输入;
瓶颈卷积神经网络结果输出子模块,用于将得到的时间卷积神经网络输出结果作为特征信息输入到瓶颈卷积神经网络(BottleneckConvolutionNeural Network)中,得到瓶颈卷积神经网络的输出结果;其中,瓶颈卷积神经网络包括一个瓶颈网络残差块;瓶颈网络残差块包括三层一维卷积网络,其核函数尺寸K=1,3,1;
抑郁症识别子模块,用于将瓶颈卷积神经网络的输出结果转换为一维向量并连接后输入到全连接层,再经softmax分类器进行抑郁症识别;
所述结果预测及准确率计算模块包括,
识别诊断子模块,用于采用softmax作为分类器进行抑郁症的识别诊断,公式为:
其中,Si表示第i类的softmax预测值;i和j均为类别序号;
预测类获取子模块,用于将人体骨架运动学特征数据输入到抑郁症识别神经网络模型中,在进行抑郁症类别预测时,每一个类别(抑郁与非抑郁)都对应一个小于1的计算值且总和为1,最大计算值所对应的类别则为预测类;
比较子模块,用于将预测类别与真实类别进行比较,计算训练数据集中预测正确类别的抑郁症类别数量占数据总数量的比例,输出即为抑郁症识别神经网络模型的准确率;
损失计算子模块,用于预测错误类别的损失采用损失函数来计算,设定抑郁症识别神经网络模型的损失函数为交叉熵函数Loss,公式为:
其中,M表示类别数量;c表示类别序号;yc表示真实标签;pc表示softmax的输出。
一种电子设备,包括:存储器和一个处理器;
其中,所述存储器存储计算机执行指令;
所述一个处理器执行所述存储器存储的计算机执行指令,使得所述一个处理器执行如上述的基于人体骨架运动学特征信息的抑郁症识别方法。
一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行时,实现如上述的基于人体骨架运动学特征信息的抑郁症识别方法。
本发明的基于人体骨架运动学特征信息的抑郁症识别方法及***具有以下优点:
(一)本发明根据抑郁症患者的活动能力减退、思维与认知功能迟缓的临床表现,通过设计特定的指令动作,使用Kinect设备获取的人体骨架运动学特征信息,构建出一个高效的抑郁症识别方法,为抑郁症的早期识别和辅助临床诊疗提供便捷可靠的筛查手段;
(二)本发明通过Kinect设备完成人体运动学特征骨架信息的捕捉,结合数据提取和预处理的技术,基于深度学习相关理论构建抑郁症识别模型进行抑郁症识别,提高抑郁症识别的准确性;
(三)本发明是基于时间卷积瓶颈网络识别方法,构建人体骨架运动学特征学习网络模型,提取关键的运动学特征信息,有效的避免了无关特征对抑郁症识别的干扰,提高抑郁症识别的可靠性,本发明对抑郁症的测试集识别率准确率高达75%以上;
(四)本发明使用Kinect设备完成人体骨架识别任务,基于时间维度和空间位置的人体运动学特征信息进行抑郁症识别工作;且本发明所提出的刺激任务为根据精神医师建议独创设计,根据设定刺激任务动作和结合实验设计,提出了噪声数据剔除和运动学片段划分及数据提取方法;同时基于原始时间卷积神经网络模型改进了更适于本发明的时间卷积与瓶颈神经网络模型进行抑郁症的识别。
附图说明
下面结合附图对本发明进一步说明。
附图1为基于人体骨架运动学特征信息的抑郁症识别方法的流程框图;
附图2为人体骨架动作关键动作帧的示意图;
附图3为Kinect设备实验环境布置示意图;
附图4为神经网络模型结构示意图;
附图5为抑郁症识别结果混淆矩阵示意图。
具体实施方式
参照说明书附图和具体实施例对本发明的基于人体骨架运动学特征信息的抑郁症识别方法及***作以下详细地说明。
实施例1:
如附图1所示,本发明的基于人体骨架运动学特征信息的抑郁症识别方法,该方法是根据Kinect设备所捕捉到的人体骨架特征信息,提取出人体25个关节点运动学特征信息,对基于时间维度的每个关节点空间位置数据进行数据预处理,利用预处理后的数据构建数据集,使用数据集进行抑郁症识别神经网络模型的训练和测试;具体如下:
S1、收集人体骨架运动学特征数据;具体如下:
S101、开启Kinect设备进行人体骨架运动学特征数据的收集;
S102、引导实验对象进入指定位置,播放预先设计的刺激动作任务指令,如附图3所示;
刺激动作设计:本发明根据精神医师的建议,结合抑郁症患者的实际身体状态,同时为减小由于性别、职业等非关键性因素造成抑郁症患者感知行动能力差别;因而设计了一套较为简单且运动幅度相对明显,且Kinect便于捕捉的刺激任务动作。
如附图2所示,刺激动作总共包括五个运动学片段,分别为:左臂抬起与复位、右臂抬起与复位、双臂抬起及复位、相左转身及复位、向右转身及复位;每个运动学片段之间时间间隔为5s,完成整个刺激动作所需要的时间为60s;
S103、打开Kinect StudioV2软件,完成人体骨架运动学数据的录制工作;
S104、待完成数据录制后,精神医师对当前实验对象的抑郁状态进行评估,评估过程将记录实验对象的汉密尔顿抑郁量表(24项版本)得分,并为后续实验的抑郁组和非抑郁组数据筛选和数据标注提供参考依据;其中,实验对象分为抑郁组和非抑郁组;
S105、根据汉密尔顿抑郁量表评分标准,筛选抑郁症组评分大于20,对照组评分小于8分为有效实验数据。
S2、提取人体骨架运动学特征数据;具体如下:
S201、遍历文件夹中的.xef记录文件,获取文件名称,得到记录文件路径;
S202、执行脚本命令批量运行SkeletonExtractor.exe打开.xef记录文件,读取原始记录数据;其中,.xef记录文件是基于.net core3.0框架开发了针对Kinect V2.0记录;
S203、提取基于.xef记录文件的时间序列数据;
S204、提取对人体骨架关节点的空间位置(x,y,z),并剔除噪声数据;由于KinectV2录制目标对象过程中可能存在非目标对象出现在录像环境内,需要可能捕捉到的剔除非实验对象等噪声数据。Kinect最多可同时检测出6个人体骨架目标,根据实验环境设计,目标对象和刺激动作活动范围均在固定检测区域内,具体为:对任意Kinect检测的目标i=1,2,3…,每个人体骨架关节点均检测空间位置(x,y,z),对于待锁定目标对象i在任意时间t有如下关系:
S205、针对降噪处理的数据,提取其空间坐标系的四元数((Rx,Ry,Rz),Rw),公式如下:
则捕捉到的每个人体骨架关节点由(x,y,z)和((Rx,Ry,Rz),Rw)组成,即每个人体骨架关节点n在运动学片段时间t时刻,均由表述空间位置关系的七个维度数据构成:
djt=[xjt,yjt,zjt,Rxjt,Ryjt,Rzjt,Rwjt];
且对于25个Kinect捕捉的人体骨架关节点,在运动学片段时间T内所提取的人体骨架数据,具体如下:
其中,t表示时间;j表示人体骨架关节点;1≤t≤T,1≤j≤25;
S206、获得实验对象的提取结果(时间、每个关节的基于时间维度的空间位置坐标值及四元数),并以实验对象的名称保存为csv格式的文件。
S3、特征数据预处理并制作数据集;具体如下:
S301、读取提取得到的实验对象csv文件;
S302、读取时间序列,并重新写入到另一文件夹中的同名csv文件中;
S303、读取csv文件除时间序列以外的数据,并对采用标准化数据预处理,具体如下:对于人体骨架数据时间序列x1,x2,...,xt,使用离差标准化的方法对原始数据的线性变换,使结果映射到[0,1]区间,公式如下:
其中,n表示序列长度,则新序列y1,y2,...,yn∈[0,1]且无量纲;
抑郁组和非抑郁组数据分别位于两个文件夹内,遍历两个文件夹,并读取文件夹内的csv文件。
S304、将标准化后的数据写入到步骤S302中的csv文件;
S305、将抑郁组和非抑郁组的实验对象分别进行标注,将抑郁组标注为0,将非抑郁组标注为1;
S306、为提高实验数据加载效率,通过pythonnumpy库预处理过的新数据序列进行数据集制作,所有实验对象提取的数据将以二进制数据的格式保存为.npy格式文件;
S307、对数据集采用随机划分的模式,将数据集70%设为训练集,30%用做测试集。
S4、构建及训练抑郁症识别神经网络模型;如附图4所示,具体如下:
S401、将训练集数据输入到时间卷积神经网络(Temporal Convolution NeuralNetwork),得到时间卷积神经网络输出结果;其中,时间卷积神经网络包括两个顺序连接的时间空洞卷积残差块,每一个残差块的每层均为一维空洞卷积网络,随机丢弃率为0.5,激活函数为ReLU,每一层的输出直接作为下一层的输入;
S402、将得到的时间卷积神经网络输出结果作为特征信息输入到瓶颈卷积神经网络(BottleneckConvolutionNeural Network)中,得到瓶颈卷积神经网络的输出结果;其中,瓶颈卷积神经网络包括一个瓶颈网络残差块;瓶颈网络残差块包括三层一维卷积网络,其核函数尺寸K=1,3,1;
S403、将瓶颈卷积神经网络的输出结果转换为一维向量并连接后输入到全连接层,再经softmax分类器进行抑郁症识别。
本发明的人体骨架运动学特征学习网络由时间卷积网络、瓶颈网络、全连接层和softmax分类器组成。基于现有的时间卷积神经网络,充分利用各种网络的优势,构建出具有高效抑郁症识别的学习网络,提取人体的运动学骨架特征,再将网络输出的特征聚合后输入到一个全连接层进行特征融合,在全连接层后基于经典softmax分类器进行抑郁症识别。
对于运动学人体骨架特征学习,本发明设计了标准卷积滤波器来固定时间理解,能够建模合适的时间窗口理想地建模整个人体骨架运动学特征序列。学习重要的运动学特征,本方案使用了扩展卷积,在网络的不同层上实现了指数级大的时间上下时间序列规模。对于输入事件时间索引长度和过滤器:{0,1,…n}对于某些滤波器,骨架序列的元素的扩张卷积运算为:
其中,d表示扩展系数;n表示索引长度。
瓶颈网络采用一维卷积瓶网架构,三层核滤波器尺寸匹配为K=1,3,1,保证层间长度的兼容性。相对于其他层的相对大小,瓶颈特征可以从一个多层感知器中产生,其中一个内部层有少量的隐藏单元。一旦有了内层估计和完全连接层估计,分类器块就可以通过压缩感知跟踪相关信息的准确来源。由于前向扩容的时间卷积残差块馈入,瓶颈结构能够很好地识别出相关的身体事件索引序列和关键的身体关节运动机能学特征。
S5、将待识别的人体骨架运动学数据输入到训练好的抑郁症识别神经网络模型,完成抑郁症的识别诊断,得到预测结果并计算准确率;具体如下:
S501、采用softmax作为分类器进行抑郁症的识别诊断,公式为:
其中,Si表示第i类的softmax预测值;i和j均为类别序号;本发明在给定一组序列数据的基础上,提出了一种高效计算的人体骨架运动学特征序列模型。
S502、将人体骨架运动学特征数据输入到抑郁症识别神经网络模型中,在进行抑郁症类别预测时,每一个类别(抑郁与非抑郁)都对应一个小于1的计算值且总和为1,最大计算值所对应的类别则为预测类;
S503、将预测类别与真实类别进行比较,计算训练数据集中预测正确类别的抑郁症类别数量占数据总数量的比例,输出即为抑郁症识别神经网络模型的准确率;
S504、预测错误类别的损失采用损失函数来计算,设定抑郁症识别神经网络模型的损失函数为交叉熵函数Loss,公式为:
其中,M表示类别数量;c表示类别序号;yc表示真实标签;pc表示softmax的输出。
例如,如附图5所示,在混淆矩阵中,测试集包含的总的样本数为62个,抑郁组样本23个,正常组39个;其中抑郁组预测为抑郁组的数量为16个,预测为正常组的数量为7个;正常组预测为正常组的数量为31个,预测为抑郁组的数量为8个;该混淆矩阵所示的准确率为(31+16)/62=75.8%。
实施例2:
本发明的基于人体骨架运动学特征信息的抑郁症识别***,该***包括,
数据收集模块,用于收集人体骨架运动学特征数据;数据收集模块包括,
设备开启及数据收集子模块,用于开启Kinect设备进行人体骨架运动学特征数据的收集;
指令播放子模块,用于引导实验对象进入指定位置,播放预先设计的刺激动作任务指令;其中,刺激动作总共包括五个运动学片段,分别为:左臂抬起与复位、右臂抬起与复位、双臂抬起及复位、相左转身及复位、向右转身及复位;每个运动学片段之间时间间隔为5s,完成整个刺激动作所需要的时间为60s;
数据录制子模块,用于打开Kinect StudioV2软件,完成人体骨架运动学数据的录制工作;
抑郁状态评估子模块,用于待完成数据录制后,精神医师对当前实验对象的抑郁状态进行评估,评估过程将记录实验对象的汉密尔顿抑郁量表(24项版本)得分;其中,实验对象分为抑郁组和非抑郁组;
筛选子模块,用于根据汉密尔顿抑郁量表评分标准,筛选抑郁症组评分大于20,对照组评分小于8分为有效实验数据。
数据提取模块,用于提取人体骨架运动学特征数据;数据提取模块包括,
文件路径记录子模块,用于遍历文件夹中的.xef记录文件,获取文件名称,得到记录文件路径;
原始记录数据读取子模块,用于执行脚本命令批量运行SkeletonExtracto r.exe打开.xef记录文件,读取原始记录数据;
时间序列数据提取子模块,用于提取基于.xef记录文件的时间序列数据;
噪音数据剔除子模块,用于提取对人体骨架关节点的空间位置(x,y,z),并剔除噪声数据;具体为:对任意Kinect检测的目标i=1,2,3…,每个人体骨架关节点均检测空间位置(x,y,z),对于待锁定目标对象i在任意时间t有如下关系:
四元数提取子模块,用于针对降噪处理的数据,提取其空间坐标系的四元数((Rx,Ry,Rz),Rw),公式如下:
则捕捉到的每个人体骨架关节点由(x,y,z)和((Rx,Ry,Rz),Rw)组成,即每个人体骨架关节点n在运动学片段时间t时刻,均由表述空间位置关系的七个维度数据构成:
djt=[xjt,yjt,zjt,Rxjt,Ryjt,Rzjt,Rwjt];
且对于25个Kinect捕捉的人体骨架关节点,在运动学片段时间T内所提取的人体骨架数据,具体如下:
其中,t表示时间;j表示人体骨架关节点;1≤t≤T,1≤j≤25;
提取结果获得子模块,用于获得实验对象的提取结果(时间、每个关节的基于时间维度的空间位置坐标值及四元数),并以实验对象的名称保存为csv格式的文件。
预处理及数据集制作模块,用于特征数据预处理并制作数据集;预处理及数据集制作模块包括,
文件读取子模块,用于读取提取得到的实验对象csv文件;
时间序列读取子模块,用于读取时间序列,并重新写入到另一文件夹中的同名csv文件中;
标准化数据预处理子模块,用于读取csv文件除时间序列以外的数据,并对采用标准化数据预处理,具体如下:对于人体骨架数据时间序列x1,x2,...,xt,使用离差标准化的方法对原始数据的线性变换,使结果映射到[0,1]区间,公式如下:
其中,n表示序列长度,则新序列y1,y2,...,yn∈[0,1]且无量纲;
文件写入子模块,用于将标准化后的数据写入到csv文件;
对象标注子模块,用于将抑郁组和非抑郁组的实验对象分别进行标注,将抑郁组标注为0,将非抑郁组标注为1;
数据集制作子模块,用于通过pythonnumpy库预处理过的新数据序列进行数据集制作,所有实验对象提取的数据将以二进制数据的格式保存为.npy格式文件;
数据集划分子模块,用于对数据集采用随机划分的模式,将数据集70%设为训练集,30%用做测试集。
模型构建及训练模块,用于构建及训练抑郁症识别神经网络模型;模型构建及训练模块包括,
时间卷积神经网络结果输出子模块,用于将训练集数据输入到时间卷积神经网络(Temporal Convolution Neural Network),得到时间卷积神经网络的输出结果;其中,时间卷积神经网络包括两个顺序连接的时间空洞卷积残差块,每一个残差块的每层均为一维空洞卷积网络,随机丢弃率为0.5,激活函数为ReLU,每一层的输出直接作为下一层的输入;
瓶颈卷积神经网络结果输出子模块,用于将得到的时间卷积神经网络输出结果作为特征信息输入到瓶颈卷积神经网络(BottleneckConvolutionNeural Network)中,得到瓶颈卷积神经网络的输出结果;其中,瓶颈卷积神经网络包括一个瓶颈网络残差块;瓶颈网络残差块包括三层一维卷积网络,其核函数尺寸K=1,3,1;
抑郁症识别子模块,用于将瓶颈卷积神经网络的输出结果转换为一维向量并连接后输入到全连接层,再经softmax分类器进行抑郁症识别。
结果预测及准确率计算模块,用于将待识别的人体骨架运动学数据输入到训练好的抑郁症识别神经网络模型,完成抑郁症的识别诊断,得到预测结果并计算准确率;结果预测及准确率计算模块包括,
识别诊断子模块,用于采用softmax作为分类器进行抑郁症的识别诊断,公式为:
其中,Si表示第i类的softmax预测值;i和j均为类别序号;
预测类获取子模块,用于将人体骨架运动学特征数据输入到抑郁症识别神经网络模型中,在进行抑郁症类别预测时,每一个类别(抑郁与非抑郁)都对应一个小于1的计算值且总和为1,最大计算值所对应的类别则为预测类;
比较子模块,用于将预测类别与真实类别进行比较,计算训练数据集中预测正确类别的抑郁症类别数量占数据总数量的比例,输出即为抑郁症识别神经网络模型的准确率;
损失计算子模块,用于预测错误类别的损失采用损失函数来计算,设定抑郁症识别神经网络模型的损失函数为交叉熵函数Loss,公式为:
其中,M表示类别数量;c表示类别序号;yc表示真实标签;pc表示softmax的输出。
实施例3:
本发明实施例还提供了一种电子设备,包括:存储器和至少一个处理器;
其中,所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如实施例1中的基于人体骨架运动学特征信息的抑郁症识别方法。
实施例4:
本发明实施例还提供了一种计算机可读存储介质,其中存储有多条指令,指令由处理器加载,使处理器执行本发明任一实施例中的基于人体骨架运动学特征信息的抑郁症识别方法。具体地,可以提供配有存储介质的***或者装置,在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码,且使该***或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下,从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能,因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-R基于人体骨架运动学特征信息的抑郁症识别方法及***M、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地,可以由通信网络从服务器计算机上下载程序代码。
此外,应该清楚的是,不仅可以通过执行计算机所读出的程序代码,而且可以通过基于程序代码的指令使计算机上操作的操作***等来完成部分或者全部的实际操作,从而实现上述实施例中任意一项实施例的功能。
此外,可以理解的是,将由存储介质读出的程序代码写到***计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中,随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作,从而实现上述实施例中任一实施例的功能。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (2)
1.一种基于人体骨架运动学特征信息的抑郁症识别***,其特征在于,该***包括数据收集模块、数据提取模块、预处理及数据集制作模块、模型构建及训练模块和结果预测及准确率计算模块;
数据收集模块用于收集人体骨架运动学特征数据;数据收集模块包括设备开启及数据收集子模块、指令播放子模块、数据录制子模块、抑郁状态评估子模块和筛选子模块;
设备开启及数据收集子模块用于开启Kinect设备进行人体骨架运动学特征数据的收集;
指令播放子模块用于引导实验对象进入指定位置,播放预先设计的刺激动作任务指令;其中,刺激动作总共包括五个运动学片段,分别为:左臂抬起与复位、右臂抬起与复位、双臂抬起及复位、相左转身及复位、向右转身及复位;每个运动学片段之间时间间隔为5s,完成整个刺激动作所需要的时间为60s;
数据录制子模块用于打开Kinect StudioV2软件,完成人体骨架运动学数据的录制工作;
抑郁状态评估子模块用于待完成数据录制后,精神医师对当前实验对象的抑郁状态进行评估,评估过程将记录实验对象的汉密尔顿抑郁量表得分;其中,实验对象分为抑郁组和非抑郁组;
筛选子模块用于根据汉密尔顿抑郁量表评分标准,筛选抑郁症组评分大于20,对照组评分小于8分为有效实验数据;
数据提取模块用于提取人体骨架运动学特征数据;数据提取模块包括文件路径记录子模块、原始记录数据读取子模块、时间序列数据提取子模块、噪音数据剔除子模块、四元数提取子模块和提取结果获得子模块;
文件路径记录子模块用于遍历文件夹中的.xef记录文件,获取文件名称,得到记录文件路径;
原始记录数据读取子模块用于执行脚本命令批量运行SkeletonExtractor.exe打开.xef记录文件,读取原始记录数据;
时间序列数据提取子模块用于提取基于.xef记录文件的时间序列数据;
噪音数据剔除子模块用于提取对人体骨架关节点的空间位置(x,y,z),并剔除噪声数据;具体为:对任意Kinect检测的目标i=1,2,3…,每个人体骨架关节点均检测空间位置(x,y,z),对于待锁定目标对象i在任意时间t有如下关系:
四元数提取子模块用于针对降噪处理的数据,提取其空间坐标系的四元数((Rx,Ry,Rz),Rw),公式如下:
则捕捉到的每个人体骨架关节点由(x,y,z)和((Rx,Ry,Rz),Rw)组成,即每个人体骨架关节点n在运动学片段时间t时刻,均由表述空间位置关系的七个维度数据构成:
djt=[xjt,yjt,zjt,Rxjt,Ryjt,Rzjt,Rwjt];
且对于Kinect捕捉的人体骨架关节点,在运动学片段时间T内所提取的人体骨架数据,具体如下:
其中,t表示时间;j表示人体骨架关节点;1≤t≤T,1≤j≤25;
提取结果获得子模块用于获得实验对象的提取结果,并以实验对象的名称保存为csv格式的文件;
预处理及数据集制作模块用于特征数据预处理并制作数据集;预处理及数据集制作模块包括文件读取子模块、时间序列读取子模块、标准化数据预处理子模块、文件写入子模块、对象标注子模块、数据集制作子模块和数据集划分子模块;
文件读取子模块用于读取提取得到的实验对象csv文件;
时间序列读取子模块用于读取时间序列,并重新写入到另一文件夹中的同名csv文件中;
标准化数据预处理子模块用于读取csv文件除时间序列以外的数据,并对采用标准化数据预处理,具体如下:对于人体骨架数据时间序列x1,x2,...,xt,使用离差标准化的方法对原始数据的线性变换,使结果映射到[0,1]区间,公式如下:
其中,n表示序列长度,则新序列y1,y2,...,yn∈[0,1]且无量纲;
文件写入子模块用于将标准化后的数据写入到csv文件;
对象标注子模块用于将抑郁组和非抑郁组的实验对象分别进行标注,将抑郁组标注为0,将非抑郁组标注为1;
数据集制作子模块用于通过pythonnumpy库预处理过的新数据序列进行数据集制作,所有实验对象提取的数据将以二进制数据的格式保存为.npy格式文件;
数据集划分子模块用于对数据集采用随机划分的模式,将数据集70%设为训练集,30%用做测试集;
模型构建及训练模块用于构建及训练抑郁症识别神经网络模型;
结果预测及准确率计算模块用于将待识别的人体骨架运动学数据输入到训练好的抑郁症识别神经网络模型,完成抑郁症的识别诊断,得到预测结果并计算准确率。
2.根据权利要求1所述的基于人体骨架运动学特征信息的抑郁症识别***,其特征在于,所述模型构建及训练模块包括时间卷积神经网络结果输出子模块、瓶颈卷积神经网络结果输出子模块和抑郁症识别子模块;
时间卷积神经网络结果输出子模块用于将训练集数据输入到时间卷积神经网络,得到时间卷积神经网络的输出结果;其中,时间卷积神经网络包括两个顺序连接的时间空洞卷积残差块,每一个残差块的每层均为一维空洞卷积网络,随机丢弃率为0.5,激活函数为ReLU,每一层的输出直接作为下一层的输入;
瓶颈卷积神经网络结果输出子模块用于将得到的时间卷积神经网络输出结果作为特征信息输入到瓶颈卷积神经网络中,得到瓶颈卷积神经网络的输出结果;其中,瓶颈卷积神经网络包括一个瓶颈网络残差块;瓶颈网络残差块包括三层一维卷积网络,其核函数尺寸K=1,3,1;
抑郁症识别子模块用于将瓶颈卷积神经网络的输出结果转换为一维向量并连接后输入到全连接层,再经softmax分类器进行抑郁症识别;
所述结果预测及准确率计算模块包括识别诊断子模块、预测类获取子模块、比较子模块和损失计算子模块;
识别诊断子模块用于采用softmax作为分类器进行抑郁症的识别诊断,公式为:
其中,Si表示第i类的softmax预测值;i和j均为类别序号;
预测类获取子模块用于将人体骨架运动学特征数据输入到抑郁症识别神经网络模型中,在进行抑郁症类别预测时,每一个类别都对应一个小于1的计算值且总和为1,最大计算值所对应的类别则为预测类;
比较子模块用于将预测类别与真实类别进行比较,计算训练数据集中预测正确类别的抑郁症类别数量占数据总数量的比例,输出即为抑郁症识别神经网络模型的准确率;
损失计算子模块用于预测错误类别的损失采用损失函数来计算,设定抑郁症识别神经网络模型的损失函数为交叉熵函数Loss,公式为:
其中,M表示类别数量;c表示类别序号;yc表示真实标签;pc表示softmax的输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010608130.9A CN111938670B (zh) | 2020-06-30 | 2020-06-30 | 基于人体骨架运动学特征信息的抑郁症识别方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010608130.9A CN111938670B (zh) | 2020-06-30 | 2020-06-30 | 基于人体骨架运动学特征信息的抑郁症识别方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111938670A CN111938670A (zh) | 2020-11-17 |
CN111938670B true CN111938670B (zh) | 2022-07-05 |
Family
ID=73337907
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010608130.9A Active CN111938670B (zh) | 2020-06-30 | 2020-06-30 | 基于人体骨架运动学特征信息的抑郁症识别方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111938670B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113111760B (zh) * | 2021-04-07 | 2023-05-02 | 同济大学 | 基于通道注意力的轻量化图卷积人体骨架动作识别方法 |
CN113793662B (zh) * | 2021-08-16 | 2023-07-28 | 北京百度网讯科技有限公司 | 相关性识别方法、装置、电子设备和计算机可读存储介质 |
CN113827243B (zh) * | 2021-11-29 | 2022-04-01 | 江苏瑞脑启智医疗科技有限公司 | 注意力评估方法及*** |
CN116434908A (zh) * | 2023-06-14 | 2023-07-14 | 中国科学院自动化研究所 | 基于时间卷积网络的运动迟缓量化分级评估方法及装置 |
CN117530691B (zh) * | 2024-01-09 | 2024-04-09 | 南通大学 | 基于室分网络的抑郁倾向检测***、方法及相关设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012075708A (ja) * | 2010-10-01 | 2012-04-19 | Sharp Corp | ストレス状態推定装置、ストレス状態推定方法、プログラム、および記録媒体 |
CN104615983A (zh) * | 2015-01-28 | 2015-05-13 | 中国科学院自动化研究所 | 基于递归神经网络和人体骨架运动序列的行为识别方法 |
CN106175800A (zh) * | 2016-07-10 | 2016-12-07 | 北京工业大学 | 一种基于人体运动状态数据的心境状态量化评估方法 |
CN111178312A (zh) * | 2020-01-02 | 2020-05-19 | 西北工业大学 | 基于多任务特征学习网络的人脸表情识别方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10799186B2 (en) * | 2016-02-12 | 2020-10-13 | Newton Howard | Detection of disease conditions and comorbidities |
WO2018026838A1 (en) * | 2016-08-02 | 2018-02-08 | Atlas5D, Inc. | Systems and methods to identify persons and/or identify and quantify pain, fatigue, mood, and intent with protection of privacy |
-
2020
- 2020-06-30 CN CN202010608130.9A patent/CN111938670B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012075708A (ja) * | 2010-10-01 | 2012-04-19 | Sharp Corp | ストレス状態推定装置、ストレス状態推定方法、プログラム、および記録媒体 |
CN104615983A (zh) * | 2015-01-28 | 2015-05-13 | 中国科学院自动化研究所 | 基于递归神经网络和人体骨架运动序列的行为识别方法 |
CN106175800A (zh) * | 2016-07-10 | 2016-12-07 | 北京工业大学 | 一种基于人体运动状态数据的心境状态量化评估方法 |
CN111178312A (zh) * | 2020-01-02 | 2020-05-19 | 西北工业大学 | 基于多任务特征学习网络的人脸表情识别方法 |
Non-Patent Citations (1)
Title |
---|
Relative Body Parts Movement for Automatic Depression Analysis;Joshi Jyoti,et al;《2013 Humaine Association Conference on Affective Computing and Intelligent Interaction》;20130905;Abstract,ⅡRelated Work-ⅥConclusions and Future Work * |
Also Published As
Publication number | Publication date |
---|---|
CN111938670A (zh) | 2020-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111938670B (zh) | 基于人体骨架运动学特征信息的抑郁症识别方法及*** | |
US11715198B2 (en) | Medical use artificial neural network-based medical image analysis apparatus and method for evaluating analysis results of medical use artificial neural network | |
CN103177179A (zh) | 诊断因素集合确定设备和方法 | |
Garcia Caballero et al. | V‐awake: a visual analytics approach for correcting sleep predictions from deep learning models | |
CN111028940B (zh) | 肺结节多尺度检测方法、装置、设备及介质 | |
Shankar et al. | A novel discriminant feature selection–based mutual information extraction from MR brain images for Alzheimer's stages detection and prediction | |
CN116864140A (zh) | 一种心内科术后护理监测数据处理方法及其*** | |
Amiri et al. | Feature selection for bleeding detection in capsule endoscopy images using genetic algorithm | |
CN114220542A (zh) | 一种体检信息管理方法、装置、存储介质及计算设备 | |
JP7506943B2 (ja) | 信号処理方法,信号処理装置および信号処理プログラム | |
CN113658697A (zh) | 一种基于视频注视差异的心理测评*** | |
US11817216B2 (en) | Search method and information processing system | |
CN111081374B (zh) | 基于共同注意力范式的孤独症辅助诊断装置 | |
CN116452592A (zh) | 脑血管病ai认知功能评测模型的构建方法、装置及*** | |
CN113888663B (zh) | 重建模型训练方法、异常检测方法、装置、设备及介质 | |
Yoo et al. | Residual one-dimensional convolutional neural network for neuromuscular disorder classification from needle electromyography signals with explainability | |
Huang et al. | Parkinson's severity diagnosis explainable model based on 3D multi-head attention residual network | |
WO2022047043A1 (en) | Surgical phase recognition with sufficient statistical model | |
US11571156B2 (en) | Renal function assessment method, renal function assessment system and kidney care device | |
Ahmad et al. | Minimizing false negatives of measles prediction model: An experimentation of feature selection based on domain knowledge and random forest classifier | |
TWI764233B (zh) | 阿茲海默症評估系統 | |
CN117893528B (zh) | 一种心脑血管疾病分类模型的构建方法及装置 | |
CN117831789B (zh) | 癌症治疗反应预测***及其控制方法 | |
CN117503056A (zh) | 基于双模态特征学习的多尺度呼吸事件自动定位方法及装置 | |
Salomi et al. | Diagnosis of Alzheimer Stages by Using CNN Architecture |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20201117 Assignee: Jinan Hualang Electronic Technology Co.,Ltd. Assignor: Qilu University of Technology Contract record no.: X2023980048589 Denomination of invention: A Depression Recognition Method and System Based on Human Skeleton Kinematic Feature Information Granted publication date: 20220705 License type: Common License Record date: 20231204 |
|
EE01 | Entry into force of recordation of patent licensing contract |