CN111938670A - 基于人体骨架运动学特征信息的抑郁症识别方法及*** - Google Patents

基于人体骨架运动学特征信息的抑郁症识别方法及*** Download PDF

Info

Publication number
CN111938670A
CN111938670A CN202010608130.9A CN202010608130A CN111938670A CN 111938670 A CN111938670 A CN 111938670A CN 202010608130 A CN202010608130 A CN 202010608130A CN 111938670 A CN111938670 A CN 111938670A
Authority
CN
China
Prior art keywords
data
depression
neural network
human skeleton
kinematic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010608130.9A
Other languages
English (en)
Other versions
CN111938670B (zh
Inventor
王庆祥
李文涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202010608130.9A priority Critical patent/CN111938670B/zh
Publication of CN111938670A publication Critical patent/CN111938670A/zh
Application granted granted Critical
Publication of CN111938670B publication Critical patent/CN111938670B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Psychiatry (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人体骨架运动学特征信息的抑郁症识别方法及***，属于图像处理与模式识别领域，本发明要解决的技术问题为如何能够建立客观有效的指标，根据指标参数准备的诊断抑郁症，采用的技术方案为：该方法具体如下：S1、收集人体骨架运动学特征数据；S2、提取人体骨架运动学特征数据；S3、特征数据预处理并制作数据集；S4、构建及训练抑郁症识别神经网络模型；S5、将待识别的人体骨架运动学数据输入到训练好的抑郁症识别神经网络模型，完成抑郁症的识别诊断，得到预测结果并计算准确率。该***包括数据收集模块、数据提取模块、预处理及数据集制作模块、模型构建及训练模块及结果预测及准确率计算模块。

Description

基于人体骨架运动学特征信息的抑郁症识别方法及***
技术领域
本发明涉及图像处理与模式识别领域，具体地说是一种基于人体骨架运动学特征信息的抑郁症识别方法及***。
背景技术
抑郁症(depression)是指以显著而持久的情绪低落、活动能力减退、思维与认知功能迟缓为临床特征的一类情感性精神障碍。抑郁症患者有着严重的心理障碍和不良的情绪，经常缺乏睡眠、精神萎靡不振，重度抑郁症患者甚至出现***行为。
目前，抑郁症的诊断尚处于症状推断阶段，并无客观的理化检查诊断指标。现阶段抑郁症识别方法存在较多缺陷，其主要有：
(一)临床的诊断措施多以主观方式评判，缺乏客观有效的指标，很容易导致误诊和漏诊的情况；
(二)识别参考指标单一：目前用于识别抑郁症的方法主要是依据患者体内激素水平和各种生化指标作识别参考指标，缺乏生物电信号的指标参数，使得抑郁症识别具有一定的局限性。
故如何能够建立客观有效的指标，根据指标参数准备的诊断抑郁症是目前亟待解决的技术问题。
发明内容
本发明的技术任务是提供一种基于人体骨架运动学特征信息的抑郁症识别方法及***，来解决如何能够建立客观有效的指标，根据指标参数准备的诊断抑郁症的问题。
本发明的技术任务是按以下方式实现的，一种基于人体骨架运动学特征信息的抑郁症识别方法，该方法是根据Kinect设备所捕捉到的人体骨架特征信息，提取出人体关节点运动学特征信息，对基于时间维度的每个关节点空间位置数据进行数据预处理，利用预处理后的数据构建数据集，使用数据集进行抑郁症识别神经网络模型的训练和测试；具体如下：
S1、收集人体骨架运动学特征数据；
S2、提取人体骨架运动学特征数据；
S3、特征数据预处理并制作数据集；
S4、构建及训练抑郁症识别神经网络模型；
S5、将待识别的人体骨架运动学数据输入到训练好的抑郁症识别神经网络模型，完成抑郁症的识别诊断，得到预测结果并计算准确率。
作为优选，所述步骤S1中收集人体骨架运动学特征数据具体如下：
S101、开启Kinect设备进行人体骨架运动学特征数据的收集；
S102、引导实验对象进入指定位置，播放预先设计的刺激动作任务指令；其中，刺激动作总共包括五个运动学片段，分别为：左臂抬起与复位、右臂抬起与复位、双臂抬起及复位、相左转身及复位、向右转身及复位；每个运动学片段之间时间间隔为5s，完成整个刺激动作所需要的时间为60s；
S103、打开Kinect StudioV2软件，完成人体骨架运动学数据的录制工作；
S104、待完成数据录制后，精神医师对当前实验对象的抑郁状态进行评估，评估过程将记录实验对象的汉密尔顿抑郁量表(24项版本)得分；其中，实验对象分为抑郁组和非抑郁组；
S105、根据汉密尔顿抑郁量表评分标准，筛选抑郁症组评分大于20，对照组评分小于8分为有效实验数据。
作为优选，所述步骤S2中提取人体骨架运动学特征数据具体如下：
S201、遍历文件夹中的.xef记录文件，获取文件名称，得到记录文件路径；
S202、执行脚本命令批量运行SkeletonExtractor.exe打开.xef记录文件，读取原始记录数据；
S203、提取基于.xef记录文件的时间序列数据；
S204、提取对人体骨架关节点的空间位置(x,y,z),并剔除噪声数据；具体为：对任意Kinect检测的目标i＝1,2,3…，每个人体骨架关节点均检测空间位置(x,y,z)，对于待锁定目标对象i在任意时间t有如下关系：
Figure BDA0002561502720000021
S205、针对降噪处理的数据，提取其空间坐标系的四元数((Rx,Ry,Rz),Rw)，公式如下：
Figure BDA0002561502720000031
则捕捉到的每个人体骨架关节点由(x,y,z)和((Rx,Ry,Rz),Rw)组成，即每个人体骨架关节点n在运动学片段时间t时刻，均由表述空间位置关系的七个维度数据构成：
djt＝[xjt，yjt，zjt，Rxjt，Ryjt，Rzjt，Rwjt]；
且对于25个Kinect捕捉的人体骨架关节点，在运动学片段时间T内所提取的人体骨架数据，具体如下：
Figure BDA0002561502720000032
其中，t表示时间；j表示人体骨架关节点；1≤t≤T，1≤j≤25；
S206、获得实验对象的提取结果(时间、每个关节的基于时间维度的空间位置坐标值及四元数)，并以实验对象的名称保存为csv格式的文件。
作为优选，所述步骤S3中特征数据预处理并制作数据集具体如下：
S301、读取提取得到的实验对象csv文件；
S302、读取时间序列，并重新写入到另一文件夹中的同名csv文件中；
S303、读取csv文件除时间序列以外的数据，并对采用标准化数据预处理，具体如下：对于人体骨架数据时间序列x1，x2，...，xt，使用离差标准化的方法对原始数据的线性变换，使结果映射到[0,1]区间，公式如下：
Figure BDA0002561502720000033
其中，n表示序列长度，则新序列y1，y2，...，yn∈[0，1]且无量纲；
S304、将标准化后的数据写入到步骤S302中的csv文件；
S305、将抑郁组和非抑郁组的实验对象分别进行标注，将抑郁组标注为0，将非抑郁组标注为1；
S306、通过pythonnumpy库预处理过的新数据序列进行数据集制作，所有实验对象提取的数据将以二进制数据的格式保存为.npy格式文件；
S307、对数据集采用随机划分的模式，将数据集70％设为训练集，30％用做测试集。
作为优选，所述步骤S4中构建及训练抑郁症识别神经网络模型具体如下：
S401、将训练集数据输入到时间卷积神经网络(Temporal Convolution NeuralNetwork)，得到时间卷积神经网络输出结果；其中，时间卷积神经网络包括两个顺序连接的时间空洞卷积残差块，每一个残差块的每层均为一维空洞卷积网络，随机丢弃率为0.5，激活函数为ReLU，每一层的输出直接作为下一层的输入；
S402、将得到的时间卷积神经网络输出结果作为特征信息输入到瓶颈卷积神经网络(BottleneckConvolutionNeural Network)中，得到瓶颈卷积神经网络的输出结果；其中，瓶颈卷积神经网络包括一个瓶颈网络残差块；瓶颈网络残差块包括三层一维卷积网络，其核函数尺寸K＝1,3,1；
S403、将瓶颈卷积神经网络的输出结果转换为一维向量并连接后输入到全连接层，再经softmax分类器进行抑郁症识别。
更优地，所述步骤S5中完成抑郁症的识别诊断，得到预测结果并计算准确率具体如下：
S501、采用softmax作为分类器进行抑郁症的识别诊断，公式为：
Figure BDA0002561502720000041
其中，Si表示第i类的softmax预测值；i和j均为类别序号；
S502、将人体骨架运动学特征数据输入到抑郁症识别神经网络模型中，在进行抑郁症类别预测时，每一个类别(抑郁与非抑郁)都对应一个小于1的计算值且总和为1，最大计算值所对应的类别则为预测类；
S503、将预测类别与真实类别进行比较，计算训练数据集中预测正确类别的抑郁症类别数量占数据总数量的比例，输出即为抑郁症识别神经网络模型的准确率；
S504、预测错误类别的损失采用损失函数来计算，设定抑郁症识别神经网络模型的损失函数为交叉熵函数Loss，公式为：
Figure BDA0002561502720000051
其中，M表示类别数量；c表示类别序号；yc表示真实标签；pc表示softmax的输出。
一种基于人体骨架运动学特征信息的抑郁症识别***，该***包括，
数据收集模块，用于收集人体骨架运动学特征数据；
数据提取模块，用于提取人体骨架运动学特征数据；
预处理及数据集制作模块，用于特征数据预处理并制作数据集；
模型构建及训练模块，用于构建及训练抑郁症识别神经网络模型；
结果预测及准确率计算模块，用于将待识别的人体骨架运动学数据输入到训练好的抑郁症识别神经网络模型，完成抑郁症的识别诊断，得到预测结果并计算准确率。
作为优选，所述数据收集模块包括，
设备开启及数据收集子模块，用于开启Kinect设备进行人体骨架运动学特征数据的收集；
指令播放子模块，用于引导实验对象进入指定位置，播放预先设计的刺激动作任务指令；其中，刺激动作总共包括五个运动学片段，分别为：左臂抬起与复位、右臂抬起与复位、双臂抬起及复位、相左转身及复位、向右转身及复位；每个运动学片段之间时间间隔为5s，完成整个刺激动作所需要的时间为60s；
数据录制子模块，用于打开Kinect StudioV2软件，完成人体骨架运动学数据的录制工作；
抑郁状态评估子模块，用于待完成数据录制后，精神医师对当前实验对象的抑郁状态进行评估，评估过程将记录实验对象的汉密尔顿抑郁量表(24项版本)得分；其中，实验对象分为抑郁组和非抑郁组；
筛选子模块，用于根据汉密尔顿抑郁量表评分标准，筛选抑郁症组评分大于20，对照组评分小于8分为有效实验数据；
所述数据提取模块包括，
文件路径记录子模块，用于遍历文件夹中的.xef记录文件，获取文件名称，得到记录文件路径；
原始记录数据读取子模块，用于执行脚本命令批量运行SkeletonExtracto r.exe打开.xef记录文件，读取原始记录数据；
时间序列数据提取子模块，用于提取基于.xef记录文件的时间序列数据；
噪音数据剔除子模块，用于提取对人体骨架关节点的空间位置(x,y,z),并剔除噪声数据；具体为：对任意Kinect检测的目标i＝1,2,3…，每个人体骨架关节点均检测空间位置(x,y,z)，对于待锁定目标对象i在任意时间t有如下关系：
Figure BDA0002561502720000061
四元数提取子模块，用于针对降噪处理的数据，提取其空间坐标系的四元数((Rx,Ry,Rz),Rw)，公式如下：
Figure BDA0002561502720000062
则捕捉到的每个人体骨架关节点由(x,y,z)和((Rx,Ry,Rz),Rw)组成，即每个人体骨架关节点n在运动学片段时间t时刻，均由表述空间位置关系的七个维度数据构成：
djt＝[xjt，yjt，zjt，Rxjt，Ryjt，Rzjt，Rwjt]；
且对于25个Kinect捕捉的人体骨架关节点，在运动学片段时间T内所提取的人体骨架数据，具体如下：
Figure BDA0002561502720000063
其中，t表示时间；j表示人体骨架关节点；1≤t≤T，1≤j≤25；
提取结果获得子模块，用于获得实验对象的提取结果(时间、每个关节的基于时间维度的空间位置坐标值及四元数)，并以实验对象的名称保存为csv格式的文件；
所述预处理及数据集制作模块包括，
文件读取子模块，用于读取提取得到的实验对象csv文件；
时间序列读取子模块，用于读取时间序列，并重新写入到另一文件夹中的同名csv文件中；
标准化数据预处理子模块，用于读取csv文件除时间序列以外的数据，并对采用标准化数据预处理，具体如下：对于人体骨架数据时间序列x1，x2，...，xt，使用离差标准化的方法对原始数据的线性变换，使结果映射到[0,1]区间，公式如下：
Figure BDA0002561502720000071
其中，n表示序列长度，则新序列y1，y2，...，yn∈[0，1]且无量纲；
文件写入子模块，用于将标准化后的数据写入到csv文件；
对象标注子模块，用于将抑郁组和非抑郁组的实验对象分别进行标注，将抑郁组标注为0，将非抑郁组标注为1；
数据集制作子模块，用于通过pythonnumpy库预处理过的新数据序列进行数据集制作，所有实验对象提取的数据将以二进制数据的格式保存为.npy格式文件；
数据集划分子模块，用于对数据集采用随机划分的模式，将数据集70％设为训练集，30％用做测试集；
所述模型构建及训练模块包括，
时间卷积神经网络结果输出子模块，用于将训练集数据输入到时间卷积神经网络(Temporal Convolution Neural Network)，得到时间卷积神经网络的输出结果；其中，时间卷积神经网络包括两个顺序连接的时间空洞卷积残差块，每一个残差块的每层均为一维空洞卷积网络，随机丢弃率为0.5，激活函数为ReLU，每一层的输出直接作为下一层的输入；
瓶颈卷积神经网络结果输出子模块，用于将得到的时间卷积神经网络输出结果作为特征信息输入到瓶颈卷积神经网络(BottleneckConvolutionNeural Network)中，得到瓶颈卷积神经网络的输出结果；其中，瓶颈卷积神经网络包括一个瓶颈网络残差块；瓶颈网络残差块包括三层一维卷积网络，其核函数尺寸K＝1,3,1；
抑郁症识别子模块，用于将瓶颈卷积神经网络的输出结果转换为一维向量并连接后输入到全连接层，再经softmax分类器进行抑郁症识别；
所述结果预测及准确率计算模块包括，
识别诊断子模块，用于采用softmax作为分类器进行抑郁症的识别诊断，公式为：
Figure BDA0002561502720000081
其中，Si表示第i类的softmax预测值；i和j均为类别序号；
预测类获取子模块，用于将人体骨架运动学特征数据输入到抑郁症识别神经网络模型中，在进行抑郁症类别预测时，每一个类别(抑郁与非抑郁)都对应一个小于1的计算值且总和为1，最大计算值所对应的类别则为预测类；
比较子模块，用于将预测类别与真实类别进行比较，计算训练数据集中预测正确类别的抑郁症类别数量占数据总数量的比例，输出即为抑郁症识别神经网络模型的准确率；
损失计算子模块，用于预测错误类别的损失采用损失函数来计算，设定抑郁症识别神经网络模型的损失函数为交叉熵函数Loss，公式为：
Figure BDA0002561502720000082
其中，M表示类别数量；c表示类别序号；yc表示真实标签；pc表示softmax的输出。
一种电子设备，包括：存储器和一个处理器；
其中，所述存储器存储计算机执行指令；
所述一个处理器执行所述存储器存储的计算机执行指令，使得所述一个处理器执行如上述的基于人体骨架运动学特征信息的抑郁症识别方法。
一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行时，实现如上述的基于人体骨架运动学特征信息的抑郁症识别方法。
本发明的基于人体骨架运动学特征信息的抑郁症识别方法及***具有以下优点：
(一)本发明根据抑郁症患者的活动能力减退、思维与认知功能迟缓的临床表现，通过设计特定的指令动作，使用Kinect设备获取的人体骨架运动学特征信息，构建出一个高效的抑郁症识别方法，为抑郁症的早期识别和辅助临床诊疗提供便捷可靠的筛查手段；
(二)本发明通过Kinect设备完成人体运动学特征骨架信息的捕捉，结合数据提取和预处理的技术，基于深度学习相关理论构建抑郁症识别模型进行抑郁症识别，提高抑郁症识别的准确性；
(三)本发明是基于时间卷积瓶颈网络识别方法，构建人体骨架运动学特征学习网络模型，提取关键的运动学特征信息，有效的避免了无关特征对抑郁症识别的干扰，提高抑郁症识别的可靠性，本发明对抑郁症的测试集识别率准确率高达75％以上；
(四)本发明使用Kinect设备完成人体骨架识别任务，基于时间维度和空间位置的人体运动学特征信息进行抑郁症识别工作；且本发明所提出的刺激任务为根据精神医师建议独创设计，根据设定刺激任务动作和结合实验设计，提出了噪声数据剔除和运动学片段划分及数据提取方法；同时基于原始时间卷积神经网络模型改进了更适于本发明的时间卷积与瓶颈神经网络模型进行抑郁症的识别。
附图说明
下面结合附图对本发明进一步说明。
附图1为基于人体骨架运动学特征信息的抑郁症识别方法的流程框图；
附图2为人体骨架动作关键动作帧的示意图；
附图3为Kinect设备实验环境布置示意图；
附图4为神经网络模型结构示意图；
附图5为抑郁症识别结果混淆矩阵示意图。
具体实施方式
参照说明书附图和具体实施例对本发明的基于人体骨架运动学特征信息的抑郁症识别方法及***作以下详细地说明。
实施例1：
如附图1所示，本发明的基于人体骨架运动学特征信息的抑郁症识别方法，该方法是根据Kinect设备所捕捉到的人体骨架特征信息，提取出人体25个关节点运动学特征信息，对基于时间维度的每个关节点空间位置数据进行数据预处理，利用预处理后的数据构建数据集，使用数据集进行抑郁症识别神经网络模型的训练和测试；具体如下：
S1、收集人体骨架运动学特征数据；具体如下：
S101、开启Kinect设备进行人体骨架运动学特征数据的收集；
S102、引导实验对象进入指定位置，播放预先设计的刺激动作任务指令，如附图3所示；
刺激动作设计：本发明根据精神医师的建议，结合抑郁症患者的实际身体状态，同时为减小由于性别、职业等非关键性因素造成抑郁症患者感知行动能力差别；因而设计了一套较为简单且运动幅度相对明显，且Kinect便于捕捉的刺激任务动作。
如附图2所示，刺激动作总共包括五个运动学片段，分别为：左臂抬起与复位、右臂抬起与复位、双臂抬起及复位、相左转身及复位、向右转身及复位；每个运动学片段之间时间间隔为5s，完成整个刺激动作所需要的时间为60s；
S103、打开Kinect StudioV2软件，完成人体骨架运动学数据的录制工作；
S104、待完成数据录制后，精神医师对当前实验对象的抑郁状态进行评估，评估过程将记录实验对象的汉密尔顿抑郁量表(24项版本)得分，并为后续实验的抑郁组和非抑郁组数据筛选和数据标注提供参考依据；其中，实验对象分为抑郁组和非抑郁组；
S105、根据汉密尔顿抑郁量表评分标准，筛选抑郁症组评分大于20，对照组评分小于8分为有效实验数据。
S2、提取人体骨架运动学特征数据；具体如下：
S201、遍历文件夹中的.xef记录文件，获取文件名称，得到记录文件路径；
S202、执行脚本命令批量运行SkeletonExtractor.exe打开.xef记录文件，读取原始记录数据；其中，.xef记录文件是基于.net core3.0框架开发了针对Kinect V2.0记录；
S203、提取基于.xef记录文件的时间序列数据；
S204、提取对人体骨架关节点的空间位置(x,y,z),并剔除噪声数据；由于KinectV2录制目标对象过程中可能存在非目标对象出现在录像环境内，需要可能捕捉到的剔除非实验对象等噪声数据。Kinect最多可同时检测出6个人体骨架目标，根据实验环境设计，目标对象和刺激动作活动范围均在固定检测区域内，具体为：对任意Kinect检测的目标i＝1,2,3…，每个人体骨架关节点均检测空间位置(x,y,z)，对于待锁定目标对象i在任意时间t有如下关系：
Figure BDA0002561502720000101
S205、针对降噪处理的数据，提取其空间坐标系的四元数((Rx,Ry,Rz),Rw)，公式如下：
Figure BDA0002561502720000111
则捕捉到的每个人体骨架关节点由(x,y,z)和((Rx,Ry,Rz),Rw)组成，即每个人体骨架关节点n在运动学片段时间t时刻，均由表述空间位置关系的七个维度数据构成：
djt＝[xjt，yjt，zjt，Rxjt，Ryjt，Rzjt，Rwjt]；
且对于25个Kinect捕捉的人体骨架关节点，在运动学片段时间T内所提取的人体骨架数据，具体如下：
Figure BDA0002561502720000112
其中，t表示时间；j表示人体骨架关节点；1≤t≤T，1≤j≤25；
S206、获得实验对象的提取结果(时间、每个关节的基于时间维度的空间位置坐标值及四元数)，并以实验对象的名称保存为csv格式的文件。
S3、特征数据预处理并制作数据集；具体如下：
S301、读取提取得到的实验对象csv文件；
S302、读取时间序列，并重新写入到另一文件夹中的同名csv文件中；
S303、读取csv文件除时间序列以外的数据，并对采用标准化数据预处理，具体如下：对于人体骨架数据时间序列x1，x2，...，xt，使用离差标准化的方法对原始数据的线性变换，使结果映射到[0,1]区间，公式如下：
Figure BDA0002561502720000113
其中，n表示序列长度，则新序列y1，y2，...，yn∈[0，1]且无量纲；
抑郁组和非抑郁组数据分别位于两个文件夹内，遍历两个文件夹，并读取文件夹内的csv文件。
S304、将标准化后的数据写入到步骤S302中的csv文件；
S305、将抑郁组和非抑郁组的实验对象分别进行标注，将抑郁组标注为0，将非抑郁组标注为1；
S306、为提高实验数据加载效率，通过pythonnumpy库预处理过的新数据序列进行数据集制作，所有实验对象提取的数据将以二进制数据的格式保存为.npy格式文件；
S307、对数据集采用随机划分的模式，将数据集70％设为训练集，30％用做测试集。
S4、构建及训练抑郁症识别神经网络模型；如附图4所示，具体如下：
S401、将训练集数据输入到时间卷积神经网络(Temporal Convolution NeuralNetwork)，得到时间卷积神经网络输出结果；其中，时间卷积神经网络包括两个顺序连接的时间空洞卷积残差块，每一个残差块的每层均为一维空洞卷积网络，随机丢弃率为0.5，激活函数为ReLU，每一层的输出直接作为下一层的输入；
S402、将得到的时间卷积神经网络输出结果作为特征信息输入到瓶颈卷积神经网络(BottleneckConvolutionNeural Network)中，得到瓶颈卷积神经网络的输出结果；其中，瓶颈卷积神经网络包括一个瓶颈网络残差块；瓶颈网络残差块包括三层一维卷积网络，其核函数尺寸K＝1,3,1；
S403、将瓶颈卷积神经网络的输出结果转换为一维向量并连接后输入到全连接层，再经softmax分类器进行抑郁症识别。
本发明的人体骨架运动学特征学习网络由时间卷积网络、瓶颈网络、全连接层和softmax分类器组成。基于现有的时间卷积神经网络，充分利用各种网络的优势，构建出具有高效抑郁症识别的学习网络，提取人体的运动学骨架特征，再将网络输出的特征聚合后输入到一个全连接层进行特征融合，在全连接层后基于经典softmax分类器进行抑郁症识别。
对于运动学人体骨架特征学习，本发明设计了标准卷积滤波器来固定时间理解，能够建模合适的时间窗口理想地建模整个人体骨架运动学特征序列。学习重要的运动学特征，本方案使用了扩展卷积，在网络的不同层上实现了指数级大的时间上下时间序列规模。对于输入事件时间索引长度和过滤器:{0,1，…n}对于某些滤波器，骨架序列的元素的扩张卷积运算为：
Figure BDA0002561502720000121
其中，d表示扩展系数；n表示索引长度。
瓶颈网络采用一维卷积瓶网架构，三层核滤波器尺寸匹配为K＝1,3,1，保证层间长度的兼容性。相对于其他层的相对大小，瓶颈特征可以从一个多层感知器中产生，其中一个内部层有少量的隐藏单元。一旦有了内层估计和完全连接层估计，分类器块就可以通过压缩感知跟踪相关信息的准确来源。由于前向扩容的时间卷积残差块馈入，瓶颈结构能够很好地识别出相关的身体事件索引序列和关键的身体关节运动机能学特征。
S5、将待识别的人体骨架运动学数据输入到训练好的抑郁症识别神经网络模型，完成抑郁症的识别诊断，得到预测结果并计算准确率；具体如下：
S501、采用softmax作为分类器进行抑郁症的识别诊断，公式为：
Figure BDA0002561502720000131
其中，Si表示第i类的softmax预测值；i和j均为类别序号；本发明在给定一组序列数据的基础上，提出了一种高效计算的人体骨架运动学特征序列模型。
S502、将人体骨架运动学特征数据输入到抑郁症识别神经网络模型中，在进行抑郁症类别预测时，每一个类别(抑郁与非抑郁)都对应一个小于1的计算值且总和为1，最大计算值所对应的类别则为预测类；
S503、将预测类别与真实类别进行比较，计算训练数据集中预测正确类别的抑郁症类别数量占数据总数量的比例，输出即为抑郁症识别神经网络模型的准确率；
S504、预测错误类别的损失采用损失函数来计算，设定抑郁症识别神经网络模型的损失函数为交叉熵函数Loss，公式为：
Figure BDA0002561502720000132
其中，M表示类别数量；c表示类别序号；yc表示真实标签；pc表示softmax的输出。
例如，如附图5所示，在混淆矩阵中，测试集包含的总的样本数为62个，抑郁组样本23个，正常组39个；其中抑郁组预测为抑郁组的数量为16个，预测为正常组的数量为7个；正常组预测为正常组的数量为31个，预测为抑郁组的数量为8个；该混淆矩阵所示的准确率为(31+16)/62＝75.8％。
实施例2：
本发明的基于人体骨架运动学特征信息的抑郁症识别***，该***包括，
数据收集模块，用于收集人体骨架运动学特征数据；数据收集模块包括，
设备开启及数据收集子模块，用于开启Kinect设备进行人体骨架运动学特征数据的收集；
指令播放子模块，用于引导实验对象进入指定位置，播放预先设计的刺激动作任务指令；其中，刺激动作总共包括五个运动学片段，分别为：左臂抬起与复位、右臂抬起与复位、双臂抬起及复位、相左转身及复位、向右转身及复位；每个运动学片段之间时间间隔为5s，完成整个刺激动作所需要的时间为60s；
数据录制子模块，用于打开Kinect StudioV2软件，完成人体骨架运动学数据的录制工作；
抑郁状态评估子模块，用于待完成数据录制后，精神医师对当前实验对象的抑郁状态进行评估，评估过程将记录实验对象的汉密尔顿抑郁量表(24项版本)得分；其中，实验对象分为抑郁组和非抑郁组；
筛选子模块，用于根据汉密尔顿抑郁量表评分标准，筛选抑郁症组评分大于20，对照组评分小于8分为有效实验数据。
数据提取模块，用于提取人体骨架运动学特征数据；数据提取模块包括，
文件路径记录子模块，用于遍历文件夹中的.xef记录文件，获取文件名称，得到记录文件路径；
原始记录数据读取子模块，用于执行脚本命令批量运行SkeletonExtracto r.exe打开.xef记录文件，读取原始记录数据；
时间序列数据提取子模块，用于提取基于.xef记录文件的时间序列数据；
噪音数据剔除子模块，用于提取对人体骨架关节点的空间位置(x,y,z),并剔除噪声数据；具体为：对任意Kinect检测的目标i＝1,2,3…，每个人体骨架关节点均检测空间位置(x,y,z)，对于待锁定目标对象i在任意时间t有如下关系：
Figure BDA0002561502720000141
四元数提取子模块，用于针对降噪处理的数据，提取其空间坐标系的四元数((Rx,Ry,Rz),Rw)，公式如下：
Figure BDA0002561502720000151
则捕捉到的每个人体骨架关节点由(x,y,z)和((Rx,Ry,Rz),Rw)组成，即每个人体骨架关节点n在运动学片段时间t时刻，均由表述空间位置关系的七个维度数据构成：
djt＝[xjt，yjt，zjt，Rxjt，Ryjt，Rzjt，Rwjt]；
且对于25个Kinect捕捉的人体骨架关节点，在运动学片段时间T内所提取的人体骨架数据，具体如下：
Figure BDA0002561502720000152
其中，t表示时间；j表示人体骨架关节点；1≤t≤T，1≤j≤25；
提取结果获得子模块，用于获得实验对象的提取结果(时间、每个关节的基于时间维度的空间位置坐标值及四元数)，并以实验对象的名称保存为csv格式的文件。
预处理及数据集制作模块，用于特征数据预处理并制作数据集；预处理及数据集制作模块包括，
文件读取子模块，用于读取提取得到的实验对象csv文件；
时间序列读取子模块，用于读取时间序列，并重新写入到另一文件夹中的同名csv文件中；
标准化数据预处理子模块，用于读取csv文件除时间序列以外的数据，并对采用标准化数据预处理，具体如下：对于人体骨架数据时间序列x1，x2，...，xt，使用离差标准化的方法对原始数据的线性变换，使结果映射到[0,1]区间，公式如下：
Figure BDA0002561502720000161
其中，n表示序列长度，则新序列y1，y2，...，yn∈[0，1]且无量纲；
文件写入子模块，用于将标准化后的数据写入到csv文件；
对象标注子模块，用于将抑郁组和非抑郁组的实验对象分别进行标注，将抑郁组标注为0，将非抑郁组标注为1；
数据集制作子模块，用于通过pythonnumpy库预处理过的新数据序列进行数据集制作，所有实验对象提取的数据将以二进制数据的格式保存为.npy格式文件；
数据集划分子模块，用于对数据集采用随机划分的模式，将数据集70％设为训练集，30％用做测试集。
模型构建及训练模块，用于构建及训练抑郁症识别神经网络模型；模型构建及训练模块包括，
时间卷积神经网络结果输出子模块，用于将训练集数据输入到时间卷积神经网络(Temporal Convolution Neural Network)，得到时间卷积神经网络的输出结果；其中，时间卷积神经网络包括两个顺序连接的时间空洞卷积残差块，每一个残差块的每层均为一维空洞卷积网络，随机丢弃率为0.5，激活函数为ReLU，每一层的输出直接作为下一层的输入；
瓶颈卷积神经网络结果输出子模块，用于将得到的时间卷积神经网络输出结果作为特征信息输入到瓶颈卷积神经网络(BottleneckConvolutionNeural Network)中，得到瓶颈卷积神经网络的输出结果；其中，瓶颈卷积神经网络包括一个瓶颈网络残差块；瓶颈网络残差块包括三层一维卷积网络，其核函数尺寸K＝1,3,1；
抑郁症识别子模块，用于将瓶颈卷积神经网络的输出结果转换为一维向量并连接后输入到全连接层，再经softmax分类器进行抑郁症识别。
结果预测及准确率计算模块，用于将待识别的人体骨架运动学数据输入到训练好的抑郁症识别神经网络模型，完成抑郁症的识别诊断，得到预测结果并计算准确率；结果预测及准确率计算模块包括，
识别诊断子模块，用于采用softmax作为分类器进行抑郁症的识别诊断，公式为：
Figure BDA0002561502720000171
其中，Si表示第i类的softmax预测值；i和j均为类别序号；
预测类获取子模块，用于将人体骨架运动学特征数据输入到抑郁症识别神经网络模型中，在进行抑郁症类别预测时，每一个类别(抑郁与非抑郁)都对应一个小于1的计算值且总和为1，最大计算值所对应的类别则为预测类；
比较子模块，用于将预测类别与真实类别进行比较，计算训练数据集中预测正确类别的抑郁症类别数量占数据总数量的比例，输出即为抑郁症识别神经网络模型的准确率；
损失计算子模块，用于预测错误类别的损失采用损失函数来计算，设定抑郁症识别神经网络模型的损失函数为交叉熵函数Loss，公式为：
Figure BDA0002561502720000172
其中，M表示类别数量；c表示类别序号；yc表示真实标签；pc表示softmax的输出。
实施例3：
本发明实施例还提供了一种电子设备，包括：存储器和至少一个处理器；
其中，所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如实施例1中的基于人体骨架运动学特征信息的抑郁症识别方法。
实施例4：
本发明实施例还提供了一种计算机可读存储介质，其中存储有多条指令，指令由处理器加载，使处理器执行本发明任一实施例中的基于人体骨架运动学特征信息的抑郁症识别方法。具体地，可以提供配有存储介质的***或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该***或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-R基于人体骨架运动学特征信息的抑郁症识别方法及***M、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作***等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到***计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于人体骨架运动学特征信息的抑郁症识别方法，其特征在于，该方法是根据Kinect设备所捕捉到的人体骨架特征信息，提取出人体关节点运动学特征信息，对基于时间维度的每个关节点空间位置数据进行数据预处理，利用预处理后的数据构建数据集，使用数据集进行抑郁症识别神经网络模型的训练和测试；具体如下：
S1、收集人体骨架运动学特征数据；
S2、提取人体骨架运动学特征数据；
S3、特征数据预处理并制作数据集；
S4、构建及训练抑郁症识别神经网络模型；
S5、将待识别的人体骨架运动学数据输入到训练好的抑郁症识别神经网络模型，完成抑郁症的识别诊断，得到预测结果并计算准确率。
2.根据权利要求1所述的基于人体骨架运动学特征信息的抑郁症识别方法，其特征在于，所述步骤S1中收集人体骨架运动学特征数据具体如下：
S101、开启Kinect设备进行人体骨架运动学特征数据的收集；
S102、引导实验对象进入指定位置，播放预先设计的刺激动作任务指令；其中，刺激动作总共包括五个运动学片段，分别为：左臂抬起与复位、右臂抬起与复位、双臂抬起及复位、相左转身及复位、向右转身及复位；每个运动学片段之间时间间隔为5s，完成整个刺激动作所需要的时间为60s；
S103、打开Kinect StudioV2软件，完成人体骨架运动学数据的录制工作；
S104、待完成数据录制后，精神医师对当前实验对象的抑郁状态进行评估，评估过程将记录实验对象的汉密尔顿抑郁量表得分；其中，实验对象分为抑郁组和非抑郁组；
S105、根据汉密尔顿抑郁量表评分标准，筛选抑郁症组评分大于20，对照组评分小于8分为有效实验数据。
3.根据权利要求1所述的基于人体骨架运动学特征信息的抑郁症识别方法，其特征在于，所述步骤S2中提取人体骨架运动学特征数据具体如下：
S201、遍历文件夹中的.xef记录文件，获取文件名称，得到记录文件路径；
S202、执行脚本命令批量运行SkeletonExtractor.exe打开.xef记录文件，读取原始记录数据；
S203、提取基于.xef记录文件的时间序列数据；
S204、提取对人体骨架关节点的空间位置(x,y,z),并剔除噪声数据；具体为：对任意Kinect检测的目标i＝1,2,3…，每个人体骨架关节点均检测空间位置(x,y,z)，对于待锁定目标对象i在任意时间t有如下关系：
Figure FDA0002561502710000021
S205、针对降噪处理的数据，提取其空间坐标系的四元数((Rx,Ry,Rz),Rw)，公式如下：
Figure FDA0002561502710000022
则捕捉到的每个人体骨架关节点由(x,y,z)和((Rx,Ry,Rz),Rw)组成，即每个人体骨架关节点n在运动学片段时间t时刻，均由表述空间位置关系的七个维度数据构成：
djt＝[xjt，yjt，zjt，Rxjt，Ryjt，Rzjt，Rwjt]；
且对于Kinect捕捉的人体骨架关节点，在运动学片段时间T内所提取的人体骨架数据，具体如下：
Figure FDA0002561502710000031
其中，t表示时间；j表示人体骨架关节点；1≤t≤T，1≤j≤25；
S206、获得实验对象的提取结果，并以实验对象的名称保存为csv格式的文件。
4.根据权利要求1所述的基于人体骨架运动学特征信息的抑郁症识别方法，其特征在于，所述步骤S3中特征数据预处理并制作数据集具体如下：
S301、读取提取得到的实验对象csv文件；
S302、读取时间序列，并重新写入到另一文件夹中的同名csv文件中；
S303、读取csv文件除时间序列以外的数据，并对采用标准化数据预处理，具体如下：对于人体骨架数据时间序列x1，x2，...，xt，使用离差标准化的方法对原始数据的线性变换，使结果映射到[0,1]区间，公式如下：
Figure FDA0002561502710000032
其中，n表示序列长度，则新序列y1，y2，...，yn∈[0，1]且无量纲；
S304、将标准化后的数据写入到步骤S302中的csv文件；
S305、将抑郁组和非抑郁组的实验对象分别进行标注，将抑郁组标注为0，将非抑郁组标注为1；
S306、通过pythonnumpy库预处理过的新数据序列进行数据集制作，所有实验对象提取的数据将以二进制数据的格式保存为.npy格式文件；
S307、对数据集采用随机划分的模式，将数据集70％设为训练集，30％用做测试集。
5.根据权利要求1所述的基于人体骨架运动学特征信息的抑郁症识别方法，其特征在于，所述步骤S4中构建及训练抑郁症识别神经网络模型具体如下：
S401、将训练集数据输入到时间卷积神经网络，得到时间卷积神经网络输出结果；其中，时间卷积神经网络包括两个顺序连接的时间空洞卷积残差块，每一个残差块的每层均为一维空洞卷积网络，随机丢弃率为0.5，激活函数为ReLU，每一层的输出直接作为下一层的输入；
S402、将得到的时间卷积神经网络输出结果作为特征信息输入到瓶颈卷积神经网络中，得到瓶颈卷积神经网络的输出结果；其中，瓶颈卷积神经网络包括一个瓶颈网络残差块；瓶颈网络残差块包括三层一维卷积网络，其核函数尺寸K＝1,3,1；
S403、将瓶颈卷积神经网络的输出结果转换为一维向量并连接后输入到全连接层，再经softmax分类器进行抑郁症识别。
6.根据权利要求1-5中任一所述的基于人体骨架运动学特征信息的抑郁症识别方法，其特征在于，所述步骤S5中完成抑郁症的识别诊断，得到预测结果并计算准确率具体如下：
S501、采用softmax作为分类器进行抑郁症的识别诊断，公式为：
Figure FDA0002561502710000041
其中，Si表示第i类的softmax预测值；i和j均为类别序号；
S502、将人体骨架运动学特征数据输入到抑郁症识别神经网络模型中，在进行抑郁症类别预测时，每一个类别都对应一个小于1的计算值且总和为1，最大计算值所对应的类别则为预测类；
S503、将预测类别与真实类别进行比较，计算训练数据集中预测正确类别的抑郁症类别数量占数据总数量的比例，输出即为抑郁症识别神经网络模型的准确率；
S504、预测错误类别的损失采用损失函数来计算，设定抑郁症识别神经网络模型的损失函数为交叉熵函数Loss，公式为：
Figure FDA0002561502710000051
其中，M表示类别数量；c表示类别序号；yc表示真实标签；pc表示softmax的输出。
7.一种基于人体骨架运动学特征信息的抑郁症识别***，其特征在于，该***包括，
数据收集模块，用于收集人体骨架运动学特征数据；
数据提取模块，用于提取人体骨架运动学特征数据；
预处理及数据集制作模块，用于特征数据预处理并制作数据集；
模型构建及训练模块，用于构建及训练抑郁症识别神经网络模型；
结果预测及准确率计算模块，用于将待识别的人体骨架运动学数据输入到训练好的抑郁症识别神经网络模型，完成抑郁症的识别诊断，得到预测结果并计算准确率。
8.根据权利要求7所述的基于人体骨架运动学特征信息的抑郁症识别***，其特征在于，所述数据收集模块包括，
设备开启及数据收集子模块，用于开启Kinect设备进行人体骨架运动学特征数据的收集；
指令播放子模块，用于引导实验对象进入指定位置，播放预先设计的刺激动作任务指令；其中，刺激动作总共包括五个运动学片段，分别为：左臂抬起与复位、右臂抬起与复位、双臂抬起及复位、相左转身及复位、向右转身及复位；每个运动学片段之间时间间隔为5s，完成整个刺激动作所需要的时间为60s；
数据录制子模块，用于打开Kinect StudioV2软件，完成人体骨架运动学数据的录制工作；
抑郁状态评估子模块，用于待完成数据录制后，精神医师对当前实验对象的抑郁状态进行评估，评估过程将记录实验对象的汉密尔顿抑郁量表得分；其中，实验对象分为抑郁组和非抑郁组；
筛选子模块，用于根据汉密尔顿抑郁量表评分标准，筛选抑郁症组评分大于20，对照组评分小于8分为有效实验数据；
所述数据提取模块包括，
文件路径记录子模块，用于遍历文件夹中的.xef记录文件，获取文件名称，得到记录文件路径；
原始记录数据读取子模块，用于执行脚本命令批量运行SkeletonExtractor.exe打开.xef记录文件，读取原始记录数据；
时间序列数据提取子模块，用于提取基于.xef记录文件的时间序列数据；
噪音数据剔除子模块，用于提取对人体骨架关节点的空间位置(x,y,z),并剔除噪声数据；具体为：对任意Kinect检测的目标i＝1,2,3…，每个人体骨架关节点均检测空间位置(x,y,z)，对于待锁定目标对象i在任意时间t有如下关系：
Figure FDA0002561502710000061
四元数提取子模块，用于针对降噪处理的数据，提取其空间坐标系的四元数((Rx,Ry,Rz),Rw)，公式如下：
Figure FDA0002561502710000071
则捕捉到的每个人体骨架关节点由(x,y,z)和((Rx,Ry,Rz),Rw)组成，即每个人体骨架关节点n在运动学片段时间t时刻，均由表述空间位置关系的七个维度数据构成：
djt＝[xjt，yjt，zjt，Rxjt，Ryjt，Rzjt，Rwjt]；
且对于Kinect捕捉的人体骨架关节点，在运动学片段时间T内所提取的人体骨架数据，具体如下：
Figure FDA0002561502710000072
其中，t表示时间；j表示人体骨架关节点；1≤t≤T，1≤j≤25；
提取结果获得子模块，用于获得实验对象的提取结果，并以实验对象的名称保存为csv格式的文件；
所述预处理及数据集制作模块包括，
文件读取子模块，用于读取提取得到的实验对象csv文件；
时间序列读取子模块，用于读取时间序列，并重新写入到另一文件夹中的同名csv文件中；
标准化数据预处理子模块，用于读取csv文件除时间序列以外的数据，并对采用标准化数据预处理，具体如下：对于人体骨架数据时间序列x1，x2，...，xt，使用离差标准化的方法对原始数据的线性变换，使结果映射到[0,1]区间，公式如下：
Figure FDA0002561502710000081
其中，n表示序列长度，则新序列y1，y2，...，yn∈[0，1]且无量纲；
文件写入子模块，用于将标准化后的数据写入到csv文件；
对象标注子模块，用于将抑郁组和非抑郁组的实验对象分别进行标注，将抑郁组标注为0，将非抑郁组标注为1；
数据集制作子模块，用于通过pythonnumpy库预处理过的新数据序列进行数据集制作，所有实验对象提取的数据将以二进制数据的格式保存为.npy格式文件；
数据集划分子模块，用于对数据集采用随机划分的模式，将数据集70％设为训练集，30％用做测试集；
所述模型构建及训练模块包括，
时间卷积神经网络结果输出子模块，用于将训练集数据输入到时间卷积神经网络，得到时间卷积神经网络的输出结果；其中，时间卷积神经网络包括两个顺序连接的时间空洞卷积残差块，每一个残差块的每层均为一维空洞卷积网络，随机丢弃率为0.5，激活函数为ReLU，每一层的输出直接作为下一层的输入；
瓶颈卷积神经网络结果输出子模块，用于将得到的时间卷积神经网络输出结果作为特征信息输入到瓶颈卷积神经网络中，得到瓶颈卷积神经网络的输出结果；其中，瓶颈卷积神经网络包括一个瓶颈网络残差块；瓶颈网络残差块包括三层一维卷积网络，其核函数尺寸K＝1,3,1；
抑郁症识别子模块，用于将瓶颈卷积神经网络的输出结果转换为一维向量并连接后输入到全连接层，再经softmax分类器进行抑郁症识别；
所述结果预测及准确率计算模块包括，
识别诊断子模块，用于采用softmax作为分类器进行抑郁症的识别诊断，公式为：
Figure FDA0002561502710000091
其中，Si表示第i类的softmax预测值；i和j均为类别序号；
预测类获取子模块，用于将人体骨架运动学特征数据输入到抑郁症识别神经网络模型中，在进行抑郁症类别预测时，每一个类别都对应一个小于1的计算值且总和为1，最大计算值所对应的类别则为预测类；
比较子模块，用于将预测类别与真实类别进行比较，计算训练数据集中预测正确类别的抑郁症类别数量占数据总数量的比例，输出即为抑郁症识别神经网络模型的准确率；
损失计算子模块，用于预测错误类别的损失采用损失函数来计算，设定抑郁症识别神经网络模型的损失函数为交叉熵函数Loss，公式为：
Figure FDA0002561502710000092
其中，M表示类别数量；c表示类别序号；yc表示真实标签；pc表示softmax的输出。
9.一种电子设备，其特征在于，包括：存储器和至少一个处理器；
其中，所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至6任一项所述的基于人体骨架运动学特征信息的抑郁症识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行时，实现如权利要求1至6中所述的基于人体骨架运动学特征信息的抑郁症识别方法。
CN202010608130.9A 2020-06-30 2020-06-30 基于人体骨架运动学特征信息的抑郁症识别方法及*** Active CN111938670B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010608130.9A CN111938670B (zh) 2020-06-30 2020-06-30 基于人体骨架运动学特征信息的抑郁症识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010608130.9A CN111938670B (zh) 2020-06-30 2020-06-30 基于人体骨架运动学特征信息的抑郁症识别方法及***

Publications (2)

Publication Number Publication Date
CN111938670A true CN111938670A (zh) 2020-11-17
CN111938670B CN111938670B (zh) 2022-07-05

Family

ID=73337907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010608130.9A Active CN111938670B (zh) 2020-06-30 2020-06-30 基于人体骨架运动学特征信息的抑郁症识别方法及***

Country Status (1)

Country Link
CN (1) CN111938670B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111760A (zh) * 2021-04-07 2021-07-13 同济大学 基于通道注意力的轻量化图卷积人体骨架动作识别方法
CN113793662A (zh) * 2021-08-16 2021-12-14 北京百度网讯科技有限公司 相关性识别方法、装置、电子设备和计算机可读存储介质
CN113827243A (zh) * 2021-11-29 2021-12-24 江苏瑞脑启智医疗科技有限公司 注意力评估方法及***
CN116434908A (zh) * 2023-06-14 2023-07-14 中国科学院自动化研究所 基于时间卷积网络的运动迟缓量化分级评估方法及装置
CN117530691A (zh) * 2024-01-09 2024-02-09 南通大学 基于室分网络的抑郁倾向检测***、方法及相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012075708A (ja) * 2010-10-01 2012-04-19 Sharp Corp ストレス状態推定装置、ストレス状態推定方法、プログラム、および記録媒体
CN104615983A (zh) * 2015-01-28 2015-05-13 中国科学院自动化研究所 基于递归神经网络和人体骨架运动序列的行为识别方法
CN106175800A (zh) * 2016-07-10 2016-12-07 北京工业大学 一种基于人体运动状态数据的心境状态量化评估方法
US20170251985A1 (en) * 2016-02-12 2017-09-07 Newton Howard Detection Of Disease Conditions And Comorbidities
US20180039745A1 (en) * 2016-08-02 2018-02-08 Atlas5D, Inc. Systems and methods to identify persons and/or identify and quantify pain, fatigue, mood, and intent with protection of privacy
CN111178312A (zh) * 2020-01-02 2020-05-19 西北工业大学 基于多任务特征学习网络的人脸表情识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012075708A (ja) * 2010-10-01 2012-04-19 Sharp Corp ストレス状態推定装置、ストレス状態推定方法、プログラム、および記録媒体
CN104615983A (zh) * 2015-01-28 2015-05-13 中国科学院自动化研究所 基于递归神经网络和人体骨架运动序列的行为识别方法
US20170251985A1 (en) * 2016-02-12 2017-09-07 Newton Howard Detection Of Disease Conditions And Comorbidities
CN106175800A (zh) * 2016-07-10 2016-12-07 北京工业大学 一种基于人体运动状态数据的心境状态量化评估方法
US20180039745A1 (en) * 2016-08-02 2018-02-08 Atlas5D, Inc. Systems and methods to identify persons and/or identify and quantify pain, fatigue, mood, and intent with protection of privacy
CN111178312A (zh) * 2020-01-02 2020-05-19 西北工业大学 基于多任务特征学习网络的人脸表情识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JOSHI JYOTI，ET AL: "Relative Body Parts Movement for Automatic Depression Analysis", 《2013 HUMAINE ASSOCIATION CONFERENCE ON AFFECTIVE COMPUTING AND INTELLIGENT INTERACTION》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111760A (zh) * 2021-04-07 2021-07-13 同济大学 基于通道注意力的轻量化图卷积人体骨架动作识别方法
CN113793662A (zh) * 2021-08-16 2021-12-14 北京百度网讯科技有限公司 相关性识别方法、装置、电子设备和计算机可读存储介质
CN113793662B (zh) * 2021-08-16 2023-07-28 北京百度网讯科技有限公司 相关性识别方法、装置、电子设备和计算机可读存储介质
CN113827243A (zh) * 2021-11-29 2021-12-24 江苏瑞脑启智医疗科技有限公司 注意力评估方法及***
CN116434908A (zh) * 2023-06-14 2023-07-14 中国科学院自动化研究所 基于时间卷积网络的运动迟缓量化分级评估方法及装置
CN117530691A (zh) * 2024-01-09 2024-02-09 南通大学 基于室分网络的抑郁倾向检测***、方法及相关设备
CN117530691B (zh) * 2024-01-09 2024-04-09 南通大学 基于室分网络的抑郁倾向检测***、方法及相关设备

Also Published As

Publication number Publication date
CN111938670B (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
CN111938670B (zh) 基于人体骨架运动学特征信息的抑郁症识别方法及***
CN111160367B (zh) 图像分类方法、装置、计算机设备和可读存储介质
US11715198B2 (en) Medical use artificial neural network-based medical image analysis apparatus and method for evaluating analysis results of medical use artificial neural network
EP4006831A1 (en) Image processing method and apparatus, server, medical image processing device and storage medium
CN103177179A (zh) 诊断因素集合确定设备和方法
Garcia Caballero et al. V‐awake: a visual analytics approach for correcting sleep predictions from deep learning models
CN116864140A (zh) 一种心内科术后护理监测数据处理方法及其***
Amiri et al. Feature selection for bleeding detection in capsule endoscopy images using genetic algorithm
JP7506943B2 (ja) 信号処理方法，信号処理装置および信号処理プログラム
CN116452592B (zh) 脑血管病ai认知功能评测模型的构建方法、装置及***
CN113658697A (zh) 一种基于视频注视差异的心理测评***
US11817216B2 (en) Search method and information processing system
CN113888663B (zh) 重建模型训练方法、异常检测方法、装置、设备及介质
Yoo et al. Residual one-dimensional convolutional neural network for neuromuscular disorder classification from needle electromyography signals with explainability
US11571156B2 (en) Renal function assessment method, renal function assessment system and kidney care device
Huang et al. Parkinson's severity diagnosis explainable model based on 3D multi-head attention residual network
WO2022047043A1 (en) Surgical phase recognition with sufficient statistical model
TWI764233B (zh) 阿茲海默症評估系統
CN113393940B (zh) 控制方法以及医疗***
CN117893528B (zh) 一种心脑血管疾病分类模型的构建方法及装置
CN117831789B (zh) 癌症治疗反应预测***及其控制方法
CN117503056A (zh) 基于双模态特征学习的多尺度呼吸事件自动定位方法及装置
EP3926540A1 (en) Method for filtering normal medical image, method for interpreting medical image, and computing device implementing the methods
Salomi et al. Diagnosis of Alzheimer Stages by Using CNN Architecture
Irfan et al. Machine learning in neurological disorders: A multivariate LSTM and AdaBoost approach to Alzheimer's disease time series analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20201117

Assignee: Jinan Hualang Electronic Technology Co.,Ltd.

Assignor: Qilu University of Technology

Contract record no.: X2023980048589

Denomination of invention: A Depression Recognition Method and System Based on Human Skeleton Kinematic Feature Information

Granted publication date: 20220705

License type: Common License

Record date: 20231204

EE01 Entry into force of recordation of patent licensing contract