CN116864128A - 基于身体活动行为模式监测的心理状态评估***及其方法 - Google Patents

基于身体活动行为模式监测的心理状态评估***及其方法 Download PDF

Info

Publication number
CN116864128A
CN116864128A CN202310858960.0A CN202310858960A CN116864128A CN 116864128 A CN116864128 A CN 116864128A CN 202310858960 A CN202310858960 A CN 202310858960A CN 116864128 A CN116864128 A CN 116864128A
Authority
CN
China
Prior art keywords
physical activity
training
feature
action
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310858960.0A
Other languages
English (en)
Inventor
董高峰
徐峰
柯小剑
周智君
来忠
凌懿文
周卉
柯陆安
戴捷
诸葛田野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Gongshang University
Original Assignee
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Gongshang University filed Critical Zhejiang Gongshang University
Priority to CN202310858960.0A priority Critical patent/CN116864128A/zh
Publication of CN116864128A publication Critical patent/CN116864128A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Animal Behavior & Ethology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Veterinary Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Social Psychology (AREA)
  • Computing Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Child & Adolescent Psychology (AREA)
  • Physiology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

公开了一种基于身体活动行为模式监测的心理状态评估***及其方法，其采用基于深度学习的人工智能监测技术，以通过对于心理正常学生和待监测学生的身体活动监控视频的特征提取来识别每个监控关键帧中学生的动作标签特征，并进一步对各个监控关键帧中的动作标签特征的时序分布进行上下文语义理解来得到动作模式理解特征表示，再基于心理正常学生和待监测学生的动作模式理解特征的转移矩阵来表示两者之间的差异性特征分布，以此来进行待监测学生的心理状态判断。这样，能够智能且准确地对于学生的心理健康状态进行监测评估。

Description

基于身体活动行为模式监测的心理状态评估***及其方法
技术领域
本申请涉及健康监测技术领域，且更为具体地，涉及一种基于身体活动行为模式监测的心理状态评估***及其方法。
背景技术
大学生心理健康指的是大学生的心理具有青年中期的许多特点，但作为一个特殊群体，大学生又不能完全等同于社会上的青年。
大学生心理健康问题严重，其中学业问题、情绪问题、人际关系问题、焦虑问题、情感问题、性健康、特殊群体心理健康问题和大学生活适应问题是目前大学生中普遍存在的心理健康问题,因此大学教育过程中常需要定期的对学生进行心理健康检查和心理疏导。并且，在对于大学生心理健康检查的过程中，通常只是通过采用量表进行测量，其不仅测评方式较为单一，准确度难以把握，而且判断的标准并不是固定不变的。心理健康标准随着时代变迁、文化背景变化而变化。
因此，期待一种优化的基于身体活动行为模式监测的心理状态评估***。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于身体活动行为模式监测的心理状态评估***及其方法。
相应地，根据本申请的一个方面，提供了一种基于身体活动行为模式监测的心理状态评估***，其包括：
行为数据采集模块，用于获取被标注为心理正常的学生的身体活动视频数据以及待监测学生的身体活动视频数据；
关键帧提取模块，用于基于差帧法从所述被标注为心理正常的学生的身体活动视频数据和所述待监测学生的身体活动视频数据中分别提取多个参考身体活动关键帧和多个检测身体活动关键帧；
第一动作识别模块，用于将所述多个参考身体活动关键帧通过人体动作识别器以得到多个第一动作标签特征向量；
第二动作识别模块，用于将所述多个检测身体活动关键帧通过所述人体动作识别器以得到多个第二动作标签特征向量；
动作理解模块，用于将所述多个第一动作标签特征向量和所述多个第二动作标签特征向量输入双向长短期记忆神经网络模型以得到参考动作模式理解特征向量和检测动作模式理解特征向量；
差异表示模块，用于计算所述检测动作模式理解特征向量相对于所述参考动作模式理解特征向量的转移矩阵作为分类特征矩阵；以及
评估结果生成模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待监测学生的心理状态是否正常。
根据本申请的另一方面，还提供了一种基于身体活动行为模式监测的心理状态评估方法，其包括：
获取被标注为心理正常的学生的身体活动视频数据以及待监测学生的身体活动视频数据；
基于差帧法从所述被标注为心理正常的学生的身体活动视频数据和所述待监测学生的身体活动视频数据中分别提取多个参考身体活动关键帧和多个检测身体活动关键帧；
将所述多个参考身体活动关键帧通过人体动作识别器以得到多个第一动作标签特征向量；
将所述多个检测身体活动关键帧通过所述人体动作识别器以得到多个第二动作标签特征向量；
将所述多个第一动作标签特征向量和所述多个第二动作标签特征向量输入双向长短期记忆神经网络模型以得到参考动作模式理解特征向量和检测动作模式理解特征向量；
计算所述检测动作模式理解特征向量相对于所述参考动作模式理解特征向量的转移矩阵作为分类特征矩阵；
将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待监测学生的心理状态是否正常。
与现有技术相比，本申请提供的基于身体活动行为模式监测的心理状态评估***及其方法，其采用基于深度学习的人工智能监测技术，以通过对于心理正常学生和待监测学生的身体活动监控视频的特征提取来识别每个监控关键帧中学生的动作标签特征，并进一步对各个监控关键帧中的动作标签特征的时序分布进行上下文语义理解来得到动作模式理解特征表示，再基于心理正常学生和待监测学生的动作模式理解特征的转移矩阵来表示两者之间的差异性特征分布，以此来进行待监测学生的心理状态判断。这样，能够智能且准确地对于学生的心理健康状态进行监测评估。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的基于身体活动行为模式监测的心理状态评估***的框图。
图2为根据本申请实施例的基于身体活动行为模式监测的心理状态评估***的架构示意图。
图3为根据本申请实施例的基于身体活动行为模式监测的心理状态评估***中评估结果生成模块的框图。
图4为根据本申请实施例的基于身体活动行为模式监测的心理状态评估方法的流程图。
图5为根据本申请实施例的基于身体活动行为模式监测的心理状态评估***及其方法的场景示意图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
图1为根据本申请实施例的基于身体活动行为模式监测的心理状态评估***的框图。图2为根据本申请实施例的基于身体活动行为模式监测的心理状态评估***的架构示意图。如图1和图2所示，根据本申请实施例的基于身体活动行为模式监测的心理状态评估***100，包括：行为数据采集模块110，用于获取被标注为心理正常的学生的身体活动视频数据以及待监测学生的身体活动视频数据；关键帧提取模块120，用于基于差帧法从所述被标注为心理正常的学生的身体活动视频数据和所述待监测学生的身体活动视频数据中分别提取多个参考身体活动关键帧和多个检测身体活动关键帧；第一动作识别模块130，用于将所述多个参考身体活动关键帧通过人体动作识别器以得到多个第一动作标签特征向量；第二动作识别模块140，用于将所述多个检测身体活动关键帧通过所述人体动作识别器以得到多个第二动作标签特征向量；动作理解模块150，用于将所述多个第一动作标签特征向量和所述多个第二动作标签特征向量输入双向长短期记忆神经网络模型以得到参考动作模式理解特征向量和检测动作模式理解特征向量；差异表示模块160，用于计算所述检测动作模式理解特征向量相对于所述参考动作模式理解特征向量的转移矩阵作为分类特征矩阵；以及，评估结果生成模块170，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待监测学生的心理状态是否正常。
在上述基于身体活动行为模式监测的心理状态评估***100中，所述行为数据采集模块110，用于获取被标注为心理正常的学生的身体活动视频数据以及待监测学生的身体活动视频数据。如上所述，大学生心理健康指的是大学生的心理具有青年中期的许多特点，但作为一个特殊群体，大学生又不能完全等同于社会上的青年。大学生心理健康问题严重，其中学业问题、情绪问题、人际关系问题、焦虑问题、情感问题、性健康、特殊群体心理健康问题和大学生活适应问题是目前大学生中普遍存在的心理健康问题,因此大学教育过程中常需要定期的对学生进行心理健康检查和心理疏导。并且，在对于大学生心理健康检查的过程中，通常只是通过采用量表进行测量，其不仅测评方式较为单一，准确度难以把握，而且判断的标准并不是固定不变的。心理健康标准随着时代变迁、文化背景变化而变化。因此，期待一种优化的心理状态评估***。
应可以理解，大学生心理健康问题严重，经观察，学生心理（无身体残缺的学生）存在严重问题会表现出活动行为模式的异常，因此，通过对学生的身体活动行为模式的监测，可对学生心理状态进行评估，以做心理问题筛查和疏导。
目前，深度学***。近年来，深度学习以及神经网络的发展为基于身体活动行为模式监测的心理状态智能评估提供了新的解决思路和方案。
具体地，在本申请的技术方案中，采用基于深度学习的人工智能监测技术，以通过对于心理正常学生和待监测学生的身体活动监控视频的特征提取来识别每个监控关键帧中学生的动作标签特征，并进一步对各个监控关键帧中的动作标签特征的时序分布进行上下文语义理解来得到动作模式理解特征表示。然后，再基于心理正常学生和待监测学生的动作模式理解特征的转移矩阵来表示两者之间的差异性特征分布，以此来进行待监测学生的心理状态判断。这样，能够智能且准确地对于学生的心理健康状态进行监测评估，进而在监测到学生心理状况异常时发出预警以进行心理疏导，来保证学生们的心理健康。
具体地，在本申请的技术方案中，首先，获取被标注为心理正常的学生的身体活动视频数据以及待监测学生的身体活动视频数据。其中，所述被标注为心理正常的学生的身体活动视频数据是已有数据，所述待监测学生的身体活动视频数据可以由摄像头获取。
在上述基于身体活动行为模式监测的心理状态评估***100中，所述关键帧提取模块120，用于基于差帧法从所述被标注为心理正常的学生的身体活动视频数据和所述待监测学生的身体活动视频数据中分别提取多个参考身体活动关键帧和多个检测身体活动关键帧。在所述被标注为心理正常的学生的身体活动视频数据和所述待监测学生的身体活动视频数据中，学生的身体活动行为模式特征可以通过所述视频中的相邻监控帧之间的差分来表示，也就是，通过相邻图像帧的图像表征来表示学生的身体活动行为变化情况。具体地，基于差帧法从所述被标注为心理正常的学生的身体活动视频数据和所述待监测学生的身体活动视频数据中分别提取多个参考身体活动关键帧和多个检测身体活动关键帧。
在本申请的另一个实施例中，还可以基于颜色直方图相似度从所述被标注为心理正常的学生的身体活动视频数据和所述待监测学生的身体活动视频数据中分别提取多个参考身体活动关键帧和多个检测身体活动关键帧。应可以理解，颜色直方图相似度是一种用于衡量两个图像或图像帧之间颜色分布相似程度的指标。颜色直方图是一种统计图，用于表示图像中每种颜色的频率。通过比较两个图像的颜色直方图，可以计算它们之间的相似度。在计算颜色直方图相似度时，通常使用直方图距离度量方法，如巴氏距离（Bhattacharyya distance）或卡方距离（Chi-square distance）。这些距离度量方法可以衡量两个颜色直方图之间的差异程度，从而反映出两个图像之间的颜色分布相似度。通过计算颜色直方图相似度，可以比较不同图像或图像帧之间的颜色分布差异，从而判断它们是否相似或相似程度如何。在关键帧提取中，可以使用颜色直方图相似度来选择具有代表性和信息量的关键帧，以便进一步进行分析和处理。
具体地，在该实施例的一个子示例中，基于颜色直方图相似度从所述被标注为心理正常的学生的身体活动视频数据和所述待监测学生的身体活动视频数据中分别提取多个参考身体活动关键帧和多个检测身体活动关键帧，包括：分别将所述被标注为心理正常的学生的身体活动视频和所述待监测学生的身体活动视频分解为一系列连续的帧以得到心理正常的学生的身体活动图像帧和待监测学生的身体活动图像帧；分别对每个帧进行颜色直方图计算，得到帧的颜色特征；计算相邻帧之间的颜色直方图相似度，可以使用各种相似度度量方法，如巴氏距离、卡方距离等；根据相似度的阈值，确定所述多个参考身体活动关键帧和所述多个检测身体活动关键帧。
在本申请的再一个实施例中，还可以基于运动能量从所述被标注为心理正常的学生的身体活动视频数据和所述待监测学生的身体活动视频数据中分别提取多个参考身体活动关键帧和多个检测身体活动关键帧。应可以理解，运动能量是指在视频或图像序列中表示运动强度或变化程度的度量。它用于衡量图像或视频中的像素值随时间的变化情况，从而反映出图像中的运动信息。在计算运动能量时，通常使用光流法（optical flow）或帧间差分（frame differencing）等方法。这些方法可以计算出图像帧之间的像素值变化情况，从而获取运动信息。光流法是一种基于像素亮度变化的方法，它通过追踪图像中的特征点在连续帧之间的移动来计算运动向量。光流法可以提供每个像素点的运动向量，从而计算出整个图像的运动能量。帧间差分是一种简单的方法，它通过计算连续帧之间的差异来获取运动信息。通过比较相邻帧的像素值差异，可以得到图像中发生的运动区域。计算得到的运动能量可以用于识别和分析视频中的关键帧或运动特征。因此，可以基于运动能量从所述被标注为心理正常的学生的身体活动视频数据和所述待监测学生的身体活动视频数据中选择具有显著运动或变化的帧作为所述多个参考身体活动关键帧和所述多个检测身体活动关键帧。
在上述基于身体活动行为模式监测的心理状态评估***100中，所述第一动作识别模块130，用于将所述多个参考身体活动关键帧通过人体动作识别器以得到多个第一动作标签特征向量。也就是，将所述多个参考身体活动关键帧通过人体动作识别器以识别各个关键帧的动作标签特征来得到多个第一动作标签特征向量。
具体地，首先，使用所述人体动作识别器的图像编码器对所述多个参考身体活动关键帧进行编码以提取出所述各个参考身体活动关键帧的动作行为隐含特征，从而得到多个参考身体活动特征图，这里，所述图像编码器包括作为特征提取器的卷积神经网络模型和与所述卷积神经网络模型级联的非局部神经网络模型。也就是，使用在图像特征提取方面具有优异表现的作为特征提取器的卷积神经网络模型来对于所述多个参考身体活动关键帧进行特征挖掘以提取学生的身体活动行为局部隐藏特征，从而得到多个局部身体活动特征图。并且，考虑到由于卷积是典型的局部操作，而对于所述多个参考身体活动关键帧中的学生身体活动行为特征来说，所述各个关键帧中每个关键帧的不同局部身体活动特征之间并非是孤立存在的，所述各个参考身体活动关键帧中每个关键帧的学生不同局部身体活动行为特征间的关联性产生前景目标。因此，在本申请的技术方案中，为了提取出所述参考身体活动关键帧中的学生不同局部身体活动行为特征的关联性，使用非局部神经网络来进一步进行图像的特征提取。也就是，将所述多个局部身体活动特征图中的各个局部身体活动特征图通过非局部神经网络以得到多个参考身体活动特征图。
特别地，这里，所述非局部神经网络通过计算所述参考身体活动关键帧中的学生不同局部身体活动行为特征的相似度捕获隐藏的依赖信息，进而建模上下文特征，使网络关注所述参考身体活动关键帧中的学生不同局部身体活动行为特征数据间的整体内容，进而在分类、检测任务中提升主干网络特征提取能力。
然后，再将所述多个参考身体活动特征图输入所述人体动作识别器的分类器中进行人体的动作识别以及标签分类，从而得到所述多个第一动作标签特征向量。
更具体地，在本申请实施例中，所述第一动作识别模块130，进一步用于：通过第一图像特征提取单元，使用所述人体动作识别器的图像编码器对所述多个参考身体活动关键帧进行编码以得到多个参考身体活动特征图；以及，通过第一动作标签向量生成单元，将所述多个参考身体活动特征图输入所述人体动作识别器的分类器以得到所述多个第一动作标签特征向量。
在上述基于身体活动行为模式监测的心理状态评估***100中，所述第二动作识别模块140，用于将所述多个检测身体活动关键帧通过所述人体动作识别器以得到多个第二动作标签特征向量。同样地，对于所述待监测学生的身体活动关键帧，将所述多个检测身体活动关键帧通过所述人体动作识别器中进行人体的动作特征识别以及标签分类，以得到多个第二动作标签特征向量。
更具体地，在本申请实施例中，所述第二动作识别模块140，进一步用于：通过第二图像特征提取单元，使用所述人体动作识别器的图像编码器对所述多个检测身体活动关键帧进行编码以得到多个检测身体活动特征图；以及，通过第二动作标签向量生成单元，将所述多个检测身体活动特征图输入所述人体动作识别器的分类器以得到所述多个第二动作标签特征向量。其中，所述图像编码器包括作为特征提取器的卷积神经网络模型和与所述卷积神经网络模型级联的非局部神经网络模型。
在上述基于身体活动行为模式监测的心理状态评估***100中，所述动作理解模块150，用于将所述多个第一动作标签特征向量和所述多个第二动作标签特征向量输入双向长短期记忆神经网络模型以得到参考动作模式理解特征向量和检测动作模式理解特征向量。考虑到所述多个参考身体活动关键帧和所述多个检测身体活动关键帧在时序维度上都具有着动态性的动作模式特征分布信息，因此，将所述多个第一动作标签特征向量和所述多个第二动作标签特征向量输入双向长短期记忆神经网络模型中进行处理，以基于所述双向长短期记忆模型对所述动作标签向量的时序分布进行上下文语义理解以得到动作模式理解特征表示，从而得到参考动作模式理解特征向量和检测动作模式理解特征向量。应可以理解，所述双向长短期记忆神经网络模型（LSTM，Long Short-Term Memory）是一种时间循环神经网络，其通过增加输入门、输出门和遗忘门，使得神经网络的权重能够自我更新，在网络模型参数固定的情况下，不同时刻的权重尺度可以动态改变，从而能够避免梯度消失或者梯度膨胀的问题。所述双向长短期记忆神经网络模型是由前向LSTM与后向LSTM组合而成，前向LSTM可以学习到当前帧下的所述学生的身体活动行为模式信息而后向LSTM可以学习到当前帧后所述学生的身体活动行为模式信息，所以通过所述双向长短期记忆神经网络模型获得的所述参考动作模式理解特征向量和所述检测动作模式理解特征向量学习到了全局上下文的信息。
在上述基于身体活动行为模式监测的心理状态评估***100中，所述差异表示模块160，用于计算所述检测动作模式理解特征向量相对于所述参考动作模式理解特征向量的转移矩阵作为分类特征矩阵。也就是，以所述转移矩阵来表示所述心理正常学生的动作模式理解特征和待监测学生的动作模式理解特征之间的差异性特征信息，这样，将所述转移矩阵作为分类特征矩阵，能够提高分类的准确性。
具体地，在本申请实施例中，所述差异表示模块160，进一步用于：以如下公式计算所述检测动作模式理解特征向量相对于所述参考动作模式理解特征向量的所述转移矩阵作为分类特征矩阵；其中，所述公式为：其中/>表示所述检测动作模式理解特征向量，/>表示所述参考动作模式理解特征向量，/>表示所述转移矩阵，/>表示矩阵相乘。
在上述基于身体活动行为模式监测的心理状态评估***100中，所述评估结果生成模块170，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待监测学生的心理状态是否正常。这样，能够智能且准确地对于学生的心理健康状态进行监测评估，进而在监测到学生心理状况异常时发出预警以进行心理疏导，来保证学生们的心理健康。
图3为根据本申请实施例的基于身体活动行为模式监测的心理状态评估***中评估结果生成模块的框图。如图3所示，所述评估结果生成模块170，包括：展开单元171，用于将所述分类特征矩阵按照行向量或者列向量展开为分类特征向量；全连接编码单元172，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类结果生成单元173，用于将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
在本申请的另一个实施例中，将所述优化分类特征矩阵通过决策树模型以得到分类结果，所述分类结果用于表示待监测学生的心理状态是否正常。应可以理解，决策树模型是一种基于树结构的分类和回归模型。它通过一系列的决策规则对数据进行分类或预测。决策树模型可以看作是一个由节点和边组成的树状结构，其中每个节点表示一个特征或属性，每个边表示一个特征的取值或决策结果。在决策树模型中，从根节点开始，通过对特征的判断或决策，沿着树的分支逐步向下，最终到达叶节点，叶节点表示最终的分类或预测结果。决策树的构建过程是根据训练数据集中的特征和标签信息来确定每个节点的划分方式，使得在每个节点上选择的划分能够最大程度地提高分类的准确性或回归的预测精度。
进一步地，所述基于身体活动行为模式监测的心理状态评估***还包括：用于所述人体动作识别器、所述双向长短期记忆神经网络模型和所述分类器进行训练的训练模块；其中，所述训练模块，包括：训练数据获取单元，用于获取被标注为心理正常的学生的训练身体活动视频数据以及待监测学生的训练身体活动视频数据；训练关键帧提取单元，用于基于差帧法从所述被标注为心理正常的学生的训练身体活动视频数据和所述待监测学生的训练身体活动视频数据中分别提取多个训练参考身体活动关键帧和多个训练检测身体活动关键帧；训练第一动作识别单元，用于将所述多个训练参考身体活动关键帧通过所述人体动作识别器以得到多个训练第一动作标签特征向量；训练第二动作识别单元，用于将所述多个训练检测身体活动关键帧通过所述人体动作识别器以得到多个训练第二动作标签特征向量；训练动作理解单元，用于将所述多个训练第一动作标签特征向量和所述多个训练第二动作标签特征向量输入所述双向长短期记忆神经网络模型以得到训练参考动作模式理解特征向量和训练检测动作模式理解特征向量；训练差异表示单元，用于计算所述训练检测动作模式理解特征向量相对于所述训练参考动作模式理解特征向量的转移矩阵作为训练分类特征矩阵；分类损失函数计算单元，用于将所述训练分类特征矩阵通过所述分类器以得到分类损失函数值；损失函数值计算单元，用于以如下公式计算所述训练分类特征矩阵的行列凸表达一致性因数以得到行列凸表达一致性损失函数值；模型训练单元，用于以所述分类损失函数值和所述行列凸表达一致性损失函数值的加权和作为损失函数值对所述人体动作识别器、所述双向长短期记忆神经网络模型和所述分类器进行训练。
在本申请的技术方案中，通过人体动作识别器和双向长短期记忆神经网络模型，可以通过局部动作图像语义的提取和跨时序的特征上下文关联来拉大所述心理正常的学生的身体活动视频数据以及所述待监测学生的身体活动视频数据可能存在的源域差异，从而使得所述分类特征矩阵增强对于两者之间的差异的表达。但是另一方面，所述所述心理正常的学生的身体活动视频数据以及所述待监测学生的身体活动视频数据内存在大量不用于图像语义特征提取和关联编码的冗余像素语义，而这部分冗余像素语义也会被上述人体动作识别器和双向长短期记忆神经网络模型放大，由此在所述分类特征矩阵中构成高维特征语义空间内的分布发散，从而导致所述分类特征矩阵通过分类器时存在归纳发散，影响分类器的训练速度和分类结果的准确性。
基于此，本申请的申请人使得所述分类特征矩阵在高维特征空间内的流形表达在行方向和列方向对应的不同分布维度上保持一致，从而补偿所述分类特征矩阵的分布发散。因此，本申请的申请人在分类损失函数之外，进一步引入所述分类特征矩阵的行列凸表达一致性因数来作为损失函数。
具体地，在本申请实施例中，所述损失函数值计算单元，用于：以如下公式计算所述训练分类特征矩阵的行列凸表达一致性因数以得到所述行列凸表达一致性损失函数值；
其中，所述公式为：其中表示所述训练分类特征矩阵，/>表示所述训练分类特征矩阵的第/>行第/>列的特征值，/>和/>分别是矩阵/>对应行向量的均值向量和对角向量，/>表示向量的一范数，/>表示矩阵的Frobenius范数，/>和/>是矩阵/>的宽度和高度，/>、/>和/>是权重超参数，/>表示激活函数，/>表示所述行列凸表达一致性损失函数值。
也就是，考虑到所述分类特征矩阵的行和列维度的特征分布特性，所述行列凸表达一致性因数针对所述分类特征矩阵在行和列所代表的子维度上的分布差异性，通过所述分类特征矩阵所表示的特征流形的几何凸分解，来对不同维度上的流形的有限凸多面体的集合进行平展化，并以子维度关联的形状权重的形式来约束几何凸分解，从而促进所述分类特征矩阵的特征流形在行和列所代表的可分解维度上的凸几何表示的一致性，以使得所述分类特征矩阵在高维特征空间内的流形表达在与行方向和列方向对应的不同分布维度上保持一致，从而补偿所述分类特征矩阵的分布发散。
综上，基于本申请实施例的基于身体活动行为模式监测的心理状态评估***100被阐明，其采用基于深度学习的人工智能监测技术，以通过对于心理正常学生和待监测学生的身体活动监控视频的特征提取来识别每个监控关键帧中学生的动作标签特征，并进一步对各个监控关键帧中的动作标签特征的时序分布进行上下文语义理解来得到动作模式理解特征表示，再基于心理正常学生和待监测学生的动作模式理解特征的转移矩阵来表示两者之间的差异性特征分布，以此来进行待监测学生的心理状态判断。这样，能够智能且准确地对于学生的心理健康状态进行监测评估。
在本申请的另一个示例中，还提供有一种基于社交网络的心理状态评估***，包括：首先，通过爬虫软件获取待监测学生的社交网络数据，其中，所述社交网络数据包括学生的帖子、评论、点赞。这些数据可以通过社交网络的API或网络爬虫来获取。应可以理解，学生在社交网络上的行为和言论往往更加自然和真实，相较于传统的问卷调查或面对面的访谈，社交网络上的数据更能反映学生的真实心理状态。社交网络上的数据量通常非常庞大，包含了学生在长时间内的多种社交互动，这使得可以从大量数据中提取有意义的特征，并建立更准确的模型。社交网络上的数据来源广泛，包括帖子、评论、点赞等多种形式的交互信息。这些多样化的数据可以提供更全面的视角来评估学生的心理状态。社交网络上的数据是实时生成的，可以实时监测学生的心理状态变化。这对于及时发现和干预学生的心理问题非常重要。
然后，对所述待监测学生的社交网络数据进行预处理以得到预处理后社交网络数据。应可以理解，通过对所述待监测学生的社交网络数据进行预处理可以确保数据的质量和一致性，以提高后续分析和建模的准确性和可靠性，所述预处理包括清洗数据、去除噪声、标准化。具体地，通过清洗数据可以去除数据中的无效或错误的部分。在具体地一个实施例中，清洗数据包括：删除重复的数据、修复缺失值、处理异常值等。清洗数据可以提高数据的一致性和完整性。社交网络数据中可能存在噪声，如拼写错误、语法错误、非相关信息等。去除这些噪声可以减少对后续分析的干扰，提高数据的准确性。社交网络数据可能来自不同的来源和格式，需要将其统一为一致的格式和单位。在具体地一个实施例中，将日期和时间统一为特定的格式，将文本数据转换为统一的编码格式等。标准化数据可以方便后续的特征提取和建模。
接着，对所述预处理后社交网络数据进行特征提取以得到社交文本上下特征向量。应可以理解，通过对社交文本数据进行特征提取可以捕捉到文本中的上下文信息，从而更好地理解和分析社交媒体中的内容。具体地，社交媒体中的文本通常是短小而碎片化的，缺乏传统语言中的上下文信息。通过特征提取，可以从文本中提取出一些关键特征，如词频、词性、情感倾向等，从而更好地理解文本所处的上下文环境。社交媒体中的文本通常是海量的，特征提取可以便于后续对文本进行分类和聚类。通过提取文本的特征向量，以便于后续使用机器学习算法对文本进行分类，从而准确地对于学生的心理健康状态进行监测评估。社交媒体中的信息量庞大，特征提取可以过滤掉不相关或低质量的信息。通过提取用户和文本的特征向量，还可以研究学生之间的关系、社交网络的结构和演化规律，从而更好地对于学生的心理健康状态进行监测评估。通过提取这些特征，可以将社交文本数据转化为数值特征向量，用于构建机器学习模型进行学生心理状态评估。这样的特征提取方法可以更准确地理解学生的心理状态，从而提供更好的支持和干预措施。
具体地，在本示例中的一个实施例中，对所述预处理后社交网络数据进行特征提取以得到社交文本上下特征向量，包括：基于词袋模型对所述预处理后社交网络数据进行特征提取以得到社交文本上下特征向量。应可以理解，词袋模型是一种在自然语言处理中常用的文本表示方法。它将文本表示为一个固定长度的向量，其中每个维度表示一个特定的词汇或特征，并统计每个词汇或特征在文本中出现的频率。具体来说，词袋模型将文本中的每个词汇或特征视为一个独立的元素，忽略它们在文本中的顺序和语法结构。然后，通过统计每个词汇或特征在文本中出现的次数或使用其他权重计算方法（如TF-IDF），将文本表示为一个向量。向量的每个维度对应一个词汇或特征，其取值表示该词汇或特征在文本中的重要程度。
具体地，在本示例中的另一个实施例中，对所述预处理后社交网络数据进行特征提取以得到社交文本上下特征向量，包括：基于词嵌入模型对所述预处理后社交网络数据进行特征提取以得到社交文本上下特征向量。应可以理解，词嵌入模型是一种用于将词汇映射到低维连续向量空间的技术。它通过学习词汇之间的语义和语法关系，将每个词汇表示为一个密集的向量，也称为词嵌入。传统的词袋模型将每个词汇表示为一个独立的元素，无法捕捉词汇之间的语义相似性。而词嵌入模型通过训练神经网络算法，可以将词汇映射到一个连续的向量空间中，使得语义相似的词汇在向量空间中距离较近。词嵌入模型的优点是能够捕捉词汇之间的语义关系和上下文信息，提供了更丰富的词汇表示。
最后，对所述社交文本上下特征向量进行处理以得到分类结果，所述分类结果用于表示待监测学生的心理状态是否正常。应可以理解，通过对学生心理状态进行分类，可以及早发现潜在的心理问题或异常，从而采取相应的干预措施。例如，如果学生被判定为心理状态异常，可以及时提供心理咨询、支持或引导他们寻求专业帮助。学生心理状态的分类结果可以用于定期或实时监测其心理健康状况。通过持续的监测，可以及时发现并解决心理问题，促进学生的心理健康发展。基于学生心理状态的分类结果，可以为每个学生提供个性化的教育和支持。根据学生的心理状态，可以调整教学方法、内容和资源，以满足他们的特定需求和提高学习效果。通过对学生心理状态的分类结果进行统计和分析，可以揭示心理问题的普遍趋势和规律，为心理研究提供数据支持。这有助于深入理解学生心理健康问题的原因和影响因素，并为心理干预和预防提供指导。总之，通过对待监测学生心理状态进行分类，可以及早干预、监测心理健康、个性化教育，并为心理研究提供数据支持，从而促进学生的心理健康发展和学业成功。
具体地，在本示例中的另一个实施例中，对所述社交文本上下特征向量进行处理以得到分类结果，包括：将所述社交文本上下特征向量通过随机森林模型以得到分类结果。应可以理解，随机森林模型是一种集成学***均来得到最终的分类结果。随机森林模型的主要特点包括：在构建每个决策树时，随机森林会对训练样本进行有放回的随机采样，这样每个决策树的训练集都是略有不同的。同时，在每个节点上，随机森林也会对特征进行随机选择，以增加模型的多样性。随机森林由多个决策树组成，每个决策树都是一个独立的分类器。通过对每个决策树的结果进行投票或取平均，随机森林可以得到更稳定和准确的分类结果。随机森林对于噪声和异常值的鲁棒性较强，因为它通过多个决策树的集成来减少了单个决策树的过拟合风险。随机森林可以通过计算每个特征在决策树中的使用频率和对预测准确性的贡献来评估特征的重要性。
综上，基于社交网络的心理状态评估***已被阐明，其爬取所述待监测学生的社交网络数据并进行分析以得到用于表示待监测学生的心理状态是否正常的分类结果，从而准确地对学生的心理状态的评估，以便于及早发现潜在的心理问题或异常，从而采取相应的干预措施。与本申请提供的基于身体活动行为模式监测的心理状态评估***相比，基于社交网络的心理状态评估***可能具有以下缺点，首先，基于社交网络的心理状态评估***往往依赖于待监测学生自行发布的内容和表达，这可能存在主观性的问题。然后，待监测学生可能选择性地展示自己的情感状态，或者可能存在误导性的表达，从而影响评估结果的准确性。社交网络上的内容往往是待监测学生自行发布的，可能存在信息的不准确性或虚假性。待监测学生可能夸大或缩小自己的情感表达，或者发布与真实情感不符的内容，从而影响评估结果的可靠性。其次，基于社交网络的心理状态评估***难以考虑个体之间的差异。不同人对于相同情感的表达方式可能存在差异，有些人可能更倾向于表达情感，而有些人可能更内向或保守。因此，***的评估结果可能无法准确地反映个体的真实心理状态。与之相比，身体活动行为模式是难以改变的，会更真实的反应待监测学生的心理状态。
图4为根据本申请实施例的基于身体活动行为模式监测的心理状态评估方法的流程图。如图4所示，根据本申请实施例的基于身体活动行为模式监测的心理状态评估方法，包括：S110，获取被标注为心理正常的学生的身体活动视频数据以及待监测学生的身体活动视频数据；S120，基于差帧法从所述被标注为心理正常的学生的身体活动视频数据和所述待监测学生的身体活动视频数据中分别提取多个参考身体活动关键帧和多个检测身体活动关键帧；S130，将所述多个参考身体活动关键帧通过人体动作识别器以得到多个第一动作标签特征向量；S140，将所述多个检测身体活动关键帧通过所述人体动作识别器以得到多个第二动作标签特征向量；S150，将所述多个第一动作标签特征向量和所述多个第二动作标签特征向量输入双向长短期记忆神经网络模型以得到参考动作模式理解特征向量和检测动作模式理解特征向量；S160，计算所述检测动作模式理解特征向量相对于所述参考动作模式理解特征向量的转移矩阵作为分类特征矩阵；以及，S170，将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待监测学生的心理状态是否正常。
本领域技术人员可以理解，上述基于身体活动行为模式监测的心理状态评估方法中的各个步骤的具体操作已经在上面参考图1到图3的基于身体活动行为模式监测的心理状态评估***的描述中得到了详细介绍，并因此，将省略其重复描述。
图5为根据本申请实施例的基于身体活动行为模式监测的心理状态评估***及其方法的场景示意图。如图5所示，在所述基于身体活动行为模式监测的心理状态评估***的应用场景中，首先获取被标注为心理正常的学生的身体活动视频数据以及待监测学生（例如，如图5中所示意的P）的身体活动视频数据，其中，所述被标注为心理正常的学生的身体活动视频数据为现有数据，所述待监测学生的身体活动视频数据由摄像头（例如，如图5中所示意的C）采集。进而，将所述被标注为心理正常的学生的身体活动视频数据以及待监测学生的身体活动视频数据输入至部署有基于身体活动行为模式监测的心理状态评估算法的服务器（例如，如图5所示意的S）中，其中，所述服务器能够以所述基于身体活动行为模式监测的心理状态评估算法对所述被标注为心理正常的学生的身体活动视频数据以及待监测学生的身体活动视频数据进行处理以得到用于表示待监测学生的心理状态是否正常的评估结果。
本发明实施例还提供一种芯片***，芯片***包括至少一个处理器，当程序指令在该至少一个处理器中执行时，使得本申请实施例提供的方法得以实现。
本发明实施例还提供一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得，该计算机执行上述方法实施例的方法。
本发明实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

Claims (10)

1.一种基于身体活动行为模式监测的心理状态评估***，其特征在于，包括：
行为数据采集模块，用于获取被标注为心理正常的学生的身体活动视频数据以及待监测学生的身体活动视频数据；
关键帧提取模块，用于基于差帧法从所述被标注为心理正常的学生的身体活动视频数据和所述待监测学生的身体活动视频数据中分别提取多个参考身体活动关键帧和多个检测身体活动关键帧；
第一动作识别模块，用于将所述多个参考身体活动关键帧通过人体动作识别器以得到多个第一动作标签特征向量；
第二动作识别模块，用于将所述多个检测身体活动关键帧通过所述人体动作识别器以得到多个第二动作标签特征向量；
动作理解模块，用于将所述多个第一动作标签特征向量和所述多个第二动作标签特征向量输入双向长短期记忆神经网络模型以得到参考动作模式理解特征向量和检测动作模式理解特征向量；
差异表示模块，用于计算所述检测动作模式理解特征向量相对于所述参考动作模式理解特征向量的转移矩阵作为分类特征矩阵；以及
评估结果生成模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待监测学生的心理状态是否正常。
2.根据权利要求1所述的基于身体活动行为模式监测的心理状态评估***，其特征在于，所述第一动作识别模块，包括：
第一图像特征提取单元，用于使用所述人体动作识别器的图像编码器对所述多个参考身体活动关键帧进行编码以得到多个参考身体活动特征图；以及
第一动作标签向量生成单元，用于将所述多个参考身体活动特征图输入所述人体动作识别器的分类器以得到所述多个第一动作标签特征向量。
3.根据权利要求2所述的基于身体活动行为模式监测的心理状态评估***，其特征在于，所述第二动作识别模块，包括：
第二图像特征提取单元，用于使用所述人体动作识别器的图像编码器对所述多个检测身体活动关键帧进行编码以得到多个检测身体活动特征图；以及
第二动作标签向量生成单元，用于将所述多个检测身体活动特征图输入所述人体动作识别器的分类器以得到所述多个第二动作标签特征向量。
4.根据权利要求3所述的基于身体活动行为模式监测的心理状态评估***，其特征在于，所述图像编码器包括作为特征提取器的卷积神经网络模型和与所述卷积神经网络模型级联的非局部神经网络模型。
5.根据权利要求4所述的基于身体活动行为模式监测的心理状态评估***，其特征在于，所述差异表示模块，进一步用于：
以如下公式计算所述检测动作模式理解特征向量相对于所述参考动作模式理解特征向量的所述转移矩阵作为分类特征矩阵；
其中，所述公式为：其中/>表示所述检测动作模式理解特征向量，表示所述参考动作模式理解特征向量，/>表示所述转移矩阵，/>表示矩阵相乘。
6.根据权利要求5所述的基于身体活动行为模式监测的心理状态评估***，其特征在于，所述评估结果生成模块，包括：
展开单元，用于将所述分类特征矩阵按照行向量或者列向量展开为分类特征向量；
全连接编码单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及
分类结果生成单元，用于将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
7.根据权利要求6所述的基于身体活动行为模式监测的心理状态评估***，其特征在于，还包括：用于所述人体动作识别器、所述双向长短期记忆神经网络模型和所述分类器进行训练的训练模块；
其中，所述训练模块，包括：
训练数据获取单元，用于获取被标注为心理正常的学生的训练身体活动视频数据以及待监测学生的训练身体活动视频数据；
训练关键帧提取单元，用于基于差帧法从所述被标注为心理正常的学生的训练身体活动视频数据和所述待监测学生的训练身体活动视频数据中分别提取多个训练参考身体活动关键帧和多个训练检测身体活动关键帧；
训练第一动作识别单元，用于将所述多个训练参考身体活动关键帧通过所述人体动作识别器以得到多个训练第一动作标签特征向量；
训练第二动作识别单元，用于将所述多个训练检测身体活动关键帧通过所述人体动作识别器以得到多个训练第二动作标签特征向量；
训练动作理解单元，用于将所述多个训练第一动作标签特征向量和所述多个训练第二动作标签特征向量输入所述双向长短期记忆神经网络模型以得到训练参考动作模式理解特征向量和训练检测动作模式理解特征向量；
训练差异表示单元，用于计算所述训练检测动作模式理解特征向量相对于所述训练参考动作模式理解特征向量的转移矩阵作为训练分类特征矩阵；
分类损失函数计算单元，用于将所述训练分类特征矩阵通过所述分类器以得到分类损失函数值；
损失函数值计算单元，用于以如下公式计算所述训练分类特征矩阵的行列凸表达一致性因数以得到行列凸表达一致性损失函数值；
模型训练单元，用于以所述分类损失函数值和所述行列凸表达一致性损失函数值的加权和作为损失函数值对所述人体动作识别器、所述双向长短期记忆神经网络模型和所述分类器进行训练。
8.根据权利要求7所述的基于身体活动行为模式监测的心理状态评估***，其特征在于，所述损失函数值计算单元，用于：
以如下公式计算所述训练分类特征矩阵的行列凸表达一致性因数以得到所述行列凸表达一致性损失函数值；其中，所述公式为：其中/>表示所述训练分类特征矩阵，/>表示所述训练分类特征矩阵的第/>行第/>列的特征值，/>和/>分别是矩阵对应行向量的均值向量和对角向量，/>表示向量的一范数，/>表示矩阵的Frobenius范数，/>和/>是矩阵/>的宽度和高度，/>、/>和/>是权重超参数，表示激活函数，/>表示所述行列凸表达一致性损失函数值。
9.一种基于身体活动行为模式监测的心理状态评估方法，其特征在于，包括：
获取被标注为心理正常的学生的身体活动视频数据以及待监测学生的身体活动视频数据；
基于差帧法从所述被标注为心理正常的学生的身体活动视频数据和所述待监测学生的身体活动视频数据中分别提取多个参考身体活动关键帧和多个检测身体活动关键帧；
将所述多个参考身体活动关键帧通过人体动作识别器以得到多个第一动作标签特征向量；
将所述多个检测身体活动关键帧通过所述人体动作识别器以得到多个第二动作标签特征向量；
将所述多个第一动作标签特征向量和所述多个第二动作标签特征向量输入双向长短期记忆神经网络模型以得到参考动作模式理解特征向量和检测动作模式理解特征向量；
计算所述检测动作模式理解特征向量相对于所述参考动作模式理解特征向量的转移矩阵作为分类特征矩阵；以及
将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示待监测学生的心理状态是否正常。
10.根据权利要求9所述的基于身体活动行为模式监测的心理状态评估方法，其特征在于，所述将所述多个参考身体活动关键帧通过人体动作识别器以得到多个第一动作标签特征向量，包括：
使用所述人体动作识别器的图像编码器对所述多个参考身体活动关键帧进行编码以得到多个参考身体活动特征图；以及
将所述多个参考身体活动特征图输入所述人体动作识别器的分类器以得到所述多个第一动作标签特征向量。
CN202310858960.0A 2023-07-13 2023-07-13 基于身体活动行为模式监测的心理状态评估***及其方法 Pending CN116864128A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310858960.0A CN116864128A (zh) 2023-07-13 2023-07-13 基于身体活动行为模式监测的心理状态评估***及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310858960.0A CN116864128A (zh) 2023-07-13 2023-07-13 基于身体活动行为模式监测的心理状态评估***及其方法

Publications (1)

Publication Number Publication Date
CN116864128A true CN116864128A (zh) 2023-10-10

Family

ID=88235573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310858960.0A Pending CN116864128A (zh) 2023-07-13 2023-07-13 基于身体活动行为模式监测的心理状态评估***及其方法

Country Status (1)

Country Link
CN (1) CN116864128A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117690582A (zh) * 2024-01-31 2024-03-12 吉林大学 护理工作站的信息管理***及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117690582A (zh) * 2024-01-31 2024-03-12 吉林大学 护理工作站的信息管理***及方法
CN117690582B (zh) * 2024-01-31 2024-04-26 吉林大学 护理工作站的信息管理***及方法

Similar Documents

Publication Publication Date Title
Mao et al. Toward data anomaly detection for automated structural health monitoring: Exploiting generative adversarial nets and autoencoders
CN112100369B (zh) 结合语义的网络故障关联规则生成方法和网络故障检测方法
CN110490239B (zh) 图像质控网络的训练方法、质量分类方法、装置及设备
CN112257441B (zh) 一种基于反事实生成的命名实体识别增强方法
CN106202489A (zh) 一种基于大数据的农业病虫害智能诊断***
CN113705725B (zh) 一种基于多模态信息融合的用户人格特征预测方法和装置
Xu et al. Intelligent emotion detection method based on deep learning in medical and health data
CN116610816A (zh) 一种基于图卷积神经网络的人员画像知识图谱分析方法及***
EP3769270A1 (en) A method, an apparatus and a computer program product for an interpretable neural network representation
CN116864128A (zh) 基于身体活动行为模式监测的心理状态评估***及其方法
CN117438087A (zh) 基于健康监测数据分析的健康管理方法及***
CN116756688A (zh) 一种基于多模态融合算法的舆情风险发现方法
CN116164822A (zh) 基于知识图谱的流量计故障诊断方法、装置、介质
CN117198468A (zh) 基于行为识别和数据分析的干预方案智慧化管理***
Zhang et al. Neural network in sports cluster analysis
CN117216419B (zh) 基于ai技术的数据分析方法
CN114191665A (zh) 机械通气过程中人机异步现象的分类方法和分类装置
CN115292538A (zh) 一种基于深度学习的地图线要素提取方法
CN117257302A (zh) 人员心理健康状态评估方法及***
CN117115505A (zh) 一种结合知识蒸馏与对比学习的情感增强继续训练方法
JP2023510667A (ja) キャラクタ取得、ページ処理と知識グラフ構築方法及び装置、媒体
Praphulla et al. Personality prediction using machine learning techniques
CN115391523A (zh) 风电场多源异构数据处理方法及装置
CN113705328A (zh) 基于面部特征点与面部运动单元的抑郁检测方法和***
Manocha et al. Intelligent analysis of irregular physical factors for panic disorder using quantum probability

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination