CN116631619A - 术后弯腿训练监控***及其方法 - Google Patents

术后弯腿训练监控***及其方法 Download PDF

Info

Publication number
CN116631619A
CN116631619A CN202310530445.XA CN202310530445A CN116631619A CN 116631619 A CN116631619 A CN 116631619A CN 202310530445 A CN202310530445 A CN 202310530445A CN 116631619 A CN116631619 A CN 116631619A
Authority
CN
China
Prior art keywords
scale
gait
gait energy
feature
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310530445.XA
Other languages
English (en)
Inventor
彭亚文
柴伟
白杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Medical Center of PLA General Hospital
Original Assignee
First Medical Center of PLA General Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Medical Center of PLA General Hospital filed Critical First Medical Center of PLA General Hospital
Priority to CN202310530445.XA priority Critical patent/CN116631619A/zh
Publication of CN116631619A publication Critical patent/CN116631619A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

公开了一种术后弯腿训练监控***及其方法。其首先从待监控对象的弯腿训练监控视频提取一个步态周期内的多个弯腿训练监控关键帧，接着，对所述多个弯腿训练监控关键帧进行处理以得到步态能量图，然后，将所述步态能量图分别通过卷积神经网络模型和ViT模型以得到第一尺度步态能量特征图和第二尺度步态能量特征图，接着，融合所述第一尺度步态能量特征图和所述第二尺度步态能量特征图以得到分类特征图，最后，将所述分类特征图通过分类器以得到用于表示待监控对象的步态是否正常的分类结果。这样，可以准确地进行患者的步态评估，以及时发现异常来便于进行相应处理。

Description

术后弯腿训练监控***及其方法
技术领域
本申请涉及智能监控领域，且更为具体地，涉及一种术后弯腿训练监控***及其方法。
背景技术
功能锻炼是保证关节功能,恢复肌肉力量,加快康复进程的必要手段。对于术后弯腿锻炼的患者来说，适当的活动能够促进血液循环，减轻血栓形成的风险。但是，术后弯腿患者可能在行走时出现膝关节屈曲，导致步态异常，影响患者的术后康复。
因此，期望一种优化的术后弯腿训练监控***，其能够对于患者的步态进行评估，及时发现异常情况，以便进行相应处理。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种术后弯腿训练监控***及其方法。其首先从待监控对象的弯腿训练监控视频提取一个步态周期内的多个弯腿训练监控关键帧，接着，对所述多个弯腿训练监控关键帧进行处理以得到步态能量图，然后，将所述步态能量图分别通过卷积神经网络模型和ViT模型以得到第一尺度步态能量特征图和第二尺度步态能量特征图，接着，融合所述第一尺度步态能量特征图和所述第二尺度步态能量特征图以得到分类特征图，最后，将所述分类特征图通过分类器以得到用于表示待监控对象的步态是否正常的分类结果。这样，可以准确地进行患者的步态评估，以及时发现异常来便于进行相应处理。
根据本申请的一个方面，提供了一种术后弯腿训练监控***，其包括：
视频数据采集模块，用于获取待监控对象的弯腿训练监控视频；
关键帧提取模块，用于从所述待监控对象的弯腿训练监控视频提取一个步态周期内的多个弯腿训练监控关键帧；
步态能量图生成模块，用于对所述多个弯腿训练监控关键帧进行处理以得到步态能量图；
第一尺度图像特征提取模块，用于将所述步态能量图通过作为特征提取器的卷积神经网络模型以得到第一尺度步态能量特征图；
第二尺度图像特征提取模块，用于将所述步态能量图通过ViT模型以得到第二尺度步态能量特征图；
多尺度图像特征关联模块，用于融合所述第一尺度步态能量特征图和所述第二尺度步态能量特征图以得到分类特征图；以及
步态检测模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待监控对象的步态是否正常。
在上述的术后弯腿训练监控***中，所述第一尺度图像特征提取模块，用于：
所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中分别进行：
对输入数据进行卷积处理以得到第一尺度卷积特征图；
对所述第一尺度卷积特征图进行均值池化处理以得到第一尺度池化特征图；以及
对所述第一尺度池化特征图进行非线性激活以得到第一尺度激活特征图；
其中，所述作为特征提取器的卷积神经网络模型的最后一层的输出为所述第一尺度步态能量特征图，所述作为特征提取器的卷积神经网络模型的第一层的输入为所述步态能量图。
在上述的术后弯腿训练监控***中，所述第二尺度图像特征提取模块，包括：
图像分块单元，用于对所述步态能量图进行图像分块处理以得到图像块的序列；
嵌入编码单元，用于使用所述ViT模型的嵌入层分别对所述图像块的序列中的各个图像块进行嵌入编码以得到图像块嵌入向量的序列；
图像上下文语义关联单元，用于将所述图像块嵌入向量的序列输入所述ViT模型的转换器结构以得到图像块上下文语义特征向量的序列；以及
维度重构单元，用于将所述图像块上下文语义特征向量的序列按照所述图像分块处理时对应的空间位置进行排列以得到所述第二尺度步态能量特征图。
在上述的术后弯腿训练监控***中，所述嵌入编码单元，用于：
将所述图像块的序列中的各个图像块中所有像素位置的像素值排列为一维向量；以及
使用所述ViT模型的全连接层以如下全连接编码公式对所述一维向量进行全连接编码以提取出所述一维向量中各个位置的特征值的高维隐含特征，其中，所述全连接编码公式为：其中，X是所述一维向量，Y是输出向量，W是权重矩阵，B是偏置向量，/>表示矩阵乘。
在上述的术后弯腿训练监控***中，所述多尺度图像特征关联模块，用于：
以如下优化公式对所述第一尺度步态能量特征图和所述第二尺度步态能量特征图进行基于尺度认知的高斯联合密度融合以得到所述分类特征图；
其中，所述优化公式为：
f1∈F1 and f2∈F2
其中，F1表示所述第一尺度步态能量特征图，F2表示所述第二尺度步态能量特征图，f1是所述第一尺度步态能量特征图中各个位置的特征值，f2是所述第二尺度步态能量特征图中各个位置的特征值，μ和σ分别是所述第一尺度步态能量特征图和所述第二尺度步态能量特征图的所有特征值的特征集合的均值和方差，W、H和C分别是特征图的宽度、高度和通道数，且f′是所述分类特征图的各个位置特征值。
在上述的术后弯腿训练监控***中，所述步态检测模块，包括：
特征图展开单元，用于将所述分类特征图按照行向量或者列向量展开为分类特征向量；
全连接编码单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及
分类单元，用于将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
根据本申请的另一个方面，提供了一种术后弯腿训练监控方法，包括：
获取待监控对象的弯腿训练监控视频；
从所述待监控对象的弯腿训练监控视频提取一个步态周期内的多个弯腿训练监控关键帧；
对所述多个弯腿训练监控关键帧进行处理以得到步态能量图；
将所述步态能量图通过作为特征提取器的卷积神经网络模型以得到第一尺度步态能量特征图；
将所述步态能量图通过ViT模型以得到第二尺度步态能量特征图；
融合所述第一尺度步态能量特征图和所述第二尺度步态能量特征图以得到分类特征图；以及
将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待监控对象的步态是否正常。
在上述的术后弯腿训练监控方法中，将所述步态能量图通过作为特征提取器的卷积神经网络模型以得到第一尺度步态能量特征图，包括：
所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中分别进行：
对输入数据进行卷积处理以得到第一尺度卷积特征图；
对所述第一尺度卷积特征图进行均值池化处理以得到第一尺度池化特征图；以及
对所述第一尺度池化特征图进行非线性激活以得到第一尺度激活特征图；
其中，所述作为特征提取器的卷积神经网络模型的最后一层的输出为所述第一尺度步态能量特征图，所述作为特征提取器的卷积神经网络模型的第一层的输入为所述步态能量图。
在上述的术后弯腿训练监控方法中，将所述步态能量图通过ViT模型以得到第二尺度步态能量特征图，包括：
对所述步态能量图进行图像分块处理以得到图像块的序列；
使用所述ViT模型的嵌入层分别对所述图像块的序列中的各个图像块进行嵌入编码以得到图像块嵌入向量的序列；
将所述图像块嵌入向量的序列输入所述ViT模型的转换器结构以得到图像块上下文语义特征向量的序列；以及
将所述图像块上下文语义特征向量的序列按照所述图像分块处理时对应的空间位置进行排列以得到所述第二尺度步态能量特征图。
在上述的术后弯腿训练监控方法中，使用所述ViT模型的嵌入层分别对所述图像块的序列中的各个图像块进行嵌入编码以得到图像块嵌入向量的序列，包括：
将所述图像块的序列中的各个图像块中所有像素位置的像素值排列为一维向量；以及
使用所述ViT模型的全连接层以如下全连接编码公式对所述一维向量进行全连接编码以提取出所述一维向量中各个位置的特征值的高维隐含特征，其中，所述全连接编码公式为：其中，X是所述一维向量，Y是输出向量，W是权重矩阵，B是偏置向量，/>表示矩阵乘。
与现有技术相比，本申请提供的术后弯腿训练监控***及其方法，其首先从待监控对象的弯腿训练监控视频提取一个步态周期内的多个弯腿训练监控关键帧，接着，对所述多个弯腿训练监控关键帧进行处理以得到步态能量图，然后，将所述步态能量图分别通过卷积神经网络模型和ViT模型以得到第一尺度步态能量特征图和第二尺度步态能量特征图，接着，融合所述第一尺度步态能量特征图和所述第二尺度步态能量特征图以得到分类特征图，最后，将所述分类特征图通过分类器以得到用于表示待监控对象的步态是否正常的分类结果。这样，可以准确地进行患者的步态评估，以及时发现异常来便于进行相应处理。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本申请的主旨。
图1为根据本申请实施例的术后弯腿训练监控***的应用场景图。
图2为根据本申请实施例的术后弯腿训练监控***的框图示意图。
图3为根据本申请实施例的术后弯腿训练监控***中的所述第二尺度图像特征提取模块的框图示意图。
图4为根据本申请实施例的术后弯腿训练监控***中的所述步态检测模块的框图示意图。
图5为根据本申请实施例的术后弯腿训练监控方法的流程图。
图6为根据本申请实施例的术后弯腿训练监控方法的***架构的示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的***中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述***和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的***所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
如上所述，术后弯腿监控需要关注以下几个监控项：活动情况，对于术后弯腿的患者来说，适当的活动能够促进血液循环，减轻血栓形成的风险。因此，需要密切关注患者的活动情况，根据医生指示进行恰当的活动；疼痛评估，在手术后，患者可能会有疼痛不适的感觉。需要对患者疼痛进行评估，并根据医生的用药建议进行处理；步态评估，术后弯腿患者可能在行走时出现膝关节屈曲，导致步态异常。需要对患者的步态进行评估，及时发现异常情况，以便进行相应处理；下肢活动度评估，监测患者的下肢活动度，这可以帮助监测肌肉牵引和关节范围，增加下肢循环和降低肢体内形成深静脉血栓的风险。以上监控项，需要专业人员对患者进行科学监测，及时发现异常情况，及时采取相应的处理方法，以确保患者能够更好的恢复。
进一步地，对于术后弯腿锻炼的患者来说，适当的活动能够促进血液循环，减轻血栓形成的风险。但是，术后弯腿患者可能在行走时出现膝关节屈曲，导致步态异常，影响患者的术后康复。因此，期望一种优化的术后弯腿训练监控***，其能够对于患者的步态进行评估，及时发现异常情况，以便进行相应处理。
相应地，考虑到患者在进行术后弯腿训练的过程中，为了能够对于患者的步态进行评估，以及时发现异常，期望通过对于待监控对象的弯腿训练监控视频进行分析来实现。也就是说，待监控对象的弯腿训练监控视频中存在有关于该患者在进行术后弯腿训练时的步态特征信息，因此，基于对于视频的分析来实现对患者术后弯腿训练过程中的步态监测。但是，由于所述弯腿训练监控视频中存在有较多的信息量，关于患者术后弯腿训练的步态特征信息在监控视频中为小尺度的隐性特征，难以进行充分地特征表达。因此，在此过程中，难点在于如何充分地挖掘出所述弯腿训练监控视频中关于患者的术后弯腿训练的步态隐含特征分布信息，以此来准确地进行患者的步态评估，以及时发现异常来便于进行相应处理。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述弯腿训练监控视频中关于患者的术后弯腿训练的步态隐含特征分布信息提供了新的解决思路和方案。
具体地，在本申请的技术方案中，首先，获取待监控对象的弯腿训练监控视频。接着，考虑到在所述弯腿训练监控视频中，所述待监控对象的步态变化特征可以通过所述弯腿训练监控视频中的一个步态周期内的相邻监控帧之间的差分来表示，也就是，通过相邻图像帧的图像表征来表示患者术后弯腿训练时的步态变化情况。但是，考虑到监控视频中相邻帧的差异较小，存在大量数据冗余，因此，为了降低计算量，且避免数据冗余给检测带来的不良影响，以预定采样频率对所述弯腿训练监控视频进行关键帧采样，以从所述待监控对象的弯腿训练监控视频提取一个步态周期内的多个弯腿训练监控关键帧。
然后，考虑到步态能量图(Gait Engery Image,GEI)是步态检测中非常常用的步态特征，其能够很好的表现步态的速度、形态等特征信息。因此，在本申请的技术方案中，对所述多个弯腿训练监控关键帧进行处理以得到步态能量图。特别地，在本申请的一个具体示例中，步态能量图生成主要包括：在原始轮廓图上，即所述各个弯腿训练监控关键帧中对患者的轮廓进行裁剪，并以患者的头顶作为中心位置；然后，再对裁剪后图像进行合成，以一个步态周期的图像合成一个步态能量图。
进一步地，使用在图像的隐含特征提取方面具有优异表现的作为特征提取器的卷积神经网络模型来进行所述步态能量图的特征挖掘，以提取出患者在术后弯腿训练过程中的步态速度、形态等隐含特征分布信息，从而得到第一尺度步态能量特征图。
然后，考虑到由于卷积运算的固有局限性，纯CNN的方法很难学习明确的全局和远程语义信息交互。并且，还考虑到由于所述步态能量图中关于患者在术后弯腿训练过程中的步态速度、形态等隐含特征为小尺度的细微特征，难以进行捕捉提取。因此，为了能够提高所述步态能量图中关于患者的步态隐含小尺度的细微特征的表达能力，以此来提高对于患者的步态进行准确地评估，在本申请的技术方案中，将所述步态能量图通过ViT模型中进行编码，以提取出所述步态能量图中关于患者在术后弯腿训练过程中的步态速度、形态的隐含全局上下文语义关联特征分布信息，从而得到第二尺度步态能量特征图。应可以理解，在对于所述步态能量图进行图像分块处理后的各个图像块中关于所述患者在术后弯腿训练过程中的步态速度、形态的小尺度隐含特征不再是小尺度的特征信息，有利于后续进行对于患者的步态是否正常进行检测。特别地，这里，所述嵌入层通过可学习嵌入矩阵将所述各个图像块线性投影为一维嵌入向量。嵌入化的实现过程是先分别将各个所述图像块中所有像素位置的像素值排列为一维向量，然后使用全连接层对该一维向量进行全连接编码以实现嵌入化。并且，这里，所述ViT模型可以像Transformer一样直接通过自注意机制处理所述各个图像块，以此来分别提取出所述各个图像块中基于所述步态能量图整体的关于所述患者在术后弯腿训练过程中的步态速度、形态的基于全局的隐含上下文语义关联特征信息。
接着，进一步再融合所述第一尺度步态能量特征图和所述第二尺度步态能量特征图以得到分类特征图，以此来融合出所述弯腿训练监控视频中关于患者在训练过程中的步态速度、形态等隐含特征的基于长距离依赖关联和短距离依赖关联的多尺度关联性特征分布信息。然后，将所述分类特征图通过分类器中进行分类处理，以得到用于表示待监控对象的步态是否正常的分类结果。
也就是，在本申请的技术方案中，所述分类器的标签包括所述待监控对象的步态正常(第一标签)，以及，所述待监控对象的步态异常(第二标签)，其中，所述分类器通过软最大值函数来确定所述分类特征图属于哪个分类标签。值得注意的是，这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念，实际上在训练过程当中，计算机模型并没有“待监控对象的步态是否正常”这种概念，其只是有两种分类标签且输出特征在这两个分类标签下的概率，即p1和p2之和为一。因此，待监控对象的步态是否正常的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布，实质上用到的是标签的自然概率分布的物理意义，而不是“待监控对象的步态是否正常”的语言文本意义。应可以理解，在本申请的技术方案中，所述分类器的分类标签为所述待监控对象的步态是否正常的评估检测标签，因此，在得到所述分类结果后，可基于所述分类结果来准确地进行患者在术后弯腿训练过程中的步态评估，以及时发现异常来便于进行相应处理。
特别地，在本申请的技术方案中，在融合所述第一尺度步态能量特征图和所述第二尺度步态能量特征图得到所述分类特征图时，由于所述第一尺度步态能量特征图和所述第二尺度步态能量特征图分别表达不同尺度下的步态能量图的图像语义，即所述第一尺度步态能量特征图表达特征提取器的卷积核尺度下的局部关联图像语义，而所述第二尺度步态能量特征图表达ViT模型的图像块尺度下的上下文图像语义，因此期望针对所述第一尺度步态能量特征图和所述第二尺度步态能量特征图的不同尺度对其进行融合，以提升所述分类特征图对所述第一尺度步态能量特征图和所述第二尺度步态能量特征图的融合效果。
基于此，本申请的申请人对所述第一尺度步态能量特征图F1和所述第二尺度步态能量特征图F2进行基于尺度认知的高斯联合密度融合，表示为：
f1∈F1 and f2∈F2
μ和σ分别是的特征集合(即，所述第一尺度步态能量特征图F1和所述第二尺度步态能量特征图F2的所有特征值的特征集合)的均值和方差，W、H和C分别是特征图的宽度、高度和通道数，且f′是所述分类特征图的特征值。
这里，所述基于尺度认知的高斯联合密度融合考虑到待融合特征的尺度最优表达特性，为了提高特征融合的有效性和相对于待融合特征的泛化性能，将具有尺度认知的高斯联合密度作为优势函数(advantage function)，来对基于均值和方差的特征分布的分类表现差异(performance gap)进行策略表达(policy representation)，从而提升特征融合的特征-尺度自依赖性，以提升所述分类特征图对所述第一尺度步态能量特征图和所述第二尺度步态能量特征图的融合效果。这样，能够准确地进行患者在术后弯腿训练过程中的步态检测评估，以及时地发现异常，便于进行相应处理。
图1为根据本申请实施例的术后弯腿训练监控***的应用场景图。如图1所示，在该应用场景中，首先，可以通过例如监控摄像头(例如，图1中所示意的C)等设备获取待监控对象的弯腿训练监控视频(例如，图1中所示意的D)，然后，将所述待监控对象的弯腿训练监控视频输入至部署有术后弯腿训练监控算法的服务器中(例如，图1中所示意的S)，其中，所述服务器能够使用所述术后弯腿训练监控算法对所述待监控对象的弯腿训练监控视频进行处理以得到用于表示待监控对象的步态是否正常的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
图2为根据本申请实施例的术后弯腿训练监控***的框图示意图。如图2所示，根据本申请实施例的术后弯腿训练监控***100，包括：视频数据采集模块110，用于获取待监控对象的弯腿训练监控视频；关键帧提取模块120，用于从所述待监控对象的弯腿训练监控视频提取一个步态周期内的多个弯腿训练监控关键帧；步态能量图生成模块130，用于对所述多个弯腿训练监控关键帧进行处理以得到步态能量图；第一尺度图像特征提取模块140，用于将所述步态能量图通过作为特征提取器的卷积神经网络模型以得到第一尺度步态能量特征图；第二尺度图像特征提取模块150，用于将所述步态能量图通过ViT模型以得到第二尺度步态能量特征图；多尺度图像特征关联模块160，用于融合所述第一尺度步态能量特征图和所述第二尺度步态能量特征图以得到分类特征图；以及，步态检测模块170，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待监控对象的步态是否正常。因此，为了能够对于患者的步态进行评估，以及时发现异常，期望通过对于待监控对象的弯腿训练监控视频进行分析来实现。也就是说，待监控对象的弯腿训练监控视频中存在有关于该患者在进行术后弯腿训练时的步态特征信息，因此，基于对于视频的分析来实现对患者术后弯腿训练过程中的步态监测。但是，由于所述弯腿训练监控视频中存在有较多的信息量，关于患者术后弯腿训练的步态特征信息在监控视频中为小尺度的隐性特征，难以进行充分地特征表达。因此，在本申请的技术方案中，通过挖掘所述弯腿训练监控视频中关于患者的术后弯腿训练的步态隐含特征分布信息，以此来准确地进行患者的步态评估，以及时发现异常来便于进行相应处理。
更具体地，在本申请实施例中，所述视频数据采集模块110，用于获取待监控对象的弯腿训练监控视频。对于术后弯腿锻炼的患者来说，适当的活动能够促进血液循环，减轻血栓形成的风险。但是，术后弯腿患者可能在行走时出现膝关节屈曲，导致步态异常，影响患者的术后康复。
更具体地，在本申请实施例中，所述关键帧提取模块120，用于从所述待监控对象的弯腿训练监控视频提取一个步态周期内的多个弯腿训练监控关键帧。在所述弯腿训练监控视频中，所述待监控对象的步态变化特征可以通过所述弯腿训练监控视频中的一个步态周期内的相邻监控帧之间的差分来表示，也就是，通过相邻图像帧的图像表征来表示患者术后弯腿训练时的步态变化情况。但是，考虑到监控视频中相邻帧的差异较小，存在大量数据冗余，因此，为了降低计算量，且避免数据冗余给检测带来的不良影响，以预定采样频率对所述弯腿训练监控视频进行关键帧采样，以从所述待监控对象的弯腿训练监控视频提取一个步态周期内的多个弯腿训练监控关键帧。
更具体地，在本申请实施例中，所述步态能量图生成模块130，用于对所述多个弯腿训练监控关键帧进行处理以得到步态能量图。步态能量图是步态检测中非常常用的步态特征，其能够很好的表现步态的速度、形态等特征信息。因此，在本申请的技术方案中，对所述多个弯腿训练监控关键帧进行处理以得到步态能量图。特别地，在本申请的一个具体示例中，步态能量图生成主要包括：在原始轮廓图上，即所述各个弯腿训练监控关键帧中对患者的轮廓进行裁剪，并以患者的头顶作为中心位置；然后，再对裁剪后图像进行合成，以一个步态周期的图像合成一个步态能量图。
更具体地，在本申请实施例中，所述第一尺度图像特征提取模块140，用于将所述步态能量图通过作为特征提取器的卷积神经网络模型以得到第一尺度步态能量特征图。使用在图像的隐含特征提取方面具有优异表现的作为特征提取器的卷积神经网络模型来进行所述步态能量图的特征挖掘，以提取出患者在术后弯腿训练过程中的步态速度、形态等隐含特征分布信息，从而得到第一尺度步态能量特征图。
更具体地，在本申请实施例中，所述第一尺度图像特征提取模块140，用于：所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到第一尺度卷积特征图；对所述第一尺度卷积特征图进行均值池化处理以得到第一尺度池化特征图；以及，对所述第一尺度池化特征图进行非线性激活以得到第一尺度激活特征图；其中，所述作为特征提取器的卷积神经网络模型的最后一层的输出为所述第一尺度步态能量特征图，所述作为特征提取器的卷积神经网络模型的第一层的输入为所述步态能量图。
应可以理解，卷积神经网络(Convolutional Neural Network，CNN)是一种人工神经网络，在图像识别等领域有着广泛的应用。卷积神经网络可以包括输入层、隐藏层和输出层，其中，隐藏层可以包括卷积层、池化(pooling)层、激活层和全连接层等，上一层根据输入的数据进行相应的运算，将运算结果输出给下一层，输入的初始数据经过多层的运算之后得到一个最终的结果。卷积神经网络模型利用卷积核作为特征过滤因子在图像局部特征提取方面具有非常优异的性能表现，且相较于传统的基于统计或者基于特征工程的图像特征提取算法，所述卷积神经网络模型具有更强的特征提取泛化能力和拟合能力。
更具体地，在本申请实施例中，所述第二尺度图像特征提取模块150，用于将所述步态能量图通过ViT模型以得到第二尺度步态能量特征图。考虑到由于卷积运算的固有局限性，纯CNN的方法很难学习明确的全局和远程语义信息交互。并且，还考虑到由于所述步态能量图中关于患者在术后弯腿训练过程中的步态速度、形态等隐含特征为小尺度的细微特征，难以进行捕捉提取。因此，为了能够提高所述步态能量图中关于患者的步态隐含小尺度的细微特征的表达能力，以此来提高对于患者的步态进行准确地评估，在本申请的技术方案中，将所述步态能量图通过ViT模型中进行编码，以提取出所述步态能量图中关于患者在术后弯腿训练过程中的步态速度、形态的隐含全局上下文语义关联特征分布信息，从而得到第二尺度步态能量特征图。
应可以理解，在对于所述步态能量图进行图像分块处理后的各个图像块中关于所述患者在术后弯腿训练过程中的步态速度、形态的小尺度隐含特征不再是小尺度的特征信息，有利于后续进行对于患者的步态是否正常进行检测。特别地，这里，所述嵌入层通过可学习嵌入矩阵将所述各个图像块线性投影为一维嵌入向量。嵌入化的实现过程是先分别将各个所述图像块中所有像素位置的像素值排列为一维向量，然后使用全连接层对该一维向量进行全连接编码以实现嵌入化。并且，这里，所述ViT模型可以像Transformer一样直接通过自注意机制处理所述各个图像块，以此来分别提取出所述各个图像块中基于所述步态能量图整体的关于所述患者在术后弯腿训练过程中的步态速度、形态的基于全局的隐含上下文语义关联特征信息。
更具体地，在本申请实施例中，如图3所示，所述第二尺度图像特征提取模块150，包括：图像分块单元151，用于对所述步态能量图进行图像分块处理以得到图像块的序列；嵌入编码单元152，用于使用所述ViT模型的嵌入层分别对所述图像块的序列中的各个图像块进行嵌入编码以得到图像块嵌入向量的序列；图像上下文语义关联单元153，用于将所述图像块嵌入向量的序列输入所述ViT模型的转换器结构以得到图像块上下文语义特征向量的序列；以及，维度重构单元154，用于将所述图像块上下文语义特征向量的序列按照所述图像分块处理时对应的空间位置进行排列以得到所述第二尺度步态能量特征图。
更具体地，在本申请实施例中，所述嵌入编码单元152，用于：将所述图像块的序列中的各个图像块中所有像素位置的像素值排列为一维向量；以及，使用所述ViT模型的全连接层以如下全连接编码公式对所述一维向量进行全连接编码以提取出所述一维向量中各个位置的特征值的高维隐含特征，其中，所述全连接编码公式为：其中，X是所述一维向量，Y是输出向量，W是权重矩阵，B是偏置向量，/>表示矩阵乘。
更具体地，在本申请实施例中，所述多尺度图像特征关联模块160，用于融合所述第一尺度步态能量特征图和所述第二尺度步态能量特征图以得到分类特征图。以此来融合出所述弯腿训练监控视频中关于患者在训练过程中的步态速度、形态等隐含特征的基于长距离依赖关联和短距离依赖关联的多尺度关联性特征分布信息。
特别地，在本申请的技术方案中，在融合所述第一尺度步态能量特征图和所述第二尺度步态能量特征图得到所述分类特征图时，由于所述第一尺度步态能量特征图和所述第二尺度步态能量特征图分别表达不同尺度下的步态能量图的图像语义，即所述第一尺度步态能量特征图表达特征提取器的卷积核尺度下的局部关联图像语义，而所述第二尺度步态能量特征图表达ViT模型的图像块尺度下的上下文图像语义，因此期望针对所述第一尺度步态能量特征图和所述第二尺度步态能量特征图的不同尺度对其进行融合，以提升所述分类特征图对所述第一尺度步态能量特征图和所述第二尺度步态能量特征图的融合效果。基于此，本申请的申请人对所述第一尺度步态能量特征图F1和所述第二尺度步态能量特征图F2进行基于尺度认知的高斯联合密度融合。
更具体地，在本申请实施例中，所述多尺度图像特征关联模块160，用于：以如下优化公式对所述第一尺度步态能量特征图和所述第二尺度步态能量特征图进行基于尺度认知的高斯联合密度融合以得到所述分类特征图；其中，所述优化公式为：
f1∈F1 and f2∈F2
其中，F1表示所述第一尺度步态能量特征图，F2表示所述第二尺度步态能量特征图，f1是所述第一尺度步态能量特征图中各个位置的特征值，f2是所述第二尺度步态能量特征图中各个位置的特征值，μ和σ分别是所述第一尺度步态能量特征图和所述第二尺度步态能量特征图的所有特征值的特征集合的均值和方差，W、H和C分别是特征图的宽度、高度和通道数，且f′是所述分类特征图的各个位置特征值。
这里，所述基于尺度认知的高斯联合密度融合考虑到待融合特征的尺度最优表达特性，为了提高特征融合的有效性和相对于待融合特征的泛化性能，将具有尺度认知的高斯联合密度作为优势函数(advantage function)，来对基于均值和方差的特征分布的分类表现差异(performance gap)进行策略表达(policy representation)，从而提升特征融合的特征-尺度自依赖性，以提升所述分类特征图对所述第一尺度步态能量特征图和所述第二尺度步态能量特征图的融合效果。这样，能够准确地进行患者在术后弯腿训练过程中的步态检测评估，以及时地发现异常，便于进行相应处理。
更具体地，在本申请实施例中，所述步态检测模块170，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待监控对象的步态是否正常。也就是，在本申请的技术方案中，所述分类器的标签包括所述待监控对象的步态正常(第一标签)，以及，所述待监控对象的步态异常(第二标签)，其中，所述分类器通过软最大值函数来确定所述分类特征图属于哪个分类标签。应可以理解，在本申请的技术方案中，所述分类器的分类标签为所述待监控对象的步态是否正常的评估检测标签，因此，在得到所述分类结果后，可基于所述分类结果来准确地进行患者在术后弯腿训练过程中的步态评估，以及时发现异常来便于进行相应处理。
应可以理解，分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器，然后对未知数据进行分类(或预测)。逻辑回归(logistics)、SVM等常用于解决二分类问题，对于多分类问题(multi-class classification)，同样也可以用逻辑回归或SVM，只是需要多个二分类来组成多分类，但这样容易出错且效率不高，常用的多分类方法有Softmax分类函数。
更具体地，在本申请实施例中，如图4所示，所述步态检测模块170，包括：特征图展开单元171，用于将所述分类特征图按照行向量或者列向量展开为分类特征向量；全连接编码单元172，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元173，用于将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
综上，基于本申请实施例的术后弯腿训练监控***100被阐明，其首先从待监控对象的弯腿训练监控视频提取一个步态周期内的多个弯腿训练监控关键帧，接着，对所述多个弯腿训练监控关键帧进行处理以得到步态能量图，然后，将所述步态能量图分别通过卷积神经网络模型和ViT模型以得到第一尺度步态能量特征图和第二尺度步态能量特征图，接着，融合所述第一尺度步态能量特征图和所述第二尺度步态能量特征图以得到分类特征图，最后，将所述分类特征图通过分类器以得到用于表示待监控对象的步态是否正常的分类结果。这样，可以准确地进行患者的步态评估，以及时发现异常来便于进行相应处理。
如上所述，根据本申请实施例的所述基于本申请实施例的术后弯腿训练监控***100可以实现在各种终端设备中，例如具有基于本申请实施例的术后弯腿训练监控算法的服务器等。在一个示例中，基于本申请实施例的术后弯腿训练监控***100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于本申请实施例的术后弯腿训练监控***100可以是该终端设备的操作***中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于本申请实施例的术后弯腿训练监控***100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于本申请实施例的术后弯腿训练监控***100与该终端设备也可以是分立的设备，并且该术后弯腿训练监控***100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
图5为根据本申请实施例的术后弯腿训练监控方法的流程图。如图5所示，根据本申请实施例的术后弯腿训练监控方法，其包括：S110，获取待监控对象的弯腿训练监控视频；S120，从所述待监控对象的弯腿训练监控视频提取一个步态周期内的多个弯腿训练监控关键帧；S130，对所述多个弯腿训练监控关键帧进行处理以得到步态能量图；S140，将所述步态能量图通过作为特征提取器的卷积神经网络模型以得到第一尺度步态能量特征图；S150，将所述步态能量图通过ViT模型以得到第二尺度步态能量特征图；S160，融合所述第一尺度步态能量特征图和所述第二尺度步态能量特征图以得到分类特征图；以及，S170，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待监控对象的步态是否正常。
图6为根据本申请实施例的术后弯腿训练监控方法的***架构的示意图。如图6所示，在所述术后弯腿训练监控方法的***架构中，首先，获取待监控对象的弯腿训练监控视频；接着，从所述待监控对象的弯腿训练监控视频提取一个步态周期内的多个弯腿训练监控关键帧；然后，对所述多个弯腿训练监控关键帧进行处理以得到步态能量图；接着，将所述步态能量图通过作为特征提取器的卷积神经网络模型以得到第一尺度步态能量特征图；然后，将所述步态能量图通过ViT模型以得到第二尺度步态能量特征图；接着，融合所述第一尺度步态能量特征图和所述第二尺度步态能量特征图以得到分类特征图；最后，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待监控对象的步态是否正常。
在一个具体示例中，在上述术后弯腿训练监控方法中，将所述步态能量图通过作为特征提取器的卷积神经网络模型以得到第一尺度步态能量特征图，包括：所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到第一尺度卷积特征图；对所述第一尺度卷积特征图进行均值池化处理以得到第一尺度池化特征图；以及，对所述第一尺度池化特征图进行非线性激活以得到第一尺度激活特征图；其中，所述作为特征提取器的卷积神经网络模型的最后一层的输出为所述第一尺度步态能量特征图，所述作为特征提取器的卷积神经网络模型的第一层的输入为所述步态能量图。
在一个具体示例中，在上述术后弯腿训练监控方法中，将所述步态能量图通过ViT模型以得到第二尺度步态能量特征图，包括：对所述步态能量图进行图像分块处理以得到图像块的序列；使用所述ViT模型的嵌入层分别对所述图像块的序列中的各个图像块进行嵌入编码以得到图像块嵌入向量的序列；将所述图像块嵌入向量的序列输入所述ViT模型的转换器结构以得到图像块上下文语义特征向量的序列；以及，将所述图像块上下文语义特征向量的序列按照所述图像分块处理时对应的空间位置进行排列以得到所述第二尺度步态能量特征图。
在一个具体示例中，在上述术后弯腿训练监控方法中，使用所述ViT模型的嵌入层分别对所述图像块的序列中的各个图像块进行嵌入编码以得到图像块嵌入向量的序列，包括：将所述图像块的序列中的各个图像块中所有像素位置的像素值排列为一维向量；以及，使用所述ViT模型的全连接层以如下全连接编码公式对所述一维向量进行全连接编码以提取出所述一维向量中各个位置的特征值的高维隐含特征，其中，所述全连接编码公式为：其中，X是所述一维向量，Y是输出向量，W是权重矩阵，B是偏置向量，/>表示矩阵乘。
在一个具体示例中，在上述术后弯腿训练监控方法中，融合所述第一尺度步态能量特征图和所述第二尺度步态能量特征图以得到分类特征图，包括：以如下优化公式对所述第一尺度步态能量特征图和所述第二尺度步态能量特征图进行基于尺度认知的高斯联合密度融合以得到所述分类特征图；其中，所述优化公式为：
f1∈F1 and f2∈F2
其中，F1表示所述第一尺度步态能量特征图，F2表示所述第二尺度步态能量特征图，f1是所述第一尺度步态能量特征图中各个位置的特征值，f2是所述第二尺度步态能量特征图中各个位置的特征值，μ和σ分别是所述第一尺度步态能量特征图和所述第二尺度步态能量特征图的所有特征值的特征集合的均值和方差，W、H和C分别是特征图的宽度、高度和通道数，且f′是所述分类特征图的各个位置特征值。
在一个具体示例中，在上述术后弯腿训练监控方法中，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待监控对象的步态是否正常，包括：将所述分类特征图按照行向量或者列向量展开为分类特征向量；使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
这里，本领域技术人员可以理解，上述术后弯腿训练监控方法中的各个步骤的具体操作已经在上面参考图1到图4的术后弯腿训练监控***100的描述中得到了详细介绍，并因此，将省略其重复描述。
根据本申请的另一方面，还提供了一种非易失性的计算机可读存储介质，其上存储有计算机可读的指令，当利用计算机执行所述指令时可以执行如前所述的方法。
技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如，各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。
所有软件或其中的一部分有时可能会通过网络进行通信，如互联网或其他通信网络。此类通信可以将软件从一个计算机设备或处理器加载到另一个。例如：从视频目标检测设备的一个服务器或主机计算机加载至一个计算机环境的硬件平台，或其他实现***的计算机环境，或与提供目标检测所需要的信息相关的类似功能的***。因此，另一种能够传递软件元素的介质也可以被用作局部设备之间的物理连接，例如光波、电波、电磁波等，通过电缆、光缆或者空气等实现传播。用来载波的物理介质如电缆、无线连接或光缆等类似设备，也可以被认为是承载软件的介质。在这里的用法除非限制了有形的“储存”介质，其他表示计算机或机器“可读介质”的术语都表示在处理器执行任何指令的过程中参与的介质。
本申请使用了特定词语来描述本申请的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“***”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (10)

1.一种术后弯腿训练监控***，其特征在于，包括：
视频数据采集模块，用于获取待监控对象的弯腿训练监控视频；
关键帧提取模块，用于从所述待监控对象的弯腿训练监控视频提取一个步态周期内的多个弯腿训练监控关键帧；
步态能量图生成模块，用于对所述多个弯腿训练监控关键帧进行处理以得到步态能量图；
第一尺度图像特征提取模块，用于将所述步态能量图通过作为特征提取器的卷积神经网络模型以得到第一尺度步态能量特征图；
第二尺度图像特征提取模块，用于将所述步态能量图通过ViT模型以得到第二尺度步态能量特征图；
多尺度图像特征关联模块，用于融合所述第一尺度步态能量特征图和所述第二尺度步态能量特征图以得到分类特征图；以及
步态检测模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待监控对象的步态是否正常。
2.根据权利要求1所述的术后弯腿训练监控***，其特征在于，所述第一尺度图像特征提取模块，用于：
所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中分别进行：
对输入数据进行卷积处理以得到第一尺度卷积特征图；
对所述第一尺度卷积特征图进行均值池化处理以得到第一尺度池化特征图；以及
对所述第一尺度池化特征图进行非线性激活以得到第一尺度激活特征图；
其中，所述作为特征提取器的卷积神经网络模型的最后一层的输出为所述第一尺度步态能量特征图，所述作为特征提取器的卷积神经网络模型的第一层的输入为所述步态能量图。
3.根据权利要求2所述的术后弯腿训练监控***，其特征在于，所述第二尺度图像特征提取模块，包括：
图像分块单元，用于对所述步态能量图进行图像分块处理以得到图像块的序列；
嵌入编码单元，用于使用所述ViT模型的嵌入层分别对所述图像块的序列中的各个图像块进行嵌入编码以得到图像块嵌入向量的序列；
图像上下文语义关联单元，用于将所述图像块嵌入向量的序列输入所述ViT模型的转换器结构以得到图像块上下文语义特征向量的序列；以及
维度重构单元，用于将所述图像块上下文语义特征向量的序列按照所述图像分块处理时对应的空间位置进行排列以得到所述第二尺度步态能量特征图。
4.根据权利要求3所述的术后弯腿训练监控***，其特征在于，所述嵌入编码单元，用于：
将所述图像块的序列中的各个图像块中所有像素位置的像素值排列为一维向量；以及
使用所述ViT模型的全连接层以如下全连接编码公式对所述一维向量进行全连接编码以提取出所述一维向量中各个位置的特征值的高维隐含特征，其中，所述全连接编码公式为：其中，X是所述一维向量，Y是输出向量，W是权重矩阵，B是偏置向量，/>表示矩阵乘。
5.根据权利要求4所述的术后弯腿训练监控***，其特征在于，所述多尺度图像特征关联模块，用于：
以如下优化公式对所述第一尺度步态能量特征图和所述第二尺度步态能量特征图进行基于尺度认知的高斯联合密度融合以得到所述分类特征图；
其中，所述优化公式为：
f1∈F1and f2∈F2
其中，F1表示所述第一尺度步态能量特征图，F2表示所述第二尺度步态能量特征图，f1是所述第一尺度步态能量特征图中各个位置的特征值，f2是所述第二尺度步态能量特征图中各个位置的特征值，μ和σ分别是所述第一尺度步态能量特征图和所述第二尺度步态能量特征图的所有特征值的特征集合的均值和方差，W、H和C分别是特征图的宽度、高度和通道数，且f′是所述分类特征图的各个位置特征值。
6.根据权利要求5所述的术后弯腿训练监控***，其特征在于，所述步态检测模块，包括：
特征图展开单元，用于将所述分类特征图按照行向量或者列向量展开为分类特征向量；
全连接编码单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及
分类单元，用于将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
7.一种术后弯腿训练监控方法，其特征在于，包括：
获取待监控对象的弯腿训练监控视频；
从所述待监控对象的弯腿训练监控视频提取一个步态周期内的多个弯腿训练监控关键帧；
对所述多个弯腿训练监控关键帧进行处理以得到步态能量图；
将所述步态能量图通过作为特征提取器的卷积神经网络模型以得到第一尺度步态能量特征图；
将所述步态能量图通过ViT模型以得到第二尺度步态能量特征图；
融合所述第一尺度步态能量特征图和所述第二尺度步态能量特征图以得到分类特征图；以及
将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待监控对象的步态是否正常。
8.根据权利要求7所述的术后弯腿训练监控方法，其特征在于，将所述步态能量图通过作为特征提取器的卷积神经网络模型以得到第一尺度步态能量特征图，包括：
所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中分别进行：
对输入数据进行卷积处理以得到第一尺度卷积特征图；
对所述第一尺度卷积特征图进行均值池化处理以得到第一尺度池化特征图；以及
对所述第一尺度池化特征图进行非线性激活以得到第一尺度激活特征图；
其中，所述作为特征提取器的卷积神经网络模型的最后一层的输出为所述第一尺度步态能量特征图，所述作为特征提取器的卷积神经网络模型的第一层的输入为所述步态能量图。
9.根据权利要求8所述的术后弯腿训练监控方法，其特征在于，将所述步态能量图通过ViT模型以得到第二尺度步态能量特征图，包括：
对所述步态能量图进行图像分块处理以得到图像块的序列；
使用所述ViT模型的嵌入层分别对所述图像块的序列中的各个图像块进行嵌入编码以得到图像块嵌入向量的序列；
将所述图像块嵌入向量的序列输入所述ViT模型的转换器结构以得到图像块上下文语义特征向量的序列；以及
将所述图像块上下文语义特征向量的序列按照所述图像分块处理时对应的空间位置进行排列以得到所述第二尺度步态能量特征图。
10.根据权利要求9所述的术后弯腿训练监控方法，其特征在于，使用所述ViT模型的嵌入层分别对所述图像块的序列中的各个图像块进行嵌入编码以得到图像块嵌入向量的序列，包括：
将所述图像块的序列中的各个图像块中所有像素位置的像素值排列为一维向量；以及
使用所述ViT模型的全连接层以如下全连接编码公式对所述一维向量进行全连接编码以提取出所述一维向量中各个位置的特征值的高维隐含特征，其中，所述全连接编码公式为：其中，X是所述一维向量，Y是输出向量，W是权重矩阵，B是偏置向量，/>表示矩阵乘。
CN202310530445.XA 2023-05-12 2023-05-12 术后弯腿训练监控***及其方法 Pending CN116631619A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310530445.XA CN116631619A (zh) 2023-05-12 2023-05-12 术后弯腿训练监控***及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310530445.XA CN116631619A (zh) 2023-05-12 2023-05-12 术后弯腿训练监控***及其方法

Publications (1)

Publication Number Publication Date
CN116631619A true CN116631619A (zh) 2023-08-22

Family

ID=87620551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310530445.XA Pending CN116631619A (zh) 2023-05-12 2023-05-12 术后弯腿训练监控***及其方法

Country Status (1)

Country Link
CN (1) CN116631619A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437459A (zh) * 2023-10-08 2024-01-23 昆山市第一人民医院 基于决策网络实现用户膝关节髌骨软化状态分析方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437459A (zh) * 2023-10-08 2024-01-23 昆山市第一人民医院 基于决策网络实现用户膝关节髌骨软化状态分析方法
CN117437459B (zh) * 2023-10-08 2024-03-22 昆山市第一人民医院 基于决策网络实现用户膝关节髌骨软化状态分析方法

Similar Documents

Publication Publication Date Title
Khan et al. Human gait analysis for osteoarthritis prediction: A framework of deep learning and kernel extreme learning machine
Che et al. Hybrid multimodal fusion with deep learning for rolling bearing fault diagnosis
Narayan et al. A novel recommender system based on FFT with machine learning for predicting and identifying heart diseases
Chen et al. Automated pain detection from facial expressions using facs: A review
Wu et al. Combining attention-based multiple instance learning and gaussian processes for CT hemorrhage detection
CN116631619A (zh) 术后弯腿训练监控***及其方法
Nicolle et al. Real-time facial action unit intensity prediction with regularized metric learning
Guo et al. A tree-structure-guided graph convolutional network with contrastive learning for the assessment of parkinsonian hand movements
Liu et al. Information recovery-driven deep incomplete multiview clustering network
Pradhan et al. Optimizing CNN‐LSTM hybrid classifier using HCA for biomedical image classification
Rahman et al. [Retracted] Automated Detection of Rehabilitation Exercise by Stroke Patients Using 3‐Layer CNN‐LSTM Model
CN117598674B (zh) 多参数心脏功能监测***及方法
De Melo et al. Facial expression analysis using decomposed multiscale spatiotemporal networks
Gu et al. Cross-domain EEG signal classification via geometric preserving transfer discriminative dictionary learning
Soundrapandiyan et al. AI-based wavelet and stacked deep learning architecture for detecting coronavirus (COVID-19) from chest X-ray images
Das et al. AESPNet: attention enhanced stacked parallel network to improve automatic diabetic foot ulcer identification
CN116431004B (zh) 康复机器人交互行为的控制方法及***
Mahalakshmi et al. Few-shot learning-based human behavior recognition model
Anbalagan et al. Deep learning model using ensemble based approach for walking activity recognition and gait event prediction with grey level co-occurrence matrix
Zuo et al. Unsupervised statistical feature-guided diffusion model for sensor-based human activity recognition
Abdulmunem et al. Deep learning based masked face recognition in the era of the COVID-19 pandemic
Xu et al. A deep attention transformer network for pain estimation with facial expression video
Huu et al. Proposed detection face model by MobileNetV2 using Asian data set
Albert et al. Data augmentation of kinematic time-series from rehabilitation exercises using GANs
Yin et al. Predicting age-related macular degeneration progression with contrastive attention and time-aware lstm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination