CN112434679B - 康复运动的评估方法及装置、设备、存储介质 - Google Patents

康复运动的评估方法及装置、设备、存储介质 Download PDF

Info

Publication number
CN112434679B
CN112434679B CN202110107879.XA CN202110107879A CN112434679B CN 112434679 B CN112434679 B CN 112434679B CN 202110107879 A CN202110107879 A CN 202110107879A CN 112434679 B CN112434679 B CN 112434679B
Authority
CN
China
Prior art keywords
rehabilitation
frame
dimensional
bone node
node information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110107879.XA
Other languages
English (en)
Other versions
CN112434679A (zh
Inventor
汤有才
乔元风
李哲
李恩耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuanwei Beijing Biotechnology Co ltd
Original Assignee
Xuanwei Beijing Biotechnology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuanwei Beijing Biotechnology Co ltd filed Critical Xuanwei Beijing Biotechnology Co ltd
Priority to CN202110107879.XA priority Critical patent/CN112434679B/zh
Publication of CN112434679A publication Critical patent/CN112434679A/zh
Application granted granted Critical
Publication of CN112434679B publication Critical patent/CN112434679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

公开了一种康复运动的评估方法及装置、设备、存储介质。本申请一实施例中，康复运动的评估方法可以包括：获取评估对象的连续多帧康复运动图像；针对所述连续多帧康复运动图像逐帧提取二维骨节点信息；基于所述连续多帧康复运动图像的二维骨节点信息，通过预创建的骨节点树结构预测每帧所述康复运动图像的三维骨节点信息；基于单帧所述康复运动图像的三维骨节点信息，对所述评估对象相应时刻的康复运动姿态进行评价。本申请能够以较低的硬件成本实现了评估对象的各种康复运动姿态的高效准确评估，对于判定评估对象做出的动作质量、动作误差以及了解评估对象初始站位习惯有特殊意义。

Description

康复运动的评估方法及装置、设备、存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种康复运动的评估方法及装置、设备、存储介质。
背景技术
目前，对于需要进行康复训练的病患，一般要到康复医院进行现场训练，通过观看网络康复平台展示的标准动作来跟随做康复运动或在专业医生（例如，康复师）的指导下做指定的康复动作，来保证康复训练的效果。训练动作标准与否，通过专业医生的主观感受来判断，即进行康复训练时需要专业医生的参与，因此训练时间、场地会受到约束。
中国专利CN107982898A公开了一种康复运动的训练***及方法采用多个传感器设备对患者进行动作识别。该训练***包括：第一姿态传感器、第二姿态传感器、第三姿态传感器和控制器；第一姿态传感器、第二姿态传感器和第三姿态传感器分别获取人体姿态的第一四元数、第二四元数和第三四元数并发送至控制器；控制器分别将第一四元数、第二四元数和第三四元数转换为惯导坐标系下的不同旋转顺序的欧拉角信息，并根据欧拉角信息判断人体的当前***。本发明实现了对患者做出的康复动作进行测量并量化，根据数量值评价训练动作标准与否，对于判定患者做出的动作质量、动作误差以及了解患者初始站位习惯有特殊意义。且训练时无需专业医生( 康复师 )的参与，不受时间、场地的约束，实现了远程康复训练和指导。
中国专利申请CN111444879A公开了一种关节劳损自主康复动作识别方法及***主要包含检测人体姿态的骨骼网络。其方法包括以下步骤：对采集的人体姿态图像和视频进行预处理，对人体骨骼、坐站姿、自主康复运动进行标注，得到训练数据集；构建人体姿态估计神经网络，利用训练数据集训练人体姿态估计网络，以识别出标注的人体骨骼点，对所识别的人体骨骼点进行关节连接，得到人体骨架序列特征；构建姿态分类神经网络，输入从坐站姿、自主康复运动视频提取的人体骨架序列特征，训练姿态分类神经网络，得到动作识别结果；调整人体姿态估计神经网络、姿态分类神经网络的网络深度及特征数量；实时采集患者康复训练动作视频，输入到已训练的人体姿态估计神经网络和姿态分类神经网络中，得到患者动作识别结果。
中国专利申请CN201711080208.9公开了一种康复运动参数的测量***及方法，其测量***包括姿态传感器和控制器。康复运动参数包括：主角度；姿态传感器用于获取训练部位的姿态的起始四元数和当前四元数并发送至控制器；控制器用于将起始四元数转换为惯导坐标系下的不同旋转顺序的至少两个起始欧拉角信息，以及将当前四元数转换为惯导坐标系下的不同旋转顺序的至少两个当前欧拉角信息，并根据至少两个起始欧拉角信息和至少两个当前欧拉角信息计算主角度。本发明在姿态四元数的基础上，对多旋转顺序下的欧拉角进行融合计算主角度，避免了奇异点，能准确表征患者的训练部位的运动角度。
上述第一种和最后一种相关技术均需要采用多个传感器设备对患者进行动作识别，存在操作繁琐、康复运动训练单一等问题。第二种相关技术虽然包含了检测人体姿态的骨骼网络等步骤，但其输出结果为二维骨骼节点信息，无法全面准确的评估患者康复运动的过程，且缺乏人机交互，无法指导患者做康复运动。
发明内容
为了部分地或全部地解决上述技术问题，本申请期望提供一种新的康复运动评估方法，能够以较低的硬件成本高效准确地针对评估对象的各种康复运动姿态进行评估。
本申请的一个方面，提供了一种康复运动的评估方法，包括：
获取评估对象的连续多帧康复运动图像；
针对所述连续多帧康复运动图像逐帧提取二维骨节点信息；
基于所述连续多帧康复运动图像的二维骨节点信息，通过预创建的骨节点树结构预测每帧所述康复运动图像的三维骨节点信息；
基于单帧所述康复运动图像的三维骨节点信息，对所述评估对象相应时刻的康复运动姿态进行评价。
一些示例中，所述康复运动的评估方法还包括：
在预测每帧所述康复运动图像的三维骨节点信息之前，利用预先构建的二维姿态调整模型对所述连续多帧康复运动图像的二维骨节点信息进行时间维度优化以获得一时间序列，所述时间序列包括按照帧数或时间排序的优化后的二维骨节点信息。
一些示例中，所述二维姿态调整模型包括多个级联的基本单元，中间的每个所述基本单元包括一个或多个隐藏层，每个所述隐藏层的输入包括其前一隐藏层在t时刻的隐藏状态、t+1时刻的隐藏状态、t时刻的输入向量以及t+1时刻的输入向量，经过前馈线性变换和激活函数的非线性化处理，输出t+1时刻的隐藏状态。
一些示例中，利用预先构建的二维姿态调整模型对所述连续多帧康复运动图像的二维骨节点信息进行时间维度优化以获得一时间序列之前，还包括：基于所述二维姿态调整模型输出的时间序列进行拟合以得到动作捕捉***的预定物理参数的估计值序列；基于所述预定物理参数的估计值序列与所述预定物理参数的真实值构建所述二维姿态调整模型的损失函数，以便利用所述损失函数训练所述二维姿态调整模型。
一些示例中，所述动作捕捉***的预定物理参数包括所述动作捕捉***中摄像装置在一坐标方向上的焦距大小和焦点坐标。
一些示例中，基于所述二维姿态调整模型输出的时间序列进行拟合以得到动作捕捉***的物理参数的估计值，包括：由所述动作捕捉***利用所述二维姿态调整模型输出的时间序列预估所述每帧所述康复运动图像的三维骨节点信息；利用每帧所述康复运动图像的三维骨节点信息采用最小二乘法估算得到所述动作捕捉***的预定物理参数的估计值序列。
一些示例中，所述骨节点树结构是通过分析康复运动中的人体姿态而创建的，其包含多个骨关节对，每个骨关节对中的两个骨节点父子关联。
一些示例中，通过预创建的骨节点树结构预测每帧所述康复运动图像的三维骨节点信息，包括：基于所述连续多帧康复运动图像的二维骨节点信息，通过预先构建的第一预测子模型预测所述骨节点树结构中每个骨节点对的长度和方向单位向量；根据每帧所述康复运动图像中骨关节对的长度和方向单位向量及其时间戳，通过预先构建的第二预测子模型估算各个骨节点的三维骨节点信息。
一些示例中，所述三维骨节点信息包括每一骨节点的三维坐标以及每一骨节点对的姿态角。
一些示例中，所述第一预测子模型包括包含两个隐藏层的多层感知机（MLP）。
一些示例中，所述第一预测子模型是通过预先构建的长度损失函数和方向损失函数而训练得到的。
一些示例中，所述第二预测子模型包括两个多层感知机，其中一多层感知机用于估算骨节点对中两个骨节点之间的距离且其输入数据为所述二维骨节点信息，另一多层感知机用于估算骨节点对中两个骨节点之间的角度其输入数据包括所述二维骨节点信息及其对应的康复运动图像帧的时间戳。
一些示例中，所述康复运动的评估方法还包括：对所述评估对象的康复运动进行评价之前，利用康复运动的时序特征优化所述连续多帧康复运动图像的三维骨节点信息。
一些示例中，通过预先构建的三维姿态调整模型利用康复运动的时序特征优化所述连续多帧康复运动图像的三维骨节点信息，所述三维姿态调整模型包括变形长短时记忆网络（Mogrifier LSTM）。
一些示例中，所述三维姿态调整模型中还包括设置在所述变形长短时记忆网络之前的dropout层。
一些示例中，利用康复运动的时序特征优化所述连续多帧康复运动图像的三维骨节点信息，包括：将当前时刻的三维骨节点信息与其前一时刻的三维骨节点信息进行交替地相乘之后进行长短时记忆网络的计算。
一些示例中，基于单帧所述康复运动图像的三维骨节点信息，对所述评估对象相应时刻的康复运动姿态进行评价，包括：周期性地估算单帧康复运动图像的三维骨节点信息与相应时刻的标准三维骨节点信息之间的差值，比较所述差值与预先设置的阈值以得到所述评估对象在相应时刻的运动姿态评估结果。
一些示例中，所述标准三维骨节点信息是从与所述连续多帧康复运动图像同步的连续多帧标准运动图像中提取的。
一些示例中，所述康复运动的评估方法还包括：对所述评估对象的康复运动进行评价之前，针对单帧康复运动图像的三维骨节点信息与相应时刻的标准三维骨节点信息分别进行归一化操作。
一些示例中，依据如下关系式，估算单帧康复运动图像的三维骨节点信息与相应时刻的标准三维骨节点信息之间的差值：
Figure 865364DEST_PATH_IMAGE001
其中，|| ||2表示计算L2范数，
Figure 399113DEST_PATH_IMAGE002
表示L2范数的平方，m表示第t帧康复运动图像的三维骨节点信息与相应时刻的标准三维骨节点信息之间的差值，
Figure 594603DEST_PATH_IMAGE003
表示第t帧所述康复运动图像的归一化骨节点三维坐标，
Figure 680239DEST_PATH_IMAGE004
表示第t帧标准运动图像的归一化骨节点三维坐标，
Figure 187444DEST_PATH_IMAGE005
表示第t帧所述康复运动图像的归一化姿态角信息，
Figure 134671DEST_PATH_IMAGE006
表示第t帧标准运动图像的归一化姿态角信息。
一些示例中，所述康复运动的评估方法还包括：对所述评估对象的康复运动进行评价的同时或之后，控制播放装置向所述评估对象播放由所述标准运动图像形成的标准视频，以便指导所述评估对象完成康复运动。
一些示例中，所述康复运动的评估方法还包括：周期性地调整所述标准视频的当前播放帧数，以使得所播放的标准视频与所述评估对象的康复运动同步。
一些示例中，所述标准视频的当前播放帧数通过下式计算得到：
Figure 263295DEST_PATH_IMAGE007
其中，|| ||2表示计算L2范数，
Figure 270566DEST_PATH_IMAGE008
表示L2范数的平方，Q表示预先设定的检索范围，Q=[bt-bf, bt+bf]，bt表示所述标准视频的当前播放帧数，bf表示所述标准视频的每秒传输帧数，
Figure 920859DEST_PATH_IMAGE003
表示第t帧所述康复运动图像的归一化骨节点三维坐标，
Figure 530832DEST_PATH_IMAGE009
表示所述标准视频中第i+t帧标准运动图像的归一化骨节点三维坐标，
Figure 435334DEST_PATH_IMAGE010
表示第t帧所述康复运动图像的归一化姿态角信息，
Figure 472560DEST_PATH_IMAGE011
表示所述标准视频中第i+t帧标准运动图像的归一化姿态角信息，τ表示所述标准视频的当前播放帧数。
一些示例中，所述康复运动的评估方法，还包括：
所述评估对象的运动姿态评估结果指示所述评估对象的运动姿态错误时，发出报警信号，同时截取相应时刻的康复运动图像帧和/或标准运动图像帧并控制显示装置向所述评估对象显示。
本申请的一个方面，提供了一种康复运动的评估装置，包括：
获取单元，配置为获取评估对象的连续多帧康复运动图像；
二维姿态估计单元，配置为针对所述连续多帧康复运动图像逐帧提取二维骨节点信息；
三维姿态估计单元，配置为基于所述连续多帧康复运动图像的二维骨节点信息，通过预创建的骨节点树结构预测每帧所述康复运动图像的三维骨节点信息；
评价单元，配置为基于单帧所述康复运动图像的三维骨节点信息，对所述评估对象相应时刻的康复运动姿态进行评价。
一些示例中，所述康复运动的评估装置还包括：二维姿态调整单元，配置为在预测每帧所述康复运动图像的三维骨节点信息之前，利用预先构建的二维姿态调整模型对所述连续多帧康复运动图像的二维骨节点信息进行时间维度优化以获得一时间序列，所述时间序列包括按照帧数或时间排序的优化后的二维骨节点信息。
一些示例中，所述二维姿态调整模型包括多个级联的基本单元，中间的每个所述基本单元包括一个或多个隐藏层，每个所述隐藏层的输入包括其前一隐藏层在t时刻的隐藏状态、t+1时刻的隐藏状态、t时刻的输入向量以及t+1时刻的输入向量，经过前馈线性变换和激活函数的非线性化处理，输出t+1时刻的隐藏状态。
一些示例中，所述骨节点树结构是通过分析康复运动中姿态变化的客观规律而创建的，其包含多个骨关节对，每个骨关节对中的两个骨节点父子关联。
一些示例中，所述三维姿态估计单元，包括：第一估算子单元，配置为基于所述连续多帧康复运动图像的二维骨节点信息，通过预先构建的第一预测子模型预测所述骨节点树结构中每个骨节点对的长度和方向单位向量；第二估算子单元，配置为根据每帧所述康复运动图像中骨关节对的长度和方向单位向量及其时间戳，通过预先构建的第二预测子模型估算各个骨节点的三维骨节点信息。
一些示例中，所述康复运动的评估装置还包括：三维姿态调整单元，配置为对所述评估对象的康复运动进行评价之前，利用康复运动的时序特征优化所述连续多帧康复运动图像的三维骨节点信息。
一些示例中，所述三维姿态调整单元，是配置为通过预先构建的三维姿态调整模型利用康复运动的时序特征优化所述连续多帧康复运动图像的三维骨节点信息，所述三维姿态调整模型包括变形长短时记忆网络Mogrifier LSTM。
一些示例中，所述评价单元包括：差值估算子单元，配置为周期性地估算单帧康复运动图像的三维骨节点信息与相应时刻的标准三维骨节点信息之间的差值；比较子单元，配置为比较所述差值与预先设置的阈值以得到所述评估对象在相应时刻的运动姿态评估结果。
一些示例中，所述康复运动的评估装置，还包括：归一化操作单元，配置为针对单帧康复运动图像的三维骨节点信息与相应时刻的标准三维骨节点信息分别进行归一化操作。
一些示例中，所述康复运动的评估装置还包括：播放控制单元，配置为控制播放装置向所述评估对象播放由所述标准运动图像形成的标准视频，以便指导所述评估对象完成康复运动。
一些示例中，所述康复运动的评估装置，还包括：同步单元，配置为周期性地调整所述标准视频的当前播放帧数，以使得所播放的标准视频与所述评估对象的康复运动同步。
一些示例中，所述康复运动的评估装置，还包括：提示单元，配置为在所述评价单元确定的运动姿态评估结果指示所述评估对象的运动姿态错误时，发出报警信号，同时截取相应时刻的康复运动图像帧和/或标准运动图像帧并控制显示装置向所述评估对象显示。
本申请的一个方面，提供了一种计算设备，所述计算设备包括：
一个或多个处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于读取所述存储器中存储的可执行指令以执行上述康复运动的评估方法。
本申请的一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序在被处理器执行时能够实现上述的所述康复运动的评估方法。
本申请实施例通过评估对象的连续多帧康复运动图像进行二维分析、三维预测来获得评估对象的三维骨节点信息，无需布设过多传感器和繁琐操作即可实现评估对象康复动作的准确测量和三维量化，并且能够根据三维骨节点信息来评价评估对象的康复动作姿态，以较低的硬件成本实现了评估对象的各种康复运动姿态的高效准确评估，对于判定评估对象做出的动作质量、动作误差以及了解评估对象初始站位习惯有特殊意义。
附图说明
在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，其中：
图1为本申请一实施例提供的康复运动的评估方法的流程示意图。
图2为本申请一实施例中人体骨节点的示例图。
图3为本申请一实施例中HigherHrnet的示例性网络结构图。
图4为本申请一实施例中TrellisNet中每个隐藏层的计算过程示意图。
图5为本申请一实施例中TrellisNet的示例性网络结构图。
图6为本申请一实施例Mogrifier LSTM的示例性网络结构图。
图7为本申请一实施例提供的康复运动的评估装置的流程示意图。
图8为本申请一实施例提供的计算设备的结构示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本申请的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本申请，而并非以任何方式限制本申请的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
图1示出了本申请实施例中康复运动的评估方法的示例性流程。参见图1所示，本申请实施例中康复运动的评估方法可以包括如下步骤：
步骤S110，获取评估对象的连续多帧康复运动图像；
步骤S120，针对所述连续多帧康复运动图像逐帧提取二维骨节点信息；
步骤S130，基于连续多帧康复运动图像的二维骨节点信息，通过预创建的骨节点树结构预测每帧康复运动图像的三维骨节点信息；
步骤S140，基于单帧康复运动图像的三维骨节点信息，对评估对象相应时刻的康复运动姿态进行评价。
由上可见，本申请实施例通过评估对象的连续多帧康复运动图像进行二维分析、三维预测来获得评估对象的三维骨节点信息，无需布设过多传感器即可实现评估对象康复动作的准确测量和三维量化，并且能够根据三维骨节点信息来评价评估对象的康复动作姿态，以较低的硬件成本实现了评估对象的各种康复运动姿态的高效准确评估，对于判定评估对象（例如，患者或者受训者）做出的动作质量、动作误差以及了解评估对象初始站位习惯有特殊意义。
步骤S110中，连续多帧康复运动图像是指预定时间窗口的多帧康复运动图像，每帧康复运动图像中均包含评估对象的康复运动动作。这里，时间窗口可以预先设定。本申请实施例中，时间窗口的选择与下文步骤S130中的二维姿态调整模型和步骤S150中的三维姿态调整模型相关。例如，时间窗口可以设定为9帧。
步骤S120中，可以通过预先构建的二维姿态估计模型来逐帧提取二维骨节点信息。这里，二维骨节点信息可以包括但不限于预先指定的人体骨节点的二维坐标信息。图2示出了本申请实施例中人体骨节点的示例图。参见图2所示，预先指定的人体骨节点个数为J=18。
至少一些实施例中，上述二维姿态估计模型可以通过HigherHrnet网络来实现。图3示出了本申请实施例中HigherHrnet的示例性网络结构，其负责根据输入的康复运动图像帧来输出相应帧的二维骨节点信息。
参见图3所示，HigherHrnet网络可以包括顺次连接的预处理模块31、第一级网络模块32、第二级网络模块33、第三级网络模块34、反卷积模块35、上采样模块（图中未示出）和特征细化模块36。图3中，“
Figure 571666DEST_PATH_IMAGE012
”表示特征图，“
Figure 985330DEST_PATH_IMAGE013
”表示卷积操作，“
Figure 744339DEST_PATH_IMAGE014
”表示跳步卷积，“
Figure 218045DEST_PATH_IMAGE015
”表示上采样，“
Figure 921559DEST_PATH_IMAGE016
”表示特征拼接，“
Figure 997968DEST_PATH_IMAGE017
”表示反卷积。
预处理模块31可以通过Stem模块实现，用于提取一帧康复运动图像的第一特征图，将其分辨率降低为原图的1/ 4。这里，预处理模块包括两个卷积层，卷积核相同。例如，均可以采用3x3x64的卷积核，卷积操作的步长为2、填充参数（padding）为1。
第一级网络模块32可以配置为将第一特征图的宽度减小到预定值C。具体地，第一级网络模块32可以包括两个残差单元和一个卷积层，其中，每个残差单元由一个宽度（通道数）为64的瓶颈层（bottleneck）形成；卷积层可以为一3×3卷积层，从而将第一特征图的宽度减小到C。例如，C可以设置为32。
第二级网络模块33可以包括一个或两个分辨率块和四个残差单元，每个分辨率块可以包括两个3×3卷积层。
第三级网络模块34包括三个分辨率模块和三个残差单元，每个分辨率模块中包含2个3×3卷积，其积宽度分别为C、2C和4C。
反卷积模块35，以来自HigherHrnet的特征图和预测热图作为输入，并生成分辨率比输入特征图大2倍的新特征图。本实施例中，可以通过反卷积有效地生成高质量和高分辨率的特征图。一些示例中，该反卷积模块35可以通过使用4×4卷积核实现反卷积操作。
上采样模块配置为在反卷积模块35之后使用批量归一化（BatchNorm）和激活函数处理（ReLU）来学习对输入特征图进行上采样。
特征细化模块36可以包括4个残差单元以细化上采样模块输出的特征图，最终得到并输出一帧康复运动图像的二维骨节点信息。
此外，图3中连接在第三级网络模块34和反卷积模块35之间的网络模块的作用是实现特征图的聚合，若第三网络模块34通过双线性插值法将具有不同分辨率的所有特征图上采样到输入图像的分辨率，那么通过第三网络模块34的这部分网络模块可以平均所有尺度的特征图以便进行最终的预测，这部分可以算作第三网络模块34的一部分，也可以是独立于第三网络模块34的网络模块。图3中“1/4”、“1/8”、“1/16”、“1/2”分别表示相应模块输出的特征图分辨率相对于其原图像的大小。假设输入HigherHrnet的原始图像大小为512*512，那么第一级网络模块32输出的特征图分辨率为其1/4，即128*128；第二网络模块33输出的特征图分辨率为其1/8，即64*64，第三网络模块34输出的特征图分辨率为其1/16，即32*32，特征细化模块36输出的特征图分辨率其1/2，即256*256。
本申请实施例中，二维姿态估计模型还可以是但不限于Hrnet（High-ResolutionNetwork）、OpenPose、DeepCut、RMPE（Regional multi-person pose estimation）、MaskRCNN、Hourglass、CPN、MSPN等实现。
参见图1所示，在步骤S120之后、步骤S130之前，可选地，本申请实施例的康复运动评估方法还可以包括：步骤S121，利用预先构建的二维姿态调整模型对所述连续多帧康复运动图像的二维骨节点信息进行时间维度优化以获得一时间序列，所述时间序列包括按照帧数或时间排序的优化后的二维骨节点信息。本申请实施例中，通过时间维度的优化调整获得一时间序列，可以在反映每帧图像中骨节点的相对位置，而且可以反映出这些骨节点信息随时间的连续变化，也即可以反映出评估对象的康复运动姿态随时间的连续变化。
至少一些实施例中，二维姿态调整模型可以包括多个级联的基本单元，中间的每个基本单元包括一个或多个隐藏层，每个隐藏层的输入包括其前一隐藏层在t时刻的隐藏状态、t+1时刻的隐藏状态、t时刻的输入向量以及t+1时刻的输入向量，经过前馈线性变换和激活函数的非线性化处理，输出t+1时刻的隐藏状态。如此，可以通过二维姿态调整模型针对二维骨节点信息进行时间维度上的优化，使得这些二维骨节点信息可以反映相应骨节点位置的连续变化，也即可以反映出评估对象的康复运动姿态随时间的连续变化。
至少一些实施例，该二维姿态调整模型可以是但不限于TrellisNet，也即可以采用TrellisNet对连续多帧康复运动图像的二维骨节点信息进行时间维度的优化。这里，TrellisNet可用长短记忆网络（LSTM）、时序卷积网络（Temporal convolutional network，TCN）或其他类似的网络模型来实现。
TrellisNet包括级联的多个基本单元，中间的每一基本单元包括顺次连接的一个或多个隐藏层，每个隐藏层包括隐藏状态提取操作、前馈线性变换操作和激活操作。图4示出了TrellisNet中每个隐藏层的计算过程。参见图4所示，t表示时刻，i表示网络层，W表示权重，x表示输入向量，z表示隐藏状态，每个隐藏层（即图4中的i+1层）的输入是前一层即i层在t时刻和t+1时刻的隐藏状态、以及t时刻和t+1时刻的输入向量，经过前馈线性变换（省略了偏置）和激活函数的非线性化处理，输出当前层i+1在t+1时刻的隐藏状态。
一些示例中，上述的前馈线性变换可以表示为下式（1）：
Figure 1697DEST_PATH_IMAGE018
（1）
一些示例中，上述隐藏层中激活函数f的操作可以表示为下式（2）：
Figure 256091DEST_PATH_IMAGE019
（2）
这里，激活函数f可以采用但不限于tanh激活函数。
假设中间的每一基本单元设置两个隐藏层，时间窗口为9帧，TrellisNet的模型整体结构可以采用图5所示的结构。图5中，每个
Figure 446901DEST_PATH_IMAGE020
代表图4中的一个隐藏层，xi(i=1…9)表示一时间窗口中每帧康复运动图像的二维骨节点信息，yi(i=1…9)表示优化过的二维骨节点信息。通过图5可见，TrellisNet能够对HigherHrnet输出的二维骨节点信息进行时间维度的优化调整。
二维姿态调整模型（例如，上文的TrellisNet）的训练可以通过预先构建的损失函数来实现。该二维姿态调整模型的训练可以通过一种、两种或以上的损失函数来实现。
一些实施例中，可以基于二维姿态调整模型输出的时间序列进行拟合以得到动作捕捉***的预定物理参数的估计值序列；然后，基于预定物理参数的估计值序列与预定物理参数的真实值构建二维姿态调整模型的损失函数，以便利用该损失函数训练二维姿态调整模型进而增强二维姿态调整模型的可靠性。这里，预定物理参数的具体类型不做限制。一些示例中，动作捕捉***的预定物理参数可以包括但不限于该动作捕捉***中摄像装置在一坐标方向上的焦距大小和焦点坐标。
一些示例中，基于二维姿态调整模型输出的时间序列进行拟合以得到动作捕捉***的预定物理参数的估计值序列的步骤可以包括：步骤a1，由所述动作捕捉***利用所述二维姿态调整模型输出的时间序列预估所述每帧所述康复运动图像的三维骨节点信息；步骤a2，利用每帧所述康复运动图像的三维骨节点信息采用最小二乘法估算得到所述动作捕捉***的预定物理参数的估计值序列。
举例来说，训练TrellisNet时，利用其输出的二维骨节点信息采用最小二乘法拟合摄像头x方向（即物体距离摄像头远近的深度方向，即摄像头的光轴方向）上的焦距估计值
Figure 828466DEST_PATH_IMAGE021
和焦点位置估计值
Figure 686701DEST_PATH_IMAGE022
，将拟合得到的焦距估计值
Figure 236631DEST_PATH_IMAGE023
和焦点位置估计值
Figure 55682DEST_PATH_IMAGE024
与摄像头在x方向上的真实焦距fx和真实焦点位置cx比较，作为损失函数，可以增强TrellisNet模型的可靠性。
仍以TrellisNet为例，假设TrellisNet输出的二维骨节点信息可以表示为下式（3）。
Figure 349261DEST_PATH_IMAGE025
（3）
其中，
Figure 452215DEST_PATH_IMAGE026
表示TrellisNet优化得到的t时刻的骨节点在二维坐标系中的坐标值，
Figure 313991DEST_PATH_IMAGE027
表示TrellisNet输出的t时刻的置信系数，
Figure 744973DEST_PATH_IMAGE028
表示一个二维实数矩阵，各个维度为J（预定义的骨节点个数）和2。训练TrellisNet时采用的样本图像中相应骨节点的真实坐标值可以通过人工标注得到，假设为a t，b t。
TrellisNet的第一损失函数，也即其二维骨节点信息对应的损失函数可以构建为式（4）所示：
Figure 465411DEST_PATH_IMAGE029
（4）
通过TrellisNet获得优化后的二维骨节点信息之后，可以通过动作捕捉***或者结构光摄像等拟合得到相应的三维骨节点信息，利用这些三维骨节点信息通过最小二乘法估算相应摄像头在x方向上的焦距估计值和焦点坐标估计值，估算过程参见下式（5）。
Figure 32658DEST_PATH_IMAGE030
（5）
其中，
Figure 924391DEST_PATH_IMAGE031
表示J个骨节点的横坐标值的平均，
Figure 718035DEST_PATH_IMAGE032
表示J个骨节点的坐标值之和，
Figure 353415DEST_PATH_IMAGE033
表示第j个骨节点的横坐标值，
Figure 165382DEST_PATH_IMAGE034
，xj表示预定义的J个骨节点中第j个骨节点x的坐标值。
通过估算得到的摄像头在x方向上的焦距估计值和焦点坐标估计值、以及摄像头在x方向上的真实焦距值和焦点坐标，构建用于训练TrellisNet的第二损失函数，如下式（6）所示。
Figure 244328DEST_PATH_IMAGE035
（6）
步骤S130中，骨节点树结构是通过分析康复运动中姿态变化的客观规律而创建的，其包含多个骨关节对，每个骨关节对中的两个骨节点父子关联。通过骨节点树结构可以描述各种三维姿态下的骨节点关系，由此，可以更准确地预测评估对象的三维骨节点信息。
假设本申请实施例的康复运动评估方法以评估对象举起右手，手腕高过头部为评估对象准备就绪的标志即启动评估的标志，以高举左手，手腕高过头部为评估结束的标志。由此可以分析得到，手腕节点是手肘节点的子节点，手肘节点是手腕节点的父节点，同时也是肩部节点的子节点。同理，可以通过各种康复运动中人体的具体姿态进行分析可以预先构建相应康复运动的骨节点树结构。以图2为例，骨节点个数为J=18，存在父-子关联的骨节点对包括17个，相应的骨节点树结构可以表示为{ [14, 16], [0, 14], [15, 17], [0,15],[0,1], [12, 13], [11,12],[6, 7], [5, 6] , [9, 10],[8, 9], [2, 3] , [3,4], [1, 2], [1, 5], [1, 8], [1, 11]}，每个数字代表一个骨节点的预定编号，每个数对表征一个骨节点对。与此对应的，共设置17个姿态角。为与骨节点个数对应，设定第一个姿态角为0。
步骤S130中，可以通过预先构建的三维姿态估计模型来预测三维骨节点信息。一些实施例中，该三维姿态估计模型可以包括第一预测子模型和第二预测子模型，第一预测子模型可用于预测每个骨节点对的长度和方向单位向量，第二预测子模型可用于估算骨节点的三维骨节点信息。也就是说，步骤S130中的预测过程可以包括：步骤b1，基于连续多帧康复运动图像的二维骨节点信息，通过预先构建的第一预测子模型预测骨节点树结构中每个骨节点对的长度和方向单位向量；步骤b2，根据每帧康复运动图像中骨关节对的长度和方向单位向量及其时间戳，通过预先构建的第二预测子模型估算各个骨节点的三维骨节点信息。
步骤S130中，在步骤b1之前，利用连续多帧康复运动图像的二维骨节点信息构建用于预测骨节点树结构中每个骨节点对的长度和方向单位向量的输入数据。其中，输入数据可以包括：连续多帧康复运动图像的二维骨节点信息形成的时间序列、连续多帧康复运动图像中每一骨关节对中父子骨节点之间差值形成的时间序列、连续多帧康复运动图像中每一骨关节对中父子骨节点之间像素欧式距离形成的时间序列。具体地，该输入数据可以表示为
Figure 790847DEST_PATH_IMAGE036
，其中，
Figure 655684DEST_PATH_IMAGE037
，
Figure 72890DEST_PATH_IMAGE038
表示子骨节点的二维坐标序列，
Figure 306426DEST_PATH_IMAGE039
表示父骨节点的二维坐标序列，
Figure 58350DEST_PATH_IMAGE040
表示父子关联的两个骨节点之间的像素欧式距离，R为实数集合，R9xJx1表示一三维张量，该三维张量每个维度上的尺寸分别为9、J、1。
第一预测子模型可以预测父子关联的两个骨节点即一骨节点对之间的长度
Figure 35533DEST_PATH_IMAGE041
和方向单位向量
Figure 572825DEST_PATH_IMAGE042
，其可以包括包含两层隐藏层的多层感知机（MLP）。
这里，第一预测子模型是通过预先构建的长度损失函数和方向损失函数而训练得到的。具体地，长度损失函数可以构建为下式（7）所示的函数，方向损失函数可以构建为下式（8）所示的函数。
Figure 242841DEST_PATH_IMAGE043
（7）
Figure 91848DEST_PATH_IMAGE044
（8）
其中，l和r为真实值，符号“<>”表示两个方向单位向量的向量积。
第二预测子模型可以通过父子关联的两个骨节点之间的长度
Figure 498821DEST_PATH_IMAGE045
和方向单位向量
Figure 15253DEST_PATH_IMAGE046
计算各个骨节点的三维骨节点信息，其可以包括包含两层隐藏层的MLP，该三维骨节点信息可以包括每一骨节点的三维坐标以及每一骨节点对的姿态角。具体地，第二预测子模型的计算结果可以表示为下式（9）所示。
Figure 465957DEST_PATH_IMAGE047
，且
Figure 67839DEST_PATH_IMAGE048
（9）
其中，
Figure 777038DEST_PATH_IMAGE049
表示第j个关节点对中两个骨节点之间的距离，其等于父子关联的两个骨节点之间长度
Figure 147977DEST_PATH_IMAGE050
和方向单位向量
Figure 894216DEST_PATH_IMAGE051
之间的乘积，
Figure 593182DEST_PATH_IMAGE052
表示第j个关节点对中子骨节点的三维坐标，
Figure 981438DEST_PATH_IMAGE053
表示第j个关节点对中父骨节点的三维坐标。
第二预测子模型可以包括两个多层感知机，其中一多层感知机用于估算骨节点对中两个骨节点之间的距离且其输入数据为所述二维骨节点信息，另一多层感知机用于估算骨节点对中两个骨节点之间的角度其输入数据包括所述二维骨节点信息及其对应的康复运动图像帧的时间戳。这里，训练第二预测子模型时，可以通过将动作捕捉（MOCAP）***或者具有主动结构光投影功能的摄像头获取的评估对象进行康复运动的真实数据和第二预测子模型预测得到的结果进行比较来构建该第二预测子模型的损失函数。
本申请实施例中，在步骤S130之后、步骤S140之前，还可以包括：步骤S131，对评估对象的康复运动进行评价之前，利用康复运动的时序特征优化所述连续多帧康复运动图像的三维骨节点信息。
具体地，可以通过预先构建的三维姿态调整模型利用康复运动的时序特征优化所述连续多帧康复运动图像的三维骨节点信息，所述三维姿态调整模型包括变形长短时记忆网络（Mogrifier LSTM）。
这里，Mogrifier LSTM的输入是上述连续多帧康复运动图像（例如，9帧康复运动图像）的三维骨节点信息，输出是经过时间序列优化后的时间序列，该时间序列包括按照帧数或时间排序的优化后的三维骨节点信息，每一优化后的三维骨节点信息对应一帧康复运动图像。
为更好地体现时序特征，上述步骤S 131中可以包括：将当前时刻的三维骨节点信息与其前一时刻的长短记忆网络状态进行交替地相乘之后进行长短时记忆网络的计算。
以Mogrifier LSTM为例，主要过程可以是：在普通的长短时记忆网络（LSTM）计算之前，交替地让输入xi（即上述连续多帧康复运动图像（例如，9帧康复运动图像，i=1，…，9）的三维骨节点信息）和Mogrifier LSTM前一时刻输出的结果hprev（即一时间序列，该时间序列包括按照帧数或时间排序的优化后的三维骨节点信息，每一优化后的三维骨节点信息对应一帧康复运动图像）交互（例如，元素相乘）。
Mogrifier LSTM的过程可以表示为下式（10），
Figure 95631DEST_PATH_IMAGE054
定义为
Figure 153717DEST_PATH_IMAGE055
中上标最大的值。
Figure 730192DEST_PATH_IMAGE056
（10）
具体地，Mogrifier LSTM的计算过程表示为下式（11）
Figure 390980DEST_PATH_IMAGE057
（11）
其中，x-1=x，
Figure 595565DEST_PATH_IMAGE058
，轮数r为一超参数。如果r=0，Mogrifier LSTM就是普通的LSTM。本申请实施例中，取r=5，其模型的示例性结构如图6所示。
为了更好地抑制过拟合，三维姿态调整模型中还可以包括设置在Mogrifier LSTM之前的dropout层。这里，dropout层的比率可以为1-k，k为每个骨节点的置信率。
假设三维姿态调整模型优化后的输出表示为Sopt，考虑康复运动动作在时间序列内的连续性和平滑性，三维姿态调整模型的损失函数可以构建为下式（12）所示。
Figure 214765DEST_PATH_IMAGE059
（12）
其中，H和 F函数是取S的一阶和二阶导数，目的是保证S在一阶和二阶平滑连续，S为3xJ的向量（J为骨节点数量），其表示所有的骨节点的三维坐标的集合，对S进行时间上求导，保证动作的连续和平滑性。
步骤S140的示例性实现过程可以包括：步骤c1，周期性地（例如，在同步后每隔100ms）估算单帧康复运动图像的三维骨节点信息与相应时刻的标准三维骨节点信息之间的差值；步骤c2，比较差值与预先设置的阈值以得到评估对象在相应时刻的A运动姿态评估结果。
这里，标准三维骨节点信息是从与连续多帧康复运动图像同步的连续多帧标准运动图像中提取的。
由于评估对象高矮胖瘦不一，为了统一计算，增强***的可靠性，步骤S140中，对评估对象的康复运动进行评价之前，可以针对单帧康复运动图像的三维骨节点信息与相应时刻的标准三维骨节点信息分别进行归一化操作。具体地，为简化计算，可以针对三维骨节点信息中的三维坐标信息进行归一化操作。
假设归一化之后的三维骨节点信息表示为
Figure 888323DEST_PATH_IMAGE060
，k3D,t为骨节点的三维坐标信息，θ3D,t为骨节点对的姿态角信息。步骤c1中，可以依据如下关系式，估算单帧康复运动图像的三维骨节点信息与相应时刻的标准三维骨节点信息之间的差值：
Figure 103535DEST_PATH_IMAGE061
（13）
其中，|| ||2表示计算L2范数，
Figure 616423DEST_PATH_IMAGE062
表示L2范数的平方，m表示第t帧康复运动图像的三维骨节点信息与相应时刻的标准三维骨节点信息之间的差值，
Figure 672104DEST_PATH_IMAGE063
表示第t帧所述康复运动图像的归一化骨节点三维坐标，
Figure 816646DEST_PATH_IMAGE064
表示第t帧标准运动图像的归一化骨节点三维坐标，
Figure 84817DEST_PATH_IMAGE065
表示第t帧所述康复运动图像的归一化姿态角信息，
Figure 14727DEST_PATH_IMAGE066
表示第t帧标准运动图像的归一化姿态角信息。
步骤c2中，可以通过下式（14）来得到评估对象在相应时刻的运动姿态评估结果。
Figure 710150DEST_PATH_IMAGE067
（14）
其中，mt为阈值。mt可以取经验值，康复运动的种类不同则其取值不同。例如，可以根据康复运动的要求，设置mt为15.24。即，当差值m大于或等于阈值mt时，f(m)取1，表示评估对象在相应时刻的运动姿态错误。当差值m小于阈值mt时，f(m)取0，表示评估对象在相应时刻的运动姿态正确。
步骤S140之后，评估对象在一时刻的运动姿态评估结果指示评估对象的运动姿态错误时，可以发出报警信号，同时截取相应时刻的康复运动图像帧和/或标准运动图像帧并控制显示装置向评估对象显示，由此可以在报警的同时，自动提示评估对象纠正其运动姿态。
步骤S140的同时或之后，还可以包括：对评估对象的康复运动进行评价的同时或之后，控制播放装置向评估对象播放由标准运动图像形成的标准视频，以便指导评估对象完成康复运动。这样，评估对象进行康复运动训练的过程中，无需专业医生（例如，康复师）的参与即可自行学习，不受时间、场地的约束，实现了远程康复训练和指导。
这里，步骤S140的同时或之后，还可以包括：周期性地调整标准视频的当前播放帧数，以使得所播放的标准视频与所述评估对象的康复运动同步。
由于评估对象（例如，患者或者受训者）做康复运动存在学习的过程，往往运动速度较慢。为了提高康复运动的效果，达到指导评估对象完成标准康复运动的目的，***需周期性地（例如，每隔时间3秒）就调整标准视频的播放帧数，以达到与评估对象的康复运动同步的目的。这里，同步的基本思想是评估对象在一小段时间内的三维骨节点信息与标准视频该段时间内的三维骨节点信息的所对应的位置和角度差最小，以此来确定标准视频所对应的当前帧数。
一些示例中，标准视频的当前播放帧数通过下式（15）计算得到：
Figure 217355DEST_PATH_IMAGE068
（15）
其中，|| ||2表示计算L2范数，
Figure 915315DEST_PATH_IMAGE069
表示L2范数的平方，Q表示预先设定的检索范围，Q=[bt-bf, bt+bf]，bt表示标准视频的当前播放帧数，bf表示标准视频的每秒传输帧数（Frames Per Second，FPS），
Figure 558786DEST_PATH_IMAGE070
表示第t帧康复运动图像的归一化骨节点三维坐标，
Figure 566056DEST_PATH_IMAGE071
表示标准视频中第i+t帧标准运动图像的归一化骨节点三维坐标，
Figure 560557DEST_PATH_IMAGE072
表示第t帧康复运动图像的归一化姿态角信息，
Figure 170530DEST_PATH_IMAGE073
表示标准视频中第i+t帧标准运动图像的归一化姿态角信息，τ表示标准视频的当前播放帧数，T表示预先设定的时间窗口中的帧数（例如，参见上文可以设定T=9）。
通过上述式（15）获得当前应播放的标准视频的帧数，然后调整标准视频播放该帧数的标准运动图像，可以使其能够正确指导评估进行有效的康复运动。
图7示出了本申请实施例提供的一种康复运动的评估装置的示例性结构。该康复运动的评估装置可配置为实现上文所述康复运动的评估方法。参见图7所示，康复运动的评估装置可以包括：
获取单元71，配置为获取评估对象的连续多帧康复运动图像；
二维姿态估计单元72，配置为针对所述连续多帧康复运动图像逐帧提取二维骨节点信息；
三维姿态估计单元73，配置为基于所述连续多帧康复运动图像的二维骨节点信息，通过预创建的骨节点树结构预测每帧所述康复运动图像的三维骨节点信息；
评价单元74，配置为基于单帧所述康复运动图像的三维骨节点信息，对所述评估对象相应时刻的康复运动姿态进行评价。
一些示例中，上述康复运动的评估装置还可以包括：二维姿态调整单元75，配置为在三维姿态估计单元73预测每帧康复运动图像的三维骨节点信息之前，利用预先构建的二维姿态调整模型对连续多帧康复运动图像的二维骨节点信息进行时间维度优化以获得一时间序列，所述时间序列包括按照帧数或时间排序的优化后的二维骨节点信息。
一些示例中，二维姿态调整模型包括多个级联的基本单元，每个所述基本单元包括一个或多个隐藏层，每个所述隐藏层的输入包括其前一隐藏层在t时刻的隐藏状态、t+1时刻的隐藏状态、t时刻的输入向量以及t+1时刻的输入向量，经过前馈线性变换和激活函数的非线性化处理，输出t+1时刻的隐藏状态。
一些示例中，所述骨节点树结构是通过分析康复运动中姿态变化的客观规律而创建的，其包含多个骨关节对，每个骨关节对中的两个骨节点父子关联。
一些示例中，三维姿态估计单元73可以包括：
第一估算子单元731，配置为基于所述连续多帧康复运动图像的二维骨节点信息，通过预先构建的第一预测子模型预测所述骨节点树结构中每个骨节点对的长度和方向单位向量；
第二估算子单元732，配置为根据每帧所述康复运动图像中骨关节对的长度和方向单位向量及其时间戳，通过预先构建的第二预测子模型估算各个骨节点的三维骨节点信息。
一些示例中，上述康复运动的评估装置还可以包括：三维姿态调整单元76，配置为对所述评估对象的康复运动进行评价之前，利用康复运动的时序特征优化所述连续多帧康复运动图像的三维骨节点信息。
这里，三维姿态调整单元76可以是配置为通过预先构建的三维姿态调整模型利用康复运动的时序特征优化所述连续多帧康复运动图像的三维骨节点信息，所述三维姿态调整模型包括变形长短时记忆网络。
一些示例中，评价单元74可以包括：
差值估算子单元741，配置为周期性地估算单帧康复运动图像的三维骨节点信息与相应时刻的标准三维骨节点信息之间的差值；
比较子单元742，配置为比较所述差值与预先设置的阈值以得到所述评估对象在相应时刻的运动姿态评估结果。
一些示例中，上述康复运动的评估装置还可以包括：归一化操作单元77，配置为针对单帧康复运动图像的三维骨节点信息与相应时刻的标准三维骨节点信息分别进行归一化操作。
一些示例中，上述康复运动的评估装置还可以包括：播放控制单元78，配置为控制播放装置向所述评估对象播放由所述标准运动图像形成的标准视频，以便指导所述评估对象完成康复运动。
一些示例中，上述康复运动的评估装置还可以包括：同步单元79，配置为周期性地调整所述标准视频的当前播放帧数，以使得所播放的标准视频与所述评估对象的康复运动同步。
一些示例中，上述康复运动的评估装置还可以包括：提示单元710，配置为在评价单元74确定的运动姿态评估结果指示所述评估对象的运动姿态错误时，发出报警信号，同时截取相应时刻的康复运动图像帧和/或标准运动图像帧并控制显示装置向所述评估对象显示。
上述康复运动的评估装置可以通过软件、硬件或两者的结合来实现。上述康复运动的评估装置的其他技术细节参见上文康复运动评估方法的描述，不再赘述。
图8示出了本申请实施例中计算设备的示例性结构。实际应用中，该计算设备可以是具有高性能处理能力的计算机、服务器或其集群。需要说明的是，图8显示的计算设备仅作为示例，本申请实施例的计算设备的具体结构不限于此。
参见图8所示，计算设备可以包括：一个或者多个处理器或者处理单元801，存储器802，连接不同***组件（包括存储器802和处理单元801）的总线803，存储器802可用于存储所述处理器可执行指令，一个或多个处理器或处理单元801可用于读取存储器802中存储的可执行指令以执行上康复运动的评估方法。
上述计算设备典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算设备访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器802可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器（RAM）8021和/或高速缓存存储器8022。计算设备可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，ROM8023可以用于读写不可移动的、非易失性磁介质（图8中未显示，通常称为“硬盘驱动器”）。尽管未在图8中示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如CD-ROM，DVD-ROM或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线803相连。存储器802中可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本申请各实施例中康复运动评估方法的步骤。
具有一组（至少一个）程序模块8024的程序/实用工具8025，可以存储在例如存储器802中，且这样的程序模块8024包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块8024通常执行本申请所描述的实施例中的功能和/或方法。
上述计算设备也可以与一个或多个外部设备804（如图像采集装置、指向设备、显示装置、视频采集卡等）通信。这种通信可以通过输入/输出（I/O）接口805进行。并且，计算设备还可以通过网络适配器806与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图8所示，网络适配器806通过总线803与计算设备的其它模块（如处理单元801等）通信。应当理解，尽管图8中未示出，可以结合计算设备使用其它硬件和/或软件模块。
外部设备804可以包括显示装置时，该显示装置（例如，显示屏、触控显示屏等）可以在处理器或处理单元801的控制下向评估对象报警或显示错误的运动姿态所对应的康复运动图像帧和/或标准运动图像帧；和/或，可以在处理器或处理单元801的控制下向所述评估对象播放由所述标准运动图像形成的标准视频，以便指导所述评估对象完成康复运动。
上述外部设备804还可以包括诸如摄像头或照相机等图像采集装置，该图像采集装置可以实时采集评估对象的康复运动图像。
上述外部设备804中的视频采集卡可用于将图像采集装置实时采集的康复运动图像转换为处理器或处理单元801可识别的数据并传送至处理器或处理单元801或者存储器802中。
本申请实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序在被处理器执行时能够实现上述的所述康复运动的评估方法。这里，计算机可读存储介质的例子可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
在本申请的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置、设备和计算机可读存储介质的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。

Claims (35)

1.一种康复运动的评估方法，包括：
获取评估对象的连续多帧康复运动图像；
针对所述连续多帧康复运动图像逐帧提取二维骨节点信息；
基于所述连续多帧康复运动图像的二维骨节点信息，通过预创建的骨节点树结构预测每帧所述康复运动图像的三维骨节点信息；
基于单帧所述康复运动图像的三维骨节点信息，对所述评估对象相应时刻的康复运动姿态进行评价；
其中，在预测每帧所述康复运动图像的三维骨节点信息之前，还包括：
利用预先构建的二维姿态调整模型对所述连续多帧康复运动图像的二维骨节点信息进行时间维度优化以获得一时间序列，所述时间序列包括按照帧数或时间排序的优化后的二维骨节点信息；
其中，利用预先构建的二维姿态调整模型对所述连续多帧康复运动图像的二维骨节点信息进行时间维度优化以获得一时间序列之前，还包括：
基于所述二维姿态调整模型输出的时间序列进行拟合以得到动作捕捉***的预定物理参数的估计值序列；
基于所述预定物理参数的估计值序列与所述预定物理参数的真实值构建所述二维姿态调整模型的损失函数，以便利用所述损失函数训练所述二维姿态调整模型。
2.根据权利要求1所述康复运动的评估方法，其中，所述二维姿态调整模型包括多个级联的基本单元，中间的每个所述基本单元包括一个或多个隐藏层，每个所述隐藏层的输入包括其前一隐藏层在t时刻的隐藏状态、t+1时刻的隐藏状态、t时刻的输入向量以及t+1时刻的输入向量，经过前馈线性变换和激活函数的非线性化处理，输出t+1时刻的隐藏状态。
3.根据权利要求1所述康复运动的评估方法，其中，所述动作捕捉***的预定物理参数包括所述动作捕捉***中摄像装置在一坐标方向上的焦距大小和焦点坐标。
4.根据权利要求1所述康复运动的评估方法，其中，基于所述二维姿态调整模型输出的时间序列进行拟合以得到动作捕捉***的预定物理参数的估计值序列，包括：
由所述动作捕捉***利用所述二维姿态调整模型输出的时间序列预估所述每帧所述康复运动图像的三维骨节点信息；
利用每帧所述康复运动图像的三维骨节点信息采用最小二乘法估算得到所述动作捕捉***的预定物理参数的估计值序列。
5.根据权利要求1所述康复运动的评估方法，其中，所述骨节点树结构是通过分析康复运动中的人体姿态而创建的，包含多个骨关节对，每个骨关节对中的两个骨节点父子关联。
6.根据权利要求1或5所述康复运动的评估方法，其中，通过预创建的骨节点树结构预测每帧所述康复运动图像的三维骨节点信息，包括：
基于所述连续多帧康复运动图像的二维骨节点信息，通过预先构建的第一预测子模型预测所述骨节点树结构中每个骨节点对的长度和方向单位向量；
根据每帧所述康复运动图像中骨关节对的长度和方向单位向量及其时间戳，通过预先构建的第二预测子模型估算各个骨节点的三维骨节点信息。
7.根据权利要求6所述康复运动的评估方法，其中，所述三维骨节点信息包括每一骨节点的三维坐标以及每一骨节点对的姿态角。
8.根据权利要求6所述康复运动的评估方法，其中，所述第一预测子模型包括包含两个隐藏层的多层感知机。
9.根据权利要求6所述康复运动的评估方法，其中，所述第一预测子模型是通过预先构建的长度损失函数和方向损失函数而训练得到的。
10.根据权利要求6所述康复运动的评估方法，其中，所述第二预测子模型包括两个多层感知机，其中一多层感知机用于估算骨节点对中两个骨节点之间的距离且其输入数据为所述二维骨节点信息，另一多层感知机用于估算骨节点对中两个骨节点之间的角度其输入数据包括所述二维骨节点信息及其对应的康复运动图像帧的时间戳。
11.根据权利要求1所述康复运动的评估方法，还包括：
对所述评估对象的康复运动进行评价之前，利用康复运动的时序特征优化所述连续多帧康复运动图像的三维骨节点信息。
12.根据权利要求11所述康复运动的评估方法，其中，通过预先构建的三维姿态调整模型利用康复运动的时序特征优化所述连续多帧康复运动图像的三维骨节点信息，所述三维姿态调整模型包括变形长短时记忆网络。
13.根据权利要求12所述康复运动的评估方法，其中，所述三维姿态调整模型中还包括设置在所述变形长短时记忆网络之前的dropout层。
14.根据权利要求11所述康复运动的评估方法，其中，利用康复运动的时序特征优化所述连续多帧康复运动图像的三维骨节点信息，包括：将当前时刻的三维骨节点信息与其前一时刻的长短记忆网络状态进行交替地相乘之后进行长短时记忆网络的计算。
15.根据权利要求1所述康复运动的评估方法，其中，基于单帧所述康复运动图像的三维骨节点信息，对所述评估对象相应时刻的康复运动姿态进行评价，包括：周期性地估算单帧康复运动图像的三维骨节点信息与相应时刻的标准三维骨节点信息之间的差值，比较所述差值与预先设置的阈值以得到所述评估对象在相应时刻的运动姿态评估结果。
16.根据权利要求15所述康复运动的评估方法，其中，所述标准三维骨节点信息是从与所述连续多帧康复运动图像同步的连续多帧标准运动图像中提取的。
17.根据权利要求15所述康复运动的评估方法，还包括：
对所述评估对象的康复运动进行评价之前，针对单帧康复运动图像的三维骨节点信息与相应时刻的标准三维骨节点信息分别进行归一化操作。
18.根据权利要求15或16所述康复运动的评估方法，其中，依据如下关系式，估算单帧康复运动图像的三维骨节点信息与相应时刻的标准三维骨节点信息之间的差值：
Figure 335261DEST_PATH_IMAGE001
其中，|| ||2表示计算L2范数，
Figure 940686DEST_PATH_IMAGE002
表示L2范数的平方，m表示第t帧康复运动图像的三维骨节点信息与相应时刻的标准三维骨节点信息之间的差值，
Figure 406302DEST_PATH_IMAGE003
表示第t帧所述康复运动图像的归一化骨节点三维坐标，
Figure 134087DEST_PATH_IMAGE004
表示第t帧标准运动图像的归一化骨节点三维坐标，
Figure 544208DEST_PATH_IMAGE005
表示第t帧所述康复运动图像的归一化姿态角信息，
Figure 77958DEST_PATH_IMAGE006
表示第t帧标准运动图像的归一化姿态角信息。
19.根据权利要求16所述康复运动的评估方法，还包括：
对所述评估对象的康复运动进行评价的同时或之后，控制播放装置向所述评估对象播放由所述标准运动图像形成的标准视频，以便指导所述评估对象完成康复运动。
20.根据权利要求19所述康复运动的评估方法，还包括：
周期性地调整所述标准视频的当前播放帧数，以使得所播放的标准视频与所述评估对象的康复运动同步。
21.根据权利要求20所述康复运动的评估方法，其中，所述标准视频的当前播放帧数通过下式计算得到：
Figure 335764DEST_PATH_IMAGE007
其中，|| ||2表示计算L2范数，
Figure 437712DEST_PATH_IMAGE008
表示L2范数的平方，Q表示预先设定的检索范围，Q=[bt-bf, bt+bf]，bt表示所述标准视频的当前播放帧数，bf表示所述标准视频的每秒传输帧数，
Figure 210496DEST_PATH_IMAGE009
表示第t帧所述康复运动图像的归一化骨节点三维坐标，
Figure 220040DEST_PATH_IMAGE010
表示所述标准视频中第i+t帧标准运动图像的归一化骨节点三维坐标，
Figure 533952DEST_PATH_IMAGE011
表示第t帧所述康复运动图像的归一化姿态角信息，
Figure 665856DEST_PATH_IMAGE012
表示所述标准视频中第i+t帧标准运动图像的归一化姿态角信息，τ表示所述标准视频的当前播放帧数。
22.根据权利要求15所述康复运动的评估方法，还包括：
所述评估对象的运动姿态评估结果指示所述评估对象的运动姿态错误时，发出报警信号，同时截取相应时刻的康复运动图像帧和/或标准运动图像帧并控制显示装置向所述评估对象显示。
23.一种康复运动的评估装置，包括：
获取单元，配置为获取评估对象的连续多帧康复运动图像；
二维姿态估计单元，配置为针对所述连续多帧康复运动图像逐帧提取二维骨节点信息；
三维姿态估计单元，配置为基于所述连续多帧康复运动图像的二维骨节点信息，通过预创建的骨节点树结构预测每帧所述康复运动图像的三维骨节点信息；
评价单元，配置为基于单帧所述康复运动图像的三维骨节点信息，对所述评估对象相应时刻的康复运动姿态进行评价；
其中，所述康复运动的评估装置，还包括：
二维姿态调整单元，配置为在预测每帧所述康复运动图像的三维骨节点信息之前，利用预先构建的二维姿态调整模型对所述连续多帧康复运动图像的二维骨节点信息进行时间维度优化以获得一时间序列，所述时间序列包括按照帧数或时间排序的优化后的二维骨节点信息；
其中，所述二维姿态调整单元利用预先构建的二维姿态调整模型对所述连续多帧康复运动图像的二维骨节点信息进行时间维度优化以获得一时间序列之前，还配置为基于所述二维姿态调整模型输出的时间序列进行拟合以得到动作捕捉***的预定物理参数的估计值序列；基于所述预定物理参数的估计值序列与所述预定物理参数的真实值构建所述二维姿态调整模型的损失函数，以便利用所述损失函数训练所述二维姿态调整模型。
24.根据权利要求23所述康复运动的评估装置，其中，所述二维姿态调整模型包括多个级联的基本单元，中间的每个所述基本单元包括一个或多个隐藏层，每个所述隐藏层的输入包括其前一隐藏层在t时刻的隐藏状态、t+1时刻的隐藏状态、t时刻的输入向量以及t+1时刻的输入向量，经过前馈线性变换和激活函数的非线性化处理，输出t+1时刻的隐藏状态。
25.根据权利要求23所述康复运动的评估装置，其中，所述骨节点树结构是通过分析康复运动中姿态变化的客观规律而创建的，其包含多个骨关节对，每个骨关节对中的两个骨节点父子关联。
26.根据权利要求23所述康复运动的评估装置，其中，所述三维姿态估计单元，包括：
第一估算子单元，配置为基于所述连续多帧康复运动图像的二维骨节点信息，通过预先构建的第一预测子模型预测所述骨节点树结构中每个骨节点对的长度和方向单位向量；
第二估算子单元，配置为根据每帧所述康复运动图像中骨关节对的长度和方向单位向量及其时间戳，通过预先构建的第二预测子模型估算各个骨节点的三维骨节点信息。
27.根据权利要求23所述康复运动的评估装置，还包括：
三维姿态调整单元，配置为对所述评估对象的康复运动进行评价之前，利用康复运动的时序特征优化所述连续多帧康复运动图像的三维骨节点信息。
28.根据权利要求27所述康复运动的评估装置，其中，所述三维姿态调整单元，是配置为通过预先构建的三维姿态调整模型利用康复运动的时序特征优化所述连续多帧康复运动图像的三维骨节点信息，所述三维姿态调整模型包括变形长短时记忆网络。
29.根据权利要求23所述康复运动的评估装置，其中，所述评价单元包括：
差值估算子单元，配置为周期性地估算单帧康复运动图像的三维骨节点信息与相应时刻的标准三维骨节点信息之间的差值；
比较子单元，配置为比较所述差值与预先设置的阈值以得到所述评估对象在相应时刻的运动姿态评估结果。
30.根据权利要求29所述康复运动的评估装置，还包括：
归一化操作单元，配置为针对单帧康复运动图像的三维骨节点信息与相应时刻的标准三维骨节点信息分别进行归一化操作。
31.根据权利要求23所述康复运动的评估装置，还包括：
播放控制单元，配置为控制播放装置向所述评估对象播放由标准运动图像形成的标准视频，以便指导所述评估对象完成康复运动。
32.根据权利要求31所述康复运动的评估装置，还包括：
同步单元，配置为周期性地调整所述标准视频的当前播放帧数，以使得所播放的标准视频与所述评估对象的康复运动同步。
33.根据权利要求29所述康复运动的评估装置，还包括：
提示单元，配置为在所述评价单元确定的运动姿态评估结果指示所述评估对象的运动姿态错误时，发出报警信号，同时截取相应时刻的康复运动图像帧和/或标准运动图像帧并控制显示装置向所述评估对象显示。
34.一种计算设备，所述计算设备包括：
一个或多个处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于读取所述存储器中存储的可执行指令以执行权利要求1-22中任一项所述的康复运动的评估方法。
35.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序在被处理器执行时能够实现权利要求1-22中任一项所述的康复运动的评估方法。
CN202110107879.XA 2021-01-27 2021-01-27 康复运动的评估方法及装置、设备、存储介质 Active CN112434679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110107879.XA CN112434679B (zh) 2021-01-27 2021-01-27 康复运动的评估方法及装置、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110107879.XA CN112434679B (zh) 2021-01-27 2021-01-27 康复运动的评估方法及装置、设备、存储介质

Publications (2)

Publication Number Publication Date
CN112434679A CN112434679A (zh) 2021-03-02
CN112434679B true CN112434679B (zh) 2021-05-18

Family

ID=74697307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110107879.XA Active CN112434679B (zh) 2021-01-27 2021-01-27 康复运动的评估方法及装置、设备、存储介质

Country Status (1)

Country Link
CN (1) CN112434679B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409398A (zh) * 2021-06-04 2021-09-17 北京复数健康科技有限公司 基于图像识别进行数据映射的方法及***
CN113643788B (zh) * 2021-07-15 2024-04-05 北京复数健康科技有限公司 基于多个图像获取设备确定特征点的方法及***
CN113647939B (zh) * 2021-08-26 2022-11-15 复旦大学 一种针对脊柱退行性疾病的人工智能康复评估与训练***
CN114403858B (zh) * 2021-12-29 2023-10-03 杭州程天科技发展有限公司 一种人体运动功能评估方法、设备及***
CN115019338B (zh) * 2022-04-27 2023-09-22 淮阴工学院 一种基于GAMHR-Net的多人姿态估计方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101876A (zh) * 2018-06-28 2018-12-28 东北电力大学 基于长短时记忆网络的人体行为识别方法
CN110827383A (zh) * 2019-11-25 2020-02-21 腾讯科技（深圳）有限公司 三维模型的姿态模拟方法、装置、存储介质和电子设备
CN111126272A (zh) * 2019-12-24 2020-05-08 腾讯科技（深圳）有限公司 姿态获取方法、关键点坐标定位模型的训练方法和装置
CN111631726A (zh) * 2020-06-01 2020-09-08 深圳华鹊景医疗科技有限公司 上肢功能评估装置与方法及上肢康复训练***与方法
CN111898576A (zh) * 2020-08-06 2020-11-06 电子科技大学 一种基于人体骨架时空关系的行为识别方法
CN112200165A (zh) * 2020-12-04 2021-01-08 北京软通智慧城市科技有限公司 模型训练方法、人体姿态估计方法、装置、设备及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110025834A1 (en) * 2009-07-31 2011-02-03 Samsung Electronics Co., Ltd. Method and apparatus of identifying human body posture

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101876A (zh) * 2018-06-28 2018-12-28 东北电力大学 基于长短时记忆网络的人体行为识别方法
CN110827383A (zh) * 2019-11-25 2020-02-21 腾讯科技（深圳）有限公司 三维模型的姿态模拟方法、装置、存储介质和电子设备
CN111126272A (zh) * 2019-12-24 2020-05-08 腾讯科技（深圳）有限公司 姿态获取方法、关键点坐标定位模型的训练方法和装置
CN111631726A (zh) * 2020-06-01 2020-09-08 深圳华鹊景医疗科技有限公司 上肢功能评估装置与方法及上肢康复训练***与方法
CN111898576A (zh) * 2020-08-06 2020-11-06 电子科技大学 一种基于人体骨架时空关系的行为识别方法
CN112200165A (zh) * 2020-12-04 2021-01-08 北京软通智慧城市科技有限公司 模型训练方法、人体姿态估计方法、装置、设备及介质

Also Published As

Publication number Publication date
CN112434679A (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
CN112434679B (zh) 康复运动的评估方法及装置、设备、存储介质
JP7057959B2 (ja) 動作解析装置
EP0936576B1 (en) A system for reconstructing the 3-dimensional motions of a human figure from a monocularly-viewed image sequence
CN110660017A (zh) 一种基于三维姿态识别的舞谱记录与演示方法
CN114581613B (zh) 一种基于轨迹约束的人体模型姿态和形状优化方法和***
CN114782661B (zh) 下半身姿态预测模型的训练方法及装置
CN112419419A (zh) 用于人体姿势和形状估计的***和方法
Varona et al. Toward natural interaction through visual recognition of body gestures in real-time
KR101636171B1 (ko) 스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템
CN112487948A (zh) 一种基于多空间融合的学习者学习过程的专注度感知方法
CN112861808A (zh) 动态手势识别方法、装置、计算机设备及可读存储介质
CN110415322B (zh) 虚拟对象模型的动作指令的生成方法和装置
CN106909904B (zh) 一种基于可学习形变场的人脸正面化方法
JP6876312B1 (ja) 学習モデル生成方法、コンピュータプログラム及び情報処理装置
CN114399829A (zh) 基于生成式对抗网络的姿态迁移方法、电子设备及介质
CN115546360A (zh) 动作结果识别方法及装置
CN112633261A (zh) 图像检测方法、装置、设备及存储介质
TWI812053B (zh) 定位方法、電子設備及電腦可讀儲存媒體
US20240013410A1 (en) Information processing apparatus, information processing method, and program
CN117916773A (zh) 用于在移动设备中同时重建姿态和参数化3d人体模型的方法和***
JP2022092528A (ja) 三次元人物姿勢推定装置、方法およびプログラム
Kumar et al. Estimation of Human Posture Using Convolutional Neural Network Using Web Architecture
JP4942197B2 (ja) テンプレート作成装置及び表情認識装置並びにその方法、プログラム及び記録媒体
JP7124746B2 (ja) 物体の部分位置推定プログラム、物体の部分位置推定用ニューラルネットワーク構造、物体の部分位置推定方法、および物体の部分位置推定装置
Liu et al. Free-head pose estimation under low-resolution scenarios

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant