CN114618147B - 一种太极拳康复训练动作识别方法 - Google Patents

Abstract

本发明公开了一种太极拳康复训练动作识别方法，包括以下步骤：S1、采集太极拳运动数据，并对太极拳运动数据打动作标签，构建太极拳运动数据集；S2、对太极拳运动数据集进行数据预处理，得到骨架数据集；S3、对骨架数据集中的每一个完全矩阵，构建时空图；S4、将时空图划分为骨骼流数据和关节流数据，各自分别输入康复动作识别模型，得到太极拳康复动作识别类别；本发明解决了关节点缺失或自我遮挡导致的运动序列存在间隙，从而导致动作识别准确度较低的问题。

Description

一种太极拳康复训练动作识别方法

技术领域

本发明涉及图像识别技术领域，具体涉及一种太极拳康复训练动作识别方法。

背景技术

随着社会老龄化程度的不断加快，慢性病群体规模也愈加庞大，而脑卒中作为我国致死因素第一的典型慢性病，具有极高的发病率与致残率。适当的康复锻炼可以恢复卒中患者的部分运动功能，也是患者康复期的主要治疗手段，但有限的医疗资源难以满足现阶段卒中患者的康复需求，长期住院治疗也会给家庭带来经济负担，因此多数患者需要长期家庭康复训练。但多数患者存在康复依从性较差的问题，已有工作通过智能监控等技术从视频中实时识别患者的康复动作，监测并督促患者的康复过程，从而提高中长期的康复水平。动作捕捉是分析人体关节活动的基础。在运动捕捉中的一个常见问题是由于遮挡或歧义，导致一些标记位置丢失，进而影响后续的识别效果。

发明内容

针对现有技术中的上述不足，本发明提供的一种太极拳康复训练动作识别方法解决了关节点缺失或自我遮挡导致的运动序列存在间隙，从而导致动作识别准确度较低的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种太极拳康复训练动作识别方法，包括以下步骤：

S1、采集太极拳运动数据，并对太极拳运动数据打动作标签，构建太极拳运动数据集；

S2、对太极拳运动数据集进行数据预处理，得到骨架数据集；

S3、对骨架数据集中的每一个完全矩阵，构建时空图；

S4、将时空图划分为骨骼流数据和关节流数据，各自分别输入康复动作识别模型，得到太极拳康复动作识别类别。

进一步地，步骤S2包括以下分步骤：

S21、将太极拳运动数据集中每一个运动数据样本表示为矩阵形式，得到矩阵形式的运动数据样本Z∈R^m×n，

其中，n为关节数，m为帧数，Z₁为第1个运动子序列，Z_K为第K个运动子序列；

S22、将每个运动子序列进行标记，构建完全-非完全矩阵样本对{Z_i；Z_i ⁽⁰⁾}，i＝1，...，K，其中，Z_i为第i个运动子序列，Z_i ⁽⁰⁾为含有0项的不完全矩阵，0项表示因关节缺失产生的间隙；

S23、对矩阵形式的运动数据样本Z和不完全矩阵Z_i ⁽⁰⁾分别进行奇异值分解，得到公共特征空间U和单独特征空间U_i ⁽⁰⁾；

S24、根据公共特征空间U和单独特征空间U_i ⁽⁰⁾，计算转换矩阵F；

S25、通过转换矩阵F对缺失动作捕捉数据进行重构恢复，填补采集过程中存在的关节遮挡和缺失，得到完全矩阵Y^*；

S26、将所有完全矩阵Y^*构建为骨架数据集。

上述进一步方案的有益效果为：通过转换矩阵对缺失动作捕捉数据进行重构恢复，填补采集过程中存在的关节遮挡和缺失，构建骨架数据集，

进一步地，步骤S23中对矩阵形式的运动数据样本Z和不完全矩阵Z_i ⁽⁰⁾分别进行奇异值分解的公式为：

其中，T表示转置，∑为对角矩阵，∑为ZZ^T的特征值的平方根；∑_i为m×n的矩阵，其除主对角线上的元素以外全为0，主对角线上的每个元素都为奇异值。

进一步地，步骤S24中计算转换矩阵F的公式为：

其中，Z_i为第i个运动子序列，F为r×r的转换矩阵，r为公共特征空间U的秩。

上述进一步方案的有益效果为：转换矩阵同时横跨了公共特征空间和单独特征空间，可以更好的对于不完全矩阵进行恢复。

进一步地，步骤S25中得到完全矩阵Y^*的公式为：

Y^*＝YU_Y ⁽⁰⁾FU^T

其中，U_Y ⁽⁰⁾为包含不完全矩阵Y中的r个特征向量，不完全矩阵Y为一个存在多间隙分布的新运动数据样本的矩阵形式。

上述进一步方案的有益效果为：通过该步骤恢复的完全矩阵Y^*，填充了由于关节缺失和遮挡导致的数据质量问题，得到了更符合太极拳运动规律的运动序列矩阵表示形式。

进一步地，步骤S3包括以下分步骤：

S31、将骨架数据集中每一个完全矩阵中的相邻帧节点之间边的连线表示为骨骼关节点的时序关系；

S32、在每一个完全矩阵的每一帧数据中，按照人体的自然骨架连接关系，构建空间图；

S33、将空间图结合骨骼关节点的时序关系，得到时空图。

进一步地，康复动作识别模型包括依次连接的第一BN层、第一自适应图卷积块、第二自适应图卷积块、第三自适应图卷积块、第四自适应图卷积块、第五自适应图卷积块、第六自适应图卷积块、第七自适应图卷积块、第八自适应图卷积块、第九自适应图卷积块、全局平均池化层、全连接层和分类层softmax。

进一步地，第一自适应图卷积块、第二自适应图卷积块、第三自适应图卷积块、第四自适应图卷积块、第五自适应图卷积块、第六自适应图卷积块、第七自适应图卷积块、第八自适应图卷积块和第九自适应图卷积块均包括依次连接的空间卷积层、第二BN层、第一激活层、Dropout层、时间卷积层、第三BN层和第二激活层；所述空间卷积层的输入端还与第二激活层的输出端连接，构成残差连接。

进一步地，第一自适应图卷积块、第二自适应图卷积块、第三自适应图卷积块、第四自适应图卷积块、第五自适应图卷积块、第六自适应图卷积块、第七自适应图卷积块、第八自适应图卷积块和第九自适应图卷积块的输入输出关系的通式为：

其中，f_in为输入自适应图卷积块的向量，f_out为输出自适应图卷积块的向量，K_v为空间维度核的大小，A_k为邻接矩阵，用于表示关节点之间的连接关系，两个关节点v_i和v_j连接，

为1，两个关节点v_i和v_j不连接，

为0，B_k为表示关节点连接强弱的矩阵，用于表示关节点间连接强弱，值越小代表关节连接越弱，值越大代表关节连接越强，C_k为相似矩阵，其中的元素

用于表示两个关节点v_i和v_j间的相似程度，W_k为权重矩阵，k为当前空间维度的核数，

为度矩阵，

为表示关节点子集S_ik间关系的维度为n×n的矩阵，其元素

表示关节点v_i是否在子集S_ik中，在子集S_ik中，

为1，不在子集S_ik中，

为0，S_ik为从f_in相应的权重向量中提取特定子集中的连接顶点，

为度矩阵的元素，i为矩阵的i行，i为矩阵的j列，α为调整参数，softmax()为归一化指数函数，W_θk为嵌入函数θ的参数矩阵，

为嵌入函数

的参数矩阵，θ为归一化高斯嵌入函数，

为归一化高斯嵌入函数，用于捕捉关节点之间的相似性。

上述进一步方案的有益效果为：本发明可以提取太极拳运动序列中的时空关系，通过人体骨骼时空图构建自适应图卷积块，在自适应图卷积块的不同层以学习的方式训练不同的时空图拓扑结构，通过相加融合多种自适应图，可以更好的捕获太极拳运动时空特征。

进一步地，步骤S4中骨骼流数据和关节流数据分别输入康复动作识别模型中，得到骨骼流动作预测概率和关节流动作预测概率，将骨骼流动作预测概率和关节流动作预测概率相加，得到太极拳康复动作预测概率，选择概率最大的太极拳康复动作作为识别结果；

所述太极拳康复动作预测概率的计算公式为：

其中，t_i为预测的第i个太极拳康复动作的概率，

为骨骼流数据对应的康复动作识别模型的全连接层输出的长度为q的特征向量，

为特征向量p¹的第i个分量，

为关节流数据对应的康复动作识别模型的全连接层输出的长度为q的特征向量，

为特征向量p²的第1个分量，

为特征向量p²的第i个分量，j为用于叠加的变量。

上述进一步方案的有益效果为：通过融合关节流和骨骼流构建双流网络，同时利用了骨骼的一阶信息和二阶信息，将骨骼的长度和方向作为骨骼流输入网络可以提取到更多的时空信息特征，准确的提高了分类准确率。

综上，本发明的有益效果为：

1、本发明在构建数据集时，在预处理过程中，对缺失动作捕捉数据进行了重构和恢复，填补了采集过程中存在的关节遮挡和缺失的问题。

2、本发明根据骨架数据集，构建了时空图，并将时空图划分为骨骼流数据和关节流数据，分别输入康复动作识别模型，并将骨骼流和关节流对应的预测概率相加，预测结果同时考虑两方面的因素，使得预测准确率进一步提高。

附图说明

图1为一种太极拳康复训练动作识别方法的流程图；

图2为人体骨骼时空图；

图3为康复动作识别模型的结构示意图；

图4为自适应图卷积块的结构示意图；

图5为步骤S4进行太极拳康复动作识别的流程图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，一种太极拳康复训练动作识别方法，包括以下步骤：

S1、采集太极拳运动数据，并对太极拳运动数据打动作标签，构建太极拳运动数据集；

在本实施例中，采用Kinect设备进行太极拳运动数据采集，Kinect设备距离人体2m，保证人体在Kinect设备的最佳拍摄区。通过Kinect记录采集太极训练过程的动作捕捉数据，即25个关节的三维空间坐标，记录速度为30FPS，记录完成后对文件打动作标签，将打动作标签后的数据整理构成24式太极拳运动数据集。

S2、对太极拳运动数据集进行数据预处理，得到骨架数据集；

步骤S2包括以下分步骤：

S21、将太极拳运动数据集中每一个运动数据样本表示为矩阵形式，得到矩阵形式的运动数据样本Z∈R^m×n，

其中，n为关节数，m为帧数，Z₁为第1个运动子序列，Z_K为第K个运动子序列；

S22、将每个运动子序列进行标记，构建完全-非完全矩阵样本对{Z_i；Z_i ⁽⁰⁾}，i＝1，...，K，其中，Z_i为第i个运动子序列，Z_i ⁽⁰⁾为含有0项的不完全矩阵，0项表示因关节缺失产生的间隙；

S23、对矩阵形式的运动数据样本Z和不完全矩阵Z_i ⁽⁰⁾分别进行奇异值分解，得到公共特征空间U和单独特征空间U_i ⁽⁰⁾；

步骤S23中对矩阵形式的运动数据样本Z和不完全矩阵Z_i ⁽⁰⁾分别进行奇异值分解的公式为：

其中，T表示转置，∑为对角矩阵，∑为ZZ^T的特征值的平方根；∑_i为m×n的矩阵，其除主对角线上的元素以外全为0，主对角线上的每个元素都为奇异值。

S24、根据公共特征空间U和单独特征空间U_i ⁽⁰⁾，计算转换矩阵F；

步骤S24中计算转换矩阵F的公式为：

其中，Z_i为第i个运动子序列，F为r×r的转换矩阵，r为公共特征空间U的秩。

S25、通过转换矩阵F对缺失动作捕捉数据进行重构恢复，填补采集过程中存在的关节遮挡和缺失，得到完全矩阵Y^*；

步骤S25中得到完全矩阵Y^*的公式为：

Y^*＝YU_Y ⁽⁰⁾FU^T

其中，U_Y ⁽⁰⁾为包含不完全矩阵Y中的r个特征向量，不完全矩阵Y为一个存在多间隙分布的新运动数据样本的矩阵形式。

S26、将所有完全矩阵Y^*构建为骨架数据集。

S3、对骨架数据集中的每一个完全矩阵，构建时空图；

步骤S3包括以下分步骤：

S31、将骨架数据集中每一个完全矩阵中的相邻帧节点之间边的连线表示为骨骼关节点的时序关系；

S32、在每一个完全矩阵的每一帧数据中，按照人体的自然骨架连接关系，构建空间图；

S33、将空间图结合骨骼关节点的时序关系，得到时空图。

时空图表示为G＝(V，E)，G＝(V，E)来表示n个关节点与m帧的人体骨架数据中空间与时间的连接关系，其中，同一帧数据的关节点集合V＝{v_i|i＝1，...，n}，V是时空图中的所有关节点的集合，v_i为第i个关节点，太极拳运动数据集有25个关节点，每一个关节点的特征向量由该点坐标和置信度组成。时空图中的边E分空间和时间两种，即E＝E_S+E_F，分别是如图2中依据人体自然结构连接的边线E_S＝{v_iv_i{(i，j)∈H}，H表示人体关节自然连接的集合，v_i为第j个关节点，图2中同一个关节点在不同时间帧上的连接边线

E_F表示边的时间轨迹，

与v_i属于相邻的时间帧上的(相同)关节点，即

与v_i分别在不同时间帧上，但这两个时间帧相邻，

和v_i指定的是同一个关节点。

S4、将时空图划分为骨骼流数据和关节流数据，各自分别输入康复动作识别模型，得到太极拳康复动作识别类别。

如图3所示，康复动作识别模型包括依次连接的第一BN层、第一自适应图卷积块、第二自适应图卷积块、第三自适应图卷积块、第四自适应图卷积块、第五自适应图卷积块、第六自适应图卷积块、第七自适应图卷积块、第八自适应图卷积块、第九自适应图卷积块、全局平均池化层、全连接层和分类层softmax。

第一BN层标准化输入数据，通过全局平均池化层以生成相同大小的特征图，最后输出被送入分类层softmax以获得预测结果。

如图4所示，第一自适应图卷积块、第二自适应图卷积块、第三自适应图卷积块、第四自适应图卷积块、第五自适应图卷积块、第六自适应图卷积块、第七自适应图卷积块、第八自适应图卷积块和第九自适应图卷积块均包括依次连接的空间卷积层、第二BN层、第一激活层、Dropout层、时间卷积层、第三BN层和第二激活层；所述空间卷积层的输入端还与第二激活层的输出端连接，构成残差连接。

第一自适应图卷积块、第二自适应图卷积块和第三自适应图卷积块的输出通道数均为64；第四自适应图卷积块、第五自适应图卷积块和第六自适应图卷积块的输出通道数均为128；第七自适应图卷积块、第八自适应图卷积块和第九自适应图卷积块的输出通道数均为256。

第一自适应图卷积块、第二自适应图卷积块、第三自适应图卷积块、第四自适应图卷积块、第五自适应图卷积块、第六自适应图卷积块、第七自适应图卷积块、第八自适应图卷积块和第九自适应图卷积块的输入输出关系的通式为：

其中，f_in为输入自适应图卷积块的向量，f_out为输出自适应图卷积块的向量，K_v为空间维度核的大小，A_k为邻接矩阵，用于表示关节点之间的连接关系，两个关节点v_i和v_j连接，

为1，两个关节点v_i和v_j不连接，

为0，B_k为表示关节点连接强弱的矩阵，用于表示关节点间连接强弱，值越小代表关节连接越弱，值越大代表关节连接越强，C_k为相似矩阵，其中的元素

用于表示两个关节点v_i和v_j间的相似程度，W_k为权重矩阵，k为当前空间维度的核数，

为度矩阵，

为表示关节点子集S_ik间关系的维度为n×n的矩阵，其元素

表示关节点v_i是否在子集S_ik中，在子集S_ik中，

为1，不在子集S_ik中，

为0，S_ik为从f_in相应的权重向量中提取特定子集中的连接顶点，

为度矩阵的元素，i为矩阵的i行，j为矩阵的j列，α为调整参数，softmax()为归一化指数函数，W_θk为嵌入函数θ的参数矩阵，

为嵌入函数

的参数矩阵，θ为归一化高斯嵌入函数，

为归一化高斯嵌入函数，用于捕捉关节点之间的相似性。

W_k通过w(v_i，v_j)进行1*1卷积(空间卷积层)运算得到的权重矩阵，w(v_i，v_j)为卷积操作的权重函数，w(v_i，r_j)＝w(d(v_i，v_j))，

r_i为训练集中所有帧的时空图中人体骨骼架重心到关节点i的平均距离，r_i为训练集中所有帧的时空图中人体骨骼架重心到关节点j平均距离，若v_j＝r_i，则关节点j为源点，源点为图卷积的中心，若r_j＜r_i，则关节点j相对源点较近，该处为向心运动，若r_j＞r_i，则关节点j相对源点较远，该处为离心运动，d(v_i，v_j)为关节点v_i和v_j间的距离。

通过以下公式来计算两个关节点v_i和v_j间的相似度：

其中，f(v_i，v_j)为两个关节点v_i和v_j间的相似度，θ(v_i)为对关节点v_i进行归一化高斯函数运算，

为对关节点v_j进行归一化高斯函数运算。

步骤S4中骨骼流数据和关节流数据分别输入康复动作识别模型中，得到骨骼流动作预测概率和关节流动作预测概率，将骨骼流动作预测概率和关节流动作预测概率相加，得到太极拳康复动作预测概率，选择概率最大的太极拳康复动作作为识别结果，如图5所示；

所述太极拳康复动作预测概率的计算公式为：

其中，t_i为预测的第i个太极拳康复动作的概率，

为骨骼流数据对应的康复动作识别模型的全连接层输出的长度为q的特征向量，

为特征向量p¹的第i个分量，

为关节流数据对应的康复动作识别模型的全连接层输出的长度为q的特征向量，

为特征向量p²的第1个分量，

为特征向量p²的第i个分量，j为用于叠加的变量。

Claims (9)

1.一种太极拳康复训练动作识别方法，其特征在于，包括以下步骤：

S1、采集太极拳运动数据，并对太极拳运动数据打动作标签，构建太极拳运动数据集；

S2、对太极拳运动数据集进行数据预处理，得到骨架数据集；

S3、对骨架数据集中的每一个完全矩阵，构建时空图；

S4、将时空图划分为骨骼流数据和关节流数据，各自分别输入康复动作识别模型，得到太极拳康复动作识别类别；

所述步骤S2包括以下分步骤：

S21、将太极拳运动数据集中每一个运动数据样本表示为矩阵形式，得到矩阵形式的运动数据样本Z∈R^m×n，

其中，n为关节数，m为帧数，Z₁为第1个运动子序列，Z_K为第K个运动子序列；

S22、将每个运动子序列进行标记，构建完全-非完全矩阵样本对{Z_i；Z_i ⁽⁰⁾}，i＝1,...,K，其中，Z_i为第i个运动子序列，Z_i ⁽⁰⁾为含有0项的不完全矩阵，0项表示因关节缺失产生的间隙；

S23、对矩阵形式的运动数据样本Z和不完全矩阵Z_i ⁽⁰⁾分别进行奇异值分解，得到公共特征空间U和单独特征空间U_i ⁽⁰⁾；

S24、根据公共特征空间U和单独特征空间U_i ⁽⁰⁾，计算转换矩阵F；

S25、通过转换矩阵F对缺失动作捕捉数据进行重构恢复，填补采集过程中存在的关节遮挡和缺失，得到完全矩阵Y^*；

S26、将所有完全矩阵Y^*构建为骨架数据集。

2.根据权利要求1所述的太极拳康复训练动作识别方法，其特征在于，所述步骤S23中对矩阵形式的运动数据样本Z和不完全矩阵Z_i ⁽⁰⁾分别进行奇异值分解的公式为：

其中，T表示转置，Σ为对角矩阵，Σ为ZZ^T的特征值的平方根；Σ_i为m×n的矩阵，其除主对角线上的元素以外全为0，主对角线上的每个元素都为奇异值。

3.根据权利要求1所述的太极拳康复训练动作识别方法，其特征在于，所述步骤S24中计算转换矩阵F的公式为：

其中，Z_i为第i个运动子序列，F为r×r的转换矩阵，r为公共特征空间U的秩。

4.根据权利要求1所述的太极拳康复训练动作识别方法，其特征在于，所述步骤S25中得到完全矩阵Y^*的公式为：

Y^*＝YU_Y ⁽⁰⁾FU^T

其中，U_Y ⁽⁰⁾为包含不完全矩阵Y中的r个特征向量，不完全矩阵Y为一个存在多间隙分布的新运动数据样本的矩阵形式。

5.根据权利要求4所述的太极拳康复训练动作识别方法，其特征在于，所述步骤S3包括以下分步骤：

S31、将骨架数据集中每一个完全矩阵中的相邻帧节点之间边的连线表示为骨骼关节点的时序关系；

S32、在每一个完全矩阵的每一帧数据中，按照人体的自然骨架连接关系，构建空间图；

S33、将空间图结合骨骼关节点的时序关系，得到时空图。

6.根据权利要求1所述的太极拳康复训练动作识别方法，其特征在于，所述康复动作识别模型包括依次连接的第一BN层、第一自适应图卷积块、第二自适应图卷积块、第三自适应图卷积块、第四自适应图卷积块、第五自适应图卷积块、第六自适应图卷积块、第七自适应图卷积块、第八自适应图卷积块、第九自适应图卷积块、全局平均池化层、全连接层和分类层softmax。

7.根据权利要求6所述的太极拳康复训练动作识别方法，其特征在于，所述第一自适应图卷积块、第二自适应图卷积块、第三自适应图卷积块、第四自适应图卷积块、第五自适应图卷积块、第六自适应图卷积块、第七自适应图卷积块、第八自适应图卷积块和第九自适应图卷积块均包括依次连接的空间卷积层、第二BN层、第一激活层、Dropout层、时间卷积层、第三BN层和第二激活层；所述空间卷积层的输入端还与第二激活层的输出端连接，构成残差连接。

8.根据权利要求7所述的太极拳康复训练动作识别方法，其特征在于，所述第一自适应图卷积块、第二自适应图卷积块、第三自适应图卷积块、第四自适应图卷积块、第五自适应图卷积块、第六自适应图卷积块、第七自适应图卷积块、第八自适应图卷积块和第九自适应图卷积块的输入输出关系的通式为：

其中，f_in为输入自适应图卷积块的向量，f_out为输出自适应图卷积块的向量，K_v为空间维度核的大小，A_k为邻接矩阵，用于表示关节点之间的连接关系，两个关节点v_i和v_i连接，

为1，两个关节点v_i和v_j不连接，

为0，B_k为表示关节点连接强弱的矩阵，用于表示关节点间连接强弱，值越小代表关节连接越弱，值越大代表关节连接越强，C_k为相似矩阵，其中的元素

用于表示两个关节点v_i和v_i间的相似程度，W_k为权重矩阵，k为当前空间维度的核数，

为度矩阵，

为表示关节点子集S_ik间关系的维度为n×n的矩阵，其元素

表示关节点v_j是否在子集S_ik中，在子集S_ik中，

为1，不在子集S_uk中，

为0，S_ik为从f_in相应的权重向量中提取特定子集中的连接顶点，

为度矩阵的元素，i为矩阵的i行，j为矩阵的j列，α为调整参数，softmax( )为归一化指数函数，W_θk为嵌入函数θ的参数矩阵，

为嵌入函数

的参数矩阵，θ为归一化高斯嵌入函数，

为归一化高斯嵌入函数，用于捕捉关节点之间的相似性。

9.根据权利要求7所述的太极拳康复训练动作识别方法，其特征在于，所述步骤S4中骨骼流数据和关节流数据分别输入康复动作识别模型中，得到骨骼流动作预测概率和关节流动作预测概率，将骨骼流动作预测概率和关节流动作预测概率相加，得到太极拳康复动作预测概率，选择概率最大的太极拳康复动作作为识别结果；

所述太极拳康复动作预测概率的计算公式为：

其中，

为预测的第

个太极拳康复动作的概率，

为骨骼流数据对应的康复动作识别模型的全连接层输出的长度为q的特征向量，

为特征向量p¹的第

个分量，

为关节流数据对应的康复动作识别模型的全连接层输出的长度为q的特征向量，

为特征向量p²的第1个分量，

为特征向量p²的第

个分量，

为用于叠加的变量。

Images