CN114267086A - 一种运动中复杂连续动作的执行品质评估方法 - Google Patents

Abstract

本发明公开了一种运动中复杂连续动作的执行品质评估方法，其包括以下步骤：S1：通过人体姿态识别算法提取人体关键点；S2：将上述获取的关键点再结合人体重心，根据人体各关节的灵活度，把关键点分为4个等级，再逐级连接相应的关键点组合成不同的矢量，然后将这些矢量的模进行稳定滤波处理，最后根据关键点重建公式重新建立人体关键点；S3：根据步骤S2中重建得到的人体关键点，构造角度、速度以及角速度等动作参数表征训练动作，然后再做参数融合处理；S4：采取4个方向来量化动作，分别是动作的优劣与动作的快慢。该方法保证了提取出的人体关键点基本稳定，并且可以个性化的设计参数来表征连续复杂的动作，对连续复杂的动作进行量化。

Description

一种运动中复杂连续动作的执行品质评估方法

技术领域

本发明涉及人体运动技术领域，尤其是一种运动中复杂连续动作的执行品质评估方法。

背景技术

社会人群中肢体损伤的现象愈加频繁，传统方法是利用手术进行治疗，而现在医生普遍认识到，手术仅仅是功能重建的开始，如果想恢复肢体机能还必须进行科学的功能训练或在医生指导下进行运动康复训练。近年来，大多运动康复途径都是通过器械或人工辅助来完成，器械主要是用于规范训练者的动作，避免给训练者身体带来二次损伤。而人工辅助则是训练者在人为的指导下完成康复动作并人为主观地评估训练动作。

随着生活水平的提高，有越来越多的人投身于体育运动中，然而错误的姿势会影响运动员的成绩甚至给运动员身体造成损伤，因此规范运动员的动作显得尤为重要。目前大多运动项目中，运动员都是在专业教练的指导下提高动作质量，成绩都是由裁判判定。在生活中往往存在一些危险动作的发生，如人在特定场所里的违法行为、老年人摔倒等，为了避免此类事情的发生，目前大多相关部门采用的是人为看守。然而，在上述的例子当中，存在以下不足：(1)较高的人力物力的成本开销。(2)康复患者或运动员都需要在特定场所完成训练动作。(3)动作成绩评判存在人为主观因素，可能造成误差。

发明内容

本发明的目的是针对现有技术中，运动中对动作进行量化不足的问题，提供一种运动中复杂连续动作的执行品质评估方法。

本发明提供的运动中复杂连续动作的执行品质评估方法，包括以下步骤：

S1：采用人体姿态识别算法在人体中提取关键点及其位置信息。

S2：将上述获取的关键点再结合人体重心，根据人体各关节的灵活度，把关键点分为不同等级，再逐级连接相应的关键点组合成不同的矢量，然后将这些矢量的模进行稳定滤波处理，最后根据关键点重建公式重新建立人体关键点。具体方法步骤如下：

S21：把人体分为13个刚体，求取人体重心：

其中，P_i为第i个刚体的重力，X_i为第i个刚体的重心横坐标，Y_i为第i个刚体的重心纵坐标，P为人体的重力，X和Y分别为人体重心的横纵坐标。

S22：将步骤S21中得到的人体重心与步骤S1中获取的人体关键点结合，根据人体各关节的灵活度，将关键点分为不同等级。

S23：将不同等级的关键点结合人体构造，两两组合逐级连接成矢量，再根据人体关节灵活度，把矢量分为不同等级，每个等级有相应的滤波系数。

S24：将不同等级的矢量的模进行滤波处理，可以采用无限响应滤波器或有限响应滤波器进行滤波处理。

S25：根据滤波后的矢量距离，重新建立各个人体关键点。重新建立各个人体关键点的公式如下：

其中，x(p′_i)表示第i级关键点重建后的横坐标，x(p′_i-1)表示i-1级的关键点重建后的横坐标；

表示滤波后的向量在x轴上的投影距离；y(p′_i)表示第i级关键点重建后的横坐标，y(p′_i-1)表示i-1级的关键点重建后的横坐标，

表示滤波后的向量在y轴上的投影距离。

S3：根据步骤S2中重建得到的人体关键点，构造角度、速度以及角速度等动作参数表征训练动作，然后再做参数融合处理。包括以下两个子步骤：

S31：根据步骤S2中得到的人体关键点数据，构造角度、速度及角速度参数，每一个参数对应一条随时间变化曲线；

S32：根据动作特点，将S31中的参数曲线进行融合。

S4：采取4个方向来量化动作，分别是动作的优劣与动作的快慢。具体为：

S41：每个动作存在一个标准动作曲线，量化动作的优劣是通过自动生成高、低标准动作曲线后，计算其与用户曲线的距离来判断；

S42：量化动作的快慢是通过相似度算法路径中的点位置来判断。

与现有技术相比，本发明的有益之处在于：

本发明的方法保证了提取出的人体关键点基本稳定，并且可以个性化的设计参数来表征连续复杂的动作，同时对连续复杂的动作进行量化。在训练者完成运动过程中，能够流畅稳定地对患者动作进行评估。不需要在特定的环境下进行训练，操作简单；不需要人为或机器的干预，省下较大的成本开销；动作量化准确，没有人为主观因素干扰。解决了现有技术中存在的：使用环境限制；人体姿态识别中关键点抖动；动作单一，定制性不足；对动作进行量化不足等问题。

本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

附图说明

图1、人体骨骼关键点提取示例。

图2、关键点稳定流程图。

图3、关键点滤波示意图。

图4、关键点角度示意图。

图5、关键点速度示意图。

图6、关键点速度示意图。

图7、多标准曲线示意图。

图8、多参数评分流程图。

图9、动作评分流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明的运动中复杂连续动作的执行品质评估方法，包括以下步骤：

S1：提取关键点

关于人体关键点识别有许多的方法，其中最具有代表性的是卡内基梅隆大学的开源项目Open Pose，Open Pose包含了对人的各部位(如手、脸)以及整个人体进行定位识别，具有很好的鲁棒性。以下描述以Open Pose所输出的人体关键点为例，如图1所示。但是本发明的执行品质评估方法适用于各类人体关键点识别算法。

S2：关键点稳定

在识别过程中，身体移动会造成一些人体柔性部位的定位点出现不稳定抖动情况，影响定位效果以及后续量化工作的准确性。因此，我们需要对关键点进行稳定处理。稳定处理工作流程可以分为如图2所示的四个步骤：依次是找人体重心、人体关键点级别划分、过滤器***设置、分级滤波求关键点坐标。四个步骤具体如下：

S21：由于人体重心能够很好的表征人的位置信息，所以首先找到人体重心，具体方法如下：

以下描述仅以某一人体关键点算法为例。根据提取出的18个人体关键点(见图3)，我们可以把它分为13个刚体，其中，P_i为第i个刚体的重力，X_i为第i个刚体的重心横坐标，Y_i为第i个刚体的重心纵坐标，P为人体的重力，X和Y分别为人体重心的横纵坐标。

S22：由于关键点的灵活性不同，需要对关键点划分等级，便于后续的滤波处理。灵活度较低的头部不参与稳定处理，即关键点0、14、15、16、17不参与稳定处理。然后把其余关键点分为四个等级，每个等级都有对应的滤波系数。

零级关键点：人体重心点；

第一级关键点：1、2、5、8、11；

第二级关键点：3、6、9、12；

第三级关键点：4、7、10、13。

我们定义第0级为等级较低的关键点，第三级为等级较高的关键点。其中，等级越低，关键点的灵活性越低。

为符合人体力学的约束条件，我们进行滤波的对象为矢量的模，即矢量长度，而不是单一的关键点。如图3所示，我们把较低一级的关键点与它上一级的关键点连接，例如第一级关键点的坐标为(p₁,p₂,p₅,p₈,p₁₁)，分别与重心连接后的距离为(d1_o1,d1_o2,d1_o5,d1_o8,d1_o11)，因为有四个等级关键点，所以可以分为三个等级的距离，分别为：

零级矢量长度：(d1_o1,d1_o2,d1_o5,d1_o8,d1_o11)，滤波系数w0；

第一级矢量长度：(d2₂₃,d2₅₆,d2₈₉,d2₁₁₁₂)，滤波系数w1；

第二级矢量长度：(d3₃₄,d3₆₇,d3₉₁₀,d3₁₂₁₃)，滤波系数w2。

根据关键点的灵活性设置滤波系数，灵活性越低，滤波越重，相对应的滤波系数越高，由此可得：w0<w1<w2。具体系数设置如下：

w0＝0.3、w1＝0.4、w2＝0.5。以及帧间距离差分级参考值：零级15毫米、一级20毫米、二级25毫米。当同一级矢量长度平均值超过该级的距离差分级参考值时，每增加5毫米，滤波系数增加0.05。

滤波方法如下：

d′_n＝d_n-1×(1-w)+d_n×w

其中d_n为在第n帧下的距离，d_n-1为在第n-1帧下的距离，d′_n为滤波后得到的距离，w为滤波系数。经过滤波处理后，再重新建立人体关键点坐标。

以上示例为无限响应滤波器IIR，也可以使用有限响应滤波器FIR或者其他常见滤波器。

重建的公式为：

其中，x(p′_i)表示第i级关键点重建后的横坐标，x(p′_i-1)表示i-1级的关键点重建后的横坐标，

表示滤波后的向量在x轴上的投影距离；y(p′_i)表示第i级关键点重建后的横坐标，y(p′_i-1)表示i-1级的关键点重建后的横坐标，

表示滤波后的向量在y轴上的投影距离。

S3：个性化设计动作参数，本发明使用了角度、速度以及角速度来表征动作。

S31：角度

在提取人体关键点中，可以获得关键点坐标，我们可以根据这些坐标来构造一些角度以便评估动作的准确度。

以关键点1、关键点5以及关键点6构成的夹角为例，如图4所示，三个点坐标分别为：

p₁＝x1+iy₁、p₅＝x₅+iy₅、p₆＝x₆+iy₆。根据两点间距离公式，可得三边分别为：l₁₅＝p₁-p₅、l₁₆＝p₁-p₆、l₅₆＝p₅-p₆。由反余弦定理可得：

S32：速度

同样地，基于Open Pose提取人体骨骼关键点并获取坐标信息。我们可以计算出关键点前后帧之间的位移pixelsPerFrame，以关键点13为例，前后帧位移为：Δx＝p₁₃(n)-p₁₃(n-1)，p₁₃(n)代表第n帧关键点13的位置，如图5和6所示。

其次，确定帧率framesPerSec和每毫米包含多少像素pixelsPermm。最终速度表达式可为:

其中，mmPerSec表示关键点每秒钟移动了多少毫米，即关键点的速度。

S33：角速度

每一帧的角度和帧率确定之后，可以计算每个角度的角速度，

ω＝framesPerSec*(θ_n-θ_n-1)

其中θ_n代表某个角度在第n帧下的角度；θ_n-1代表某个角度在第n-1帧下的角度。

S34：特征融合

为了高效地与标准动作做对比，我们把前面设计地动作参数进行融合，首先把每一个参数做归一化处理：

式中，

代表归一化后的参数函数；D_i(x)代表参数原始函数；D_i(x)_min代表原始函数中的最小值；D_i(x)_max代表原始函数中的最大值。

在权值分配中，我们给每个特征参数定义一个值。认定特征参数中极差除以该常数值的商较大的为重要参数，应赋予较大权值：

式中：α_i表示第i个特征的权值，Ri代表第i个特征的极差，K代表常数值，n代表参数个数。最终，我们融合后得到的曲线为：

以上公式仅为使用范例。根据选择的人体关键点识别模型，可以设有m个关键点，则有p个特征：

然后融合后的曲线为：

其中，V_i表示第i个特征，g(x)、f(x)是根据具体动作要求构造的两个函数表达式，α_i是第i个特征的权重。

S4：量化动作

我们采用的方法是从四个方向来量化动作：动作的优劣和动作的快慢。我们使用动态时间规整算法在上述4个方向上对动作进行量化评估。

该算法计算两段不同时间序列的相似度。它的输入是两段时间序列，输出是一条路径以及差异性值。差异性值越小，表示两段时间序列越相似。

(1)动作的优劣：

由于训练者可能比标准动作做得好，也有可能做得差，为了能够判断差异性的优劣，在评估训练者动作时，我们从多个标准来评估，当给出一条标准曲线时，会自动生成另外两条曲线，分别为低质量曲线和高质量曲线，而标准曲线动作质量介于低质量曲线与高质量曲线之间，如图7所示。具体曲线生成方法如下：

以角度参数为例，首先会给出一个标准动作的角度曲线M(x)，当我们认定某个角度越大时，动作越标准，就给相应的曲线标准值乘以大于1的数，当认定某个角度越小时，动作越标准，就给相应的曲线标准值乘以0-1的数。

所乘的系数可以表示为：

其中

表示所乘系数，n表示第几帧。因此，高标准曲线为：

而低标准曲线所乘的系数随时间的变化可以表示为函数

则低标准曲线为：

我们把训练者的时间序列T(x)分别与H(x),L(x)比较，可以得出与之最相似的一条曲线，如果与H(x)相似，则为优等差异，如果与L(x)相似，则为劣等差异。

(2)动作的快慢:

输入是两条时间序列(Q,C)，输出是一条路径f(x)。假设Q为标准动作曲线，C为用户动作曲线，Q序列长度为m，C序列长度为n。运动中某一时刻t处，如果：

当

时，表示用户动作慢于标准动作；

当

时，表示用户动作等于标准动作；

当

时，表示用户动作快于标准动作。

为了给训练者提出训练建议，我们需要判断在训练过程中，掌握训练者每个参数与标准动作的比较情况，因此把训练者的每个参数与标准动作的对应参数做比对，如图8所示。

A代表标准动作，B代表训练者，1…n代表不同的参数。我们会把得分低于60的动作参数提取出来并给训练者提出反馈。

训练者整套动作得分，我们是通过比对融合后的两条曲线来计算，如图9所示。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (7)

1.一种运动中复杂连续动作的执行品质评估方法，其特征在于，包括以下步骤：

S1：获取人体关键点；

S2：根据人体重心和人体各关节的灵活度，把人体关键点分为不同等级，然后逐级连接相应的关键点组合成不同的矢量，再将这些矢量的模进行稳定滤波处理，最后根据关键点重建公式重新建立人体关键点；

S3：根据步骤S2中重建得到的人体关键点，设计多个动作参数来表征训练动作，然后将所有参数进行融合处理；表征训练动作，然后再做参数融合处理；

S4：采取4个方向来量化动作，分别是动作的优劣与动作的快慢。

2.如权利要求1所述的运动中复杂连续动作的执行品质评估方法，其特征在于，所述步骤S2包括以下子步骤：

S21：把人体分为13个刚体，求取人体重心：

其中，P_i为第i个刚体的重力，X_i为第i个刚体的重心横坐标，Y_i为第i个刚体的重心纵坐标，P为人体的重力，X和Y分别为人体重心的横纵坐标；

S22：将步骤S21中得到的人体重心与步骤S1中获取的人体关键点结合，根据人体各关节的灵活度，将关键点分为不同等级；

S23：将不同等级的关键点结合人体构造，两两组合逐级连接成矢量，再根据人体关节灵活度，把矢量分为不同等级，每个等级有相应的滤波系数；

S24：将不同等级的矢量的模进行滤波处理；

S25：根据滤波后的矢量距离，重新建立各个人体关键点。

3.如权利要求2所述的运动中复杂连续动作的执行品质评估方法，其特征在于，步骤S24中，采用无限响应滤波器或有限响应滤波器进行滤波处理。

4.如权利要求2所述的运动中复杂连续动作的执行品质评估方法，其特征在于，所述步骤S25中，重新建立各个人体关键点的公式为：

其中，x(p′_i)表示第i级关键点重建后的横坐标，x(p′_i-1)表示i-1级的关键点重建后的横坐标；

表示滤波后的向量在x轴上的投影距离；y(p′_i)表示第i级关键点重建后的横坐标，y(p′_i-1)表示i-1级的关键点重建后的横坐标，

表示滤波后的向量在y轴上的投影距离。

5.如权利要求1所述的运动中复杂连续动作的执行品质评估方法，其特征在于，所述步骤S3包括以下两个子步骤：

S31：根据步骤S2中得到的人体关键点数据，构造角度、速度及角速度这三个参数，每个参数对应一条随时间变化曲线；

S32：根据动作特点，将步骤S31中的参数曲线进行融合。

6.如权利要求1所述的运动中复杂连续动作的执行品质评估方法，其特征在于，所述步骤S4中具体为：

S41：每个动作存在一个标准动作曲线，量化动作的优劣是通过自动生成高、低标准动作曲线后，计算其与用户曲线的距离来判断；

S42：量化动作的快慢是通过相似度算法路径中的点位置来判断。

7.如权利要求1所述的运动中复杂连续动作的执行品质评估方法，其特征在于，所述步骤S1中，采用人体姿态识别算法在人体中提取关键点及其位置信息。

Images