CN110956139A - 一种基于时间序列回归预测的人体运动动作分析方法 - Google Patents

Abstract

本发明公开了一种基于时间序列回归预测的人体运动动作分析方法,主要包括跳绳视频采集、视频数据预处理、坐标点的获取、特征序列的构建、回归预测模型的建立、模型的调用，通过手机采集人体正面正摇双脚跳过程中的视频流数据，记录并保存目标对象的基本信息，包括姓名、性别、年龄、身高、体重、所做动作名称，利用深度神经网络构建回归预测模型，解决了运动训练过程中的长时间动作分析和运动潜力发现问题，为运动过程中的动作分析和训练策略得提出提供了参考依据。

Description

一种基于时间序列回归预测的人体运动动作分析方法

技术领域

本发明涉及人体运动动作分析技术领域，特别是涉及一种基于时间序列回归预测的人体运动动作分析方法。

背景技术

近年来随着计算机技术与机器学习的发展和应用，基于视频的时间序列人体动作分析技术迅速兴起并得到了广泛的关注。当前基于视频的时间序列的人体动作分析仍是计算机视觉中一个极具挑战性的课题，涉及图像处理、模式识别、机器学习等多个学科，在智能监控、人机交互、康复运动、体育训练评估等领域有着广泛的应用前景。

时间序列，也称之为动态数列，是被研究对象按照时间的先后顺序进行排列而形成的一组数列，也是被研究对象在不同时间的相应，它反映了研究对象随时间变化的发展过程。时间序列的回归预测是通过对预测目标自身时间序列的分析来研究其变化趋势，在对目标数据简历数学模型的基础上，进一步分析目标数据的内在联系和规律性，从而对目标的未来做出决策。

现有的基于视频的时间序列在人体行为识别算法上存在复杂度高、鲁棒性差、计算负担过重等问题，不能做到实时。此外，在人体动作的回归预测和运动质量评估方面的研究工作较少，所以发明一种鲁棒性高，时间开销稳定的基于时间序列回归预测的人体动作分析方法，对于人体动作分析建模和动作质量评估，以及运动者的潜力挖掘都具有重要的意义。

发明内容

针对上述情况，为克服现有技术之缺陷，本发明之目的在于提供一种基于时间序列回归预测的人体运动动作分析方法，解决了运动训练过程中动作的长时间预测和评估以及运动者潜力挖掘的问题。

其解决的技术方案是，一种基于时间序列回归预测的人体运动动作分析方法,主要包括跳绳视频采集、视频数据预处理、坐标点的获取、特征序列的构建、回归预测模型的建立、模型的调用，具体步骤如下：

步骤1：通过手机采集人体正面正摇双脚跳过程中的视频流数据，记录并保存目标对象的基本信息，包括姓名、性别、年龄、身高、体重、所做动作名称；

步骤2：对视频数据进行预处理，并对视频中每一帧的人体进行姿态估计，得到关键点坐标，其步骤如下：

步骤A1:将不同手机拍摄的视频数据转换成统一的尺度，将视频高设定为530cm,宽设定为460cm；

步骤A2：利用Open-pose方法对获得视频中每帧人体的鼻子、脖子、右肩、右手肘、右手腕、左肩、左手肘、左手腕、右臀部、右膝盖、右脚踝、左臀部、左膝盖、左脚踝这14个关节点的坐标位置，坐标表示为CP_i＝(x_i,y_i)，其中i从1到14，其中,(x_i,y_i)为人体关键点的坐标；

步骤A3：Open-pose利用预测的关键点和真实值之间的高斯距离来定义关键点的置信度，并将置信度归一化到[0,1]的范围,在此定义为关键点的得分score并得到输出结果inputs_i＝(x_i,y_i,score_i)；

步骤A4：对14个关键点得分求均值和标准差，并将均值和标准差的和作为整体关键点的得分结果，

score_总＝score_平均+score_标准差；

步骤3：为了进一步提升算法对拍摄角度、目标远近、录制过程抖动等因素的鲁棒性，分别将关键点以左臀部C₁、右臀部C₁₁、脖子C₈三个坐标点的重心为原点进行坐标转换并得到数据

其中

即为转换后的相对坐标定义坐标原点，即，C₁、C₁₁、C₈三点的重心点C₀＝(cx₀,cy₀),其中

并以原点坐标为参照更新所有坐标点；

步骤4：累计每帧得到的坐标矩阵inputs，得到每段视频的累计坐标矩阵，利用滑动窗口对累计坐标矩阵进行窗口分割，即，滑动窗口长度设置为k帧得到的累计坐标和得分，步长设置为1；

步骤5：利用深度神经网络构建回归预测模型，其步骤为：

骤B1:利用CNN融合RNN来构建网络模型，即，一个双向的LSTM(BiLSTM)模型和一个拥有两层卷积层加全局池化层的模型进行融合来构建深度神经网络模型；

步骤B2：将数据分为训练集和测试集两个部分，利用测试集训练训练网络模型，并保存预训练模型；

步骤B3：将测试数据输入到训练好的模型中，得到预测的结果。

由于以上技术方案的采用，本发明与现有技术相比具有如下优点；

1.通过跳绳视频采集、视频数据预处理、坐标点的获取、特征序列的构建、回归预测模型的建立、模型的调用，解决了运动训练过程中的长时间动作分析和运动潜力发现问题，为运动过程中的动作分析和训练策略得提出提供了参考依据，本发明的结果准确性高、适应性强、健壮性高、可扩展性好，完全能够满足实时人体运动动作分析场景下的需求。

附图说明

图1是本发明优选实施列中单摇双脚跳动作回归预测结构图；

图2是跳绳过程中的14个点的人体姿态估计图；

图3人体关键点坐标转换在直角坐标系中呈现图；

图4总体网络结构图；

图5网络结构各层可视化结果图。

具体实施方式

有关本发明的前述及其他技术内容、特点与功效，在以下配合参考附图1至图5对实施例的详细说明中，将可清楚的呈现。以下实施例中所提到的结构内容，均是以说明书附图为参考。

一种基于时间序列回归预测的人体运动动作分析方法,主要包括跳绳视频采集、视频数据预处理、坐标点的获取、特征序列的构建、回归预测模型的建立、模型的调用，具体步骤如下：

步骤1：通过手机采集人体正面正摇双脚跳过程中的视频流数据，记录并保存目标对象的基本信息，包括姓名、性别、年龄、身高、体重、所做动作名称；

步骤2：对视频数据进行预处理，并对视频中每一帧的人体进行姿态估计，得到关键点坐标，其步骤如下：

步骤A1:将不同手机拍摄的视频数据转换成统一的尺度，将视频高设定为530cm,宽设定为460cm；

步骤A2：利用Open-pose方法对获得视频中每帧人体的鼻子、脖子、右肩、右手肘、右手腕、左肩、左手肘、左手腕、右臀部、右膝盖、右脚踝、左臀部、左膝盖、左脚踝这14个关节点的坐标位置，坐标表示为CP_i＝(x_i,y_i)，其中i从1到14，其中,(x_i,y_i)为人体关键点的坐标；

步骤A3：Open-pose利用预测的关键点和真实值之间的高斯距离来定义关键点的置信度，并将置信度归一化到[0,1]的范围,在此定义为关键点的得分score并得到输出结果inputs_i＝(x_i,y_i,score_i)；

步骤A4：对14个关键点得分求均值和标准差，并将均值和标准差的和作为整体关键点的得分结果，

score_总＝score_平均+score_标准差；

步骤3：为了进一步提升算法对拍摄角度、目标远近、录制过程抖动等因素的鲁棒性，分别将关键点以左臀部C₁、右臀部C₁₁、脖子C₈三个坐标点的重心为原点进行坐标转换并得到数据

其中

即为转换后的相对坐标定义坐标原点，即，C₁、C₁₁、C₈三点的重心点C₀＝(cx₀,cy₀),其中

并以原点坐标为参照更新所有坐标点；

步骤4：累计每帧得到的坐标矩阵inputs，得到每段视频的累计坐标矩阵，利用滑动窗口对累计坐标矩阵进行窗口分割，即，滑动窗口长度设置为k帧得到的累计坐标和得分，步长设置为1；

步骤5：利用深度神经网络构建回归预测模型，其步骤为：

骤B1:利用CNN融合RNN来构建网络模型，即，一个双向的LSTM(BiLSTM)模型和一个拥有两层卷积层加全局池化层的模型进行融合来构建深度神经网络模型；

步骤B2：将数据分为训练集和测试集两个部分，利用测试集训练训练网络模型，并保存预训练模型；

步骤B3：将测试数据输入到训练好的模型中，得到预测的结果。

在执行步骤5时，BiLSTM是一个双向LSTM，双向LSTM有两个LSTM上下叠加在一起组成，输出有两个LSTM的状共同决定，其中一个递归网络从前往后计算隐向量

另一个递归神经网络从后往前计算隐向量

最后的输出

卷积层第一层是一个卷积核为5×5的一维卷积，并加入正则化，第二层卷积核大小为3×3，并加入正则化，第三层是全局池化层，卷积过程中的滤器个数分别为64和32。

在BiLSTM层中加入Dropout层，为了实现线性回归，最后一层激活函数设置为linear激活函数,损失函数选择回归损失函数均方误差(MSE)损失函数；

为了加速网络模型的收敛、控制过拟合加速收敛、控制过拟合在每一卷积层加入批归一化层，批归一化层计算过程为：

其中B＝{z_1,...,m}为批处理的输入，m为批处理的大小，μ_B为批处理数据的均值，

为批处理的方差，

为规范化结果，ε为一个极小值，h_i为尺度变化和偏移后的结果，γ和β为输入网络模型中学习的参数；

在回归预测的输出中给出k连续的子段来预测下一帧的关键点坐标和得分并根据步骤2得到总的得分，利用递归将得到的帧加入到当前序列中预测下一帧的数据。

以上所述是结合具体实施方式对本发明所作的进一步详细说明，不能认定本发明具体实施仅局限于此；对于本发明所属及相关技术领域的技术人员来说，在基于本发明技术方案思路前提下，所作的拓展以及操作方法、数据的替换，都应当落在本发明保护范围之内。

Claims (3)

1.一种基于时间序列回归预测的人体运动动作分析方法,其特征在于，主要包括跳绳视频采集、视频数据预处理、坐标点的获取、特征序列的构建、回归预测模型的建立、模型的调用，具体步骤如下：

步骤1：通过手机采集人体正面正摇双脚跳过程中的视频流数据，记录并保存目标对象的基本信息，包括姓名、性别、年龄、身高、体重、所做动作名称；

步骤2：对视频数据进行预处理，并对视频中每一帧的人体进行姿态估计，得到关键点坐标，其步骤如下：

步骤A1:将不同手机拍摄的视频数据转换成统一的尺度，将视频高设定为530cm,宽设定为460cm；

步骤A2：利用Open-pose方法对获得视频中每帧人体的鼻子、脖子、右肩、右手肘、右手腕、左肩、左手肘、左手腕、右臀部、右膝盖、右脚踝、左臀部、左膝盖、左脚踝这14个关节点的坐标位置，坐标表示为CP_i＝(x_i,y_i)，其中i从1到14，其中,(x_i,y_i)为人体关键点的坐标；

步骤A3：Open-pose利用预测的关键点和真实值之间的高斯距离来定义关键点的置信度，并将置信度归一化到[0,1]的范围,在此定义为关键点的得分score并得到输出结果inputs_i＝(x_i,y_i,score_i)；

步骤A4：对14个关键点得分求均值和标准差，并将均值和标准差的和作为整体关键点的得分结果，

score_总＝score_平均+score_标准差；

步骤3：为了进一步提升算法对拍摄角度、目标远近、录制过程抖动因素的鲁棒性，分别将关键点以左臀部C₁、右臀部C₁₁、脖子C₈三个坐标点的重心为原点进行坐标转换并得到数据

其中

即为转换后的相对坐标定义坐标原点，即，C₁、C₁₁、C₈三点的重心点C₀＝(cx₀,cy₀),其中

并以原点坐标为参照更新所有坐标点；

步骤4：累计每帧得到的坐标矩阵inputs，得到每段视频的累计坐标矩阵，利用滑动窗口对累计坐标矩阵进行窗口分割，即，滑动窗口长度设置为k帧得到的累计坐标和得分，步长设置为1；

步骤5：利用深度神经网络构建回归预测模型，其步骤为：

骤B1:利用CNN融合RNN来构建网络模型，即，一个双向的LSTM(BiLSTM)模型和一个拥有两层卷积层加全局池化层的模型进行融合来构建深度神经网络模型；

步骤B2：将数据分为训练集和测试集两个部分，利用测试集训练训练网络模型，并保存预训练模型；

步骤B3：将测试数据输入到训练好的模型中，得到预测的结果。

2.如权利要求1所述一种基于时间序列回归预测的人体运动动作分析方法，其特征在于，在执行步骤5时BiLSTM是一个双向LSTM，双向LSTM有两个LSTM上下叠加在一起组成，输出有两个LSTM的状共同决定，其中一个递归网络从前往后计算隐向量

另一个递归神经网络从后往前计算隐向量

最后的输出

卷积层第一层是一个卷积核为5×5的一维卷积，并加入正则化，第二层卷积核大小为3×3，并加入正则化，第三层是全局池化层，卷积过程中的滤器个数分别为64和32。

3.如权利要求1所述一种基于时间序列回归预测的人体运动动作分析方法，其特征在于，在BiLSTM层中加入Dropout层，为了实现线性回归，最后一层激活函数设置为linear激活函数,损失函数选择回归损失函数均方误差(MSE)损失函数；

为了加速网络模型的收敛、控制过拟合加速收敛、控制过拟合在每一卷积层加入批归一化层，批归一化层，计算过程为：

其中B＝{z_1,...,m}为批处理的输入，m为批处理的大小，μ_B为批处理数据的均值，

为批处理的方差，

为规范化结果，ε为一个极小值，h_i为尺度变化和偏移后的结果，γ和β为输入网络模型中学习的参数；

在回归预测的输出中给出k连续的子段来预测下一帧的关键点坐标和得分并根据步骤2得到总的得分，利用递归将得到的帧加入到当前序列中预测下一帧的数据。

Images