CN112036291A - 基于运动大数据和深度学习的运动学数据模型构建方法 - Google Patents

基于运动大数据和深度学习的运动学数据模型构建方法 Download PDF

Info

Publication number
CN112036291A
CN112036291A CN202010879770.3A CN202010879770A CN112036291A CN 112036291 A CN112036291 A CN 112036291A CN 202010879770 A CN202010879770 A CN 202010879770A CN 112036291 A CN112036291 A CN 112036291A
Authority
CN
China
Prior art keywords
data
motion
behavior
human
lstm network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010879770.3A
Other languages
English (en)
Inventor
孟勃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeast Electric Power University
Original Assignee
Northeast Dianli University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeast Dianli University filed Critical Northeast Dianli University
Priority to CN202010879770.3A priority Critical patent/CN112036291A/zh
Publication of CN112036291A publication Critical patent/CN112036291A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于运动大数据和深度学习的运动学数据模型构建方法，涉及体育训练技术领域，能够极大提高人体行为的识别准确率和行为预测的准确性；该方法步骤包括S1、处理运动视频集得到训练数据并输入LSTM网络中进行训练，得到训练好的LSTM网络；S2、处理待测试运动视频集得到测试数据并输入训练好的LSTM网络中进行测试，得到测试结果；处理视频包括：将运动视频集输入行为捕捉和运动分析***中得到特征数据；将特征数据输入VGG‑16Net中得到姿态数据；将姿态数据输入CNN网络中进行人体姿态识别得到识别数据；将识别数据输入RNN网络中得到动态特征数据。本发明提供的技术方案适用于体育运动数据处理的过程中。

Description

基于运动大数据和深度学习的运动学数据模型构建方法
【技术领域】
本发明涉及体育训练技术领域，尤其涉及一种基于运动大数据和深度学习的运动学数据模型构建方法。
【背景技术】
运动大数据是指通过智能方式获取的多维度运动数据，并加以变现的信息资产。通过智能设备对多名运动员的多维度运动行为数据进行获取、收集、存储及计算处理，可以为运动者的训练做出实时指导。根据数据价值，将运动大数据分为初、中、高三级。对于除去“噪音”的运动大数据可进行维度划分，不同维度的大数据对于运动人群、企业以及行业均有不同的价值。目前，运动大数据可以分为三个维度：初级运动大数据、中级运动大数据以及高级运动大数据。其中，高级运动大数据的数据价值在于：在日常生活、工作、运动中通过智能设备不间断采集高级别数据，提升运动人群运动效率与效果，保障运动人群健康。
三维运动捕捉，能够通过多个摄像头捕捉同一个标记点或者同一个骨骼点，从而比较准确地计算出标记点或骨骼点在空间任何方向上的位置，常被用来评估运动视频中的人体运动姿态，被认为是动态运动功能评估的金标准。
基于计算机视觉的视频内容分析及理解技术，可以针对运动学视频的内容进行分析并根据大数据结果进行行为预测，帮助教练快速获取相关训练比赛视频资源，针对性指导运动员训练。还可以辅助体育老师进行运动教学指导，并且指导全民健身运动。因此，运动学视频内容的分析及理解，成为当前人工智能领域中的一个重要分支。
人体行为识别是计算机视觉、模式识别、图像处理以及人工智能等多学科交叉的一个重要研究方向，它在人机交互、智能监控和医疗辅助领域均有着巨大的应用价值和理论意义。它主要针对包含人的运动图像序列进行分析处理、特征提取、运动目标分类，实现识别和理解人的个体动作、人与人之间的以及人与外界环境之间的交互行为。
基于视频的人体行为识别是一个复杂的过程，它不仅仅包含视频中单帧图像的空间特征，还包含多帧之间的时间特征；不仅有目标对象，还有复杂的目标背景。因此，要在运动视频中有效提取视频中人体的行为姿态，并从中提取人体的动态特征、进行人体行为识别，是一个非常具有挑战性的课题。近年来，人体行为识别方法主要分为三类：基于传感器检测的人体行为识别方法、基于人工特征提取的人体行为识别方法和基于深度学习的人体行为识别方法。基于传感器的人体行为识别方法，多是利用智能手机、智能手表等设备中的加速度、陀螺仪、磁力计等传感器，进行检测人体行为并处理分类；基于人工特征提取的人体行为识别方法的步骤主要为特征提取、特征表达和动作分类。然而，基于传感器的人体行为识别方法和基于人工特征提取的人体行为识别方法，对于不同视频数据集则需要提取出不同的特征，计算复杂度高，在现实环境下的应用存在很大的局限性。
基于深度学习的人体行为识别方法，通过逐层训练目标参数的方式自动提取原始图像中的有用特征，从而获得多种能够区分不同动作的高层抽象表达。但是，在传统的RNN网络中，使用跨时间的梯度反向传播算法对参数进行迭代更新，随着时间步的增加，其后续节点的梯度在反向传播过程中逐步下降，难以对前续节点形成有效更新，使得模型优化失败。并且，当时间序列过长时，后续节点很难从前续节点中获得较为有效的信息，难以解决时间序列的“长期依赖”的问题，预测精度较差。
因此，有必要研究一种基于运动大数据和深度学习的运动学数据模型构建方法来应对现有技术的不足，以解决或减轻上述一个或多个问题。
【发明内容】
有鉴于此，本发明提供了一种基于运动大数据和深度学习的运动学数据模型构建方法，能够极大的提高人体行为的识别准确率和行为预测的准确性。
一方面，本发明提供一种基于运动大数据和深度学习的运动学数据模型构建方法，其特征在于，所述方法的步骤包括：
S1、对历史采集的运动视频集进行处理得到训练数据，将训练数据输入LSTM网络中对LSTM网络进行训练，得到训练好的LSTM网络以及训练结果；
S2、对待测试运动视频集进行处理得到测试数据，将测试数据输入训练好的LSTM网络中进行测试，得到测试结果；
步骤S1和步骤S2中对运动视频集进行处理的过程均包括：
S11、将采集的运动视频集输入到行为捕捉和运动分析***中进行处理，得到运动视频的特征数据；
S12、将运动视频的特征数据输入到VGG-16Net模型中进行处理，得到运动行为姿态数据；
S13、将得到的运动行为姿态数据输入到CNN神经网络中进行人体姿态识别，得到人体姿态识别数据；
S14、将得到的人体姿态识别数据输入到RNN神经网络中进行处理，得到人体行为的动态特征数据；
所述动态特征数据作为训练数据或测试数据输入LSTM网络中。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述训练结果或所述测试结果经softmax分类器进行人体行为分类后得到最终的训练结果或测试结果。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，LSTM网络具体是在RNN神经网络的基础上增加忘记门、输入门和输出门，控制网络对数据的选择、保留和传递。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，步骤S12中利用VGG-16Net模型把静态图像分为六类，且利用Caffe库为人体运动行为姿态的识别分类提供方案和参考模型。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，将所述动态特征数据作为训练数据或测试数据输入LSTM网络中进行人体行为识别时运用CNTK工具包提供的学习和测试方法，用于确保在LSTM网络中对人体行为识别的准确性和可靠性。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述输入门用于确定输入何种行为状态数据；所述忘记门用于接受经过RNN处理或者是上一细胞状态的输出信息，将接收到的信息与非线性激活函数进行计算，根据计算结果对信息进行保留或放弃。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，对信息进行保留或放弃的标准为是否对人体行为识别有用，保留对行为识别有用的信息，放弃与人体行为识别无关或作用小的信息。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述输入门和所述忘记门一起构成更新门，用于将过去与现在的记忆进行合并，同时还混合了细胞状态和隐含状态。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，用softmax分类器进行人体行为进行分类的模型为：y＝softmax(W*h(t)+b)，其中，y-输出的分类信息，W-LSTM网络权重，b-LSTM网络的偏置量，h(t)-LSTM网络隐藏层的输出的人体特征向量信息。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，步骤S11中运动视频的特征数据包括：人体各个关节的角度、角速度、距离、速度、加速度、平面和空间三点或四点所成的角度、与某一坐标平面的夹角及空间距离参数、坐标系的平移和旋转、运动周期分析、人体重心、轨迹等数据。
另一方面，本发明提供一种存储介质，用于存储计算机程序，其特征在于，所述计算机程序在设备上运行时执行如上任一所述的方法的内容。
与现有技术相比，本发明可以获得包括以下技术效果：本发明利用长短时记忆网络(LSTM)进行运动人体行为识别，并对运动视频中的人体行为进行行为预测，能够极大的提高人体行为的识别准确率和行为预测的准确性，可用于指导体育教学、训练和全民健身，还可以广泛应用于体育项目动作技术诊断、运功康复步态评定、运动机器人等领域。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有技术效果。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明一个实施例提供的基于运动大数据和深度学习的运动学数据模型构建流程图；
图2是本发明一个实施例提供的长短时记忆网络的结构图；
图3是本发明一个实施例提供的利用长短时记忆网络进行人体识别过程核心图。
【具体实施方式】
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
本发明的目的是综合现有技术，在国际上首次提出一种基于运动大数据和深度学习算法的运动学数据模型的构建方法，利用长短时记忆网络(LSTM)进行运动人体行为识别，并对运动视频中的人体行为进行行为预测，用于指导体育教学、训练和全民健身。
本发明将运动视频序列，以及经过形状捕捉和动作分析***采集到的运动数据作为方法的直接输入源，通过VGG-16Net模型训练CNN神经网络，使CNN神经网络对视频中的运动数据进行人体姿态估计，并利用RNN神经网络对目标进行动态特征提取，然后经过LSTM网络中的输入门、忘记门、信息更新门、输出门进行人体行为识别，最后经过softmax分类器进行最终的目标分类及行为预测。该方法可以极大的提高人体行为的识别准确率和行为预测的准确性。
本发明方法的具体内容包括：将运动视频集合输入到行为捕捉和动作分析***中；运动大数据预处理及模型训练；利用VGG-16Net模型得到数据，输入到CNN网络模型对人体的姿态进行识别；利用RNN网络模型对CNN网络模型识别得到姿态数据进行动态特征提取；构建LSTM网络模型；在LSTM网络中利用RNN网络模型提供的人体动态特征，进行人体行为识别；利用softmax分类器对LSTM识别的数据进行分类并预测。本发明利用VGG-16Net模型提取人体运动区域图像，能够在复杂背景的情况下，检测出人体的运动静态图像，并把静态图像进行分类定义，利用CNN网络模型对VGG-16Net模型提供的数据进行处理，对人体的姿态进行识别，运用RNN网络模型对CNN网络模型识别的姿态进行动态特征提取，最后经过LSTM网络进行人体的行为识别判断分类及预测，经过LSTM网络进行人体行为识别具有较高的准确性和稳定性。
本发明方法的具体实现步骤包括：
(1)将运动视频集合输入到行为捕捉和动作分析***中：
将实时采集的运动视频输入到现有的行为捕捉和动作分析***Simi Shape形状捕捉和动作分析***中(Simi Shape形状捕捉和动作分析***是一种现有的本领域惯常使用的***，本申请不做重点描述)，并采集到人体各个关节角度、角速度、距离、速度、加速度，计算得到平面和空间三点或四点所成的角度，与某一坐标平面的夹角及空间距离参数；坐标系的平移和旋转、运动周期分析、人体重心、轨迹等数据；
(2)运动大数据预处理及模型训练
2.1、将采集到的数据进行VGG-16Net模型的训练与测试，在VGG-16Net模型中，把静态图像分为六类，在使用的过程中把这六类定义为各种运动行为姿态；
2.2、在VGG-16Net模型中，利用Caffe库为人体的姿态识别分类提供方案和参考模型；
2.3、利用VGG-16Net模型训练的数据，输入到CNN神经网络中进行人体姿态识别；
2.4、经过CNN神经网络处理后的人体姿态数据输入到RNN网络中，并在RNN神经网络中进行人体行为的动态特征提取；
2.5、把在RNN神经网络提取到的动态特征信息，输入到LSTM网络中，并在LSTM网络中进行行为分析与识别，并且利用CNTK工具包为LSTM网络的学习和测试提供方法；
(3)构建长短时记忆网络(LSTM)
3.1、在RNN网络模型的基础上进行LSTM网络的构建，和RNN相比LSTM具有三门结构：忘记门、输入门、输出门，是RNN算法的进一步强化和改进，同时具有很强的识别优势；
3.2、经过LSTM的三门输出行为识别信息，并且行为识别信息通过和非线性激活函数计算达到更新细胞中储存的行为识别信息状态，为最终的行为识别提供信息积累；
3.3、在LSTM网络中利用CNTK工具包为行为识别提供学习和测试方法，实现行为识别及预测的目的。
(4)行为分类：采用softmax分类器对特征向量进行分类。
(5)训练网络：运用CNN体系结构和递归神经网络RNN体系结构对人体进行姿态估计和运动特征提取，进行异常行为的动态分析，为LSTM网络行为识别提供数据积累。
(6)测试网络：采用Microsoft Cognitive Toolkit(LSTM学习测试工具包)对训练集样本进行处理，得到测试结构，同时与其他基准数据集的测试结果进行比较，验证本方法的有效性。
实施例1：
参照图1，基于运动大数据和深度学习的运动学数据模型构建流程图，人体行为是一个动态的数据，并且每一种姿态，每一个动作持续的时间各不相同，所以需要在实验的过程中把视频按时序进行分割成若干小的视频片段，并经过数据归一化处理，消除各个视频片段之间的影响，然后将经数据归一化处理的数据集，划分为训练样本集和测试样本集，通过CNN网络模型和RNN网络模型对训练样本进行训练，经过长短时记忆网络进程处理，得到样本的特征向量，将特征向量输入到softmax分类器，得到训练样本集的行为分类识别结果。
参照图2，长短时记忆网络，是在RNN模型的基础上为了解决RNN模型梯度弥散的问题改进而来的，在LSTM网络中有三个控制门，控制着网络对信息的选择、保留和传递操作。构建的长短时记忆网络的具体步骤为：
步骤1，通过忘记门，决定需要从细胞状态中放弃那些对人体行为识别无关或作用小的信息，忘记门首先接受经过RNN处理或者是上一细胞状态的输出信息，然后将接收到的信息与非线性激活函数sigmoid计算得到0-1之间的数字，确定保留对行为识别有用的信息。1表示“保留所有先前信息”，0表示“放弃所有先前信息”。
ft＝σ(Wf[ht-1+xt]+bf)
式中，ft-忘记门状态信息量取值为取值为0～1，ft取值为1表示保留所有第t-1时刻细胞状态ct-1的信息量，ft取值为0表示放弃所有第t-1时刻细胞状态ct-1的信息量，忘记门用于实现对存储单元里的信息进行选择性抛弃；
σ-sigmoid激活函数，Wf-忘记门的权值矩阵，bf-忘记门偏置项。
步骤2，在LSTM单元中，通过输入门，确定在第t时刻LSTM网路中的更新值，输入门实现对存储单元里的信息进行选择性提取，输入门的输出状态it以及存储在存储单元中的信息量
Figure BDA0002653763050000091
满足：
it＝σ(Wi[ht-1+xt]+bi)
Figure BDA0002653763050000101
式中，Wi-输入门的权值矩阵，bi-输入门偏置项，tanh-双向正切函数，Wc-更新门的权值矩阵，bc-存储单元偏置项。
步骤3，通过忘记门和输入门组合在一起形成一个更新门，在更新门中将过去与现在的记忆进行合并，同时还混合了细胞状态和隐含状态。
Figure BDA0002653763050000102
式中，ct-1-第t-1时刻存储单元ct的信息，ft-第t时刻忘记门状态信息量。Ct表示第t时刻线性全连接单元状态；
步骤4，通过输出门，输出经过前三步更新过的信息，达到最终识别人体行为的目的；
ot＝σ(Wo[ht-1+xt]+bo)
ht＝ot×tanh(Ct)，
式中：ht表示隐藏状态；Wo-输出门的权值矩阵，bo-忘记门偏置项。
从LSTM网络中门状态变化表达式中可以发现，通过调整各门的权值矩阵W，输入门it可以控制流入自连接状态Ct的信息量；忘记门ft可以控制第t时刻的自连接单元状态Ct所包含Ct-1的信息量，控制忘记上一时刻信息的多少；输出门ot控制可以流入到第t时刻隐藏层的状态ht的自连接单元状态Ct的信息量；
Figure BDA0002653763050000103
是在第t时刻要积累的信息来源。
Figure BDA0002653763050000104
在
Figure BDA0002653763050000105
表达式中可以得到Ct在积累信息时，依靠的是忘记门ft限制上一时刻Ct-1传递的信息，并且依靠输入门it约束在第t时刻输入的信息xt，由上可知在第t时刻隐藏状态ht是由输入门控制的。
步骤5，通过softmax分类器对输出结果进行分类，得到最终姿态预测分类；
在整个LSTM网络中最终的处理目的就是对最后的隐藏层的状态h(t)进行输出分类，输出函数表达式为：
y＝softmax(W*h(t)+b)；W是网络的权值矩阵，b是网络偏置项；
式中y-输出的分类信息，W-LSTM网络权重，b-LSTM网络的偏置量，h(t)-LSTM网络隐藏层的输出的人体特征向量信息。bc-存储单元偏置项。
输入门，忘记门和输出门用sigmoid函数做激活函数是因为该函数能够产生(0,1)的数，而更新门和隐藏状态的输出使用tanh函数，是因为该函数能产生(-1,1)的数。
由输出表达式可以得到最终姿态预测分类结果。
人体行为识别的具体实现步骤为：在第t时刻，隐藏层接收t时刻输入数据xt和上一时刻隐藏层输出Ct-1后输出t时刻的隐藏层输出层Ct。隐藏层为LSTM网络单元，具体结构如附图1所示。在LSTM网络中包括输入门、忘记门和输出门，这三个门在第t时刻的状态函数表达式如上面步骤1、步骤2、步骤4中所示，其中，σ是sigmoid函数，tanh是tanh函数。
参照图3，基于LSTM网络识别的方法中，通过对[6×1]向量进行独热编码来分类和识别六种异常行为的LSTM。LSTM在每个时间中接收输入视频片段数据序列，并且每个细胞单元都导出由单元信息状态和单元输出状态向量组成的结果数据。这两个单元状态向量在下一个时间中用于LSTM的传播。单元状态的输出被解释为与输入数据序列相对应的行为类别估计结果，直到特定点以实现行为识别过程。并最终完成对识别结果进行分类识别和预测。
以上对本申请实施例所提供的一种基于运动大数据和深度学习的运动学数据模型构建方法，进行了详细介绍。以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
如在说明书及权利要求书当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求书当中所提及的“包含”、“包括”为一开放式用语，故应解释成“包含/包括但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求书所界定者为准。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者***中还存在另外的相同要素。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述申请构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求书的保护范围内。

Claims (10)

1.一种基于运动大数据和深度学习的运动学数据模型构建方法，其特征在于，所述方法的步骤包括：
S1、对历史采集的运动视频集进行处理得到训练数据，将训练数据输入LSTM网络中对LSTM网络进行训练，得到训练好的LSTM网络以及训练结果；
S2、对待测试运动视频集进行处理得到测试数据，将测试数据输入训练好的LSTM网络中进行测试，得到测试结果；
步骤S1和步骤S2中对运动视频集进行处理的过程均包括：
S11、将采集的运动视频集输入到行为捕捉和运动分析***中进行处理，得到运动视频的特征数据；
S12、对运动视频的特征数据进行处理，得到运动行为姿态数据；
S13、对得到的运动行为姿态数据进行人体姿态识别，得到人体姿态识别数据；
S14、对得到的人体姿态识别数据进行处理，得到人体行为的动态特征数据；
所述动态特征数据作为训练数据或测试数据输入LSTM网络中。
2.根据权利要求1所述的基于运动大数据和深度学习的运动学数据模型构建方法，其特征在于，所述训练结果或所述测试结果经softmax分类器进行人体行为分类后得到最终的训练结果或测试结果。
3.根据权利要求1所述的基于运动大数据和深度学习的运动学数据模型构建方法，其特征在于，LSTM网络具体是在RNN神经网络的基础上增加忘记门、输入门和输出门，控制网络对数据的选择、保留和传递。
4.根据权利要求1所述的基于运动大数据和深度学习的运动学数据模型构建方法，其特征在于，步骤S12中利用VGG-16Net模型把静态图像分为六类，且利用Caffe库为人体运动行为姿态的识别分类提供方案和参考模型。
5.根据权利要求1所述的基于运动大数据和深度学习的运动学数据模型构建方法，其特征在于，将所述动态特征数据作为训练数据或测试数据输入LSTM网络中进行人体行为识别时运用CNTK工具包提供的学习和测试方法，用于确保在LSTM网络中对人体行为识别的准确性和可靠性。
6.根据权利要求3所述的基于运动大数据和深度学习的运动学数据模型构建方法，其特征在于，所述输入门用于确定输入何种行为状态数据；所述忘记门用于接受经过RNN处理或者是上一细胞状态的输出信息，将接收到的信息与非线性激活函数进行计算，根据计算结果对信息进行保留或放弃。
7.根据权利要求6所述的基于运动大数据和深度学习的运动学数据模型构建方法，其特征在于，对信息进行保留或放弃的标准为是否对人体行为识别有用，保留对行为识别有用的信息，放弃与人体行为识别无关或作用小的信息。
8.根据权利要求6所述的基于运动大数据和深度学习的运动学数据模型构建方法，其特征在于，所述输入门和所述忘记门一起构成更新门，用于将过去与现在的记忆进行合并，同时还混合了细胞状态和隐含状态。
9.根据权利要求2所述的基于运动大数据和深度学习的运动学数据模型构建方法，其特征在于，用softmax分类器进行人体行为进行分类的模型为：y＝softmax(W*h(t)+b)，其中，y-输出的分类信息，W-LSTM网络权重，b-LSTM网络的偏置量，h(t)-LSTM网络隐藏层的输出的人体特征向量信息。
10.一种存储介质，用于存储计算机程序，其特征在于，所述计算机程序在设备上运行时执行如权利要求1-9任一所述的方法的内容。
CN202010879770.3A 2020-08-27 2020-08-27 基于运动大数据和深度学习的运动学数据模型构建方法 Pending CN112036291A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010879770.3A CN112036291A (zh) 2020-08-27 2020-08-27 基于运动大数据和深度学习的运动学数据模型构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010879770.3A CN112036291A (zh) 2020-08-27 2020-08-27 基于运动大数据和深度学习的运动学数据模型构建方法

Publications (1)

Publication Number Publication Date
CN112036291A true CN112036291A (zh) 2020-12-04

Family

ID=73585952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010879770.3A Pending CN112036291A (zh) 2020-08-27 2020-08-27 基于运动大数据和深度学习的运动学数据模型构建方法

Country Status (1)

Country Link
CN (1) CN112036291A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808047A (zh) * 2021-09-22 2021-12-17 武汉商学院 一种人体运动捕捉数据去噪方法
CN114937308A (zh) * 2021-02-04 2022-08-23 西安电子科技大学青岛计算技术研究院 一种基于人体动态行为特征识别的智能安防***及其实现方法
CN117671784A (zh) * 2023-12-04 2024-03-08 北京中航智信建设工程有限公司 一种基于视频分析的人体行为分析方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101876A (zh) * 2018-06-28 2018-12-28 东北电力大学 基于长短时记忆网络的人体行为识别方法
CN110163086A (zh) * 2019-04-09 2019-08-23 缤刻普达（北京）科技有限责任公司 基于神经网络的健身动作识别方法、装置、设备及介质
CN110222665A (zh) * 2019-06-14 2019-09-10 电子科技大学 一种基于深度学习和姿态估计的监控中人体动作识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101876A (zh) * 2018-06-28 2018-12-28 东北电力大学 基于长短时记忆网络的人体行为识别方法
CN110163086A (zh) * 2019-04-09 2019-08-23 缤刻普达（北京）科技有限责任公司 基于神经网络的健身动作识别方法、装置、设备及介质
CN110222665A (zh) * 2019-06-14 2019-09-10 电子科技大学 一种基于深度学习和姿态估计的监控中人体动作识别方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937308A (zh) * 2021-02-04 2022-08-23 西安电子科技大学青岛计算技术研究院 一种基于人体动态行为特征识别的智能安防***及其实现方法
CN113808047A (zh) * 2021-09-22 2021-12-17 武汉商学院 一种人体运动捕捉数据去噪方法
CN113808047B (zh) * 2021-09-22 2023-10-03 武汉商学院 一种人体运动捕捉数据去噪方法
CN117671784A (zh) * 2023-12-04 2024-03-08 北京中航智信建设工程有限公司 一种基于视频分析的人体行为分析方法及***

Similar Documents

Publication Publication Date Title
Li et al. Online human action detection using joint classification-regression recurrent neural networks
CN110826453B (zh) 一种通过提取人体关节点坐标的行为识别方法
CN112036291A (zh) 基于运动大数据和深度学习的运动学数据模型构建方法
CN109101876A (zh) 基于长短时记忆网络的人体行为识别方法
CN110575663B (zh) 一种基于人工智能的体育辅助训练方法
Koubâa et al. Activity monitoring of islamic prayer (salat) postures using deep learning
CN111967433A (zh) 一种基于自监督学习网络的动作识别办法
Ren et al. Adversarial constraint learning for structured prediction
Ali et al. Deep Learning Algorithms for Human Fighting Action Recognition.
Ding et al. Machine learning model for feature recognition of sports competition based on improved TLD algorithm
CN111626109A (zh) 一种基于双流卷积神经网络的跌倒行为分析检测方法
Faujdar et al. Human pose estimation using artificial intelligence with virtual gym tracker
CN114596515A (zh) 目标对象检测方法、装置、电子设备以及存储介质
Lestari et al. Comparison of two deep learning methods for detecting fire
CN114943873A (zh) 一种工地人员异常行为分类方法及装置
Görgülü et al. Human activity recognition and temporal action localization based on depth sensor skeletal data
Chellali Predicting arm movements a multi-variate LSTM based approach for human-robot hand clapping games
Kulic et al. Detecting changes in motion characteristics during sports training
Rani et al. Recognition and Detection of Multiple Objects from Images: A Review
Sinha et al. Ensemble based feature extraction and deep learning classification model with depth vision
Liu et al. Automatic Recognition and Correction System of Running Action Based on Computer Vision Technology
Ekemeyong Awong et al. Predicting Human Activity–State of the Art
Patel et al. Indoor human fall detection using deep learning
Cui et al. Mobile Big Data Analytics for Human Behavior Recognition in Wireless Sensor Network Based on Transfer Learning
US20220019778A1 (en) Electronic device and a related method for detecting and counting an action

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201204

WD01 Invention patent application deemed withdrawn after publication