CN115205750A - 基于深度学习模型的运动实时计数方法和*** - Google Patents
基于深度学习模型的运动实时计数方法和*** Download PDFInfo
- Publication number
- CN115205750A CN115205750A CN202210846652.1A CN202210846652A CN115205750A CN 115205750 A CN115205750 A CN 115205750A CN 202210846652 A CN202210846652 A CN 202210846652A CN 115205750 A CN115205750 A CN 115205750A
- Authority
- CN
- China
- Prior art keywords
- motion
- matrix
- target
- deep learning
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 251
- 238000013136 deep learning model Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 43
- 239000011159 matrix material Substances 0.000 claims abstract description 117
- 230000009471 action Effects 0.000 claims abstract description 51
- 239000013598 vector Substances 0.000 claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 4
- 210000000323 shoulder joint Anatomy 0.000 description 8
- 210000000988 bone and bone Anatomy 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 210000002310 elbow joint Anatomy 0.000 description 6
- 210000004394 hip joint Anatomy 0.000 description 6
- 238000003672 processing method Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 210000000629 knee joint Anatomy 0.000 description 4
- 210000004197 pelvis Anatomy 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000000544 articulatio talocruralis Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种基于深度学习模型的运动实时计数方法和***,所述方法包括:通过摄像设备实时采集人体运动视频数据;通过人体检测算法检测出位于视频图像中心位置的运动者,计算目标运动者在运动视频的各帧图像中的运动姿态向量;进而将各帧图像得到运动姿态向量以时间顺序进行排列,得到运动姿态矩阵;基于预先训练的深度学习模型对运动姿态矩阵进行分析,以得到目标动作的计数结果;其中,所述深度学习模型是基于运动姿态矩阵样本构成的训练数据集训练得到的,所述运动姿态矩阵样本是由多种类型运动的视频数据样本计算得到的,每个所述视频数据样本只包含一种目标运动样本的一次完整动作。解决了动作识别和计数准确性较差的技术问题。
Description
技术领域
本发明涉及运动监测技术领域,具体涉及一种基于深度学习模型的运动实时计数方法和***。
背景技术
随着智能健身、云赛事、虚拟运动等新兴运动的兴起,AI健身得到了广泛推广,为了保证远程健身效果,AI健身软件中多嵌入运动计数模块。在现有技术中,在进行运动计数时,多通过摄像头捕捉人体姿态,再结合AI识别算法进行动作识别及计数。但是,现有方法对于动作速度较快或者较慢的运动,其动作识别和计数的准确性较差。
发明内容
为此,本发明实施例提供一种基于深度学习模型的运动实时计数方法和***,以至少部分解决现有技术中运动动作识别和计数准确性较差的技术问题。
为了实现上述目的,本发明实施例提供如下技术方案:
一种基于深度学习模型的运动实时计数方法,所述方法包括:
通过摄像设备实时采集人体运动视频数据;
通过人体检测算法检测出位于视频图像中心位置的运动者,以该运动者作为目标运动者,计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量;
将各帧图像得到运动姿态向量以时间顺序进行排列,得到运动姿态矩阵;
基于预先训练的深度学习模型对所述运动姿态矩阵进行分析,以得到目标动作的计数结果;
其中,所述深度学习模型是基于运动姿态矩阵样本构成的训练数据集训练得到的,所述运动姿态矩阵样本是由多种类型运动的视频数据样本计算得到的,每个所述视频数据样本只包含一种目标运动样本的一次完整动作。
进一步地,计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量,具体包括:
检测所述运动视频中每一帧图像中所述目标运动者的骨骼关键点的三维坐标,以得到每一帧图像中所述目标运动者的姿态图;
基于所述姿态图,获取多个目标骨骼关键点,并以任意三个所述目标骨骼关键点作为一个骨骼关键点序列,以得到多个骨骼关键点序列;
计算各所述骨骼关键点序列之间的夹角,得到序列夹角,并将所有序列夹角构成运动姿态向量。
进一步地,计算各所述骨骼关键点序列之间的夹角,得到序列夹角,并将所有序列夹角构成运动姿态向量,具体包括:
设定骨骼关键点n通过三维坐标(xn,yn,zn)描述,假设有[w,p,q]三个骨骼关键点序列,关键点的坐标为:(xw,yw,zw),(xp,yp,zp),(xq,yq,zq),其中,w点和p点可以形成线段l1,q和p可以构成线段l2;
计算l1和l2之间的夹角即为w,p,q三个骨骼关键点形成的序列夹角;
计算其他骨骼关键点序列的序列夹角,并得到所有的序列夹角;
所有序列夹角的值构成运动姿态向量:[θ1,θ2,…,θn]。
进一步地,基于预先训练的深度学习模型对所述运动姿态矩阵进行分析,以得到目标动作的计数结果,具体包括:
将所述运动姿态矩阵输入预先训练的深度学习模型,计算所述运动姿态矩阵相对于任一目标动作的输出概率;
判定所述输出概率大于或等于预设阈值,则在所述目标动作的计数上加1,并将窗口w向前滑动p帧;
其中,p为窗口w的长度,p的取值范围为[l,r],l表示训练数据集中所述目标动作的视频帧数的最小值,r表示训练数据集中所述目标动作的视频帧数的最大值。
进一步地,将所述运动姿态矩阵输入预先训练的深度学习模型,计算所述运动姿态矩阵相对于任一目标动作的输出概率,之后还包括:
判定所述输出概率小于预设阈值,则将窗口w向前滑动1帧。
进一步地,所述深度学习模型的模型结构包括:
Embedding层,所述Embedding层的输入是运动姿态矩阵,并对输入的运动姿态矩阵中的每个元素进行embedding编码后输出处理后的矩阵;
位置编码模块,所述位置编码模块的输入是经过Embedding层处理后的得到的矩阵,并对经过Embedding层处理后的得到的矩阵中的任意元素的位置进行编码,得到经过位置编码后的矩阵;
编码网络层,所述编码网络层的输入是经过位置编码后的矩阵,编码网络层中堆叠了多个编码模块,每个编码模块中采用多头注意力机制,所述编码模块对经过位置编码后的矩阵进行编码,以得到经过编码模块编码的矩阵;
多层感知机层,所述多层感知机层的输入是编码模块输出的矩阵;
Softmax层,Softmax层的输入数据是多层感知机层的输出数据,通过Softmax层计算运动姿态矩阵相对于任一目标动作的输出概率。
本发明还提供一种基于深度学习模型的运动实时计数***,所述***包括:
数据获取单元,用于通过摄像设备实时采集人体运动视频数据;
姿态向量计算单元,用于通过人体检测算法检测出位于视频图像中心位置的运动者,以该运动者作为目标运动者,计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量;
姿态矩阵生成单元,用于将各帧图像得到运动姿态向量以时间顺序进行排列,得到运动姿态矩阵;
计数结果输出单元,用于基于预先训练的深度学习模型对所述运动姿态矩阵进行分析,以得到目标动作的计数结果;
其中,所述深度学习模型是基于运动姿态矩阵样本构成的训练数据集训练得到的,所述运动姿态矩阵样本是由多种类型运动的视频数据样本计算得到的,每个所述视频数据样本只包含一种目标运动样本的一次完整动作。
本发明还提供一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如上所述方法的步骤。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述方法的步骤。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上所述方法的步骤。
本发明所提供的基于深度学习模型的运动实时计数方法,
通过摄像设备实时采集人体运动视频数据;通过人体检测算法检测出位于视频图像中心位置的运动者,以该运动者作为目标运动者,计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量;进而将各帧图像得到运动姿态向量以时间顺序进行排列,得到运动姿态矩阵;基于预先训练的深度学习模型对所述运动姿态矩阵进行分析,以得到目标动作的计数结果;其中,所述深度学习模型是基于运动姿态矩阵样本构成的训练数据集训练得到的,所述运动姿态矩阵样本是由多种类型运动的视频数据样本计算得到的,每个所述视频数据样本只包含一种目标运动样本的一次完整动作。这样,该运动实时计数方法将视频帧序列作为输入,通过实时动作分析,并结合预先训练的深度学习模型,实现对各种体育动作的计数,可方便应用于各类体育项目,具有较好的动作识别性和技术准确性,解决了现有技术中存在的动作识别和计数准确性较差的技术问题。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是示例性的,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明所提供的基于深度学习模型的运动实时计数方法一种具体实施方式的流程图之一;
图2为本发明所提供的基于深度学习模型的运动实时计数方法一种具体实施方式的流程图之二;
图3为本发明所提供的基于深度学习模型的运动实时计数方法一种具体实施方式的流程图之三;
图4为本发明所提供的深度学习模型一种具体实施方式的流程图;
图5为本发明所提供的深度学习模型的模型结构图;
图6为本发明所提供的基于深度学习模型的运动实时计数***一种具体实施方式的结构框图;
图7为本发明所提供的电子设备的实体结构示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
对于同一种体育动作而言,当不同的人做的动作速度过快或者过慢时,都会影响算法的计数效果。为了解决这一问题,本发明提供了一种基于深度学习模型的运动实时计数方法,利用以时间顺序排列的运动姿势矩阵和预先训练的深度学习模型,得到目标时段内较为准确的运动计数结果。
请参考图1,图1为本发明所提供的基于深度学习模型的运动实时计数方法一种具体实施方式的流程图之一。
在一种具体实施方式中,本发明所提供的基于深度学习模型的运动实时计数方法包括以下步骤:
S101:通过摄像设备实时采集人体运动视频数据。
S102:通过人体检测算法检测出位于视频图像中心位置的运动者,以该运动者作为目标运动者,计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量。运动视频会包括很多帧图像,每一帧图像都会得到一个运动姿态向量,则运动视频会得到多个运动姿态向量。
S103:将各帧图像得到运动姿态向量以时间顺序进行排列,得到运动姿态矩阵。以1分钟的运动视频为例,在该运动视频中,得到了多个运动姿态向量,这些运动姿态向量分别对应运动视频中的每一帧图像,这些帧图像在运动视频中是具有时间顺序的,则每帧图像在运动视频中的时间顺序将运动姿态向量进行排列,即可得到运动姿态矩阵。
S104:基于预先训练的深度学习模型对所述运动姿态矩阵进行分析,以得到目标动作的计数结果;其中,所述深度学习模型是基于运动姿态矩阵样本构成的训练数据集训练得到的,所述运动姿态矩阵样本是由多种类型运动的视频数据样本计算得到的,每个所述视频数据样本只包含一种目标运动样本的一次完整动作。
在一些实施例中,如图2所示,计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量,具体包括以下步骤:
S201:检测所述运动视频中每一帧图像中所述目标运动者的骨骼关键点的三维坐标,以得到每一帧图像中所述目标运动者的姿态图。在实际使用场景中,通常拍摄的运动视频都是2D的视频帧图,通过3D人体骨骼关键点检测算法分析后,可以检测出每一帧图中人体的骨骼关键点的三维坐标,运动视频经过分析后,每一帧都变成了由3D人体的骨骼关键点构成的姿态图。
S202:基于所述姿态图,获取多个目标骨骼关键点,并以任意三个所述目标骨骼关键点作为一个骨骼关键点序列,以得到多个骨骼关键点序列。
人体的运动姿态可以通过不同骨骼关节点之间形成的角度来描述。一个骨骼关键点n可以通过三维坐标(xn,yn,zn)来描述。假设有[w,p,q]三个骨骼关键点序列,关键点的坐标为:(xw,yw,zw),(xp,yp,zp),(xq,yq,zq),其中,w点和p点可以形成线段l1,q和p可以构成线段l2。l1和l2之间的夹角即为w,p,q三个骨骼关键点形成的夹角。在该实施例中,定义了用于描述人体运动姿态的骨骼关键点序列有18个:[左踝关节,左膝关节,左髋关节],[右踝关节,右膝关节,右髋关节],[左膝关节,左髋关节,骨盆],[右膝关节,右髋关节,骨盆],[左手腕,左肘关节,左肩关节],[右手腕,右肘关节,右肩关节],[右肘关节,右肩关节,左肩关节],[左肘关节,左肩关节,右肩关节],[头顶、脖子、盆骨],[右手腕,头顶,脖子],[左手腕,头顶,脖子],[左肘关节,头顶,脖子],[右肘关节,头顶,脖子],[头顶,左耳,脖子],[头顶,右耳,脖子],[左耳,脖子,右肩关节],[右耳,脖子,左肩关节],[左髋关节,骨盆,右髋关节]。
S203:计算各所述骨骼关键点序列之间的夹角,得到序列夹角,并将所有序列夹角构成运动姿态向量。
具体地,已知设定了骨骼关键点n通过三维坐标(xn,yn,zn)描述,假设有[w,p,q]三个骨骼关键点序列,关键点的坐标为:(xw,yw,zw),(xp,yp,zp),(xq,yq,zq),其中,w点和p点可以形成线段l1,q和p可以构成线段l2;计算l1和l2之间的夹角即为w,p,q三个骨骼关键点形成的序列夹角;计算其他骨骼关键点序列的序列夹角,并得到所有的序列夹角;所有序列夹角的值构成运动姿态向量:[θ1,θ2,…,θn]。
也就是说,所有序列夹角的值可以构成一个向量,该向量可以用于描述运动姿态,称为运动姿态向量:[θ1,θ2,…,θn]。运动视频中的每一帧都对应了一个运动姿态向量,视频中全部帧的运动姿态向量按照时间顺序排列后,构成运动姿态矩阵。
在一些实施例中,如图3所示,基于预先训练的深度学习模型对所述运动姿态矩阵进行分析,以得到目标动作的计数结果,具体包括以下步骤:
S301:将所述运动姿态矩阵输入预先训练的深度学习模型,计算所述运动姿态矩阵相对于任一目标动作的输出概率;
S302:判定所述输出概率大于或等于预设阈值,则在所述目标动作的计数上加1,并将窗口w向前滑动p帧;
S303:判定所述输出概率小于预设阈值,则将窗口w向前滑动1帧;
其中,p为窗口w的长度,p的取值范围为[l,r],l表示训练数据集中所述目标动作的视频帧数的最小值,r表示训练数据集中所述目标动作的视频帧数的最大值。
下面以Vision Transformer模型作为深度学习模型为例,简单介绍模型的线下训练、线上检测过程,以及模型结构,通过训练基于Vision Transformer算法的模型,从而实现精准的动作计数。
如图4所示,具体地,在线下训练阶段,首先,采集需要进行实时计数的多种不同类型的体育运动的视频数据,其中,每段视频只包含一种体育运动的一次动作,例如,一段俯卧撑的视频只包含了一次俯卧撑动作。然后,对每段视频的体育运动类别进行标注。最后,计算每段视频对应的运动姿态矩阵,所有运动姿态矩阵构成训练数据,输入图5中的模型进行训练,最终生成训练好的模型。
如图5所示,该深度学习模型的模型结构包括五部分:Embedding层,位置编码层,编码网络层,多层感知机层和Softmax层。
其中,Embedding层的输入是运动姿态矩阵,并对输入的运动姿态矩阵中的每个元素进行embedding编码后输出处理后的矩阵;Embedding层的输入是运动姿态矩阵,该层对矩阵中的每个元素进行embedding编码,假设运动姿态向量中有n个元素,embedding编码层的输出维度是d维,则该层最终输出的是n*d维的矩阵。
位置编码模块的输入是经过Embedding层处理后的得到的矩阵,并对经过Embedding层处理后的得到的矩阵中的任意元素的位置进行编码,得到经过位置编码后的矩阵;位置编码模块的输入是经过Embedding层处理的n*d维矩阵,该层通过VisionTransformer模型中的位置编码算法对位置进行编码,位置的计算方式是:假设位置矩阵中的某个元素处于矩阵的第i行第j列,则其位置计算公式是i*j。
编码网络层的输入是经过位置编码后的矩阵,编码网络层中堆叠了多个编码模块,每个编码模块中采用多头注意力机制,所述编码模块对经过位置编码后的矩阵进行编码,以得到经过编码模块编码的矩阵;编码网络层的输入是经过位置编码的矩阵,其中堆叠了n个Transformer算法中的Encoder模块,每个Encoder模块中采用多头注意力机制。
多层感知机层的输入是编码模块输出的矩阵;多层感知机层的输入是编码模块输出的矩阵,多层感知机层使用m层线性全连接,全连接层的输出维度是动作类别的种类数。
Softmax层的输入数据是多层感知机层的输出数据,通过Softmax层计算运动姿态矩阵相对于任一目标动作的输出概率;Softmax层的输入是多层感知机层的输出,通过该层最终计算出动作类别的概率。
在线上检测时,对于实时录制的用户线上动作视频数据,算法会以窗口w从左向右滑动,每次滑动1帧。w的长度p可以选取[l,r]区间中的一个值,其中l表示训练数据中该类动作视频帧数的最小值,r表示训练数据中该类动作视频帧数的最大值。在该实施例中,选取窗口长度p为训练数据中该类动作视频帧数的平均值。然后,计算窗口w中视频段的运动姿态矩阵。最后,将运动姿态矩阵输入图4的模型中,计算该段视频的输出概率:如果该段视频属于某类动作的概率大于等于阈值,则该类动作的计数加1。并且窗口w向前滑动p帧。如果该段视频属于某类动作的概率小于阈值,则窗口w向前滑动1帧。
在上述具体实施方式中,本发明所提供的基于深度学习模型的运动实时计数方法,通过摄像设备实时采集人体运动视频数据;通过人体检测算法检测出位于视频图像中心位置的运动者,以该运动者作为目标运动者,计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量;进而将各帧图像得到运动姿态向量以时间顺序进行排列,得到运动姿态矩阵;基于预先训练的深度学习模型对所述运动姿态矩阵进行分析,以得到目标动作的计数结果;其中,所述深度学习模型是基于运动姿态矩阵样本构成的训练数据集训练得到的,所述运动姿态矩阵样本是由多种类型运动的视频数据样本计算得到的,每个所述视频数据样本只包含一种目标运动样本的一次完整动作。这样,该运动实时计数方法将视频帧序列作为输入,通过实时动作分析,并结合预先训练的深度学习模型,实现对各种体育动作的计数,可方便应用于各类体育项目,具有较好的动作识别性和技术准确性,解决了现有技术中存在的动作识别和计数准确性较差的技术问题。
除了上述方法,本发明还提供一种基于深度学习模型的运动实时计数***,如图6所示,所述***包括:
数据获取单元601,用于通过摄像设备实时采集人体运动视频数据;
姿态向量计算单元602,用于通过人体检测算法检测出位于视频图像中心位置的运动者,以该运动者作为目标运动者,计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量;
姿态矩阵生成单元603,用于将各帧图像得到运动姿态向量以时间顺序进行排列,得到运动姿态矩阵;
计数结果输出单元604,用于基于预先训练的深度学习模型对所述运动姿态矩阵进行分析,以得到目标动作的计数结果;
其中,所述深度学习模型是基于运动姿态矩阵样本构成的训练数据集训练得到的,所述运动姿态矩阵样本是由多种类型运动的视频数据样本计算得到的,每个所述视频数据样本只包含一种目标运动样本的一次完整动作。
在上述具体实施方式中,本发明所提供的基于深度学习模型的运动实时计数***,通过摄像设备实时采集人体运动视频数据;通过人体检测算法检测出位于视频图像中心位置的运动者,以该运动者作为目标运动者,计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量;进而将各帧图像得到运动姿态向量以时间顺序进行排列,得到运动姿态矩阵;基于预先训练的深度学习模型对所述运动姿态矩阵进行分析,以得到目标动作的计数结果;其中,所述深度学习模型是基于运动姿态矩阵样本构成的训练数据集训练得到的,所述运动姿态矩阵样本是由多种类型运动的视频数据样本计算得到的,每个所述视频数据样本只包含一种目标运动样本的一次完整动作。这样,该运动实时计数方法将视频帧序列作为输入,通过实时动作分析,并结合预先训练的深度学习模型,实现对各种体育动作的计数,可方便应用于各类体育项目,具有较好的动作识别性和技术准确性,解决了现有技术中存在的动作识别和计数准确性较差的技术问题。
图7示例了一种电子设备的实体结构示意图,如图7所示,该电子设备可以包括:处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740,其中,处理器710,通信接口720,存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令,以执行交易请求处理方法,该方法包括:通过摄像设备实时采集人体运动视频数据;通过人体检测算法检测出位于视频图像中心位置的运动者,以该运动者作为目标运动者,计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量;将各帧图像得到运动姿态向量以时间顺序进行排列,得到运动姿态矩阵;基于预先训练的深度学习模型对所述运动姿态矩阵进行分析,以得到目标动作的计数结果;其中,所述深度学习模型是基于运动姿态矩阵样本构成的训练数据集训练得到的,所述运动姿态矩阵样本是由多种类型运动的视频数据样本计算得到的,每个所述视频数据样本只包含一种目标运动样本的一次完整动作。
此外,上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的电子设备中的处理器710可以调用存储器730中的逻辑指令,其实施方式与本申请提供的交易请求处理方法的实施方式一致,且可以达到相同的有益效果,此处不再赘述。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的交易请求处理方法,该方法包括:通过摄像设备实时采集人体运动视频数据;通过人体检测算法检测出位于视频图像中心位置的运动者,以该运动者作为目标运动者,计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量;将各帧图像得到运动姿态向量以时间顺序进行排列,得到运动姿态矩阵;基于预先训练的深度学习模型对所述运动姿态矩阵进行分析,以得到目标动作的计数结果;其中,所述深度学习模型是基于运动姿态矩阵样本构成的训练数据集训练得到的,所述运动姿态矩阵样本是由多种类型运动的视频数据样本计算得到的,每个所述视频数据样本只包含一种目标运动样本的一次完整动作。
本申请实施例提供的计算机程序产品被执行时,实现上述交易请求处理方法,其具体的实施方式与前述方法的实施例中记载的实施方式一致,且可以达到相同的有益效果,此处不再赘述。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各提供的交易请求处理方法,该方法包括:通过摄像设备实时采集人体运动视频数据;通过人体检测算法检测出位于视频图像中心位置的运动者,以该运动者作为目标运动者,计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量;将各帧图像得到运动姿态向量以时间顺序进行排列,得到运动姿态矩阵;基于预先训练的深度学习模型对所述运动姿态矩阵进行分析,以得到目标动作的计数结果;其中,所述深度学习模型是基于运动姿态矩阵样本构成的训练数据集训练得到的,所述运动姿态矩阵样本是由多种类型运动的视频数据样本计算得到的,每个所述视频数据样本只包含一种目标运动样本的一次完整动作。
本申请实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时,实现上述交易请求处理方法,其具体的实施方式与前述方法的实施例中记载的实施方式一致,且可以达到相同的有益效果,此处不再赘述。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时,可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。
Claims (10)
1.一种基于深度学习模型的运动实时计数方法,其特征在于,所述方法包括:
通过摄像设备实时采集人体运动视频数据;
通过人体检测算法检测出位于视频图像中心位置的运动者,以该运动者作为目标运动者,计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量;
将各帧图像得到运动姿态向量以时间顺序进行排列,得到运动姿态矩阵;
基于预先训练的深度学习模型对所述运动姿态矩阵进行分析,以得到目标动作的计数结果;
其中,所述深度学习模型是基于运动姿态矩阵样本构成的训练数据集训练得到的,所述运动姿态矩阵样本是由多种类型运动的视频数据样本计算得到的,每个所述视频数据样本只包含一种目标运动样本的一次完整动作。
2.根据权利要求1所述的运动实时计数方法,其特征在于,计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量,具体包括:
检测所述运动视频中每一帧图像中所述目标运动者的骨骼关键点的三维坐标,以得到每一帧图像中所述目标运动者的姿态图;
基于所述姿态图,获取多个目标骨骼关键点,并以任意三个所述目标骨骼关键点作为一个骨骼关键点序列,以得到多个骨骼关键点序列;
计算各所述骨骼关键点序列之间的夹角,得到序列夹角,并将所有序列夹角构成运动姿态向量。
3.根据权利要求2所述的运动实时计数方法,其特征在于,计算各所述骨骼关键点序列之间的夹角,得到序列夹角,并将所有序列夹角构成运动姿态向量,具体包括:
设定骨骼关键点n通过三维坐标(xn,yn,zn)描述,假设有[w,p,q]三个骨骼关键点序列,关键点的坐标为:(xw,yw,zw),(xp,yp,zp),(xq,yq,zq),其中,w点和p点可以形成线段l1,q和p可以构成线段l2;
计算l1和l2之间的夹角即为w,p,q三个骨骼关键点形成的序列夹角;
计算其他骨骼关键点序列的序列夹角,并得到所有的序列夹角;
所有序列夹角的值构成运动姿态向量:[θ1,θ2,…,θn]。
4.根据权利要求1所述的运动实时计数方法,其特征在于,基于预先训练的深度学习模型对所述运动姿态矩阵进行分析,以得到目标动作的计数结果,具体包括:
将所述运动姿态矩阵输入预先训练的深度学习模型,计算所述运动姿态矩阵相对于任一目标动作的输出概率;
判定所述输出概率大于或等于预设阈值,则在所述目标动作的计数上加1,并将窗口w向前滑动p帧;
其中,p为窗口w的长度,p的取值范围为[l,r],l表示训练数据集中所述目标动作的视频帧数的最小值,r表示训练数据集中所述目标动作的视频帧数的最大值。
5.根据权利要求4所述的运动实时计数方法,其特征在于,将所述运动姿态矩阵输入预先训练的深度学习模型,计算所述运动姿态矩阵相对于任一目标动作的输出概率,之后还包括:
判定所述输出概率小于预设阈值,则将窗口w向前滑动1帧。
6.根据权利要求1所述的运动实时计数方法,其特征在于,所述深度学习模型的模型结构包括:
Embedding层,所述Embedding层的输入是运动姿态矩阵,并对输入的运动姿态矩阵中的每个元素进行embedding编码后输出处理后的矩阵;
位置编码模块,所述位置编码模块的输入是经过Embedding层处理后的得到的矩阵,并对经过Embedding层处理后的得到的矩阵中的任意元素的位置进行编码,得到经过位置编码后的矩阵;
编码网络层,所述编码网络层的输入是经过位置编码后的矩阵,编码网络层中堆叠了多个编码模块,每个编码模块中采用多头注意力机制,所述编码模块对经过位置编码后的矩阵进行编码,以得到经过编码模块编码的矩阵;
多层感知机层,所述多层感知机层的输入是编码模块输出的矩阵;
Softmax层,Softmax层的输入数据是多层感知机层的输出数据,通过Softmax层计算运动姿态矩阵相对于任一目标动作的输出概率。
7.一种基于深度学习模型的运动实时计数***,其特征在于,所述***包括:
数据获取单元,用于通过摄像设备实时采集人体运动视频数据;
姿态向量计算单元,用于通过人体检测算法检测出位于视频图像中心位置的运动者,以该运动者作为目标运动者,计算所述目标运动者在所述运动视频的各帧图像中的运动姿态向量;
姿态矩阵生成单元,用于将各帧图像得到运动姿态向量以时间顺序进行排列,得到运动姿态矩阵;
计数结果输出单元,用于基于预先训练的深度学习模型对所述运动姿态矩阵进行分析,以得到目标动作的计数结果;
其中,所述深度学习模型是基于运动姿态矩阵样本构成的训练数据集训练得到的,所述运动姿态矩阵样本是由多种类型运动的视频数据样本计算得到的,每个所述视频数据样本只包含一种目标运动样本的一次完整动作。
8.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6任一项所述方法的步骤。
9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210846652.1A CN115205750B (zh) | 2022-07-05 | 2022-07-05 | 基于深度学习模型的运动实时计数方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210846652.1A CN115205750B (zh) | 2022-07-05 | 2022-07-05 | 基于深度学习模型的运动实时计数方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115205750A true CN115205750A (zh) | 2022-10-18 |
CN115205750B CN115205750B (zh) | 2023-06-13 |
Family
ID=83582520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210846652.1A Active CN115205750B (zh) | 2022-07-05 | 2022-07-05 | 基于深度学习模型的运动实时计数方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115205750B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117253290A (zh) * | 2023-10-13 | 2023-12-19 | 景色智慧(北京)信息科技有限公司 | 基于yolopose模型的跳绳计数实现方法、装置及存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7653605B1 (en) * | 2005-04-15 | 2010-01-26 | Science Applications International Corporation | Method of and apparatus for automated behavior prediction |
KR20130100393A (ko) * | 2012-03-01 | 2013-09-11 | 박규호 | 스마트기기 센서를 이용한 사용자 행동패턴인식 방법 |
US20200097810A1 (en) * | 2018-09-25 | 2020-03-26 | Oracle International Corporation | Automated window based feature generation for time-series forecasting and anomaly detection |
CN112464808A (zh) * | 2020-11-26 | 2021-03-09 | 成都睿码科技有限责任公司 | 一种基于计算机视觉的跳绳姿态及个数识别方法 |
CN112668359A (zh) * | 2019-10-15 | 2021-04-16 | 富士通株式会社 | 动作识别方法、动作识别装置和电子设备 |
US20210209350A1 (en) * | 2020-01-06 | 2021-07-08 | Kaia Health Software GmbH | Ml model arrangement and method for evaluating motion patterns |
US11074711B1 (en) * | 2018-06-15 | 2021-07-27 | Bertec Corporation | System for estimating a pose of one or more persons in a scene |
CN113392742A (zh) * | 2021-06-04 | 2021-09-14 | 北京格灵深瞳信息技术股份有限公司 | 异常动作确定方法、装置、电子设备及存储介质 |
CN113936339A (zh) * | 2021-12-16 | 2022-01-14 | 之江实验室 | 基于双通道交叉注意力机制的打架识别方法和装置 |
CN114299473A (zh) * | 2021-12-24 | 2022-04-08 | 杭州电子科技大学 | 一种基于多源信息融合的驾驶员行为识别方法 |
CN114581945A (zh) * | 2022-02-21 | 2022-06-03 | 中国科学院大学 | 一种融合时空特征的单目三维人体姿态估计方法及*** |
-
2022
- 2022-07-05 CN CN202210846652.1A patent/CN115205750B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7653605B1 (en) * | 2005-04-15 | 2010-01-26 | Science Applications International Corporation | Method of and apparatus for automated behavior prediction |
KR20130100393A (ko) * | 2012-03-01 | 2013-09-11 | 박규호 | 스마트기기 센서를 이용한 사용자 행동패턴인식 방법 |
US11074711B1 (en) * | 2018-06-15 | 2021-07-27 | Bertec Corporation | System for estimating a pose of one or more persons in a scene |
US20200097810A1 (en) * | 2018-09-25 | 2020-03-26 | Oracle International Corporation | Automated window based feature generation for time-series forecasting and anomaly detection |
CN112668359A (zh) * | 2019-10-15 | 2021-04-16 | 富士通株式会社 | 动作识别方法、动作识别装置和电子设备 |
US20210209350A1 (en) * | 2020-01-06 | 2021-07-08 | Kaia Health Software GmbH | Ml model arrangement and method for evaluating motion patterns |
CN112464808A (zh) * | 2020-11-26 | 2021-03-09 | 成都睿码科技有限责任公司 | 一种基于计算机视觉的跳绳姿态及个数识别方法 |
CN113392742A (zh) * | 2021-06-04 | 2021-09-14 | 北京格灵深瞳信息技术股份有限公司 | 异常动作确定方法、装置、电子设备及存储介质 |
CN113936339A (zh) * | 2021-12-16 | 2022-01-14 | 之江实验室 | 基于双通道交叉注意力机制的打架识别方法和装置 |
CN114299473A (zh) * | 2021-12-24 | 2022-04-08 | 杭州电子科技大学 | 一种基于多源信息融合的驾驶员行为识别方法 |
CN114581945A (zh) * | 2022-02-21 | 2022-06-03 | 中国科学院大学 | 一种融合时空特征的单目三维人体姿态估计方法及*** |
Non-Patent Citations (7)
Title |
---|
JIAWEI CHEN ET AL.: "MM-ViT: Multi-Modal Video Transformer for Compressed Video Action Recognition", pages 1910 - 1921 * |
X. WANG ET AL.: "OadTR: Online Action Detection with Transformers", 2021 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), pages 7545 - 7555 * |
YANGHAO LI ET AL.: "MViTv2: Improved Multiscale Vision Transformers for classification and detection", pages 1 - 16 * |
吴艳春: "基于深度学习的在线人体动作分析", 中国优秀硕士学位论文全文数据库 (信息科技辑), no. 01, pages 138 - 1606 * |
戴凤智等: "基于深度学习的视频跟踪研究进展综述", 计算机工程与应用, vol. 55, no. 10, pages 16 - 29 * |
李晨等: "基于深度学习的视频行为识别技术综述", vol. 39, no. 09, pages 2561 - 2569 * |
赵汶: "真实场景下人体行为检测的研究与应用", no. 01, pages 138 - 2462 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117253290A (zh) * | 2023-10-13 | 2023-12-19 | 景色智慧(北京)信息科技有限公司 | 基于yolopose模型的跳绳计数实现方法、装置及存储介质 |
CN117253290B (zh) * | 2023-10-13 | 2024-05-10 | 景色智慧(北京)信息科技有限公司 | 基于yolopose模型的跳绳计数实现方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115205750B (zh) | 2023-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110147743B (zh) | 一种复杂场景下的实时在线行人分析与计数***及方法 | |
CN110570455B (zh) | 一种面向房间vr的全身三维姿态跟踪方法 | |
CN111402290B (zh) | 一种基于骨骼关键点的动作还原方法以及装置 | |
Jojic et al. | Tracking self-occluding articulated objects in dense disparity maps | |
CN112530019B (zh) | 三维人体重建方法、装置、计算机设备和存储介质 | |
CN107239728A (zh) | 基于深度学习姿态估计的无人机交互装置与方法 | |
CN110210426B (zh) | 基于注意力机制从单幅彩色图像进行手部姿态估计的方法 | |
CN111444488A (zh) | 一种基于动态手势的身份认证方法 | |
CN110633004A (zh) | 基于人体姿态估计的交互方法、装置和*** | |
Xu et al. | Robust hand gesture recognition based on RGB-D Data for natural human–computer interaction | |
CN112906520A (zh) | 一种基于姿态编码的动作识别方法及装置 | |
CN112861808A (zh) | 动态手势识别方法、装置、计算机设备及可读存储介质 | |
Cao et al. | Human posture recognition using skeleton and depth information | |
CN115205750A (zh) | 基于深度学习模型的运动实时计数方法和*** | |
Liu et al. | Online human action recognition with spatial and temporal skeleton features using a distributed camera network | |
CN115205737B (zh) | 基于Transformer模型的运动实时计数方法和*** | |
Moon et al. | Holistic planimetric prediction to local volumetric prediction for 3d human pose estimation | |
CN115100745B (zh) | 基于Swin Transformer模型的运动实时计数方法和*** | |
CN117711066A (zh) | 一种三维人体姿态估计方法、装置、设备及介质 | |
CN115223240B (zh) | 基于动态时间规整算法的运动实时计数方法和*** | |
CN113894779B (zh) | 一种应用于机器人交互的多模态数据处理方法 | |
CN115690902A (zh) | 一种健身动作的异常姿态预警方法 | |
CN115063717A (zh) | 一种基于重点区域实景建模的视频目标检测与跟踪方法 | |
CN110895684A (zh) | 一种基于Kinect的手势动作识别方法 | |
Ino et al. | Grasping hand pose estimation from RGB images using digital human model by convolutional neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |