CN112800905A - 一种基于rgbd相机姿态估计的引体向上计数方法 - Google Patents
一种基于rgbd相机姿态估计的引体向上计数方法 Download PDFInfo
- Publication number
- CN112800905A CN112800905A CN202110067884.2A CN202110067884A CN112800905A CN 112800905 A CN112800905 A CN 112800905A CN 202110067884 A CN202110067884 A CN 202110067884A CN 112800905 A CN112800905 A CN 112800905A
- Authority
- CN
- China
- Prior art keywords
- rgb
- depth
- key points
- depth images
- counting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000010586 diagram Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 8
- 230000009471 action Effects 0.000 claims abstract description 5
- 230000004927 fusion Effects 0.000 claims abstract description 5
- 230000008859 change Effects 0.000 claims description 29
- 210000003128 head Anatomy 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 15
- 210000000707 wrist Anatomy 0.000 claims description 13
- 210000001331 nose Anatomy 0.000 claims description 8
- 210000001508 eye Anatomy 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000005452 bending Methods 0.000 claims description 6
- 210000005069 ears Anatomy 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 230000001537 neural effect Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 abstract description 7
- 238000004364 calculation method Methods 0.000 abstract description 3
- 230000000875 corresponding effect Effects 0.000 description 10
- 210000003414 extremity Anatomy 0.000 description 5
- 210000000988 bone and bone Anatomy 0.000 description 4
- 210000003423 ankle Anatomy 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 210000001364 upper extremity Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于RGBD相机姿态估计的引体向上计数方法，采集RGB和Depth图像，并对RGB和Depth图像进行处理得到抑制掉大部分背景信息的图像；将处理后的RGB和Depth图像输入至mobi le net系列网络结构模型中进行有效的融合，输出关键点置信度图和部分亲和场图；通过积分函数评估两个关键点之间的相关性，将各人的关节点进行连接，得到图像中所有人的姿态骨架图；根据姿态骨架图中骨骼关键点的信息提取引体向上运动参数；根据运动参数判断是否进行引体向上动作，如果是，则进行引体向上计数。本发明能够适应各种运动场景，通过Depth信息分割掉背景信息，计数机制更加鲁棒，计数更加精确，同时提升了计算的效率。
Description
技术领域
本发明涉及一种人体向上计数方法，特别涉及一种基于RGBD相机姿态估计的引体向上计数方法。
背景技术
引体向上要求有一定的握力和上肢力量，这个力量必须克服自身的体重才能完成一次，引体向上对发展上肢悬垂力量、肩带力量和握力有重要作用，因此，引体向上是健身和锻炼最为常见的项目之一，为了科学有效的健身与锻炼，在做引体向上项目时，需要对引体向上进行有效的计数。
目前引体向上计数的方法有人工计数，这种计数方法依靠计数人员的主观判断，在模棱两可的情况下容易出错，另外也浪费人力；
中国发明专利授权公告号CN105879358B，授权公告日2018年08月28日，专利名称《引体向上成绩测试仪》，该方法采用拉线式位移传感器，这种方法要求被测者穿戴相应的设备，给被测者带来不便，另外需要装置上下杠感知单元，设计较为复杂；
中国发明专利公开号CN 107122798A，公开日2017年09月01日，专利名称《基于深度卷积网络的引体向上计数检测方法及装置》，该方法公开了一种利用深度学习进行引体向上的计数，该方法存在两方面的问题，一是，采集的数据比较多，需要采集大量的鼻子过杆，头部过杆但鼻子未过杆等数据，需要对数据进行标注，需要投入大量的人力物力，二是，对模棱两可的情况不能很好的处理。
中国发明专利公开号CN 111282248A，公开日2020年06月16日，专利名称《一种基于骨骼和人脸关键点的引体向上检测***及方法》，该方法通过采用单帧大臂和小臂之间的夹角来计数，该方法存在两个问题：一是，当有某个关键点检测失败之后，这些计数机制则失败，造成计数误差。二是，当RGB图像出现多人时，会检测出所有人的关键点信息，多人关键点信息会相互影响，造成计数不精确；同时检测多人的关键点信息也会带来一定的时延。
所以有必要提出一种新的方案，基于RGBD相机姿态估计的引体向上计数方法，该方法通过获取RGB和Depth图像，并对RGB和Depth图像进行处理，将处理后的RGB和Depth图像输入至网络模型中获得图像中所有人的姿态骨架图，根据姿态骨架图设计引体向上相应的动作逻辑机制，进行引体向上计数的方案。
发明内容
针对目前引体向上计数出现的问题，本发明提供了一种基于RGBD相机姿态估计的引体向上计数方法，结合RGBD图像的互补特性进行网络结构的设计，使得网络能够自适应的融合RGB和Depth图像的特征，网络同时回归人体骨骼关键点和进行关键点的关联，得到人体姿态骨架图，然后对检测的关键点进行逻辑判断和对比，设计引体向上逻辑和动作，并进行引体向上计数。
根据本发明的目的提供了一种基于RGBD相机姿态估计的引体向上计数方法，包括以下步骤：
S1：采集RGB和Depth图像，并对RGB和Depth图像进行处理得到抑制掉大部分背景信息的图像；
S2：将处理后的RGB和Depth图像输入至mobile net系列网络结构模型中进行有效的融合，输出关键点置信度图和部分亲和场图；通过积分函数评估两个关键点之间的相关性，将各人的关节点进行连接，得到图像中所有人的姿态骨架图；
S3：根据姿态骨架图中骨骼关键点的信息提取引体向上运动参数；
S4：根据运动参数判断是否进行引体向上动作，如果是，则进行引体向上计数。
优选的，步骤S1中对RGB和Depth图像进行处理的步骤包括,
S11:利用具有时空一致性的RGBD相机，采集RGB和Depth图像，分别对RGB和Depth图像做背景分割；
具体令RGB图像某像素点坐标为XR(i,j)，对应的深度图像素点坐标为XD(i,j)，根据深度图的分辨率生成一个掩码图，该掩码图对应像素点坐标为XM(i,j)，根据场景复杂度设计一个可控阀值δ，如将人物活动的范围作为阀值标准，对掩码图进行二值化操作优化；
S12：将优化后的掩码图分别与RGB和Depth图像进行点乘，抑制掉RGB和Depth图像中大部分的背景信息。
优选的，步骤S2中得到所有人的姿态骨架图的步骤包括，
S21:将处理后的RGB和depth图像通过mask之后,分别通过两个分支的网络得到RGB_f和Depth_f；同时学习一个1x2的权重向量[WD,WR],分别表示RGB和Depth模态的权重,将模态权重[WD,WR]分别与RGB_f和Depth_f相乘,然后进行RGB和Depth特征图的融合，得到融合后的特征；
S22:将融合后的特征输入到stage1网络结构中,每个stage的输出有两个分支,两个分支分别输出关键点置信图和关键点的亲和场,stage n的输入为stage n-1的输出；
S23:得到亲和场和关键点的位置后，通过积分函数评价两关键点的相关性；
S24:利用匈牙利算法求得相邻关键点的最优匹配，得到图像中所有人的姿态骨架图。
优选的，所述mobile net系列网络结构模型中每个阶段的网络结构均采用3×3和1×1的卷积层，并使用空洞卷积增加网络的感受野。
优选的，通过最大化操作得到真值置信图，在测试时，通过最大化操作得到关键点的位置，并利用非极大值抑制排除冗余关键点。
优选的，每个阶段分支上在输出时都添加有损失函数，所述损失函数均用L2范数进行约束。
优选的，所述mobile net系列网络结构模型用NAS(Neural ArchitectureSearch)搜索的方法来权衡网络的精度和速度。
优选的，步骤S3中步骤中所述引体向上运动参数包括：头部位置变化特征、手臂位置变化特征；所述头部位置变化特征指的是在运动的过程中头部高度变化情况，通过鼻子、耳朵、眼睛的三个关键点位置变化来估算；
所述手臂变化特征指在做引体向上过程中，手臂弯曲变化情况，通过手腕、手肘以及肩膀三个关键点位置变化来估算。
优选的，所述手臂弯曲变化情况通过判断手腕到肩膀的连线长度是否大于0.9倍的手肘到手腕和手肘到肩膀的长度之和。
本发明的有益效果是：
1.本发明不依靠计数人员的主观判断，避免了在模棱两可的情况下容易出错，同时节省了人力。
2.本发明不需要复杂的装置，只需要一款RGBD相机即可，价格低廉。
3.本发明利用Depth信息分割掉背景信息，使得深度值达到最优，充分发挥RGBD的互补特性，结合RGBD多模态的输入，设计鲁棒的深度学习算法进行人体关键点的估计，并进行网络模型的压缩；使其能够在边缘设备达到实时的效果，根据运动属性设计相应的动作逻辑机制，进行引体向上计数；本发明能够适应各种运动场景，通过Depth信息分割掉背景信息，计数机制更加鲁棒，计数更加精确，同时提升了计算的效率。
4.在设计引体向上相应的动作逻辑时，通过多个关键点的位置综合评估，避免了因为某一个关键点采集不到，计数机制失效。
附图说明
图1是本发明计数方法流程图；
图2是本发明mobile net系列网络结构模型流程图；
图3是本发明mobile net系列网络结构模型每个阶段的网络结构；
图4是本发明人体骨骼关键点图；
图5是引体向上开始计数的状态或者下一个计数的开始状态；
图6是引体向上开始计数加1状态；
对图4中附图说明：0：鼻子；1：脖子；2：右肩；3：右肘4：右腕；5：左肩；6：左肘；7：左腕；8：右髋；9：右膝；10：右踝；11：左髋；12：左膝；13：左踝；14：右眼；15：左眼；16：右耳；17：左耳；
具体实施方式
以下将结合附图所示的具体实施方式对本发明进行详细描述，但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
如图1所示，本发明公开的一种基于RGBD相机姿态估计的引体向上计数方法，包括以下步骤：
S1：采集RGB和Depth图像，并对RGB和Depth图像进行处理得到抑制掉大部分背景信息的图像；
有一种具体实施例，步骤S1中对RGB和Depth图像进行处理的步骤包括,
S11:利用具有时空一致性的RGBD相机，采集RGB和Depth图像，分别对RGB和Depth图像做背景分割；
具体令RGB图像某像素点坐标为XR(i,j)，对应的深度图像素点坐标为XD(i,j)，根据深度图的分辨率生成一个掩码图，该掩码图对应像素点坐标为XM(i,j)，根据场景复杂度设计一个可控阀值δ，如将人物活动的范围作为阀值标准，对掩码图进行二值化操作优化；其公式如下：
S12：将优化后的掩码图分别与RGB和Depth图像进行点乘，抑制掉RGB和Depth图像中大部分的背景信息，其公式如下：
XR(i,j)＝XM(i,j)·XR(i,j) (2)
XD(i,j)＝XM(i,j)·XD(i,j) (3)
S2：将处理后的RGB和Depth图像输入至mobile net系列网络结构模型中进行有效的融合，输出关键点置信度图和部分亲和场图；通过积分函数评估两个关键点之间的相关性，将各人的关节点进行连接，得到图像中所有人的姿态骨架图；
如图2所示，有一具体的实施例，步骤S2中得到所有人的姿态骨架图的步骤包括，
S21:将处理后的RGB和depth图像通过mask之后,分别通过两个分支的网络得到RGB_f和Depth_f；同时学习一个1x2的权重向量[WD,WR],分别表示RGB和Depth模态的权重,将模态权重[WD,WR]分别与RGB_f和Depth_f相乘,然后进行RGB和Depth特征图的融合，得到融合后的特征；
S22:将融合后的特征输入到stage1网络结构中,每个stage的输出有两个分支,两个分支分别输出关键点置信图S1＝ρ1(F)和关键点的亲和场
stage n的输入为stage n-1的输出；两个分支都是一轮迭代的预测体系结构，具体迭代公式如下：
S23:得到亲和场和关键点的位置后，通过积分函数评价两关键点的相关性；
S24:利用匈牙利算法求得相邻关键点的最优匹配，得到图像中所有人的姿态骨架图。
有一种优选方案，如图3所示，所述mobile net系列网络结构模型中每个阶段的网络结构采用3×3和1×1的卷积层，并使用空洞卷积增加网络的感受野。
有一种优选方案，在训练的时候需要分别对关节点位置和亲和区域进行监督，所述损失函数均用L2范数进行约束。为了避免梯度消失现象发生，在每个阶段的每分支输出都添加损失函数，起到中继监督作用。
每支的损失函数如下：
其中，
是有J个真实关键点的置信图，
是有C个真实的部分亲和场。W是一个边界标志，当图像位置P的注释消失时，W(P)＝0。这个标记是为了避免无标记部分参与到模型权重的优化。
在训练时，对于每个人k的位置p,生成个人关键点置信图
的方式为：
其中Xj,k为个人k，关键点j的真值的位置，σ为控制峰值范围的系数。通过最大化操作得到真值的置信图：
在测试时，通过最大化操作得到关键点的位置，并利用非极大值抑制排除冗余关键点。
对于个人k的第c个肢干上的部分亲和场定义为：
其中v＝(xj2,k-xj1,k)/||xj2,k-xj1,k||2，xj,k表示个人k的第j个关键点位置，像素P是否落在肢干上的判断为：
0≤v·(p-xj1,k)≤lc,k&&|v⊥·(p-xj1,k)|≤σl
其中，lc,k和σl表示肢干的长度和宽度，最后对所有人相同类别的肢干进行平均，使得亲和场的输出通道与肢干种类数相等：
在得到亲和场和关键点的位置dj之后，通过以下积分函数评估两个关键点的相关性：
其中p(u)＝(1-u)dj1+udj2在得到关键点以及相关性的边权之后，计算姿态骨骼就转换成了一个图问题。
利用匈牙利算法求得相邻关键点的最优匹配，从而得到图像中所有人的姿态骨架图。
有一优选方案，mobile net系列网络结构模型用NAS(Neural ArchitectureSearch)搜索的方法来权衡网络的精度和速度。
S3：根据姿态骨架图中骨骼关键点的信息提取引体向上运动参数；
如图4所示，人体骨骼关键点的相应位置；有一优选方案，步骤S3中步骤中所述引体向上运动参数包括：头部位置变化特征、手臂位置变化特征；所述头部位置变化特征指的是在运动的过程中头部高度变化情况，通过鼻子、耳朵、眼睛的三个关键点位置变化来估算；
具体的，头部位置的高度变化主要通过鼻子、耳朵、眼睛的位置变化综合考虑得出，头部的整体移动情况的定义如下:
yhead＝α·years+β·yeyes+γ·ynose
(11)
其中，yhead表示此时头部所在的高度，years、yeyes、ynose代表耳朵、眼睛、鼻子所在高度，α、β、γ代表对应的权重。
手臂变化特征指在做引体向上过程中，手臂弯曲变化情况，通过手腕、手肘以及肩膀三个关键点位置变化来估算；
更为具体的，手臂弯曲变化情况通过判断手腕到肩膀的连线长度是否大于0.9倍的手肘到手腕和手肘到肩膀的长度之和。
具体公式如下：
其中，xwrist、xelbow、xshoulder分别表示手腕、手肘、肩膀的横坐标，ywrist、yelbow、yshoulder分别表示手腕、手肘、肩膀的纵坐标。
S4：根据运动参数判断是否进行引体向上动作，如果是，则进行引体向上计数。
具体的计数过程如下：
1)当手臂处于伸直状态且头部位置变化|yhead-y0|>ε，时，表示身体处于悬垂在单杠上；如图5所示，引体向上开始计数的状态或者下一个计数的开始状态；
2)当手臂处于弯曲状态且头部位置变化|yhead-y0|≤ε时，表示头部过单杠；
3)当出现步骤1)到步骤2)的情况时，将计数加1，如图6所示；当出现步骤2)到步骤1)时表示进入下个计数的开始状态；如此的循环计数。
其中，y0表示引体向上杆的高度，ε表示某一距离阀值；
需要说明的是，RGB图像受光线，背景嘈杂以及运动遮挡等挑战影响较大，但是RGB具有丰富的纹理特性。Depth图像具有目标的轮廓信息，能够区分有距离差异的目标，且对光线变化不是很敏感，但是Depth图像缺乏目标的纹理特征。
本发明基于RGBD相机姿态估计的引体向上计数方法，通过自研的RGBD相机获得RGB图像以及Depth图像，并对RGB图像以及Depth图像处理后输入至网络模型进行RGBD特征的有效融合，有效减轻人体姿态估计中各个挑战因素对算法性能的影响，得到所有人的姿态骨架图，得到人体姿态骨架图后，根据运动员骨骼关节点信息提取引体向上运动参数，并进行引体向上计数。本发明能够适应各种运动场景，通过Depth信息分割掉背景信息，计数机制更加鲁棒，计数更加精确，同时提升了计算的效率。
尽管为示例目的，已经公开了本发明的优选实施方式，但是本领域的普通技术人员将意识到，在不脱离由所附的权利要求书公开的本发明的范围和精神前提下，各种改进、增加以及取代是可能的。
Claims (9)
1.一种基于RGBD相机姿态估计的引体向上计数方法，其特征在于，包括以下步骤：
S1：采集RGB和Depth图像，并对RGB和Depth图像进行处理得到抑制掉大部分背景信息的图像；
S2：将处理后的RGB和Depth图像输入至mobile net系列网络结构模型中进行有效的融合，输出关键点置信度图和部分亲和场图；通过积分函数评估两个关键点之间的相关性，将各人的关节点进行连接，得到图像中所有人的姿态骨架图；
S3：根据姿态骨架图中骨骼关键点的信息提取引体向上运动参数；
S4：根据运动参数判断是否进行引体向上动作，如果是，则进行引体向上计数。
2.根据权利要求1所述的一种基于RGBD相机姿态估计的引体向上计数方法，其特征在于：步骤S1中对RGB和Depth图像进行处理的步骤包括,
S11:利用具有时空一致性的RGBD相机，采集RGB和Depth图像，分别对RGB和Depth图像做背景分割；
具体令RGB图像某像素点坐标为XR(i,j)，对应的深度图像素点坐标为XD(i,j)，根据深度图的分辨率生成一个掩码图，该掩码图对应像素点坐标为XM(i,j)，根据场景复杂度设计一个可控阀值δ，如将人物活动的范围作为阀值标准，对掩码图进行二值化操作优化；
S12：将优化后的掩码图分别与RGB和Depth图像进行点乘，抑制掉RGB和Depth图像中大部分的背景信息。
3.根据权利要求1所述的一种基于RGBD相机姿态估计的引体向上计数方法，其特征在于：步骤S2中得到所有人的姿态骨架图的步骤包括，
S21:将处理后的RGB和depth图像通过mask之后,分别通过两个分支的网络得到RGB_f和Depth_f；同时学习一个1x2的权重向量[WD,WR],分别表示RGB和Depth模态的权重,将模态权重[WD,WR]分别与RGB_f和Depth_f相乘,然后进行RGB和Depth特征图的融合，得到融合后的特征；
S22:将融合后的特征输入到stage1网络结构中,每个stage的输出有两个分支,两个分支分别输出关键点置信图和关键点的亲和场,stage n的输入为stage n-1的输出；
S23:得到亲和场和关键点的位置后，通过积分函数评价两关键点的相关性；
S24:利用匈牙利算法求得相邻关键点的最优匹配，得到图像中所有人的姿态骨架图。
4.根据权利要求3所述的一种基于RGBD相机姿态估计的引体向上计数方法，其特征在于：所述mobile net系列网络结构模型中每个阶段均采用3×3和1×1的卷积层，并使用空洞卷积增加网络的感受野。
5.根据权利要求3所述的一种基于RGBD相机姿态估计的引体向上计数方法，其特征在于：通过最大化操作得到真值置信图，在测试时，通过最大化操作得到关键点的位置，并利用非极大值抑制排除冗余关键点。
6.根据权利要求3所述的一种基于RGBD相机姿态估计的引体向上计数方法，其特征在于：每个阶段分支上在输出时都添加有损失函数，所述损失函数均用L2范数进行约束。
7.根据权利要求3所述的一种基于RGBD相机姿态估计的引体向上计数方法，其特征在于：所述mobile net系列网络结构模型用NAS(Neural Architecture Search)搜索的方法来权衡网络的精度和速度。
8.根据权利要求1所述的一种基于RGBD相机姿态估计的引体向上计数方法，其特征在于：步骤S3中步骤中所述引体向上运动参数包括：头部位置变化特征、手臂位置变化特征；所述头部位置变化特征指的是在运动的过程中头部高度变化情况，通过鼻子、耳朵、眼睛的三个关键点位置变化来估算；
所述手臂变化特征指在做引体向上过程中，手臂弯曲变化情况，通过手腕、手肘以及肩膀三个关键点位置变化来估算。
9.根据权利要求8所述的一种基于RGBD相机姿态估计的引体向上计数方法，其特征在于：所述手臂弯曲变化情况通过判断手腕到肩膀的连线长度是否大于0.9倍的手肘到手腕和手肘到肩膀的长度之和。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110067884.2A CN112800905A (zh) | 2021-01-19 | 2021-01-19 | 一种基于rgbd相机姿态估计的引体向上计数方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110067884.2A CN112800905A (zh) | 2021-01-19 | 2021-01-19 | 一种基于rgbd相机姿态估计的引体向上计数方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112800905A true CN112800905A (zh) | 2021-05-14 |
Family
ID=75810383
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110067884.2A Pending CN112800905A (zh) | 2021-01-19 | 2021-01-19 | 一种基于rgbd相机姿态估计的引体向上计数方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112800905A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113111857A (zh) * | 2021-05-10 | 2021-07-13 | 金华高等研究院 | 基于多模态信息融合的人体姿态估计方法 |
| CN113255624A (zh) * | 2021-07-14 | 2021-08-13 | 北京壹体科技有限公司 | 一种智能识别引体向上动作姿态完成状况的***和方法 |
| CN113313743A (zh) * | 2021-06-01 | 2021-08-27 | 杭州先奥科技有限公司 | 一种基于rgb-d传感器的深度信息优化方法 |
| CN113856186A (zh) * | 2021-09-02 | 2021-12-31 | 中国人民解放军陆军工程大学 | 一种引体向上动作判定与计数的方法、***及装置 |
| CN114091601A (zh) * | 2021-11-18 | 2022-02-25 | 业成科技（成都）有限公司 | 人员状况侦测的传感器融合方法 |
| CN115138059A (zh) * | 2022-09-06 | 2022-10-04 | 南京市觉醒智能装备有限公司 | 一种引体向上的规范计数方法、***及其存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102088333B1 (ko) * | 2019-08-20 | 2020-03-13 | 주식회사 마이베네핏 | 혼합 현실 기반 운동 장치를 이용한 팀 트레이닝 시스템 |
| CN111167107A (zh) * | 2020-03-19 | 2020-05-19 | 中国人民解放军国防科技大学 | 基于人脸识别和人体姿态估计的引体向上测试*** |
| CN111282248A (zh) * | 2020-05-12 | 2020-06-16 | 西南交通大学 | 一种基于骨骼和人脸关键点的引体向上检测***及方法 |
| CN111368791A (zh) * | 2020-03-18 | 2020-07-03 | 南通大学 | 基于Quick-OpenPose模型的引体向上测试计数方法及*** |
| CN111597976A (zh) * | 2020-05-14 | 2020-08-28 | 杭州相芯科技有限公司 | 一种基于rgbd相机的多人三维姿态估计方法 |
-
2021
- 2021-01-19 CN CN202110067884.2A patent/CN112800905A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102088333B1 (ko) * | 2019-08-20 | 2020-03-13 | 주식회사 마이베네핏 | 혼합 현실 기반 운동 장치를 이용한 팀 트레이닝 시스템 |
| CN111368791A (zh) * | 2020-03-18 | 2020-07-03 | 南通大学 | 基于Quick-OpenPose模型的引体向上测试计数方法及*** |
| CN111167107A (zh) * | 2020-03-19 | 2020-05-19 | 中国人民解放军国防科技大学 | 基于人脸识别和人体姿态估计的引体向上测试*** |
| CN111282248A (zh) * | 2020-05-12 | 2020-06-16 | 西南交通大学 | 一种基于骨骼和人脸关键点的引体向上检测***及方法 |
| CN111597976A (zh) * | 2020-05-14 | 2020-08-28 | 杭州相芯科技有限公司 | 一种基于rgbd相机的多人三维姿态估计方法 |
Non-Patent Citations (1)
| Title |
|---|
| ZHE CAO ET AL: "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", pages 2 - 7, Retrieved from the Internet <URL:https://arxiv.org/abs/1611.08050> * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113111857A (zh) * | 2021-05-10 | 2021-07-13 | 金华高等研究院 | 基于多模态信息融合的人体姿态估计方法 |
| CN113313743A (zh) * | 2021-06-01 | 2021-08-27 | 杭州先奥科技有限公司 | 一种基于rgb-d传感器的深度信息优化方法 |
| CN113313743B (zh) * | 2021-06-01 | 2022-05-10 | 杭州先奥科技有限公司 | 一种基于rgb-d传感器的深度信息优化方法 |
| CN113255624A (zh) * | 2021-07-14 | 2021-08-13 | 北京壹体科技有限公司 | 一种智能识别引体向上动作姿态完成状况的***和方法 |
| CN113255624B (zh) * | 2021-07-14 | 2021-09-21 | 北京壹体科技有限公司 | 一种智能识别引体向上动作姿态完成状况的***和方法 |
| CN113856186A (zh) * | 2021-09-02 | 2021-12-31 | 中国人民解放军陆军工程大学 | 一种引体向上动作判定与计数的方法、***及装置 |
| CN113856186B (zh) * | 2021-09-02 | 2022-08-09 | 中国人民解放军陆军工程大学 | 一种引体向上动作判定与计数的方法、***及装置 |
| CN114091601A (zh) * | 2021-11-18 | 2022-02-25 | 业成科技（成都）有限公司 | 人员状况侦测的传感器融合方法 |
| CN114091601B (zh) * | 2021-11-18 | 2023-05-05 | 业成科技（成都）有限公司 | 人员状况侦测的传感器融合方法 |
| CN115138059A (zh) * | 2022-09-06 | 2022-10-04 | 南京市觉醒智能装备有限公司 | 一种引体向上的规范计数方法、***及其存储介质 |
| CN115138059B (zh) * | 2022-09-06 | 2022-12-02 | 南京市觉醒智能装备有限公司 | 一种引体向上的规范计数方法、***及其存储介质 |
| WO2024051597A1 (zh) * | 2022-09-06 | 2024-03-14 | 南京市觉醒智能装备有限公司 | 一种引体向上的规范计数方法、***及其存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112800905A (zh) | 一种基于rgbd相机姿态估计的引体向上计数方法 | |
| CN110222665B (zh) | 一种基于深度学习和姿态估计的监控中人体动作识别方法 | |
| CN111274954B (zh) | 基于改进姿态估计算法的嵌入式平台实时跌倒检测方法 | |
| CN109522850B (zh) | 一种基于小样本学习的动作相似度评估方法 | |
| Chaudhari et al. | Yog-guru: Real-time yoga pose correction system using deep learning methods | |
| CN110991340B (zh) | 一种基于图像压缩的人体动作分析方法 | |
| CN109685037B (zh) | 一种实时动作识别方法、装置及电子设备 | |
| CN110490109B (zh) | 一种基于单目视觉的在线人体康复动作识别方法 | |
| CN110956139B (zh) | 一种基于时间序列回归预测的人体运动动作分析方法 | |
| KR20130013122A (ko) | 객체 자세 검색 장치 및 방법 | |
| CN116012950B (zh) | 一种基于多重心时空注意图卷积网络的骨架动作识别方法 | |
| CN106600626A (zh) | 三维人体运动捕获方法与*** | |
| CN111639602B (zh) | 一种行人遮挡及朝向检测方法 | |
| CN109255783B (zh) | 一种多人图像上的人体骨骼关键点的位置排布检测方法 | |
| CN112084878B (zh) | 一种用于判别作业人员姿态规范程度的方法 | |
| Singh et al. | Human pose estimation using convolutional neural networks | |
| US20220207921A1 (en) | Motion recognition method, storage medium, and information processing device | |
| CN111914643A (zh) | 一种基于骨骼关键点检测的人体动作识别方法 | |
| Chang et al. | The model-based human body motion analysis system | |
| CN113298047B (zh) | 基于时空关联图像的3d形态和姿态估计方法和装置 | |
| CN117671738B (zh) | 基于人工智能的人体姿态识别*** | |
| CN115346272A (zh) | 基于深度图像序列的实时摔倒检测方法 | |
| CN111178201A (zh) | 基于OpenPose姿态检测的人体分段式跟踪方法 | |
| CN113256789B (zh) | 一种三维实时人体姿态重建方法 | |
| CN113205043A (zh) | 一种基于强化学习的视频序列二维姿态估计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220128 Address after: 311121 Room 408, building 2, No. 88, Longyuan Road, Cangqian street, Yuhang District, Hangzhou City, Zhejiang Province Applicant after: Guangche Technology (Hangzhou) Co.,Ltd. Address before: Room 303-5, block B, building 1, 268 Shiniu Road, nanmingshan street, Liandu District, Lishui City, Zhejiang Province 323000 Applicant before: Zhejiang Guangpo Intelligent Technology Co.,Ltd. |