CN112800905A - 一种基于rgbd相机姿态估计的引体向上计数方法 - Google Patents
一种基于rgbd相机姿态估计的引体向上计数方法 Download PDFInfo
- Publication number
- CN112800905A CN112800905A CN202110067884.2A CN202110067884A CN112800905A CN 112800905 A CN112800905 A CN 112800905A CN 202110067884 A CN202110067884 A CN 202110067884A CN 112800905 A CN112800905 A CN 112800905A
- Authority
- CN
- China
- Prior art keywords
- rgb
- depth
- key points
- depth images
- counting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000010586 diagram Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 8
- 230000009471 action Effects 0.000 claims abstract description 5
- 230000004927 fusion Effects 0.000 claims abstract description 5
- 230000008859 change Effects 0.000 claims description 29
- 210000003128 head Anatomy 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 15
- 210000000707 wrist Anatomy 0.000 claims description 13
- 210000001331 nose Anatomy 0.000 claims description 8
- 210000001508 eye Anatomy 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000005452 bending Methods 0.000 claims description 6
- 210000005069 ears Anatomy 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 230000001537 neural effect Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 abstract description 7
- 238000004364 calculation method Methods 0.000 abstract description 3
- 230000000875 corresponding effect Effects 0.000 description 10
- 210000003414 extremity Anatomy 0.000 description 5
- 210000000988 bone and bone Anatomy 0.000 description 4
- 210000003423 ankle Anatomy 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 210000001364 upper extremity Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于RGBD相机姿态估计的引体向上计数方法,采集RGB和Depth图像,并对RGB和Depth图像进行处理得到抑制掉大部分背景信息的图像;将处理后的RGB和Depth图像输入至mobi le net系列网络结构模型中进行有效的融合,输出关键点置信度图和部分亲和场图;通过积分函数评估两个关键点之间的相关性,将各人的关节点进行连接,得到图像中所有人的姿态骨架图;根据姿态骨架图中骨骼关键点的信息提取引体向上运动参数;根据运动参数判断是否进行引体向上动作,如果是,则进行引体向上计数。本发明能够适应各种运动场景,通过Depth信息分割掉背景信息,计数机制更加鲁棒,计数更加精确,同时提升了计算的效率。
Description
技术领域
本发明涉及一种人体向上计数方法,特别涉及一种基于RGBD相机姿态估计的引体向上计数方法。
背景技术
引体向上要求有一定的握力和上肢力量,这个力量必须克服自身的体重才能完成一次,引体向上对发展上肢悬垂力量、肩带力量和握力有重要作用,因此,引体向上是健身和锻炼最为常见的项目之一,为了科学有效的健身与锻炼,在做引体向上项目时,需要对引体向上进行有效的计数。
目前引体向上计数的方法有人工计数,这种计数方法依靠计数人员的主观判断,在模棱两可的情况下容易出错,另外也浪费人力;
中国发明专利授权公告号CN105879358B,授权公告日2018年08月28日,专利名称《引体向上成绩测试仪》,该方法采用拉线式位移传感器,这种方法要求被测者穿戴相应的设备,给被测者带来不便,另外需要装置上下杠感知单元,设计较为复杂;
中国发明专利公开号CN 107122798A,公开日2017年09月01日,专利名称《基于深度卷积网络的引体向上计数检测方法及装置》,该方法公开了一种利用深度学习进行引体向上的计数,该方法存在两方面的问题,一是,采集的数据比较多,需要采集大量的鼻子过杆,头部过杆但鼻子未过杆等数据,需要对数据进行标注,需要投入大量的人力物力,二是,对模棱两可的情况不能很好的处理。
中国发明专利公开号CN 111282248A,公开日2020年06月16日,专利名称《一种基于骨骼和人脸关键点的引体向上检测***及方法》,该方法通过采用单帧大臂和小臂之间的夹角来计数,该方法存在两个问题:一是,当有某个关键点检测失败之后,这些计数机制则失败,造成计数误差。二是,当RGB图像出现多人时,会检测出所有人的关键点信息,多人关键点信息会相互影响,造成计数不精确;同时检测多人的关键点信息也会带来一定的时延。
所以有必要提出一种新的方案,基于RGBD相机姿态估计的引体向上计数方法,该方法通过获取RGB和Depth图像,并对RGB和Depth图像进行处理,将处理后的RGB和Depth图像输入至网络模型中获得图像中所有人的姿态骨架图,根据姿态骨架图设计引体向上相应的动作逻辑机制,进行引体向上计数的方案。
发明内容
针对目前引体向上计数出现的问题,本发明提供了一种基于RGBD相机姿态估计的引体向上计数方法,结合RGBD图像的互补特性进行网络结构的设计,使得网络能够自适应的融合RGB和Depth图像的特征,网络同时回归人体骨骼关键点和进行关键点的关联,得到人体姿态骨架图,然后对检测的关键点进行逻辑判断和对比,设计引体向上逻辑和动作,并进行引体向上计数。
根据本发明的目的提供了一种基于RGBD相机姿态估计的引体向上计数方法,包括以下步骤:
S1:采集RGB和Depth图像,并对RGB和Depth图像进行处理得到抑制掉大部分背景信息的图像;
S2:将处理后的RGB和Depth图像输入至mobile net系列网络结构模型中进行有效的融合,输出关键点置信度图和部分亲和场图;通过积分函数评估两个关键点之间的相关性,将各人的关节点进行连接,得到图像中所有人的姿态骨架图;
S3:根据姿态骨架图中骨骼关键点的信息提取引体向上运动参数;
S4:根据运动参数判断是否进行引体向上动作,如果是,则进行引体向上计数。
优选的,步骤S1中对RGB和Depth图像进行处理的步骤包括,
S11:利用具有时空一致性的RGBD相机,采集RGB和Depth图像,分别对RGB和Depth图像做背景分割;
具体令RGB图像某像素点坐标为XR(i,j),对应的深度图像素点坐标为XD(i,j),根据深度图的分辨率生成一个掩码图,该掩码图对应像素点坐标为XM(i,j),根据场景复杂度设计一个可控阀值δ,如将人物活动的范围作为阀值标准,对掩码图进行二值化操作优化;
S12:将优化后的掩码图分别与RGB和Depth图像进行点乘,抑制掉RGB和Depth图像中大部分的背景信息。
优选的,步骤S2中得到所有人的姿态骨架图的步骤包括,
S21:将处理后的RGB和depth图像通过mask之后,分别通过两个分支的网络得到RGB_f和Depth_f;同时学习一个1x2的权重向量[WD,WR],分别表示RGB和Depth模态的权重,将模态权重[WD,WR]分别与RGB_f和Depth_f相乘,然后进行RGB和Depth特征图的融合,得到融合后的特征;
S22:将融合后的特征输入到stage1网络结构中,每个stage的输出有两个分支,两个分支分别输出关键点置信图和关键点的亲和场,stage n的输入为stage n-1的输出;
S23:得到亲和场和关键点的位置后,通过积分函数评价两关键点的相关性;
S24:利用匈牙利算法求得相邻关键点的最优匹配,得到图像中所有人的姿态骨架图。
优选的,所述mobile net系列网络结构模型中每个阶段的网络结构均采用3×3和1×1的卷积层,并使用空洞卷积增加网络的感受野。
优选的,通过最大化操作得到真值置信图,在测试时,通过最大化操作得到关键点的位置,并利用非极大值抑制排除冗余关键点。
优选的,每个阶段分支上在输出时都添加有损失函数,所述损失函数均用L2范数进行约束。
优选的,所述mobile net系列网络结构模型用NAS(Neural ArchitectureSearch)搜索的方法来权衡网络的精度和速度。
优选的,步骤S3中步骤中所述引体向上运动参数包括:头部位置变化特征、手臂位置变化特征;所述头部位置变化特征指的是在运动的过程中头部高度变化情况,通过鼻子、耳朵、眼睛的三个关键点位置变化来估算;
所述手臂变化特征指在做引体向上过程中,手臂弯曲变化情况,通过手腕、手肘以及肩膀三个关键点位置变化来估算。
优选的,所述手臂弯曲变化情况通过判断手腕到肩膀的连线长度是否大于0.9倍的手肘到手腕和手肘到肩膀的长度之和。
本发明的有益效果是:
1.本发明不依靠计数人员的主观判断,避免了在模棱两可的情况下容易出错,同时节省了人力。
2.本发明不需要复杂的装置,只需要一款RGBD相机即可,价格低廉。
3.本发明利用Depth信息分割掉背景信息,使得深度值达到最优,充分发挥RGBD的互补特性,结合RGBD多模态的输入,设计鲁棒的深度学习算法进行人体关键点的估计,并进行网络模型的压缩;使其能够在边缘设备达到实时的效果,根据运动属性设计相应的动作逻辑机制,进行引体向上计数;本发明能够适应各种运动场景,通过Depth信息分割掉背景信息,计数机制更加鲁棒,计数更加精确,同时提升了计算的效率。
4.在设计引体向上相应的动作逻辑时,通过多个关键点的位置综合评估,避免了因为某一个关键点采集不到,计数机制失效。
附图说明
图1是本发明计数方法流程图;
图2是本发明mobile net系列网络结构模型流程图;
图3是本发明mobile net系列网络结构模型每个阶段的网络结构;
图4是本发明人体骨骼关键点图;
图5是引体向上开始计数的状态或者下一个计数的开始状态;
图6是引体向上开始计数加1状态;
对图4中附图说明:0:鼻子;1:脖子;2:右肩;3:右肘4:右腕;5:左肩;6:左肘;7:左腕;8:右髋;9:右膝;10:右踝;11:左髋;12:左膝;13:左踝;14:右眼;15:左眼;16:右耳;17:左耳;
具体实施方式
以下将结合附图所示的具体实施方式对本发明进行详细描述,但这些实施方式并不限制本发明,本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
如图1所示,本发明公开的一种基于RGBD相机姿态估计的引体向上计数方法,包括以下步骤:
S1:采集RGB和Depth图像,并对RGB和Depth图像进行处理得到抑制掉大部分背景信息的图像;
有一种具体实施例,步骤S1中对RGB和Depth图像进行处理的步骤包括,
S11:利用具有时空一致性的RGBD相机,采集RGB和Depth图像,分别对RGB和Depth图像做背景分割;
具体令RGB图像某像素点坐标为XR(i,j),对应的深度图像素点坐标为XD(i,j),根据深度图的分辨率生成一个掩码图,该掩码图对应像素点坐标为XM(i,j),根据场景复杂度设计一个可控阀值δ,如将人物活动的范围作为阀值标准,对掩码图进行二值化操作优化;其公式如下:
S12:将优化后的掩码图分别与RGB和Depth图像进行点乘,抑制掉RGB和Depth图像中大部分的背景信息,其公式如下:
XR(i,j)=XM(i,j)·XR(i,j) (2)
XD(i,j)=XM(i,j)·XD(i,j) (3)
S2:将处理后的RGB和Depth图像输入至mobile net系列网络结构模型中进行有效的融合,输出关键点置信度图和部分亲和场图;通过积分函数评估两个关键点之间的相关性,将各人的关节点进行连接,得到图像中所有人的姿态骨架图;
如图2所示,有一具体的实施例,步骤S2中得到所有人的姿态骨架图的步骤包括,
S21:将处理后的RGB和depth图像通过mask之后,分别通过两个分支的网络得到RGB_f和Depth_f;同时学习一个1x2的权重向量[WD,WR],分别表示RGB和Depth模态的权重,将模态权重[WD,WR]分别与RGB_f和Depth_f相乘,然后进行RGB和Depth特征图的融合,得到融合后的特征;
S22:将融合后的特征输入到stage1网络结构中,每个stage的输出有两个分支,两个分支分别输出关键点置信图S1=ρ1(F)和关键点的亲和场stage n的输入为stage n-1的输出;两个分支都是一轮迭代的预测体系结构,具体迭代公式如下:
S23:得到亲和场和关键点的位置后,通过积分函数评价两关键点的相关性;
S24:利用匈牙利算法求得相邻关键点的最优匹配,得到图像中所有人的姿态骨架图。
有一种优选方案,如图3所示,所述mobile net系列网络结构模型中每个阶段的网络结构采用3×3和1×1的卷积层,并使用空洞卷积增加网络的感受野。
有一种优选方案,在训练的时候需要分别对关节点位置和亲和区域进行监督,所述损失函数均用L2范数进行约束。为了避免梯度消失现象发生,在每个阶段的每分支输出都添加损失函数,起到中继监督作用。
每支的损失函数如下:
的方式为:
其中Xj,k为个人k,关键点j的真值的位置,σ为控制峰值范围的系数。通过最大化操作得到真值的置信图:
在测试时,通过最大化操作得到关键点的位置,并利用非极大值抑制排除冗余关键点。
对于个人k的第c个肢干上的部分亲和场定义为:
其中v=(xj2,k-xj1,k)/||xj2,k-xj1,k||2,xj,k表示个人k的第j个关键点位置,像素P是否落在肢干上的判断为:
0≤v·(p-xj1,k)≤lc,k&&|v⊥·(p-xj1,k)|≤σl
其中,lc,k和σl表示肢干的长度和宽度,最后对所有人相同类别的肢干进行平均,使得亲和场的输出通道与肢干种类数相等:
在得到亲和场和关键点的位置dj之后,通过以下积分函数评估两个关键点的相关性:
其中p(u)=(1-u)dj1+udj2在得到关键点以及相关性的边权之后,计算姿态骨骼就转换成了一个图问题。
利用匈牙利算法求得相邻关键点的最优匹配,从而得到图像中所有人的姿态骨架图。
有一优选方案,mobile net系列网络结构模型用NAS(Neural ArchitectureSearch)搜索的方法来权衡网络的精度和速度。
S3:根据姿态骨架图中骨骼关键点的信息提取引体向上运动参数;
如图4所示,人体骨骼关键点的相应位置;有一优选方案,步骤S3中步骤中所述引体向上运动参数包括:头部位置变化特征、手臂位置变化特征;所述头部位置变化特征指的是在运动的过程中头部高度变化情况,通过鼻子、耳朵、眼睛的三个关键点位置变化来估算;
具体的,头部位置的高度变化主要通过鼻子、耳朵、眼睛的位置变化综合考虑得出,头部的整体移动情况的定义如下:
yhead=α·years+β·yeyes+γ·ynose
(11)
其中,yhead表示此时头部所在的高度,years、yeyes、ynose代表耳朵、眼睛、鼻子所在高度,α、β、γ代表对应的权重。
手臂变化特征指在做引体向上过程中,手臂弯曲变化情况,通过手腕、手肘以及肩膀三个关键点位置变化来估算;
更为具体的,手臂弯曲变化情况通过判断手腕到肩膀的连线长度是否大于0.9倍的手肘到手腕和手肘到肩膀的长度之和。
具体公式如下:
其中,xwrist、xelbow、xshoulder分别表示手腕、手肘、肩膀的横坐标,ywrist、yelbow、yshoulder分别表示手腕、手肘、肩膀的纵坐标。
S4:根据运动参数判断是否进行引体向上动作,如果是,则进行引体向上计数。
具体的计数过程如下:
1)当手臂处于伸直状态且头部位置变化|yhead-y0|>ε,时,表示身体处于悬垂在单杠上;如图5所示,引体向上开始计数的状态或者下一个计数的开始状态;
2)当手臂处于弯曲状态且头部位置变化|yhead-y0|≤ε时,表示头部过单杠;
3)当出现步骤1)到步骤2)的情况时,将计数加1,如图6所示;当出现步骤2)到步骤1)时表示进入下个计数的开始状态;如此的循环计数。
其中,y0表示引体向上杆的高度,ε表示某一距离阀值;
需要说明的是,RGB图像受光线,背景嘈杂以及运动遮挡等挑战影响较大,但是RGB具有丰富的纹理特性。Depth图像具有目标的轮廓信息,能够区分有距离差异的目标,且对光线变化不是很敏感,但是Depth图像缺乏目标的纹理特征。
本发明基于RGBD相机姿态估计的引体向上计数方法,通过自研的RGBD相机获得RGB图像以及Depth图像,并对RGB图像以及Depth图像处理后输入至网络模型进行RGBD特征的有效融合,有效减轻人体姿态估计中各个挑战因素对算法性能的影响,得到所有人的姿态骨架图,得到人体姿态骨架图后,根据运动员骨骼关节点信息提取引体向上运动参数,并进行引体向上计数。本发明能够适应各种运动场景,通过Depth信息分割掉背景信息,计数机制更加鲁棒,计数更加精确,同时提升了计算的效率。
尽管为示例目的,已经公开了本发明的优选实施方式,但是本领域的普通技术人员将意识到,在不脱离由所附的权利要求书公开的本发明的范围和精神前提下,各种改进、增加以及取代是可能的。
Claims (9)
1.一种基于RGBD相机姿态估计的引体向上计数方法,其特征在于,包括以下步骤:
S1:采集RGB和Depth图像,并对RGB和Depth图像进行处理得到抑制掉大部分背景信息的图像;
S2:将处理后的RGB和Depth图像输入至mobile net系列网络结构模型中进行有效的融合,输出关键点置信度图和部分亲和场图;通过积分函数评估两个关键点之间的相关性,将各人的关节点进行连接,得到图像中所有人的姿态骨架图;
S3:根据姿态骨架图中骨骼关键点的信息提取引体向上运动参数;
S4:根据运动参数判断是否进行引体向上动作,如果是,则进行引体向上计数。
2.根据权利要求1所述的一种基于RGBD相机姿态估计的引体向上计数方法,其特征在于:步骤S1中对RGB和Depth图像进行处理的步骤包括,
S11:利用具有时空一致性的RGBD相机,采集RGB和Depth图像,分别对RGB和Depth图像做背景分割;
具体令RGB图像某像素点坐标为XR(i,j),对应的深度图像素点坐标为XD(i,j),根据深度图的分辨率生成一个掩码图,该掩码图对应像素点坐标为XM(i,j),根据场景复杂度设计一个可控阀值δ,如将人物活动的范围作为阀值标准,对掩码图进行二值化操作优化;
S12:将优化后的掩码图分别与RGB和Depth图像进行点乘,抑制掉RGB和Depth图像中大部分的背景信息。
3.根据权利要求1所述的一种基于RGBD相机姿态估计的引体向上计数方法,其特征在于:步骤S2中得到所有人的姿态骨架图的步骤包括,
S21:将处理后的RGB和depth图像通过mask之后,分别通过两个分支的网络得到RGB_f和Depth_f;同时学习一个1x2的权重向量[WD,WR],分别表示RGB和Depth模态的权重,将模态权重[WD,WR]分别与RGB_f和Depth_f相乘,然后进行RGB和Depth特征图的融合,得到融合后的特征;
S22:将融合后的特征输入到stage1网络结构中,每个stage的输出有两个分支,两个分支分别输出关键点置信图和关键点的亲和场,stage n的输入为stage n-1的输出;
S23:得到亲和场和关键点的位置后,通过积分函数评价两关键点的相关性;
S24:利用匈牙利算法求得相邻关键点的最优匹配,得到图像中所有人的姿态骨架图。
4.根据权利要求3所述的一种基于RGBD相机姿态估计的引体向上计数方法,其特征在于:所述mobile net系列网络结构模型中每个阶段均采用3×3和1×1的卷积层,并使用空洞卷积增加网络的感受野。
5.根据权利要求3所述的一种基于RGBD相机姿态估计的引体向上计数方法,其特征在于:通过最大化操作得到真值置信图,在测试时,通过最大化操作得到关键点的位置,并利用非极大值抑制排除冗余关键点。
6.根据权利要求3所述的一种基于RGBD相机姿态估计的引体向上计数方法,其特征在于:每个阶段分支上在输出时都添加有损失函数,所述损失函数均用L2范数进行约束。
7.根据权利要求3所述的一种基于RGBD相机姿态估计的引体向上计数方法,其特征在于:所述mobile net系列网络结构模型用NAS(Neural Architecture Search)搜索的方法来权衡网络的精度和速度。
8.根据权利要求1所述的一种基于RGBD相机姿态估计的引体向上计数方法,其特征在于:步骤S3中步骤中所述引体向上运动参数包括:头部位置变化特征、手臂位置变化特征;所述头部位置变化特征指的是在运动的过程中头部高度变化情况,通过鼻子、耳朵、眼睛的三个关键点位置变化来估算;
所述手臂变化特征指在做引体向上过程中,手臂弯曲变化情况,通过手腕、手肘以及肩膀三个关键点位置变化来估算。
9.根据权利要求8所述的一种基于RGBD相机姿态估计的引体向上计数方法,其特征在于:所述手臂弯曲变化情况通过判断手腕到肩膀的连线长度是否大于0.9倍的手肘到手腕和手肘到肩膀的长度之和。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110067884.2A CN112800905A (zh) | 2021-01-19 | 2021-01-19 | 一种基于rgbd相机姿态估计的引体向上计数方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110067884.2A CN112800905A (zh) | 2021-01-19 | 2021-01-19 | 一种基于rgbd相机姿态估计的引体向上计数方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112800905A true CN112800905A (zh) | 2021-05-14 |
Family
ID=75810383
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110067884.2A Pending CN112800905A (zh) | 2021-01-19 | 2021-01-19 | 一种基于rgbd相机姿态估计的引体向上计数方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112800905A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113111857A (zh) * | 2021-05-10 | 2021-07-13 | 金华高等研究院 | 基于多模态信息融合的人体姿态估计方法 |
CN113255624A (zh) * | 2021-07-14 | 2021-08-13 | 北京壹体科技有限公司 | 一种智能识别引体向上动作姿态完成状况的***和方法 |
CN113313743A (zh) * | 2021-06-01 | 2021-08-27 | 杭州先奥科技有限公司 | 一种基于rgb-d传感器的深度信息优化方法 |
CN113856186A (zh) * | 2021-09-02 | 2021-12-31 | 中国人民解放军陆军工程大学 | 一种引体向上动作判定与计数的方法、***及装置 |
CN114091601A (zh) * | 2021-11-18 | 2022-02-25 | 业成科技(成都)有限公司 | 人员状况侦测的传感器融合方法 |
CN115138059A (zh) * | 2022-09-06 | 2022-10-04 | 南京市觉醒智能装备有限公司 | 一种引体向上的规范计数方法、***及其存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102088333B1 (ko) * | 2019-08-20 | 2020-03-13 | 주식회사 마이베네핏 | 혼합 현실 기반 운동 장치를 이용한 팀 트레이닝 시스템 |
CN111167107A (zh) * | 2020-03-19 | 2020-05-19 | 中国人民解放军国防科技大学 | 基于人脸识别和人体姿态估计的引体向上测试*** |
CN111282248A (zh) * | 2020-05-12 | 2020-06-16 | 西南交通大学 | 一种基于骨骼和人脸关键点的引体向上检测***及方法 |
CN111368791A (zh) * | 2020-03-18 | 2020-07-03 | 南通大学 | 基于Quick-OpenPose模型的引体向上测试计数方法及*** |
CN111597976A (zh) * | 2020-05-14 | 2020-08-28 | 杭州相芯科技有限公司 | 一种基于rgbd相机的多人三维姿态估计方法 |
-
2021
- 2021-01-19 CN CN202110067884.2A patent/CN112800905A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102088333B1 (ko) * | 2019-08-20 | 2020-03-13 | 주식회사 마이베네핏 | 혼합 현실 기반 운동 장치를 이용한 팀 트레이닝 시스템 |
CN111368791A (zh) * | 2020-03-18 | 2020-07-03 | 南通大学 | 基于Quick-OpenPose模型的引体向上测试计数方法及*** |
CN111167107A (zh) * | 2020-03-19 | 2020-05-19 | 中国人民解放军国防科技大学 | 基于人脸识别和人体姿态估计的引体向上测试*** |
CN111282248A (zh) * | 2020-05-12 | 2020-06-16 | 西南交通大学 | 一种基于骨骼和人脸关键点的引体向上检测***及方法 |
CN111597976A (zh) * | 2020-05-14 | 2020-08-28 | 杭州相芯科技有限公司 | 一种基于rgbd相机的多人三维姿态估计方法 |
Non-Patent Citations (1)
Title |
---|
ZHE CAO ET AL: "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", pages 2 - 7, Retrieved from the Internet <URL:https://arxiv.org/abs/1611.08050> * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113111857A (zh) * | 2021-05-10 | 2021-07-13 | 金华高等研究院 | 基于多模态信息融合的人体姿态估计方法 |
CN113313743A (zh) * | 2021-06-01 | 2021-08-27 | 杭州先奥科技有限公司 | 一种基于rgb-d传感器的深度信息优化方法 |
CN113313743B (zh) * | 2021-06-01 | 2022-05-10 | 杭州先奥科技有限公司 | 一种基于rgb-d传感器的深度信息优化方法 |
CN113255624A (zh) * | 2021-07-14 | 2021-08-13 | 北京壹体科技有限公司 | 一种智能识别引体向上动作姿态完成状况的***和方法 |
CN113255624B (zh) * | 2021-07-14 | 2021-09-21 | 北京壹体科技有限公司 | 一种智能识别引体向上动作姿态完成状况的***和方法 |
CN113856186A (zh) * | 2021-09-02 | 2021-12-31 | 中国人民解放军陆军工程大学 | 一种引体向上动作判定与计数的方法、***及装置 |
CN113856186B (zh) * | 2021-09-02 | 2022-08-09 | 中国人民解放军陆军工程大学 | 一种引体向上动作判定与计数的方法、***及装置 |
CN114091601A (zh) * | 2021-11-18 | 2022-02-25 | 业成科技(成都)有限公司 | 人员状况侦测的传感器融合方法 |
CN114091601B (zh) * | 2021-11-18 | 2023-05-05 | 业成科技(成都)有限公司 | 人员状况侦测的传感器融合方法 |
CN115138059A (zh) * | 2022-09-06 | 2022-10-04 | 南京市觉醒智能装备有限公司 | 一种引体向上的规范计数方法、***及其存储介质 |
CN115138059B (zh) * | 2022-09-06 | 2022-12-02 | 南京市觉醒智能装备有限公司 | 一种引体向上的规范计数方法、***及其存储介质 |
WO2024051597A1 (zh) * | 2022-09-06 | 2024-03-14 | 南京市觉醒智能装备有限公司 | 一种引体向上的规范计数方法、***及其存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112800905A (zh) | 一种基于rgbd相机姿态估计的引体向上计数方法 | |
CN110222665B (zh) | 一种基于深度学习和姿态估计的监控中人体动作识别方法 | |
CN111274954B (zh) | 基于改进姿态估计算法的嵌入式平台实时跌倒检测方法 | |
CN109522850B (zh) | 一种基于小样本学习的动作相似度评估方法 | |
Chaudhari et al. | Yog-guru: Real-time yoga pose correction system using deep learning methods | |
CN110991340B (zh) | 一种基于图像压缩的人体动作分析方法 | |
CN109685037B (zh) | 一种实时动作识别方法、装置及电子设备 | |
CN110490109B (zh) | 一种基于单目视觉的在线人体康复动作识别方法 | |
CN110956139B (zh) | 一种基于时间序列回归预测的人体运动动作分析方法 | |
KR20130013122A (ko) | 객체 자세 검색 장치 및 방법 | |
CN116012950B (zh) | 一种基于多重心时空注意图卷积网络的骨架动作识别方法 | |
CN106600626A (zh) | 三维人体运动捕获方法与*** | |
CN111639602B (zh) | 一种行人遮挡及朝向检测方法 | |
CN109255783B (zh) | 一种多人图像上的人体骨骼关键点的位置排布检测方法 | |
CN112084878B (zh) | 一种用于判别作业人员姿态规范程度的方法 | |
Singh et al. | Human pose estimation using convolutional neural networks | |
US20220207921A1 (en) | Motion recognition method, storage medium, and information processing device | |
CN111914643A (zh) | 一种基于骨骼关键点检测的人体动作识别方法 | |
Chang et al. | The model-based human body motion analysis system | |
CN113298047B (zh) | 基于时空关联图像的3d形态和姿态估计方法和装置 | |
CN117671738B (zh) | 基于人工智能的人体姿态识别*** | |
CN115346272A (zh) | 基于深度图像序列的实时摔倒检测方法 | |
CN111178201A (zh) | 基于OpenPose姿态检测的人体分段式跟踪方法 | |
CN113256789B (zh) | 一种三维实时人体姿态重建方法 | |
CN113205043A (zh) | 一种基于强化学习的视频序列二维姿态估计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220128 Address after: 311121 Room 408, building 2, No. 88, Longyuan Road, Cangqian street, Yuhang District, Hangzhou City, Zhejiang Province Applicant after: Guangche Technology (Hangzhou) Co.,Ltd. Address before: Room 303-5, block B, building 1, 268 Shiniu Road, nanmingshan street, Liandu District, Lishui City, Zhejiang Province 323000 Applicant before: Zhejiang Guangpo Intelligent Technology Co.,Ltd. |