CN111754571A - 一种姿态识别方法、装置及其存储介质 - Google Patents
一种姿态识别方法、装置及其存储介质 Download PDFInfo
- Publication number
- CN111754571A CN111754571A CN201910241867.9A CN201910241867A CN111754571A CN 111754571 A CN111754571 A CN 111754571A CN 201910241867 A CN201910241867 A CN 201910241867A CN 111754571 A CN111754571 A CN 111754571A
- Authority
- CN
- China
- Prior art keywords
- key point
- coordinate
- target object
- key
- point coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000036544 posture Effects 0.000 claims abstract description 68
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 230000002123 temporal effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 15
- 210000004247 hand Anatomy 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 241000167926 Entoprocta Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种姿态识别方法、装置及其存储介质,该方法包括:获取具有目标对象影像的图像;按预先设定检测图像中所述目标对象的关键点,其中,所述关键点为根据目标对象结构设定的多个结构节点;根据所述关键点在图像中的位置生成关键点坐标;对所述关键点坐标按照目标对象不同姿态对应的预设坐标条件进行识别,得到目标对象对应的姿态识别结果。本申请通过多个关键点之间的位置关系相互佐证,可以准确识别出在有其他影像干扰时目标对象的姿态,解决了现有技术在识别姿态过程中,受到图像中其他影像的干扰,使姿态识别产生误识别的技术问题。
Description
技术领域
本发明涉及计算机技术领域,尤其是指一种姿态识别方法、装置及其存储介质。
背景技术
目前,基于图像的姿态识别应用广泛,尤其在人机交互中已经被大量使用。例如,体感游戏利用玩家的身体姿态控制游戏人物。通过手势的姿态控制电视换台。商店内广告牌可以通过客户手势的姿态对广告牌进行控制,比如利用客户的手势进行商品介绍页面的翻页、商品选择、查看详情介绍,以及控制视频的播放。
在姿态识别的过程中,姿态识别判断的错误率很高,因为会受到图像中其他影像的干扰。比如,在商店人流密集的场所,可能会获取多个人手的具***置,造成误识别。特别是在同一帧的图像中出现两只手时,则无法对手势进行识别,甚至图像中出现同一个人的左手和右手,都有可能出现误识别。发明人发现现有技术中至少存在如下问题,现有技术在识别姿态过程中,受到图像中其他影像的干扰,使姿态识别产生误识别。
发明内容
本发明的实施例提供了一种姿态识别方法,该方法包括:
获取具有目标对象影像的图像;
按预先设定检测图像中所述目标对象的关键点,其中,所述关键点为根据目标对象结构设定的多个结构节点;
根据所述关键点在图像中的位置生成关键点坐标;
对所述关键点坐标按照目标对象不同姿态对应的预设坐标条件进行识别,得到目标对象对应的姿态识别结果。
可选地,所述获取具有目标对象影像的图像为从具有目标对象的视频流中获取多幅具有目标对象影像的图像。
可选地,所述根据所述关键点在图像中的位置得到关键点坐标与所述对所述关键点坐标按照目标对象不同姿态对应的预设坐标条件进行识别,得到目标对象对应的姿态识别结果步骤之间,该方法还包括:
将在不同图像中目标关键点对应的关键点坐标按时间顺序进行排列,得到关键点坐标序列,其中,所述目标关键点为对其坐标进行识别的关键点;
判断所述关键点坐标序列是否满足预定排列要求,当满足预定排列要求时,执行对所述关键点坐标按照目标对象不同姿态对应的预设坐标条件进行识别的步骤。
可选地,当所述判断所述关键点坐标序列未满足预定排列要求时,该方法还包括:
返回执行将在不同图像中目标关键点对应的关键点坐标按时间顺序进行排列的步骤。
可选地,所述对所述关键点坐标按照目标对象不同姿态对应的预设条件进行识别,得到目标对象的姿态识别结果包括:
从所述关键点坐标序列中选取目标关键点的第一关键点坐标和第二关键点坐标;
确定所述第一关键点坐标和第二关键点坐标在所述关键点坐标序列中出现的时间顺序;
根据所述第一关键点坐标和第二关键点坐标出现的时间顺序和坐标值按目标对象不同姿态对应的预设坐标条件进行识别,得到目标对象的姿态识别结果。
可选地,所述对所述关键点坐标按照目标对象不同姿态对应的预设条件进行识别,得到目标对象对应的姿态识别结果包括:
从所述关键点坐标序列中选取第三关键点坐标和第四关键点坐标;
选取第三关键点坐标和第四关键点坐标中表示同一维度方向上的对应第一坐标值和第二坐标值;
确定所述第一坐标值和所述第二坐标值在所述关键点坐标序列中出现的时间顺序;
根据所述第一坐标值和第二坐标值出现的时间顺序和坐标值按目标对象不同姿态对应的预设坐标条件进行识别,得到目标对象的姿态识别结果。
本申请还提供了一种姿态识别装置,其特征在于,该装置包括:
获取模块,用于获取具有目标对象影像的图像;
检测模块,用于按预先设定检测图像中所述目标对象的关键点,其中,所述关键点为根据目标对象结构设定的多个结构节点;
生成模块,用于根据所述关键点在图像中的位置生成关键点坐标;
识别模块,用于对所述关键点坐标按照目标对象不同姿态对应的预设坐标条件进行识别,得到目标对象对应的姿态识别结果。
可选地,所述获取具有目标对象影像的图像为从具有目标对象的视频流中获取多幅具有目标对象影像的图像。
可选地,该装置还包括:
排列模块,用于将在不同图像中目标关键点对应的关键点坐标按时间顺序进行排列,得到关键点坐标序列,其中,所述目标关键点为对其坐标进行识别的关键点;
判断模块,用于判断所述关键点坐标序列是否满足预定排列要求,当满足预定排列要求时,执行对所述关键点坐标按照目标对象不同姿态对应的预设坐标条件进行识别的步骤。
可选地,该装置包括:
所述判断模块,还用于当所述判断所述关键点坐标序列未满足预定排列要求时,返回执行将在不同图像中目标关键点对应的关键点坐标按时间顺序进行排列的步骤。
可选地,该装置包括:
第一选取模块,用于从所述关键点坐标序列中选取目标关键点的第一关键点坐标和第二关键点坐标;
第一确定模块,用于确定所述第一关键点坐标和第二关键点坐标在所述关键点坐标序列中出现的时间顺序;
所述识别模块,还用于根据所述第一关键点坐标和第二关键点坐标出现的时间顺序和坐标值按目标对象不同姿态对应的预设坐标条件进行识别,得到目标对象的姿态识别结果。
本申请还提供了一种姿态识别装置,所述装置包括:处理器和存储器;
所述存储器中存储有可被所述处理器执行的应用程序,用于使得所述处理器执行所述的姿态识别方法的步骤。
本申请还提供了一种计算机可读存储介质,其上存储有计算机程序该程序被处理器执行时实现所述的姿态识别方法的步骤。
如上可见,基于上述实施例,通过多个关键点之间的位置关系相互佐证,可以准确识别出在有其他影像干扰时目标对象的姿态,解决了现有技术在识别姿态过程中,受到图像中其他影像的干扰,使姿态识别产生误识别的技术问题。。
附图说明
图1为一些实施例中姿态识别方法的应用场景示意图;
图2为一个实施例中任务的姿态识别方法的流程示意图;
图3为另一个实施例中任务的姿态识别方法的流程示意图;
图4为另一个实施例中任务的姿态识别方法的流程示意图;
图5为另一个实施例中任务的姿态识别方法的流程示意图;
图6为另一个实施例中任务的姿态识别方法的流程示意图;
图7为一个实施例中目标对象的第一状态关键点排列示意图;
图8为图7中目标对象的第二状态关键点排列示意图。
图9为一个实施例中姿态识别装置的架构示意图;
图10为另一个实施例中姿态识别装置的架构示意图;
图11为另一个实施例中姿态识别装置的架构示意图;
图12为另一个实施例中姿态识别装置的架构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下参照附图并举实施例,对本发明进一步详细说明。
图1为一些实施例中姿态识别方法的应用场景示意图,其中,100是用于人机交互的显示器,200是用于图像获取的图像采集装置。图1中的目标对象(即显示器100前的用户)进行挥手、点头、转身等姿态,通过图像采集装置200获取目标对象的图像或者视频流,再通过本申请的姿态识别方法,得到对应的姿态识别结果。根据姿态识别结果对显示器100中的内容进行控制。比如,显示器100中显示的图书进行翻页。需要指出的是图1中所示的场景情况只是为了更好理解本申请,并非是对本申请应用场景的具体限定。
图2为一个实施例中的姿态识别方法的流程示意图。如图2所示,在一个实施例中,本申请提供了一种姿态识别方法,该方法包括:
S101,获取具有目标对象影像的图像;
在本步骤中首先需要获取具有目标对象影像的图像,需要指出的是此处所指的图像可以是一幅图像,也可以是多幅图像,取决于识别的姿态是静态姿态,比如左手抬起,还是动态姿态,比如向一侧挥手。
另外,对于目标对象不限于人体结构,也可以推广至其他具有外部结构的情况。比如,识别飞机飞行姿态时,也可以将飞机定义为目标对象。
S102,按预先设定检测图像中所述目标对象的关键点,其中,所述关键点为根据目标对象结构设定的多个结构节点;
在本步骤中,预先在目标对象上设定关键点。比如,在手势的识别过程中可以设定头顶、颈部、左肩、右肩、左肘、右肘、左腕、右腕、左胯、右胯作为结构节点,定义为关键点。再比如,对飞机可以设定机头、机翼、机身、机尾等作为结构节点,定义为关键点。
关键点之间应当视为一个整体,多个关键点之间会相互印证,起到准确匹配目标对象关键点的目的。对于人体来说,头顶、肩、肘的关键点比较容易检测,可以根据这些关键点的位置判断例如手腕这类比较难检测的关键点,需要指出的是,上述对于关键点设定的举例只是为了更好的说明本步骤,并非对本步骤的具体限定。
S103,根据所述关键点在图像中的位置生成关键点坐标;
在本步骤中,根据关键点在图像中的位置生成关键点的坐标。其目的在于使关键点在图像中位置参数化,作为后续的识别分析基础。需要指出的是如果是多幅图像,需要在统一的坐标系下确定关键点坐标,以免造成不同图像中由于坐标系的不同导致关键点坐标出现偏差的问题。
S104,对所述关键点坐标按照目标对象不同姿态对应的预设坐标条件进行识别,得到目标对象对应的姿态识别结果。
在本步骤中,首先需要对目标对象不同姿态定义对应的姿态识别结果,根据姿态识别结果预设坐标条件。以手势姿态进行识别举例,当左手关键点的纵坐标大于人左肩关键点的纵坐标数值时,则可以定义此时的手势为抬起左手的姿态识别结果。即在识别过程中,以左手关键点的纵坐标大于人左肩关键点的纵坐标数值作为预设坐标条件进行识别,得到目标对象左手抬起的姿态识别结果。
在本实施例中,以手势姿态识别为例对其进行进一步的说明。获取目标对象(即用户)向一侧挥手动作的图像。然后以此人作为目标对象进行检测,人体的手、肘、肩、头等结构节点设定为关键点。
然后根据上述的关键点在图像中位置生成关键点坐标。然后对手关键点的坐标进行识别,预设姿态识别结果一侧挥手的预设坐标条件是手的纵坐标要低于头的纵坐标,因为此姿态可能是抬手而非挥手,手的关键点横坐标逐渐增大,此时识别为向一侧挥手的姿态识别结果。
根据上述的预设坐标条件对图像中的关键点坐标进行识别,符合上述预设坐标条件即为向一侧挥手的姿态识别结果。
综上所述,由于关键点是根据目标对象多个结构节点设定的,所以关键点之间的空间位置可以相互印证,大幅提高检测精度。即便图像中同时具有其他影像,也不会影响关键点的检测,防止了其他影像的干扰,进而提高了姿态识别的精度。
在一实施例中,所述获取具有目标对象影像的图像为从具有目标对象的视频流中获取多幅具有目标对象影像的图像。
在本实施例中,从视频流中获取的多幅图像是对获取图像方式的进一步限定,上述方式应用于对动态姿态的识别中。
图3为另一个实施例中的姿态识别方法的流程示意图。如图3所示,在一个实施例中,所述根据所述关键点在图像中的位置得到关键点坐标与所述对所述关键点坐标按照目标对象不同姿态对应的预设坐标条件进行识别,得到目标对象对应的姿态识别结果步骤之间,该方法还包括:
S201,将在不同图像中目标关键点对应的关键点坐标按时间顺序进行排列,得到关键点坐标序列,其中,所述目标关键点为对其坐标进行识别的关键点;
本步骤是将不同图像中同一关键点的关键点坐标按照时间顺序进行排列,其目的在于确定关键点坐标的时间顺序,因为在动态姿态的识别过程中,其本质是关键点坐标和时间之间的关系,需要指出的是目标关键点可以是其中的一个关键点,或者多个关键点,甚至是所有关键点。具体情况,要根据姿态识别时目标对象的预设坐标条件而定,比如向一个方向挥动手臂,则只需要对手对应的关键点进行排列,用于之后的识别。因为,挥手的姿态识别结果只需要判定手的横坐标沿一个方向移动即可。但是,比如判断手抬起的姿态识别结果则除了需要识别手的纵坐标外,还应该增加一个参照关键点,比如头部的关键点,因为此时的预设坐标条件可能需要头部的关键点纵坐标和手的关键点纵坐标相对比。
S202,判断所述关键点坐标序列是否满足预定排列要求,当满足预定排列要求时,执行对所述关键点坐标按照目标对象不同姿态对应的预设坐标条件进行识别的步骤。
本步骤中的预定排列要求可以是上面步骤中提到的时间顺序,也可以是序列的额定长度。比如手臂向一个方向摆动的姿态是具有一定时长的,也就是说手臂不可能一直向一个方向一直移动,所以过长的序列既没有现实意义,同时也不会得到正确的结果。
在本实施例中,关键点坐标序列的本质是对同一关键点在不同图像中的时间顺序进行排列,以得到同一关键点的时间顺序关系。上述的序列是一个抽象的概念,只要可以找到关键点在不同图像中的时间顺序即可。在此基础上还应当对其进行序列时间长度、时间顺序是否正确的要求进行判断,以确保关键点坐标的准确可靠。需要指出的是时间长度、时间顺序都是对排列要求的举例,并非是对预定排列要求的具体限定。
在一实施例中,当所述判断所述关键点坐标序列未满足预定排列要求时,该方法还包括:
返回执行将在不同图像中目标关键点对应的关键点坐标按时间顺序进行排列的步骤。
本实施例中,关键点坐标序列不满足预定排列要求时,那么则需要返回排列步骤对关键点坐标重新进行排列,然后会继续执行后续步骤,再次对重新排列的关键点坐标序列是否满足预定排列要求进行判断,如果重新排列的关键点坐标序列满足预定排列要求,则执行识别步骤。如此循环上述步骤,直到可以识别目标对象的姿态。
图4为另一个实施例中的姿态识别方法的流程示意图。如图4所示,在一个实施例中,所述对所述关键点坐标按照目标对象不同姿态对应的预设条件进行识别,得到目标对象的姿态识别结果包括:
S301,从所述关键点坐标序列中选取的第一关键点坐标和第二关键点坐标;
在本步骤中,从上述的关键点序列中选取第一关键点坐标和第二关键点坐标,需要指出的是本步骤中的坐标的维度数量并没有限定,虽然图像中坐标为二维坐标,但是也可以在其垂直维度进行图像采集,获得关键点的三维坐标。
S302,确定所述第一关键点坐标和第二关键点坐标在所述关键点坐标序列中出现的时间顺序;
在本步骤中,需要确定第一关键点坐标和第二关键点坐标的时间关系,因为动态的姿态识别的主要两个关键因素即时间和关键点坐标。
S303,根据所述第一关键点坐标和第二关键点坐标出现的时间顺序和坐标值按目标对象不同姿态对应的预设坐标条件进行识别,得到目标对象的姿态识别结果。
在本步骤中,由于第一关键点坐标和第二关键点坐标是同一个关键点的坐标,再通过两者之间的时间关系,则可以表示出在此时间间隔中关键点的运动姿态。
在本实施例中,提出了一种具体的选取关键点坐标和对其进行动态姿态识别的方法。首选,从序列中选取两个关键点坐标,即第一关键点坐标和第二关键点坐标。然后判断其时间顺序和位置关系,最终根据对应的预定坐标条件识别其动态的姿态,得到对应的姿态识别结果。
图5为另一个实施例中的姿态识别方法的流程示意图。如图5所示,在一个实施例中,所述对所述关键点坐标按照目标对象不同姿态对应的预设条件进行识别,得到目标对象的姿态识别结果包括:
S401,从所述关键点坐标序列中选取第三关键点坐标和第四关键点坐标;
本步骤中选取第三关键点坐标和第四关键点坐标,
S402,选取第三关键点坐标和第四关键点坐标中表示同一维度方向上的对应第一坐标值和第二坐标值;
本步骤中为了简化后续的识别过程,只选取其中一个维度方向上的关键点坐标。比如,图像中使用X、Y轴来建立坐标系,关键点坐标表示为(x,y)。在本步骤中只选取X轴的坐标,第三关键点坐标和第四关键点坐标对应的X轴坐标为第一坐标值和第二坐标值。
S403,确定所述第一坐标值和所述第二坐标值在所述关键点坐标序列中出现的时间顺序;
确定关键点的第三关键点坐标和第四关键点坐标时间顺序,同时也是第一坐标值和第二坐标值的时间顺序。
S404,根据所述第一坐标值和第二坐标值出现的时间顺序和坐标值按目标对象不同姿态对应的预设坐标条件进行识别,得到目标对象的姿态识别结果。
在本步骤中,根据第一坐标值和第二坐标值的时间顺序,以及针对不同姿态对应的预设坐标条件进行识别,得到目标对象的姿态识别结果。
在本实施例中,提供一种从关键点坐标中选取其中一个维度上的坐标值,即第一坐标值和第二坐标值的姿态识别方法。首先,对第一坐标值和第二坐标值的时间顺序进行确定,最后,根据第一坐标值和第二坐标值的具体坐标值和时间顺序按照预设坐标条件进行识别,得到姿态识别结果。需要指出的是,此种方式只对其中一个维度上的有预设坐标条件的姿态识别适用。其目的在于减少数据的运算量,获取关键点坐标时可能是二维,甚至三维坐标。
基本原理与工作过程:
下面以手势姿态识别为例,对本发明的整体姿态识别过程进行进一步的说明。
图6为另一个实施例中的姿态识别方法的流程示意图。如图6所示,在一个实施例中,该方法包括:
S501,获取具有目标对象影像的图像;
此处需要说明的是获取的图像可以是一幅,也可以是多幅。图像获取幅数的具体情况取决于手势姿态识别的类型,不同类型的手势姿态对应的预设坐标条件也不相同。
比如抬手的手势姿态,可以识别头的坐标位置和手的坐标位置,将两者的坐标相互比较,进而识别出抬手的手势在台,此种情况只需要一幅图像就可以进行识别。
再比如向一侧挥手的手势姿态,一幅图像实际上无法实现向一侧挥手的手势姿态识别,需要一连串的连续多幅图像才能进行识别。对于此种情况,可以从具有目标对象的视频流中获取多幅具有目标对象影像的图像。在实际的应用中,比如挥手对电视进行换台,或者对网络页面进行翻页都属于此类动态姿态的识别。
S502,按预先设定检测图像中所述目标对象的关键点,其中,所述关键点为根据目标对象结构设定的多个结构节点;
图7为一个实施例中目标对象的第一状态关键点排列示意图,图8为图7中目标对象的第二状态关键点排列示意图。如图7、8所示,对目标对象进行关键点的设定,然后检测出图像中目标对象的关键点,比如将人的头、颈、手、肩、肘、跨的人体结构节点设定为关键点。可以采用深度学习模型检测出图像中目标对象的关键点,深度学习进行检测的方式可以更加准确。此处需要指出的是关键点应视为一个整体,因为除了每个关键点自身的位置坐标外,关键点之间的相互位置关系也非常重要,比如头比肩部要高位于肩上方,所以可以根据头的位置印证肩的位置,这样在检测时可以提高关键点检测的准确度。另外,当图像中有其他干扰图像,比如另外一个的手时,由于关键点之间的印证关系可以排除干扰,进一步提高关键点检测的准确度。
S503,根据所述关键点在图像中的位置生成关键点坐标;
将检测到的关键点根据在图像中的位置生成关键点坐标,需要指出的是如果是对于目标对象的多幅图像,则需要建立在统一的坐标系下。另外,并非所有的关键点都需要生成坐标,可以只选择预设坐标条件中设计的关键点生成对应的关键点坐标。
S504,将在不同图像中的目标关键点坐标按时间顺序进行排列,得到关键点坐标序列,其中,所述目标关键点为对其坐标进行识别的关键点;
目标关键点为对其根据预先坐标条件进行识别的关键点,按照时间顺序对目标关键点坐标进行排列。需要指出的是关键点坐标序列只是针对多幅目标对象图像的情况,对于只有一幅目标对象图像的情况,则不需要进行排列。
S505,判断所述关键点坐标序列是否满足预定排列要求,当满足预定排列要求时,执行对所述关键点坐标按照目标对象不同姿态对应的预设坐标条件进行识别的步骤,当未满足预定排列要求时,返回执行将在不同图像中的对应关键点坐标按时间顺序进行排列的步骤。
对关键点坐标序列进行一个判断,预定排列要求可以判断关键点坐标序列中关键点坐标顺序是否正确,也可以判断关键点坐标序列的长度。比如20帧,即检测20帧图像的关键点并对其进行姿态识别。如果判断后关键点坐标序列满足预定排列要求,则执行识别步骤,反之则返回排列关键点坐标的步骤重新进行排列直到满足预定排列要求。
S506,对所述关键点坐标按照目标对象不同姿态对应的预设坐标条件进行识别,得到目标对象对应的姿态识别结果。
对于单一的目标对象图像可以直接可以根据预设坐标条件进行识别,得到姿态识别结果。比如,上文中提到人抬手的姿态识别结果,只需要对人头部的关键点和手部的关键点进行识别即可。
对于目标对象的动态姿态识别,选取关键点坐标序列中的第一关键点坐标和第二关键点坐标。预先坐标条件按照动态姿态对关键点坐标的时间和空间位置进行设定,比如如图7和图8所示,设定手向一侧挥动的姿态识别结果,可以定义手的关键点横坐标随时间不断增大。在识别过程中,只要第一关键点坐标的数值小于第二关键点坐标的数值,且第一关键点坐标的时间顺序在第二关键点坐标之前。那么,就可以得到手向一侧挥动的姿态识别结果。需要指出的是此时的关键点坐标可以是一维、二维,甚至是三维坐标,因为可以使用两台图像采集设备获取关键点三个维度的坐标。
具体来说,比如关键点坐标在图像中表达为(xi、yi),xi为关键点坐标的X轴方向坐标,yi为关键点坐标的Y轴方向坐标,其中,i表示按时间顺序选取X值的序号。选取其中的x1、x2坐标值即第一坐标值和第二坐标值,
可以得到一个具有正负的数值结果,其正负可以表示关键点移动的方向,而数值可以表示关键点移动的幅度。由于只对其中一个维度进行识别,所以可以简化识别过程的运算。
S507,清空所述关键点坐标序列。
在进行识别后则清空关键点坐标序列,为下一次识别提供存储空间。也为下一次排列关键点坐标提供基础。
图9为一个实施例中姿态识别装置的架构示意图。如图9所示,在一实施例中,本申请还提供了一种姿态识别装置,所述装置包括:
获取模块101,用于获取具有目标对象影像的图像;
检测模块102,用于按预先设定检测图像中所述目标对象的关键点,其中,所述关键点为根据目标对象结构设定的多个结构节点;
生成模块103,用于根据所述关键点在图像中的位置生成关键点坐标;
识别模块104,用于对所述关键点坐标按照目标对象不同姿态对应的预设坐标条件进行识别,得到目标对象对应的姿态识别结果。
在一实施例中,所述获取具有目标对象影像的图像为从具有目标对象的视频流中获取多幅具有目标对象影像的图像。
图10为另一个实施例中姿态识别装置的架构示意图。如图10所示,在一实施例中,该装置还包括:
排列模块201,用于将在不同图像中目标关键点对应的关键点坐标按时间顺序进行排列,得到关键点坐标序列,其中,所述目标关键点为对其坐标进行识别的关键点;
判断模块202,用于判断所述关键点坐标序列是否满足预定排列要求,当满足预定排列要求时,执行对所述关键点坐标按照目标对象不同姿态对应的预设坐标条件进行识别的步骤。
在一实施例中,该装置包括:
所述判断模块,还用于当所述判断所述关键点坐标序列未满足预定排列要求时,返回执行将在不同图像中目标关键点对应的关键点坐标按时间顺序进行排列的步骤。
图11为另一个实施例中姿态识别装置的架构示意图。如图11所示,在一实施例中,该装置包括:
第一选取模块301,用于从所述关键点坐标序列中选取的第一关键点坐标和第二关键点坐标;
第一确定模块302,用于确定所述第一关键点坐标和第二关键点坐标在所述关键点坐标序列中出现的时间顺序;
所述识别模块303,还用于根据所述第一关键点坐标和第二关键点坐标出现的时间顺序和坐标值按目标对象不同姿态对应的预设坐标条件进行识别,得到目标对象的姿态识别结果。
图12为另一个实施例中姿态识别装置的架构示意图。如图12所示,在一实施例中,该装置包括:
第二选取模块401,用于从所述关键点坐标序列中选取第三关键点坐标和第四关键点坐标;选取第三关键点坐标和第四关键点坐标中表示同一维度方向上的对应第一坐标值和第二坐标值;
第二确定模块402,用于确定所述第一坐标值和所述第二坐标值在所述关键点坐标序列中出现的时间顺序;
所述识别模块303,用于根据所述第一坐标值和第二坐标值出现的时间顺序和坐标值按目标对象不同姿态对应的预设坐标条件进行识别,得到目标对象的姿态识别结果。
本申请还提供了一种姿态识别装置,所述装置包括:处理器和存储器;
所述存储器中存储有可被所述处理器执行的应用程序,用于使得所述处理器执行所述的任务的姿态识别的步骤。
在一实施例中,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现所述的姿态识别步骤。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
Claims (14)
1.一种姿态识别方法,其特征在于,该方法包括:
获取具有目标对象影像的图像;
按预先设定检测图像中所述目标对象的关键点,其中,所述关键点为根据目标对象结构设定的多个结构节点;
根据所述关键点在图像中的位置生成关键点坐标;
对所述关键点坐标按照目标对象不同姿态对应的预设坐标条件进行识别,得到目标对象对应的姿态识别结果。
2.根据权利要求1所述的姿态识别方法,其特征在于,所述获取具有目标对象影像的图像为从具有目标对象的视频流中获取多幅具有目标对象影像的图像。
3.根据权利要求2所述的姿态识别方法,其特征在于,所述根据所述关键点在图像中的位置得到关键点坐标与所述对所述关键点坐标按照目标对象不同姿态对应的预设坐标条件进行识别,得到目标对象对应的姿态识别结果步骤之间,该方法还包括:
将在不同图像中目标关键点对应的关键点坐标按时间顺序进行排列,得到关键点坐标序列,其中,所述目标关键点为对其坐标进行识别的关键点;
判断所述关键点坐标序列是否满足预定排列要求,当满足预定排列要求时,执行对所述关键点坐标按照目标对象不同姿态对应的预设坐标条件进行识别的步骤。
4.根据权利要求3所述的姿态识别方法,其特征在于,当所述判断所述关键点坐标序列未满足预定排列要求时,该方法还包括:
返回执行将在不同图像中目标关键点对应的关键点坐标按时间顺序进行排列的步骤。
5.根据权利要求3或4所述的姿态识别方法,其特征在于,所述对所述关键点坐标按照目标对象不同姿态对应的预设条件进行识别,得到目标对象的姿态识别结果包括:
从所述关键点坐标序列中选取目标关键点的第一关键点坐标和第二关键点坐标;
确定所述第一关键点坐标和第二关键点坐标在所述关键点坐标序列中出现的时间顺序;
根据所述第一关键点坐标和第二关键点坐标出现的时间顺序和坐标值按目标对象不同姿态对应的预设坐标条件进行识别,得到目标对象的姿态识别结果。
6.根据权利要求3或4所述的姿态识别方法,其特征在于,所述对所述关键点坐标按照目标对象不同姿态对应的预设条件进行识别,得到目标对象对应的姿态识别结果包括:
从所述关键点坐标序列中选取第三关键点坐标和第四关键点坐标;
选取第三关键点坐标和第四关键点坐标中表示同一维度方向上的对应第一坐标值和第二坐标值;
确定所述第一坐标值和所述第二坐标值在所述关键点坐标序列中出现的时间顺序;
根据所述第一坐标值和第二坐标值出现的时间顺序和坐标值按目标对象不同姿态对应的预设坐标条件进行识别,得到目标对象的姿态识别结果。
7.一种姿态识别装置,其特征在于,该装置包括:
获取模块,用于获取具有目标对象影像的图像;
检测模块,用于按预先设定检测图像中所述目标对象的关键点,其中,所述关键点为根据目标对象结构设定的多个结构节点;
生成模块,用于根据所述关键点在图像中的位置生成关键点坐标;
识别模块,用于对所述关键点坐标按照目标对象不同姿态对应的预设坐标条件进行识别,得到目标对象对应的姿态识别结果。
8.根据权利要求7所述的姿态识别装置,其特征在于,所述获取具有目标对象影像的图像为从具有目标对象的视频流中获取多幅具有目标对象影像的图像。
9.根据权利要求8所述的姿态识别装置,其特征在于,该装置还包括:
排列模块,用于将在不同图像中目标关键点对应的关键点坐标按时间顺序进行排列,得到关键点坐标序列,其中,所述目标关键点为对其坐标进行识别的关键点;
判断模块,用于判断所述关键点坐标序列是否满足预定排列要求,当满足预定排列要求时,执行对所述关键点坐标按照目标对象不同姿态对应的预设坐标条件进行识别的步骤。
10.根据权利要求9所述的姿态识别装置,其特征在于,该装置包括:
所述判断模块,还用于当所述判断所述关键点坐标序列未满足预定排列要求时,返回执行将在不同图像中目标关键点对应的关键点坐标按时间顺序进行排列的步骤。
11.根据权利要求9或10所述的姿态识别装置,其特征在于,该装置包括:
第一选取模块,用于从所述关键点坐标序列中选取目标关键点的第一关键点坐标和第二关键点坐标;
第一确定模块,用于确定所述第一关键点坐标和第二关键点坐标在所述关键点坐标序列中出现的时间顺序;
所述识别模块,还用于根据所述第一关键点坐标和第二关键点坐标出现的时间顺序和坐标值按目标对象不同姿态对应的预设坐标条件进行识别,得到目标对象的姿态识别结果。
12.根据权利要求9或10所述的姿态识别装置,其特征在于,该装置包括:
第二选取模块,用于从所述关键点坐标序列中选取第三关键点坐标和第四关键点坐标;还用于选取第三关键点坐标和第四关键点坐标中表示同一维度方向上的对应第一坐标值和第二坐标值;
第二确定模块,用于确定所述第一坐标值和所述第二坐标值在所述关键点坐标序列中出现的时间顺序;
所述识别模块,用于根据所述第一坐标值和第二坐标值出现的时间顺序和坐标值按目标对象不同姿态对应的预设坐标条件进行识别,得到目标对象的姿态识别结果。
13.一种姿态识别装置,其特征在于,所述装置包括:处理器和存储器;
所述存储器中存储有可被所述处理器执行的应用程序,用于使得所述处理器执行如权利要求1至6中任一项所述的姿态识别方法的步骤。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-6任一项所述的姿态识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910241867.9A CN111754571B (zh) | 2019-03-28 | 一种姿态识别方法、装置及其存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910241867.9A CN111754571B (zh) | 2019-03-28 | 一种姿态识别方法、装置及其存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111754571A true CN111754571A (zh) | 2020-10-09 |
CN111754571B CN111754571B (zh) | 2024-07-16 |
Family
ID=
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022100262A1 (zh) * | 2020-11-12 | 2022-05-19 | 海信视像科技股份有限公司 | 显示设备、人体姿态检测方法及应用 |
CN115131879A (zh) * | 2022-08-31 | 2022-09-30 | 飞狐信息技术(天津)有限公司 | 一种动作评价方法及装置 |
CN117173793A (zh) * | 2023-11-02 | 2023-12-05 | 浙江大华技术股份有限公司 | 目标姿态检测方法、计算机设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140082545A1 (en) * | 2012-09-18 | 2014-03-20 | Google Inc. | Posture-adaptive selection |
US20140204013A1 (en) * | 2013-01-18 | 2014-07-24 | Microsoft Corporation | Part and state detection for gesture recognition |
CN105302310A (zh) * | 2015-11-12 | 2016-02-03 | 姚焕根 | 一种手势识别装置、***及方法 |
CN105469043A (zh) * | 2015-11-20 | 2016-04-06 | 苏州铭冠软件科技有限公司 | 一种手势识别*** |
CN105930767A (zh) * | 2016-04-06 | 2016-09-07 | 南京华捷艾米软件科技有限公司 | 一种基于人体骨架的动作识别方法 |
CN107908288A (zh) * | 2017-11-30 | 2018-04-13 | 沈阳工业大学 | 一种面向人机交互的快速人体动作识别方法 |
CN108647644A (zh) * | 2018-05-11 | 2018-10-12 | 山东科技大学 | 基于gmm表征的煤矿放炮不安全动作识别与判定方法 |
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140082545A1 (en) * | 2012-09-18 | 2014-03-20 | Google Inc. | Posture-adaptive selection |
US20140204013A1 (en) * | 2013-01-18 | 2014-07-24 | Microsoft Corporation | Part and state detection for gesture recognition |
CN105302310A (zh) * | 2015-11-12 | 2016-02-03 | 姚焕根 | 一种手势识别装置、***及方法 |
CN105469043A (zh) * | 2015-11-20 | 2016-04-06 | 苏州铭冠软件科技有限公司 | 一种手势识别*** |
CN105930767A (zh) * | 2016-04-06 | 2016-09-07 | 南京华捷艾米软件科技有限公司 | 一种基于人体骨架的动作识别方法 |
CN107908288A (zh) * | 2017-11-30 | 2018-04-13 | 沈阳工业大学 | 一种面向人机交互的快速人体动作识别方法 |
CN108647644A (zh) * | 2018-05-11 | 2018-10-12 | 山东科技大学 | 基于gmm表征的煤矿放炮不安全动作识别与判定方法 |
Non-Patent Citations (1)
Title |
---|
雷安琪;冯玉田;唐子成;: "改进型手姿态关键点估计方法在Leap Motion中的应用", 工业控制计算机, no. 09, 25 September 2017 (2017-09-25) * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022100262A1 (zh) * | 2020-11-12 | 2022-05-19 | 海信视像科技股份有限公司 | 显示设备、人体姿态检测方法及应用 |
CN115131879A (zh) * | 2022-08-31 | 2022-09-30 | 飞狐信息技术(天津)有限公司 | 一种动作评价方法及装置 |
CN115131879B (zh) * | 2022-08-31 | 2023-01-06 | 飞狐信息技术(天津)有限公司 | 一种动作评价方法及装置 |
CN117173793A (zh) * | 2023-11-02 | 2023-12-05 | 浙江大华技术股份有限公司 | 目标姿态检测方法、计算机设备及存储介质 |
CN117173793B (zh) * | 2023-11-02 | 2024-03-01 | 浙江大华技术股份有限公司 | 目标姿态检测方法、计算机设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2577426B1 (en) | Information processing apparatus and method and program | |
EP3136203B1 (en) | System and method of real-time interactive operation of user interface | |
WO2022166243A1 (zh) | 捏合手势检测识别方法、装置及*** | |
US8587563B2 (en) | Touch system and positioning method therefor | |
EP2635952B1 (en) | Method and device for detecting gesture inputs | |
KR101631011B1 (ko) | 제스처 인식 장치 및 제스처 인식 장치의 제어 방법 | |
CN105912126B (zh) | 一种手势运动映射到界面的增益自适应调整方法 | |
US9285885B2 (en) | Gesture recognition module and gesture recognition method | |
WO2022174594A1 (zh) | 基于多相机的裸手追踪显示方法、装置及*** | |
CN104914990B (zh) | 姿势辨识装置以及姿势辨识装置的控制方法 | |
JP2017059945A (ja) | 画像解析装置及び画像解析方法 | |
CN105468189A (zh) | 识别多点触摸操作的信息处理装置及其控制方法 | |
WO2015153673A1 (en) | Providing onscreen visualizations of gesture movements | |
US20230394721A1 (en) | Information processing apparatus, program, and system | |
US20160140762A1 (en) | Image processing device and image processing method | |
US20210327160A1 (en) | Authoring device, authoring method, and storage medium storing authoring program | |
CN106406507B (zh) | 图像处理方法以及电子设备 | |
CN111754571A (zh) | 一种姿态识别方法、装置及其存储介质 | |
CN111754571B (zh) | 一种姿态识别方法、装置及其存储介质 | |
KR101360322B1 (ko) | 다양한 손모양 검출 및 추적을 기반으로 한 원격 전자칠판 제어 장치 및 그 방법 | |
US20220050528A1 (en) | Electronic device for simulating a mouse | |
Siam et al. | Human computer interaction using marker based hand gesture recognition | |
KR102107182B1 (ko) | 손 제스처 인식 시스템 및 방법 | |
US11789543B2 (en) | Information processing apparatus and information processing method | |
JP2014215679A (ja) | 画像処理システム、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |