CN108573216A - 一种肢体姿态判断方法及装置 - Google Patents
一种肢体姿态判断方法及装置 Download PDFInfo
- Publication number
- CN108573216A CN108573216A CN201810229630.4A CN201810229630A CN108573216A CN 108573216 A CN108573216 A CN 108573216A CN 201810229630 A CN201810229630 A CN 201810229630A CN 108573216 A CN108573216 A CN 108573216A
- Authority
- CN
- China
- Prior art keywords
- node
- human body
- posture
- wrist
- hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明实施例提供一种肢体姿态判断方法及装置，用以实现准确、有效的肢体姿态判断。其中，肢体姿态判断方法包括：确定人体图像中的第一人体的多个人体节点，多个人体节点至少包括手腕节点、手肘节点、肩部节点和头部与颈部的多个节点；根据手腕节点分别与手肘节点、肩部节点及头部区域之间的相对位置关系，确定第一人体的姿态，其中，头部区域为根据头部与颈部的多个节点确定的用于表征第一人体头部的区域。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种肢体姿态判断方法及装置。
背景技术
目前，用于肢体姿态判断的方法主要有两种，一种是光流分析法，另一种是深度图像分析法。其中，光流分析法通过捕捉画面中光流的变化，来确定目标的运动信息，进而根据目标的运动情况判断肢体姿态；深度图像分析法将场景中各点到图像采集器的距离作为深度图像中各点的像素值，进而根据深度图像判断肢体姿态。
然而，在实施光流分析法进行肢体姿态判断时，人体举手和起立这两种动作产生的光流矢量较为相似，因而基于光流分析法无法准确区分人体是举手还是起立。在实施深度图像分析法进行肢体姿态判断时，肢体(如手臂)通常较细，深度图像中的肢体信息不明显；并且，当手臂靠近头部时，手臂和头部的深度差异不明显，无法判断出深度差异信息，导致肢体姿态判断失败。
可见，现有技术中缺少一种能够准确有效地进行肢体姿态判断的技术。
发明内容
本发明实施例提供一种肢体姿态判断方法及装置，用以实现准确、有效的肢体姿态判断。
第一方面，提供一种肢体姿态判断方法，包括：
确定人体图像中的第一人体的多个人体节点，所述多个人体节点至少包括手腕节点、手肘节点、肩部节点和头部与颈部的多个节点；
根据所述手腕节点分别与所述手肘节点、所述肩部节点及头部区域之间的相对位置关系，确定所述第一人体的姿态，其中，所述头部区域为根据所述头部与颈部的多个节点确定的用于表征所述第一人体头部的区域。
在一种可能的实现方式中，根据所述手腕节点分别与所述手肘节点、所述肩部节点及头部区域之间的相对位置关系，确定所述第一人体的姿态，包括：根据如下确定条件中的一个或多个确定条件，确定所述第一人体的姿态是否为预设姿态：
(1)确定所述手腕节点是否高于或在预设高度差范围内低于所述肩部节点；
(2)确定所述手腕节点是否高于所述手肘节点；
(3)确定所述手腕节点是否位于所述头部区域。
在一种可能的实现方式中，根据所述手腕节点分别与所述手肘节点、所述肩部节点及头部区域之间的相对位置关系，确定所述第一人体的姿态，包括：
步骤1：确定所述手腕节点中的第一手腕节点是否高于所述手肘节点中的第一手肘节点，若是，则执行步骤2，否则确定所述第一人体的姿态不同于所述预设姿态；其中，所述第一手腕节点为所述手腕节点中的任一手腕节点，所述第一手肘节点为与所述第一手腕节点位于所述第一人体同侧的手腕节点；
步骤2：确定所述第一手腕节点是否高于或在预设高度差范围内低于所述肩部节点中的第一肩部节点，若是，则执行步骤3，否则确定所述第一人体的姿态不同于所述预设姿态；其中，所述第一肩部节点为与所述第一手腕节点位于所述第一人体同侧的肩部节点；
步骤3：确定所述第一手腕节点是否位于所述头部区域，若是，则确定所述第一人体的姿态不同于所述预设姿态，否则确定所述第一人体的姿态为所述预设姿态。
在一种可能的实现方式中，根据所述手腕节点分别与所述手肘节点、所述肩部节点及头部区域之间的相对位置关系，确定所述第一人体的姿态，包括：
步骤1：确定所述手腕节点中的第一手腕节点是否高于或在预设高度差范围内低于所述肩部节点中的第一肩部节点，若是，则执行步骤2，否则确定所述第一人体的姿态不同于所述预设姿态；其中，所述第一手腕节点为所述手腕节点中的任一手腕节点，所述第一肩部节点为与所述第一手腕节点位于所述第一人体同侧的肩部节点；
步骤2：确定所述第一手腕节点是否高于所述手肘节点中的第一手肘节点，若是，则执行步骤3，否则确定所述第一人体的姿态不同于所述预设姿态；其中，所述第一手肘节点为与所述第一手腕节点位于所述第一人体同侧的手腕节点；
步骤3：确定所述第一手腕节点是否位于所述头部区域，若是，则确定所述第一人体的姿态不同于所述预设姿态，否则确定所述第一人体的姿态为所述预设姿态。
在一种可能的实现方式中，在根据所述手腕节点分别与所述手肘节点、所述肩部节点及头部区域之间的相对位置关系，确定所述第一人体的姿态之前，还包括：根据所述多个人体节点建立用于确定所述多个人体节点位置的位置坐标系，或，将所述人体图像的图像像素坐标系作为所述位置坐标系；
根据所述手腕节点分别与所述手肘节点、所述肩部节点及头部区域之间的相对位置关系，确定所述第一人体的姿态，包括：根据所述手腕节点、所述手肘节点、所述肩部节点和所述头部与颈部的多个节点在所述位置坐标系中的坐标位置，确定所述相对位置关系，并根据所述相对位置关系确定所述第一人体的姿态。
第二方面，提供一种肢体姿态判断装置，包括：
节点确定模块，用于确定人体图像中的第一人体的多个人体节点，所述多个人体节点至少包括手腕节点、手肘节点、肩部节点和头部与颈部的多个节点；
姿态确定模块，用于根据所述手腕节点分别与所述手肘节点、所述肩部节点及头部区域之间的相对位置关系，确定所述第一人体的姿态，其中，所述头部区域为根据所述头部与颈部的多个节点确定的用于表征所述第一人体头部的区域。
在一种可能的实现方式中，所述姿态确定模块用于：根据如下确定条件中的一个或多个确定条件，确定所述第一人体的姿态是否为预设姿态：
(1)确定所述手腕节点是否高于或在预设高度差范围内低于所述肩部节点；
(2)确定所述手腕节点是否高于所述手肘节点；
(3)确定所述手腕节点是否位于所述头部区域。
在一种可能的实现方式中，所述姿态确定模块具体用于执行如下步骤：
步骤1：确定所述手腕节点中的第一手腕节点是否高于所述手肘节点中的第一手肘节点，若是，则执行步骤2，否则确定所述第一人体的姿态不同于所述预设姿态；其中，所述第一手腕节点为所述手腕节点中的任一手腕节点，所述第一手肘节点为与所述第一手腕节点位于所述第一人体同侧的手腕节点；
步骤2：确定所述第一手腕节点是否高于或在预设高度差范围内低于所述肩部节点中的第一肩部节点，若是，则执行步骤3，否则确定所述第一人体的姿态不同于所述预设姿态；其中，所述第一肩部节点为与所述第一手腕节点位于所述第一人体同侧的肩部节点；
步骤3：确定所述第一手腕节点是否位于所述头部区域，若是，则确定所述第一人体的姿态不同于所述预设姿态，否则确定所述第一人体的姿态为所述预设姿态。
在一种可能的实现方式中，所述姿态确定模块具体用于执行如下步骤：
步骤1：确定所述手腕节点中的第一手腕节点是否高于或在预设高度差范围内低于所述肩部节点中的第一肩部节点，若是，则执行步骤2，否则确定所述第一人体的姿态不同于所述预设姿态；其中，所述第一手腕节点为所述手腕节点中的任一手腕节点，所述第一肩部节点为与所述第一手腕节点位于所述第一人体同侧的肩部节点；
步骤2：确定所述第一手腕节点是否高于所述手肘节点中的第一手肘节点，若是，则执行步骤3，否则确定所述第一人体的姿态不同于所述预设姿态；其中，所述第一手肘节点为与所述第一手腕节点位于所述第一人体同侧的手腕节点；
步骤3：确定所述第一手腕节点是否位于所述头部区域，若是，则确定所述第一人体的姿态不同于所述预设姿态，否则确定所述第一人体的姿态为所述预设姿态。
在一种可能的实现方式中，所述装置还包括坐标系确定模块，用于：在根据所述手腕节点分别与所述手肘节点、所述肩部节点及头部区域之间的相对位置关系，确定所述第一人体的姿态之前，根据所述多个人体节点建立用于确定所述多个人体节点位置的位置坐标系，或，将所述人体图像的图像像素坐标系作为所述位置坐标系；
所述姿态确定模块具体用于：根据所述手腕节点、所述手肘节点、所述肩部节点和所述头部与颈部的多个节点在所述位置坐标系中的坐标位置，确定所述相对位置关系，并根据所述相对位置关系确定所述第一人体的姿态。
第三方面，提供一种计算机设备，所述设备包括：
至少一个处理器，以及
与所述至少一个处理器连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，执行如第一方面所述的方法。
第四方面，提供一种计算机可读存储介质，包括：
所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行第一方面所述的方法。
本发明实施例中，确定人体图像中的第一人体的多个人体节点，该多个人体节点至少包括手腕节点、手肘节点、肩部节点和头部与颈部的多个节点，进而，根据手腕节点分别与手肘节点、肩部节点及头部区域之间的相对位置关系，确定第一人体的姿态，其中，头部区域为根据头部与颈部的多个节点确定的用于表征第一人体头部的区域。
通过确定第一人体的多个人体节点，并根据手腕节点与其它节点、头部区域之间的相对位置关系，能够对人体的手腕节点进行准确的定位，实现对肢体姿态的判断。进一步地，本发明实施例中在确定人体的节点信息后根据节点信息进行姿态判断，基于节点信息能够准确地区分肢体和身体躯干，避免了由于肢体信息不明显导致判断不准确的问题。并且，根据手腕节点与其它节点、头部区域之间的相对位置判断肢体姿态，避免了基于深度图像判断肢体姿态的情况下，手臂靠近头部时肢体姿态判断失败的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例中一种肢体姿态判断方法的流程示意图；
图2为本发明实施例中多个人体节点的示意图；
图3为本发明实施例中一种姿态确定过程的示意图；
图4为本发明实施例中另一种姿态确定过程的示意图；
图5为本发明实施例中一种位置坐标系的示意图；
图6为本发明实施例中另一种位置坐标系的示意图；
图7为本发明实施例中一种头部区域的示意图；
图8为本发明实施例中一种肢体姿态判断装置的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，在不做特别说明的情况下，一般表示前后关联对象是一种“或”的关系。另外，需要理解的是，在本发明实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
实施例一
本发明实施例提供一种肢体姿态判断方法，该方法可以用于对人体的肢体姿态进行判断，例如，可以用于判断人体是否举手。具体举例来说，在课堂教学场景中，可以拍摄课堂画面，然后通过本发明实施例中的肢体姿态判断方法结合所拍摄的画面，判断教室内的一个或多个学生的举手状态。
为了更好的理解本发明实施例中的方法，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
请参见图1，本发明实施例中的肢体姿态判断方法的流程描述如下。
步骤11：确定人体图像中的第一人体的多个人体节点，多个人体节点至少包括手腕节点、手肘节点、肩部节点和头部与颈部的多个节点。
本发明实施例中，通过对人体图像进行分析确定出人体图像中第一人体的多个人体节点，分析确定方式可以是图像特征分析、深度学习模型识别，也可以是现有技术中确定人体节点的方式，举例来说，可以采用现有的OpenPose算法、派系过滤算法(CliquePercolation Method，CPM)确定人体图像中第一人体的多个人体节点。本发明实施例中对具体采用何种方式分析确定人体图像的人体节点不做限制。
其中，人体节点可以是人体的关节点、五官等人体的重要位置。为便于理解，以如图2所示的人体为例，第一人体中的多个人体节点可以包括有左手腕节点201、右手腕节点202、左手肘节点203、右手肘节点204、左肩部节点205、右肩部节点206、颈部节点207、鼻尖节点208、左眼节点209、右眼节点210、左耳节点211和右耳节点212中的一个或多个。这些人体节点用于代表节点附近的人体区域，例如左手腕节点201用于代表人体的整个左手腕区域，包括手掌、手指，而不是仅仅表示图2中201这一个点。
在具体实施过程中，人体图像中可以包括有一个或多个人体，本发明实施例中的第一人体可以是其中的任一人体。并且，当人体图像中包括有多个人体时，针对其中的任一人体，均可以采用本发明实施例中的肢体姿态判断方法分别进行肢体姿态判断，也就是说，各人体的肢体姿态判断相互不影响。
步骤12：根据手腕节点分别与手肘节点、肩部节点及头部区域之间的相对位置关系，确定第一人体的姿态，其中，头部区域为根据头部与颈部的多个节点确定的用于表征第一人体头部的区域。
本发明实施例中，在确定第一人体的多个人体节点后，可以根据手腕节点与手肘节点的相对位置关系、手腕节点与肩部节点的相对位置关系，以及手腕节点与头部区域的相对位置关系，确定第一人体的姿态。
其中，头部区域为根据头部与颈部的多个节点确定的区域，例如可以根据图2中的颈部节点207、鼻尖节点208、左眼节点209、右眼节点210、左耳节点211和右耳节点212确定图2中的人体的头部区域。确定出的头部区域的形状例如可以为矩形。
在具体的实施过程中，根据手腕节点分别与手肘节点、肩部节点及头部区域之间的相对位置关系，确定第一人体的姿态的过程，可以包括如下三个判断步骤中的一个或多个：
(1)确定手腕节点是否高于或在预设高度差范围内低于肩部节点；
(2)确定手腕节点是否高于手肘节点；
(3)确定第一手腕节点是否位于头部区域。
上述的这三个判断步骤的执行顺序可以相互调换。并且，确定第一人体的姿态的过程可以是“由粗到细”的判断过程，也就是说，可以逐个进行这三个判断步骤，例如以预设顺序逐个进行这三个判断步骤，并且，只有在先的判断步骤满足预设条件时才进行在后的判断步骤。
请参见图3、图4，以下对根据手腕节点分别与手肘节点、肩部节点及头部区域之间的相对位置关系，确定第一人体的姿态的过程进行举例说明：
图3所示的确定过程，包括如下步骤：
步骤120：确定手腕节点中的第一手腕节点是否高于或在预设高度差范围内低于肩部节点中的第一肩部节点，若是，则执行步骤121，否则执行步骤124确定第一人体的姿态不同于预设姿态。
步骤121：确定第一手腕节点是否高于手肘节点中的第一手肘节点，若是，则执行步骤122，否则执行步骤124确定第一人体的姿态不同于预设姿态。
步骤122：确定第一手腕节点是否位于头部区域，若是，则执行步骤124确定第一人体的姿态不同于预设姿态，否则执行步骤123确定第一人体的姿态为预设姿态。
其中，第一手腕节点为手腕节点中的任一手腕节点，第一肩部节点为与第一手腕节点位于第一人体同侧的肩部节点，第一手肘节点为与第一手腕节点位于第一人体同侧的手腕节点。例如，第一手腕节点可以为图2中的左手腕节点201，对应的，第一肩部节点为图2中的左肩部节点205，第一手肘节点为图2中的左手肘节点203。并且，在一种可能的实施方式中，确定第一人体的姿态可以是指确定第一人体的举手状态，对应的，姿态为预设姿态可以是指举手状态为举手，姿态不同于预设姿态可以是指举手状态为未举手。
图4所示的确定过程，包括如下步骤：
步骤125：确定手腕节点中的第一手腕节点是否高于或在预设高度差范围内低于肩部节点中的第一肩部节点，若是，则执行步骤126，否则执行步骤129确定第一人体的姿态不同于预设姿态。
步骤126：确定第一手腕节点是否高于手肘节点中的第一手肘节点，若是，则执行步骤127，否则执行步骤129确定第一人体的姿态不同于预设姿态。
步骤127：确定第一手腕节点是否位于头部区域，若是，则执行步骤129确定第一人体的姿态不同于预设姿态，否则执行步骤128确定第一人体的姿态为预设姿态。
其中，第一手腕节点为手腕节点中的任一手腕节点，第一肩部节点为与第一手腕节点位于第一人体同侧的肩部节点，第一手肘节点为与第一手腕节点位于第一人体同侧的手腕节点。例如，第一手腕节点可以为图2中的左手腕节点201，对应的，第一肩部节点为图2中的左肩部节点205，第一手肘节点为图2中的左手肘节点203。并且，在一种可能的实施方式中，确定第一人体的姿态可以是指确定第一人体的举手状态，对应的，姿态为预设姿态可以是指举手状态为举手，姿态不同于预设姿态可以是指举手状态为未举手。
在一种可能的实施方式中，在根据手腕节点分别与手肘节点、肩部节点及头部区域之间的相对位置关系，确定第一人体的姿态之前，还包括确定位置坐标系的步骤，该位置坐标系用于确定多个人体节点位置。在该位置坐标系下，可以确定第一人体的人体节点、区域之间的相对位置关系。
确定位置坐标系的方式有多种，以下以其中两种进行举例：
第一种确定方式：将人体图像的图像像素坐标系作为位置坐标系
其中，图像像素坐标系可以是指在图像处理领域通常采用的，以图像左上角为原点O、图像的上边为X轴、图像的左边为Y轴建立的坐标系。如图5所示，为本发明实施例中人体图像的图像像素坐标系的示意图。
第二种确定方式：根据多个人体节点建立位置坐标系
根据多个人体节点建立位置坐标系的具体实施方式，可以是在确定第一人体的多个人体节点的基础上，根据多个人体节点的位置分布情况建立的坐标系。也就是说，根据多个人体节点建立的位置坐标系与多个人体节点的位置相关，不受人体图像的其它因素影响。在该种确定方式中，当人体图像中存在多个人体时，各人体所对应建立的位置坐标系可以是不相同的。如图6所示，根据多个人体节点建立位置坐标系时，图6中的人体61所对应建立的位置坐标系62与人体63所对应建立的位置坐标系64不同。
基于第一种确定方式，能够减少整个判断肢体姿态过程中的运算量，提高肢体姿态判断的效率，并且，人体图像中的各人体可以共用一个位置坐标系。基于第二种确定方式，能够减少由于人体图像中人体倾斜或拍摄角度倾斜对判断结果的影响，提高肢体姿态判断的准确性。
进一步地，在确定了位置坐标系的情况下，根据手腕节点分别与手肘节点、肩部节点及头部区域之间的相对位置关系，确定第一人体的姿态的具体过程，可以是根据手腕节点、手肘节点、肩部节点和头部与颈部的多个节点在位置坐标系中的坐标位置，确定相对位置关系，并根据相对位置关系确定第一人体的姿态。即，可以通过比较各人体节点的坐标参数的大小关系，确定相对位置关系，并根据相对位置关系确定第一人体的姿态。
以图7中所示的位置坐标系为例，假设图7中的人体的部分人体节点在位置坐标系中的坐标位置如下：
颈部节点207(NECK_X，NECK_Y)、鼻尖节点208(NOSE_X,NOSE_Y)、左眼节点209(LEYE_X，LEYE_Y)、右眼节点210(REYE_X，REYE_Y)、左耳节点211(LEAR_X，LEAR_Y)、右耳节点212(REAR_X，REAR_Y)。则，在确定图7中头部区域73的过程中：
a.头部区域73的左上角(即点71)在X轴上的坐标LEFT_X可以用如下的公式(1)确定，其中的alpha为预设值，例如取0.1：
LEFT_X＝REAR_X-alpha*ABS(LEYE_X-REYE_X)…………(1)
b.头部区域73的左上角(即点71)在Y轴上的坐标TOP_Y可以用如下的公式(2)确定：
TOP_Y＝NOSE_Y–(NECK_Y-NOSE_Y)…………(2)
c.头部区域73的右下角(即点72)在X轴上的坐标RIGHT_X可以用如下的公式(3)确定，其中的alpha为预设值，例如取0.1：
RIGHT_X＝LEAR_X+alpha*ABS(LEYE_X-REYE_X)…………(3)
d.头部区域73的右下角(即点72)在Y轴上的坐标BOTTOM_Y可以用如下的公式(4)确定：
BOTTOM_Y＝NOSE_Y+(NECK_Y-NOSE_Y)…………(4)
进一步地，在确定第一手腕节点是否位于头部区域73的过程中，若为第一手腕节点的坐标为(WRIST_X,WRIST_Y)，则可以采用如下的公式(5)确定第一手腕节点是否位于头部区域73。具体来说，若(WRIST_X,WRIST_Y)满足如下的公式(5)，则确定第一手腕节点不位于头部区域73，否则确定第一手腕节点位于头部区域73。
WRISTX>LEFTX&&WRISTX<RIGHTX&&WRISTY<BOTTOM_Y&&
WRISTY>TOP_Y…………(5)
实施例二
基于同一发明构思，本发明实施例提供一种肢体姿态判断装置。请参见图8，该肢体姿态判断装置至少包括节点确定模块81和姿态确定模块82。其中：
节点确定模块81，用于确定人体图像中的第一人体的多个人体节点，多个人体节点至少包括手腕节点、手肘节点、肩部节点和头部与颈部的多个节点；
姿态确定模块82，用于根据手腕节点分别与手肘节点、肩部节点及头部区域之间的相对位置关系，确定第一人体的姿态，其中，头部区域为根据头部与颈部的多个节点确定的用于表征第一人体头部的区域。
在一种可能的实施方式中，姿态确定模块82用于：根据如下确定条件中的一个或多个确定条件，确定第一人体的姿态是否为预设姿态：
(1)确定手腕节点是否高于或在预设高度差范围内低于肩部节点；
(2)确定手腕节点是否高于手肘节点；
(3)确定手腕节点是否位于头部区域。
在一种可能的实施方式中，姿态确定模块82具体用于执行如下步骤：
步骤1：确定手腕节点中的第一手腕节点是否高于手肘节点中的第一手肘节点，若是，则执行步骤2，否则确定第一人体的姿态不同于预设姿态；其中，第一手腕节点为手腕节点中的任一手腕节点，第一手肘节点为与第一手腕节点位于第一人体同侧的手腕节点；
步骤2：确定第一手腕节点是否高于或在预设高度差范围内低于肩部节点中的第一肩部节点，若是，则执行步骤3，否则确定第一人体的姿态不同于预设姿态；其中，第一肩部节点为与第一手腕节点位于第一人体同侧的肩部节点；
步骤3：确定第一手腕节点是否位于头部区域，若是，则确定第一人体的姿态不同于预设姿态，否则确定第一人体的姿态为预设姿态。
在一种可能的实施方式中，姿态确定模块82具体用于执行如下步骤：
步骤1：确定手腕节点中的第一手腕节点是否高于或在预设高度差范围内低于肩部节点中的第一肩部节点，若是，则执行步骤2，否则确定第一人体的姿态不同于预设姿态；其中，第一手腕节点为手腕节点中的任一手腕节点，第一肩部节点为与第一手腕节点位于第一人体同侧的肩部节点；
步骤2：确定第一手腕节点是否高于手肘节点中的第一手肘节点，若是，则执行步骤3，否则确定第一人体的姿态不同于预设姿态；其中，第一手肘节点为与第一手腕节点位于第一人体同侧的手腕节点；
步骤3：确定第一手腕节点是否位于头部区域，若是，则确定第一人体的姿态不同于预设姿态，否则确定第一人体的姿态为预设姿态。
在一种可能的实施方式中，装置还包括坐标系确定模块，用于：在根据手腕节点分别与手肘节点、肩部节点及头部区域之间的相对位置关系，确定第一人体的姿态之前，根据多个人体节点建立用于确定多个人体节点位置的位置坐标系，或，将人体图像的图像像素坐标系作为位置坐标系；
姿态确定模块82具体用于：根据手腕节点、手肘节点、肩部节点和头部与颈部的多个节点在位置坐标系中的坐标位置，确定相对位置关系，并根据相对位置关系确定第一人体的姿态。
实施例三
基于同一发明构思，本发明实施例提供一种计算机设备，包括：
至少一个处理器，以及
与至少一个处理器连接的存储器；
其中，存储器存储有可被至少一个处理器执行的指令，至少一个处理器通过执行存储器存储的指令，执行如实施例一所述的方法。
实施例四
基于同一发明构思，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，当计算机指令在计算机上运行时，使得计算机执行实施例一所述的方法。
在具体的实施过程中，计算机可读存储介质包括：通用串行总线闪存盘(Universal Serial Bus flash drive，USB)、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的存储介质。
上述的一个或多个技术方案，至少具有如下有益效果：
本发明实施例中，确定人体图像中的第一人体的多个人体节点，该多个人体节点至少包括手腕节点、手肘节点、肩部节点和头部与颈部的多个节点，进而，根据手腕节点分别与手肘节点、肩部节点及头部区域之间的相对位置关系，确定第一人体的姿态，其中，头部区域为根据头部与颈部的多个节点确定的用于表征第一人体头部的区域。
通过确定第一人体的多个人体节点，并根据手腕节点与其它节点、头部区域之间的相对位置关系，能够对人体的手腕节点进行准确的定位，实现对肢体姿态的判断。进一步地，本发明实施例中在确定人体的节点信息后根据节点信息进行姿态判断，基于节点信息能够准确地区分肢体和身体躯干，避免了由于肢体信息不明显导致判断不准确的问题。并且，根据手腕节点与其它节点、头部区域之间的相对位置判断肢体姿态，避免了基于深度图像判断肢体姿态的情况下，手臂靠近头部时肢体姿态判断失败的问题。
进一步地，在确定第一人体的姿态的过程中，采用“由粗到细”的确定方式，对手腕节点与手肘节点、肩部节点、头部区域分别的相对位置关系逐步进行判断。因而，一方面，通过多次判断提高了肢体姿态判断结果的准确性，另一方面，由于无需每次肢体姿态判断过程都执行完所有的判断步骤，因而降低了肢体姿态判断过程的计算量，提高了执行效率。
进一步地，肢体姿态判断中，设定有对手腕节点与头部区域的判断，在确定出第一手腕节点位于头部区域时，确定第一人体的姿态不同于预设姿态，而在确定出第一手腕节点不位于头部区域时，确定第一人体的姿态为预设姿态。通过对手腕节点与头部节点的相对位置关系的判断，能够避免将挠头、擦脸等姿态误判为预设姿态，如将挠头、擦脸误判为举手。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元/模块可以是或者也可以不是物理上分开的，作为单元/模块显示的部件可以是或者也可以不是物理单元/模块，即可以位于一个地方，或者也可以分布到多个网络单元/模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (12)
1.一种肢体姿态判断方法，其特征在于，包括：
确定人体图像中的第一人体的多个人体节点，所述多个人体节点至少包括手腕节点、手肘节点、肩部节点和头部与颈部的多个节点；
根据所述手腕节点分别与所述手肘节点、所述肩部节点及头部区域之间的相对位置关系，确定所述第一人体的姿态，其中，所述头部区域为根据所述头部与颈部的多个节点确定的用于表征所述第一人体头部的区域。
2.如权利要求1所述的方法，其特征在于，根据所述手腕节点分别与所述手肘节点、所述肩部节点及头部区域之间的相对位置关系，确定所述第一人体的姿态，包括：根据如下确定条件中的一个或多个确定条件，确定所述第一人体的姿态是否为预设姿态：
(1)确定所述手腕节点是否高于或在预设高度差范围内低于所述肩部节点；
(2)确定所述手腕节点是否高于所述手肘节点；
(3)确定所述手腕节点是否位于所述头部区域。
3.如权利要求2所述的方法，其特征在于，根据所述手腕节点分别与所述手肘节点、所述肩部节点及头部区域之间的相对位置关系，确定所述第一人体的姿态，包括：
步骤1：确定所述手腕节点中的第一手腕节点是否高于所述手肘节点中的第一手肘节点，若是，则执行步骤2，否则确定所述第一人体的姿态不同于所述预设姿态；其中，所述第一手腕节点为所述手腕节点中的任一手腕节点，所述第一手肘节点为与所述第一手腕节点位于所述第一人体同侧的手腕节点；
步骤2：确定所述第一手腕节点是否高于或在预设高度差范围内低于所述肩部节点中的第一肩部节点，若是，则执行步骤3，否则确定所述第一人体的姿态不同于所述预设姿态；其中，所述第一肩部节点为与所述第一手腕节点位于所述第一人体同侧的肩部节点；
步骤3：确定所述第一手腕节点是否位于所述头部区域，若是，则确定所述第一人体的姿态不同于所述预设姿态，否则确定所述第一人体的姿态为所述预设姿态。
4.如权利要求2所述的方法，其特征在于，根据所述手腕节点分别与所述手肘节点、所述肩部节点及头部区域之间的相对位置关系，确定所述第一人体的姿态，包括：
步骤1：确定所述手腕节点中的第一手腕节点是否高于或在预设高度差范围内低于所述肩部节点中的第一肩部节点，若是，则执行步骤2，否则确定所述第一人体的姿态不同于所述预设姿态；其中，所述第一手腕节点为所述手腕节点中的任一手腕节点，所述第一肩部节点为与所述第一手腕节点位于所述第一人体同侧的肩部节点；
步骤2：确定所述第一手腕节点是否高于所述手肘节点中的第一手肘节点，若是，则执行步骤3，否则确定所述第一人体的姿态不同于所述预设姿态；其中，所述第一手肘节点为与所述第一手腕节点位于所述第一人体同侧的手腕节点；
步骤3：确定所述第一手腕节点是否位于所述头部区域，若是，则确定所述第一人体的姿态不同于所述预设姿态，否则确定所述第一人体的姿态为所述预设姿态。
5.如权利要求1-4中任一项所述的方法，其特征在于，在根据所述手腕节点分别与所述手肘节点、所述肩部节点及头部区域之间的相对位置关系，确定所述第一人体的姿态之前，还包括：根据所述多个人体节点建立用于确定所述多个人体节点位置的位置坐标系，或，将所述人体图像的图像像素坐标系作为所述位置坐标系；
根据所述手腕节点分别与所述手肘节点、所述肩部节点及头部区域之间的相对位置关系，确定所述第一人体的姿态，包括：根据所述手腕节点、所述手肘节点、所述肩部节点和所述头部与颈部的多个节点在所述位置坐标系中的坐标位置，确定所述相对位置关系，并根据所述相对位置关系确定所述第一人体的姿态。
6.一种肢体姿态判断装置，其特征在于，包括：
节点确定模块，用于确定人体图像中的第一人体的多个人体节点，所述多个人体节点至少包括手腕节点、手肘节点、肩部节点和头部与颈部的多个节点；
姿态确定模块，用于根据所述手腕节点分别与所述手肘节点、所述肩部节点及头部区域之间的相对位置关系，确定所述第一人体的姿态，其中，所述头部区域为根据所述头部与颈部的多个节点确定的用于表征所述第一人体头部的区域。
7.如权利要求6所述的装置，其特征在于，所述姿态确定模块用于：根据如下确定条件中的一个或多个确定条件，确定所述第一人体的姿态是否为预设姿态：
(1)确定所述手腕节点是否高于或在预设高度差范围内低于所述肩部节点；
(2)确定所述手腕节点是否高于所述手肘节点；
(3)确定所述手腕节点是否位于所述头部区域。
8.如权利要求7所述的装置，其特征在于，所述姿态确定模块具体用于执行如下步骤：
步骤1：确定所述手腕节点中的第一手腕节点是否高于所述手肘节点中的第一手肘节点，若是，则执行步骤2，否则确定所述第一人体的姿态不同于所述预设姿态；其中，所述第一手腕节点为所述手腕节点中的任一手腕节点，所述第一手肘节点为与所述第一手腕节点位于所述第一人体同侧的手腕节点；
步骤2：确定所述第一手腕节点是否高于或在预设高度差范围内低于所述肩部节点中的第一肩部节点，若是，则执行步骤3，否则确定所述第一人体的姿态不同于所述预设姿态；其中，所述第一肩部节点为与所述第一手腕节点位于所述第一人体同侧的肩部节点；
步骤3：确定所述第一手腕节点是否位于所述头部区域，若是，则确定所述第一人体的姿态不同于所述预设姿态，否则确定所述第一人体的姿态为所述预设姿态。
9.如权利要求7所述的装置，其特征在于，所述姿态确定模块具体用于执行如下步骤：
步骤1：确定所述手腕节点中的第一手腕节点是否高于或在预设高度差范围内低于所述肩部节点中的第一肩部节点，若是，则执行步骤2，否则确定所述第一人体的姿态不同于所述预设姿态；其中，所述第一手腕节点为所述手腕节点中的任一手腕节点，所述第一肩部节点为与所述第一手腕节点位于所述第一人体同侧的肩部节点；
步骤2：确定所述第一手腕节点是否高于所述手肘节点中的第一手肘节点，若是，则执行步骤3，否则确定所述第一人体的姿态不同于所述预设姿态；其中，所述第一手肘节点为与所述第一手腕节点位于所述第一人体同侧的手腕节点；
步骤3：确定所述第一手腕节点是否位于所述头部区域，若是，则确定所述第一人体的姿态不同于所述预设姿态，否则确定所述第一人体的姿态为所述预设姿态。
10.如权利要求6-9中任一项所述的装置，其特征在于，所述装置还包括坐标系确定模块，用于：在根据所述手腕节点分别与所述手肘节点、所述肩部节点及头部区域之间的相对位置关系，确定所述第一人体的姿态之前，根据所述多个人体节点建立用于确定所述多个人体节点位置的位置坐标系，或，将所述人体图像的图像像素坐标系作为所述位置坐标系；
所述姿态确定模块具体用于：根据所述手腕节点、所述手肘节点、所述肩部节点和所述头部与颈部的多个节点在所述位置坐标系中的坐标位置，确定所述相对位置关系，并根据所述相对位置关系确定所述第一人体的姿态。
11.一种计算机设备，其特征在于，包括：
至少一个处理器，以及
与所述至少一个处理器连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，执行如权利要求1-5中任一项所述的方法。
12.一种计算机可读存储介质，其特征在于：
所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810229630.4A CN108573216A (zh) | 2018-03-20 | 2018-03-20 | 一种肢体姿态判断方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810229630.4A CN108573216A (zh) | 2018-03-20 | 2018-03-20 | 一种肢体姿态判断方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108573216A true CN108573216A (zh) | 2018-09-25 |
Family
ID=63574479
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810229630.4A Pending CN108573216A (zh) | 2018-03-20 | 2018-03-20 | 一种肢体姿态判断方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108573216A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109470263A (zh) * | 2018-09-30 | 2019-03-15 | 北京诺亦腾科技有限公司 | 动作捕捉方法、电子设备以及计算机存储介质 |
| CN111242004A (zh) * | 2020-01-10 | 2020-06-05 | 厦门瑞为信息技术有限公司 | 一种基于电梯监控数据处理的自动告警方法及*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104157107A (zh) * | 2014-07-24 | 2014-11-19 | 燕山大学 | 一种基于Kinect传感器的人体姿势矫正装置 |
| CN105224090A (zh) * | 2010-12-27 | 2016-01-06 | 日立麦克赛尔株式会社 | 图像显示装置 |
| CN105608467A (zh) * | 2015-12-16 | 2016-05-25 | 西北工业大学 | 基于Kinect的无接触式学生体质测评方法 |
| CN107392086A (zh) * | 2017-05-26 | 2017-11-24 | 深圳奥比中光科技有限公司 | 人体姿态的评估装置、***及存储装置 |
| CN107609517A (zh) * | 2017-09-15 | 2018-01-19 | 华中科技大学 | 一种基于计算机视觉的课堂行为检测*** |
-
2018
- 2018-03-20 CN CN201810229630.4A patent/CN108573216A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105224090A (zh) * | 2010-12-27 | 2016-01-06 | 日立麦克赛尔株式会社 | 图像显示装置 |
| CN104157107A (zh) * | 2014-07-24 | 2014-11-19 | 燕山大学 | 一种基于Kinect传感器的人体姿势矫正装置 |
| CN105608467A (zh) * | 2015-12-16 | 2016-05-25 | 西北工业大学 | 基于Kinect的无接触式学生体质测评方法 |
| CN107392086A (zh) * | 2017-05-26 | 2017-11-24 | 深圳奥比中光科技有限公司 | 人体姿态的评估装置、***及存储装置 |
| CN107609517A (zh) * | 2017-09-15 | 2018-01-19 | 华中科技大学 | 一种基于计算机视觉的课堂行为检测*** |
Non-Patent Citations (2)
| Title |
|---|
| 张丹等: ""基于Kinect骨骼预定义的体态识别算法"", 《计算机应用》 * |
| 张鸿宇: ""课堂学习行为测量***的设计与实现"", 《中国优秀硕士学位论文全文数据库·社会科学Ⅱ辑》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109470263A (zh) * | 2018-09-30 | 2019-03-15 | 北京诺亦腾科技有限公司 | 动作捕捉方法、电子设备以及计算机存储介质 |
| CN109470263B (zh) * | 2018-09-30 | 2020-03-20 | 北京诺亦腾科技有限公司 | 动作捕捉方法、电子设备以及计算机存储介质 |
| CN111242004A (zh) * | 2020-01-10 | 2020-06-05 | 厦门瑞为信息技术有限公司 | 一种基于电梯监控数据处理的自动告警方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105740780B (zh) | 人脸活体检测的方法和装置 | |
| JP4149213B2 (ja) | 指示位置検出装置及び自律ロボット | |
| CN109859305B (zh) | 基于多角度二维人脸的三维人脸建模、识别方法及装置 | |
| CN104123543B (zh) | 一种基于人脸识别的眼球运动识别方法 | |
| CN109117893A (zh) | 一种基于人体姿态的动作识别方法及装置 | |
| Oprisescu et al. | Automatic static hand gesture recognition using tof cameras | |
| US20050201594A1 (en) | Movement evaluation apparatus and method | |
| Maisto et al. | An accurate algorithm for the identification of fingertips using an RGB-D camera | |
| CN107767335A (zh) | 一种基于人脸识别特征点定位的图像融合方法及*** | |
| CN112070782B (zh) | 识别场景轮廓的方法、装置、计算机可读介质及电子设备 | |
| CN112487964B (zh) | 姿态检测识别方法、设备及计算机可读存储介质 | |
| JP2000251078A (ja) | 人物の３次元姿勢推定方法および装置ならびに人物の肘の位置推定方法および装置 | |
| CN115816460B (zh) | 一种基于深度学习目标检测与图像分割的机械手抓取方法 | |
| Bei et al. | Sitting posture detection using adaptively fused 3D features | |
| CN108573216A (zh) | 一种肢体姿态判断方法及装置 | |
| CN116051631A (zh) | 光斑标注方法及*** | |
| CN110598647B (zh) | 一种基于图像识别的头部姿态识别方法 | |
| CN109558797B (zh) | 基于视觉刺激下的重心面积模型区分人体平衡障碍的方法 | |
| CN111784660B (zh) | 一种用于人脸图像的正脸程度的分析方法和*** | |
| CN110264505A (zh) | 一种单目深度估计方法、装置、电子设备及存储介质 | |
| CN109254663B (zh) | 一种儿童图书辅助阅读机器人的使用方法 | |
| CN110826495A (zh) | 基于面部朝向的身体左右肢体一致性跟踪判别方法及*** | |
| EP3244346A1 (en) | Determining device and determination method | |
| CN115019396A (zh) | 一种学习状态监测方法、装置、设备及介质 | |
| CN113470073A (zh) | 一种基于深度学习的动物中心追踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180925 |