CN109344694A - 一种基于三维人体骨架的人体基本动作实时识别方法 - Google Patents

一种基于三维人体骨架的人体基本动作实时识别方法 Download PDF

Info

Publication number
CN109344694A
CN109344694A CN201810916374.6A CN201810916374A CN109344694A CN 109344694 A CN109344694 A CN 109344694A CN 201810916374 A CN201810916374 A CN 201810916374A CN 109344694 A CN109344694 A CN 109344694A
Authority
CN
China
Prior art keywords
joint
point
human body
human
blending image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810916374.6A
Other languages
English (en)
Other versions
CN109344694B (zh
Inventor
王映辉
李天阳
李建明
宁小娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201810916374.6A priority Critical patent/CN109344694B/zh
Publication of CN109344694A publication Critical patent/CN109344694A/zh
Application granted granted Critical
Publication of CN109344694B publication Critical patent/CN109344694B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于三维人体骨架的人体基本动作实时识别方法，具体按照确定Kinect的安置角度；根据三维人体骨架定义人体基本动作，得到多个定义动作；利用Kinect获取待识别人体动作，获取待识别人体动作的动作特征，将待识别人体动作与定义动作进行特征匹配，进行待识别人体动作的识别的步骤。本发明一种基于三维人体骨架的人体基本动作实时识别方法，能够通过Kinect实时获取骨骼数据对人体基本动作的动作进行实时识别。

Description

一种基于三维人体骨架的人体基本动作实时识别方法
技术领域
本发明属于计算机视觉和模式识别的重要研究内容和交叉学科技术领域，涉及一种基于三维人体骨架的人体基本动作实时识别方法，具体的涉及一种基于Kinect采集的三维人体模型的三维人体骨架的人体基本动作实时识别方法。
背景技术
人体动作识别研究通过计算机对人体动作序列进行一系列分析和辨别。动作序列是一个有序姿态的变化过程，现实中人们一般通过眼睛来捕获动作数据，再经过大脑分析和自己经验的对比从而得出动作类型，所以在人体动作识别的过程中，视觉分析是非常重要的一个部分。目前动作识别已经在智能监控、虚拟现实、高级人机交互、体育运动分析、自动驾驶等多个领域取得了重大的实际应用价值。人体动作识别实质就是利用模型来判断测试的动作是否和先前标定的动作一致，如果一致说明选择的分类模型比较好，因此它是一种对动作分类的方法。随着动作识别应用范围的扩大和研究的深入，已经取得了诸多研究成果。
2007年，Meng等人提出了一种适用于安全***、人机交互和智能环境的嵌入式计算机视觉应用的人体动作识别***。利用分层运动历史直方图特征来表示运动信息，提取一个低维特征向量并将其应用到基于支持向量机分类器的人体动作识别***。由于是对每帧获取直方图然后进行计算，因此整个过程实时性较差。
2010年A.AravindKumar设计了基于视频分析的人体活动识别***，主要运用了一种使用跟踪像素点的轨迹的方法，该方法利用信号处理技术找出它们的属性，提取其中的特征，用支持向量机对数据进行训练，最终对新视频进行分类。但是在跟踪过程中，需要手动选择感兴趣的点或区域进行匹配，由于仅使用相关系数来匹配感兴趣的最佳匹配区域，当区域旋转或改变其形状时，某些点可能会丢失，对特征提取的影响较大。
2016年Chen等人提出了利用深度和惯性传感器融合的实时人体动作识别***，该***利用了两种不同模式的传感器的数据：视觉深度和惯性。将这两种不同的模式传感器的特征通过一个基于决策的融合方法进行实时融合。两种不同模式的传感器的特征融合过程比较复杂，而且对识别的效果影响较大，鲁棒性较差。
发明内容
本发明的目的是提供一种基于三维人体骨架的人体基本动作实时识别方法，能够通过Kinect实时获取骨骼数据对人体基本动作的动作进行实时识别。
本发明所采用的技术方案是，一种基于三维人体骨架的人体基本动作实时识别方法，具体按照下述方法进行：
步骤1，确定Kinect的安置角度；
步骤2，根据三维人体骨架定义人体基本动作，得到多个定义动作；
步骤3，利用Kinect获取待识别人体动作，获取待识别人体动作的动作特征，将待识别人体动作与定义动作进行特征匹配，进行待识别人体动作的识别。
本发明的特点还在于：
步骤1中具体按照下述方法确定Kinect的安置角度：
根据人体所在平面的法向量和Kinect镜头平面的法向量计算人体所在平面和Kinect镜头平面的夹角：
当人体所在平面的法向量和Kinect镜头平面的法向量都指向人体所在平面的法向量和Kinect镜头平面之间或者是人体所在平面的法向量和Kinect镜头平面的法向量都指向人体所在平面的法向量和Kinect镜头平面之外，则人体所在平面的法向量和Kinect镜头平面的法向量计算人体所在平面和Kinect镜头平面的夹角为：
其中，为人体所在平面的法向量，为Kinect镜头平面的法向量；
当人体所在平面的法向量和Kinect镜头平面的法向量中，一个指向人体所在平面的法向量和Kinect镜头平面之间，另一个指向人体所在平面的法向量和Kinect镜头平面之外，则人体所在平面的法向量和Kinect镜头平面的法向量计算人体所在平面和Kinect镜头平面的夹角为：
步骤2具体按照下述步骤进行：
步骤2.1，使用Kinect对人体基本动作进行三维人体骨架追踪，得到人体深度视频和骨骼视频，将人体深度视频分解为多帧人体深度图像，骨骼视频分解为多帧骨骼图像；然后将相应的将人体深度图像和骨骼图像融合，得到多帧融合图像；
步骤2.2，提取每帧融合图像中的骨骼特征，提取骨骼特征中的关节点位置特征、空间位置特征和关节角度特征，然后定义人体基本动作，得到多个定义动作。
步骤2.1中先将每帧人体深度图像进行预处理，将每帧人体深度图像利用二值化思想进行处理，将人体深度图像中人体的颜色设定为黑色，将除人体外的颜色设定为白色后，再将预处理后的人体深度图像与相应的骨骼图像融合。
步骤2.2中，具体按照下述方法提取每帧融合图像的空间位置特征：
步骤2.2.1，提取每帧融合图像中的人体的左脚关节点F1、右脚关节点F2、左脚踝关节点F3、右脚踝关节点F4、左膝关节点F5、右膝关节点F6、左髋关节点F7、右髋关节点F8、髋中心关节点F0、脊柱关节点F9、右手关节点F10、左手关节点F11、右手腕关节点F12、左手腕关节点F13、左肘关节点F14、右肘关节点F15、右肩关节点F16、左肩关节点F19、颈关节点F18和头部关节点F19的空间位置，得到，以髋中心关节点为中心节点，得到初始空间位置特征计算公式：
M＝Fn-F0 (3)
步骤2.2.2，分别计算每个关节点Fn的X轴坐标与髋中心关节点F0的X轴坐标的差值，每个关节点Fn的Y轴坐标与髋中心关节点F0的Y轴坐标的差值，每个关节点Fn的Z轴坐标与髋中心关节点F0的Z轴坐标的差值：
其中，n＝1,2,3...,N，N＝19，为关节点Fn在第i帧融合图像中的X轴坐标，为髋关节中心点的X轴坐标；
其中，为关节点Fn在第i帧融合图像中的Y轴坐标，为髋关节中心点的Y轴坐标；
其中，为关节点Fn在第i帧融合图像中的Z轴坐标，为髋关节中心点的Z轴坐标；
步骤2.2.3，分别计算每帧融合图像的X轴差值向量、Y轴差值向量和Z轴差值向量，并根据每帧融合图像的X轴差值向量、Y轴差值向量和Z轴差值向量得到每帧融合图像的初始空间位置特征：
其中，为第i帧融合图像在X轴的差值向量，为第i帧融合图像在Y轴的差值向量，为第i帧融合图像在Z轴的差值向量，Mi为每帧融合图像的初始空间位置特征；
步骤2.2.4，将每帧融合图像的特征向量均进行归一化处理，得到每帧融合图像的空间位置特征M'i：
其中，(x0,y0,z0)为髋中心关节点的坐标，(xi,yi,zi)为其他关节点中任一关节点的坐标。
步骤2.2中具体按照下述方法提取每帧融合图像中的所有关节角度特征：
步骤a，得到组成每个关节角度的第一关节向量和第二关节向量：
根据组成第一关节向量的两个关节点的坐标得到第一关节向量；
根据组成第二关节向量的两个关节点的坐标得到第一关节向量；
步骤b，根据第一关节向量和第二关节向量得到第一关节向量和第二关节向量的关节角度。
步骤2.2中具体按照下述方法定义人体基本动作：
①抬左手/抬右手
右手关节点F10的Y轴坐标大于髋中心关节点F0的Y轴坐标即为抬右手动作；
左手关节点F11的Y轴坐标大于髋中心关节点F0的Y轴坐标即为抬左手动作；
②原地踏步
分别计算左膝关节点F5、右膝关节点F6在多帧融合图像中Y轴方向上的累积距离：
其中,yL为左膝关节点F5在多帧融合图像中Y轴方向上的累积距离，yR为右膝关节点F6在多帧融合图像中Y轴方向上的累积距离，yiL表示第i帧融合图像中左膝关节点F5的Y轴坐标，yiR第i帧融合图像中右膝关节点F6的Y轴坐标；
计算左膝关节点F5、右膝关节点F6在多帧融合图像中Y轴方向上的距离和disY：
dis Y＝yL+yR (14)
计算相邻的两帧融合图像中髋中心关节点的距离：
多帧融合图像中髋中心关节点的累计距离为：
若：
dis Y＞1.6 (17)
accDis tance＜0.8 (18)
则定义该动作为原地踏步；
③抬左腿/抬右腿
若左膝关节点F5和右膝关节点F6的坐标满足：
yKR-yKL≥0.18 (19)
则该动作为抬右腿动作，yKR为左膝关节F5的Y轴坐标，yKL为右膝关节点F6的Y轴坐标；
若左膝关节点F5和右膝关节点F6的坐标满足：
yKL-yKR≥0.18 (20)
则该动作为抬左腿动作；
④弯腰
若融合图像中髋中心关节点和脊柱关节点的坐标满足：
|zSB-zSM|＞0.2 (21)
则该动作为弯腰动作，其中zSB为髋中心关节点Z轴的坐标值，zSM为柱关节点Z轴的坐标值；
⑤晃头
计算融合图像中头部关节点F19、颈下脊柱关节点F9和右肩关节F16组成的关节夹角的余弦值cosSR：
其中，DisHSS为头部关节点F19和颈下脊柱关节点F9之间的欧式距离，DisSSSR为颈下脊柱关节点F9和右肩关节F16之间的欧式距离，DisHSR为头部关节点F19和右肩关节F16之间的欧式距离。
计算融合图像中头部关节点F19、颈下脊柱关节点F9和左肩关节点F19组成的关节夹角的余弦值：
其中，DisSSSL为颈下脊柱关节点F9和左肩关节点F19之间的欧式距离，DisHSL为头部关节点F19和左肩关节点F19之间的欧式距离；
若：
0.17＜cosSR＜0.98 (24)
或
0.17＜cosSL＜0.98 (25)
则该动作为晃头动作。
⑥行走
相邻的两帧融合图像中髋中心关节点F0在XZ平面上的距离disXZ为：
其中，xi为第i帧融合图像中髋中心关节点F0的X轴坐标，zi为第i帧融合图像中髋中心关节点F0的Z轴坐标；
则在多帧融合图像中髋中心关节点在XZ平面上的该累积距离accdisXZ为：
若髋中心关节点在XZ平面上的该累积距离满足：
accdisXZ＞0.6 (28)
则该动作为行走动作；
⑦左侧下腰/右侧下腰
若髋中心关节点的坐标和脊柱关节点的坐标满足：
|xSB-xSM|≥0.15 (29)
xSB-xSM＞0 (30)
则该动作为左侧下腰动作，其中xSB为髋中心关节点X轴上的坐标，
xSM为脊柱关节点X轴上的坐标；
若髋中心关节点的坐标和脊柱关节点的坐标满足：
|xSB-xSM|≥0.15 (31)
xSB-xSM＜0 (32)
则该动作为右侧下腰动作；
⑧左移/右移
计算多帧融合图像中脊柱关节点在X轴上的累计距离disMove：
若多帧融合图像中脊柱关节点在X轴上的累计距离满足：
disMove＞0.4 (33)
则该动作为右移动作；
若多帧融合图像中脊柱关节点在X轴上的累计距离满足：
disMove＜-0.4 (34)
则该动作为左移动作；
⑨上跳
计算多帧融合图像中左脚关节点F1和右脚关节点F2在Y轴方向累计距离，若多帧融合图像中左脚关节点F1和右脚关节点F2的累计距离均大于0.12，则该动作为上跳动作。
步骤3具体按照下述步骤进行：
步骤3.1，使用Kinect对待识别动作进行三维人体骨架追踪，得到待识别人体深度视频和待识别骨骼视频，将待识别人体深度视频分解为多帧待识别人体深度图像，所述待识别骨骼视频分解为多帧待识别骨骼图像，然后将相应的将待识别人体深度图像和待识别骨骼图像融合，得到多帧待识别融合图像；
步骤3.2，提取每帧待识别融合图像中的骨骼特征，提取骨骼特征中的关节点位置特征、空间位置特征和关节角度特征，将上述特征与多个定义动作均进行比对，得到待识别动作的动作类型。
本发明的有益效果是
本发明一种基于三维人体骨架的人体基本动作实时识别方法，能够通过Kinect实时获取骨骼数据对人体基本动作的动作进行实时识别。
附图说明
图1是本发明一种基于三维人体骨架的人体基本动作实时识别方法的步骤1中计算人体所在平面的法向量的示意图；
图2是本发明一种基于三维人体骨架的人体基本动作实时识别方法的步骤1中，人体所在平面的法向量和Kinect镜头平面的法向量中，一个指向人体所在平面的法向量和Kinect镜头平面之间，另一个指向人体所在平面的法向量和Kinect镜头平面之外的示意图；
图3是本发明一种基于三维人体骨架的人体基本动作实时识别方法的步骤1中，当人体所在平面的法向量和Kinect镜头平面的法向量都指向人体所在平面的法向量和Kinect镜头平面之间的示意图；
图4是本发明一种基于三维人体骨架的人体基本动作实时识别方法中人体深度图像二值化预处理效果图，图4a为预处理前的人体深度图像，图4b为预处理后的人体深度图像；
图5为本发明一种基于三维人体骨架的人体基本动作实时识别方法中得到的骨骼特征图；
图6为本发明一种基于三维人体骨架的人体基本动作实时识别方法中的识别捏过示意图；
其中，6a为上跳动作识别图，图6b为弯腰动作识别图，图6c为抬左手动作识别图，图6d为抬左腿动作识别图，图6e为右移动作识别图，图6f为跳跃动作识别图，图6g为下腰动作识别图，图6h为原地踏步动作识别图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
一种基于三维人体骨架的人体基本动作实时识别方法，其特征在于，具体按照下述方法进行：
步骤1，确定Kinect的安置角度：
计算人体所在平面的法向量：
如图1所示，在人体所在平面任取和其中和均为非零向量，且和相互不平行，则人体所在平面的法向量为：
根据人体所在平面的法向量和Kinect镜头平面的法向量计算人体所在平面和Kinect镜头平面的夹角：
当人体所在平面的法向量和Kinect镜头平面的法向量如图2所示都指向人体所在平面的法向量和Kinect镜头平面之间或者是人体所在平面的法向量和Kinect镜头平面的法向量都指向人体所在平面的法向量和Kinect镜头平面之外，则人体所在平面的法向量和Kinect镜头平面的法向量计算人体所在平面和Kinect镜头平面的夹角为：
其中，为人体所在平面的法向量，为Kinect镜头平面的法向量；
当人体所在平面的法向量和Kinect镜头平面的法向量中如图3所示，一个指向人体所在平面的法向量和Kinect镜头平面之间，另一个指向人体所在平面的法向量和Kinect镜头平面之外，则人体所在平面的法向量和Kinect镜头平面的法向量计算人体所在平面和Kinect镜头平面的夹角为：
步骤2，根据三维人体骨架定义人体基本动作，得到多个定义动作，具体按照下述步骤进行：
步骤2.1，使用Kinect对人体基本动作进行三维人体骨架追踪，得到人体深度视频和骨骼视频，将人体深度视频分解为多帧如图4a所示的人体深度图像，将骨骼视频分解为多帧骨骼图像；
将每帧人体深度图像进行预处理，将每帧人体深度图像利用二值化思想进行处理，将人体深度图像中人体的颜色设定为黑色，将除人体外的颜色设定为白色，得到如图4b所示的预处理后的人体深度图像；
将预处理后的人体深度图像与相应的骨骼图像融合，得到多帧融合图像；
步骤2.2，提取每帧融合图像中的如图5所示的骨骼特征，提取骨骼特征中的关节点位置特征、空间位置特征和关节角度特征，然后定义人体基本动作，得到多个定义动作：
具体按照下述方法提取每帧融合图像的空间位置特征：
步骤2.2.1，提取每帧融合图像中的人体的左脚关节点F1、右脚关节点F2、左脚踝关节点F3、右脚踝关节点F4、左膝关节点F5、右膝关节点F6、左髋关节点F7、右髋关节点F8、髋中心关节点F0、脊柱关节点F9、右手关节点F10、左手关节点F11、右手腕关节点F12、左手腕关节点F13、左肘关节点F14、右肘关节点F15、右肩关节点F16、左肩关节点F19、颈关节点F18和头部关节点F19的空间位置，得到，以髋中心关节点为中心节点，得到初始空间位置特征计算公式：
M＝Fn-F0 (4)
步骤2.2.2，分别计算每个关节点Fn的X轴坐标与髋中心关节点F0的X轴坐标的差值，每个关节点Fn的Y轴坐标与髋中心关节点F0的Y轴坐标的差值，每个关节点Fn的Z轴坐标与髋中心关节点F0的Z轴坐标的差值：
其中，n＝1,2,3...,N，N＝19，为关节点Fn在第i帧融合图像中的X轴坐标，为髋关节中心点的X轴坐标；
其中，为关节点Fn在第i帧融合图像中的Y轴坐标，为髋关节中心点的Y轴坐标；
其中，为关节点Fn在第i帧融合图像中的Z轴坐标，为髋关节中心点的Z轴坐标；
步骤2.2.3，分别计算每帧融合图像的X轴差值向量、Y轴差值向量和Z轴差值向量，并根据每帧融合图像的X轴差值向量、Y轴差值向量和Z轴差值向量得到每帧融合图像的初始空间位置特征：
其中，为第i帧融合图像在X轴的差值向量，为第i帧融合图像在Y轴的差值向量，为第i帧融合图像在Z轴的差值向量，Mi为每帧融合图像的初始空间位置特征；
步骤2.2.4，将每帧融合图像的特征向量均进行归一化处理，得到每帧融合图像的空间位置特征M'i：
其中，(x0,y0,z0)为髋中心关节点的坐标，(xi,yi,zi)为其他关节点中任一关节点的坐标；
具体按照下述方法提取每帧融合图像中的所有关节角度特征：
步骤a，得到组成每个关节角度的第一关节向量和第二关节向量：
根据组成第一关节向量的两个关节点的坐标得到第一关节向量；
根据组成第二关节向量的两个关节点的坐标得到第一关节向量；
步骤b，根据第一关节向量和第二关节向量得到第一关节向量和第二关节向量的关节角度。
具体按照下述方法定义人体基本动作：
①抬左手/抬右手
右手关节点F10的Y轴坐标大于髋中心关节点F0的Y轴坐标即为抬右手动作；
左手关节点F11的Y轴坐标大于髋中心关节点F0的Y轴坐标即为抬左手动作；
②原地踏步
分别计算左膝关节点F5、右膝关节点F6在多帧融合图像中Y轴方向上的累积距离：
其中,yL为左膝关节点F5在多帧融合图像中Y轴方向上的累积距离，yR为右膝关节点F6在多帧融合图像中Y轴方向上的累积距离，yiL表示第i帧融合图像中左膝关节点F5的Y轴坐标，yiR第i帧融合图像中右膝关节点F6的Y轴坐标；
计算左膝关节点F5、右膝关节点F6在多帧融合图像中Y轴方向上的距离和disY：
dis Y＝yL+yR (15)
计算相邻的两帧融合图像中髋中心关节点的距离：
多帧融合图像中髋中心关节点的累计距离为：
若：
dis Y＞1.6 (18)
accDis tance＜0.8 (19)
则定义该动作为原地踏步；
③抬左腿/抬右腿
若左膝关节点F5和右膝关节点F6的坐标满足：
yKR-yKL≥0.18 (20)
则该动作为抬右腿动作，yKR为左膝关节F5的Y轴坐标，yKL为右膝关节点F6的Y轴坐标；
若左膝关节点F5和右膝关节点F6的坐标满足：
yKL-yKR≥0.18 (21)
则该动作为抬左腿动作；
④弯腰
若融合图像中髋中心关节点和脊柱关节点的坐标满足：
|zSB-zSM|＞0.2 (22)
则该动作为弯腰动作，其中zSB为髋中心关节点Z轴的坐标值，zSM为柱关节点Z轴的坐标值；
⑤晃头
计算融合图像中头部关节点F19、颈下脊柱关节点F9和右肩关节F16组成的关节夹角的余弦值cosSR：
其中，DisHSS为头部关节点F19和颈下脊柱关节点F9之间的欧式距离，DisSSSR为颈下脊柱关节点F9和右肩关节F16之间的欧式距离，DisHSR为头部关节点F19和右肩关节F16之间的欧式距离。
计算融合图像中头部关节点F19、颈下脊柱关节点F9和左肩关节点F19组成的关节夹角的余弦值：
其中，DisSSSL为颈下脊柱关节点F9和左肩关节点F19之间的欧式距离，DisHSL为头部关节点F19和左肩关节点F19之间的欧式距离；
若：
0.17＜cosSR＜0.98 (25)
或
0.17＜cosSL＜0.98 (26)
则该动作为晃头动作。
⑥行走
相邻的两帧融合图像中髋中心关节点F0在XZ平面上的距离disXZ为：
其中，xi为第i帧融合图像中髋中心关节点F0的X轴坐标，zi为第i帧融合图像中髋中心关节点F0的Z轴坐标；
则在多帧融合图像中髋中心关节点在XZ平面上的该累积距离accdisXZ为：
若髋中心关节点在XZ平面上的该累积距离满足：
accdisXZ＞0.6 (29)
则该动作为行走动作；
⑦左侧下腰/右侧下腰
若髋中心关节点的坐标和脊柱关节点的坐标满足：
|xSB-xSM|≥0.15 (30)
xSB-xSM＞0 (31)
则该动作为左侧下腰动作，其中xSB为髋中心关节点X轴上的坐标，
xSM为脊柱关节点X轴上的坐标；
若髋中心关节点的坐标和脊柱关节点的坐标满足：
|xSB-xSM|≥0.15 (32)
xSB-xSM＜0 (33)
则该动作为右侧下腰动作；
⑧左移/右移
计算多帧融合图像中脊柱关节点在X轴上的累计距离disMove：
若多帧融合图像中脊柱关节点在X轴上的累计距离满足：
disMove＞0.4 (34)
则该动作为右移动作；
若多帧融合图像中脊柱关节点在X轴上的累计距离满足：
disMove＜-0.4 (35)
则该动作为左移动作；
⑨上跳
计算多帧融合图像中左脚关节点F1和右脚关节点F2在Y轴方向累计距离，若多帧融合图像中左脚关节点F1和右脚关节点F2的累计距离均大于0.12，则该动作为上跳动作。
步骤3，利用Kinect获取待识别人体动作，获取待识别人体动作的动作特征，将待识别人体动作与定义动作进行特征匹配，进行待识别人体动作的识别，具体按照下述步骤进行：
步骤3.1，使用Kinect对待识别动作进行三维人体骨架追踪，得到待识别人体深度视频和待识别骨骼视频，将待识别人体深度视频分解为多帧待识别人体深度图像，待识别骨骼视频分解为多帧待识别骨骼图像，然后将相应的将待识别人体深度图像和待识别骨骼图像融合，得到多帧待识别融合图像；
步骤3.2，提取每帧待识别融合图像中的骨骼特征，提取骨骼特征中的关节点位置特征、空间位置特征和关节角度特征，将上述特征与多个定义动作均进行比对，得到如图6所示的待识别动作的动作类型。

Claims (8)

1.一种基于三维人体骨架的人体基本动作实时识别方法，其特征在于，具体按照下述方法进行：
步骤1，确定Kinect的安置角度；
步骤2，根据三维人体骨架定义人体基本动作，得到多个定义动作；
步骤3，利用Kinect获取待识别人体动作，获取待识别人体动作的动作特征，将待识别人体动作与定义动作进行特征匹配，进行待识别人体动作的识别。
2.根据权利要求1所述的一种基于三维人体骨架的人体基本动作实时识别方法，其特征在于，所述步骤1中具体按照下述方法确定Kinect的安置角度：
根据人体所在平面的法向量和Kinect镜头平面的法向量计算人体所在平面和Kinect镜头平面的夹角：
当人体所在平面的法向量和Kinect镜头平面的法向量都指向人体所在平面的法向量和Kinect镜头平面之间或者是人体所在平面的法向量和Kinect镜头平面的法向量都指向人体所在平面的法向量和Kinect镜头平面之外，则人体所在平面的法向量和Kinect镜头平面的法向量计算人体所在平面和Kinect镜头平面的夹角为：
其中，为人体所在平面的法向量，为Kinect镜头平面的法向量；
当人体所在平面的法向量和Kinect镜头平面的法向量中，一个指向人体所在平面的法向量和Kinect镜头平面之间，另一个指向人体所在平面的法向量和Kinect镜头平面之外，则人体所在平面的法向量和Kinect镜头平面的法向量计算人体所在平面和Kinect镜头平面的夹角为：
3.根据权利要求1所述的一种基于三维人体骨架的人体基本动作实时识别方法，其特征在于，所述步骤2具体按照下述步骤进行：
步骤2.1，使用Kinect对人体基本动作进行三维人体骨架追踪，得到人体深度视频和骨骼视频，将所述人体深度视频分解为多帧人体深度图像，所述骨骼视频分解为多帧骨骼图像；然后将相应的将人体深度图像和骨骼图像融合，得到多帧融合图像；
步骤2.2，提取每帧所述融合图像中的骨骼特征，提取骨骼特征中的关节点位置特征、空间位置特征和关节角度特征，然后定义人体基本动作，得到多个定义动作。
4.根据权利要求3所述的一一种基于三维人体骨架的人体基本动作实时识别方法，其特征在于，所述步骤2.1中先将每帧人体深度图像进行预处理，将每帧人体深度图像利用二值化思想进行处理，将人体深度图像中人体的颜色设定为黑色，将除人体外的颜色设定为白色后，再将预处理后的人体深度图像与相应的骨骼图像融合。
5.根据权利要求3所述的一种基于三维人体骨架的人体基本动作实时识别方法，其特征在于，所述步骤2.2中，具体按照下述方法提取每帧融合图像的空间位置特征：
步骤2.2.1，提取每帧融合图像中的人体的左脚关节点F1、右脚关节点F2、左脚踝关节点F3、右脚踝关节点F4、左膝关节点F5、右膝关节点F6、左髋关节点F7、右髋关节点F8、髋中心关节点F0、脊柱关节点F9、右手关节点F10、左手关节点F11、右手腕关节点F12、左手腕关节点F13、左肘关节点F14、右肘关节点F15、右肩关节点F16、左肩关节点F19、颈关节点F18和头部关节点F19的空间位置，得到，以髋中心关节点为中心节点，得到初始空间位置特征计算公式：
M＝Fn-F0 (3)
步骤2.2.2，分别计算每个关节点Fn的X轴坐标与髋中心关节点F0的X轴坐标的差值，每个关节点Fn的Y轴坐标与髋中心关节点F0的Y轴坐标的差值，每个关节点Fn的Z轴坐标与髋中心关节点F0的Z轴坐标的差值：
其中，n＝1,2,3...,N，N＝19，为关节点Fn在第i帧融合图像中的X轴坐标，为髋关节中心点的X轴坐标；
其中，为关节点Fn在第i帧融合图像中的Y轴坐标，为髋关节中心点的Y轴坐标；
其中，为关节点Fn在第i帧融合图像中的Z轴坐标，为髋关节中心点的Z轴坐标；
步骤2.2.3，分别计算每帧融合图像的X轴差值向量、Y轴差值向量和Z轴差值向量，并根据每帧融合图像的X轴差值向量、Y轴差值向量和Z轴差值向量得到每帧融合图像的初始空间位置特征：
其中，为第i帧融合图像在X轴的差值向量，为第i帧融合图像在Y轴的差值向量，为第i帧融合图像在Z轴的差值向量，Mi为每帧融合图像的初始空间位置特征；
步骤2.2.4，将每帧融合图像的特征向量均进行归一化处理，得到每帧融合图像的空间位置特征M'i：
其中，(x0,y0,z0)为髋中心关节点的坐标，(xi,yi,zi)为其他关节点中任一关节点的坐标。
6.根据权利要求3所述的一种基于三维人体骨架的人体基本动作实时识别方法，其特征在于，所述步骤2.2中具体按照下述方法提取每帧融合图像中的所有关节角度特征：
步骤a，得到组成每个关节角度的第一关节向量和第二关节向量：
根据组成第一关节向量的两个关节点的坐标得到第一关节向量；
根据组成第二关节向量的两个关节点的坐标得到第一关节向量；
步骤b，根据第一关节向量和第二关节向量得到第一关节向量和第二关节向量的关节角度。
7.根据权利要求3所述的一种基于三维人体骨架的人体动作实时识别方法，其特征在于，所述步骤2.2中具体按照下述方法定义人体基本动作：
①抬左手/抬右手
右手关节点F10的Y轴坐标大于髋中心关节点F0的Y轴坐标即为抬右手动作；
左手关节点F11的Y轴坐标大于髋中心关节点F0的Y轴坐标即为抬左手动作；
②原地踏步
分别计算左膝关节点F5、右膝关节点F6在多帧融合图像中Y轴方向上的累积距离：
其中,yL为左膝关节点F5在多帧融合图像中Y轴方向上的累积距离，yR为右膝关节点F6在多帧融合图像中Y轴方向上的累积距离，yiL表示第i帧融合图像中左膝关节点F5的Y轴坐标，yiR第i帧融合图像中右膝关节点F6的Y轴坐标；
计算左膝关节点F5、右膝关节点F6在多帧融合图像中Y轴方向上的距离和disY：
disY＝yL+yR (14)
计算相邻的两帧融合图像中髋中心关节点的距离：
多帧融合图像中髋中心关节点的累计距离为：
若：
disY＞1.6 (17)
accDistance＜0.8 (18)
则定义该动作为原地踏步；
③抬左腿/抬右腿
若左膝关节点F5和右膝关节点F6的坐标满足：
yKR-yKL≥0.18 (19)
则该动作为抬右腿动作，yKR为左膝关节F5的Y轴坐标，yKL为右膝关节点F6的Y轴坐标；
若左膝关节点F5和右膝关节点F6的坐标满足：
yKL-yKR≥0.18 (20)
则该动作为抬左腿动作；
④弯腰
若融合图像中髋中心关节点和脊柱关节点的坐标满足：
|zSB-zSM|＞0.2 (21)
则该动作为弯腰动作，其中zSB为髋中心关节点Z轴的坐标值，zSM为柱关节点Z轴的坐标值；
⑤晃头
计算融合图像中头部关节点F19、脊柱关节点F9和右肩关节F16组成的关节夹角的余弦值cosSR：
其中，DisHSS为头部关节点F19与脊柱关节点F9之间的欧式距离，DisSSSR为脊柱关节点F9与右肩关节F16之间的欧氏距离，DisHSR为头部关节点F19与右肩关节F16之间的欧氏距离；
计算融合图像中头部关节点F19、脊柱关节点F9和左肩关节点F19组成的关节夹角的余弦值：
其中，DisSSSL为脊柱关节点F9与左肩关节点F19之间的欧氏距离，DisSSSL为头部关节点F19与左肩关节点F19之间的欧氏距离；
若：
0.17＜cosSR＜0.98 (24)
且
0.17＜cosSL＜0.98 (25)
则该动作为晃头动作。
⑥行走
相邻的两帧融合图像中髋中心关节点F0在XZ平面上的距离disXZ为：
其中，xi为第i帧融合图像中髋中心关节点F0的X轴坐标，zi为第i帧融合图像中髋中心关节点F0的Z轴坐标；
则在多帧融合图像中髋中心关节点在XZ平面上的该累积距离accdisXZ为：
若髋中心关节点在XZ平面上的该累积距离满足：
accdisXZ＞0.6 (28)
则该动作为行走动作；
⑦左侧下腰/右侧下腰
若髋中心关节点的坐标和脊柱关节点的坐标满足：
|xSB-xSM|≥0.15 (29)
xSB-xSM＞0 (30)
则该动作为左侧下腰动作，其中xSB为髋中心关节点X轴上的坐标，
xSM为脊柱关节点X轴上的坐标；
若髋中心关节点的坐标和脊柱关节点的坐标满足：
|xSB-xSM|≥0.15 (31)
xSB-xSM＜0 (39)
则该动作为右侧下腰动作；
⑧左移/右移
计算多帧融合图像中脊柱关节点在X轴上的累计距离disMove：
若多帧融合图像中脊柱关节点在X轴上的累计距离满足：
disMove＞0.4 (40)
则该动作为右移动作；
若多帧融合图像中脊柱关节点在X轴上的累计距离满足：
disMove＜-0.4 (41)
则该动作为左移动作；
⑨上跳
计算多帧融合图像中左脚关节点F1和右脚关节点F2在Y轴方向累计距离，若多帧融合图像中左脚关节点F1和右脚关节点F2的累计距离均大于0.12，则该动作为上跳动作。
8.根据权利要求1所述的一种基于三维人体骨架的人体基本动作实时识别方法，其特征在于，所述步骤3具体按照下述步骤进行：
步骤3.1，使用Kinect对待识别动作进行三维人体骨架追踪，得到待识别人体深度视频和待识别骨骼视频，将所述待识别人体深度视频分解为多帧待识别人体深度图像，所述待识别骨骼视频分解为多帧待识别骨骼图像，然后将相应的将待识别人体深度图像和待识别骨骼图像融合，得到多帧待识别融合图像；
步骤3.2，提取每帧所述待识别融合图像中的骨骼特征，提取骨骼特征中的关节点位置特征、空间位置特征和关节角度特征，将上述特征与多个定义动作均进行比对，得到待识别动作的动作类型。
CN201810916374.6A 2018-08-13 2018-08-13 一种基于三维人体骨架的人体基本动作实时识别方法 Active CN109344694B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810916374.6A CN109344694B (zh) 2018-08-13 2018-08-13 一种基于三维人体骨架的人体基本动作实时识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810916374.6A CN109344694B (zh) 2018-08-13 2018-08-13 一种基于三维人体骨架的人体基本动作实时识别方法

Publications (2)

Publication Number Publication Date
CN109344694A true CN109344694A (zh) 2019-02-15
CN109344694B CN109344694B (zh) 2022-03-22

Family

ID=65294123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810916374.6A Active CN109344694B (zh) 2018-08-13 2018-08-13 一种基于三维人体骨架的人体基本动作实时识别方法

Country Status (1)

Country Link
CN (1) CN109344694B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948579A (zh) * 2019-03-28 2019-06-28 广州凡拓数字创意科技股份有限公司 一种人体肢体语言识别方法及***
CN110210284A (zh) * 2019-04-12 2019-09-06 哈工大机器人义乌人工智能研究院 一种人体姿态行为智能评价方法
CN110215216A (zh) * 2019-06-11 2019-09-10 中国科学院自动化研究所 基于骨骼关节点分区域分层次的行为识别方法、***
CN110290352A (zh) * 2019-06-28 2019-09-27 Oppo广东移动通信有限公司 监控方法及装置、电子设备以及存储介质
CN110689609A (zh) * 2019-09-27 2020-01-14 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN112270276A (zh) * 2020-11-02 2021-01-26 重庆邮电大学 一种基于Kinect与WiFi数据联合的复杂环境中的行为识别的方法
CN113065505A (zh) * 2021-04-15 2021-07-02 中国标准化研究院 身体动作快速识别方法及***
CN114267088A (zh) * 2022-03-02 2022-04-01 北京中科睿医信息科技有限公司 一种步态信息的处理方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8929600B2 (en) * 2012-12-19 2015-01-06 Microsoft Corporation Action recognition based on depth maps
US20160042227A1 (en) * 2014-08-06 2016-02-11 BAE Systems Information and Electronic Systems Integraton Inc. System and method for determining view invariant spatial-temporal descriptors for motion detection and analysis
CN105930767A (zh) * 2016-04-06 2016-09-07 南京华捷艾米软件科技有限公司 一种基于人体骨架的动作识别方法
CN106022213A (zh) * 2016-05-04 2016-10-12 北方工业大学 一种基于三维骨骼信息的人体动作识别方法
CN107180235A (zh) * 2017-06-01 2017-09-19 陕西科技大学 基于Kinect的人体动作识别算法
CN107301370A (zh) * 2017-05-08 2017-10-27 上海大学 一种基于Kinect三维骨架模型的肢体动作识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8929600B2 (en) * 2012-12-19 2015-01-06 Microsoft Corporation Action recognition based on depth maps
US20160042227A1 (en) * 2014-08-06 2016-02-11 BAE Systems Information and Electronic Systems Integraton Inc. System and method for determining view invariant spatial-temporal descriptors for motion detection and analysis
CN105930767A (zh) * 2016-04-06 2016-09-07 南京华捷艾米软件科技有限公司 一种基于人体骨架的动作识别方法
CN106022213A (zh) * 2016-05-04 2016-10-12 北方工业大学 一种基于三维骨骼信息的人体动作识别方法
CN107301370A (zh) * 2017-05-08 2017-10-27 上海大学 一种基于Kinect三维骨架模型的肢体动作识别方法
CN107180235A (zh) * 2017-06-01 2017-09-19 陕西科技大学 基于Kinect的人体动作识别算法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GEORGIOS TH. PAPADOPOULOS 等: "Real-time Skeleton-tracking-based Human Action Recognition Using Kinect Data", 《HTTPS://CITESEERX.IST.PSU.EDU/VIEWDOC/DOWNLOAD?DOI=10.1.1.720.9746&REP=REP1&TYPE=PDF》 *
MENG LI 等: "Human Action Recognition via Skeletal and Depth based Feature Fusion", 《HTTP://NRL.NORTHUMBRIA.AC.UK/ID/EPRINT/28250/1/MIG2016ACTION[1].PDF》 *
刘拴朋: "基于图像特征和骨架特征融合的Kinect人体动作识别", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
扆泽林: "基于人体三维骨架模型的特定动作识别", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948579A (zh) * 2019-03-28 2019-06-28 广州凡拓数字创意科技股份有限公司 一种人体肢体语言识别方法及***
CN110210284A (zh) * 2019-04-12 2019-09-06 哈工大机器人义乌人工智能研究院 一种人体姿态行为智能评价方法
CN110215216A (zh) * 2019-06-11 2019-09-10 中国科学院自动化研究所 基于骨骼关节点分区域分层次的行为识别方法、***
CN110290352A (zh) * 2019-06-28 2019-09-27 Oppo广东移动通信有限公司 监控方法及装置、电子设备以及存储介质
CN110689609A (zh) * 2019-09-27 2020-01-14 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN112270276A (zh) * 2020-11-02 2021-01-26 重庆邮电大学 一种基于Kinect与WiFi数据联合的复杂环境中的行为识别的方法
CN112270276B (zh) * 2020-11-02 2022-05-06 重庆邮电大学 一种基于Kinect与WiFi数据联合的复杂环境中的行为识别的方法
CN113065505A (zh) * 2021-04-15 2021-07-02 中国标准化研究院 身体动作快速识别方法及***
CN113065505B (zh) * 2021-04-15 2023-05-09 中国标准化研究院 身体动作快速识别方法及***
CN114267088A (zh) * 2022-03-02 2022-04-01 北京中科睿医信息科技有限公司 一种步态信息的处理方法、装置及电子设备

Also Published As

Publication number Publication date
CN109344694B (zh) 2022-03-22

Similar Documents

Publication Publication Date Title
CN109344694A (zh) 一种基于三维人体骨架的人体基本动作实时识别方法
CN111144217B (zh) 一种基于人体三维关节点检测的动作评价方法
CN106022213B (zh) 一种基于三维骨骼信息的人体动作识别方法
US20180047175A1 (en) Method for implementing human skeleton tracking system based on depth data
CN109299659A (zh) 一种基于rgb相机和深度学习的人体姿态识别方法与***
CN112069933A (zh) 基于体态识别和人体生物力学的骨骼肌肉受力估计方法
CN114724241A (zh) 基于骨骼点距离的动作识别方法、装置、设备及存储介质
CN107767335A (zh) 一种基于人脸识别特征点定位的图像融合方法及***
CN105930767A (zh) 一种基于人体骨架的动作识别方法
CN104200200B (zh) 融合深度信息和灰度信息实现步态识别的***及方法
CN109389054A (zh) 基于自动图像识别和动作模型对比的智能镜子设计方法
CN110561399B (zh) 用于运动障碍病症分析的辅助拍摄设备、控制方法和装置
CN112906604A (zh) 一种基于骨骼和rgb帧融合的行为识别方法、装置及***
CN105664462A (zh) 基于人体姿态估计算法的辅助训练***
Pandey et al. Hand gesture recognition for sign language recognition: A review
CN106815855A (zh) 基于产生式和判别式结合的人体运动跟踪方法
CN117671738B (zh) 基于人工智能的人体姿态识别***
CN110263605A (zh) 基于二维人体姿态估计的行人服饰颜色识别方法及装置
CN109766782A (zh) 基于svm的实时肢体动作识别方法
CN106909890A (zh) 一种基于部位聚类特征的人体行为识别方法
CN105069745A (zh) 基于普通图像传感器及增强现实技术的带表情变脸***及方法
CN111881888A (zh) 基于姿态识别的智能桌控制方法及装置
CN110032932A (zh) 一种基于视频处理和决策树设定阈值的人体姿态识别方法
CN112966628A (zh) 一种基于图卷积神经网络的视角自适应多目标摔倒检测方法
CN105869217A (zh) 一种虚拟真人试衣方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Ning Xiaojuan

Inventor after: Wang Yinghui

Inventor after: Li Tianyang

Inventor after: Li Jianming

Inventor before: Wang Yinghui

Inventor before: Li Tianyang

Inventor before: Li Jianming

Inventor before: Ning Xiaojuan

GR01 Patent grant
GR01 Patent grant