CN104298358B - 一种基于关节空间位置数据的动态3d手势识别方法 - Google Patents

一种基于关节空间位置数据的动态3d手势识别方法 Download PDF

Info

Publication number
CN104298358B
CN104298358B CN201410589578.5A CN201410589578A CN104298358B CN 104298358 B CN104298358 B CN 104298358B CN 201410589578 A CN201410589578 A CN 201410589578A CN 104298358 B CN104298358 B CN 104298358B
Authority
CN
China
Prior art keywords
gesture
point
position data
human body
joint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410589578.5A
Other languages
English (en)
Other versions
CN104298358A (zh
Inventor
曾子辕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conductor (xiamen) Technology Co Ltd
Original Assignee
Conductor (xiamen) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conductor (xiamen) Technology Co Ltd filed Critical Conductor (xiamen) Technology Co Ltd
Priority to CN201410589578.5A priority Critical patent/CN104298358B/zh
Publication of CN104298358A publication Critical patent/CN104298358A/zh
Application granted granted Critical
Publication of CN104298358B publication Critical patent/CN104298358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于关节空间位置数据的动态3D手势识别方法，其特征在于，包括以下步骤：通过与计算机相连接的体感摄像头采集并识别出人体骨骼位置信息，通过人体各关节参考点的空间位置数据以及体感摄像头自身姿态信息，对人体骨骼位置信息进行正向化与归一化处理；根据不同的手势动作，选定不同的关节参考点；针对每个手势的运动模式特点，根据判据顺序及判据顺序间的时间要求进行判定；当缓存中最新的一段连续可靠的人体各关节参考点的空间位置数据符合该手势的判据顺序及判据顺序间的时间要求时，判定为人体做出该手势。本发明基于体感摄像头进行动态3D手势的识别，方法简单实用精确。

Description

一种基于关节空间位置数据的动态3D手势识别方法
技术领域
本发明涉及3D手势识别领域，具体说是一种基于关节空间位置数据的动态3D手势识别方法。
背景技术
随着触摸屏技术的不断推广，用户已经适应并逐渐熟悉了与机器的互动。现在，人机互动技术已迈上了更高的台阶，进入了手势识别时代，不过这也并不是一帆风顺的。手势识别现已在娱乐及游戏市场出现，然而这种技术将对我们的日常生活产生怎样的影响呢？不妨假想一下，有人坐在沙发上，只需一挥手就能操控灯光和电视，或者汽车自动检测附近是否有行人。随着手势识别技术支持人机互动的不断深入发展，这些及其它功能将很快得以实现。手势识别技术长期以来一直采用2D视觉进行研究，但随着 3D 传感器技术的出现，3D手势识别技术将得到更多的发展。
发明内容
本发明的目的在于提供一种基于关节空间位置数据的动态3D手势识别方法。
本发明的技术方案在于：一种基于关节空间位置数据的动态3D手势识别方法，其特征在于，包括以下步骤：
S01：通过与计算机相连接的体感摄像头采集并识别出人体骨骼位置信息，将采集并识别出的人体骨骼位置信息连同获取时间一并存入缓存，所述人体骨骼位置信息包含人体各关节参考点的空间位置数据；
S02：基于缓存中已有的人体骨骼位置信息对存入的人体骨骼位置信息进行预处理；
S03：通过人体各关节参考点的空间位置数据以及体感摄像头自身姿态信息，对人体骨骼位置信息进行正向化与归一化处理；
S04：根据不同的手势动作，选定不同的关节参考点；
S05：选取缓存中最新的一段连续可靠的人体各关节参考点的空间位置数据，针对不同的目标手势，设定如下判据：手势动作区域、手势运动时间、目标点滞留时间、目标点运动距离、目标点运动方向；针对每个手势的运动模式特点，再根据判据顺序及判据顺序间的时间要求进行判定；
S06：当缓存中最新的一段连续可靠的人体各关节参考点的空间位置数据符合该手势的判据顺序及判据顺序间的时间要求时，判定为人体做出该手势。
在本发明一实施例中，所述步骤S06之后还包括步骤S07：通过这段缓存中存储的人体骨骼位置信息，选取人体各关节参考点的空间位置数据计算每一帧的动作发生点位置；针对不同的手势动作获得目标关节点的运动路径，基于不同手势的特点，由运动路径及动作发生点得到动作的意向方向以及意向方向的可靠范围。
在本发明一实施例中，所述步骤S07中，如右手挥手动作，选取右手出现在左右区的极左、极右位置以及期间右肘的空间平均位置，计算三点所成平面的向量作为动作意向方向，选取肩膀中点的空间平均位置作为动作发生点，意向的可靠范围为动作发生点与右手极左极右位置所勾勒出的扇形范围。
在本发明一实施例中，所述体感摄像头为Kinect 或华硕 Asus Xtion。
在本发明一实施例中，所述预处理具体为：通过临近几帧人体骨骼位置信息在空间分布的方差判断存入的人体骨骼位置信息是否可靠，并对可靠数据的人体各关节参考点空间位置数据进行滑动平均处理。
在本发明一实施例中，所述人体各关节参考点包括：肩膀中点、左肩端点、右肩端点、腹部中点、左手腕、左肘、右手腕、右肘、头部。
在本发明一实施例中，所述步骤S04中，如右手挥手动作选取右手腕、右肘、右肩端点、肩膀中点、头部、腹部中点作为参考点。
本发明基于体感摄像头进行动态3D手势的识别，方法简单实用精确。
附图说明
图1为本发明一实施例的方法流程图。
图2为本发明另一实施例的方法流程图。
具体实施方式
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图，作详细说明如下，但本发明并不限于此。
如图1所示，本发明提供一种基于关节空间位置数据的动态3D手势识别方法，包括以下步骤：
S01：通过与计算机相连接的体感摄像头采集并识别出人体骨骼位置信息，将采集并识别出的人体骨骼位置信息连同获取时间一并存入计算机缓存，所述人体骨骼位置信息包含人体各关节参考点的空间位置数据；
S02：基于计算机缓存中已有的人体骨骼位置信息对存入的人体骨骼位置信息进行预处理；
S03：通过人体各关节参考点的空间位置数据以及体感摄像头自身姿态信息（体感摄像头重力感应器所测量到的自身姿态信息如“直立”、“水平”、“横向”等），对人体骨骼位置信息进行正向化与归一化处理；
S04：根据不同的手势动作，选定不同的关节参考点；
S05：选取缓存中最新的一段连续可靠的人体各关节参考点的空间位置数据，针对不同的目标手势，设定如下判据及容许误差：手势动作区域、手势运动时间、目标点滞留时间、目标点运动距离、目标点运动方向等；针对每个手势的运动模式特点，再根据判据顺序及判据顺序间的时间要求进行判定；
S06：当缓存中最新的一段连续可靠的人体各关节参考点的空间位置数据符合该手势的判据顺序及判据顺序间的时间要求时，判定为人体做出该手势。
如图2所示，本发明另一实施例中，所述步骤S06之后还包括步骤S07：通过这段缓存中存储的人体骨骼位置信息，选取人体各关节参考点的空间位置数据计算每一帧的动作发生点位置；针对不同的手势动作获得目标关节点的运动路径，基于不同手势的特点，由运动路径及动作发生点得到动作的意向方向以及意向方向的可靠范围。
所述步骤S07中，如右手挥手动作，选取右手出现在左右区的极左、极右位置以及期间右肘的空间平均位置，计算三点所成平面的向量作为动作意向方向，选取肩膀中点的空间平均位置作为动作发生点，意向的可靠范围为动作发生点与右手极左极右位置所勾勒出的扇形范围。
所述体感摄像头型号为Kinect 体感摄像头或华硕 Asus Xtion体感摄像头。
所述预处理具体为：通过临近几帧人体骨骼位置信息在空间分布的方差判断存入的人体骨骼位置信息是否可靠，并对可靠数据的人体各关节参考点空间位置数据进行滑动平均处理。
所述人体各关节参考点包括：肩膀中点、左肩端点、右肩端点、腹部中点、左手腕、左肘、右手腕、右肘、头部等。
所述步骤S04中，如右手挥手动作选取右手腕、右肘、右肩端点、肩膀中点、头部、腹部中点作为参考点。
所述步骤S05和步骤S06中，如右手挥手动作，手势动作区域的判断为右手腕在右肘上方1/3个臂展长度，以竖直向上为对称轴，左区为右肘横坐标向左8公分，右区为右肘横坐标向右8公分，当右手横坐标出现在左区-右区-左区或右区-左区-右区，且每次切换的时间间隔在1秒以内，则判定为右手做出挥手手势；同时考虑到人体工学特点，除竖直向上的对称轴外，增加向右偏斜的几个对称轴以便适应用户动作，任一个对称轴下的判定关系成立则表示右手做出挥手手势。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (6)

1.一种基于关节空间位置数据的动态3D手势识别方法，其特征在于，包括以下步骤：
S01：通过与计算机相连接的体感摄像头采集并识别出人体骨骼位置信息，将采集并识别出的人体骨骼位置信息连同获取时间一并存入缓存，所述人体骨骼位置信息包含人体各关节参考点的空间位置数据；
S02：基于缓存中已有的人体骨骼位置信息对存入的人体骨骼位置信息进行预处理；
S03：通过人体各关节参考点的空间位置数据以及体感摄像头自身姿态信息，对人体骨骼位置信息进行正向化与归一化处理；
S04：根据不同的手势动作，选定不同的关节参考点；
S05：选取缓存中最新的一段连续可靠的人体各关节参考点的空间位置数据，针对不同的目标手势，设定如下判据：手势动作区域、手势运动时间、目标点滞留时间、目标点运动距离、目标点运动方向；针对每个手势的运动模式特点，再根据判据顺序及判据顺序间的时间要求进行判定；
S06：当缓存中最新的一段连续可靠的人体各关节参考点的空间位置数据符合该手势的判据顺序及判据顺序间的时间要求时，判定为人体做出该手势；
S07：通过这段缓存中存储的人体骨骼位置信息，选取人体各关节参考点的空间位置数据计算每一帧的动作发生点位置；针对不同的手势动作获得目标关节点的运动路径，基于不同手势的特点，由运动路径及动作发生点得到动作的意向方向以及意向方向的可靠范围。
2.根据权利要求1所述的一种基于关节空间位置数据的动态3D手势识别方法，其特征在于：
所述步骤S07中，当右手挥手动作时，选取右手出现在左右区的极左、极右位置以及期间右肘的空间平均位置，计算三点所成平面的向量作为动作意向方向，选取肩膀中点的空间平均位置作为动作发生点，意向的可靠范围为动作发生点与右手极左极右位置所勾勒出的扇形范围。
3.根据权利要求1所述的一种基于关节空间位置数据的动态3D手势识别方法，其特征在于：所述体感摄像头为Kinect或华硕AsusXtion。
4.根据权利要求1所述的一种基于关节空间位置数据的动态3D手势识别方法，其特征在于，所述预处理具体为：通过临近几帧人体骨骼位置信息在空间分布的方差判断存入的人体骨骼位置信息是否可靠，并对可靠数据的人体各关节参考点空间位置数据进行滑动平均处理。
5.根据权利要求1所述的一种基于关节空间位置数据的动态3D手势识别方法，其特征在于：所述人体各关节参考点包括：肩膀中点、左肩端点、右肩端点、腹部中点、左手腕、左肘、右手腕、右肘、头部。
6.根据权利要求1所述的一种基于关节空间位置数据的动态3D手势识别方法，其特征在于：所述步骤S04中，当右手挥手动作时，选取右手腕、右肘、右肩端点、肩膀中点、头部、腹部中点作为参考点。
CN201410589578.5A 2014-10-29 2014-10-29 一种基于关节空间位置数据的动态3d手势识别方法 Active CN104298358B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410589578.5A CN104298358B (zh) 2014-10-29 2014-10-29 一种基于关节空间位置数据的动态3d手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410589578.5A CN104298358B (zh) 2014-10-29 2014-10-29 一种基于关节空间位置数据的动态3d手势识别方法

Publications (2)

Publication Number Publication Date
CN104298358A CN104298358A (zh) 2015-01-21
CN104298358B true CN104298358B (zh) 2017-11-21

Family

ID=52318120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410589578.5A Active CN104298358B (zh) 2014-10-29 2014-10-29 一种基于关节空间位置数据的动态3d手势识别方法

Country Status (1)

Country Link
CN (1) CN104298358B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105302310B (zh) * 2015-11-12 2018-08-31 姚焕根 一种手势识别装置、***及方法
CN106914016B (zh) * 2015-12-25 2020-12-04 北京奇虎科技有限公司 游戏选手确定方法及装置
CN108108709B (zh) * 2017-12-29 2020-10-16 纳恩博（北京）科技有限公司 一种识别方法及装置、计算机存储介质
CN108399367B (zh) * 2018-01-31 2020-06-23 深圳市阿西莫夫科技有限公司 手部动作识别方法、装置、计算机设备及可读存储介质
CN109213189A (zh) * 2018-07-19 2019-01-15 安徽共生物流科技有限公司 一种无人机巡线***及动作判定方法
CN112257639A (zh) * 2020-10-30 2021-01-22 福州大学 基于人体骨架的学生学习行为识别方法
CN115775347A (zh) * 2021-11-04 2023-03-10 中国科学院深圳先进技术研究院 基于融合信息的太极拳识别方法、终端设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509092A (zh) * 2011-12-12 2012-06-20 北京华达诺科技有限公司 体感手势识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101483713B1 (ko) * 2008-06-30 2015-01-16 삼성전자 주식회사 모션 캡쳐 장치 및 모션 캡쳐 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509092A (zh) * 2011-12-12 2012-06-20 北京华达诺科技有限公司 体感手势识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《面向多方式人际交互的肢体动作识别研究》;曹雏清;《中国博士学位论文全文数据库信息科技辑》;20140315(第3期);第29-34页 *

Also Published As

Publication number Publication date
CN104298358A (zh) 2015-01-21

Similar Documents

Publication Publication Date Title
CN104298358B (zh) 一种基于关节空间位置数据的动态3d手势识别方法
EP2674913B1 (en) Three-dimensional object modelling fitting & tracking.
US9354709B1 (en) Tilt gesture detection
KR102036978B1 (ko) 라이브니스 검출 방법 및 디바이스, 및 아이덴티티 인증 방법 및 디바이스
Sminchisescu et al. Covariance scaled sampling for monocular 3D body tracking
CN102609942B (zh) 使用深度图进行移动相机定位
KR101738569B1 (ko) 제스쳐 인식 방법 및 시스템
US9159134B2 (en) Method and apparatus for estimating a pose
CN105362048B (zh) 基于移动设备的障碍物信息提示方法、装置及移动设备
CN107787497B (zh) 用于在基于用户的空间坐标系中检测手势的方法和装置
JP4149213B2 (ja) 指示位置検出装置及び自律ロボット
CN111095164B (zh) 用于依据姿态来检测用户输入的方法和设备
US8428306B2 (en) Information processor and information processing method for performing process adapted to user motion
CN108931983A (zh) 地图构建方法及其机器人
US20120163723A1 (en) Classification of posture states
US9081999B2 (en) Head recognition from depth image
US20140139429A1 (en) System and method for computer vision based hand gesture identification
CN105849673A (zh) 基于自然三维手势的人机导览方法
CN105393281A (zh) 手势判定装置和方法、手势操作装置、程序以及记录介质
CN106826809A (zh) 位置姿势测量装置以及机器人***
CA2804902A1 (en) A method circuit and system for human to machine interfacing by hand gestures
CN109760627A (zh) 免伸手式访问方法
KR100808543B1 (ko) 스테레오 비전 센서를 이용한 사람 동작 정보의 획득 장치및 방법
JP6320016B2 (ja) 対象物検出装置、対象物検出方法およびプログラム
CN116416518A (zh) 智能避开障碍的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 361000 Fujian province Xiamen Software Park Road No. 31 205 unit two expected

Applicant after: The conductor (Xiamen) Technology Co. Ltd.

Address before: 361009 Fujian province Xiamen software park two sunrise Road No. 22 Room 102, unit I19

Applicant before: CONDUCTOR (XIAMEN) INTELLIGENT TECHNOLOGY CO., LTD.

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant