CN110334644A - 基于机器视觉的手势识别方法 - Google Patents

基于机器视觉的手势识别方法 Download PDF

Info

Publication number
CN110334644A
CN110334644A CN201910588097.5A CN201910588097A CN110334644A CN 110334644 A CN110334644 A CN 110334644A CN 201910588097 A CN201910588097 A CN 201910588097A CN 110334644 A CN110334644 A CN 110334644A
Authority
CN
China
Prior art keywords
gesture
gestures
method based
identification
machine vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910588097.5A
Other languages
English (en)
Other versions
CN110334644B (zh
Inventor
马宏宾
罗嫚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gongji Intelligent Technology Suzhou Co ltd
Original Assignee
Gongji Intelligent Technology Suzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gongji Intelligent Technology Suzhou Co ltd filed Critical Gongji Intelligent Technology Suzhou Co ltd
Priority to CN201910588097.5A priority Critical patent/CN110334644B/zh
Publication of CN110334644A publication Critical patent/CN110334644A/zh
Application granted granted Critical
Publication of CN110334644B publication Critical patent/CN110334644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)

Abstract

本发明基于机器视觉的手势识别方法，在深度图像上，利用支持向量机训练基于HOG特征的手势分类器，用于图像序列中手势位置的检测；通过检测得到初始位置后，使用CAMSHIFT跟踪手势目标，定位出每一帧图像中手所在的区域；通过种子点生长算法和基于形状、深度信息的弱分割器交替级联，可以实现对手势区域的精确分割；采用基于手势几何特征的模板匹配法和实现端到端识别的卷积神经网络进行识别手势。实现高精度以及高鲁棒性的识别效果及实现对同一图像中多个手势的检出和识别。

Description

基于机器视觉的手势识别方法
技术领域
本发明涉及智能控制技术，特别涉及智能识别技术领域，具体的，其展示一种基于机器视觉的手势识别方法。
背景技术
人机交互技术(Human-Computer Interface, HCI）主要关注于人类和计算设备之间如何进行有效的信息交换。现阶段而言，发展较为成熟的人机交互方式包括基于语音分析的交互技术、基于脑电分析的技术、人类肢体动作的识别技术以及手势识别技术等等。
这些交互方式都在各自的应用领域发挥着革命性的作用。对比上述几种人机交互手段，手势作为一种简单的肢体语言，有很强的表意功能，它在人们的日常交流中发挥着等同于语音的重要作用。
随着计算机处理性能的提高，手势识别相关理论算法的成熟，手势交互作为一种自然、高效的交互手段，正在逐步成为智能人机交互的重要组成部分。
因此，有必要提供一种机器视觉的手势识别方法来实现上述目的。
发明内容
本发明的目的是提供一种基于机器视觉的手势识别方法。
技术方案如下：
一种基于机器视觉的手势识别方法，使用摄像头来获取图像信息，通过检测图像中的手势的位置并提取手势特征进行手势识别；具体步骤为：
1）手势检测：采用HOG+SVM 的方法去检测图像中手势所在的位置；
2）利用跟踪算法来对手势进行连续跟踪：跟踪算法为CAMSHIFT 跟踪算法可以很好的适应手势的变化，它会自适应的调整跟踪窗口的尺寸以适配图像中手势区域，且可应用于多个手势的同时跟踪，实现对多个手势快速、精准的跟踪；
3）对手势区域进行进一步精确的分割：基于手势检测和跟踪算法得到的手势所在局部区域，通过多次区域种子点生长和基于深度、形状信息的弱分割方法交替级联操作，以实现对手势实现像素级的高精度分割；
4）采用基于几何特征的模板匹配法或实现端到端识别的卷积神经网络对分割得到的手势区域完成识别。
进一步的，步骤1）中，考虑到手势的多变性，如果针对每一个手势均训练一个分类器，会极大的提高***的复杂性以及加大手势检测所需时间，基于HOG 描述子，通过支持向量机训练用于检测该手势的分类器。
进一步的，步骤4）中，基于几何特征的模板匹配算法，为手工编辑手势几何特征，再利用模板匹配法衡量新样本手势和模板手势在特征空间的距离，找到和样本最近的模板即为匹配的结果。
进一步的，步骤4）中实现端到端识别的卷积神经网络为对于训练好的网络，仅需要输入单独的手势图像，即可直接计算得到手势的分类结果，通过卷积网络自动产生大量的抽象特征，并用利用Softmax 回归基于抽象特征对手势进行识别。
与现有技术相比，本发明通过手势检测和跟踪算法来预定位手势位置，再利用分割算法进行分割的方法。该方法可以极大的提高分割的精度，且分割效果受环境影响小；手势检测和跟踪算法的组合可以实现对一副图像中多个手势的同时检出和跟踪，克服常规方法一般默认图像中仅含有一个手势的弊端；通过多次区域生长和弱约束条件分割操作，相比采用单一分割条件，可以更精确的分割出前景区域的像素点；基于几何特征的模板匹配法依赖于手工编辑的手势轮廓和形状特征，利用欧氏距离，衡量样本与模板间的相似度，根据相似度来确定样本的分类；卷积神经网络的方法通过参数训练可以实现自动提取目标的抽象特征，利用Softmax 回归对手势进行分类需要较少的人工干预，可以实现更好的识别准确率。
具体实施方式
实施例：
一种基于机器视觉的手势识别方法，使用摄像头来获取图像信息，通过检测图像中的手势的位置并提取手势特征进行手势识别；具体步骤为；具体步骤为：
1）手势检测：采用HOG+SVM 的方法去检测图像中手势所在的位置；
2）利用跟踪算法来对手势进行连续跟踪：跟踪算法为CAMSHIFT 跟踪算法可以很好的适应手势的变化，它会自适应的调整跟踪窗口的尺寸以适配图像中手势区域，且可应用于多个手势的同时跟踪，实现对多个手势快速、精准的跟踪；
3）对手势区域进行进一步精确的分割：基于手势检测和跟踪算法得到的手势所在局部区域，通过多次区域种子点生长和基于深度、形状信息的弱分割方法交替级联操作，以实现对手势实现像素级的高精度分割；
4）采用基于几何特征的模板匹配法或实现端到端识别的卷积神经网络对分割得到的手势区域完成识别。
步骤1）中，考虑到手势的多变性，如果针对每一个手势均训练一个分类器，会极大的提高***的复杂性以及加大手势检测所需时间，基于HOG 描述子，通过支持向量机训练用于检测该手势的分类器。
步骤4）中，基于几何特征的模板匹配算法，为手工编辑手势几何特征，再利用模板匹配法衡量新样本手势和模板手势在特征空间的距离，找到和样本最近的模板即为匹配的结果。
步骤4）中实现端到端识别的卷积神经网络为对于训练好的网络，仅需要输入单独的手势图像，即可直接计算得到手势的分类结果，通过卷积网络自动产生大量的抽象特征，并用利用Softmax 回归基于抽象特征对手势进行识别。
与现有技术相比，本发明通过手势检测和跟踪算法来预定位手势位置，再利用分割算法进行分割的方法。该方法可以极大的提高分割的精度，且分割效果受环境影响小；手势检测和跟踪算法的组合可以实现对一副图像中多个手势的同时检出和跟踪，克服常规方法一般默认图像中仅含有一个手势的弊端；通过多次区域生长和弱约束条件分割操作，相比采用单一分割条件，可以更精确的分割出前景区域的像素点；基于几何特征的模板匹配法依赖于手工编辑的手势轮廓和形状特征，利用欧氏距离，衡量样本与模板间的相似度，根据相似度来确定样本的分类；卷积神经网络的方法通过参数训练可以实现自动提取目标的抽象特征，利用Softmax 回归对手势进行分类需要较少的人工干预，可以实现更好的识别准确率。
以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (4)

1.一种基于机器视觉的手势识别方法，其特征在于：使用摄像头来获取图像信息，通过检测图像中的手势的位置并提取手势特征进行手势识别；具体步骤为：
1）手势检测：采用HOG+SVM 的方法去检测图像中手势所在的位置；
2）利用跟踪算法来对手势进行连续跟踪：跟踪算法为CAMSHIFT 跟踪算法可以很好的适应手势的变化，它会自适应的调整跟踪窗口的尺寸以适配图像中手势区域，且可应用于多个手势的同时跟踪，实现对多个手势快速、精准的跟踪；
3）对手势区域进行进一步精确的分割：基于手势检测和跟踪算法得到的手势所在局部区域，通过多次区域种子点生长和基于深度、形状信息的弱分割方法交替级联操作，以实现对手势实现像素级的高精度分割；
4）采用基于几何特征的模板匹配法或实现端到端识别的卷积神经网络对分割得到的手势区域完成识别。
2.根据权利要求1所述的一种基于机器视觉的手势识别方法，其特征在于：步骤1）中，考虑到手势的多变性，如果针对每一个手势均训练一个分类器，会极大的提高***的复杂性以及加大手势检测所需时间，采用基于HOG 描述子，通过支持向量机训练用于检测该手势的分类器。
3.根据权利要求1或2所述的一种基于机器视觉的手势识别方法，其特征在于：步骤4）中，基于几何特征的模板匹配算法，为手工编辑手势几何特征，再利用模板匹配法衡量新样本手势和模板手势在特征空间的距离，找到和样本最近的模板即为匹配的结果。
4.根据权利要求3所述的一种基于机器视觉的手势识别方法，其特征在于：步骤4）中实现端到端识别的卷积神经网络为对于训练好的网络，仅需要输入单独的手势图像，即可直接计算得到手势的分类结果，通过卷积网络自动产生大量的抽象特征，并用利用Softmax回归基于抽象特征对手势进行识别。
CN201910588097.5A 2019-07-02 2019-07-02 基于机器视觉的手势识别方法 Active CN110334644B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910588097.5A CN110334644B (zh) 2019-07-02 2019-07-02 基于机器视觉的手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910588097.5A CN110334644B (zh) 2019-07-02 2019-07-02 基于机器视觉的手势识别方法

Publications (2)

Publication Number Publication Date
CN110334644A true CN110334644A (zh) 2019-10-15
CN110334644B CN110334644B (zh) 2024-01-12

Family

ID=68144717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910588097.5A Active CN110334644B (zh) 2019-07-02 2019-07-02 基于机器视觉的手势识别方法

Country Status (1)

Country Link
CN (1) CN110334644B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336967A (zh) * 2013-05-27 2013-10-02 东软集团股份有限公司 一种手部运动轨迹检测方法及装置
WO2018032703A1 (zh) * 2016-08-16 2018-02-22 广州视源电子科技股份有限公司 跟踪指部轮廓的方法及其装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336967A (zh) * 2013-05-27 2013-10-02 东软集团股份有限公司 一种手部运动轨迹检测方法及装置
WO2018032703A1 (zh) * 2016-08-16 2018-02-22 广州视源电子科技股份有限公司 跟踪指部轮廓的方法及其装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
SUNJIE CHEN: "A Real-time Hand Postures Estimation Method", 《THE 7TH ANNUAL IEEE INTERNATIONAL CONFERENCE ON CYBER TECHNOLOGY IN AUTOMATION, CONTROL AND INTELLIGENT SYSTEMS》, pages 1059 - 1064 *
VANBANG L E等: "基于深度图像HOG特征的实时手势识别方法", 《华东理工大学学报(自然科学版)》 *
VANBANG L E等: "基于深度图像HOG特征的实时手势识别方法", 《华东理工大学学报(自然科学版)》, no. 05, 30 October 2015 (2015-10-30) *
阮晓钢;林佳;于乃功;朱晓庆;OUATTARA SIE;: "基于多线索的运动手部分割方法", 电子与信息学报, no. 05, pages 1088 - 1095 *
陈孙杰: "基于视觉的手势识别***", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
陈孙杰: "基于视觉的手势识别***", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 31 January 2018 (2018-01-31), pages 40 - 41 *

Also Published As

Publication number Publication date
CN110334644B (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
CN109191497A (zh) 一种基于多种信息融合的实时在线多目标跟踪方法
CN105868694B (zh) 基于面部表情和眼球动作的双模态情感识别方法及***
CN103353935B (zh) 一种用于智能家居***的3d动态手势识别方法
Steffens et al. Personspotter-fast and robust system for human detection, tracking and recognition
CN105739702B (zh) 用于自然人机交互的多姿态指尖跟踪方法
CN104616438A (zh) 一种用于疲劳驾驶检测的打哈欠动作检测方法
CN105740823A (zh) 基于深度卷积神经网络的动态手势轨迹识别方法
CN104992453A (zh) 基于极限学习机的复杂背景下目标跟踪方法
CN104794439A (zh) 基于多相机的准正面人脸图像实时优选方法及***
CN104821010A (zh) 基于双目视觉的人手三维信息实时提取方法及***
CN108196680B (zh) 一种基于人体特征提取与检索的机器人视觉跟随方法
Huang et al. Sap: Self-adaptive proposal model for temporal action detection based on reinforcement learning
CN103105924B (zh) 人机交互方法和装置
CN110084192B (zh) 基于目标检测的快速动态手势识别***及方法
CN111832400A (zh) 一种基于概率神经网络的口罩佩戴情况的监测***及方法
CN104850234A (zh) 一种基于表情识别的无人机控制方法及***
CN110414340A (zh) 一种船闸监控***中的船舶识别方法
CN104217192A (zh) 基于深度图像的手定位方法和设备
CN108830170A (zh) 一种基于分层特征表示的端到端目标跟踪方法
CN108089695A (zh) 一种控制可移动设备的方法和装置
CN109993770A (zh) 一种自适应时空学习与状态识别的目标跟踪方法
CN104156650A (zh) 一种基于手部运动的用户身份识别方法
CN103034851A (zh) 自学习的基于肤色模型的手部跟踪装置及方法
CN104200216A (zh) 一种多特征提取逐步求精的高速移动目标跟踪算法
CN104050454B (zh) 一种运动手势轨迹获取方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant