CN102662464A - 一种手势漫游控制***的手势控制方法 - Google Patents

一种手势漫游控制***的手势控制方法 Download PDF

Info

Publication number
CN102662464A
CN102662464A CN2012100818887A CN201210081888A CN102662464A CN 102662464 A CN102662464 A CN 102662464A CN 2012100818887 A CN2012100818887 A CN 2012100818887A CN 201210081888 A CN201210081888 A CN 201210081888A CN 102662464 A CN102662464 A CN 102662464A
Authority
CN
China
Prior art keywords
gesture
staff
control system
roaming
moving region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012100818887A
Other languages
English (en)
Inventor
徐向民
苗捷
钟俊洪
陈成斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN2012100818887A priority Critical patent/CN102662464A/zh
Publication of CN102662464A publication Critical patent/CN102662464A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种手势漫游控制***的手势控制方法，包括以下步骤：（1）用户获得手势漫游控制***的控制权；同时，手势漫游控制***对人手对应的肩关节进行定位；（2）以肩关节为参考点，确定人手的舒适运动区域；（3）用户对手势漫游控制***进行漫游控制操作；（4）手势漫游控制***对视频传感器传送的图像进行检测，确定人手的舒适运动区域的相对位置；（5）将人手的舒适运动区域的相对位置映射到手势漫游控制***的界面。

Description

一种手势漫游控制***的手势控制方法
技术领域
    本发明涉及人机交互技术，特别涉及一种手势漫游控制***的手势控制方法。
 
背景技术
    目前在各种人机交互的***中，随着各种技术实现上的突破，交互***的设计更多关心的是如何提高用户的交互体验方面。为此，各种非接触势交互的方案应运而生，尤其是基于手势与手势漫游控制的方案。另外，各种基于手势的控制***也逐步走向成熟，在微软kinect的冲击下，越来越多厂商开始将现有的接触式控制方式向非接触式控制方式转变。
    然而，在当前各种手势漫游控制交互方案设计中，很大一部分方案没有考虑人手的舒适运动区域，或者没有给出一种***而有效的人手运动区域的选择方法，使用户在操作过程中无法很轻易地漫游***界面的各个区域或者难以精确到达用户想到达的点。
人体工程学是研究人在某种工作环境中的解剖学、生理学和心理学等方面的各种因素，研究人和机器及环境的相互作用，研究人们在各种环境 下的工作效率、人的健康、安全和舒适等问题的科学。人体工程学为产品设计提出友善的操作界面以及舒适的外形设计，以此提高用户的舒适度和加入美学的设计因素。 
 
发明内容
为了克服现有技术的上述缺点与不足，本发明的目的在于提供一种手势漫游控制***的手势控制方法，使用户可在手部在能舒适的运动区域内漫游控制***界面上的每一个点。
本发明的目的通过以下技术方案实现：
    一种手势漫游控制***的手势控制方法，包括以下步骤：
（1）用户获得手势漫游控制***的控制权；同时，手势漫游控制***对视频传感器传送的图像进行检测，对人手对应的肩关节进行定位；
（2）以步骤（1）得到的肩关节为参考点，根据人体工程学确定人手的舒适运动区域；
（3）用户对手势漫游控制***进行漫游控制操作；
（4）手势漫游控制***对视频传感器传送的图像进行检测，确定人手在步骤（2）所确定的舒适运动区域的相对位置；
（5）将步骤（4）确定的人手在舒适运动区域的相对位置映射到手势漫游控制***的界面。
步骤（1）所述手势漫游控制***对视频传感器传送的图像进行检测，对人手对应的肩关节进行定位，具体为：先利用Adaboost算法，使用大于300个人脸的正样本和大于800个人脸的负样本，训练得到一个级联的人脸强分类器；使用人脸强分类器对视频传感器传送的图像进行检测，得到人脸在视频图像中的准确位置；由人脸在视频图像中的准确位置得出用户头顶在视频图像中的位置，再根据人体工程学的相关数据得出人手对应的肩关节在视频图像中的位置；
所述人体工程学相关数据为：平均成年人两肩关节之间的距离为340mm，头顶到肩关节所在平面的垂直距离为355mm。
步骤（2）所述根据人体工程学确定人手的舒适运动区域，具体为：
根据人体工程学，将人手的舒适运动区确定为一个大小为421.08mm×522.25 mm的矩形，以肩关节为比例分割点，水平方向上矩形左侧与矩形右侧的比例为1:1.41，竖直方向上矩形上侧与矩形下侧的比例为1.92:1。
步骤（4）所述确定人手在步骤（2）所确定的舒适运动区域的相对位置，具体为：先利用Adaboost算法，使用大于300个的手势正样本和大于800手势负样本，训练一个级联的手势强分类器；使用手势强分类器对视频传感器传送的图像进行检测；对检测到的手势区域设定为感兴趣区域，去除背景中的噪声干扰；在感兴趣区域内结合肤色检测进行运动信息检测，对人手进行跟踪；
跟踪后得到人手在视频图像中的准确位置（x2，y2），确定人手在人手舒适运动区域的相对坐标（x0，y0）：设舒适运动区域的左上角在视频图像中的坐标为（x1，y1），则x0=x2-x1，y0=y2-y1。
所述在感兴趣区域内进行结合肤色检测进行运动信息检测，对人手进行跟踪，具体为：在感兴趣区域内进行结合肤色检测、采用帧差和背景差分进行运动信息的检测，并结合Camshift算法对人手进行跟踪。
步骤（5）所述将步骤（4）确定的人手在舒适运动区域的相对位置映射到手势漫游控制***的界面，具体为：
设步骤（2）所确定的舒适运动区域的长和宽分别为a1,b1，控制***界面屏幕的长和宽分别为a2,b2，步骤（4）确定的人手在舒适运动区域的相对位置的坐标为（x0，y0），则映射到屏幕控制点的位置坐标x,y满足以下关系：
                                                          ,
Figure 891378DEST_PATH_IMAGE002
。
 
与现有技术相比，本发明具有以下优点和有益效果： 
1、由于设定了人手舒适的运动区域，用户在使用手势漫游时更加自然舒适地漫游控制界面的每一个点，能有效避免用户在漫游时出现手够不着屏幕边界以及界面鼠标漫游速度过快等现象。
2、由于在用户使用漫游***时确定了人手的运动区域，能为跟踪算法前端更有效地减少背景干扰，对背景的要求不高。
3、由于确定了人手和人手舒适运动区域的相对位置，使从人手运动位置到控制界面位置的映射变得更加简单和准确。
 
附图说明
图1为本发明一种手势漫游控制***的手势控制方法的流程图。
 
具体实施方式    
下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。
    实施例
    如图1所示，一种手势漫游控制***的手势控制方法，包括以下步骤：
（1）用户获得手势漫游控制***的控制权；同时，手势漫游控制***对视频传感器传送的图像进行检测，对人手对应的肩关节进行定位，具体为：
先利用Adaboost算法，使用大于300个人脸的正样本和大于800个人脸的负样本，训练得到一个级联的人脸强分类器；使用人脸强分类器对视频传感器传送的图像进行检测，得到人脸在视频图像中的准确位置；由人脸在视频图像中的准确位置得出用户头顶在视频图像中的位置，再根据人体工程学的相关数据得出人手对应的肩关节在视频图像中的位置；
所述人体工程学相关数据为：平均成年人两肩关节之间的距离为340mm，头顶到肩关节所在平面的垂直距离为355mm。
（2）以步骤（1）得到的肩关节为参考点，根据人体工程学确定人手的舒适运动区域，根据人体工程学，将人手的舒适运动区确定为一个大小为421.08mm×522.2mm的矩形，以肩关节为比例分割点，水平方向上矩形左侧与矩形右侧的比例为1:1.41，竖直方向上矩形上侧与矩形下侧的比例为1.92:1。
（3）用户对手势漫游控制***进行漫游控制操作。
（4）手势漫游控制***对视频传感器传送的图像进行检测，确定人手在步骤（2）所确定的人手的舒适运动区域的相对位置，具体为：
先利用Adaboost算法，使用大于300个的手势正样本和大于800手势负样本，训练一个级联的手势强分类器；使用手势强分类器对视频传感器传送的图像进行检测；对检测到的手势区域设定为感兴趣区域，去除背景中的噪声干扰；在感兴趣区域内结合肤色检测、采用帧差和背景差分进行运动信息的检测，并结合Camshift算法对人手进行跟踪；
跟踪后得到人手在视频图像中的准确位置（x2，y2），确定人手在舒适运动区域的相对坐标（x0，y0）：设舒适运动区域的左上角在视频图像中的坐标为（x1，y1），则x0=x2-x1，y0=y2-y1。
（5）将步骤（4）确定的人手在舒适运动区域的相对位置映射到手势漫游控制***的界面，具体为：
设步骤（2）所确定的舒适运动区域的长和宽分别为a1,b1，控制***界面屏幕的长和宽分别为a2,b2，步骤（4）确定的人手在舒适运动区域的相对位置的坐标为（x0，y0），则映射到屏幕控制点的位置坐标x,y满足以下关系：
           
Figure 306179DEST_PATH_IMAGE001
,
Figure 248727DEST_PATH_IMAGE002
。
 
    上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种手势漫游控制***的手势控制方法，其特征在于，包括以下步骤：
（1）用户获得手势漫游控制***的控制权；同时，手势漫游控制***对视频传感器传送的图像进行检测，对人手对应的肩关节进行定位；
（2）以步骤（1）得到的肩关节为参考点，根据人体工程学确定人手的舒适运动区域；
（3）用户对手势漫游控制***进行漫游控制操作；
（4）手势漫游控制***对视频传感器传送的图像进行检测，确定人手在步骤（2）所确定的舒适运动区域的相对位置；
（5）将步骤（4）确定的人手在舒适运动区域的相对位置映射到手势漫游控制***的界面。
2.根据权利要求1所述的手势漫游控制***的手势控制方法，其特征在于，步骤（1）所述手势漫游控制***对视频传感器传送的图像进行检测，对人手对应的肩关节进行定位，具体为：先利用Adaboost算法，使用大于300个人脸的正样本和大于800个人脸的负样本，训练得到一个级联的人脸强分类器；使用人脸强分类器对视频传感器传送的图像进行检测，得到人脸在视频图像中的准确位置；由人脸在视频图像中的准确位置得出用户头顶在视频图像中的位置，再根据人体工程学的相关数据得出人手对应的肩关节在视频图像中的位置；
所述人体工程学相关数据为：平均成年人两肩关节之间的距离为340mm，头顶到肩关节所在平面的垂直距离为355mm。
3.根据权利要求1所述的手势漫游控制***的手势控制方法，其特征在于，步骤（2）所述根据人体工程学确定人手的舒适运动区域，具体为：
根据人体工程学，将人手的舒适运动区确定为一个大小为421.08mm×522.25 mm的矩形，以肩关节为比例分割点，水平方向上矩形左侧与矩形右侧的比例为1:1.41，竖直方向上矩形上侧与矩形下侧的比例为1.92:1。
4.根据权利要求1所述的手势漫游控制***的手势控制方法，其特征在于，步骤（4）所述确定人手在步骤（2）所确定的舒适运动区域的相对位置，具体为：
    先利用Adaboost算法，使用大于300个的手势正样本和大于800手势负样本，训练一个级联的手势强分类器；使用手势强分类器对视频传感器传送的图像进行检测；对检测到的手势区域设定为感兴趣区域，去除背景中的噪声干扰；在感兴趣区域内结合肤色检测进行运动信息检测，对人手进行跟踪；
跟踪后得到人手在视频图像中的准确位置（x2，y2），确定人手在舒适运动区域的相对坐标（x0，y0）：设舒适运动区域的左上角在视频图像中的坐标为（x1，y1），则x0=x2-x1，y0=y2-y1。
5.根据权利要求4所述的手势漫游控制***的手势控制方法，其特征在于，所述在感兴趣区域内进行结合肤色检测进行运动信息检测，对人手进行跟踪，具体为：在感兴趣区域内进行结合肤色检测、采用帧差和背景差分进行运动信息的检测，并结合Camshift算法对人手进行跟踪。
6.根据权利要求4所述的手势漫游控制***的手势控制方法，其特征在于，步骤（5）所述将步骤（4）确定的人手在舒适运动区域的相对位置映射到手势漫游控制***的界面，具体为：
    设步骤（2）所确定的舒适运动区域的长和宽分别为a1,b1，控制***界面屏幕的长和宽分别为a2,b2，步骤（4）确定的人手在舒适运动区域的相对位置的坐标为（x0，y0），则映射到屏幕控制点的位置坐标x,y满足以下关系：
                                                         
Figure 644410DEST_PATH_IMAGE001
,
Figure 979577DEST_PATH_IMAGE002
。
CN2012100818887A 2012-03-26 2012-03-26 一种手势漫游控制***的手势控制方法 Pending CN102662464A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012100818887A CN102662464A (zh) 2012-03-26 2012-03-26 一种手势漫游控制***的手势控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012100818887A CN102662464A (zh) 2012-03-26 2012-03-26 一种手势漫游控制***的手势控制方法

Publications (1)

Publication Number Publication Date
CN102662464A true CN102662464A (zh) 2012-09-12

Family

ID=46771969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012100818887A Pending CN102662464A (zh) 2012-03-26 2012-03-26 一种手势漫游控制***的手势控制方法

Country Status (1)

Country Link
CN (1) CN102662464A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400118A (zh) * 2013-07-30 2013-11-20 华南理工大学 一种映射关系自适应调整的手势控制方法
CN103793056A (zh) * 2014-01-26 2014-05-14 华南理工大学 基于距离向量的空中手势漫游控制方法
CN104460976A (zh) * 2014-02-19 2015-03-25 同济大学 基于等心率步行速度换算在被动式漫游控制模块中的应用
CN105912126A (zh) * 2016-04-26 2016-08-31 华南理工大学 一种手势运动映射到界面的增益自适应调整方法
CN105979330A (zh) * 2015-07-01 2016-09-28 乐视致新电子科技（天津）有限公司 体感按键的定位方法及装置
CN106022211A (zh) * 2016-05-04 2016-10-12 北京航空航天大学 一种利用手势控制多媒体设备的方法
CN108040239A (zh) * 2017-12-06 2018-05-15 重庆欧派信息科技有限责任公司 基于图像识别的知识训练***及方法
CN108846442A (zh) * 2018-06-21 2018-11-20 吉旗物联科技（上海）有限公司 一种基于决策树的打电话手势视觉检测算法
CN109101150A (zh) * 2018-07-20 2018-12-28 广州视源电子科技股份有限公司 元素***方法、装置、电子设备及计算机可读存储介质
CN109196438A (zh) * 2018-01-23 2019-01-11 深圳市大疆创新科技有限公司 一种飞行控制方法、设备、飞行器、***及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344816A (zh) * 2008-08-15 2009-01-14 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置
CN101930286A (zh) * 2009-06-22 2010-12-29 索尼公司 操作控制装置、操作控制方法和计算机可读的记录介质
CN102222342A (zh) * 2010-04-16 2011-10-19 上海摩比源软件技术有限公司 人体运动跟踪及其识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344816A (zh) * 2008-08-15 2009-01-14 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置
CN101930286A (zh) * 2009-06-22 2010-12-29 索尼公司 操作控制装置、操作控制方法和计算机可读的记录介质
CN102222342A (zh) * 2010-04-16 2011-10-19 上海摩比源软件技术有限公司 人体运动跟踪及其识别方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400118A (zh) * 2013-07-30 2013-11-20 华南理工大学 一种映射关系自适应调整的手势控制方法
CN103400118B (zh) * 2013-07-30 2017-09-29 华南理工大学 一种映射关系自适应调整的手势控制方法
CN103793056A (zh) * 2014-01-26 2014-05-14 华南理工大学 基于距离向量的空中手势漫游控制方法
CN104460976B (zh) * 2014-02-19 2017-01-11 同济大学 基于等心率步行速度换算在被动式漫游控制模块中的应用
CN104460976A (zh) * 2014-02-19 2015-03-25 同济大学 基于等心率步行速度换算在被动式漫游控制模块中的应用
CN105979330A (zh) * 2015-07-01 2016-09-28 乐视致新电子科技（天津）有限公司 体感按键的定位方法及装置
WO2017000917A1 (zh) * 2015-07-01 2017-01-05 乐视控股（北京）有限公司 体感按键的定位方法及装置
CN105912126A (zh) * 2016-04-26 2016-08-31 华南理工大学 一种手势运动映射到界面的增益自适应调整方法
CN105912126B (zh) * 2016-04-26 2019-05-14 华南理工大学 一种手势运动映射到界面的增益自适应调整方法
CN106022211A (zh) * 2016-05-04 2016-10-12 北京航空航天大学 一种利用手势控制多媒体设备的方法
CN106022211B (zh) * 2016-05-04 2019-06-28 北京航空航天大学 一种利用手势控制多媒体设备的方法
CN108040239A (zh) * 2017-12-06 2018-05-15 重庆欧派信息科技有限责任公司 基于图像识别的知识训练***及方法
CN109196438A (zh) * 2018-01-23 2019-01-11 深圳市大疆创新科技有限公司 一种飞行控制方法、设备、飞行器、***及存储介质
CN108846442A (zh) * 2018-06-21 2018-11-20 吉旗物联科技（上海）有限公司 一种基于决策树的打电话手势视觉检测算法
CN109101150A (zh) * 2018-07-20 2018-12-28 广州视源电子科技股份有限公司 元素***方法、装置、电子设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN102662464A (zh) 一种手势漫游控制***的手势控制方法
CN103246351B (zh) 一种用户交互***和方法
CN103970264B (zh) 手势辨识与控制方法及其装置
CN107632699B (zh) 基于多感知数据融合的人机自然交互***
EP2966555A1 (en) Three-dimensional operation control method and device for touchscreen, and mobile terminal thereof
CN105159459B (zh) 一种可用于移动终端的虚拟物体三维形状触觉再现方法
CN104062972B (zh) 一种可移动家用设备与人相对位置调整控制方法及其***
JP2013205983A (ja) 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
TW201426413A (zh) 三維互動裝置及其操控方法
CN102306053B (zh) 一种基于虚拟触摸屏的人机交互方法、装置及电子设备
US20210117078A1 (en) Gesture Input Method for Wearable Device and Wearable Device
CN103092349A (zh) 基于Kinect体感设备的全景体验方法
CN103631419A (zh) 基于遥控触摸板的光标定位方法及***
CN104951073B (zh) 一种基于虚拟界面的手势交互方法
TW201508610A (zh) 滑動觸摸操作的顯示控制系統及方法
CN105234940A (zh) 机器人及其控制方法
CN103200304A (zh) 一种移动终端智能光标控制***及方法
CN104793738A (zh) 基于Leap Motion的非接触式计算机操控方法
EP2613246A3 (en) Touch control method
CN105786361A (zh) 一种3d车载终端人机交互***
TWI486815B (zh) 顯示設備及其控制系統和方法
CN108345377A (zh) 一种基于Kinect的自适应用户身高的交互方法
TWI437467B (zh) 顯示控制裝置及顯示控制方法
US20150020024A1 (en) Zoom control of screen image in electronic device
KR101564089B1 (ko) 손동작 인식을 이용한 프리젠테이션 실행시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120912