CN101807114B - 一种基于三维手势的自然交互方法 - Google Patents
一种基于三维手势的自然交互方法 Download PDFInfo
- Publication number
- CN101807114B CN101807114B CN201010139526XA CN201010139526A CN101807114B CN 101807114 B CN101807114 B CN 101807114B CN 201010139526X A CN201010139526X A CN 201010139526XA CN 201010139526 A CN201010139526 A CN 201010139526A CN 101807114 B CN101807114 B CN 101807114B
- Authority
- CN
- China
- Prior art keywords
- point
- finger tip
- dimensional
- profile
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 17
- 230000003993 interaction Effects 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000002950 deficient Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 230000007547 defect Effects 0.000 claims 2
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于三维手势的自然交互方法运用计算机视觉技术,通过前景分割、指尖检测得到手部局部特征,这些局部特征包括指尖位置、手掌轮廓、掌心位置等。运用立体视觉技术,在三维空间重建指尖位置、掌心位置等手部特征。对三维空间的指尖位置、掌心位置等进行参数化处理,定义一套基于点、线、面的三维交互模型,通过这套模型,实现三维空间的指尖点击、指尖夹取、手掌翻转、指尖指向等多种三维手势。本发明只需要两个普通的网络摄像头,即可以满足实时人机交互的需要。
Description
技术领域
本发明涉及计算机视觉和人机交互技术,尤其涉及一种基于三维手势的人机交互方法。
背景技术
传统的二维人机交互技术(基于鼠标/键盘/游戏操纵杆/窗口界面),在其软件工具与交互方式两方面,已经发展的相对成熟与完善。但随着人机交互应用需求的不断升级,包括用户(游戏中称为玩家)对虚拟场景体验的日益追求,传统的二维人机交互方式的局限性也体现的越来越明显,主要表现在:
从信息表示能力上看,不能用一种自然的方法表示复杂的多维关系。在表示多维关系时,不得不使用多窗口环境来表示应用信息,多窗口的划分使得用户需要更大的认知努力以建立起一个完整和一致的认知模型。
从交互方式上看,对于一些领域内的应用(如虚拟世界漫游等)无法用传统的交互方式来进行自然、合理的表达。当需要同物体进行三维交互时,只能通过不同输入方式的组合来实现。这种方法一方面很不自然,且增加了用户的交互难度,同时也加重了交互任务的整合工作。
三维人机交互技术,与前者的局限性相比具有其天生的优点,能够自然地满足三维交互的需要,主要表现在:
从信息表示能力上看,能够用一种自然的方法表示复杂的多维关系。在一定的应用领域内信息的三维表示较为直观,与现实世界中的对象较为接近,人们较容易感知这种表示并上升为一种理性认识。
从交互方式上看,三维人机交互方式模拟现实世界中人与物体的交互方式,并且让真实的人或物直接与虚拟的三维对象进行交互。这种交互方式对于交互语义的表达是自然和清晰的,同时虚实融合且能够产生交互的世界,会使得人机交互的体验更具有吸引力。
发明内容
本发明的目的是克服现有技术的不足,提供一种基于三维手势的自然交互方法。
本发明的目的是通过以下技术方案来实现的:一种基于三维手势的自然交互方法,包括如下步骤:
(1)从两个摄像头中输入视频图像,对图像使用在线训练肤色检测算法得到手部的前景图像。
(2)对得到的手部前景图像,使用指尖检测方法检测指尖位置。
(3)重建三维指尖位置,并通过三维指尖位置定义三维手势交互语义。
本发明的有益效果是:本发明基于三维手势的自然交互方法运用计算机视觉技术,通过前景分割、指尖检测得到手部局部特征,这些局部特征包括指尖位置、手掌轮廓、掌心位置等。运用立体视觉技术,在三维空间重建指尖位置、掌心位置等手部特征。对三维空间的指尖位置、掌心位置等进行参数化处理,定义一套基于点、线、面的三维交互模型,通过这套模型,实现三维空间的指尖点击、指尖夹取、手掌翻转、指尖指向等多种三维手势。本发明只需要两个普通的网络摄像头,即可以满足实时人机交互的需要。
附图说明
图1是基于三维手势自然交互方法的***结构框图;
图2是手掌轮廓示意图;
图3是K向量的计算方法示意图。
具体实施方式
本发明基于三维手势的自然交互方法在虚拟现实或增强现实环境中,通过三维手势自然地和虚拟物体进行交互。包括如下步骤:
一、从两个摄像头中输入视频图像,对图像使用在线训练肤色检测算法得到手部的前景图像。在线检训练肤色检测算法利用人的肤色在YCbCr颜色空间的聚类特性,通过判定视频图像中特定颜色范围来分割出手部前景图形。在肤色检测过程中,使用了实时学习当前肤色的在线训练方法来减少光照变化对肤色检测的影响。
二、对得到的手部前景图像,使用指尖检测方法检测指尖位置。指尖检测方法融合了单指尖检测和多指尖检测。在光照变化的情况下也可以准确的找到指尖的位置,具有很强的稳定性与环境适应性。
指尖检测方法步骤如下:
1、提取手指前景图像轮廓。
2、寻找长度最长的轮廓,该轮廓为手指轮廓区域,这样在前景分割不好的情况下,依然可以找到指尖点。
3、如果轮廓长度小于一个阈值(与手和摄像机的距离有关,设为100),则认为手指前景分割出错,重新进行前景分割,否则执行下一步。
4、对前一步得到的轮廓进行多边形近似处理,这样可以减少一些干扰点。计算轮廓的缺陷(指轮廓中凹的部分,如图2中所示)数量,如果数量为0,转v继续处理,否则标定所有的凸体缺陷位置,得到它们的开始点、结束点和深度点,开始点和结束点是候选指尖点。接着我们判定起始点、结束点、深度点之间的夹角,如果小于120度,则起始点和结束点为指尖位置。
5、计算每个轮廓点的K向量值,并求出轮廓区域的中心位置。如果是第一次求指尖点按K向量从大到小顺序,求出前N(设为10)个K向量极值点,并比较每个极值点到中心位置的距离,距离最大的点即为指尖点,同时记录指尖点的位置。否则求出前N个K向量极值点后,比较N个极值点和上次记录指尖点的距离,如果小于阈值(设为5),则为指尖点,否则比较N个极值点到中心位置的距离,距离最大的点为指尖点。最后记录指尖位置。
K向量是指:对于轮廓上的每一个像素点v,以该点位起始点,按照轮廓顺时针方向离它距离为K的点位v1,按轮廓逆时针方向距离它为K的点为v2,则v的K向量为:
图3显示了K向量的计算方法。
三、重建三维指尖位置,并通过三维指尖位置定义三维手势交互语义。
1、首先标定摄像机外部参数,从而得到OpenGL的模型视图矩阵。
2、利用得到的模型视图矩阵和指尖检测得到的指尖位置,利用计算机视觉中的三维重建算法,重建指尖点在基于标记的世界坐标系中的三维位置。
3、根据重建的三维指尖点,来定义三维交互语义,从而实现三维交互。我们通过指尖位置及手掌轮廓来定义三维交互语义。实现的三维交互语义包括:指尖点击、双指夹取、指尖指向、三维指尖速率参数化、手掌翻转、双手指尖距离控制等。根据这些交互语义,建立一套基于手部特征的点、线、面三维手势交互模型。
4、通过定义的三维手势交互语义,我们可以实现多种三维应用。比如操纵游戏中的虚拟人物,从而实现自然和谐的人机交互。
Claims (1)
1.一种基于三维手势的自然交互方法,其特征在于,包括如下步骤:
(1)从两个摄像机中输入视频图像,对图像使用在线训练肤色检测算法得到手部的前景图像;
(2)对得到的手部前景图像,使用指尖检测方法检测指尖位置;
(3)重建三维指尖位置,并通过三维指尖位置定义三维手势交互语义;
其中,所述步骤(2)具体如下:
(A)提取手指前景图像轮廓;
(B)寻找长度最长的轮廓,该轮廓为手指轮廓区域,如果轮廓长度小于阈值,则认为手指前景分割出错,重新进行前景分割;
(C)对得到的轮廓进行多边形近似处理,计算轮廓的缺陷数量,如果数量为0,转(D)继续处理,否则标定所有的凸体缺陷位置,得到凸体缺陷部分的开始点、结束点和深度点,开始点和结束点是候选指尖点;接着判定起始点、结束点、深度点之间的夹角,如果小于120度,则起始点和结束点为指尖位置;
(D)计算每个轮廓点的K向量值,并求出轮廓区域的中心位置;如果是第一次求指尖点按K向量从大到小顺序,求出前N个K向量极值点,并比较每个极值点到中心位置的距离,距离最大的点即为指尖点,同时记录指尖点的位置;否则求出前N个K向量极值点后,比较N个极值点和上次记录指尖点的距离,如果最大的距离小于阈值,则该距离最大的点为指尖点,否则比较N个极值点到中心位置的距离,距离最大的点为指尖点;最后记录指尖位置;
K向量是指:对于轮廓上的每一个像素点v,以该点为起始点,按照轮廓顺时针方向离它距离为K的点为v1,按轮廓逆时针方向距离它为K的点为v2,则v的K向量为:
所述步骤(3)具体如下:
(a)首先标定摄像机外部参数,从而得到OpenGL的模型视图矩阵;
(b)利用得到的模型视图矩阵和指尖检测得到的指尖位置,利用计算机视觉中的三维重建算法,重建指尖点在基于标记的世界坐标系中的三维位置;
(c)根据重建的三维指尖点,来定义三维手势交互语义,从而实现三维交互;
(d)通过定义的三维手势交互语义,实现三维应用。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010139526XA CN101807114B (zh) | 2010-04-02 | 2010-04-02 | 一种基于三维手势的自然交互方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010139526XA CN101807114B (zh) | 2010-04-02 | 2010-04-02 | 一种基于三维手势的自然交互方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101807114A CN101807114A (zh) | 2010-08-18 |
CN101807114B true CN101807114B (zh) | 2011-12-07 |
Family
ID=42608927
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201010139526XA Active CN101807114B (zh) | 2010-04-02 | 2010-04-02 | 一种基于三维手势的自然交互方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101807114B (zh) |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102402276A (zh) * | 2010-09-13 | 2012-04-04 | 大同股份有限公司 | 可实时辨识非特定手势的嵌入式装置及其辨识方法 |
CN103430215B (zh) * | 2011-03-21 | 2017-03-22 | Lg电子株式会社 | 显示装置及其控制方法 |
US20120262366A1 (en) * | 2011-04-15 | 2012-10-18 | Ingeonix Corporation | Electronic systems with touch free input devices and associated methods |
AU2011203028B1 (en) * | 2011-06-22 | 2012-03-08 | Microsoft Technology Licensing, Llc | Fully automatic dynamic articulated model calibration |
CN103092491B (zh) * | 2011-10-27 | 2017-02-01 | 联想(北京)有限公司 | 生成控制命令的方法和装置、以及电子设备 |
CN103092376B (zh) * | 2011-10-27 | 2017-07-25 | 联想(北京)有限公司 | 生成控制命令的方法和装置、以及电子设备 |
CN102521567B (zh) * | 2011-11-29 | 2013-10-23 | Tcl集团股份有限公司 | 一种人机交互的指尖检测方法、装置及电视机 |
CN102663364A (zh) * | 2012-04-10 | 2012-09-12 | 四川长虹电器股份有限公司 | 仿3d手势识别***及方法 |
WO2012126426A2 (zh) | 2012-05-21 | 2012-09-27 | 华为技术有限公司 | 一种非接触式手势控制方法及装置 |
TWI450024B (zh) * | 2012-06-05 | 2014-08-21 | Wistron Corp | 立體深度影像建立系統及其方法 |
CN102799318B (zh) * | 2012-08-13 | 2015-07-29 | 深圳先进技术研究院 | 一种基于双目立体视觉的人机交互方法及*** |
CN102902356B (zh) * | 2012-09-18 | 2015-08-26 | 华南理工大学 | 一种手势控制***及其控制方法 |
CN102981623B (zh) * | 2012-11-30 | 2016-05-18 | 深圳先进技术研究院 | 触发输入指令的方法及*** |
CN104102332B (zh) * | 2013-04-08 | 2017-07-28 | 鸿富锦精密工业(深圳)有限公司 | 显示设备及其控制***和方法 |
TWI486815B (zh) | 2013-04-08 | 2015-06-01 | 鴻海精密工業股份有限公司 | 顯示設備及其控制系統和方法 |
CN103544472B (zh) * | 2013-08-30 | 2018-06-19 | Tcl集团股份有限公司 | 一种基于手势图像的处理方法及处理装置 |
CN103488972B (zh) * | 2013-09-09 | 2016-07-06 | 西安交通大学 | 基于深度信息的指尖检测方法 |
CN104461324B (zh) * | 2013-09-16 | 2017-12-29 | 联想(北京)有限公司 | 一种信息处理方法以及电子设备 |
CN104699377A (zh) * | 2013-12-04 | 2015-06-10 | 联想(北京)有限公司 | 一种控制方法及电子设备 |
TWI508034B (zh) * | 2014-01-08 | 2015-11-11 | Ind Tech Res Inst | 心肺復甦術教學系統及方法 |
CN103777754B (zh) * | 2014-01-10 | 2017-01-11 | 上海大学 | 基于双目红外视觉的手部运动跟踪装置和方法 |
CN104102347A (zh) * | 2014-07-09 | 2014-10-15 | 东莞万士达液晶显示器有限公司 | 指尖定位方法及指尖定位终端 |
CN105844705B (zh) * | 2016-03-29 | 2018-11-09 | 联想(北京)有限公司 | 一种三维虚拟对象模型生成方法及电子设备 |
CN105867638A (zh) * | 2016-05-10 | 2016-08-17 | 华南理工大学 | 一种基于双目视觉的嵌入式虚拟键盘及方法 |
CN106355591B (zh) * | 2016-08-16 | 2019-06-21 | 广州视源电子科技股份有限公司 | 跟踪指部轮廓的方法及其装置 |
CN106340040B (zh) * | 2016-08-16 | 2019-06-14 | 广州视源电子科技股份有限公司 | 跟踪指部轮廓的方法及其装置 |
CN106340039B (zh) * | 2016-08-16 | 2019-06-21 | 广州视源电子科技股份有限公司 | 跟踪指部轮廓的方法及其装置 |
CN109395375A (zh) * | 2018-09-18 | 2019-03-01 | 华南理工大学 | 一种基于增强现实与移动交互的三维游戏接口设计方法 |
CN109359566B (zh) * | 2018-09-29 | 2022-03-15 | 河南科技大学 | 利用手指特征进行层级分类的手势识别方法 |
CN111596757A (zh) * | 2020-04-02 | 2020-08-28 | 林宗宇 | 一种基于指尖交互的手势控制方法和装置 |
CN111626364B (zh) * | 2020-05-28 | 2023-09-01 | 中国联合网络通信集团有限公司 | 手势图像分类方法、装置、计算机设备及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8199106B2 (en) * | 2007-12-20 | 2012-06-12 | University Of Central Florida Research Foundation, Inc. | Systems and methods of camera-based fingertip tracking |
CN101567093B (zh) * | 2009-05-25 | 2012-05-16 | 济南大学 | 一种三维手势模型的初始化方法 |
-
2010
- 2010-04-02 CN CN201010139526XA patent/CN101807114B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN101807114A (zh) | 2010-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101807114B (zh) | 一种基于三维手势的自然交互方法 | |
CN106598227B (zh) | 基于Leap Motion和Kinect的手势识别方法 | |
CN107728792B (zh) | 一种基于手势识别的增强现实三维绘图***及绘图方法 | |
CN100407798C (zh) | 三维几何建模***和方法 | |
CN105389539B (zh) | 一种基于深度数据的三维手势姿态估计方法及*** | |
JP5887775B2 (ja) | ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法 | |
Bonnici et al. | Sketch-based interaction and modeling: where do we stand? | |
Yin et al. | Finger identification and hand posture recognition for human–robot interaction | |
US9020266B2 (en) | Methods and devices for processing handwriting input | |
US20130335318A1 (en) | Method and apparatus for doing hand and face gesture recognition using 3d sensors and hardware non-linear classifiers | |
Shin et al. | Gesture recognition using Bezier curves for visualization navigation from registered 3-D data | |
CN109977833A (zh) | 物体追踪方法、物体追踪装置、存储介质及电子设备 | |
CN103598870A (zh) | 一种基于深度图像手势识别的视力检测方法 | |
Zhang et al. | A practical robotic grasping method by using 6-D pose estimation with protective correction | |
CN104331164A (zh) | 一种基于手势识别的相似度阈值分析的手势运动平滑处理方法 | |
CN108628455B (zh) | 一种基于触摸屏手势识别的虚拟沙画绘制方法 | |
CN109746916A (zh) | 一种机器人书写书法的方法及*** | |
CN107862664A (zh) | 一种图像非真实感绘制方法及*** | |
CN105354812B (zh) | 基于多Kinect协同的深度阈值分割算法识别轮廓交互方法 | |
CN103426000B (zh) | 一种静态手势指尖检测方法 | |
JP6651388B2 (ja) | ジェスチャモデリング装置、ジェスチャモデリング方法、ジェスチャモデリングシステム用のプログラム、およびジェスチャモデリングシステム | |
Yin et al. | Estimation of the fundamental matrix from uncalibrated stereo hand images for 3D hand gesture recognition | |
CN104484034B (zh) | 一种基于手势识别的手势运动基元过渡帧定位方法 | |
Lan et al. | Data fusion-based real-time hand gesture recognition with Kinect V2 | |
CN105045390A (zh) | 一种人体上肢骨骼手势识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |