CN104793738A - 基于Leap Motion的非接触式计算机操控方法 - Google Patents

基于Leap Motion的非接触式计算机操控方法 Download PDF

Info

Publication number
CN104793738A
CN104793738A CN201510116720.9A CN201510116720A CN104793738A CN 104793738 A CN104793738 A CN 104793738A CN 201510116720 A CN201510116720 A CN 201510116720A CN 104793738 A CN104793738 A CN 104793738A
Authority
CN
China
Prior art keywords
gesture
operating method
computer operating
described step
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510116720.9A
Other languages
English (en)
Inventor
张云
苏培涛
于瑷玮
何尔博
盛晓丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Maritime University
Shanghai Ocean University
Original Assignee
Shanghai Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Maritime University filed Critical Shanghai Maritime University
Priority to CN201510116720.9A priority Critical patent/CN104793738A/zh
Publication of CN104793738A publication Critical patent/CN104793738A/zh
Pending legal-status Critical Current

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种基于Leap Motion的非接触式计算机操控方法，包括以下步骤：S1：Leap Motion通过红外LED和灰阶camera的方式采集数据，通过算法处理后生成相应的手部数据；S2：通过处理Leap Motion采集到的手部数据，以不同的判定标准和识别方法得到两类不同的手势，自然手势和轨迹手势；S3：匹配计算机操作；S4：执行计算机操作。其优点表现在：通过检测人体动作来进行信息输入，整个操控过程变得更为自由；用户能自由的在多种环境下使用，用户只需要做出一个简单的手势动作即可实现对计算机的操控；第一次将体感技术应用在对计算机设备***级的操控上，弥补了Kinect延迟较高和无法很好的进行近距离精确识别等缺点。

Description

基于Leap Motion的非接触式计算机操控方法
技术领域
本发明涉及人机交互技术领域，具体地说，是一种基于Leap Motion的非接触式计算机操控方法。
背景技术
传统上来说，常规的计算机操控方法是通过操控具体的交互设备如键盘、鼠标或者手写笔来进行相应的操作。优点是简单易上手，能完成精确的输入，但特别依赖于相应的交互设备，缺少便携性和直观的使用反馈。随着技术的发展，近几年新出现并得到广泛应用的计算机操控方法，如触摸操控，将设备集成到计算机中，便携性得到很大的提升，但是仍需要通过直接接触来进行操控。
随着体感技术的发展和成熟，将体感技术应用于计算机输入领域已得以实现，为人类提供了更加舒适和自然的计算机输入方式。Kinect和Leap Motion是目前体感输入领域的两个主流品牌，在操作者无需手持任何感应道具的前提下，通过摄像头和传感器捕捉、识别操作者的动作。但Kinect精度低，而LeapMotion可弥补Kinect的精度问题，它是一个检测手势运动的传感器，动作跟踪精度精确到0.01mm，精确度是Kinect的100倍，然而，目前的体感技术主要应用于游戏领域，可感应和识别游戏者的实际动作，以控制游戏中角色的相应动作，可以为游戏者带来较好的游戏体验。
中国专利文献CN201410188979.X，申请日2014年05月06日，专利名称为“手势识别方法及装置，以及一种Leap Motion体感控制***”，公开了一种手势识别方法及装置，以及一种Leap Motion体感控制***，可以构建适用于Leap Motion的三维模型操作手势库，以及相应的手势识别方法，并提高手势识别的准确率，保证三维操作中模型变换的连贯性和稳定性。
中国专利文献CN201410306480.4，申请日2014年06月30日，专利名称为“基于Leap Motion控制的三维笔刷实时生成网格模型的方法”，公开了一种基于Leap Motion控制的三维笔刷实时生成网格模型的方法，可以通过Leap Motion捕获的手部位置和三维笔刷的几何参数捕捉笔刷移动过程中的体数据，并将动态体数据进行网格模型可视化。但是基于Leap Motion的非接触式计算机操控方法目前还未见报道。
发明内容
本发明的目的是针对现有技术中的不足，提供一种基于Leap Motion的非接触式计算机操控方法，通过Leap Motion检测人体动作来识别用户意图，完成对计算机的操控。
为实现上述目的，本发明采取的技术方案是：
一种基于Leap Motion的非接触式计算机操控方法，包括以下步骤：S1：Leap Motion通过红外LED和灰阶camera的方式采集数据，通过算法处理后生成相应的手部数据；S2：通过处理Leap Motion采集到的手部数据，以不同的判定标准和识别方法得到两类不同的手势，自然手势和轨迹手势；S3：匹配计算机操作；S4：执行计算机操作。
所述步骤S1中的手部数据包括三维空间坐标、手部向量和骨骼模型。
所述步骤S2包括S21：自然手势识别方法；S22：轨迹手势识别方法。
所述步骤S21包括：S211：定时提取关键帧数据；S212：判断坐标相对位置和方向向量；S213：匹配自然手势；S214：是否匹配到预设的自然手势。
所述步骤S214匹配预设的自然手势，执行步骤S3的操作，所述步骤214不匹配预设的自然手势，执行步骤S211的操作。
所述步骤S22包括：S221：缓存多帧数据；S222：获取某段时间内轨迹特征；S223：匹配轨迹手势；S224：是否匹配到预设的轨迹手势。
所述步骤S224匹配预设的轨迹手势，执行步骤S3的操作，所述步骤224不匹配预设的轨迹手势，执行步骤S221的操作。
所述步骤S222将步骤S221中的多帧数据坐标点集的拟合结果提取到特征值，且对数据的拟合处理采用最小二分法拟合。
本发明优点在于：
1、本发明的一种基于Leap Motion的非接触式计算机操控方法，采用Leap Motion控制器(Leap Motion Controller)作为传感器，通过检测人体动作来识别用户意图，完成对计算机的操控。相比传统方法：使用的媒介从具体的接触式发展到抽象的非接触式，不需要直接接触设备，通过检测人体动作来进行信息输入，整个操控过程变得更为自由；
2、Leap Motion拥有高精度、高刷新率等优点，满足对精度和刷新率有要求的操作，体积小，成本低，能很好的集成到计算机中；
3、用户能自由的在多种环境下使用，用户只需要做出一个简单的手势动作即可实现对计算机的操控；
4、第一次将体感技术应用在对计算机设备***级的操控上，弥补了Kinect延迟较高和无法很好的进行近距离精确识别等缺点；
5、全平台支持且能很好的与现有应用兼容；
6、基于三维空间的操控方式使用户能不被束缚在有限的二维空间上；可操控的空间变大，与人类所处的操控环境是一致的，是虚拟世界的现实增强。
附图说明
附图1为本发明的一种基于Leap Motion的非接触式计算机操控方法的流程图。
附图2为Leap Motion采集的原始数据和处理后的骨骼模型图。
附图3为自然手势“OK”的识别方法和判定标准图。
附图4为拟合前后的数据对比图。
附图5为计算机操控软件手势识别图。
具体实施方式
下面结合附图对本发明提供的具体实施方式作详细说明。
实施例1
请参照图1，图1本发明的一种基于Leap Motion的非接触式计算机操控方法的流程图。一种基于Leap Motion的非接触式计算机操控方法，所述的非接触式计算机操控方法包括以下步骤：
S1：Leap Motion通过红外LED和灰阶camera的方式采集数据，通过算法处理后生成相应的手部数据；其中手部数据包括三维空间坐标、手部向量和骨骼模型。如图2所示，图2为Leap Motion采集的原始数据和处理后的骨骼模型图。
S2：通过处理Leap Motion采集到的手部数据，以不同的判定标准和识别方法得到两类不同的手势，自然手势和轨迹手势；
S3：匹配计算机操作；
S4：执行计算机操作。
优选地，步骤S2包括S21：自然手势识别方法；S22：轨迹手势识别方法；
优选地，步骤S21包括：S211：定时提取关键帧数据；S212：判断坐标相对位置和方向向量；S213：匹配自然手势；S214：是否匹配到预设的自然手势；
优选地，所述步骤S214匹配预设的自然手势，执行步骤S3的操作，所述步骤214不匹配预设的自然手势，执行步骤S211的操作。
具体为：在自然手势的识别中，通过很小的时间间隔定时提取关键帧数据，分析前后关键帧中手部坐标的相对位置和方向向量，再与预设的自然手势数据进行特征匹配，进而判断出用户是否做出自然手势，如“OK”。
请参照图3，图3为自然手势“OK”的识别方法和判定标准图，根据关键帧中手部坐标的相对位置和方向向量来进行判定的，通过计算拇指和食指指尖坐标距离dist以及其余三根手指指向向量，再根据相应的判断标准就可以判定该手势为“OK”。
优选地，步骤S22还包括：S221：缓存多帧数据；S222：获取某段时间内轨迹特征；S223：匹配轨迹手势；S224：是否匹配到预设的轨迹手势；
优选地，所述步骤S224匹配预设的轨迹手势，执行步骤S3的操作，所述步骤224不匹配预设的轨迹手势，执行步骤S221的操作。
具体为：在轨迹手势的识别方法中，先缓存一定帧数的手部数据，将这部分坐标点进行拟合处理后，得到这段时间内的轨迹特征，然后与预设的轨迹手势数据进行特征匹配，进而判断用户是否做出轨迹手势，如在空中画了一个圆圈。
其中，在轨迹手势的识别方法中，根据多帧数据中坐标点集的拟合结果提取到的特征值进行判断匹配。对数据的拟合处理采用最小二分法拟合，如图4所示，图4为拟合前后的数据对比图。减少了噪点对结果的影响，从而减少误差。很大程度上解决了因光照条件等环境因素的不同造成采集的数据受到影响。
本发明的一种基于Leap Motion的非接触式计算机操控方法，在此技术之上开发了一款计算机操控软件。经过测试，在用户做出一个手势时，软件能很好的识别出来，如图5所示，图5为计算机操控软件手势识别图。并调用预先绑定好的计算机操作函数并执行，达到操控的目的。
本发明的一种基于Leap Motion的非接触式计算机操控方法，采用Leap Motion控制器(Leap Motion Controller)作为传感器，通过检测人体动作来识别用户意图，完成对计算机的操控。相比传统方法：使用的媒介从具体的接触式发展到抽象的非接触式，不需要直接接触设备，通过检测人体动作来进行信息输入，整个操控过程变得更为自由；Leap Motion拥有高精度、高刷新率 等优点，满足对精度和刷新率有要求的操作，体积小，成本低，能很好的集成到计算机中；用户能自由的在多种环境下使用，用户只需要做出一个简单的手势动作即可实现对计算机的操控；第一次将体感技术应用在对计算机设备***级的操控上，弥补了Kinect延迟较高和无法很好的进行近距离精确识别等缺点；全平台支持且能很好的与现有应用兼容；基于三维空间的操控方式使用户能不被束缚在有限的二维空间上；可操控的空间变大，与人类所处的操控环境是一致的，是虚拟世界的现实增强。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明方法的前提下，还可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。

Claims (8)

1.一种基于Leap Motion的非接触式计算机操控方法，其特征在于，包括以下步骤：S1：Leap Motion通过红外LED和灰阶camera的方式采集数据，通过算法处理后生成相应的手部数据；S2：通过处理Leap Motion采集到的手部数据，以不同的判定标准和识别方法得到两类不同的手势，自然手势和轨迹手势；S3：匹配计算机操作；S4：执行计算机操作。
2.根据权利要求1所述的非接触式计算机操控方法，其特征在于，所述步骤S1中的手部数据包括三维空间坐标、手部向量和骨骼模型。
3.根据权利要求1所述的非接触式计算机操控方法，其特征在于，所述步骤S2包括S21：自然手势识别方法；S22：轨迹手势识别方法。
4.根据权利要求3所述的非接触式计算机操控方法，其特征在于，所述步骤S21包括：S211：定时提取关键帧数据；S212：判断坐标相对位置和方向向量；S213：匹配自然手势；S214：是否匹配到预设的自然手势。
5.根据权利要求4所述的非接触式计算机操控方法，其特征在于，所述步骤S214匹配预设的自然手势，执行步骤S3的操作，所述步骤214不匹配预设的自然手势，执行步骤S211的操作。
6.根据权利要求3所述的非接触式计算机操控方法，其特征在于，所述步骤S22包括：S221：缓存多帧数据；S222：获取某段时间内轨迹特征；S223：匹配轨迹手势；S224：是否匹配到预设的轨迹手势。
7.根据权利要求6所述的非接触式计算机操控方法，其特征在于，所述步骤S224匹配预设的轨迹手势，执行步骤S3的操作，所述步骤224不匹配预设的轨迹手势，执行步骤S221的操作。
8.根据权利要求6所述的非接触式计算机操控方法，其特征在于，所述步骤S222将步骤S221中的多帧数据坐标点集的拟合结果提取到特征值，且对数据的拟合处理采用最小二分法拟合。
CN201510116720.9A 2015-03-17 2015-03-17 基于Leap Motion的非接触式计算机操控方法 Pending CN104793738A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510116720.9A CN104793738A (zh) 2015-03-17 2015-03-17 基于Leap Motion的非接触式计算机操控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510116720.9A CN104793738A (zh) 2015-03-17 2015-03-17 基于Leap Motion的非接触式计算机操控方法

Publications (1)

Publication Number Publication Date
CN104793738A true CN104793738A (zh) 2015-07-22

Family

ID=53558607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510116720.9A Pending CN104793738A (zh) 2015-03-17 2015-03-17 基于Leap Motion的非接触式计算机操控方法

Country Status (1)

Country Link
CN (1) CN104793738A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105034006A (zh) * 2015-08-28 2015-11-11 昆山塔米机器人有限公司 一种基于LeapMotion设备的猜拳机器人及猜拳手势识别方法
CN106598227A (zh) * 2016-11-15 2017-04-26 电子科技大学 基于Leap Motion和Kinect的手势识别方法
CN107124664A (zh) * 2017-05-25 2017-09-01 百度在线网络技术（北京）有限公司 应用于视频直播的交互方法和装置
CN109214295A (zh) * 2018-08-08 2019-01-15 长春理工大学 基于Kinect v2和Leap Motion的数据融合的手势识别方法
CN110059580A (zh) * 2019-03-27 2019-07-26 长春理工大学 一种基于leap motion的动态手势识别增强方法
CN112767557A (zh) * 2021-01-29 2021-05-07 天津大学 一种沉浸式虚拟古琴演奏多通道交互体验***的设计方法
CN113657243A (zh) * 2021-08-13 2021-11-16 黄理鑫 一种针对非接触式仿生学遥控手势性能影响的测试方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104007819A (zh) * 2014-05-06 2014-08-27 清华大学 手势识别方法、装置及Leap Motion体感控制***
CN203849701U (zh) * 2014-01-06 2014-09-24 江苏理工学院 基于非触摸的手势控制视频监控***
US20150074613A1 (en) * 2013-09-10 2015-03-12 Nicholas Frederick Oswald Menus with Hand Based Gestures

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150074613A1 (en) * 2013-09-10 2015-03-12 Nicholas Frederick Oswald Menus with Hand Based Gestures
CN203849701U (zh) * 2014-01-06 2014-09-24 江苏理工学院 基于非触摸的手势控制视频监控***
CN104007819A (zh) * 2014-05-06 2014-08-27 清华大学 手势识别方法、装置及Leap Motion体感控制***

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105034006A (zh) * 2015-08-28 2015-11-11 昆山塔米机器人有限公司 一种基于LeapMotion设备的猜拳机器人及猜拳手势识别方法
CN106598227A (zh) * 2016-11-15 2017-04-26 电子科技大学 基于Leap Motion和Kinect的手势识别方法
CN106598227B (zh) * 2016-11-15 2019-03-01 电子科技大学 基于Leap Motion和Kinect的手势识别方法
CN107124664A (zh) * 2017-05-25 2017-09-01 百度在线网络技术（北京）有限公司 应用于视频直播的交互方法和装置
CN109214295A (zh) * 2018-08-08 2019-01-15 长春理工大学 基于Kinect v2和Leap Motion的数据融合的手势识别方法
CN109214295B (zh) * 2018-08-08 2022-03-22 长春理工大学 基于Kinect v2和Leap Motion的数据融合的手势识别方法
CN110059580A (zh) * 2019-03-27 2019-07-26 长春理工大学 一种基于leap motion的动态手势识别增强方法
CN112767557A (zh) * 2021-01-29 2021-05-07 天津大学 一种沉浸式虚拟古琴演奏多通道交互体验***的设计方法
CN113657243A (zh) * 2021-08-13 2021-11-16 黄理鑫 一种针对非接触式仿生学遥控手势性能影响的测试方法

Similar Documents

Publication Publication Date Title
CN104793738A (zh) 基于Leap Motion的非接触式计算机操控方法
CN106598227B (zh) 基于Leap Motion和Kinect的手势识别方法
CN107728916B (zh) 隔空手写轨迹的显示方法及装置
CN103164022B (zh) 多指触摸方法和装置、便携式终端设备
CN107632699B (zh) 基于多感知数据融合的人机自然交互***
US9857868B2 (en) Method and system for ergonomic touch-free interface
CN103440101B (zh) 一种手写原笔迹数据的处理方法、***及手机
CN102096471B (zh) 一种基于机器视觉的人机交互方法
CN103970264B (zh) 手势辨识与控制方法及其装置
CN103809733A (zh) 人机交互***和方法
CN103823554A (zh) 一种数字化虚实交互***及方法
Guimbretière et al. Bimanual marking menu for near surface interactions
CN102306053B (zh) 一种基于虚拟触摸屏的人机交互方法、装置及电子设备
CN104516649A (zh) 基于体感技术的智能手机操作技术
CN109189219A (zh) 基于手势识别的非接触式虚拟鼠标的实现方法
KR20160141023A (ko) 액션이벤트·실감미디어컨텐츠연동을 수행하는 비접촉 스마트제스처인식장치 및 방법
CN103186264A (zh) 触控式电子装置及其触控方法
CN103970327A (zh) 基于曲线拟合的触摸轨迹跟踪方法和装置
Fuyun et al. A Natural Human-Computer Interaction Method In Virtual Roaming
CN113807280A (zh) 一种基于Kinect的虚拟船舶机舱***与方法
KR101171239B1 (ko) 영상처리를 이용한 비접촉 데이터 입력 및 조작 방법
Madhuri et al. Cursor Movements Controlled By Real Time Hand Gestures
CN106681516B (zh) 一种基于虚拟现实的自然人机交互***
Varga et al. Survey and investigation of hand motion processing technologies for compliance with shape conceptualization
Bernardes et al. Comprehensive model and image-based recognition of hand gestures for interaction in 3D environments

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150722