CN104142730B - 一种手势跟踪结果映射成鼠标事件的方法 - Google Patents

一种手势跟踪结果映射成鼠标事件的方法 Download PDF

Info

Publication number
CN104142730B
CN104142730B CN201410318600.2A CN201410318600A CN104142730B CN 104142730 B CN104142730 B CN 104142730B CN 201410318600 A CN201410318600 A CN 201410318600A CN 104142730 B CN104142730 B CN 104142730B
Authority
CN
China
Prior art keywords
mouse
mapped
tracking result
mapping
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410318600.2A
Other languages
English (en)
Other versions
CN104142730A (zh
Inventor
徐向民
罗雅愉
邹晓艺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201410318600.2A priority Critical patent/CN104142730B/zh
Publication of CN104142730A publication Critical patent/CN104142730A/zh
Application granted granted Critical
Publication of CN104142730B publication Critical patent/CN104142730B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开一种手势跟踪结果映射成鼠标事件的方法，将物理空间的手势跟踪结果映射成鼠标的移动，实现对操作***中鼠标的准确平滑控制。该方法包括如下步骤：(1)对在不同使用平台下跟踪算法的运算速度进行时间规整；(2)根据人与摄像头的距离自适应距离规整；(3)阈值和参数设置；(4)对跟踪结果区分抖动和慢速移动情况；(5)通过映射函数将图像中的人手映射成为鼠标事件；(6)对鼠标运动过程进行速度平滑处理；(7)采用帧间插值的方式填补两帧映射的鼠标点，显示插值。本发明不受限于跟踪算法，能有效地将跟踪结果映射为鼠标事件，且对于跟踪效果不好的算法，能通过鼠标事件修补最终的映射结果，提高算法在实际中的可用性。

Description

一种手势跟踪结果映射成鼠标事件的方法
技术领域
本发明涉及计算机视觉跟踪和人机交互领域，具体涉及一种基于计算机视觉的手势跟踪映射到鼠标的方法。
背景技术
随着计算机视觉技术的发展，手势识别和跟踪技术日益成熟，其相关产品也逐渐从科学研究走向产业化，成为实际性商品走进社会。人机交互技术是将基于计算机视觉的手势识别和跟踪技术与机器联系的关键。人手通过一定的映射算法对计算机中的光标进行操控，实现光标在操作界面中的移动以及对操作***的控制。
如今的2D手势跟踪算法仍存在一定的局限性，在跟踪过程中由于噪声的存在，跟踪结果不可避免地产生不同程度的抖动，同时，在交互过程中，用户交互的友好性和舒适度也成为交互映射算法考虑的一个重要因素。因此，对普通手势跟踪算法的适用性，提高算法鲁棒性和满足人类自然交互习惯成为人机交互技术中映射算法发展趋势。
发明内容
本发明的目标在于克服现有的手势映射光标算法在实际应用中存在的不足，提供一种自然、和谐、高效的手势跟踪结果映射成鼠标事件的方法，具体技术方案如下。
一种手势跟踪结果映射成鼠标事件的方法，包括以下步骤：
对当前手势跟踪算法进行时间规整；
对当前手势跟踪算法的跟踪结果进行距离规整；
区分抖动和慢速移动情况；
将人手跟踪结果映射为鼠标事件；
对鼠标速度做平滑处理；
填补两帧映射的鼠标点。
在其中一个实施例中，所述对当前手势跟踪算法进行时间规整具体是：对手势跟踪结果乘以一个与标准测试平台帧间时间相比较的系数，使得物理世界中人手同样的速度在不同的帧间处理时间都可以映射为同样的鼠标速度。
在其中一个实施例中，所述对当前手势跟踪算法的跟踪结果进行距离规整具体包括以下步骤：(a)利用
跟踪结果中跟踪框的大小，计算人手与摄像头之间的距离；
(b)自适应地调整图面中计算出来的人手运动速度。
在其中一个实施例中，所述区分抖动和慢速移动情况具体包括以下步骤：
(a)累计历史跟踪点取得到平均滤波点；
(b)将当前的跟踪点与这个滤波点来比较，区分慢速移动和抖动；
(c)屏蔽抖动，放大慢速移动。
在其中一个实施例中，所述将人手跟踪结果映射成鼠标事件的具体映射方案包括：采用分段函数，将规整后的人手运动速度对应不同的映射倍率。
在其中一个实施例中，所述对鼠标速度做平滑处理具体包括：对当前映射的鼠标速度与前一帧得到的鼠标速度做加权求和，避免跟踪过程中鼠标的显示速度在交互视觉上发生突变。
在其中一个实施例中，所述填补两帧映射的鼠标点具体是：在两帧算法处理时间内采用帧间线性插值的方式填补两帧映射的鼠标点，***鼠标点的个数视具体算法处理时间而定，从而避免部分算法处理时间过长导致鼠标跳动的情况。
进一步优化的，上述方法还包括：根据用户的运动趋势，规范化鼠标的横纵映射轨迹。
本发明一种手势跟踪结果映射成鼠标事件的方法与现有技术相比，具有如下优点和技术效果：
(1)本发明算法复杂度低，在实际应用中消耗的资源少。
(2)本发明不受限于具体的跟踪算法，具有普适性。
(3)本发明在一定程度上能弥补跟踪算法本身的不足，提高跟踪算法在实际中的鲁棒性。
(4)本发明能为用户提供与计算机自然的交互体感，操作感强。
附图说明
图1是本发明手势跟踪结果映射成鼠标事件的方法流程图。
图2是不同用户使用距离的成像原理图。
图3是运动状态分类图。
图4是本发明所采用的映射函数。
图5是本发明与其中一个常用的距离映射方法的结果对比图。
具体实施方式
以下结合附图对本发明的具体实施方法作进一步说明，但本发明的实施和保护不限于此，需说明书的是，以下凡是未特别说明的符号、步骤或过程，均是本领域技术人员可参照现有技术实现的。
如图1所示，本发明手势跟踪结果映射成鼠标事件的方法包括如下流程。
(1)对当前手势跟踪算法进行时间规整，对手势跟踪结果乘以一个与标准测试平台帧间时间相比较的系数，使得物理世界中人手同样的速度在不同的帧间处理时间都可以映射为同样的鼠标速度，时间规整方法如下：
手势速度v＝帧间两点欧式距离(像素数)d/帧间时间t(ms)
在标准测试平台中算法整体耗时为T ms，确定映射区间steady、v1、v2，选择在该测试平台中的较优测试参数。当在其他平台下运行时，通过时间规整处理这些参数，使得物理世界中人手同样的速度在不同的帧间处理时间都可以映射为同样的光标速度。实现方式为乘以一个与标准测试平台帧间时间相比较的系数。
(2)根据用户与摄像头的距离做距离规整，利用跟踪结果中跟踪框(204、205)的大小，如图2所示，计算人手面积S以及人手201与不同距离摄像头203之间的距离L，在测试平台上的标准人手面积Sstandard(映射较优时对应的)，人手201与标定摄像头202之间的标准距离Lstandard进行比较得到当前算法计算到的人手运动速度的缩放因子F，利用缩放因子自适应地调整图面中计算出来的人手运动速度。
(3)区分抖动和慢速移动情况，图3中包括抖动点302和慢速移动点303，通过累计历史25个跟踪点取平均得到中值滤波点301，将当前的跟踪点与这个滤波点来比较，而不是与上一帧的点来比较。从而缩小抖动304，放大慢速移动305，如图3所示。
(4)将人手跟踪结果映射成鼠标事件的映射方案，采用分段函数，将规整后的人手运动速度对应不同的映射倍率。本发明所采用的映射方案如图4所示。图中横轴为算法跟踪得到的人手的运动速度，纵轴为映射倍率(倍率k＝要映射的鼠标速度/人手的运动速度)。设定不同的速度阈值v1、v2、v3，映射函数为分段非线性函数，包括指数函数、对数函数，其中α的值需要根据所要达到的实际映射倍率调整。
(5)为了减少算法对人手的跟踪可能会造成速度的突变，本发明对鼠标速度做平滑处理，对当前映射的鼠标速度与前一帧得到的鼠标速度做加权求和，避免跟踪过程中鼠标的显示速度在交互视觉上发生突变，公式如下：
映射的速度＝0.5*上一帧的映射速度+0.5*当前帧没滤波前的映射速度
(6)在两帧算法处理时间内采用帧间线性插值的方式填补两帧映射的鼠标点，***鼠标点的个数视具体算法处理时间而定，从而避免部分算法处理时间过长导致鼠标跳动的情况。
以下仅仅为举例：在具体跟踪算法中的使用，以均值漂移(mean shift)算法作目标跟踪算法为例，以手作为跟踪目标，将本发明的映射方法与目前较为普遍使用的距离相对映射方法分别作用于的跟踪结果，实现手势漫游映射为鼠标移动的功能。为了有效比较两种映射方法，采用同一段测试视频作为输入，视频中用户的手匀速横向漫游。分别提取在两种映射方法下鼠标在屏幕上的绝对位移，在同一个坐标系中描绘出来，如图5所示，实线为本发明所提出方法的映射结果，虚线是跟踪相对映射方法的映射结果，计算两种映射方法在y轴上的方差可得，常用的距离映射方法的方差约等于21.9447，本发明的方差约为11.9944。由此可以看出，本发明的映射方法较为稳定，路径平衡，抖动较小。
以上仅为本发明的具体实施例，并不以此限定本发明的保护范围；在不违反本发明构思的基础上所作的任何替换与改进，均属于本发明的保护范围。

Claims (6)

1.一种手势跟踪结果映射成鼠标事件的方法，其特征在于包括如下步骤：
（1）对当前手势跟踪算法进行时间规整；所述对当前手势跟踪算法进行时间规整具体是：对手势跟踪结果乘以一个与标准测试平台帧间时间相比较的系数，使得物理世界中人手同样的速度在不同的帧间处理时间都能映射为同样的鼠标速度；
（2）对当前手势跟踪算法的跟踪结果进行距离规整；所述距离规整具体是：根据用户与摄像头的距离做距离规整，利用跟踪结果中跟踪框的大小，计算人手与摄像头之间的距离，自适应地调整画面中计算出来的人手运动速度；
（3）区分抖动和慢速移动情况；
（4）将人手跟踪结果映射为鼠标事件；
（5）对鼠标速度做平滑处理；
（6）填补两帧映射的鼠标点。
2.如权利要求1所述的一种手势跟踪结果映射成鼠标事件的方法，其特征在于所述区分抖动和慢速移动情况具体是：累计历史跟踪点得到平均滤波点，将当前的跟踪点与这个滤波点来比较，区分慢速移动和抖动，并屏蔽抖动，放大慢速移动。
3.如权利要求1所述的一种手势跟踪结果映射成鼠标事件的方法，其特征在于步骤（4）采用分段函数，将规整后的人手运动速度对应不同的映射倍率。
4.如权利要求1所述的一种手势跟踪结果映射成鼠标事件的方法，其特征在于步骤（5）中，对当前映射的鼠标速度与前一帧得到的鼠标速度做加权求和，避免跟踪过程中鼠标的显示速度在交互视觉上发生突变。
5.如权利要求1所述的一种手势跟踪结果映射成鼠标事件的方法，其特征在于步骤（6）在两帧算法处理时间内采用帧间线性插值的方式填补两帧映射的鼠标点，***鼠标点的个数根据芯片的效率或者计算机的硬件条件对具体手势跟踪算法的处理时间来确定，从而避免部分算法处理时间过长导致鼠标跳动的情况。
6.如权利要求1所述的一种手势跟踪结果映射成鼠标事件的方法，其特征在于根据用户的运动趋势，规范化鼠标的横纵映射轨迹。
CN201410318600.2A 2014-07-04 2014-07-04 一种手势跟踪结果映射成鼠标事件的方法 Active CN104142730B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410318600.2A CN104142730B (zh) 2014-07-04 2014-07-04 一种手势跟踪结果映射成鼠标事件的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410318600.2A CN104142730B (zh) 2014-07-04 2014-07-04 一种手势跟踪结果映射成鼠标事件的方法

Publications (2)

Publication Number Publication Date
CN104142730A CN104142730A (zh) 2014-11-12
CN104142730B true CN104142730B (zh) 2017-06-06

Family

ID=51851932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410318600.2A Active CN104142730B (zh) 2014-07-04 2014-07-04 一种手势跟踪结果映射成鼠标事件的方法

Country Status (1)

Country Link
CN (1) CN104142730B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104793744A (zh) * 2015-04-16 2015-07-22 天脉聚源(北京)传媒科技有限公司 一种手势操作的方法及装置
CN111330243A (zh) * 2018-12-18 2020-06-26 上海赢赞数字科技有限公司 一种攀岩墙体感互动方法、控制***、互动***
CN112394811B (zh) 2019-08-19 2023-12-08 华为技术有限公司 一种隔空手势的交互方法及电子设备
CN112671972A (zh) * 2020-12-21 2021-04-16 四川长虹电器股份有限公司 一种手机控制大屏电视鼠标的移动的方法
CN114840126B (zh) * 2022-05-23 2024-01-23 北京字跳网络技术有限公司 对象控制方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102707802A (zh) * 2012-05-09 2012-10-03 华南理工大学 手势运动映射到界面的速度控制方法
CN103324277A (zh) * 2012-03-22 2013-09-25 扬州永利宁科技有限公司 非触摸用户输入识别
CN103324281A (zh) * 2013-04-18 2013-09-25 苏州易乐展示***工程有限公司 一种非接触互动展示***的滤波方法
CN103400118A (zh) * 2013-07-30 2013-11-20 华南理工大学 一种映射关系自适应调整的手势控制方法
CN103488294A (zh) * 2013-09-12 2014-01-01 华南理工大学 一种基于用户交互习惯的非接触手势控制映射调整方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9448633B2 (en) * 2011-10-01 2016-09-20 Oracle International Corporation Moving a display object within a display frame using a discrete gesture

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324277A (zh) * 2012-03-22 2013-09-25 扬州永利宁科技有限公司 非触摸用户输入识别
CN102707802A (zh) * 2012-05-09 2012-10-03 华南理工大学 手势运动映射到界面的速度控制方法
CN103324281A (zh) * 2013-04-18 2013-09-25 苏州易乐展示***工程有限公司 一种非接触互动展示***的滤波方法
CN103400118A (zh) * 2013-07-30 2013-11-20 华南理工大学 一种映射关系自适应调整的手势控制方法
CN103488294A (zh) * 2013-09-12 2014-01-01 华南理工大学 一种基于用户交互习惯的非接触手势控制映射调整方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A survey of 3D object selection techniques for virtual environments;Argelaguet F Andujar C;《Computers & Graphics》;20131230;第27卷(第2013期);第121-136页 *

Also Published As

Publication number Publication date
CN104142730A (zh) 2014-11-12

Similar Documents

Publication Publication Date Title
CN104142730B (zh) 一种手势跟踪结果映射成鼠标事件的方法
JP5855445B2 (ja) デジタルイメージ安定化のための、ビデオデータ処理方法及びイメージ処理回路、並びにこれを用いるカメラ
JP6469932B2 (ja) 自動ズームを実施するためのシステムおよび方法
US8131098B2 (en) Image processing device, image processing method, image processing system, program, storage medium, and integrated circuit
CN109711304B (zh) 一种人脸特征点定位方法及装置
US9218653B2 (en) Method and apparatus for dynamic range enhancement of an image
WO2021189173A1 (en) Methods and systems for hand gesture-based control of a device
CN105611116B (zh) 一种全局运动矢量估计方法及监控视频稳像方法及装置
CN104980626A (zh) 用于降低图像噪声的方法和设备
CN101877130A (zh) 复杂场景下基于粒子滤波器的运动目标跟踪方法
US20140002618A1 (en) Image processing device and image processing method having function for reconstructing multi-aspect images, and recording medium
JP5014274B2 (ja) 画像処理装置、画像処理方法、画像処理システム、プログラム、記録媒体および集積回路
CN105574817A (zh) 图像的抗锯齿方法和装置
KR20160103902A (ko) 영상 처리 장치, 영상 처리 방법, 및 영상 처리 프로그램
CN109859138B (zh) 一种基于人眼视觉特性的红外图像增强方法
TW201312418A (zh) 用於決定控制域中之控制輸出的方法與控制裝置
CN102006462A (zh) 利用运动信息的快速监控视频增强方法及其实现装置
WO2021184356A1 (en) Methods and systems for hand gesture-based control of a device
TWI517097B (zh) 增強影像對比之方法及裝置以及非暫時性計算機可讀媒體
EP3166315A1 (en) A method and apparatus for controlling a degree of compression of a digital image
KR101499463B1 (ko) 시각적 임계치를 이용한 히스토그램 평활화 장치
CN103258318B (zh) 一种图像降噪处理方法及***
JP6570304B2 (ja) 映像処理装置、映像処理方法およびプログラム
US9736456B1 (en) Two dimensional to three dimensional video conversion
Tu et al. Retinex Based Flicker-Free Low-Light Video Enhancement

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant