CN106708256B - 基于opencv和easyar的虚拟按键触发方法 - Google Patents

基于opencv和easyar的虚拟按键触发方法 Download PDF

Info

Publication number
CN106708256B
CN106708256B CN201611033483.0A CN201611033483A CN106708256B CN 106708256 B CN106708256 B CN 106708256B CN 201611033483 A CN201611033483 A CN 201611033483A CN 106708256 B CN106708256 B CN 106708256B
Authority
CN
China
Prior art keywords
easyar
virtual key
opencv
region
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611033483.0A
Other languages
English (en)
Other versions
CN106708256A (zh
Inventor
董晋超
孙冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
According To Beijing Science And Technology Co Ltd
Original Assignee
According To Beijing Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by According To Beijing Science And Technology Co Ltd filed Critical According To Beijing Science And Technology Co Ltd
Priority to CN201611033483.0A priority Critical patent/CN106708256B/zh
Publication of CN106708256A publication Critical patent/CN106708256A/zh
Application granted granted Critical
Publication of CN106708256B publication Critical patent/CN106708256B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明属于AR技术领域，提供了基于opencv和easyar的虚拟按键触发方法，包括S1：标定：预设有标定物目标；实时获取图片信息；S2：采样：当搜索到标定物时，得到误判区域，记录取样时间内经过虚拟按键位置的误判区域的数量；S3：跟踪识别：实时跟踪标定物，并统计每个取样时间内经过预设的虚拟按键位置的误判区域的数量，当该数量大于初始数量时，运行与虚拟按键关联的操作。该方法采取了一个折中的处理，采用现有的效率较高的训练文件对手部进行训练，并将训练结果进行二次运算，从而识别手的位置，降低对准确性要求高的训练文件制作的标准，运算量低，快速。

Description

基于opencv和easyar的虚拟按键触发方法
技术领域
本发明涉及AR技术领域，具体涉及基于opencv和easyar的虚拟按键触发方法。
背景技术
增强现实技术(Augmented Reality，简称AR)，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术，不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。现有的AR主要通过手机与现实互动，互动方式单一。
为了增强AR中与现实的互动性，申请人提出了在AR产品中植入虚拟按键的概念，使得用户通过点击现实空间中虚拟按键对应的空间，便能触发与虚拟按键关联的操作。这就要求AR产品能够对手部的位置进行识别。现有的用于AR领域中的手部识别技术均通过训练文件搜索手部所处的区域，从而得到手部的位置。但是现有的准确性高的训练文件具有如下缺点：一是样本量过大，导致制作手部训练文件的成功率低消耗时间成本较高。二是训练文件运行时占用内存过大，导致在手机上运作会过卡或者识别过慢。对于效率较高的训练文件，它虽然能够快速判断出人手的位置，但是由于其准确性较低，其往往会误判出一堆被误识别为手的区域。
发明内容
针对现有技术中的缺陷，本发明提供一种运算量低、快速、应用于AR领域中的基于opencv和easyar的虚拟按键触发方法。
基于opencv和easyar的虚拟按键触发方法，包括以下步骤：
S1：标定：在easyar中预设有标定物目标；easyar实时获取摄像头拍摄得到的图片信息；
S2：采样：当easyar通过摄像头搜索到与标定物目标相匹配的标定物时，利用opencv的训练文件训练手部生成的xml得到误判区域，记录取样时间内经过预设的虚拟按键位置的误判区域的数量，定义为初始数量；
S3：跟踪识别：easyar实时跟踪标定物，利用opencv的训练文件训练手部生成的xml得到误判区域，并统计每个取样时间内经过预设的虚拟按键位置的误判区域的数量，当该数量大于初始数量时，运行与虚拟按键关联的操作。
优选地，所述步骤S1中的标定物目标为预先输入的标定物图片。
优选地，所述easyar在Unity编辑器中设定所述标定物目标。
优选地，所述误判区域的数据类型为CVRect。
优选地，在所述摄像头的成像区域内还设有提示区域；在所述步骤S2中的采样过程中，提示区域用于输出显示有禁止手放入的提示信息。
优选地，所述步骤S3中还包括有：在easyar实时跟踪标定物的过程中，当easyar检测到标定物投射在应用程序中的世界坐标位移大于预设的可抖动距离时，返回步骤S2。
优选地，所述步骤S3中easyar采用Augment方法实时跟踪标定物。
由上述技术方案可知，本发明提供的基于opencv和easyar的虚拟按键触发方法，采取了一个折中的处理，采用现有的效率较高的训练文件对手部进行训练，并将训练结果进行二次运算，从而识别手的位置，降低对准确性要求高的训练文件制作的标准，运算量低，快速。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为本发明的方法中，easyar搜索到的标定物的示意图。
图2为本发明的方法中，opencv采样时得到误判区域的示意图。
图3为本发明的方法中，当手点击虚拟按键对应的空间时，利用opencv得到误判区域的示意图。
图中，1-误判区域，2-虚拟按键，3-手的真实区域。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
实施例：
基于opencv和easyar的虚拟按键触发方法，包括以下步骤：
S1：标定：在easyar中预设有标定物目标；easyar实时获取摄像头拍摄得到的图片信息；
S2：采样：当easyar通过摄像头搜索到与标定物目标相匹配的标定物时，利用opencv的训练文件训练手部生成的xml得到误判区域1，记录取样时间内经过预设的虚拟按键位置的误判区域的数量，定义为初始数量；
S3：跟踪识别：easyar实时跟踪标定物，利用opencv的训练文件训练手部生成的xml得到误判区域1，并统计每个取样时间内经过预设的虚拟按键2位置的误判区域的数量，当该数量大于初始数量时，运行与虚拟按键关联的操作。
opencv的全称是：Open Source Computer Vision Library。opencv是一个跨平台计算机视觉库，可以运行在Linux、Windows和Mac OS操作***上。它是由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。本方法中使用到的opencv内部函数如：cvtColor、equalizeHist、detectMultiScale等，配合训练文件使用，实现手部识别功能。误判区域是opencv训练文件对手部进行训练后判断为手的区域，其中包括错误判断区域和正确判断区域，之所以会有错误判断区域是训练文件在制作时，为了提高训练的效率，降低了训练的准确度造成的。误判区域的数据类型为CVRect。
easyar是Easy Augmented Reality的缩写，easyar于增强现实(AR)互动营销技术和解决方案，服务遍布手机app互动营销，户外大屏幕互动活动，网络营销互动等领域，包括运用于网络推广，消费品，发布会，零售，主题公园及博物馆上。
如图1-3所示，图1为easyar搜索到的与标定物目标相匹配的标定物，其中，标定物目标为预先输入的标定物图片，针对本实施例而言，标定物目标就是如图1所示的图片，通过easyar在Unity编辑器中设定。
当easyar第一次搜索到与标定物目标相匹配的标定物时，如图2所示，opencv在采样过程中得到9个误判区域，此时取样时间内经过预设的虚拟按键2位置的误判区域的数量为2个，即初始数量为2。在所述摄像头的成像区域内还设有提示区域；在所述步骤S2中的采样过程中，提示区域用于输出显示有禁止手放入的提示信息。禁止手放入的提示信息用于提醒使用者此时不要将手放入摄像头的成像区域中。当有手点击现实空间中虚拟按键所对应的空间时，标定物投射在摄像头的图片如图3所示，其中3为手的真实区域，即手的真正位置。此时利用opencv的xml得到10个误判区域，其中经过预设的虚拟按键2位置的误判区域的数量为3个，包括1个手的真实区域。由于误判区域既包括了误判的区域，也包括了手的真实区域。所以当真实有手点击虚拟按键对应的空间时，检测到的经过预设的虚拟按键位置的误判区域的数量自然大于初始数量，本发明正是利用该原理来识别手部位置，采取了一个折中的处理，采用现有的效率较高的训练文件对手部进行训练，并对训练结果进行二次运算，从而识别手的位置，降低对准确性要求高的训练文件制作的标准，使得该方法在PC或手机中运行最流畅，识别速度最快并且误判断的区域较少，运算量低，快速，能够广泛应用于AR领域。
为防止有些情况下，虚拟按键设定的位置过于靠近标定物的边角，导致除标定物以外的可变环境影响opencv的训练结果，使得跟踪识别过程中opencv没有识别到手的真实区域，所以本发明opencv只允许对标定物范围内出现的区域进行训练。
所述步骤S3中easyar采用Augment实时跟踪标定物。因为标定物在应用程序中投射出来的世界坐标是移动的，所以投射坐标的位移距离就是应用程序载体的抖动距离。因此，所述步骤S3中还包括有：在easyar实时跟踪标定物的过程中，当easyar检测到标定物投射在应用程序中的世界坐标位移大于预设的可抖动距离时，此时认为应用程序载体发生较大的位移，应重新对标定位进行采样，返回步骤S2。Easyar在跟踪标定物的过程中，一直监听包括有手的真是区域的所有误判区域。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (7)

1.基于opencv和easyar的虚拟按键触发方法，其特征在于，包括以下步骤：
S1：标定：在easyar中预设有标定物目标；easyar实时获取摄像头拍摄得到的图片信息；
S2：采样：当easyar通过摄像头搜索到与标定物目标相匹配的标定物时，利用opencv的训练文件训练手部生成的xml得到误判区域，记录取样时间内经过预设的虚拟按键位置的误判区域的数量，定义为初始数量；所述误判区域是opencv训练文件对手部进行训练后判断为手的区域；
S3：跟踪识别：easyar实时跟踪标定物，利用opencv的训练文件训练手部生成的xml得到误判区域，并统计每个取样时间内经过预设的虚拟按键位置的误判区域的数量，当该数量大于初始数量时，运行与虚拟按键关联的操作。
2.根据权利要求1所述的基于opencv和easyar的虚拟按键触发方法，其特征在于，所述步骤S1中的标定物目标为预先输入的标定物图片。
3.根据权利要求2所述的基于opencv和easyar的虚拟按键触发方法，其特征在于，所述easyar在Unity编辑器中设定所述标定物目标。
4.根据权利要求1所述的基于opencv和easyar的虚拟按键触发方法，其特征在于，所述误判区域的数据类型为CVRect。
5.根据权利要求1所述的基于opencv和easyar的虚拟按键触发方法，其特征在于，在所述摄像头的成像区域内还设有提示区域；在所述步骤S2中的采样过程中，提示区域用于输出显示有禁止手放入的提示信息。
6.根据权利要求1所述的基于opencv和easyar的虚拟按键触发方法，其特征在于，所述步骤S3中还包括有：在easyar实时跟踪标定物的过程中，当easyar检测到标定物投射在应用程序中的世界坐标位移大于预设的可抖动距离时，返回步骤S2。
7.根据权利要求1所述的基于opencv和easyar的虚拟按键触发方法，其特征在于，所述步骤S3中easyar采用Augment方法实时跟踪标定物。
CN201611033483.0A 2016-11-14 2016-11-14 基于opencv和easyar的虚拟按键触发方法 Active CN106708256B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611033483.0A CN106708256B (zh) 2016-11-14 2016-11-14 基于opencv和easyar的虚拟按键触发方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611033483.0A CN106708256B (zh) 2016-11-14 2016-11-14 基于opencv和easyar的虚拟按键触发方法

Publications (2)

Publication Number Publication Date
CN106708256A CN106708256A (zh) 2017-05-24
CN106708256B true CN106708256B (zh) 2018-05-25

Family

ID=58941269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611033483.0A Active CN106708256B (zh) 2016-11-14 2016-11-14 基于opencv和easyar的虚拟按键触发方法

Country Status (1)

Country Link
CN (1) CN106708256B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673161A (zh) * 2009-10-15 2010-03-17 复旦大学 一种可视可操作无实体的触摸屏***
CN101923433A (zh) * 2010-08-17 2010-12-22 北京航空航天大学 一种基于手影识别的人机交互方式
TW201227469A (en) * 2010-12-27 2012-07-01 Rong-Chin Lo Implement methods of an interactive multi-media bathroom mirror touch display system
CN103399652A (zh) * 2013-07-19 2013-11-20 哈尔滨工程大学 一种基于OpenCV摄像头标定的3D输入方法
CN104714646A (zh) * 2015-03-25 2015-06-17 中山大学 一种基于立体视觉的3d虚拟触控人机交互方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8818027B2 (en) * 2010-04-01 2014-08-26 Qualcomm Incorporated Computing device interface
TW201237773A (en) * 2011-03-15 2012-09-16 Wistron Corp An electronic system, image adjusting method and computer program product thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673161A (zh) * 2009-10-15 2010-03-17 复旦大学 一种可视可操作无实体的触摸屏***
CN101923433A (zh) * 2010-08-17 2010-12-22 北京航空航天大学 一种基于手影识别的人机交互方式
TW201227469A (en) * 2010-12-27 2012-07-01 Rong-Chin Lo Implement methods of an interactive multi-media bathroom mirror touch display system
CN103399652A (zh) * 2013-07-19 2013-11-20 哈尔滨工程大学 一种基于OpenCV摄像头标定的3D输入方法
CN104714646A (zh) * 2015-03-25 2015-06-17 中山大学 一种基于立体视觉的3d虚拟触控人机交互方法

Also Published As

Publication number Publication date
CN106708256A (zh) 2017-05-24

Similar Documents

Publication Publication Date Title
CN109952610B (zh) 图像修改器的选择性识别和排序
KR101832693B1 (ko) 직관적 컴퓨팅 방법들 및 시스템들
US8549418B2 (en) Projected display to enhance computer device use
CN109345556A (zh) 用于混合现实的神经网络前景分离
CN103313080A (zh) 控制设备、电子装置、控制方法和程序
CN109064390A (zh) 一种图像处理方法、图像处理装置及移动终端
Maynes-Aminzade et al. Eyepatch: prototyping camera-based interaction through examples
CN105229582A (zh) 基于近距离传感器和图像传感器的手势检测
CN111767554B (zh) 屏幕分享方法、装置、存储介质及电子设备
WO2021088422A1 (zh) 应用消息的通知方法及装置
US11694371B2 (en) Controlling interactivity of digital content overlaid onto displayed data via graphics processing circuitry using a frame buffer
CN106156237A (zh) 信息处理方法、信息处理装置及用户设备
CN109146540A (zh) 广告可见曝光的监测方法、移动设备及服务器
US20140181745A1 (en) Image capture
US20230388109A1 (en) Generating a secure random number by determining a change in parameters of digital content in subsequent frames via graphics processing circuitry
CN111221418B (zh) 进入vr头盔隐藏菜单方法、装置及vr头盔
CN112684893A (zh) 信息展示方法、装置、电子设备及存储介质
CN106708256B (zh) 基于opencv和easyar的虚拟按键触发方法
US20230048284A1 (en) Integrating digital content into displayed data on an application layer via processing circuitry of a server
US20220350650A1 (en) Integrating overlaid digital content into displayed data via processing circuitry using a computing memory and an operating system memory
CN113440844B (zh) 一种适用于游戏的信息处理方法、装置和电子设备
JP6699406B2 (ja) 情報処理装置、プログラム、位置情報作成方法、情報処理システム
US20230326094A1 (en) Integrating overlaid content into displayed data via graphics processing circuitry and processing circuitry using a computing memory and an operating system memory
US20240094886A1 (en) Applying visual modifiers to objects of interest selected by a pointer from a video feed in a frame buffer via processing circuitry
Vidal Jr et al. Extending Smartphone-Based Hand Gesture Recognition for Augmented Reality Applications with Two-Finger-Pinch and Thumb-Orientation Gestures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant