CN202159302U - 具有用户交互和输入功能的增强现实*** - Google Patents

具有用户交互和输入功能的增强现实*** Download PDF

Info

Publication number
CN202159302U
CN202159302U CN2011202698202U CN201120269820U CN202159302U CN 202159302 U CN202159302 U CN 202159302U CN 2011202698202 U CN2011202698202 U CN 2011202698202U CN 201120269820 U CN201120269820 U CN 201120269820U CN 202159302 U CN202159302 U CN 202159302U
Authority
CN
China
Prior art keywords
user
reality system
augmented reality
augment reality
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2011202698202U
Other languages
English (en)
Inventor
李钢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN2011202698202U priority Critical patent/CN202159302U/zh
Application granted granted Critical
Publication of CN202159302U publication Critical patent/CN202159302U/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本实用新型公开了一种具有用户交互和输入功能的增强现实***，应用红外视频跟踪装置，采用了位置标记，例如小圆盘，通过预设定标记的位置，能够使增强现实***识别该标记，并且能够将该标记所在位置设置成虚拟的按钮。这些增强现实标记能够被用户操作，从而达到增强现实***与用户之间的交互。这种交互包括用户把自己的手放置在前述按钮上时，增强现实***知道用户在与***进行交互，然后通过红外视频跟踪***，增强现实***能够识别出用户当前的姿势，从而确定用户希望传递给增强现实***的内容。增强现实***还能够通过在用户的视图上进行增强使用户得到反馈信息。

Description

具有用户交互和输入功能的增强现实***
技术领域
本实用新型属于增强现实技术领域，具体涉及一种增强现实***，更加确切地说是一种用于在增强现实技术上实现用户交互和输入功能的增强现实***，通过该***能够达到对于现实世界的增强，以及在增强的虚拟现实***中实现用户与虚拟***的交互。
背景技术
增强现实（Augmented Reality，简称AR），也称之为混合现实。它通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。从用户的角度来说，真实世界被事先准备好的计算机模型（虚拟模型）所增强，这种增强可以包括标签、三维渲染模型，或者是影子和照明变化等。在得到现实世界施加的某种触发信号的基础上，增强现实能够使用户可以实现虚拟世界和现实世界的交互沟通。增强现实的应用领域包括计算机辅助诊断、计算机辅助维修或者维护、计算机产品升级或者内部结构设计等。
在一个典型的增强现实***中，真实世界的场景通过事先准备的计算机辅助生成的图形被增强，在这个过程中需要保证真实世界和虚拟世界的视觉效果的同步，或者说真实世界和虚拟世界的坐标***的一致性。计算机虚拟图形在增强现实视图中的位置要根据真实世界的地理模型来决定。为了使这个图形能够更好的和真实世界的图形具有适当的一致性， 用户所处的姿势和真实世界中的光线和虚拟的摄像设备必须首先是一致的。这种一致性需要通过对于真实世界中识别物体的持续跟踪并且实时地用跟踪信息和识别到物体的具***置来更新虚拟模型在增强现实场景中的具***置。一旦这两个能力被结合在一起，真实世界物体和计算机辅助生成图形可以被完美地结合在增强现实场景中，就能够实现用存储和事先处理的信息来增强真实世界场景的目的。
由于在跟踪速度和准确性上的进步，实时地增强现实能够得到实现，用户交互变得更加可视化。为了能够更加充分的发掘增强现实技术的潜力，用户需要像传统***那样与增强现实***实现交互，就像使用键盘和鼠标一样。但如果把这种设备引入到增强现实***中将使得***看起来非常笨重。而一些更加先进的交互方法因为他们固有的问题，也非常难于与增强现实***进行整合，如“示教”增强现实***。目前大部分的正在应用或者正在开发的增强现实***，普遍缺乏易用的、直观的、有效的与用户交互的方法。
实用新型内容
针对现有的增强现实***在用户交互和输入应用上的缺陷与不足，申请人经过研究改进，提供一种具有可靠的、高速的用户交互和输入功能的增强现实***，以提高用户在使用增强现实***过程中的易用性和参与感，该***需求最小的附加硬件和最小的附加处理能源。
本实用新型的技术方案如下：
一种具有用户交互和输入功能的增强现实***，该***包括：
一个显示设备，用于将增强现实的结果显示给用户；
一个视频图像跟踪装置，用于确定物体在真实世界中的位置；
一个处理器，用于计算位置变换；
一个或多个标记，用于触发用户输入功能。
其进一步的技术方案为：所述视频图像跟踪装置是基于红外图像处理的视频图像跟踪装置，其包括：
一个红外摄像头；
一个红外滤波镜头；
一个或多个排列在红外摄像头周围的红外LED灯。
其进一步的技术方案为：所述标记通过处理器的处理被增强为按钮显示在用户视图之中。
其进一步的技术方案为：所述标记通过处理器的处理被增强为菜单显示在用户视图之中。
本实用新型的有益技术效果是：
一、本实用新型通过增强现实***对真实世界和虚拟物体进行结合，为用户提供一个对现实进行增强的途径。
二、本实用新型能够在没有附加设备的情况下实现传统意义上的用户与增强现实***的交互，并且该交互是可靠的、高速的。
三、本实用新型利用视频跟踪技术，只需要最小的硬件和最小的增强现实***的处理资源就能够被应用。
附图说明
图1 是本实用新型的构成示意图。
图2 是一个基于红外LED照明的红外跟踪摄像头。
图3 是一个基于用户角度的本实用新型与增强现实***交互流程图。
具体实施方式
下面结合附图对本实用新型的具体实施方式做进一步说明。
图1示出了本实用新型的增强现实***。如图1所示，该增强现实***包括一个显示真实世界和对现实世界进行增强的显示设备1，一个确定真实物体在真实世界中位置的视频图像跟踪装置2，以及一个处理器3，通过计算决定用户的视图并且把虚拟三维物体投射到真实世界中，并展现在用户的视图里面。在本实例中显示设备1为头戴式可视设备（HMD），但在实际应用中不限于头戴式可视设备。在本实例中处理器3为桌面电脑，但在实际应用中不限于桌面电脑。为了更有利于说明，本增强现实***将被限定于一个指定的工作空间4，在这个工作空间4中包括了标识物板5和至少一个触发输入程序的标记6。视频图像跟踪装置2和标识物板5一起决定使用者的头部的位置和朝向，并根据这些信息决定用户所看到的景象。
如图2所示，视频图像跟踪装置2包括一个红外摄像头7和一个红外滤波镜头8以及若干照明用红外LED 灯9，这些照明用红外LED 灯9被安装在红外摄像头7周围。如图1所示，视频图像跟踪装置2与处理器3进行连接；视频将从视频图像跟踪装置2捕捉，然后通过图像采集***传送给处理器3进行操作，来识别图像中的标识物板5上的反光标识。因为捕捉的视频是经由过滤的，唯一可见的是反光标识所返回的红外光。由于视频图像跟踪装置2被限定在一个事先设计的工作空间4中，标识物板5上的反光标识的位置是已知的，处理器3能够非常清楚地决定用户的姿势和位置。
如图1所示，在增强现实***中，标识物板5是用于决定用户的姿势的。标识物板5上的反光标识是多个小的反光圆片10，这些反光圆片10环绕着四个细的反光板11。实际应用中反光板11的位置信息被存储在处理器3中，所以当红外摄像头7拍摄到反光板11的时候，用户的姿势就能够被决定，该对于用户姿势的估计会被返回到增强现实***。
如果一个标识物板5在视频中被识别出来，触发输入程序的标记6的位置也就能够在视频序列中估计出来。这个触发输入程序的标记6是基于它在现实世界中的真实位置。通过跟踪***和姿势估计的结果来决定处理器所在的位置，以及真实世界中的任何物体在用户视图中的位置。这也就是说触发输入程序的标记6在用户视图中的投影或者说位置能够被计算出来。一旦触发输入程序的标记6变得可见，触发输入程序的标记6对应的输入功能可以被装入到增强现实***中，***就会进入输入模式并且等待用户的行动。
增强现实***将判断用户是否正在与增强现实***进行交互。如果识别物没有出现在用户视图之中，即使用户触碰了触发输入标记，***也不会对用户的行为进行反应；相反则视为用户在与增强现实***进行交互。
需要指出的是，在本实用新型中触发输入程序的标记6的类型和功能是由处理器3基于一致的标识物的位置来工作的。然而，一旦标识物板5的位置被估计，通过放置标记在一致的位置，任意数量的输入设备就都能够被实现。一个4*3的标识物矩阵可以放置在一个特定的位置。来仿真一个数字键盘输入设备，就像是电话机上的数字输入键盘一样。这样做也会使增强现实***更加具有可伸缩性。
本实用新型中应用了基于红外和视频序列的图像跟踪算法，但不限于红外和视频序列的图像跟踪算法。采用了位置标记，这种标记的一个实例如一个小的盘子。在处理设备中将对于图像进行处理，例如对于这个圆盘子对于用户的视觉景象中奖被处理成为一个圆形的按钮。但是不限于此。用户可以通过将他们的手放在这些按钮上或者圆盘子上来触发某种交互功能。通过类似的原理增强现实***还能够模仿类似于计算机中的菜单的功能，以及给用户以必要的反馈和互动。然后通过红外视频跟踪***，增强现实***能够识别出用户当前的姿势，从而确定用户希望传递给增强现实***的内容。增强现实***还能够通过在用户的视图上进行增强使用户得到反馈信息。
基于以上的描述，在图3中示出了用户如何与本实用新型的增强现实***进行互动的流程，该流程如下：
1）步骤101，将预先定义的可见的标识物体，放置在工作空间的特定位置，然后进入步骤102；
2）步骤102，利用摄像装置，在现实世界中步骤视频图像序列，然后进入步骤103；
3）步骤103，在图像序列中寻找预定义的标识物体；若可以找到预定义的标识物体，进入步骤104，否则返回步骤102；
4）步骤104，计算标识物体在真实世界中的具***置，然后进入步骤105；
5）步骤105，装入和开启输入功能模块，然后进入步骤106；
6）步骤106，进入输入模式，然后进入步骤107；
7）步骤107，判断标识物体是否可见；若是则进入步骤108，若否则返回步骤106；
8）步骤108，执行相应的输入程序，流程结束。
以上所述的仅是本实用新型的优选实施方式，本实用新型不限于以上实施例。可以理解，本领域技术人员在不脱离本实用新型的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本实用新型的保护范围之内。 

Claims (2)

1.一种具有用户交互和输入功能的增强现实***，其特征在于，该***包括：
一个显示设备，用于将增强现实的结果显示给用户；
一个视频图像跟踪装置，用于确定物体在真实世界中的位置；
一个处理器，用于计算位置变换；
一个或多个标记，用于触发用户输入功能。
2.根据权利要求1所述具有用户交互和输入功能的增强现实***，其特征在于：所述视频图像跟踪装置是基于红外图像处理的视频图像跟踪装置，其包括：
一个红外摄像头；
一个红外滤波镜头；
一个或多个排列在红外摄像头周围的红外LED灯。
CN2011202698202U 2011-07-28 2011-07-28 具有用户交互和输入功能的增强现实*** Expired - Fee Related CN202159302U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011202698202U CN202159302U (zh) 2011-07-28 2011-07-28 具有用户交互和输入功能的增强现实***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011202698202U CN202159302U (zh) 2011-07-28 2011-07-28 具有用户交互和输入功能的增强现实***

Publications (1)

Publication Number Publication Date
CN202159302U true CN202159302U (zh) 2012-03-07

Family

ID=45766932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011202698202U Expired - Fee Related CN202159302U (zh) 2011-07-28 2011-07-28 具有用户交互和输入功能的增强现实***

Country Status (1)

Country Link
CN (1) CN202159302U (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102778998A (zh) * 2012-03-19 2012-11-14 联想(北京)有限公司 一种交互方法，设备及***
CN105528081A (zh) * 2015-12-31 2016-04-27 广州创幻数码科技有限公司 一种混合现实显示方法、装置及***
CN105814876A (zh) * 2013-12-19 2016-07-27 索尼公司 图像处理设备和方法以及程序
WO2016165548A1 (zh) * 2015-04-16 2016-10-20 北京蚁视科技有限公司 一种基于高反光红外标识的视觉定位***及方法
WO2017088187A1 (zh) * 2015-11-27 2017-06-01 深圳市欢创科技有限公司 对虚拟现实设备实现位置追踪的***及方法
CN108076674A (zh) * 2015-06-16 2018-05-25 利勃海尔比伯拉赫零部件有限公司 组装电气开关***的方法和简化该开关***的组装的辅助组装装置
WO2019153970A1 (zh) * 2018-02-06 2019-08-15 广东虚拟现实科技有限公司 头戴显示装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102778998A (zh) * 2012-03-19 2012-11-14 联想(北京)有限公司 一种交互方法，设备及***
US9323364B2 (en) 2012-03-19 2016-04-26 Beijing Lenovo Software Ltd Interactive method, apparatus and system
CN105814876A (zh) * 2013-12-19 2016-07-27 索尼公司 图像处理设备和方法以及程序
CN105814876B (zh) * 2013-12-19 2019-07-02 索尼公司 图像处理设备和方法
WO2016165548A1 (zh) * 2015-04-16 2016-10-20 北京蚁视科技有限公司 一种基于高反光红外标识的视觉定位***及方法
CN108076674A (zh) * 2015-06-16 2018-05-25 利勃海尔比伯拉赫零部件有限公司 组装电气开关***的方法和简化该开关***的组装的辅助组装装置
US10566771B2 (en) 2015-06-16 2020-02-18 Leibherr-Components Biberach GmbH Method for mounting electric switching systems and assembly support device for simplifying the assembly of such switching systems
WO2017088187A1 (zh) * 2015-11-27 2017-06-01 深圳市欢创科技有限公司 对虚拟现实设备实现位置追踪的***及方法
CN105528081A (zh) * 2015-12-31 2016-04-27 广州创幻数码科技有限公司 一种混合现实显示方法、装置及***
CN105528081B (zh) * 2015-12-31 2019-02-19 广州创幻数码科技有限公司 一种混合现实显示方法、装置及***
WO2019153970A1 (zh) * 2018-02-06 2019-08-15 广东虚拟现实科技有限公司 头戴显示装置

Similar Documents

Publication Publication Date Title
CN202159302U (zh) 具有用户交互和输入功能的增强现实***
US11887312B2 (en) Fiducial marker patterns, their automatic detection in images, and applications thereof
US10235412B2 (en) Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US11978243B2 (en) System and method using augmented reality for efficient collection of training data for machine learning
US9495013B2 (en) Multi-modal gestural interface
EP2427857B1 (en) Gesture-based control systems including the representation, manipulation, and exchange of data
EP3095074B1 (en) 3d silhouette sensing system
CN102854983B (zh) 一种基于手势识别的人机交互方法
US8681098B2 (en) Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
JP2018077882A (ja) 複数クライアント装置およびディスプレイを有する動作環境のための方法、およびシステム
CN102460373A (zh) 表面计算机用户交互
CN108304075A (zh) 一种在增强现实设备进行人机交互的方法与设备
KR20140068855A (ko) 공간 입력 장치를 위한 적응적 추적 시스템
CN102306065A (zh) 交互式光感触摸微型投影***的实现方法
CN109656363A (zh) 一种用于设置增强交互内容的方法与设备
CN108089713A (zh) 一种基于虚拟现实技术的室内装修方法
Margetis et al. Augmenting physical books towards education enhancement
Raees et al. Thumb inclination-based manipulation and exploration, a machine learning based interaction technique for virtual environments
Liu et al. A cross-platform framework for physics-based collaborative augmented reality
RE Low cost augmented reality for industrial problems
Xu et al. A New Architecture of Augmented Reality Engine
CN115525151A (zh) 一种沉浸式交互大屏实现方法
Gupta The Universal Media Book
Cerneková et al. Interaction in Edutainment Applications Using Monocular Posture Tracking
Hao Augmented Reality On Radio Base Station Maintenance

Legal Events

Date Code Title Description
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120307

Termination date: 20130728