CN109445598B - 一种基于视觉的增强现实***装置 - Google Patents

一种基于视觉的增强现实***装置 Download PDF

Info

Publication number
CN109445598B
CN109445598B CN201811317157.1A CN201811317157A CN109445598B CN 109445598 B CN109445598 B CN 109445598B CN 201811317157 A CN201811317157 A CN 201811317157A CN 109445598 B CN109445598 B CN 109445598B
Authority
CN
China
Prior art keywords
head
virtual scene
vision
augmented reality
reality system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811317157.1A
Other languages
English (en)
Other versions
CN109445598A (zh
Inventor
许恒深
苏鹏华
高秀敏
彭雅珮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Lochn Optics Technology Co ltd
Original Assignee
Shenzhen Lochn Optics Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Lochn Optics Technology Co ltd filed Critical Shenzhen Lochn Optics Technology Co ltd
Priority to CN201811317157.1A priority Critical patent/CN109445598B/zh
Publication of CN109445598A publication Critical patent/CN109445598A/zh
Application granted granted Critical
Publication of CN109445598B publication Critical patent/CN109445598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开一种基于视觉的增强现实***装置。装置包括虚拟场景发生器、透视式头盔显示器、用于实现用户观察视线跟踪的头部方位跟踪设备、用于实现虚拟场景与真实场景对准的定位设备和交互设备，在***中，虚拟场景发生器采用OpenGL三维图形库负责虚拟场景的建模、管理、绘制；选用透视式头盔显示器作为将虚拟环境与真实环境融合的显示设备；头部方位跟踪设备采用计算机视觉的方法，通过对采集到的图象进行处理与识别跟踪用户视线变化，实现用户观察坐标系与虚拟场景坐标系的匹配。采用本发明的装置能够进行实时交互，具有极高的交互灵敏性，具有极佳的投影表现力。

Description

一种基于视觉的增强现实***装置
技术领域
本发明涉及互动投影领域，特别是涉及一种基于视觉的增强现实***装置。
背景技术
随着当今社会信息科学技术的快速发展和普及，传媒形式和载体都得到了极大的丰富，人们对此的要求越来越高，传统展示平台因展示形式的单一性以及交互性的匮乏正逐渐被消费者和众多商家淘汰，而新媒体逐渐成为了艺术展现与商业展示的主要方式，并展现了强劲的发展潜力。采用新媒体技术更能主动吸引消费者目光，实现用户交互体验的新媒体艺术展示平台。
传统传媒形式单一，操作复杂使用者只能通过视觉听觉来获取信息，大大影响了展示宣传的效果。而现有的新媒体装置大多不具备交互性或交互性很差，参与感不强，严重影响用户的使用体验。
发明内容
本发明的目的是提供一种基于视觉的增强现实***装置，能够使用户达到极佳的视觉表现力和体验感。
为实现上述目的，本发明提供了如下方案：
一种基于视觉的增强现实***装置，所述装置包括：虚拟场景发生器、透视式头盔显示器、头部方位跟踪设备、定位设备、交互设备和摄像机；
所述虚拟场景发生器，分别与所述头部方位跟踪设备、所述定位设备和所述交互设备连接，用于获取所述头部方位跟踪设备采集的追踪头部的运动位置信息和状态信息、所述定位设备采集的人体在整个场景中的位置信息，并根据所述头部的运动位置信息和状态信息和所述人体在整个场景中的位置信息得到虚拟场景图像信息；
所述虚拟场景发生器，与所述摄像机连接，用于接收所述摄像机捕获的用户在场景的现实环境图像信息，并将所述虚拟场景图像信息和所述现实环境图像信息进行匹配得到处理后的场景信息；
所述透视式头盔显示器，与所述虚拟场景发生器连接，用于显示所述处理后的场景信息。
可选的，所述虚拟场景发生器为运行的OpenGL、Directx三位图形库的一种PC。
可选的，所述透视式头盔显示器为视频透视式头盔显示器、光学透视式头盔显示器中的一种。
可选的，所述头部方位跟踪设备为电容式显示屏、电阻式显示屏、液晶显示屏中的一种。
可选的，所述定位设备为基于WiFi、蓝牙、RFID、UWB技术实现定位的模块或***中的一种。
可选的，所述交互设备为空中鼠标、语音识别模块中的一种。
可选的，所述头部方位跟踪设备采用计算机视觉的方法获取用户观察视线。
可选的，所述虚拟场景发生器分别与所述头部方位跟踪设备、所述定位设备、所述交互设备和所述摄像机采用无线或有线的方式连接。
可选的，所述透视式头盔显示器与所述虚拟场景发生器采用有线或无线方式连接。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供一种基于视觉的增强现实***装置，包括：虚拟场景发生器、透视式头盔显示器、头部方位跟踪设备、定位设备、交互设备和摄像机。采用本发明的装置能够通过对采集到的图象进行处理与识别跟踪用户视线变化，实现用户观察坐标系与虚拟场景坐标系的匹配，从而实现虚拟场景与现实场景的实时交互，具有极高的交互灵敏性，具有极佳的投影表现力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例基于视觉的增强现实***装置组成图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于视觉的增强现实***装置，能够使用户达到极佳的视觉表现力和体验感。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例基于视觉的增强现实***装置组成图。如图1所示，一种基于视觉的增强现实***装置，所述装置包括：虚拟场景发生器1、透视式头盔显示器2、头部方位跟踪设备3、定位设备4、交互设备5和摄像机6；
所述虚拟场景发生器1，分别与所述头部方位跟踪设备3、所述定位设备4和所述交互设备5连接，用于获取所述头部方位跟踪设备3采集的追踪头部的运动位置信息和状态信息、所述定位设备4采集的人体在整个场景中的位置信息，并根据所述头部的运动位置信息和状态信息和所述人体在整个场景中的位置信息得到虚拟场景图像信息；
所述虚拟场景发生器1，与所述摄像机6连接，用于接收所述摄像机6捕获的用户在场景的现实环境图像信息，并将所述虚拟场景图像信息和所述现实环境图像信息进行匹配得到处理后的场景信息；
所述透视式头盔显示器2，与所述虚拟场景发生器1连接，用于显示所述处理后的场景信息，即透视式头盔显示器2作为将虚拟环境和现实环境融合的显示设备。
交互设备5作为场景中的用户参与到整个装置中的媒介。
所述虚拟场景发生器1为运行的OpenGL、Directx三位图形库的一种PC。所述透视式头盔显示器2为视频透视式头盔显示器、光学透视式头盔显示器中的一种。所述头部方位跟踪设备3为电容式显示屏、电阻式显示屏、液晶显示屏中的一种。所述定位设备4为基于WiFi、蓝牙(iBeacon)、RFID、UWB技术实现定位的模块或***中的一种。所述交互设备5为空中鼠标、语音识别模块中的一种。
通过摄像机6对场景中的相关图像进行采集，由通讯线缆传输到PC，采用虚拟场景发生器1对虚拟场景进行建模、绘制，头部方位跟踪设备3、定位设备4、交互设备5采集的数据经无线(蓝牙、wifi等)/有线方式传输到虚拟场景发生器1，采用机器视觉的方法，根据摄像机6拍摄的一幅或多幅图象，标定摄像机与目标间的相对位置和方向，实时地检测出用户头部与真实环境中物体间的相对位置和视线方向，根据这些信息确定所要添加的虚拟物体在真实空间坐标中的映射，所有的计算工作在PC机上完成，并将PC处理后的这些信息经有线/无线的方式传输到透视式头盔显示器2进行显示，实时显示在头盔显示器的正确位置，使用户能够享受到身临其境的真实视觉体验。采用本发明的装置可实时交互，交互灵敏性极高，同时采用具有立体效果的虚拟场景成像技术，具有极佳的视觉表现力和体验。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的***及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种基于视觉的增强现实***装置，其特征在于，所述装置包括：虚拟场景发生器、透视式头盔显示器、头部方位跟踪设备、定位设备、交互设备和摄像机；
所述虚拟场景发生器，分别与所述头部方位跟踪设备、所述定位设备和所述交互设备连接，用于获取所述头部方位跟踪设备采集的追踪头部的运动位置信息和状态信息、所述定位设备采集的人体在整个场景中的位置信息，并根据所述头部的运动位置信息和状态信息和所述人体在整个场景中的位置信息对虚拟场景进行建模、绘制得到虚拟场景图像信息；
所述虚拟场景发生器，与所述摄像机连接，用于接收所述摄像机捕获的用户在场景的现实环境图像信息，并将所述虚拟场景图像信息和所述现实环境图像信息进行匹配得到处理后的场景信息；还用于采用机器视觉的方法，根据摄像机拍摄的一幅或多幅图象，标定摄像机与目标间的相对位置和方向，实时地检测出用户头部与真实环境中物体间的相对位置和视线方向，根据相对位置和视线方向确定所要添加的虚拟物体在真实空间坐标中的映射；
所述透视式头盔显示器，与所述虚拟场景发生器连接，用于显示所述处理后的场景信息。
2.根据权利要求1所述的基于视觉的增强现实***装置，其特征在于，所述虚拟场景发生器为运行的OpenGL、Directx三位图形库的一种PC。
3.根据权利要求1所述的基于视觉的增强现实***装置，其特征在于，所述透视式头盔显示器为视频透视式头盔显示器、光学透视式头盔显示器中的一种。
4.根据权利要求1所述的基于视觉的增强现实***装置，其特征在于，所述头部方位跟踪设备为电容式显示屏、电阻式显示屏、液晶显示屏中的一种。
5.根据权利要求1所述的基于视觉的增强现实***装置，其特征在于，所述定位设备为基于WiFi、蓝牙、RFID、UWB技术实现定位的模块或***中的一种。
6.根据权利要求1所述的基于视觉的增强现实***装置，其特征在于，所述交互设备为空中鼠标、语音识别模块中的一种。
7.根据权利要求1所述的基于视觉的增强现实***装置，其特征在于，所述头部方位跟踪设备采用计算机视觉的方法获取用户观察视线。
8.根据权利要求1所述的基于视觉的增强现实***装置，其特征在于，所述虚拟场景发生器分别与所述头部方位跟踪设备、所述定位设备、所述交互设备和所述摄像机采用无线或有线的方式连接。
9.根据权利要求1所述的基于视觉的增强现实***装置，其特征在于，所述透视式头盔显示器与所述虚拟场景发生器采用有线或无线方式连接。
CN201811317157.1A 2018-11-07 2018-11-07 一种基于视觉的增强现实***装置 Active CN109445598B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811317157.1A CN109445598B (zh) 2018-11-07 2018-11-07 一种基于视觉的增强现实***装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811317157.1A CN109445598B (zh) 2018-11-07 2018-11-07 一种基于视觉的增强现实***装置

Publications (2)

Publication Number Publication Date
CN109445598A CN109445598A (zh) 2019-03-08
CN109445598B true CN109445598B (zh) 2022-04-15

Family

ID=65550921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811317157.1A Active CN109445598B (zh) 2018-11-07 2018-11-07 一种基于视觉的增强现实***装置

Country Status (1)

Country Link
CN (1) CN109445598B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110333775A (zh) * 2019-05-16 2019-10-15 上海精密计量测试研究所 一种航天装备增强现实维修诱导***及方法
CN112318653B (zh) * 2020-09-28 2021-12-21 同济大学 一种无模具曲木构件加工***及加工方法
CN112925416A (zh) * 2021-02-24 2021-06-08 中国工商银行股份有限公司 用户视线跟踪方法、装置及***
CN113409624A (zh) * 2021-07-13 2021-09-17 苏州拓明医疗科技有限公司 一种基于ar增强现实技术的心肺复苏训练***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102945564A (zh) * 2012-10-16 2013-02-27 上海大学 基于视频透视式增强现实的真三维建模***和方法
CN106055113A (zh) * 2016-07-06 2016-10-26 北京华如科技股份有限公司 一种混合现实的头盔显示***及控制方法
CN207096572U (zh) * 2017-06-16 2018-03-13 全球能源互联网研究院 一种基于双目显示功能的增强现实智能头盔

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10173129B2 (en) * 2013-06-09 2019-01-08 Sony Interactive Entertainment Inc. Methods for rendering interactive content to a head mounted display
CN104484523B (zh) * 2014-12-12 2017-12-08 西安交通大学 一种增强现实诱导维修***的实现设备与方法
CN107749076B (zh) * 2017-11-01 2021-04-20 太平洋未来科技（深圳）有限公司 增强现实场景中生成现实光照的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102945564A (zh) * 2012-10-16 2013-02-27 上海大学 基于视频透视式增强现实的真三维建模***和方法
CN106055113A (zh) * 2016-07-06 2016-10-26 北京华如科技股份有限公司 一种混合现实的头盔显示***及控制方法
CN207096572U (zh) * 2017-06-16 2018-03-13 全球能源互联网研究院 一种基于双目显示功能的增强现实智能头盔

Also Published As

Publication number Publication date
CN109445598A (zh) 2019-03-08

Similar Documents

Publication Publication Date Title
CN109445598B (zh) 一种基于视觉的增强现实***装置
US11741624B2 (en) Method and system for determining spatial coordinates of a 3D reconstruction of at least part of a real object at absolute spatial scale
US11127210B2 (en) Touch and social cues as inputs into a computer
Memo et al. Head-mounted gesture controlled interface for human-computer interaction
Kasahara et al. Jackin head: Immersive visual telepresence system with omnidirectional wearable camera
CN103180893B (zh) 用于提供三维用户界面的方法和***
Van Krevelen et al. A survey of augmented reality technologies, applications and limitations
US20170103440A1 (en) Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US20190033058A1 (en) Information processing apparatus, information processing method, and recording medium
US20130174213A1 (en) Implicit sharing and privacy control through physical behaviors using sensor-rich devices
EP3714318B1 (en) Position tracking system for head-mounted displays that includes sensor integrated circuits
CN110458122A (zh) 一种视线标校方法、显示装置的播放方法和视线标校***
CN207883270U (zh) 一种用于博物馆的3d全息互动展示***
CN104536579A (zh) 交互式三维实景与数字图像高速融合处理***及处理方法
EP2697792A1 (en) Apparatus, systems and methods for providing motion tracking using a personal viewing device
CN108983982B (zh) Ar头显设备与终端设备组合***
CN105393158A (zh) 共享的和私有的全息物体
CN112198959A (zh) 虚拟现实交互方法、装置及***
CN108830944B (zh) 光学透视式三维近眼显示***及显示方法
JP7419003B2 (ja) 情報表示装置、情報表示方法及び情報表示システム
CN105301789A (zh) 一种跟随人眼位置的立体显示装置
Vertucci et al. History of augmented reality
US20180160093A1 (en) Portable device and operation method thereof
CN205193366U (zh) 一种跟随人眼位置的立体显示装置
CN109840943B (zh) 三维可视化分析方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant