CN109477966B - 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器 - Google Patents
具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器 Download PDFInfo
- Publication number
- CN109477966B CN109477966B CN201780009450.9A CN201780009450A CN109477966B CN 109477966 B CN109477966 B CN 109477966B CN 201780009450 A CN201780009450 A CN 201780009450A CN 109477966 B CN109477966 B CN 109477966B
- Authority
- CN
- China
- Prior art keywords
- image
- tracking
- display
- environment
- communication link
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 34
- 230000004438 eyesight Effects 0.000 claims abstract description 22
- 230000007613 environmental effect Effects 0.000 claims description 18
- 238000004891 communication Methods 0.000 claims description 15
- 238000009877 rendering Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims 1
- 230000004927 fusion Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 20
- 230000033001 locomotion Effects 0.000 description 12
- 238000007654 immersion Methods 0.000 description 11
- 210000003128 head Anatomy 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 10
- 238000013459 approach Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000004075 alteration Effects 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 206010028813 Nausea Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000008693 nausea Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000010399 physical interaction Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了一种头戴式显示器***连同用于针对虚拟或混合现实来执行准确和自动的内‑外位置跟踪、用户身体跟踪和环境跟踪的相关联的技术。该***使用计算机视觉方法和来自多个传感器的数据融合来实现实时跟踪。通过对HMD本身执行处理的一部分来实现高帧率和低延迟。
Description
相关专利申请的交叉引用
本专利申请要求于2016年2月18日提交的美国临时专利申请No.62/296,829的权益,该专利申请以引用方式并入本文。
技术领域
本发明涉及用于使用户沉浸在虚拟现实(VR)或增强/混合现实(MR)环境中的应用的头戴式显示器(HMD)的领域。
背景技术
沉浸在虚拟世界中的目标是说服用户的思想以感知非物理世界,好像非物理世界是真实的那样。这里现实的概念更多地是指感知似真性的概念,而不是表示真实世界。在虚拟现实(VR)中,通过显示用于模拟真实或想象世界的视觉体验的计算机生成的图形来实现沉浸。沉浸的质量受限于若干个重要因素。例如,显示器的特性,诸如图像质量、帧率、像素分辨率、高动态范围(HDR)、持久性和纱窗效应(即,屏幕上的像素之间的可见线)。当所显示的视场太窄或如果各种跟踪功能太慢和/或不准确(导致定向障碍和恶心;以其他方式被称为模拟疾病)时,沉浸体验的质量降低。也由相机***性能诸如图像质量(噪声、动态范围、分辨率、不存在伪像)以及虚拟图形(3D建模、纹理和照明)与直通图像之间的一致性来影响沉浸。在混合现实(MR)中,虚拟元素实时合成到被用户看到的真实世界环境中。虚拟元素和真实世界表面以及对象之间的物理交互可被模拟和实时显示。
各种元素的跟踪通常被认为是用于实现高端VR和MR应用体验的基本先决条件。在这些元素中,位置头部跟踪、用户身体跟踪和环境跟踪在实现很好的沉浸中起着关键作用。
目标在于估计HMD在环境中的位置和取向的位置头部跟踪(此后被称为位置跟踪)必须低延迟和准确。这样做的原因是经呈现的图形必须与用户的头部运动紧密匹配,以便在VR中产生很好的沉浸,并且产生在MR中正确对齐真实世界中的虚拟内容的需要。一些方法试图通过使用HMD外部的设置来解决其尺寸为大约为5米×5米或更小的房间中的位置跟踪。例如,静止红外(IR)或彩色(RGB)相机可被定位成看到位于HMD的表面上的将用于估计头部位置的IR或RGB发光二极管(LED)阵列。其他方法基于利用由与精确定位在HMD上的多个IR光电传感器同步的一个或两个基站生成的IR光来淹没和扫掠房间。通过考虑光电传感器的检测时间,可以高帧率实时计算头部姿势。需注意,这些方法均限制用户为了维持跟踪而可在其内移动的区域。用户必须对IR或RGB相机可见,或者作为另外一种选择可由基站IR发射器覆盖。遮挡可导致跟踪不准确。
用户身体跟踪估计用户的身体相对于HMD的位置和取向(具体地,但不限于手和手指)。可在VR和MR两者中提供使得能够与虚拟元素进行交互的用户输入的手段(例如,手势)。虽然一些位置跟踪方法也可用于手跟踪(例如,手持控制器上的具有LED阵列的IR相机),但是其他方法利用较小的分析空间(通常在距HMD一米内)来增加手和手指跟踪算法的稳健性。例如,近距离飞行时间(ToF)相机可与HMD集成在一起或被集成在HMD中。这些相机可产生可根据其而构造手的骨骼模型的手的深度图。另一方法使用IR LED泛光灯以及相机来分割且估计手和手指上的3D点。
环境跟踪意味着非常普遍并且涉及识别和跟踪环境中的对象。对象的概念的范围从简单的平坦表面到更复杂的形状,包括移动对象诸如人、半透明对象和光源。环境跟踪估计HMD附近的表面和对象的位置和形状。虚拟元素然后可与所检测的(所估计的)对象进行交互。可从跟踪信息提取遮挡掩模,以避免其中真实对象可无意中被应远离对象被进一步定位或被进一步定位在对象后方的虚拟元素隐藏的情况。在实践中,计算机视觉方法用于恢复特征(角点、边缘等)和场景深度,它们然后用于学习和识别对象描述。
对用于跟踪目的的外部部件的使用通常对用户在空间中移动的自由施加限制,并且经常在可使用HMD之前添加校准步骤。
因此,需要一种HMD,该HMD将所有所需的跟踪部件集成在紧凑的用户友好的产品中,从而实现该应用的移动性。
发明内容
根据本公开的方面,提供了一种在其中集成所有所需的跟踪部件从而允许更紧凑的用户友好的设备的可穿戴头戴式显示器(HMD)。
根据本公开的方面,提供了一种用于使用户沉浸在虚拟现实(VR)或增强/混合现实(MR)环境中的应用的头戴式显示器(HMD)设备,该HMD设备包括:
一对RGB相机传感器和具有红外(IR)截止滤波器的相关联的透镜;
一对黑白(mono)相机传感器,该一对黑白相机传感器具有近红外(NIR)带通滤波器和相关联的透镜;
惯性测量单元(IMU);
飞行时间(ToF)相机传感器,该飞行时间(ToF)相机传感器具有相关联的IR发射器;
斑纹图案投影仪;
显示器;和
至少一个处理单元,该至少一个处理单元经由至少一个通信链路而***作地连接到一对RGB相机传感器、一对黑白相机传感器、IMU、ToF相机传感器和相关联的IR发射器、斑纹投影仪和显示器,该至少一个处理单元使用来自一对RGB相机传感器、一对黑白相机传感器、IMU和ToF相机传感器的数据流来生成图形内容,并且通过显示器来显示图形内容。
根据本公开的方面,提供了一种如上所公开的HMD设备,其中该一对RGB相机传感器和一对黑白相机传感器被组合成具有相关联的透镜的一对RGB/IR相机,该一对RGB/IR相机使用具有R-G-IR-B图案而不是标准R-G-G-B图案的拜耳格式。
根据本公开的方面,提供了一种如上所公开的HMD设备,其中至少一个处理单元具有包括存储在其上的指令的相关联的存储器,该指令当在至少一个处理单元上执行时执行以下步骤:
从一对RGB相机传感器获取直通立体视图图像;
从一对黑白相机传感器获取立体图像;
获取密集深度图;
从IMU获取惯性测量;
使用直通立体视图图像、立体图像、密集深度图和惯性测量来执行嵌入式跟踪;
对直通立体视图图像和立体图像执行图像处理;
基于位置跟踪来生成呈现图形;
对呈现图形执行图形图像处理;
将处理图像和经处理的呈现图形混合,从而产生图形内容;以及
将图形内容提供给显示器。
根据本公开的方面,提供了一种如上所公开的HMD设备,其中执行嵌入式跟踪的步骤包括执行位置跟踪和用户身体跟踪,并且也可包括执行环境跟踪。
根据本公开的方面,提供了一种如上所公开的HMD,其中:
执行位置跟踪的步骤包括:
检测直通立体视图图像和立体图像中的旋转和缩放不变的2D图像特征;
使用体视匹配来估计每个所检测的特征的深度,从而产生3D点的云;以及
实时跟踪3D点的云,以推断头部位置变化;
执行位置跟踪的步骤还可包括当直通立体视图图像和立体图像没有提供足够的信息时,使用惯性测量来暂时计算位置变化;
执行用户身体跟踪的步骤包括:
在密集深度图上执行身体分割;
从密集深度图和身体分割提取身体网格;
提取身体网格的骨骼模型;以及
通过跟踪用户的身体运动并且将用户的骨骼模型和身体运动与姿态模型进行匹配来识别预定义的姿态;
并且执行环境跟踪的步骤包括:
使用直通立体视图图像、立体图像和位置跟踪来生成运动模型;
检测关键点;
使用稳健特征描述符来提取关键点局部的特征;以及
通过将密集深度图与所提取的特征融合在一起来估计表面描述符。
根据本公开的方面,也提供了一种用于使用户沉浸在虚拟现实(VR)或增强/混合现实(MR)环境中的方法,该方法包括由HMD设备实施的步骤。
附图说明
将参考附图仅以举例的方式描述本公开的实施方案,其中:
图1为根据本公开的示例性实施方案的佩戴设置有若干个相机和红外(IR)发射器的头戴式显示器(HMD)的用户的示意性表示;
图2A为用于实现虚拟现实和混合现实的光学器件、显示器和相机的示例性实施方案的示意性顶视图;
图2B为近距离视图中的光学器件的示例性实施方案的示意图,该示意图示出了显示器的光线如何聚焦在用户的眼睛的视网膜上;
图3为HMD的视觉感官生成过程连同每种能力的示例性实施方案的流程图;
图4A示出HMD设备的第一示例性实施方案的前视图,HMD设备具有针对直通目的(MR)优化的两个RGB相机和提供用于跟踪的视觉数据的两个IR相机;
图4B示出了HMD设备的第二示例性实施方案的前视图,HMD设备具有实现MR跟踪和位置跟踪两者的两个RGB/IR相机;
图5为利用位置跟踪和用户身体跟踪来实现VR的处理步骤的流程图;
图6为利用位置跟踪、用户身体跟踪和环境跟踪来实现MR的处理步骤的流程图;
图7为实现位置跟踪的示例性过程的流程图;
图8为实现用户身体跟踪的示例性过程的流程图;
图9为实现环境跟踪的示例性过程的流程图;
图10为实现图形呈现和合成的示例性过程的流程图;
图11为斑纹投影仪的示意性表示;
图12A为时间复用设置的示例性实施方案的示意性表示;以及
图12B为时间复用设置的时序图。
用于不同图中的类似的附图标记指代类似的部件。
具体实施方式
总的说来,本公开的非限制性示例性实施方案提供了在虚拟现实(VR)和混合现实(MR)两者的背景下提高用户体验的头戴式显示器(HMD)。HMD为相对较轻的、在人体工程学上舒适的,并且提供具有低延迟的高分辨率内容。HMD支持来自配备有高性能图形处理单元(GPU)的外部计算机的图形内容或来自嵌入式GPU的图形内容,并且通过使HMD执行一些处理诸如在对透镜失真和色差进行校正的情况下进行的嵌入式视频直通以及用于保证低延迟的图形/直通合成来实现低延迟MR。通过独特的内-外方法来实现位置跟踪、用户身体跟踪和环境跟踪,针对该独特的内-外方法,所有所需的跟踪部件被集成在HMD中,从而避免设置和使用外部输入部件的需要。该方法允许用户在大环境内自由地移动。
在VR和MR应用中,一些实施方案在沉浸式游戏或娱乐应用中特别有用,其中一些控制或交互可通过跟踪玩家的头部和手移动以及外部环境对象来实现。可能的应用通常为模拟、协同训练、销售、协助制造、维护和修复。
所提出的HMD***通过使用户通过广角目镜查看显示器来实现虚拟现实。所提出的实施方案使用单个有机发光二极管(OLED)显示器,然而可采用其他类型的显示器解决方案,诸如两个较小的显示器、微型显示器或柔性显示器等。对于MR,最低限度地,两个前向相机从位于尽可能靠近用户眼睛的视点捕获环境(可采用或不采用棱镜和/或反射镜,由此可需要相机取向不是前向)。相机图像然后与计算机生成的图像实时合并,并在显示***上被示出。该方法不允许用户透视不透明显示器,而是捕获在用户的眼睛没有被不透明显示器遮挡的情况下的用户的眼睛将看到的图像。另选的方法是使用允许用户看到虚拟内容同时仍能够看到环境的透视显示器(例如,由眼镜、反射镜和/或棱镜组成)。然而,这些通常具有狭窄的视场,这大大减小可信的沉浸感。
相机的目的不仅仅限于提供直通视图。相机图像和集成的惯性测量单元(IMU)提供可通过计算机视觉方法处理以自动分析和理解环境的数据。还有,HMD被设计成不仅支持无源计算机视觉分析,而且还支持有源计算机视觉分析。无源计算机视觉方法分析从环境中捕获的图像信息。这些方法可为单视场的(来自单个相机的图像)或体视的(来自两个相机的图像)。它们包括但不限于特征跟踪、对象识别和深度估计。有源计算机视觉方法通过投影对于相机可见但不一定对人视觉***可见的图案来将信息添加到环境。此类技术包括飞行时间(ToF)相机、激光扫描或结构光,以简化立体匹配问题。有源计算机视觉用于实现场景深度重构。红外(IR)投影仪被用于将随机IR斑纹图案投影到环境上,从而添加纹理信息,以便在不明确的地方(例如,均匀纹理或表面)更容易地进行立体匹配。在一些实施方案中也可包括ToF相机。对于低光条件或无光条件,有源计算机视觉用于支持利用IR泛光灯来进行跟踪。
前述能力使得HMD为独特的并且适用于宽泛的应用范围。例如,HMD可用作用于记录目的或实时视觉处理的立体相机。其也可用作环境扫描仪(有源立体)。在HMD的背景下,计算机视觉方法使用来自异类传感器的数据来自动跟踪头部位置、用户身体和环境。然而,实现具有实现无源特征跟踪和有源立体视觉的能力的此类产品装配在性能方面具有挑战性。当考虑到需要低延迟***以便实现良好沉浸且重量/人体工程学必须被优化以另外确保用户舒适度和易用性时尤其如此。HMD背景下的延迟为所捕获的数据(IMU、图像)和对应的显示内容之间的时间间隔。必须实现小于20ms的延迟,以产生很好的沉浸,并避免疾病和恶心。借助于更多处理能力可用的外部计算机,通过在HMD本身上实施/嵌入处理来实现低延迟。随着处理单元通过变得较小并消耗较少的功率而演进,所有处理可在HMD本身上完成。嵌入式处理避免将高分辨率相机图像传输到外部计算机,因此减少了传输带宽和延迟要求。在实践中(具体地),计算机视觉处理和图形呈现可主要在外部计算机上完成,但是HMD必须最低限度地执行相机图像信号处理(ISP)功能,诸如同步、组合、拜耳解码、对图像失真的校正,以用于进行显示以及呈现图形和相机图像的MR合成。
因此,HMD被设计成包括应用无源或有源立体视觉方法以实现位置跟踪、用户身体跟踪和环境跟踪的必要部件。HMD也可与将视觉信息添加到环境上的一些第三方外部发射器兼容。例如,纹理图案到环境上的任何投影可帮助进行立体匹配。实际的跟踪算法通常涉及立体匹配、IMU数据集成、特征检测/跟踪、对象识别和表面拟合。然而,HMD使数据流对第三方软件开发者有用,使得可实施定制算法。
参考图1,图1示出了根据本公开的示例性实施方案的头戴式显示器(HMD)(7)。HMD(7)经由束具(4)而被附接到用户的头部(1)上,并且集成多个传感器以实现混合现实(MR)以及内-外位置跟踪、用户身体跟踪和环境跟踪,即两个RGB相机(11,12)用于直通目的,两个红外(IR)相机(2,9)用于立体视觉分析,惯性测量单元(IMU)(图中未示出)和具有其IR发射器(14)的飞行时间(ToF)相机(13)用于密集深度感测。IR发光二极管(LED)发射器(5,8,10,15)的集合也被集成,以在低光条件下照亮该环境。HMD(7)也配备有IR斑纹投影仪(6),以实现有源立体计算机视觉并提取三维(3D)密集图。各种数据流(相机图像、IMU数据)被捕获,可选地被压缩,并且然后被传输到可为HMD(7)的一部分或外部计算机的一部分的处理单元(21)。HMD(7)和处理单元(21)之间的通信通过通信链路(17,18)来执行,该通信链路(17,18)可为有线的、无线的或两者的组合。在处理单元(21)为HMD(7)的一部分的另选实施方案中,通信链路(17,18)可被省略。处理单元(21)呈现将在HMD(7)中显示的图形内容(游戏视图、视频、虚拟对象等)。HMD(7)经由电力线(19)通过电源(20)供电。在另选的实施方案中,电源(20)可被集成在HMD(7)内。
现在参考图2A,图2A示出了用于实现VR和MR的示例性HMD(7)。佩戴HMD(7)的用户(1)通过广角目镜(26,35)来查看显示器(27)。位于眼睛(22,38)前方的两个RGB相机(28,34)捕获在用户的眼睛没有被HMD(7)遮挡的情况下用户的眼睛将看到的环境。需注意,该图仅包括HMD(7)所需的相机并且不包括用于计算机视觉分析的其他相机。在示例性实施方案中,相机(28,34)的基线(39)为64mm、平均人眼间隔(需注意,相机基线可为除64mm之外的值),并且相机(28,34)的位置有利地与用户的眼睛(22,38)对齐,以便使用户视觉感知的不一致性最小化。相机(28,34)的视场(29,30,32,33)必须与眼睛(22,38)的视场(23,25,36,37)紧密匹配。
图2B示出了由显示器(27)发射的光线(44,46,48)如何穿过目镜(26,35)以再次聚焦(52,54,55)在视网膜(53)上。瞳孔(51)相对于目镜(26,35)的位置以及从目镜(26,35)到显示器(27)的距离需要被调整,以得到正确的焦距(即,分别为距离50和距离57)。需注意,该图示出单个波长,而目镜(26,35)通常引起需要被补偿的色差。
HMD提供视觉数据流以允许以下能力:用于显示***的立体图像(我们称立体图像为直通立体视图)、用于跟踪目的的立体图像、密集深度感测(近距离和中距离)、以及惯性测量。在示例性实施方案中,近距离深度感测被视为小于1.5m;而中距离深度感测被视为覆盖比1米更远(最多至约4米-5米)的深度。
图3示出了HMD的示例性实施方案的视觉感官生成过程。由RGB立体相机(104)捕获直通立体视图(102)。用于跟踪的立体图像(106)也可由RGB立体相机(104)捕获,更确切地说由在用于弱光条件的IR泛光灯(110)的协助下的IR立体相机(108)捕获。当不存在足够的视觉信息以实施立体匹配时,密集深度感测(112)需要添加经投影的IR信息,以恢复深度。在示例性实施方案中,两种解决方案被用于提供深度密集图。首先,ToF相机(114)基于光线离开其相关联的IR发射器(110)并且反射回到ToF相机传感器(108)上所花费的时间来恢复深度。其次,将IR斑纹图案(116)投影到环境上并由IR立体相机(108)看到。虽然后者需要计算昂贵的立体匹配,但是其通常提供比前者的解决方案更高分辨率的深度图。根据成本目标、市场类型、技术方法、设备分辨率、性能和特征集合,可作出对实施方案的不同选择,并且可组合若干个功能块。由IMU(120)所采取的惯性测量(118)也被捕获并提供给嵌入式跟踪模块(122)。虽然计算机视觉处理和图形呈现(124)的部分可在外部计算机上完成,但是图像处理步骤中的一些图像处理步骤需要在HMD本身中完成,以便减少总体***延迟。在图3中,相机图像处理模块(126)执行一些任务诸如触发控制、拜耳解码、自动白平衡、缺陷像素替换、平场校正、过滤(降噪、边缘增强)、失真校正和像差校正。图形图像处理模块(128)执行解码(例如,颜色和阿尔法通道)、失真校正和像差校正。合成模块(130)将呈现图形和相机图像混合,所得的图像被显示在显示器(27)上。
在图4A和图4B中更详细地示出了HMD(7)的示例性实施方案。在图4A所示的第一示例性实施方案中,HMD(7)为了更好的直通质量而具有两个RGB相机传感器(62,64)以及具有IR截止滤波器的透镜(63,65)。其也集成具有近红外(NIR)带通滤波器(66,68)和被优化用于计算机视觉分析的透镜(67,69)的两个黑白相机传感器。其他部件包括显示器(27)、9自由度IMU(70)(由陀螺仪、加速度计和磁力仪组成)和ToF相机传感器72、以及相关联的IR发射器73。LED泛光灯(74,75,76,77)用于提高低光条件下的位置跟踪。斑纹投影仪(78)用于将纹理添加到环境中,以改善来自立体匹配的密集深度图结果。在图4B所示的第二示例性实施方案中,HMD(7)仅使用三种相机,即具有透镜(83,85)和LED泛光灯(86,87,88,89)的两个RGB/IR相机(82,84)(RGB/IR传感器使用具有R-G-IR-B图案而不是标准R-G-G-B图案的拜耳格式),以及ToF相机传感器(72)、及其相关联的IR发射器(73)。虽然可能仅利用两个RGB/IR相机(82,84)实现所有四种所需能力,但结果经常不是最佳的,因为需求根据目的而变化。具体地,当使用RGB/IR传感器时,尤其是当存在像素饱和时,并不总是有可能清晰地使RGB和IR信号分离。如在图4A的示例性实施方案中所描述的,使用两个相机对(62,64,66,68)(一个用于直通目的,并且一个用于跟踪)允许对使用说明书的优化。例如,RGB和IR带通滤波器可分别安装在直通(62,64)和跟踪(66,68)传感器上,以便提高图像质量。还有,直通相机需要使用鱼眼透镜来捕获宽视场,从而匹配人视觉***。然而,这些透镜减小得到高跟踪精度所需的角度分辨率。跟踪传感器和有源深度图传感器两者需要具有高信噪比(SNR),以提高在有源立体视觉方法中匹配斑纹图案的能力。为了更好地达到该目标,HMD(7)上的传感器放置也可被优化。需注意,跟踪传感器(66,68)被放置在大于人眼间隔的基线上,以增加通过对立体匹配进行三角测量所执行的环境中的深度估计的精度。沿与直通传感器(62,64)的公共轴线来放置跟踪传感器(66,68)使得更容易地将来自一个传感器对的数据组合或重新映射到另一个传感器对。
图5和图6分别示出了实现VR和MR所需的数据和处理步骤。链路L表示受控的低延迟数据流和具有最低限度的延迟抖动的处理。根据实施方案,跟踪部分和呈现部分(142,144)可部分地或完全地在HMD(7)本身中或在外部计算机上执行。需要注意的是,根据实施方案使用哪个深度感测部件(即,ToF相机、IR立体匹配或两者),深度计算(156)可或多或少为计算密集的。
将另外描述跟踪过程(142,144)中的每个跟踪过程(即,位置(154)(包括取向确定(152))、用户身体(158)和环境(160)跟踪)、图形呈现(124)、深度图估计(156)、IR时间复用,以及硬件部件中的一些硬件部件(即斑纹投影仪(78)和IR滤波器IR相机传感器(66,68))。应当理解,在此描述的跟踪过程(142,144)为给定输入数据的示例性跟踪过程。使数据流(IMU数据、图像)对第三方软件开发者可用,使得第三方软件开发者可设计和实施他们自身的跟踪算法。
位置跟踪
图7示出了实现位置跟踪(154)的示例性过程的流程图。该过程属于同时定位和映射(SLAM)算法的类别。虽然由有源立体给出的密集深度图可用于检测和跟踪3D特征(需要注意的是,2D特征基于纹理,而3D特征基于深度并且可从点云中提取),但是本文描述了稀疏匹配方法,因为其更好地适合具有实时约束的场景。该算法的输入为IMU数据(204)和用于跟踪的立体图像(202)。首先,该过程在立体图像中检测旋转(206)和缩放的不变2D图像特征(208)。接下来,通过使用体视匹配来估计每个特征的深度(210)。该过程产生3D点的云(212),继而实时跟踪3D点的云,以推断头部位置变化(214)。当环境被假设为静态时,移动的人或对象上的任何特征通过具有刚性运动假设的RANSAC方法而被过滤掉。当跟踪图像不提供足够的信息时,陀螺仪和加速度计数据用于暂时计算位置变化(216)。
用户身体跟踪
图8示出了实现用户身体跟踪(158)的示例性过程的流程图。在虚拟现实中,用户的身体需要被绘制并被看到实现沉浸。为此,执行跟踪的视场应该与直通相机的视场匹配。ToF相机传感器(72)提供低分辨率,但是直接解决方案在相对较小的视场(例如,水平90度)中得到近深度数据。从这个立场来说,利用LED泛光灯(74,75,76,77)所支持的立体相机(66,68)以更多图像处理计算时间为代价来提供更好的分辨率。在示例性过程中,通过检测近3D数据(更确切地说通过在使用LED泛光灯(74,75,76,77)时对强度施加阈值)来从深度(156)和身体分割(302)信息提取身体网格(304)。接下来,从网格中提取骨骼模型(306)。最后,通过跟踪身体运动并将骨骼形状和运动与姿态模型进行匹配来最终识别预定义的姿态(308)。所识别的姿态类型、位置和身体立体掩模(310)被提供用于图形呈现(124)。
环境跟踪
图9示出了实现环境跟踪的示例性过程的流程图。至跟踪框架的输入为彩色立体图像(106)、由有源立体方法和/或ToF相机(72)估计的深度图(112),以及来自位置跟踪(154)的输出的XYZ位置。该过程涵盖运动模型(402),以通过利用位置跟踪输出并且采用先前推断的对象位置来提高效率。例如,可通过使用颗粒滤波器或卡尔曼滤波器来构造运动模型(402)。接下来,该过程检测感兴趣的关键点,诸如Harris角点、基于不变Hu矩或Hessians的行列式的局部极值点(404)。通过稳健特征描述符诸如梯度直方图或类Haar特征描述符来提取此类关键点的局部特征(406)。很像位置跟踪,假设环境为静止的。因此,任何正在移动的特征通过具有刚性运动假设的RANSAC方法而被过滤掉。分类算法诸如支持向量机被用于指导模型跟踪并识别那些特征(408)。最后,通过将密集深度图(112)与特征识别阶段的输出(410)融合在一起来估计(414)表面描述符。
混合现实合成
为了实现立体直通相机(62,64)和虚拟图像元素的实时融合,合成在HMD(7)上完成。这避免将高分辨率直通相机流发送到外部计算机。这倾向于减少所需的传输带宽,继而减少总体延迟。8位阿尔法掩模A用于指定以下情况:
(i)如果虚拟图形为不透明的A=255;
(ii)如果它们具有一定量的透明度0<A<255;以及
(iii)如果它们不可见(A=0)。
需要注意的是,如果虚拟对象被用户的手(16)或环境中的其他对象遮挡,则虚拟对象应为不可见的。可通过将每个像素的计算深度与一个或多个虚拟对象的计算深度进行比较来找到遮挡掩模。相机图像遵循以下线性模型相应地按像素通道而被共混:Ik[R,G,B]*Ak[R,G,B]+Jk[R,G,B]*(1-Ak[R,G,B]),其中Ik为像素k处的虚拟颜色,并且Jk为像素k处的相机颜色。需注意,在每个颜色通道[R,G,B]中,阿尔法掩模A需要为不同的,因为每个通道被重新映射以校正目镜的色差。如果在外部计算机上完成该重新映射,则每个像素的总共6个通道(也就是,R、G、B、Ar、Ag和Ab)需要被发送到HMD(7)。图10示出了实现图形呈现和合成的示例性过程的流程图(130)。数据在主机(90)上编码,以标准24位/像素格式发送,并且被解码回到HMD(7)上。三个颜色通道使用YUV422格式而被编码为两个通道,并且两个阿尔法通道被映射在单个拜耳通道中。需要注意的是,因为当呈现虚拟场景时使用了阿尔法混合,所以输出颜色实际上是Ik[R,G,B]*Ak[R,G,B],而不是实际的颜色Ik[R,G,B]。然而,这不是问题,因为其在合成相机图像时对应于混合公式的第一项。
IR斑纹投影仪
HMD(7)包括将固定图案投射/投影到场景上以提高根据有源立体匹配估计的密集深度图的质量的斑纹投影仪(78)。虽然基站(在HMD外部)提供在环境中投影一些静止纹理点的优点,但是由于遮挡,所以利用单个基站覆盖整个房间可为困难的。作为解决方案,将投影仪嵌入HMD(7)中提供在任何房间中四处移动的灵活性(而无需设置基站),同时总是在用户在查看的地方进行投影。呈现斑纹投影仪(78)的两个实施方案。在图11所示的第一实施方案中,斑纹投影仪(78)生成穿过表面漫射器的激光束的干涉图案。在这种情况下,由斑纹投影仪(78)生成的图案为随机的,并且图案的粒度可通过将光束聚焦在漫射表面上的不同尺寸的斑点上或通过改变漫射表面来调整。在第二实施方案中,斑纹投影仪(78)通过穿过一个或多个衍射光学元件的激光束的远场衍射来生成斑纹图案。信噪比(SNR)通过添加偏光器显著提高。若干个折射光学元件、反射光学元件或吸收光学元件可被添加用于波束成形。通常,透镜将总是存在的。保护性外壳可被添加以抑制进入高激光功率区。
密集深度图
标准立体深度图方法针对第一图像中的每个像素找到第二图像中的最好的像素匹配。也可考虑像素周围的邻域而不是仅考虑单个像素。匹配通常涉及找到最低像素强度差值(或当使用邻域时的差值的总和)。作为预处理步骤,图像被纠正,使得匹配的搜索空间为单个水平线。使用立体视觉来计算深度图通常导致不存在可用于特有立体匹配的足够纹理的场景的区域中的误差或间隙(例如,白色墙壁或表面上的均匀特征或块)。为了克服该问题,使用随机红外(IR)斑纹图案投影仪(78)。斑纹投影仪(78)将纹理添加到场景,以产生密集深度图。如果使用RGB/IR传感器(82,84),则RGB-D输出(颜色+深度)为直接可用的。否则,直通视图的颜色可映射到深度图上。
时间复用
如果该对IR立体相机用于立体跟踪和密集深度感测(即,RGB/IR相机(82,84))两者,则存在冲突,因为在跟踪环境特征时不能使用斑纹图案。投影在HMD(7)前方的所添加的斑纹图案创建两个重叠信号:固定斑纹图案和根据用户(1)的头部运动在图像中移动的环境特征。为了克服这一点,可使用时间复用方法,其中斑纹图案投影仪(78)和可选的IR泛光灯以交错方式选通而不是连续照射,从而将输出速率减小一半。图12A示出了时间复用设置(使用两个相机(82,84)、IR斑纹投影仪(78)、IR泛光灯(79)以及触发和选通控制器(91)的示例性设置)的示例性实施方案的示意性表示。控制器(91)用于使相机(82,84)的曝光与投影仪(78)和泛光灯(79)的选通同步。图12B示出了时间复用设置的时序图。分别以虚线和虚线示出斑纹图案投影仪(78)和泛光灯(79)被激活的帧。时间复用方法使得HMD(7)能够以最大帧率(例如,90fps)从视觉传感器获取图像,使得HMD(7)能够以最大帧率的一半(例如,45fps)来提取密集深度图和2维(2D)特征描述符。相机(82,84)的时间复用或交织输出因此提供可用于2D特征提取、3D特征提取和密集深度图估计的信息。
IR波长和滤波器
在图4A中所示的HMD(7)的示例性实施方案由若干个IR发射器和传感器(即斑纹投影仪(78)、LED泛光灯(74,75,76,77)、ToF相机传感器(72)和IR相机传感器(66,68))组成。为了使信号干扰和饱和最小化,ToF相机传感器(72)有利地使用与其他发射器不同的波长。例如,ToF相机传感器(72)可使用850nm或940nm的波长,而斑纹投影仪(78)和LED泛光灯(74,75,76,77)使用808nm的波长。IR相机传感器(66,68)具有以相同波长为中心的IR带通滤波器。应当注意的是,相机曝光时间、传感器增益以及LED泛光灯(74,75,76,77)和斑纹投影仪(78)的斑纹图案两者的强度被实时调制,以避免图像饱和并使动态范围最大化。
虽然已通过具体非限制性示例性实施方案及其示例的方式描述了本公开,但应当注意的是,对于本领域技术人员而言将显而易见的是,可在不脱离如下文要求保护的本公开的范围的情况下对本具体实施方案施加修改。
Claims (13)
1.一种用于混合现实的图像处理方法,包括:
在包括相机传感器、显示器和一个或多个处理器的头戴式设备处:
经由所述相机传感器来捕获环境图像;
经由通信链路获取将与所述环境图像相关联地显示的呈现图形;
基于比较环境图像和呈现图形中的像素的深度值而获取阿尔法掩模;
使用所述一个或多个处理器来对所述环境图像执行一个或多个图像信号处理功能;
通过使用所述一个或多个处理器基于所述阿尔法掩模组合所述呈现图形与经处理的环境图像来生成显示图像;以及
在所述显示器上显示所述显示图像。
2.根据权利要求1所述的方法,其中在从捕获所述环境图像起小于20毫秒内执行显示所述显示图像。
3.根据权利要求1所述的方法,其中不经由所述通信链路来传输所述环境图像。
4.根据权利要求1所述的方法,其中所述环境图像的表示经由所述通信链路来传输,以使能远程计算机视觉处理。
5.根据权利要求1所述的方法,其中既不经由所述通信链路来接收所述环境图像、经处理的环境图像,也不经由所述通信链路来接收所述显示图像。
6.根据权利要求1所述的方法,其中所述头戴式设备包括生成位置跟踪数据的一个或多个位置跟踪传感器,所述方法还包括经由所述通信链路来传输所述位置跟踪数据,其中所述呈现图形基于所述位置跟踪数据。
7.根据权利要求1所述的方法,其中所述阿尔法掩模是经由通信链路被获取的。
8.根据权利要求1所述的方法,其中所述一个或多个图像信号处理功能包括所述显示器的图像失真的校正。
9.根据权利要求1所述的方法,其中所述一个或多个图像信号处理功能包括以下项中的一者或多者:拜耳解码、颜色校正或降噪。
10.一种头戴式设备,包括:
相机传感器,所述相机传感器用于捕获环境图像;
通信链路,用于获取将与所述环境图像相关联地显示的呈现图形,以及基于比较环境图像和呈现图形中的像素的深度值而获取阿尔法掩模;以及
处理器,所述处理器用于:
对所述环境图像执行一个或多个图像信号处理功能;以及
通过基于阿尔法掩模组合呈现内容与经处理的环境图像来生成显示图像;和
显示器,所述显示器用于显示所述显示图像。
11.根据权利要求10所述的头戴式设备,其中所述显示器用于在从所述相机传感器捕获所述环境图像起小于20毫秒内显示所述显示图像。
12.根据权利要求10所述的头戴式设备,其中不经由所述通信链路来传输所述环境图像,并且既不经由所述通信链路来接收所述环境图像、经处理的环境图像,也不经由所述通信链路来接收所述显示图像。
13.一种用于混合现实的图像处理的***,包括:
用于经由相机传感器来捕获环境图像的装置;
用于经由通信链路获取将与所述环境图像相关联地显示的呈现图形,以及基于比较环境图像和呈现图形中的像素的深度值而获取阿尔法掩模的装置;
用于使用一个或多个处理器来对所述环境图像执行一个或多个图像信号处理功能的装置;
用于通过使用所述一个或多个处理器基于所述阿尔法掩模组合呈现图形与经处理的环境图像来生成显示图像的装置;和
用于在显示器上显示所述显示图像的装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210642767.9A CN114895471B (zh) | 2016-02-18 | 2017-02-20 | 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662296829P | 2016-02-18 | 2016-02-18 | |
US62/296,829 | 2016-02-18 | ||
PCT/CA2017/000033 WO2017139871A1 (en) | 2016-02-18 | 2017-02-20 | Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210642767.9A Division CN114895471B (zh) | 2016-02-18 | 2017-02-20 | 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109477966A CN109477966A (zh) | 2019-03-15 |
CN109477966B true CN109477966B (zh) | 2022-06-03 |
Family
ID=59624674
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780009450.9A Active CN109477966B (zh) | 2016-02-18 | 2017-02-20 | 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器 |
CN202210642767.9A Active CN114895471B (zh) | 2016-02-18 | 2017-02-20 | 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210642767.9A Active CN114895471B (zh) | 2016-02-18 | 2017-02-20 | 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器 |
Country Status (9)
Country | Link |
---|---|
US (4) | US10838206B2 (zh) |
EP (1) | EP3417337A4 (zh) |
JP (1) | JP6824279B2 (zh) |
KR (4) | KR20240051334A (zh) |
CN (2) | CN109477966B (zh) |
AU (1) | AU2017220404B2 (zh) |
BR (1) | BR112018016726B1 (zh) |
MX (1) | MX2018008945A (zh) |
WO (1) | WO2017139871A1 (zh) |
Families Citing this family (90)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2536650A (en) | 2015-03-24 | 2016-09-28 | Augmedics Ltd | Method and system for combining video-based and optic-based augmented reality in a near eye display |
US10151606B1 (en) | 2016-02-24 | 2018-12-11 | Ommo Technologies, Inc. | Tracking position and movement using a magnetic field |
WO2019005045A1 (en) * | 2017-06-28 | 2019-01-03 | Halliburton Energy Services, Inc. | INTERACTIVE HANDLING WITH VIRTUAL REALITY OF DOWNHOLE DATA |
US11145124B2 (en) | 2017-08-30 | 2021-10-12 | Ronald H. Winston | System and method for rendering virtual reality interactions |
DE102017216000A1 (de) * | 2017-09-11 | 2019-03-14 | Conti Temic Microelectronic Gmbh | Gestensteuerung zur Kommunikation mit einem autonomen Fahrzeug auf Basis einer einfachen 2D Kamera |
US10506217B2 (en) * | 2017-10-09 | 2019-12-10 | Facebook Technologies, Llc | Head-mounted display tracking system |
JP2019080223A (ja) * | 2017-10-26 | 2019-05-23 | 株式会社ソニー・インタラクティブエンタテインメント | カメラシステム |
US10816807B2 (en) * | 2017-11-01 | 2020-10-27 | Vrgineers, Inc. | Interactive augmented or virtual reality devices |
US10514545B2 (en) | 2017-12-08 | 2019-12-24 | Facebook Technologies, Llc | Selective tracking of a head-mounted display |
US11156753B2 (en) * | 2017-12-18 | 2021-10-26 | Viavi Solutions Inc. | Optical filters |
US10921881B2 (en) | 2018-01-18 | 2021-02-16 | Valve Corporation | Position tracking system for head-mounted displays that includes sensor integrated circuits |
US10706813B1 (en) | 2018-02-03 | 2020-07-07 | Facebook Technologies, Llc | Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays |
US10559276B2 (en) | 2018-02-03 | 2020-02-11 | Facebook Technologies, Llc | Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays |
US10497179B2 (en) | 2018-02-23 | 2019-12-03 | Hong Kong Applied Science and Technology Research Institute Company Limited | Apparatus and method for performing real object detection and control using a virtual reality head mounted display system |
US10643341B2 (en) | 2018-03-22 | 2020-05-05 | Microsoft Technology Licensing, Llc | Replicated dot maps for simplified depth computation using machine learning |
US10944957B2 (en) * | 2018-03-22 | 2021-03-09 | Microsoft Technology Licensing, Llc | Active stereo matching for depth applications |
US10728518B2 (en) | 2018-03-22 | 2020-07-28 | Microsoft Technology Licensing, Llc | Movement detection in low light environments |
US10565678B2 (en) | 2018-03-23 | 2020-02-18 | Microsoft Technology Licensing, Llc | Asynchronous camera frame allocation |
US10565720B2 (en) | 2018-03-27 | 2020-02-18 | Microsoft Technology Licensing, Llc | External IR illuminator enabling improved head tracking and surface reconstruction for virtual reality |
KR102202239B1 (ko) * | 2018-04-02 | 2021-01-13 | 엘지전자 주식회사 | 헤드마운트디스플레이 분석 시스템 |
EP3557531A1 (en) * | 2018-04-18 | 2019-10-23 | Vision RT Limited | Camera monitoring system for monitoring a patient in a bore based medical system |
WO2019211741A1 (en) | 2018-05-02 | 2019-11-07 | Augmedics Ltd. | Registration of a fiducial marker for an augmented reality system |
US10678325B2 (en) * | 2018-05-22 | 2020-06-09 | Facebook Technologies, Llc | Apparatus, system, and method for accelerating positional tracking of head-mounted displays |
CN108805917B (zh) * | 2018-05-25 | 2021-02-23 | 杭州易现先进科技有限公司 | 空间定位的方法、介质、装置和计算设备 |
US10276289B1 (en) | 2018-06-01 | 2019-04-30 | Ommo Technologies, Inc. | Rotating a permanent magnet in a position detection system |
WO2020014706A1 (en) | 2018-07-13 | 2020-01-16 | Labrador Systems, Inc. | Visual navigation for mobile devices operable in differing environmental lighting conditions |
US10867408B1 (en) | 2018-07-23 | 2020-12-15 | Apple Inc. | Estimation of spatial relationships between sensors of a multi-sensor device |
US20200097707A1 (en) * | 2018-09-20 | 2020-03-26 | XRSpace CO., LTD. | Camera Module and Extended Reality System Using the Same |
WO2020069420A2 (en) | 2018-09-28 | 2020-04-02 | Ocelot Laboratories Llc | Camera system |
US11187914B2 (en) | 2018-09-28 | 2021-11-30 | Apple Inc. | Mirror-based scene cameras |
US11766296B2 (en) | 2018-11-26 | 2023-09-26 | Augmedics Ltd. | Tracking system for image-guided surgery |
US10902250B2 (en) | 2018-12-21 | 2021-01-26 | Microsoft Technology Licensing, Llc | Mode-changeable augmented reality interface |
TWI715903B (zh) | 2018-12-24 | 2021-01-11 | 財團法人工業技術研究院 | 動作追蹤系統及方法 |
EP3910938A4 (en) | 2019-01-11 | 2022-08-31 | LG Electronics Inc. | CAMERA DEVICE AND ELECTRONIC DEVICE THEREOF |
CN111322961B (zh) * | 2019-03-21 | 2021-04-06 | 深圳市光鉴科技有限公司 | 用于增强飞行时间分辨率的***和方法 |
US10585194B1 (en) | 2019-01-15 | 2020-03-10 | Shenzhen Guangjian Technology Co., Ltd. | Switchable diffuser projection systems and methods |
CN109613706B (zh) * | 2019-01-28 | 2021-05-07 | 京东方科技集团股份有限公司 | 针对智能头戴设备的调整方法、设备及存储介质 |
US10885710B2 (en) | 2019-03-14 | 2021-01-05 | Microsoft Technology Licensing, Llc | Reality-guided roaming in virtual reality |
EP4235381A3 (en) | 2019-03-18 | 2023-11-01 | Apple Inc. | Virtual paper |
TWI691738B (zh) * | 2019-03-20 | 2020-04-21 | 宏碁股份有限公司 | 近眼顯示裝置 |
CN110139028B (zh) * | 2019-03-25 | 2020-07-07 | 华为技术有限公司 | 一种图像处理的方法及头戴式显示设备 |
JP7365185B2 (ja) * | 2019-03-29 | 2023-10-19 | 株式会社ソニー・インタラクティブエンタテインメント | 画像データ伝送方法、コンテンツ処理装置、ヘッドマウントディスプレイ、中継装置、および、コンテンツ処理システム |
US11727646B2 (en) * | 2019-04-10 | 2023-08-15 | Trimble Inc. | Augmented reality image occlusion |
US10937220B2 (en) | 2019-04-22 | 2021-03-02 | Disney Enterprises, Inc. | Animation streaming for media interaction |
GB201906420D0 (en) | 2019-05-07 | 2019-06-19 | Farley Adam | Virtual augmented and mixed reality systems with physical feedback |
CN110148330A (zh) * | 2019-05-09 | 2019-08-20 | 中国民航大学 | 一种基于虚拟现实的飞机航前绕机检查培训*** |
CN110221690B (zh) * | 2019-05-13 | 2022-01-04 | Oppo广东移动通信有限公司 | 基于ar场景的手势交互方法及装置、存储介质、通信终端 |
US11980506B2 (en) | 2019-07-29 | 2024-05-14 | Augmedics Ltd. | Fiducial marker |
US11270114B2 (en) * | 2019-08-30 | 2022-03-08 | Lg Electronics Inc. | AR device and method for controlling the same |
US11320667B2 (en) * | 2019-09-27 | 2022-05-03 | Snap Inc. | Automated video capture and composition system |
KR20210051759A (ko) | 2019-10-31 | 2021-05-10 | 삼성중공업 주식회사 | 오염물질 저감 장치 |
KR20210051816A (ko) | 2019-10-31 | 2021-05-10 | 삼성중공업 주식회사 | 오염물질 저감 장치 |
KR102125267B1 (ko) * | 2019-11-14 | 2020-06-23 | (주)토핀스 | 이동형 적외선 카메라장치 |
US11128817B2 (en) | 2019-11-26 | 2021-09-21 | Microsoft Technology Licensing, Llc | Parallax correction using cameras of different modalities |
CN110969905A (zh) * | 2019-11-29 | 2020-04-07 | 塔普翊海(上海)智能科技有限公司 | 混合现实的远程教学互动、教具互动***及其互动方法 |
US11158108B2 (en) * | 2019-12-04 | 2021-10-26 | Microsoft Technology Licensing, Llc | Systems and methods for providing a mixed-reality pass-through experience |
CN111028597B (zh) * | 2019-12-12 | 2022-04-19 | 塔普翊海(上海)智能科技有限公司 | 混合现实的外语情景、环境、教具教学***及其方法 |
US11382712B2 (en) | 2019-12-22 | 2022-07-12 | Augmedics Ltd. | Mirroring in image guided surgery |
US11217024B2 (en) * | 2019-12-26 | 2022-01-04 | Facebook Technologies, Llc | Artificial reality system with varifocal display of artificial reality content |
KR20210085256A (ko) | 2019-12-30 | 2021-07-08 | 삼성전자주식회사 | 사용자의 위치를 제공하기 위한 전자 장치 및 방법 |
US11340696B2 (en) * | 2020-01-13 | 2022-05-24 | Sony Interactive Entertainment Inc. | Event driven sensor (EDS) tracking of light emitting diode (LED) array |
KR102327304B1 (ko) * | 2020-02-25 | 2021-11-17 | 광운대학교 산학협력단 | 깊이영상 카메라로부터 획득된 3d 영상의 품질 향상 방법 |
US11153555B1 (en) | 2020-05-08 | 2021-10-19 | Globus Medical Inc. | Extended reality headset camera system for computer assisted navigation in surgery |
US11032530B1 (en) * | 2020-05-15 | 2021-06-08 | Microsoft Technology Licensing, Llc | Gradual fallback from full parallax correction to planar reprojection |
NL2025627B1 (en) | 2020-05-20 | 2021-12-07 | Adjuvo Motion B V | A virtual or augmented reality training system |
US11579449B2 (en) * | 2020-05-29 | 2023-02-14 | Microsoft Technology Licensing, Llc | Systems and methods for providing mixed-reality experiences under low light conditions |
KR102321359B1 (ko) * | 2020-06-02 | 2021-11-02 | 국민대학교산학협력단 | 손 모양 및 조도 센서에 기초하여 가상현실 콘텐츠를 제어하는 휴대용 단말 및 이를 포함하는 vr 뷰어 시스템 |
WO2021244187A1 (en) * | 2020-06-05 | 2021-12-09 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method for tracking head mounted display device and head mounted display system |
US11389252B2 (en) | 2020-06-15 | 2022-07-19 | Augmedics Ltd. | Rotating marker for image guided surgery |
US11568555B2 (en) | 2020-06-22 | 2023-01-31 | Microsoft Technology Licensing, Llc | Dense depth computations aided by sparse feature matching |
US11212503B1 (en) * | 2020-07-14 | 2021-12-28 | Microsoft Technology Licensing, Llc | Dual camera HMD with remote camera alignment |
CN112437213A (zh) * | 2020-10-28 | 2021-03-02 | 青岛小鸟看看科技有限公司 | 图像采集方法、手柄设备、头戴设备及头戴*** |
CN112297030A (zh) * | 2020-11-13 | 2021-02-02 | 沈阳航天新光集团有限公司 | 基于混合现实的互动式仿生机器鱼*** |
CN112527102B (zh) * | 2020-11-16 | 2022-11-08 | 青岛小鸟看看科技有限公司 | 头戴式一体机***及其6DoF追踪方法和装置 |
US11896445B2 (en) | 2021-07-07 | 2024-02-13 | Augmedics Ltd. | Iliac pin and adapter |
US11908083B2 (en) | 2021-08-31 | 2024-02-20 | Snap Inc. | Deforming custom mesh based on body mesh |
US11663792B2 (en) * | 2021-09-08 | 2023-05-30 | Snap Inc. | Body fitted accessory with physics simulation |
US11798238B2 (en) | 2021-09-14 | 2023-10-24 | Snap Inc. | Blending body mesh into external mesh |
US11836866B2 (en) | 2021-09-20 | 2023-12-05 | Snap Inc. | Deforming real-world object using an external mesh |
US11836862B2 (en) * | 2021-10-11 | 2023-12-05 | Snap Inc. | External mesh with vertex attributes |
US11790614B2 (en) | 2021-10-11 | 2023-10-17 | Snap Inc. | Inferring intent from pose and speech input |
US11763481B2 (en) | 2021-10-20 | 2023-09-19 | Snap Inc. | Mirror-based augmented reality experience |
US20230140170A1 (en) * | 2021-10-28 | 2023-05-04 | Samsung Electronics Co., Ltd. | System and method for depth and scene reconstruction for augmented reality or extended reality devices |
US11995228B2 (en) * | 2022-01-11 | 2024-05-28 | Rockwell Collins, Inc. | Head tracking system with extended kalman filter combining absolute and relative navigation |
US20240121370A1 (en) * | 2022-09-30 | 2024-04-11 | Samsung Electronics Co., Ltd. | System and method for parallax correction for video see-through augmented reality |
US12001024B2 (en) | 2022-10-12 | 2024-06-04 | Snap Inc. | Energy-efficient adaptive 3D sensing |
WO2024081154A1 (en) * | 2022-10-12 | 2024-04-18 | Snap Inc. | Energy-efficient adaptive 3d sensing |
US11983061B1 (en) | 2022-10-28 | 2024-05-14 | Dell Products L.P. | Information handling system peripheral device sleep power management |
US11983337B1 (en) | 2022-10-28 | 2024-05-14 | Dell Products L.P. | Information handling system mouse with strain sensor for click and continuous analog input |
US11914800B1 (en) | 2022-10-28 | 2024-02-27 | Dell Products L.P. | Information handling system stylus with expansion bay and replaceable module |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102591016A (zh) * | 2010-12-17 | 2012-07-18 | 微软公司 | 用于扩展现实显示的优化聚焦区 |
CN104077741A (zh) * | 2014-05-27 | 2014-10-01 | 武汉兆图科技有限公司 | 一种基于渲染到纹理的三维场景无损放大方法 |
CN104321681A (zh) * | 2012-06-29 | 2015-01-28 | 英特尔公司 | 使用透明显示装置的增强的信息递送 |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003091741A (ja) * | 2001-09-17 | 2003-03-28 | Namco Ltd | 画像生成システム、プログラム及び情報記憶媒体 |
JP4401727B2 (ja) * | 2003-09-30 | 2010-01-20 | キヤノン株式会社 | 画像表示装置及び方法 |
CN100432744C (zh) * | 2005-09-26 | 2008-11-12 | 大学光学科技股份有限公司 | 具有手机功能的焦距可调整的头戴式显示器 |
JP5291605B2 (ja) | 2009-12-04 | 2013-09-18 | 日本放送協会 | カメラ姿勢推定装置およびカメラ姿勢推定プログラム |
EP2539759A1 (en) * | 2010-02-28 | 2013-01-02 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
CN102129708A (zh) * | 2010-12-10 | 2011-07-20 | 北京邮电大学 | 增强现实环境中快速多层次虚实遮挡处理方法 |
US9213405B2 (en) * | 2010-12-16 | 2015-12-15 | Microsoft Technology Licensing, Llc | Comprehension and intent-based content for augmented reality displays |
US20120200667A1 (en) * | 2011-02-08 | 2012-08-09 | Gay Michael F | Systems and methods to facilitate interactions with virtual content |
US9316831B2 (en) | 2011-10-11 | 2016-04-19 | Sony Corporation | Head mounted display and display control method |
US9311883B2 (en) * | 2011-11-11 | 2016-04-12 | Microsoft Technology Licensing, Llc | Recalibration of a flexible mixed reality device |
US8611015B2 (en) * | 2011-11-22 | 2013-12-17 | Google Inc. | User interface |
US9514522B2 (en) * | 2012-08-24 | 2016-12-06 | Microsoft Technology Licensing, Llc | Depth data processing and compression |
US10234941B2 (en) * | 2012-10-04 | 2019-03-19 | Microsoft Technology Licensing, Llc | Wearable sensor for tracking articulated body-parts |
US20140152676A1 (en) * | 2012-11-30 | 2014-06-05 | Dave Rohn | Low latency image display on multi-display device |
WO2014164901A1 (en) * | 2013-03-11 | 2014-10-09 | Magic Leap, Inc. | System and method for augmented and virtual reality |
US9898866B2 (en) * | 2013-03-13 | 2018-02-20 | The University Of North Carolina At Chapel Hill | Low latency stabilization for head-worn displays |
JP6160154B2 (ja) * | 2013-03-22 | 2017-07-12 | セイコーエプソン株式会社 | 頭部装着型表示装置を利用した情報表示システム、頭部装着型表示装置を利用した情報表示方法、および、頭部装着型表示装置 |
JP5769751B2 (ja) * | 2013-03-29 | 2015-08-26 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP6137910B2 (ja) * | 2013-03-29 | 2017-05-31 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
US9191643B2 (en) * | 2013-04-15 | 2015-11-17 | Microsoft Technology Licensing, Llc | Mixing infrared and color component data point clouds |
US20140307055A1 (en) * | 2013-04-15 | 2014-10-16 | Microsoft Corporation | Intensity-modulated light pattern for active stereo |
US9878235B2 (en) | 2013-06-07 | 2018-01-30 | Sony Interactive Entertainment Inc. | Transitioning gameplay on a head-mounted display |
US20140362110A1 (en) * | 2013-06-08 | 2014-12-11 | Sony Computer Entertainment Inc. | Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user |
CN105359063B (zh) * | 2013-06-09 | 2018-08-17 | 索尼电脑娱乐公司 | 利用追踪的头戴式显示器 |
US20140375540A1 (en) | 2013-06-24 | 2014-12-25 | Nathan Ackerman | System for optimal eye fit of headset display device |
US9208566B2 (en) * | 2013-08-09 | 2015-12-08 | Microsoft Technology Licensing, Llc | Speckle sensing for motion tracking |
US9495801B2 (en) | 2014-05-01 | 2016-11-15 | Microsoft Technology Licensing, Llc | Pose tracking an augmented reality device |
DE102014006732B4 (de) * | 2014-05-08 | 2016-12-15 | Audi Ag | Bildüberlagerung von virtuellen Objekten in ein Kamerabild |
US9727136B2 (en) * | 2014-05-19 | 2017-08-08 | Microsoft Technology Licensing, Llc | Gaze detection calibration |
US9473764B2 (en) | 2014-06-27 | 2016-10-18 | Microsoft Technology Licensing, Llc | Stereoscopic image display |
US20150379772A1 (en) * | 2014-06-30 | 2015-12-31 | Samsung Display Co., Ltd. | Tracking accelerator for virtual and augmented reality displays |
US10416760B2 (en) | 2014-07-25 | 2019-09-17 | Microsoft Technology Licensing, Llc | Gaze-based object placement within a virtual reality environment |
WO2016017997A1 (en) * | 2014-07-31 | 2016-02-04 | Samsung Electronics Co., Ltd. | Wearable glasses and method of providing content using the same |
CN104281266B (zh) * | 2014-10-17 | 2017-10-27 | 深圳鼎界科技有限公司 | 头戴式显示设备 |
GB2532465B (en) * | 2014-11-19 | 2021-08-11 | Bae Systems Plc | Interactive control station |
US10235806B2 (en) * | 2014-11-21 | 2019-03-19 | Rockwell Collins, Inc. | Depth and chroma information based coalescence of real world and virtual world images |
US10127725B2 (en) * | 2015-09-02 | 2018-11-13 | Microsoft Technology Licensing, Llc | Augmented-reality imaging |
-
2017
- 2017-02-20 KR KR1020247012239A patent/KR20240051334A/ko not_active Application Discontinuation
- 2017-02-20 JP JP2018543195A patent/JP6824279B2/ja active Active
- 2017-02-20 MX MX2018008945A patent/MX2018008945A/es unknown
- 2017-02-20 US US16/063,004 patent/US10838206B2/en active Active
- 2017-02-20 CN CN201780009450.9A patent/CN109477966B/zh active Active
- 2017-02-20 WO PCT/CA2017/000033 patent/WO2017139871A1/en active Application Filing
- 2017-02-20 AU AU2017220404A patent/AU2017220404B2/en active Active
- 2017-02-20 KR KR1020187022953A patent/KR20180101496A/ko active Application Filing
- 2017-02-20 CN CN202210642767.9A patent/CN114895471B/zh active Active
- 2017-02-20 EP EP17752585.4A patent/EP3417337A4/en active Pending
- 2017-02-20 KR KR1020227022543A patent/KR102658303B1/ko active IP Right Grant
- 2017-02-20 BR BR112018016726-6A patent/BR112018016726B1/pt active IP Right Grant
- 2017-02-20 KR KR1020207002599A patent/KR102417177B1/ko active IP Right Grant
-
2020
- 2020-09-25 US US17/032,141 patent/US11199706B2/en active Active
-
2021
- 2021-10-29 US US17/514,082 patent/US11693242B2/en active Active
-
2023
- 2023-06-14 US US18/209,651 patent/US20230324684A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102591016A (zh) * | 2010-12-17 | 2012-07-18 | 微软公司 | 用于扩展现实显示的优化聚焦区 |
CN104321681A (zh) * | 2012-06-29 | 2015-01-28 | 英特尔公司 | 使用透明显示装置的增强的信息递送 |
CN104077741A (zh) * | 2014-05-27 | 2014-10-01 | 武汉兆图科技有限公司 | 一种基于渲染到纹理的三维场景无损放大方法 |
Also Published As
Publication number | Publication date |
---|---|
US20210011289A1 (en) | 2021-01-14 |
CN114895471B (zh) | 2024-04-09 |
EP3417337A4 (en) | 2019-10-23 |
KR20220099580A (ko) | 2022-07-13 |
US20230324684A1 (en) | 2023-10-12 |
EP3417337A1 (en) | 2018-12-26 |
US10838206B2 (en) | 2020-11-17 |
WO2017139871A1 (en) | 2017-08-24 |
KR20240051334A (ko) | 2024-04-19 |
US11199706B2 (en) | 2021-12-14 |
AU2017220404A1 (en) | 2018-07-12 |
CN109477966A (zh) | 2019-03-15 |
BR112018016726A2 (pt) | 2018-12-26 |
US20220050290A1 (en) | 2022-02-17 |
KR102417177B1 (ko) | 2022-07-05 |
KR102658303B1 (ko) | 2024-04-18 |
US11693242B2 (en) | 2023-07-04 |
JP2019516261A (ja) | 2019-06-13 |
BR112018016726B1 (pt) | 2023-03-14 |
CN114895471A (zh) | 2022-08-12 |
MX2018008945A (es) | 2018-11-09 |
JP6824279B2 (ja) | 2021-02-03 |
KR20180101496A (ko) | 2018-09-12 |
KR20200012043A (ko) | 2020-02-04 |
AU2017220404B2 (en) | 2019-06-06 |
US20190258058A1 (en) | 2019-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109477966B (zh) | 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器 | |
JP7068562B2 (ja) | 拡張現実データを記録するための手法 | |
US9710973B2 (en) | Low-latency fusing of virtual and real content | |
CN108307675B (zh) | 用于vr/ar应用中的深度增强的多基线相机阵列***架构 | |
KR102281026B1 (ko) | 홀로그램 앵커링 및 동적 포지셔닝 기법 | |
US20140176591A1 (en) | Low-latency fusing of color image data | |
JP2019092170A (ja) | 3dプレノプティックビデオ画像を作成するためのシステムおよび方法 | |
CN114647318A (zh) | 跟踪设备的位置的方法 | |
US20130326364A1 (en) | Position relative hologram interactions | |
JP2018511098A (ja) | 複合現実システム | |
US20190371072A1 (en) | Static occluder | |
CN106168855B (zh) | 一种便携式mr眼镜、手机和mr眼镜*** | |
US11749141B2 (en) | Information processing apparatus, information processing method, and recording medium | |
CN116612234A (zh) | 基于增强或虚拟现实应用程序内立体视觉的高效动态遮挡 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |