CN116483200A - 具有虚拟内容翘曲的混合现实***和使用该***生成虚拟内容的方法 - Google Patents
具有虚拟内容翘曲的混合现实***和使用该***生成虚拟内容的方法 Download PDFInfo
- Publication number
- CN116483200A CN116483200A CN202310425037.8A CN202310425037A CN116483200A CN 116483200 A CN116483200 A CN 116483200A CN 202310425037 A CN202310425037 A CN 202310425037A CN 116483200 A CN116483200 A CN 116483200A
- Authority
- CN
- China
- Prior art keywords
- depth
- rendered
- virtual
- virtual content
- warped
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 111
- 230000033001 locomotion Effects 0.000 claims abstract description 104
- 230000003287 optical effect Effects 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 description 30
- 210000003128 head Anatomy 0.000 description 24
- 238000009877 rendering Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000012360 testing method Methods 0.000 description 12
- 239000000872 buffer Substances 0.000 description 8
- 230000004886 head movement Effects 0.000 description 8
- 230000006641 stabilisation Effects 0.000 description 8
- 238000011105 stabilization Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000256856 Vespidae Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 210000000613 ear canal Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Optics & Photonics (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
用于使虚拟内容翘曲的计算机实现的方法包括:接收经渲染的虚拟内容数据,该经渲染的虚拟内容数据包括远深度。该方法还包括接收指示在与光轴正交的方向中的用户运动的运动数据。该方法进一步包括基于经渲染的虚拟内容数据、远深度和运动数据生成翘曲的经渲染的虚拟内容数据。
Description
本申请是申请号为201980049056.7的中国专利申请的分案申请,原申请的申请日为2019年7月22日,优先权日为2018年7月23日,进入中国国家阶段的日期为2021年1月22日,发明名称为“具有虚拟内容翘曲的混合现实***和使用该***生成虚拟内容的方法”。
相关申请的交叉引用
技术领域
本公开涉及具有虚拟内容翘曲(warping)的混合现实***,以及用于使用该***生成包括翘曲的虚拟内容的混合现实体验的方法。
背景技术
现代计算和显示技术促进了用于所谓的“虚拟现实”(VR)或“增强现实”(AR)体验的“混合现实”(MR)***的开发,其中,数字再现的图像或其一部分,以它们似乎是真实的或可能被感知为真实的方式被呈现给用户。VR场景通常涉及数字或虚拟图像信息的呈现,但对实际的真实世界视觉输入不透明。AR场景通常涉及将数字或虚拟图像信息呈现为对用户周围的真实世界的可视化(即,对真实世界视觉输入的透明性)的增强。因此,AR场景涉及对用户周围的真实世界具有透明性的数字或虚拟图像信息的呈现。
各种光学***在各种深度生成图像以显示MR(VR和AR)场景。一些此类光学***在2014年11月27日提交的美国实用专利申请序列号14/555,585(代理人案卷号ML.20011.00)中进行了描述,其全部内容通过引用明确地全部并入在此,如同全文阐述一样。
MR***通常采用可穿戴显示设备(例如,头戴式显示器、头盔式显示器或智能眼镜),该可穿戴显示设备至少松散地耦合到用户的头部,并因此在用户的头部移动时移动。如果显示设备检测到用户的头部运动,则可以更新正在显示的数据,以考虑到头部姿势的变化(即用户头部的取向和/或位置)。
作为示例,如果佩戴头戴式显示设备的用户在显示设备上观看虚拟对象的虚拟表示并围绕虚拟对象出现的区域行走,则可以针对每个视点渲染虚拟对象(对应于头戴式显示设备的位置和/或取向),从而使用户感觉到他们正在围绕占用真实空间的对象行走。如果头戴式显示设备用于呈现不同深度处的多个虚拟对象,则头部姿势的测量值可用于渲染场景以匹配用户动态变化的头部姿势,并提供增强的沉浸感。然而,在渲染场景与显示/投影渲染的场景之间存在不可避免的滞后。
启用AR的头戴式显示设备提供真实和虚拟对象的同时观看。采用“光学透视”显示器,用户可以透视显示***中的透明(或半透明)元素,以直接观看来自真实世界环境中的真实对象的光。透明元素(通常称为“组合器”)将来自显示器的光叠加在真实世界的用户视图上,其中来自显示器的光将虚拟内容的图像投影到环境中真实对象的透视视图中。可以将相机安装在头戴式显示设备上,以捕获用户正在观看的场景的图像或视频。
MR***试图呈现照片般逼真的沉浸式MR场景。然而,在虚拟内容的生成(“经渲染的虚拟内容”)与经渲染的虚拟内容的显示之间的滞后时间期间的头部运动可能导致视觉伪像(例如,瑕疵(glitch))。在滞后时间期间,快速的头部运动可能会使该问题加重。
为了解决这个问题,一些光学***可以包括从源接收经渲染的虚拟内容的翘曲软件/***/方法。然后,翘曲***“翘曲”所接收的经渲染的虚拟内容(即,变换其“参考系”),以在显示***/观看者的参考系(“显示参考系”)中显示。该方法采用原始渲染的虚拟内容,并变换呈现虚拟内容的方式,以尝试在显示时从不同的角度显示虚拟内容。
一些翘曲软件/***/方法使经渲染的虚拟内容翘曲以针对(即,用户视野“FOV”的)旋转的或粗略的位置用户运动进行校正。此类***并未优化以针对其它类型的用户运动(例如,沿着与用户光轴正交的轴的基本上横向的用户运动)进行校正。因此,一些翘曲软件/***/方法可能导致用户运动的伪像。
发明内容
在一个实施例中,一种用于使虚拟内容翘曲的计算机实现的方法包括:接收经渲染的虚拟内容数据,该经渲染的虚拟内容数据包括远深度。该方法还包括接收指示在与光轴正交的方向中的用户运动的运动数据。该方法进一步包括基于经渲染的虚拟内容数据、远深度和运动数据,生成翘曲的经渲染的虚拟内容数据。
在一个或多个实施例中,经渲染的虚拟内容数据对应于近虚拟对象和远虚拟对象,并且翘曲的经渲染的虚拟内容数据对应于翘曲的近虚拟对象和翘曲的远虚拟对象。近虚拟对象与翘曲的近虚拟对象之间的第一位置偏移可以基本上等于远虚拟对象与翘曲的远虚拟对象之间的第二位置偏移。
在一个或多个实施例中,与经渲染的虚拟内容数据相比,基于经渲染的虚拟内容数据、远深度和运动数据生成翘曲的经渲染的虚拟内容数据减少了与视差有关的伪像。可能与视差有关的伪像是去遮挡(disocclusion)伪像。与视差有关的伪像可以是拖尾伪像或抖动伪像。
在一个或多个实施例中,经渲染的虚拟内容数据对应于第一深度段。该方法还包括接收与第二深度段相对应的第二经渲染的虚拟内容数据,该第二经渲染的虚拟内容数据包括第二远深度。该方法进一步包括基于第二经渲染的虚拟内容数据、第二远深度和运动数据来生成翘曲的第二经渲染的虚拟内容数据。
在另一实施例中,一种用于使虚拟内容翘曲的计算机实现的方法包括:接收经渲染的虚拟内容数据,该经渲染的虚拟内容数据包括远深度和近深度。该方法还包括接收指示在与光轴正交的方向中的用户运动的运动数据。该方法进一步包括基于经渲染的虚拟内容数据、远深度、近深度和运动数据,生成翘曲的经渲染的虚拟内容数据。
在一个或多个实施例中,基于经渲染的虚拟内容数据、远深度、近深度和运动数据来生成翘曲的经渲染的虚拟内容数据包括对远深度和近深度求平均。
在另一个实施例中,一种用于使虚拟内容翘曲的计算机实现的方法包括:接收经渲染的虚拟内容数据。该方法还包括接收指示在与光轴正交的方向中的用户运动的运动数据。该方法进一步包括接收指示用户注视的注视数据。此外,该方法包括基于注视数据确定深度。另外,该方法包括基于经渲染的虚拟内容数据、深度和运动数据生成翘曲的经渲染的虚拟内容数据。
在另一个实施例中,一种用于使虚拟内容翘曲的计算机实现的方法包括:接收经渲染的虚拟内容数据。该方法还包括接收指示在与光轴正交的方向中的用户运动的运动数据。该方法进一步包括从经渲染的虚拟内容数据中生成网格数据。此外,该方法包括从网格数据确定深度数据。另外,该方法包括基于经渲染的虚拟内容数据、网格数据、深度数据和运动数据生成翘曲的经渲染的虚拟内容数据。
在一个或多个实施例中,该方法还包括当生成网格数据时调节网格大小。可以使用格栅网格来生成网格数据。可以基于网格中的多个深度以及在多个深度中的每个深度处的网格的内容来确定深度数据。
在另一实施例中,一种用于确定虚拟对象的深度的计算机实现的方法包括:在多个深度处将与第一只眼睛相对应的虚拟对象的第一图像重新投影在与第二只眼睛相对应的虚拟对象的第二图像上,以生成多个相应的组合图像。该方法还包括在多个相应的组合图像的每一个中测量重新投影误差,以生成多个重新投影误差。该方法进一步包括识别与多个相应的组合图像中的组合图像相对应的多个重新投影误差中的最小重新投影误差。此外,该方法包括将与组合图像相对应的深度识别为虚拟对象的深度。
在一个或多个实施例中,虚拟对象的深度用于使虚拟对象从第一视点翘曲到第二视点。多个深度可以由64个深度组成。多个深度中的每个深度可以对应于在重新投影虚拟对象的第一图像中的一个像素差。
在另一实施例中,一种用于确定最小稳定深度的计算机实现的方法包括获得视点(POV)运动量。该方法还包括基于POV运动量,确定稳定深度与在稳定深度处的像素运动之间的关系。该方法进一步包括获得用于显示***的最大不明显的像素运动。此外,该方法包括将与显示***的最大不明显的像素运动相对应的稳定深度识别为显示***的最小稳定深度。
在一个或多个实施例中,该方法还包括:当视点改变时,仅使比最小稳定深度更接近观看者的内容翘曲。稳定深度与在稳定深度处的像素运动之间的关系可以是反比关系。
在详细描述、附图和权利要求中描述了本公开的附加和其它目的、特征和优点。
附图说明
附图示出了本公开的各种实施例的设计和实用性。应当注意,附图未按比例绘制,并且在整个附图中,相似结构或功能的元件由相似的附图标记表示。为了更好地理解如何获得本公开的各种实施例的上述和其它优点和目的,将通过参考在附图中示出的本公开的具体实施例来对以上简要描述的本公开进行更详细的描述。理解这些附图仅描绘了本公开的典型实施例,并且因此不应被认为是对其范围的限制,将通过使用附图以附加的特征和细节来描述和解释本公开,在附图中:
图1描绘了根据一些实施例的通过可穿戴AR用户设备的增强现实(AR)的用户视图。
图2A-2D示意性地示出根据一些实施例的AR***及其子***。
图3和图4示出根据一些实施例的具有用户运动的伪像。
图5示出根据一些实施例使虚拟内容翘曲以针对头部旋转进行校正。
图6-9示出根据一些实施例使虚拟内容翘曲以针对用户运动进行校正。
图10示意性地描绘根据一些实施例的图形处理单元(GPU)。
图11描绘根据一些实施例的被存储为图元(primitive)的虚拟对象。
图12-14描绘根据一些实施例使位于不同深度的两个不重叠的虚拟对象翘曲以针对用户运动进行校正。
图15-19描绘使位于不同深度的两个重叠虚拟对象翘曲以针对用户运动进行校正时的去遮挡伪像。
图20和图21描绘使位于不同深度的两个重叠虚拟对象翘曲以针对用户运动进行校正时的拖尾伪像。
图22-24描绘使位于不同深度的两个重叠虚拟对象翘曲以针对用户运动进行校正时的抖动伪像。
图25-27描绘根据一些实施例使位于不同深度的两个重叠虚拟对象翘曲以针对用户运动进行校正,同时最小化抖动伪像。
图28、29A-29B、30-31描绘根据一些实施例使用多个深度来使位于不同深度的两个重叠虚拟对象翘曲以针对用户运动进行校正。
图32-38描绘根据一些实施例使用眼睛跟踪来使位于不同深度的两个重叠虚拟对象翘曲以针对用户运动进行校正。
图39-45描绘根据一些实施例使用网格使位于不同深度的两个重叠虚拟对象翘曲以针对用户运动进行校正。
图46是示意性地示出根据一些实施例的说明性计算***的框图。
图47至图49示意性地描绘根据一些实施例的用于从虚拟对象的立体图像对确定虚拟对象的深度的方法。
图50至图52示出根据一些实施例的通过用于从虚拟对象的立体图像对确定虚拟对象的深度的方法生成的各种组合图像。
图53是示出根据一些实施例的用于从虚拟对象的立体图像对确定虚拟对象的深度的方法的流程图。
图54是示出稳定深度与具有POV运动的虚拟对象的视在运动(apparentmovement)之间的关系的曲线图。
图55是示出根据一些实施例的用于确定稳定深度的方法的流程图。
具体实施方式
本公开的各种实施例涉及用于在单个实施例或多个实施例中使虚拟内容翘曲的***、方法和制品。在详细描述、附图和权利要求中描述了本公开的其它目的、特征和优点。
现在将参考附图详细描述各种实施例,这些附图被提供作为本公开的说明性示例,以便使本领域技术人员能够实践本公开。值得注意的是,下面的附图和示例并不意味着限制本公开的范围。在可以使用已知组件(或方法或过程)部分或完全实现本公开的某些要素的情况下,将仅描述理解本公开所必需的此类已知组件(或方法或过程)的那些部分,并且将省略此类已知组件(或方法或过程)的其它部分的详细描述,以免模糊本公开。此外,各种实施例涵盖了通过图示的方式在此涉及的组件的当前和将来已知的等同物。
可以独立于混合现实***来实现虚拟内容翘曲***,但是以下仅出于说明性目的而相对于AR***描述了一些实施例。此外,在此描述的虚拟内容翘曲***也可以以与VR***相同的方式使用。
说明性混合现实场景和***
以下描述涉及可以实践翘曲***的说明性增强现实***。然而,应当理解,实施例还适用于其它类型的显示***(包括其它类型的混合现实***)中的应用,并且因此,实施例不仅限于在此公开的说明性***。
混合现实(例如,VR或AR)场景通常包括与真实世界对象相关的与虚拟对象相对应的虚拟内容(例如,图像和声音)的呈现。例如,参考图1,描绘了AR场景100,其中AR技术的用户看到了真实世界的物理的公园状的设置102,其特征包括人、树、背景中的建筑物以及真实的物理的混凝土平台104。除了这些项目之外,AR技术的用户还感觉他们“看到”了站在物理混凝土平台104上的虚拟机器人雕像106,以及似乎是大黄蜂的拟人化的飞舞的虚拟类卡通头像角色108,即使这些虚拟对象106、108在真实世界中不存在。
与AR场景一样,VR场景也考虑了用于生成/渲染虚拟内容的姿势。将虚拟内容准确地翘曲到AR/VR显示参考系,并将翘曲的虚拟内容翘曲可以改善AR/VR场景,或者至少不会减损AR/VR场景。
以下描述涉及可以实践本公开的说明性AR***。然而,应当理解,本公开也适用于其它类型的增强现实和虚拟现实***中的应用,并且因此,本公开不仅限于在此公开的说明性***。
图2A示出根据一些实施例的AR***200。AR***200可以结合投影子***208来操作,以在用户250的视场中提供与物理对象混合的虚拟对象的图像。该方法采用一个或多个至少部分透明的表面,通过该表面可以看到包括物理对象的周围环境并且AR***200通过该表面产生虚拟对象的图像。投影子***208被容纳在控制子***201中,该控制子***201通过链路207可操作地耦合到显示***/子***204。链路207可以是有线或无线通信链路。
对于AR应用,可能期望相对于用户250的视场中的相应物理对象在空间上定位各种虚拟对象。虚拟对象可以采用多种形式中的任一种,具有能够被表示为图像的任何种类的数据、信息、概念或逻辑构造。虚拟对象的非限制性示例可以包括:虚拟文本对象、虚拟数字对象、虚拟字母数字对象、虚拟标签对象、虚拟字段对象、虚拟图表对象、虚拟地图对象、虚拟仪器对象,或物理对象的虚拟视觉表示。
AR***200包括:由用户250佩戴的框架结构202;由框架结构202承载的显示***204,使得显示***204位于用户250的眼睛前面;以及结合到显示***204中或连接到显示***204的扬声器206。在所示的实施例中,扬声器206由框架结构202承载,使得扬声器206位于用户250的耳道附近(之中或周围)(例如,耳塞或耳机)。
显示***204被设计为向用户250的眼睛呈现基于照片的辐射图案,可以舒适地将该基于照片的辐射图案感知为包括二维和三维内容两者的周围环境的增强。显示***204以提供对单个相干场景的感知的高频率来呈现一系列帧。为此,显示***204包括投影子***208和部分透明的显示屏,投影子***208通过该显示屏投影图像。显示屏位于用户250的眼睛和周围环境之间的用户250的视场中。
在一些实施例中,投影子***208采取基于扫描的投影设备的形式,并且显示屏采取基于波导的显示器的形式,来自投影子***208的扫描光被注入该基于波导的显示器中以产生例如比无限远更近的单个光学观看距离(例如,臂长)处的图像,多个离散光学观看距离或焦平面处的图像,和/或用于表示体积3D对象而堆叠在多个观看距离或焦平面处的图像层。光场中的这些层可以足够紧密地堆叠在一起,以看起来对人类视觉子***是连续的(例如,一层位于相邻层的混淆锥内)。另外地或可替代地,图片元素可以在两层或更多层上混合以增加在光场中各层之间过渡的感知连续性,即使这些层被更稀疏地堆叠(例如,一层在相邻层的混淆锥之外)。显示***204可以是单眼或双眼的。扫描组件包括产生光束的一个或多个光源(例如,以限定的图案发射不同颜色的光)。光源可以采取多种形式中的任一种,例如,一组RGB源(例如,能够输出红色、绿色和蓝色光的激光二极管),其可操作以根据在像素信息或数据的相应帧中指定的定义的像素图案分别产生红色、绿色和蓝色相干的准直光。激光提供高色彩饱和度并且具有高能源效率。光学耦合子***包括光学波导输入装置,诸如例如一个或多个反射表面、衍射光栅、反射镜、二向色镜或棱镜,以将光在光学上耦合到显示屏的末端。光学耦合子***进一步包括准直元件,该准直元件准直来自光纤的光。可选地,光学耦合子***包括光调制装置,该光调制装置被配置为将来自准直元件的光会聚到光波导输入装置的中心处的焦点,从而允许光波导输入装置的大小被最小化。因此,显示***204生成像素信息的一系列合成图像帧,其向用户呈现一个或多个虚拟对象的未失真图像。在题为“显示***和方法(Display System and Method)”的美国实用专利申请序列号14/212,961(代理人案卷号:ML.20006.00)和题为“具有衍射元件的平面波导装置和利用该平面波导装置的子***(Planar Waveguide Apparatus With DiffractionElement(s)and Subsystem Employing Same)”的序列号14/331,218(代理人案卷号ML.20020.00)中提供了描述显示子***的更多细节,其内容通过引用全部明确地且完整地并入本文,如同全文阐述一样。
AR***200进一步包括一个或多个传感器,该传感器安装到框架结构202,用于检测用户250的头部的位置(包括取向)和运动和/或用户250的眼睛位置和眼间距离。此类传感器可以包括图像捕获设备、麦克风、惯性测量单元(IMU)、加速度计、罗盘、GPS单元、无线电设备、陀螺仪等。例如,在一个实施例中,AR***200包括头戴式换能器子***,该头戴式换能器子***包括一个或多个惯性换能器,以捕获指示用户250的头部运动的惯性测量。此类设备可以用于感测、测量或收集有关用户250的头部运动的信息。例如,这些设备可用于检测/测量用户250的头部的运动、速度、加速度和/或位置。用户250的头部的位置(包括取向)也被称为用户250的“头部姿势”。
图2A的AR***200可以包括一个或多个前向相机。相机可用于多种目的,诸如从***200的前向记录图像/视频。此外,相机可用于捕获有关用户250所处环境的信息,诸如指示用户250关于该环境和该环境中的特定对象的距离、取向和/或角位置的信息。
AR***200可以进一步包括后向相机,以跟踪用户250的眼睛的角位置(一只或多只眼睛指向的方向)、眨眼和聚焦深度(通过检测眼睛聚散)。例如,可以通过将光投影到最终用户的眼睛上并检测至少一些该投影光的返回或反射来辨别此类眼睛跟踪信息。
增强现实***200进一步包括可以采用多种形式中的任何形式的控制子***201。控制子***201包括多个控制器,例如一个或多个微控制器、微处理器或中央处理单元(CPU)、数字信号处理器、图形处理单元(GPU)、其它集成电路控制器,诸如专用集成电路(ASIC)、可编程门阵列(PGA)(例如现场PGA(FPGA))和/或可编程逻辑控制器(PLU)。控制子***201可以包括数字信号处理器(DSP)、中央处理单元(CPU)251、图形处理单元(GPU)252和一个或多个帧缓冲器254。CPU 251控制***的整体操作,而GPU 252渲染帧(即,将三维场景转换为二维图像)并将这些帧存储在帧缓冲器254中。虽然未示出,但一个或多个附加集成电路可以控制帧从帧缓冲器254读入和/或读出以及显示***204的操作。读入和/或读出帧缓冲器254可以采用动态寻址,例如,在帧过度渲染的情况下。控制子***201进一步包括只读存储器(ROM)和随机存取存储器(RAM)。控制子***201进一步包括三维数据库260,GPU252可以从该三维数据库260访问用于渲染帧的一个或多个场景的三维数据,以及与三维场景内包含的虚拟声源相关联的合成声音数据。
控制AR增强现实子***2010进一步包括用户取向检测模块248。用户取向模块248检测用户250的头部的瞬时位置,并可以基于从传感器接收的位置数据预测用户250的头部的位置。用户取向模块248还基于从传感器接收的跟踪数据来跟踪用户250的眼睛,并且特别是用户250所聚焦的方向和/或距离。
图2B描绘了根据一些实施例的AR***200'。图2B中描绘的AR***200’类似于图2A中描绘并在上面描述的AR***200。例如,AR***200'包括框架结构202、显示***204、扬声器206以及通过链路207可操作地耦合到显示***204的控制子***201'。图2B中描绘的控制子***201'是类似于图2A中描绘并在上面描述的控制子***201。例如,控制子***201'包括投影子***208、图像/视频数据库271、用户取向模块248、CPU 251、GPU 252、3D数据库260、ROM和RAM。
图2B中描绘的控制子***201'以及因此AR***200'与图2A中描绘的对应***/***组件之间的差异是存在图2B中描绘的控制子***201'中块290。块290是独立于GPU 252或CPU 251的单独的翘曲块。如图2C中所示,块290包括翘曲单元280、数据库292和合成单元294。合成单元294包括混合单元296。如图2D中所示,翘曲单元280包括姿势估计器282和变换单元284。
AR***200、200'的各种处理组件可以包含在分布式子***中。例如,AR***200、200'包括诸如通过有线引线或无线连接207可操作地耦合到显示***204的一部分的本地处理和数据模块(即,控制子***201、201')。本地处理和数据模块可以以各种配置安装,诸如固定地附接到框架结构202,固定地附接到头盔或帽子,嵌入头戴式耳机,可移除地附接到用户250的躯干,或以皮带耦合式配置可移除地附接到用户250的髋部。AR***200、200'可以进一步包括诸如通过有线引线或无线连接可操作地耦合到本地处理和数据模块的远程处理模块和远程数据存储库,使得这些远程模块可操作地彼此耦合并且可用作本地处理和数据模块的资源。本地处理和数据模块可以包括省电的处理器或控制器,以及数字存储器,诸如闪存,二者均可用于协助处理、缓存和存储从传感器捕获的数据和/或使用远程处理模块和/或远程数据存储库获取和/或处理的数据,可能在此类处理或取得之后传递给显示***204。远程处理模块可以包括被配置为分析和处理数据和/或图像信息的一个或多个相对强大的处理器或控制器。远程数据存储库可以包括相对大规模的数字数据存储设施,该数字数据存储设施可以通过互联网或“云”资源配置中的其它网络配置而可用。在一些实施例中,所有数据被存储并且所有计算在本地处理和数据模块中执行,从而允许来自任何远程模块的完全自主的使用。上述各种组件之间的耦合可以包括用于提供有线或光通信的一个或多个有线接口或端口,或者诸如经由用于提供无线通信的RF、微波和IR的一个或多个无线接口或端口。在一些实施方式中,所有通信可以是有线的,而在其它实现方式中,除了光纤之外,所有通信可以是无线的。
问题和解决方案的摘要
当光学***生成/渲染虚拟内容时,它可以使用源参考系,该源参考系可以与在渲染虚拟内容时***的姿势有关。在AR***中,经渲染的虚拟内容可以与真实的物理对象具有预定义的关系。例如,图3示出AR场景300,该场景300包括位于真实物理台座312顶部的虚拟花盆310。AR***基于源参考系渲染了虚拟花盆310,在该源参考系中真实台座312的位置已知,使得虚拟花盆310看起来停在真实台座312的顶部。AR***可以在第一时间使用源参考系渲染虚拟花盆310,并且在第一时间之后的第二时间,使用输出参考系显示/投影经渲染的虚拟花盆310。例如,如图3所示,如果源参考系和输出参考系相同,则虚拟花盆310将出现在其被预期放置的位置(例如,在实际物理台座312顶部)。
然而,如果参考系从渲染虚拟花盆310的第一时间到显示/投影经渲染的虚拟花盆310的第二时间改变(例如,随着用户头部运动),则源参考系与输出参考系之间的不匹配/差异可能导致视觉伪像/异常/瑕疵。例如,图4示出AR场景400,其包括虚拟花盆410,该虚拟花盆410被渲染为位于实际物理台座412的顶部。然而,由于在渲染虚拟花盆410之后但在显示/投影虚拟花盆410之前(例如,通过向右的头部旋转)将AR***移动到右侧,因此虚拟花盆410显示在其预期位置410'(以虚线示出)的右侧。这样,虚拟花盆410似乎在空中漂浮在实际物理台座412的右侧。当虚拟花盆在下一个源参考系中被重新渲染并显示在下一个输出参考系中时(假定AR***运动停止),可以修复该伪像。然而,随着虚拟花盆410似乎通过暂时跳到不期望位置而出现瑕疵,伪像对于一些用户仍然可见。该瑕疵以及其它类似物可能会对AR场景的连续性幻景产生有害影响。
一些光学***可以包括翘曲***,该翘曲***将经渲染的虚拟内容的参考系从其中生成虚拟内容的源参考系翘曲或变换为其中将显示虚拟内容的输出参考系。在图4中描绘的示例中,AR***可以检测和/或预测(例如,使用IMU或眼睛跟踪)输出参考系和/或姿势。然后,AR***可以将经渲染的虚拟内容从源参考系中翘曲或转换为输出参考系中的翘曲虚拟内容。
图5示意性地示出根据一些实施例的虚拟内容的翘曲以针对头部旋转进行校正(“旋转翘曲”)。在由射线510表示的源参考系(渲染姿势)中的经渲染的虚拟内容512在由射线510'表示的输出参考系(估计姿势)中翘曲为翘曲的虚拟内容512'。图5中所示的翘曲可以表示向右的头部旋转。当经渲染的虚拟内容512被设置在源X、Y位置处时,翘曲的虚拟内容512'被变换为输出X'、Y'位置(在固定参考系中)。然而,由于在渲染虚拟内容512和显示翘曲的虚拟内容512'之间用户的头部和FOV的运动(例如,向右旋转),所以翘曲的虚拟内容512'被显示在相对于由射线510'表示的显示参考系(姿势)的位置/取向处,该位置/取向与经渲染的虚拟内容512相对于由射线510表示的源参考系(渲染姿势)的位置/取向相同。图5中描绘的翘曲导致翘曲的虚拟内容512'以显示姿势显示,因为如果以渲染姿势显示则经渲染的虚拟内容512将出现。
图6-9示意性地示出根据一些实施例的虚拟内容的翘曲以针对头部位置变化进行校正(“位置翘曲”)。使来自渲染姿势的经渲染的虚拟内容610、612翘曲以在显示姿势中生成翘曲的虚拟内容610'、612'。从渲染姿势到显示姿势的FOV变化是位置变化(即,除了可选的旋转外的沿六个自由度中的一些自由度的运动)。
图6描绘了根据一些实施例的位置翘曲。例如,AR***可以使以经渲染的虚拟内容形成3D场景的所有源子部分翘曲。例如,形成棋子610和立方体612的图元可以被翘曲为翘曲的棋子610'和翘曲的立方体612'。在图6中以虚线示出了棋子610和立方体612,以指示它们在源参考系中(即,渲染FOV)并且将不被显示。取而代之的是,将显示输出参考系(即,位置改变后的显示FOV)中的翘曲的棋子610'和翘曲的立方体612'(以实线示出)。
一些翘曲***/方法还对所有子部分(例如,形成翘曲的棋子610'和翘曲的立方体612'的每个图元)进行深度测试以生成深度数据。在深度测试之后,AR***将所有翘曲的子部分(例如,图元)及其相对深度存储在源参考系中(例如,在列表中)。翘曲的虚拟内容可以被存储为输出虚拟内容中每个X、Y位置(例如,像素)处的所有亮度/颜色的列表,包括冲突的翘曲的虚拟数据的所有实例(参见下面)。
然后,翘曲***在存储的翘曲子部分的每个X、Y位置和相对深度(例如列表)处解析所有冲突的虚拟数据。例如,如图7中所示,当3D场景的两个或更多个不同子部分(例如,棋子610和立方体612)被翘曲到输出参考系(例如,翘曲的棋子610”和翘曲的立方体612”)中时,这些子部分的部分可以翘曲/投影到(即,分配给)最终显示图像的同一像素中。例如,图7中的区域614”表示翘曲的棋子610”和翘曲的立方体612”的“冲突”部分。翘曲***在生成输出虚拟内容时解析/协调翘曲的虚拟内容的这些冲突部分。
在一些实施例中,如果翘曲的棋子610”和翘曲的立方体612”的相应像素(例如,第一和第二虚拟内容)将被显示在显示器的相同像素(即,碰撞像素)上,因此,翘曲***可以比较所存储的与相应碰撞/冲突像素相对应的深度数据。显示更接近输出参考系中的观看位置的碰撞像素(例如,翘曲的虚拟内容)(假定内容是不透明的)。在输出参考系中最接近观看位置的碰撞像素用于生成最终显示图像。其余碰撞像素被丢弃。
在图8中所示的一个实例中,翘曲的棋子610”比翘曲的立方体612”更接近用户。这样,当翘曲的棋子610”和翘曲的立方体612”的像素碰撞时,翘曲的棋子610”'的像素显示在输出内容中。在图9中所示的另一个实例中,翘曲的立方体612””比翘曲的棋子610””更接近用户。这样,当翘曲的棋子610””和翘曲的立方体612””的像素碰撞时,翘曲的立方体612””的像素显示在输出内容中。由于一些翘曲***在源参考系中生成深度数据,因此深度比较可涉及多个变换,并且可能比直接比较更为复杂。
如美国实用专利申请序列号15/924,011中所述,可以以两次通过或单次通过来执行翘曲方法的各个步骤,该美国专利申请的内容先前已通过上面的引用并入。位置翘曲***/方法(翘曲、深度测试、深度比较、合成等)可能在计算上相对昂贵(导致处理器/存储器相关的***限制),并且相对耗时(导致***时延)。因此,一些翘曲方法集中于旋转翘曲。然而,旋转翘曲可导致具有各种用户FOV运动的各种伪像,诸如与光轴正交的横向用户FOV运动(去遮挡、抖动、拖尾,它们将在下面详细描述)。
为了解决这些限制,在此描述的***/方法包括用于在用户FOV移动(例如,与光轴横向正交)时使虚拟内容翘曲的各种实施例。虽然参考横向用户FOV运动描述了一些实施例,但是这些实施例解决了由其它类型的用户FOV运动导致的伪像。这将所需的计算费用和时间最小化,这随着必须被翘曲以便显示的3D场景的复杂性而增加。因此,所公开的实施例促进诸如一些混合现实***的实时***,其将大小、功率、热量和其它与处理有关的参数保持在可接受范围内。
说明性图形处理单元
根据一些实施例,图10示意性地描绘示例图形处理单元(GPU)252,以将经渲染的虚拟内容翘曲为输出/显示参考系。GPU 252包括输入存储器1010,以存储要翘曲的经渲染的虚拟内容。在一些实施例中,虚拟内容被存储为图元(例如,图11中的三角形1100)。GPU252还包括命令处理器1012,该命令处理器1012(1)从输入存储器1010接收/读取虚拟内容,(2)将虚拟内容划分为调度单元,以及(3)沿着渲染管线以波浪或翘曲的形式发送调度单元以用于并行处理。GPU 252进一步包括调度器1014,以(1)从命令处理器1012接收调度单元,并且(2)确定是否应该在任何特定时间沿渲染管线向下发送来自命令处理器1012的“新作品”或从渲染管线中的下游返回的“旧作品”(如下所述)。实际上,调度器1014确定GPU 252处理各种输入数据的序列。
GPU 252包括一个或多个GPU核心1016,其中每个GPU核心1016具有用于并行处理调度单元的多个并行可执行核心/单元(“着色器核心”)1018。命令处理器1012将虚拟内容划分为等于着色器核心1018的数量(例如32)的数量。GPU 252还包括“先进先出”(“FIFO”)存储器1020,以接收来自GPU核心1016的输出。从FIFO存储器1020中,输出可以作为“旧作品”被路由回到调度器1014,以由GPU核心1016***渲染管线中进行附加处理。
GPU 252进一步包括光栅操作单元(“ROP”)1022,该光栅操作单元从FIFO存储器1020接收输出并且光栅化输出以用于显示。例如,虚拟内容的图元可以被存储为三角形的顶点的坐标。在由GPU核心1016进行处理之后(在此期间,图11的三角形1100的三个顶点1110、1112、1114可以被翘曲),ROP 1022确定哪些像素1116在由三个顶点1111、1112、1114定义的三角形1100内侧,并在虚拟内容中填充这些像素1116。ROP 1022还可对虚拟内容执行深度测试。
GPU 252还包括用于临时存储来自ROP 1022的翘曲的虚拟内容的缓冲存储器1024。缓冲存储器1024中的翘曲的虚拟内容可以包括在输出参考系的视场中的多个X、Y位置处的亮度/颜色和深度信息。可以将来自缓冲存储器1024的输出作为“旧作品”路由回调度器1014,以通过GPU核心1016将其***渲染管线中进行附加处理,或者用于在显示***的对应像素中显示。GPU核心1016首先处理三角形1100的顶点1111、1112、1114,然后处理三角形1100内侧的像素1116。当输入存储器1010中虚拟内容的所有片段都已翘曲并进行深度测试时(如果必要),缓冲存储器1024将包括在输出参考系中显示视场所需的所有亮度/颜色和深度信息。
虚拟内容翘曲***和横向偏移方法
在没有头部姿势改变的图像处理中,GPU 252的处理结果是在相应的X、Y值处(例如,在每个像素处)的颜色/亮度值和深度值。然而,随着横向头部姿势改变(即,与光轴正交的显示器FOV的横向运动),从与在其中生成虚拟内容的源参考系不同的输出参考系中的观看位置观看的虚拟内容的不同部分可以包括各种伪像。如上所述,在横向头部姿势改变之后校正横向运动伪像的位置翘曲在计算上可能是昂贵且缓慢的,使得难以与诸如混合现实***的便携式显示***一起使用。此外,具有横向头部姿势改变的旋转翘曲可产生各种其它伪像。
图12-14描绘了根据一些实施例的响应于横向FOV运动的位置翘曲。图12描绘了经渲染的虚拟对象(棋子1210和立方体1212)。
图13描绘了在左横向FOV运动之后的经渲染的虚拟对象1210、1212和翘曲的虚拟对象1210'、1212'。经渲染的虚拟对象1210、1212在图13中以虚线示出,以指示未显示在源参考系中而不在显示参考系中生成的棋子1210和立方体1212。仅在翘曲***已经使棋子1210和立方体1212翘曲之后,才显示翘曲的棋子1210'和翘曲的立方体1212'(以实线示出)。
图14从顶视图示意性地描绘了经渲染的虚拟对象1210、1212,以示出经渲染的虚拟对象1210、1212的深度差。棋子1210更接近在深度D10(即棋子1210的中心深度)处的观看者,并且立方体1212更远离在深度D12(即,立方体1212的中心的深度)处的观看者。因此,在相同的左横向FOV运动的情况下,较近的对象(棋子1210)似乎比较远的对象(立方体1212)进一步向右移动。在图13中通过翘曲的棋子1210'和翘曲的立方体1212'的不同的向右偏移来说明该差异。选择图13中描述的向右偏移的差异以说明该原理/效果,并且不与图14中描绘的深度差直接相关。在较大深度差的情况下,较近的对象可以似乎向右偏移,而较远的对象可以似乎是静止的。
在一些实施例中,深度测试每个经渲染的虚拟对象1210、1212的每个像素并基于其深度使每个像素翘曲可能在计算上昂贵,以至于此类位置翘曲在便携式***中实现可能是不切实际的。
去遮挡伪像
图15-19描绘了根据一些实施例的具有位置翘曲的去遮挡伪像。图15描绘了经渲染的虚拟对象(棋子1510和立方体1512),根据渲染姿势在棋子1510和立方体1512之间具有重叠区域1514。图16示出,由于棋子1510比立方体1512更接近观看者,因此未渲染立方体1512的与重叠区域1514相对应的部分,棋子1510的与重叠区域1514相对应的部分被渲染。
图17示意性地示出,如图13中的在向左的横向用户头部运动的情况下,虚拟对象(棋子1510和立方体1512)向右翘曲以生成翘曲的虚拟对象(棋子1510'以及翘曲的立方体1512')。如关于图13和图14所解释的,由于棋子1510比立方体1512更接近观看者,因此棋子1510将响应于向左的横向用户头部运动,比立方体1512更向右翘曲。棋子1510'和翘曲的立方体1512'的该不同的翘曲揭开或“去遮挡”了立方体1512的与重叠区域1514相对应的部分。返回参考图16,立方体1512的与重叠区域1514相对应的部分未渲染。相应地,由于源虚拟对象(即,立方体1512)不包括重叠区域1514,所以不能显示翘曲的立方体1512'的与先前被遮挡的重叠区域1514'相对应的现在去遮挡的部分。
图18示出不包括任何未经渲染的部分的图17中所述的位置翘曲。图18示出翘曲立方体1512'不包括先前被遮挡的部分(参见图17中的1514')。图19描绘了假设横向用户头部运动在图18所示的帧处停止的情况下渲染和显示的下一帧。如图19中所示,在没有用户FOV运动的情况下进行下一渲染时,新渲染的棋子1510”和立方体1512”保持与图17中基本上相同的位置。然而,新渲染的立方体1512”包括先前被遮挡的部分(参见图17中的1514'),从而形成完整的立方体1512”。
比较图18和图19示出去遮挡伪像,其中在翘曲揭开如图18中所示的先前去遮挡的部分之后,首先不显示虚拟对象的先前被遮挡的部分(参见图17中的1514')。如图19中所示,在下一次渲染和显示虚拟对象时,先前被遮挡的部分出现。其中图17-19中描绘的去遮挡伪像包括虚拟对象(立方体)消失和出现的重要部分,在其它实施例中,取决于包括深度差、重叠量、FOV运动速度的许多因素,去遮挡伪像可能表现为实体虚拟对象中的裂缝或其它缺失部分。无论表现形式如何,去遮挡伪像可影响用户体验,从而降低混合现实场景的真实感。因为图15-19中描绘的实施例仍然利用位置翘曲,所以去遮挡伪像也伴随着位置翘曲的计算开销。
拖尾伪像
图20和图21描绘了根据一些实施例的具有翘曲的拖尾伪像。为了最小化上述去遮挡伪像,当远虚拟对象通过翘曲以填充被不同地翘曲的虚拟对象之间的空间而被去遮挡时,一些翘曲***/方法拉伸远虚拟对象。图20在右侧示出此类虚拟对象(棋子2010和立方体2012)的翘曲,以响应于向左的横向用户头部运动而生成翘曲的虚拟对象(翘曲的棋子2010'和翘曲的立方体2012')。立方体2012的未被遮挡的部分已经被拉伸以在翘曲的棋子2010'和翘曲的立方体2012'之间的空间中形成填充部分2016。
图21描绘了在没有用户FOV运动的情况下棋子2010”和立方体2012”的下一个渲染。在下一个渲染中,新渲染的棋子2010”和立方体2012”保持与图20基本上相同的位置。然而,新渲染的立方体2012”基于完整的立方体(例如,来自图17的立方体1514),并且不包括图20中的填充区段2016。此外,当比较图20和图21时,新渲染的立方体2012”的部分与填充区段2016之间的任何特征差异(基于先前渲染的立方体2012的不同部分)对于用户是显而易见的。此类特征可以包括颜色、纹理等。新渲染的立方体2012”的部分与填充区段2016之间的该特征差异可被称为拖尾伪像,因为填充区段2016可显现为先前渲染的立方体2012/2012'的不同部分的拖尾。拖尾伪像还可影响用户体验,从而降低混合现实场景的真实感。因为图20-21中描绘的实施例仍然利用位置翘曲,所以拖尾伪像还伴随着位置翘曲的计算开销。
单深度翘曲和抖动伪像
图22-27描绘了根据两种类型的实施例的单深度翘曲(图22-24和25-27)。图22-24描绘了根据一些实施例的单深度翘曲。图22描绘了经渲染的虚拟对象,即在相对较近深度处的棋子2210和在相对较远深度处的立方体2212。
图23描绘了使用单深度翘曲经渲染的虚拟对象2210、2212。通过使用单深度,翘曲的虚拟对象(翘曲的棋子2210'和翘曲的立方体2212')之间的相对空间关系与经渲染的虚拟对象2210、2212之间的相对空间关系基本上相同。保持翘曲的虚拟对象2210'、2212'之间的基本上相同的相对空间关系使去遮挡伪像最小化,因为未去遮挡立方体2212的遮挡部分,直到在图24中重新渲染整个立方体2212'为止。
在图22-24中所示的实施例中,用于使经渲染的虚拟对象2210、2212翘曲的单深度是FOV中任何虚拟对象(即棋子2210)的最接近深度。该最接近深度被包括在与经渲染的虚拟对象2210、2212相对应的数据中。因此,不需要深度测试。这减少了该单深度翘曲方法的计算量。
将图23中的翘曲的虚拟对象2210'、2212'与图24中的重新渲染的虚拟对象2210”、2212”(即,没有用户FOV运动的下一个经渲染帧)进行比较,示出翘曲的棋子2210'和重新渲染的棋子2210”位于基本上相同的位置,因为用于使棋子2210翘曲的深度是棋子2210的接近深度D10。另一方面,因为用于使立方体2212翘曲的深度D10小于立方体2212的实际远深度D12,因此翘曲的立方体2212'和重新渲染的立方体2212”位于不同的位置。这导致翘曲的立方体2212'响应于左横向FOV运动过度向右偏移。因此,依次显示图23中的翘曲的虚拟对象2210'、2212',然后依次显示图24中的重新渲染的虚拟对象2210”、2212”,会导致经渲染的立方体2212看起来向右移动,然后快速向左退回。该“抖动伪像”(或“摆动伪像”)会因连续FOV运动而加剧,从而导致更远的对象(即经渲染的立方体2212)或通常在背景中的对象发生一系列方向变化。
图25-27描绘了根据一些其它实施例的单深度翘曲。图25描绘了经渲染的虚拟对象,即在相对较近深度处的棋子2510和在相对较远深度处的立方体2512。
图26描绘了使用单深度对经渲染的虚拟对象2510、2512进行翘曲以维持翘曲的虚拟对象(翘曲的棋子2510'和翘曲的立方体2512')之间基本上相同的相对空间关系。如上所述,在翘曲的虚拟对象2510'、2512'之间保持基本上相同的相对间隔使去遮挡伪像最小化,因为未去遮挡立方体2512的遮挡部分,直到在图27中重新渲染整个立方体2512'为止。
在图25-27中所示的实施例中,用于使经渲染的虚拟对象2510、2512翘曲的单深度是FOV中任何虚拟对象(即立方体2512)的最远深度。该最远深度被包括在与经渲染的虚拟对象2510、2512相对应的数据中。因此,不需要深度测试。这减少了该单深度翘曲方法的计算量。
将图26中的翘曲的虚拟对象2510'、2512'与图27中的重新经渲染的虚拟对象2510”、2512”(即,没有用户FOV运动的下一个经渲染的帧)进行比较,示出翘曲的立方体2512'和重新渲染的立方体2512”位于基本上相同的位置,因为用于使立方体2512翘曲的深度是立方体2512的远深度D12。另一方面,翘曲的棋子2510'和重新渲染的棋子2510”处于不同的位置,因为用于使棋子2510翘曲的深度D12大于棋子2510的实际近深度D10。这导致翘曲的棋子2510'响应于左横向FOV运动的向右的下偏移。因此,依次显示图26中的翘曲的虚拟对象2510'、2512',然后依次显示图27中的重新渲染的虚拟对象2510”、2512”,使经渲染的棋子2510看起来部分地向右移动,然后进一步向右移动,去遮挡立方体2512。与上面描述并在图22-24中所示的抖动伪像相比,对于典型用户,该伪像对混合现实场景的真实感影响较小。这可能是由于图25-27中描述的伪像中缺少方向变化,这被感觉(如果有的话)为滞后,而不是方向变化引起的抖动或摆动。
虽然以上都描述了使用FOV中虚拟对象的最远和最近深度的单个距离翘曲,但是FOV中的其它深度也可以用于使经渲染的虚拟对象翘曲。例如,在一些实施例中,单个距离是FOV中最近和最远对象的距离的平均值。在一些实施例中,单个距离是FOV中所有对象的距离的平均值/平均化值。在一些实施例中,单个距离是FOV中所有对象的距离的中值。
多次离散深度翘曲
图28-31描绘了根据一些实施例的多次深度翘曲。图28描绘了经渲染的虚拟对象,即相对较近深度处的棋子2810和相对较远深度处的立方体2812。
图29A从顶视图描绘了经渲染的虚拟对象2810、2812,以示出经渲染的虚拟对象2810、2812的深度差。棋子2810更接近在深度D10处的观看者,而立方体2812更远离在深度D12处的观看者。图29A还示出FOV已被划分成的六个离散深度切片2814、2816、2818、2820、2822、2824。在一些实施例中,这些离散深度切片2814、2816、2818、2820、2822、2824对应于VR/AR/MR***被配置为显示虚拟内容的深度切片。深度切片2814、2816、2818、2820、2822、2824具有沿光轴的极限。例如,根据一些实施例的深度切片可以在距用户的眼睛0.37m至1.5m的范围内。根据一些实施例的另一个深度切片可以包括距用户的眼睛大于1.5m的所有距离。
尽管图29A描绘了具有相似厚度的六个深度切片2814、2816、2818、2820、2822、2824,但是在其它实施例中,更接近用户眼睛的深度切片具有更薄的厚度,因为用户对接近于用户的深度差更敏感。例如,图29B描绘了根据一些其它实施例的六个深度切片2814'、2816'、2818'、2820'、2822'、2824'。在图29B中,每个相继更远的深度切片(例如2816'对2814')具有更大的厚度。例如,位于1m和2m处的对象可能位于离散的深度切片中,但是位于5m和10m处的对象可能位于同一深度切片中。在一些实施例中,最远的深度切片2824'延伸到无穷大。在各种实施例中,深度切片的厚度可以线性地或对数地增加(如图29B中所示)。
尽管图29A描绘了六个深度切片2814、2816、2818、2820、2822、2824,但在其它实施例中,将FOV划分成的深度切片的数量可以对应于FOV中的虚拟对象的数量。例如,如果FOV中有三个虚拟对象,则FOV将被划分为三个深度切片。尽管图29A和图29B包括六个深度切片,但是在其它实施例中,取决于虚拟场景和可用***资源,深度切片的数量可以大于或小于六个。
图30描绘了针对每个经渲染的虚拟对象2810、2812使用不同的深度来使经渲染的虚拟对象2810、2812(在图29A中)翘曲,以更准确地定位翘曲的虚拟对象2810'、2812'。在一些实施例中,用于使相对较近的棋子2810翘曲的距离是包含棋子2810的深度切片2816的远距离(“远片段”)D16。用于使相对较远的立方体2812翘曲的距离是包含大部分立方体2812的深度切片2822的远片段D22。在其它实施例中,用于翘曲和对象的距离可以是包含全部或大部分或一些虚拟对象的深度切片的中间距离或任何其它距离。
将图30中的翘曲的虚拟对象2810'、2812'与图31中的重新渲染的虚拟对象2810”、2812”(即,没有用户FOV运动的下一个渲染帧)进行比较,示出尽管与全位置翘曲相比,图28-31中所示的多个离散深度翘曲减少了计算量,但它仍然容易受到去遮挡伪像的影响。
虽然图29A中所示的虚拟对象2810、2812被几个深度切片分开,但是在其它实施例中,虚拟对象可以被分开很小的距离,以至于它们可以以最小的翘曲伪像一起翘曲。例如,在一些实施例中,彼此相距小于0.1m(例如1.5m对1.6m)的对象不会触发多次深度翘曲。在其它实施例中,可以以屈光度(例如,仅对于相隔大于1屈光度的对象)来测量多次深度翘曲的阈值。
基于眼睛跟踪的单深度翘曲
图32-38描绘了根据一些实施例的基于眼睛跟踪的单深度翘曲。图32描绘了经渲染的虚拟对象,即在相对较近深度处的棋子3210和在相对较远深度处的立方体3212。
图33从顶视图描绘了经渲染的虚拟对象3210、3212,以示出经渲染的虚拟对象3210、3212的深度差。棋子3210更接近在深度D10处的观看者,而立方体3212更远离在深度D12处的观看者。图33还示出用户的眼睛3226正在跟踪与棋子3210的位置一致的方向3228。例如,可以使用AR***200上的传感器/相机来跟踪用户的眼睛3226的方向。
因为用户的眼睛3226的方向3228已被跟踪到棋子3210,所以用于使两个经渲染的虚拟对象3210、3212翘曲的深度是包含棋子3210的深度切片3216的远片段D16。该翘曲的结果在图34中示出,其中使用与比更远的立方体3212的深度D12更接近的棋子3210的深度D10更相似的深度D16,生成翘曲的虚拟对象3210'、3212'。
如上所述,图34中的翘曲的棋子3210'和图35中的重新渲染的棋子3210”(即,没有用户FOV运动的下一个经渲染的帧)位于基本上相同的位置,因为用于使棋子3210翘曲的深度D16近似于棋子3210的深度D10。另一方面,翘曲的立方体3212'和重新渲染的立方体3212”位于不同的位置,因为用于使立方体3212翘曲的深度D16小于立方体3212的实际远深度D12。这导致翘曲的立方体3212'响应于左横向FOV运动而过度向右偏移。因此,依次显示图34中的翘曲的虚拟对象3210'、3212',然后依次显示图35中的重新渲染的虚拟对象3210”、3212”,导致经渲染的立方体3212看起来向右移动,然后快速向左回退,产生抖动伪像。
然而,这些实施例使用深度D16作为用于使所有经渲染的虚拟内容翘曲的单深度,因为***已经跟踪用户的眼睛3226的方向3228到了较近的对象(即棋子3212)。因此,在显示翘曲的立方体3212'和重新渲染的立方体3212”的同时,用户的焦点远离立方体3212。翘曲的立方体3212'和重新经渲染的立方体3212”以虚线在图34和图35中示出,指示用户的焦点远离立方体3212。因此,即使图34中描绘的翘曲包括抖动伪像,通过使用户的焦点远离立方体3212来最小化该伪像的影响。通过使用虚线渲染翘曲和重新渲染的立方体3212'、3212”,在图34和图35中描绘了被引导远离立方体3212的用户焦点。另一方面,用户的焦点指向棋子3210,该棋子3210被更准确地翘曲成翘曲的棋子3210'。
图36从类似于图33的顶视图描绘了经渲染的虚拟对象3210、3212。图36还示出用户的眼睛3226'正在跟踪与立方体3212的位置一致的方向3228'。
因为用户的眼睛3226'的方向3228'已被跟踪到立方体3212,所以用于使两个经渲染的虚拟对象3210、3212翘曲的深度是包含大部分立方体3212的深度切片3222的远片段D22。该翘曲的结果在图37中示出,其中使用更类似于立方体3212的深度D12然后更类似于棋子3210的深度D10的深度D22来生成翘曲的虚拟对象3210”'、3212”'。
如上所述,图37中的翘曲立方体3212”'和图38中的重新渲染的立方体3212””(即,没有用户FOV运动的下一个经渲染的帧)处于基本上相同的位置,因为用于使立方体3212翘曲的深度D22近似于立方体3212的远深度D12。另一方面,翘曲的棋子3210”'和重新渲染的棋子3210””在不同的位置,因为用于使棋子3210翘曲的深度D16小于棋子3210的实际近深度D10。这使翘曲的棋子3210”'响应于左横向FOV运动而向右方下偏移。相应地,依次显示图37中的翘曲的虚拟对象3210”'、3212”',然后依次显示图38中的重新渲染的虚拟对象3210””、3212””,导致经渲染的棋子3210看起来部分地向右移动,然后进一步向右移动,去遮挡立方体3212,从而导致滞后伪像。
然而,这些实施例使用深度D22作为用于使所有经渲染的虚拟内容翘曲的单深度,因为***已跟踪用户的眼睛3226'的方向3228'到了较远的对象(即立方体3212)。因此,在显示翘曲的棋子3210”'和重新渲染的棋子3210””的同时,用户的焦点远离棋子3210。翘曲的棋子3210”'和重新渲染的棋子3210””在图36和37中以虚线示出,以指示用户的焦点远离棋子3210。因此,即使图36中描绘的翘曲包括滞后伪像,通过将用户的焦点远离棋子3210以最小化该伪像的影响。图37和图38中描绘了通过使用虚线渲染翘曲和重新渲染的棋子3210'、3210”来将用户的焦点引导远离棋子3210。另一方面,用户的焦点被引导到立方体3212,该立方体3212被更准确地翘曲成翘曲的立方体3212”'。
尽管上面描述了使用深度切片的远片段的单深度翘曲,该深度切片包括已经跟踪用户的眼睛的虚拟对象,但是基于眼睛跟踪的单深度可以是与虚拟对象相关联的其它深度。这些包括包含虚拟对象的深度切片的近距离(“近片段”),或近片段和远片段之间的任何距离。
基于网格的翘曲
图39-45描绘了根据一些实施例的使用虚拟内容的网格进行翘曲,例如,以减少计算量。图39从顶视图示意性地描绘经渲染的虚拟对象3910、3912,以示出经渲染的虚拟对象3910、3912的深度差。棋子3910更接近在深度D1处的观看者,而立方体3912更远离在D2深度处的观看者。图39还示出经渲染的虚拟对象3910、3912中的每一个包括一个或多个像素3914(参见图11中的图元三角形1100的像素1116)。经渲染的虚拟对象3910、3912还可包括一个或多个图元。使每个经渲染的虚拟对象3910、3912的每个像素3914翘曲可能在计算上是昂贵的。
图40示意性地描绘由经渲染的虚拟对象3910、3912形成并逼近它们的网格3910'、3912'(参见图39)。网格3910'、3912'不包括单独的像素3914,这可以减少用于翘曲的计算复杂度。网格可以使用栅格由经渲染的虚拟对象3910、3912形成。此外,如图41中所示,网格3910'、3912'包括逼近网格3910'、3912'的顶点3916,这可以进一步降低翘曲的计算复杂度。网格3910'、3912'可以从顶点3916重建,并且虚拟对象3910、3912可以从网格3910'、3912'重建。然而,如图42中所示,简化和重建过程可能会将伪像引入到重建的虚拟对象3918、3920中。
图43描绘了经渲染的虚拟对象,即在相对较近深度处的棋子3910和在相对较远深度处的立方体3912。图44描绘了基于网格的翘曲(即重建的棋子3918和重建的立方体3920)的结果,并且图45描绘了重新渲染的虚拟对象的下一帧(即,没有用户FOV运动的重新渲染的棋子3910”和重新渲染的立方体3912”)。由于将经渲染的虚拟对象3910、3912简化为网格3910'、3912'和/或顶点3916,因此可以使用位置翘曲技术对简化的虚拟对象进行翘曲,而不会产生过多的计算负载。虽然规则形状的立方体在图44和图45二者中都相似,但形状不太规则的棋子在图44中具有一些重建伪像。可以调节网格的大小以优化重建伪像,同时最小化计算负载。
尽管已经分别描述了各种翘曲技术,但是在不脱离本公开的范围和精神的情况下,这些技术可以彼此组合以提高翘曲效果。
***架构概述
图46是适合用于实现本公开的实施例的说明性计算***1300的框图。计算机***1300包括用于传送信息的总线1306或其它通信机制,其互连子***和设备,诸如处理器1307、***存储器1308(例如,RAM)、静态存储设备1309(例如,ROM)、磁盘驱动器1310(例如,磁性或光学的)、通信接口1314(例如,调制解调器或以太网卡)、显示器1311(例如,CRT或LCD)、输入设备1312(例如,键盘)和光标控制。
根据本公开的一个实施例,计算机***1300通过处理器1307执行包含在***存储器1308中的一个或多个指令的一个或多个序列来执行特定操作。此类指令可以从另一计算机可读/可用介质(诸如静态存储设备1309或磁盘驱动器1310)读入***存储器1308。在替代实施例中,可以使用硬连线电路代替软件指令或与软件指令结合使用以实现本公开。因此,本公开的实施例不限于硬件电路和/或软件的任何特定组合。在一个实施例中,术语“逻辑”应表示用于实现本公开的全部或部分的软件或硬件的任何组合。
如在此所使用的,术语“计算机可读介质”或“计算机可用介质”是指参与向处理器1307提供指令以供执行的任何介质。此类介质可以采取许多形式,包括但不限于非易失性介质和易失性介质。非易失性介质包括例如光盘或磁盘,诸如磁盘驱动器1310。易失性介质包括动态存储器,诸如***存储器1308。
计算机可读介质的常见形式包括,例如,软盘、柔性盘、硬盘、磁带、任何其它磁介质、CD-ROM、任何其它光学介质、打孔卡、纸带、具有孔图案的任何其它物理介质、RAM、PROM、EPROM、FLASH-EPROM(例如NAND闪存、NOR闪存)、任何其它存储器芯片或盒式磁带,或计算机可以从中读取的任何其它介质。
在本公开的实施例中,通过单个计算机***1300实施用于实践本公开的指令序列的执行。根据本公开的其它实施例,通过通信链路1315(例如,LAN、PTSN或无线网络)耦合的两个或更多个计算机***1300可以相互协作地执行实践本公开所需的指令序列。
计算机***1300可以通过通信链路1315和通信接口1314发送和接收消息、数据和指令,包括程序,即应用代码。所接收的程序代码可以在接收到时由处理器1307执行,和/或存储在磁盘驱动器1310或其它非易失性存储装置中以供以后执行。存储介质1331中的数据库1332可用于存储***1300经由数据接口1333可访问的数据。
虚拟对象深度确定
需要虚拟对象的深度以使该虚拟对象精确地翘曲。然而,在一些实施例中,虚拟对象的深度是未知的。例如,一些应用仅提供用于虚拟对象(例如,用于投影)的立体图像对,而不提供虚拟对象的深度。为了使此类虚拟对象精确地翘曲,需要一种在最小化对***资源的需求的同时确定此类虚拟对象的深度的方法。
图47至图53描绘了一种用于从该虚拟对象的图像的立体图像对确定/估计该虚拟对象的深度的方法。该方法假定立体对的第一成员(例如,左眼或右眼)是立体对的另一个成员(例如,右眼或左眼)的完美翘曲,因为应用使用适当的视点(POV)渲染了立体对的两个成员。通常,该方法将立体对的一个成员(例如右眼)识别为“参考眼”,并在一个或多个深度处将立体对的第二成员(例如左眼)翘曲/重新投影到第一成员的POV。然后,该方法将重新投影的第二成员与第一成员进行比较,以确定在一个或多个深度中的每个深度处的重新投影误差。然后将具有最小重新投影误差的深度识别为虚拟对象的确定/估计深度。
图53是示出方法5310的流程图。在步骤5312处,***(例如,VR/AR/MR***)在一个或多个深度处将虚拟对象的立体对的第一图像重新投影在虚拟对象的立体对的第二图像上,以生成一个或多个组合图像。
示例性组合图像在图50至图52中示出。在这些图中,参考第二图像5012保持静止,并且将测试第一图像重新投影到参考第二图像5112上的不同深度处的5110、5110',5110”。由于用于重新投影测试第一图像的不同深度,因此重新投影的第一测试图像5110、5110',5110”相对于参考第二图像5012位于不同的位置。
在该方法中使用的深度数量可以由(1)***可以实时评估的最大深度数量和(2)观看者双眼之间的最大像素差的较小者来确定。换句话说,即使***能够实时评估100个不同的深度,如果用户眼睛之间像素的最大距离奇偶性对应于50个不同的深度,则该方法中将使用50个不同的深度来识别虚拟对象的深度。在一些实施例中,在该方法中使用64个不同的深度。用户的眼睛之间的最大像素差可以是瞳孔间距、焦距和/或近深度平面的函数。在一些实施例中,每个深度平面是均匀间隔的,使得对应的重新投影的第一测试图像偏移大约1个像素间隔。
参考图53,在步骤5314处,***测量每个深度处的重新投影误差。当用于重新投影第一测试图像的深度平面与虚拟对象的深度(例如,在参考第二图像中)次优不匹配时,发生重新投影误差。***对每个深度处的重新投影误差进行量化。
在步骤5316处,***分析与一个或多个深度相对应的一个或多个重新投影误差,以识别最小的重新投影误差。然后在步骤5318中将具有最小重新投影误差的深度识别为虚拟对象的确定/估计的深度。
为了实时执行这些分析,***可以将在一个或多个深度平面中的每个深度平面处的一系列评估划分为多个帧(例如,大约10个帧)。还可以对图像帧的下采样版本(例如,每个尺寸的25%)执行分析,以减少计算量。方法5300可以重复多次以提高方法的准确性。
图47至图49示意性地描绘上述方法5300。图47示出3D虚拟对象4710在一个或多个深度平面4712处从左眼4714重新投影到右眼4716。图48示出该方法识别与虚拟对象4710的深度对应的最优翘曲平面4718(例如,具有最小重新投影误差的组合图像)。图49示出最优翘曲平面4718及其确定/估计的深度可被***用来使立体图像对4714、4716更准确地翘曲到新的POV 4720(例如,由于用户的移动)。
稳定平面深度确定
对于任何给定的POV运动量,随着虚拟对象接近无穷远,具有POV运动的虚拟对象的视在运动接近零。“稳定平面”被定义为具有特定POV运动的虚拟对象的视在运动接近零的深度(接近无穷远),以至于视在运动对于***观看者变得不可察觉/不可感知的程度。例如,在显示、处理、速度等方面的***限制可能使较小的运动量(例如,一个或两个像素)对于典型用户是不可察觉/不可感知的。识别具有特定POV运动的稳定平面的深度允许***以小于特定POV运动的POV运动来放弃比稳定平面更远的虚拟对象翘曲。该优化减少了***在处理、存储器、通信通道等方面的需求。
如图54中所示,在一些实施例中,虚拟对象的视在运动(就像素而言)与稳定深度(就屈光度而言,其是距离的倒数)之间存在反比关系。
图55描绘了确定稳定平面深度的方法。在步骤5512处,***(例如,VR/AR/MR***)获得POV运动量。可以从示出用户/观看者运动的***上的传感器获得POV运动量,或者POV运动量可以是预定的最大POV运动值。
在步骤5514处,***基于获得的POV运动来确定稳定深度和视在虚拟对象运动之间的关系。在一些实施例中,可以生成诸如图54中所示的像素对屈光度的曲线图。
在步骤5516处,***获得如上所述的显示***的最大的不可察觉/不可感知的视在虚拟对象运动。该值可以以像素为单位测量。
在步骤5518处,***将与最大的不可察觉/不可感知的视在虚拟对象运动相对应的稳定深度识别为最小稳定深度。
在该最小稳定深度处,直至在步骤5512处获得的POV运动量的POV运动对于***的典型用户将是不可察觉/不可感知的。这样,该***可以被配置为,只要POV运动保持在步骤5512处所获得的POV运动之下,就放弃比该最小稳定深度更远的任何虚拟对象的翘曲。通过减少处理、存储器、通信通道等方面的***负载,这些虚拟对象的上述翘曲提高***效率。
本公开包括可以使用主题设备执行的方法。该方法可以包括提供此类合适的设备的动作。此类提供可以由用户执行。换句话说,“提供”动作仅要求用户获得、访问、接近、定位、设置、激活、加电或以其它方式作用以提供本主题方法中的必要设备。可以以逻辑上可能的所叙述事件的任何顺序以及所叙述事件的顺序来执行在此所叙述的方法。
上面已经阐述了本公开的示例性方面以及有关材料选择和制造的细节。至于本公开的其它细节,可以结合以上引用的专利和出版物以及本领域技术人员通常已知或理解的这些来理解。关于本公开内容的基于方法的方面,就通常或逻辑上采用的附加动作而言,这同样适用。
另外,尽管已经参考可选地结合了各种特征的几个示例描述了本公开,但是本公开不限于关于本公开的每个变型描述或指示的示例。在不脱离本公开的真实精神和范围的情况下,可以对所描述的本公开进行各种改变,并且可以替换等同物(无论是在此引用还是为了简洁起见不包括在内)。另外,在提供值的范围的情况下,应理解在该范围的上限和下限与所述范围内的任何其它所述值或中间值之间的每个中间值都包括在本公开内。
同样,可以预期,所描述的发明变型的任何特征可以独立地或者与在此所描述的任何一个或多个特征组合阐述或要求保护。关于单个项目,包括存在多个相同项目的可能性。更具体地,如在此和在其相关联的权利要求书中所使用的,单数形式“一”、“一个”、“所述”和“该”包括复数对象,除非另外具体说明。换句话说,冠词的使用允许以上描述以及与本公开相关联的权利要求中的主题项目的“至少一个”。还应注意,可以将此类权利要求撰写为排除任何可选要素。这样,该陈述旨在作为与权利要求要素的叙述结合使用诸如“唯一”、“仅”等排他性术语的先行基础,或使用“否定”限制。
在不使用此类排他性术语的情况下,与本公开内容相关联的权利要求中的术语“包括”应允许包括任何附加要素,而不管这种权利要求中是否列举了给定数量的要素,或者特征的添加可以被认为是变换此类权利要求中阐述的要素的性质。除在此明确定义外,在保持权利要求有效性的同时,在此使用的所有技术和科学术语应尽可能广泛地赋予通常理解的含义。
本公开的广度不限于所提供的示例和/或主题说明,而是仅限于与本公开相关的权利要求语言的范围。
在前述说明书中,已经参考本公开的具体实施方式描述了本公开。然而,将显而易见的是,在不脱离本公开的更广泛精神和范围的情况下,可以对其进行各种修改和改变。例如,参考处理动作的特定顺序来描述上述处理流程。然而,在不影响本公开的范围或操作的情况下,可以改变许多所描述的处理动作的顺序。因此,说明书和附图应被认为是说明性而非限制性的。
Claims (19)
1.一种用于确定虚拟对象的深度的计算机实现的方法,包括:
在不同的相应深度处的多个深度平面上将与第一只眼睛相对应的所述虚拟对象的第一图像重新投影在与第二只眼睛相对应的所述虚拟对象的第二图像上,以生成多个相应的组合图像;
在所述多个相应的组合图像的每一个中测量重新投影误差,以生成多个重新投影误差;
在与所述多个相应的组合图像中的组合图像相对应的所述多个重新投影误差中,识别最小重新投影误差;以及
将与具有所述最小重新投影误差的组合图像相对应的深度识别为所述虚拟对象的深度。
2.根据权利要求1所述的方法,进一步包括:
使用所述虚拟对象的所识别的深度使所述虚拟对象从第一视点翘曲到第二视点。
3.根据权利要求1所述的方法,进一步包括:
接收经渲染的虚拟内容数据,所述经渲染的虚拟内容数据包括所述虚拟对象的所述第一图像和所述虚拟对象的所述第二图像;
接收指示在与光轴正交的方向中的用户运动的运动数据;以及
基于所述经渲染的虚拟内容数据、所识别的深度和所述运动数据,生成翘曲的经渲染的虚拟内容数据。
4.根据权利要求3所述的方法,其中,在所述经渲染的虚拟内容数据的所显示的视图中,所述虚拟对象是最远的虚拟对象,所述经渲染的虚拟内容包括近虚拟对象和远虚拟对象,所述翘曲的经渲染的虚拟内容数据对应于翘曲的近虚拟对象和翘曲的远虚拟对象,并且在所述近虚拟对象与所述翘曲的近虚拟对象之间的第一位置偏移基本上等于在所述远虚拟对象与所述翘曲的远虚拟对象之间的第二位置偏移。
5.根据权利要求4所述的方法,其中,与所述经渲染的虚拟内容数据相比,基于所述经渲染的虚拟内容数据、所识别的深度和所述运动数据生成所述翘曲的经渲染的虚拟内容数据减少了与视差有关的伪像。
6.根据权利要求5所述的方法,其中,所述与视差有关的伪像是去遮挡伪像。
7.根据权利要求1所述的方法,其中,所述多个深度由64个深度组成。
8.根据权利要求1所述的方法,其中,所述多个深度中的每个深度对应于在重新投影所述虚拟对象的所述第一图像中的一个像素差。
9.根据权利要求1所述的方法,进一步包括:
在测量所述多个相应的组合图像中的每个组合图像的所述重新投影误差以生成多个重新投影误差之前,将所述深度平面中的每个深度平面划分为多个帧。
10.根据权利要求9所述的方法,其中,每个深度平面被划分为大约10个帧。
11.根据权利要求1所述的方法,其中,所述第一图像和所述第二图像为所述经渲染的虚拟内容数据的下采样版本。
12.一种用于使虚拟内容翘曲的计算机实现的方法,包括:
接收经渲染的虚拟内容数据,所述经渲染的虚拟内容数据包括与右眼相对应的虚拟对象的立体图像对的第一图像和与左眼相对应的所述虚拟对象的所述立体图像对的第二图像;
在不同的相应深度处的多个深度平面上将所述虚拟对象的所述第一图像重新投影在所述第二图像上以生成多个相应的组合图像;
在所述多个相应的组合图像的每一个中测量重新投影误差,以生成多个重新投影误差;
在与所述多个相应的组合图像中的组合图像相对应的所述多个重新投影误差中,识别最小重新投影误差;
将与具有所述最小重新投影误差的组合图像相对应的深度识别为所述虚拟对象的对象深度;
接收指示在与光轴正交的方向中的用户运动的运动数据;以及
基于所述经渲染的虚拟内容数据、所述对象深度和所述运动数据,生成翘曲的经渲染的虚拟内容数据。
13.根据权利要求12所述的方法,其中,所述经渲染的虚拟内容数据对应于近虚拟对象和远虚拟对象。
14.根据权利要求12所述的方法,其中,在所述近虚拟对象与所述翘曲的近虚拟对象之间的第一位置偏移基本上等于在所述远虚拟对象与所述翘曲的远虚拟对象之间的第二位置偏移。
15.根据权利要求12所述的方法,其中,与所述经渲染的虚拟内容数据相比,基于所述经渲染的虚拟内容数据、所述远深度和所述运动数据生成所述翘曲的经渲染的虚拟内容数据减少了与视差有关的伪像。
16.根据权利要求15所述的方法,其中,所述与视差有关的伪像是去遮挡伪像。
17.根据权利要求15所述的方法,其中,所述与视差有关的伪像是拖尾伪像。
18.根据权利要求15所述的方法,其中,所述与视差有关的伪像是抖动伪像。
19.根据权利要求12所述的方法,其中,所述经渲染的虚拟内容数据对应于第一深度段,所述方法进一步包括:
接收与第二深度段相对应的第二经渲染的虚拟内容数据,所述第二经渲染的虚拟内容数据包括第二对象深度;以及
基于所述第二经渲染的虚拟内容数据、所述第二对象深度和所述运动数据,生成翘曲的第二经渲染的虚拟内容数据。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862702238P | 2018-07-23 | 2018-07-23 | |
US62/702,238 | 2018-07-23 | ||
CN201980049056.7A CN112513712B (zh) | 2018-07-23 | 2019-07-22 | 具有虚拟内容翘曲的混合现实***和使用该***生成虚拟内容的方法 |
PCT/US2019/042819 WO2020023383A1 (en) | 2018-07-23 | 2019-07-22 | Mixed reality system with virtual content warping and method of generating virtual content using same |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980049056.7A Division CN112513712B (zh) | 2018-07-23 | 2019-07-22 | 具有虚拟内容翘曲的混合现实***和使用该***生成虚拟内容的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116483200A true CN116483200A (zh) | 2023-07-25 |
Family
ID=69161139
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310425037.8A Pending CN116483200A (zh) | 2018-07-23 | 2019-07-22 | 具有虚拟内容翘曲的混合现实***和使用该***生成虚拟内容的方法 |
CN201980049056.7A Active CN112513712B (zh) | 2018-07-23 | 2019-07-22 | 具有虚拟内容翘曲的混合现实***和使用该***生成虚拟内容的方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980049056.7A Active CN112513712B (zh) | 2018-07-23 | 2019-07-22 | 具有虚拟内容翘曲的混合现实***和使用该***生成虚拟内容的方法 |
Country Status (5)
Country | Link |
---|---|
US (3) | US11379948B2 (zh) |
EP (1) | EP3827299A4 (zh) |
JP (3) | JP7304934B2 (zh) |
CN (2) | CN116483200A (zh) |
WO (1) | WO2020023383A1 (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10838207B2 (en) | 2015-03-05 | 2020-11-17 | Magic Leap, Inc. | Systems and methods for augmented reality |
NZ735465A (en) | 2015-03-05 | 2021-07-30 | Magic Leap Inc | Systems and methods for augmented reality |
US10180734B2 (en) | 2015-03-05 | 2019-01-15 | Magic Leap, Inc. | Systems and methods for augmented reality |
CA3007367A1 (en) | 2015-12-04 | 2017-06-08 | Magic Leap, Inc. | Relocalization systems and methods |
IL303182B2 (en) | 2016-08-02 | 2024-07-01 | Magic Leap Inc | Virtual and augmented reality systems at a fixed distance and methods |
US10812936B2 (en) | 2017-01-23 | 2020-10-20 | Magic Leap, Inc. | Localization determination for mixed reality systems |
JP7009494B2 (ja) | 2017-03-17 | 2022-01-25 | マジック リープ, インコーポレイテッド | カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法 |
EP3596702A4 (en) | 2017-03-17 | 2020-07-22 | Magic Leap, Inc. | MIXED REALITY SYSTEM WITH MULTI-SOURCE VIRTUAL CONTENT COMPOSITION AND ASSOCIATED VIRTUAL CONTENT GENERATION PROCESS |
CA3054619C (en) | 2017-03-17 | 2024-01-30 | Magic Leap, Inc. | Mixed reality system with virtual content warping and method of generating virtual content using same |
WO2020023383A1 (en) | 2018-07-23 | 2020-01-30 | Magic Leap, Inc. | Mixed reality system with virtual content warping and method of generating virtual content using same |
US10733800B2 (en) * | 2018-09-17 | 2020-08-04 | Facebook Technologies, Llc | Reconstruction of essential visual cues in mixed reality applications |
US11783444B1 (en) * | 2019-11-14 | 2023-10-10 | Apple Inc. | Warping an input image based on depth and offset information |
US20220327784A1 (en) * | 2021-04-09 | 2022-10-13 | Varjo Technologies Oy | Image reprojection method, and an imaging system |
KR20220156331A (ko) * | 2021-05-18 | 2022-11-25 | 삼성전자주식회사 | 이미지 지연을 보정하기 위한 전자 장치 및 방법 |
US20220375026A1 (en) * | 2021-05-18 | 2022-11-24 | Snap Inc. | Late warping to minimize latency of moving objects |
US20230068730A1 (en) * | 2021-09-02 | 2023-03-02 | Snap Inc. | Social connection through distributed and connected real-world objects |
US20240223742A1 (en) * | 2022-12-30 | 2024-07-04 | Samsung Electronics Co., Ltd. | Depth-varying reprojection passthrough in video see-through (vst) extended reality (xr) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030038875A1 (en) * | 2001-08-17 | 2003-02-27 | Ivanov Yuri A. | Computer vision depth segmentation using virtual surface |
US20170345220A1 (en) * | 2016-05-29 | 2017-11-30 | Google Inc. | Time-warping adjustment based on depth information in a virtual/augmented reality system |
US20180061121A1 (en) * | 2016-08-26 | 2018-03-01 | Magic Leap, Inc. | Continuous time warp and binocular time warp for virtual and augmented reality display systems and methods |
CN108139815A (zh) * | 2016-02-22 | 2018-06-08 | 谷歌有限责任公司 | 用于虚拟现实内容的显示的场景和对象的分立时间扭曲 |
Family Cites Families (252)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4462165A (en) | 1983-01-31 | 1984-07-31 | The Boeing Company | Three axis orientation sensor for an aircraft or the like |
US6701296B1 (en) | 1988-10-14 | 2004-03-02 | James F. Kramer | Strain-sensing goniometers, systems, and recognition algorithms |
US5047952A (en) | 1988-10-14 | 1991-09-10 | The Board Of Trustee Of The Leland Stanford Junior University | Communication system for deaf, deaf-blind, or non-vocal individuals using instrumented glove |
CA2142338C (en) | 1992-08-14 | 1999-11-30 | John Stuart Bladen | Position location system |
CA2358682A1 (en) | 1992-08-14 | 1994-03-03 | British Telecommunications Public Limited Company | Position location system |
US5583974A (en) | 1993-05-10 | 1996-12-10 | Apple Computer, Inc. | Computer graphics system having high performance multiple layer Z-buffer |
TW275590B (en) | 1994-12-09 | 1996-05-11 | Sega Enterprises Kk | Head mounted display and system for use therefor |
US5592401A (en) | 1995-02-28 | 1997-01-07 | Virtual Technologies, Inc. | Accurate, rapid, reliable position sensing using multiple sensing technologies |
US5930741A (en) | 1995-02-28 | 1999-07-27 | Virtual Technologies, Inc. | Accurate, rapid, reliable position sensing using multiple sensing technologies |
US5684498A (en) | 1995-06-26 | 1997-11-04 | Cae Electronics Ltd. | Field sequential color head mounted display with suppressed color break-up |
CA2238693C (en) | 1995-11-27 | 2009-02-24 | Cae Electronics Ltd. | Method and apparatus for displaying a virtual environment on a video display |
US5784115A (en) | 1996-12-31 | 1998-07-21 | Xerox Corporation | System and method for motion compensated de-interlacing of video frames |
US6163155A (en) | 1999-01-28 | 2000-12-19 | Dresser Industries, Inc. | Electromagnetic wave resistivity tool having a tilted antenna for determining the horizontal and vertical resistivities and relative dip angle in anisotropic earth formations |
US6407736B1 (en) | 1999-06-18 | 2002-06-18 | Interval Research Corporation | Deferred scanline conversion architecture |
GB9917591D0 (en) | 1999-07-28 | 1999-09-29 | Marconi Electronic Syst Ltd | Head tracker system |
JP2001208529A (ja) | 2000-01-26 | 2001-08-03 | Mixed Reality Systems Laboratory Inc | 計測装置及びその制御方法並びに記憶媒体 |
AU2001233019A1 (en) | 2000-01-28 | 2001-08-07 | Intersense, Inc. | Self-referenced tracking |
US7445550B2 (en) | 2000-02-22 | 2008-11-04 | Creative Kingdoms, Llc | Magical wand and interactive play experience |
US7878905B2 (en) | 2000-02-22 | 2011-02-01 | Creative Kingdoms, Llc | Multi-layered interactive play experience |
WO2001067749A2 (en) | 2000-03-07 | 2001-09-13 | Sarnoff Corporation | Camera pose estimation |
US6891533B1 (en) | 2000-04-11 | 2005-05-10 | Hewlett-Packard Development Company, L.P. | Compositing separately-generated three-dimensional images |
US7227526B2 (en) * | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
US6738044B2 (en) | 2000-08-07 | 2004-05-18 | The Regents Of The University Of California | Wireless, relative-motion computer input device |
US20020180727A1 (en) | 2000-11-22 | 2002-12-05 | Guckenberger Ronald James | Shadow buffer control module method and software construct for adjusting per pixel raster images attributes to screen space and projector features for digital warp, intensity transforms, color matching, soft-edge blending, and filtering for multiple projectors and laser projectors |
US6691074B1 (en) | 2001-02-08 | 2004-02-10 | Netmore Ltd. | System for three dimensional positioning and tracking |
US6861982B2 (en) | 2001-08-16 | 2005-03-01 | Itt Manufacturing Enterprises, Inc. | System for determining position of an emitter |
US7113618B2 (en) | 2001-09-18 | 2006-09-26 | Intel Corporation | Portable virtual reality |
JP2003337963A (ja) | 2002-05-17 | 2003-11-28 | Seiko Epson Corp | 画像処理装置および画像処理方法、ならびに、画像処理プログラムおよびその記録媒体 |
US9153074B2 (en) | 2011-07-18 | 2015-10-06 | Dylan T X Zhou | Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command |
JP3984907B2 (ja) | 2002-11-29 | 2007-10-03 | キヤノン株式会社 | 画像観察システム |
US20070155589A1 (en) | 2002-12-04 | 2007-07-05 | Philip Feldman | Method and Apparatus for Operatively Controlling a Virtual Reality Scenario with an Isometric Exercise System |
JP2004213350A (ja) | 2002-12-27 | 2004-07-29 | Seiko Epson Corp | 力覚提示装置及び画像補正方法 |
US20050107870A1 (en) | 2003-04-08 | 2005-05-19 | Xingwu Wang | Medical device with multiple coating layers |
US7643025B2 (en) | 2003-09-30 | 2010-01-05 | Eric Belk Lange | Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates |
US7443154B1 (en) | 2003-10-04 | 2008-10-28 | Seektech, Inc. | Multi-sensor mapping omnidirectional sonde and line locator |
CA2450837A1 (en) | 2003-11-25 | 2005-05-25 | University Of New Brunswick | Induction magnetometer |
US20160098095A1 (en) | 2004-01-30 | 2016-04-07 | Electronic Scripting Products, Inc. | Deriving Input from Six Degrees of Freedom Interfaces |
US9229540B2 (en) | 2004-01-30 | 2016-01-05 | Electronic Scripting Products, Inc. | Deriving input from six degrees of freedom interfaces |
US7653883B2 (en) | 2004-07-30 | 2010-01-26 | Apple Inc. | Proximity detector in handheld device |
JP4508820B2 (ja) | 2004-10-19 | 2010-07-21 | 株式会社ワコム | 3次元情報検出システム及び3次元情報入力装置 |
EP1814101A1 (en) | 2004-11-19 | 2007-08-01 | Daem Interactive, Sl | Personal device with image-acquisition functions for the application of augmented reality resources and corresponding method |
JP5631535B2 (ja) | 2005-02-08 | 2014-11-26 | オブロング・インダストリーズ・インコーポレーテッド | ジェスチャベースの制御システムのためのシステムおよび方法 |
US8567953B2 (en) | 2005-04-26 | 2013-10-29 | Imax Corporation | Systems and methods for projecting composite images |
US8308563B2 (en) | 2005-08-30 | 2012-11-13 | Nintendo Co., Ltd. | Game system and storage medium having game program stored thereon |
US8157651B2 (en) | 2005-09-12 | 2012-04-17 | Nintendo Co., Ltd. | Information processing program |
JP4437228B2 (ja) | 2005-11-07 | 2010-03-24 | 大学共同利用機関法人情報・システム研究機構 | 焦点ぼけ構造を用いたイメージング装置及びイメージング方法 |
KR100722229B1 (ko) | 2005-12-02 | 2007-05-29 | 한국전자통신연구원 | 사용자 중심형 인터페이스를 위한 가상현실 상호작용 인체모델 즉석 생성/제어 장치 및 방법 |
US8370383B2 (en) | 2006-02-08 | 2013-02-05 | Oblong Industries, Inc. | Multi-process interactive systems and methods |
US8537111B2 (en) | 2006-02-08 | 2013-09-17 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
US9910497B2 (en) | 2006-02-08 | 2018-03-06 | Oblong Industries, Inc. | Gestural control of autonomous and semi-autonomous systems |
US9823747B2 (en) | 2006-02-08 | 2017-11-21 | Oblong Industries, Inc. | Spatial, multi-modal control device for use with spatial operating system |
US8531396B2 (en) | 2006-02-08 | 2013-09-10 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
JP4151982B2 (ja) | 2006-03-10 | 2008-09-17 | 任天堂株式会社 | 動き判別装置および動き判別プログラム |
JP4684147B2 (ja) | 2006-03-28 | 2011-05-18 | 任天堂株式会社 | 傾き算出装置、傾き算出プログラム、ゲーム装置およびゲームプログラム |
JP4196302B2 (ja) | 2006-06-19 | 2008-12-17 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
JP4804256B2 (ja) | 2006-07-27 | 2011-11-02 | キヤノン株式会社 | 情報処理方法 |
US8194088B1 (en) | 2006-08-03 | 2012-06-05 | Apple Inc. | Selective composite rendering |
US7921120B2 (en) | 2006-11-30 | 2011-04-05 | D&S Consultants | Method and system for image recognition using a similarity inverse matrix |
CN101093586A (zh) | 2007-07-12 | 2007-12-26 | 上海交通大学 | 面向复杂场景实时交互操作的并行碰撞检测方法 |
US8165352B1 (en) | 2007-08-06 | 2012-04-24 | University Of South Florida | Reconstruction of biometric image templates using match scores |
US10095815B2 (en) | 2008-11-19 | 2018-10-09 | Elbit Systems Ltd. | System and a method for mapping a magnetic field |
IL195389A (en) | 2008-11-19 | 2013-12-31 | Elbit Systems Ltd | Magnetic Field Mapping System and Method |
US20090115406A1 (en) | 2007-11-01 | 2009-05-07 | General Electric Company | System and method for minimizing mutual inductance coupling between coils in an electromagnetic tracking system |
US9013505B1 (en) | 2007-11-27 | 2015-04-21 | Sprint Communications Company L.P. | Mobile system representing virtual objects on live camera image |
KR20090055803A (ko) | 2007-11-29 | 2009-06-03 | 광주과학기술원 | 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법 |
US8212880B2 (en) * | 2007-12-20 | 2012-07-03 | Utah State University Research Foundation | Three-axis image stabilization system |
US7795596B2 (en) | 2008-01-03 | 2010-09-14 | Alcatel-Lucent Usa Inc. | Cloaking device detection system |
WO2009091563A1 (en) | 2008-01-18 | 2009-07-23 | Thomson Licensing | Depth-image-based rendering |
US20090184825A1 (en) | 2008-01-23 | 2009-07-23 | General Electric Company | RFID Transponder Used for Instrument Identification in an Electromagnetic Tracking System |
GB2468994B (en) | 2008-01-23 | 2012-11-28 | Intel Corp | Method, apparatus and computer program product for improved graphics performance |
US8926511B2 (en) | 2008-02-29 | 2015-01-06 | Biosense Webster, Inc. | Location system with virtual touch screen |
US9952673B2 (en) | 2009-04-02 | 2018-04-24 | Oblong Industries, Inc. | Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control |
US9684380B2 (en) | 2009-04-02 | 2017-06-20 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
US9495013B2 (en) | 2008-04-24 | 2016-11-15 | Oblong Industries, Inc. | Multi-modal gestural interface |
US9740922B2 (en) | 2008-04-24 | 2017-08-22 | Oblong Industries, Inc. | Adaptive tracking system for spatial input devices |
US9740293B2 (en) | 2009-04-02 | 2017-08-22 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
US8723795B2 (en) | 2008-04-24 | 2014-05-13 | Oblong Industries, Inc. | Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes |
US8446426B2 (en) | 2008-04-28 | 2013-05-21 | Apple Inc. | Technique for visually compositing a group of graphical objects |
KR20090120159A (ko) | 2008-05-19 | 2009-11-24 | 삼성전자주식회사 | 영상합성장치 및 영상합성방법 |
US8929877B2 (en) | 2008-09-12 | 2015-01-06 | Digimarc Corporation | Methods and systems for content processing |
JP5415054B2 (ja) | 2008-10-28 | 2014-02-12 | セイコーエプソン株式会社 | 駆動方法および電気光学装置 |
EP2354896B1 (en) | 2008-11-14 | 2016-12-21 | Sony Interactive Entertainment Inc. | Operating device and information processing apparatus |
US8188745B2 (en) | 2008-12-05 | 2012-05-29 | Metrotech Corporation Inc. | Precise location and orientation of a concealed dipole transmitter |
US9465129B1 (en) | 2009-03-06 | 2016-10-11 | See Scan, Inc. | Image-based mapping locating system |
US8860723B2 (en) * | 2009-03-09 | 2014-10-14 | Donya Labs Ab | Bounded simplification of geometrical computer data |
JP5177078B2 (ja) | 2009-05-26 | 2013-04-03 | 富士通モバイルコミュニケーションズ株式会社 | 情報処理装置 |
US9933852B2 (en) | 2009-10-14 | 2018-04-03 | Oblong Industries, Inc. | Multi-process interactive systems and methods |
US8775424B2 (en) | 2010-01-26 | 2014-07-08 | Xerox Corporation | System for creative image navigation and exploration |
US9134534B2 (en) | 2010-02-28 | 2015-09-15 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses including a modular image source |
US8581905B2 (en) | 2010-04-08 | 2013-11-12 | Disney Enterprises, Inc. | Interactive three dimensional displays on handheld devices |
TWI399688B (zh) | 2010-06-08 | 2013-06-21 | Waltop Int Corp | 整合電磁式及電容感應輸入裝置 |
RU2010123652A (ru) * | 2010-06-10 | 2011-12-20 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." (KR) | Система и способ визуализации стереоизображений и многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником |
JP5541974B2 (ja) * | 2010-06-14 | 2014-07-09 | 任天堂株式会社 | 画像表示プログラム、装置、システムおよび方法 |
JP2012043308A (ja) | 2010-08-20 | 2012-03-01 | Canon Inc | 位置姿勢決定方法、位置姿勢決定装置、物体モデル生成方法、物体モデル生成装置、およびプログラム |
WO2012046392A1 (ja) | 2010-10-08 | 2012-04-12 | パナソニック株式会社 | 姿勢推定装置及び姿勢推定方法 |
US20120086630A1 (en) | 2010-10-12 | 2012-04-12 | Sony Computer Entertainment Inc. | Using a portable gaming device to record or modify a game or application in real-time running on a home gaming system |
US9122053B2 (en) * | 2010-10-15 | 2015-09-01 | Microsoft Technology Licensing, Llc | Realistic occlusion for a head mounted augmented reality display |
FR2966251B1 (fr) | 2010-10-19 | 2014-04-25 | Astrium Sas | Systeme d'orientation et de positionnement d'un recepteur electromagnetique |
US8660369B2 (en) | 2010-10-25 | 2014-02-25 | Disney Enterprises, Inc. | Systems and methods using mobile devices for augmented reality |
US8745061B2 (en) | 2010-11-09 | 2014-06-03 | Tibco Software Inc. | Suffix array candidate selection and index data structure |
US9235894B2 (en) | 2011-01-27 | 2016-01-12 | Metaio Gmbh | Method for determining correspondences between a first and a second image, and method for determining the pose of a camera |
US8587583B2 (en) | 2011-01-31 | 2013-11-19 | Microsoft Corporation | Three-dimensional environment reconstruction |
US8994722B2 (en) * | 2011-02-14 | 2015-03-31 | Mitsubishi Electric Research Laboratories, Inc. | Method for enhancing depth images of scenes using trellis structures |
JP5724544B2 (ja) | 2011-03-31 | 2015-05-27 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
US9206007B2 (en) | 2011-05-31 | 2015-12-08 | Twist-Ease Inc. | Bag dispenser |
US20120306850A1 (en) | 2011-06-02 | 2012-12-06 | Microsoft Corporation | Distributed asynchronous localization and mapping for augmented reality |
US20120327116A1 (en) | 2011-06-23 | 2012-12-27 | Microsoft Corporation | Total field of view classification for head-mounted display |
US8933913B2 (en) | 2011-06-28 | 2015-01-13 | Microsoft Corporation | Electromagnetic 3D stylus |
US20150100380A1 (en) | 2011-07-20 | 2015-04-09 | Raymond P. Jones, JR. | Systems and methods for providing financial controls for aggregated weather-based work |
US20150040074A1 (en) | 2011-08-18 | 2015-02-05 | Layar B.V. | Methods and systems for enabling creation of augmented reality content |
WO2013023706A1 (en) | 2011-08-18 | 2013-02-21 | Layar B.V. | Computer-vision based augmented reality system |
US8749396B2 (en) | 2011-08-25 | 2014-06-10 | Satorius Stedim Biotech Gmbh | Assembling method, monitoring method, communication method, augmented reality system and computer program product |
WO2013029674A1 (en) | 2011-08-31 | 2013-03-07 | Metaio Gmbh | Method of matching image features with reference features |
WO2013040274A2 (en) | 2011-09-13 | 2013-03-21 | Sadar 3D, Inc. | Synthetic aperture radar apparatus and methods |
US8821286B2 (en) | 2011-09-29 | 2014-09-02 | Wms Gaming, Inc. | Wagering game system having motion sensing controllers |
US9286711B2 (en) * | 2011-09-30 | 2016-03-15 | Microsoft Technology Licensing, Llc | Representing a location at a previous time period using an augmented reality display |
US9215293B2 (en) | 2011-10-28 | 2015-12-15 | Magic Leap, Inc. | System and method for augmented and virtual reality |
CN107664847B (zh) | 2011-11-23 | 2021-04-06 | 奇跃公司 | 三维虚拟和增强现实显示*** |
JP2013134455A (ja) * | 2011-12-27 | 2013-07-08 | Nidec Copal Corp | 像振れ補正装置及びレンズ駆動装置 |
US9313475B2 (en) * | 2012-01-04 | 2016-04-12 | Thomson Licensing | Processing 3D image sequences |
US8989775B2 (en) | 2012-02-29 | 2015-03-24 | RetailNext, Inc. | Method and system for WiFi-based identification of person tracks |
US9075824B2 (en) | 2012-04-27 | 2015-07-07 | Xerox Corporation | Retrieval system and method leveraging category-level labels |
US9098229B2 (en) | 2012-05-04 | 2015-08-04 | Aaron Hallquist | Single image pose estimation of image capture devices |
US9116666B2 (en) | 2012-06-01 | 2015-08-25 | Microsoft Technology Licensing, Llc | Gesture based region identification for holograms |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
US9582072B2 (en) | 2013-09-17 | 2017-02-28 | Medibotics Llc | Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways |
US9384737B2 (en) | 2012-06-29 | 2016-07-05 | Microsoft Technology Licensing, Llc | Method and device for adjusting sound levels of sources based on sound source priority |
EP2704055A1 (en) | 2012-08-31 | 2014-03-05 | Layar B.V. | Determining space to display content in augmented reality |
JP2014049934A (ja) | 2012-08-31 | 2014-03-17 | Sony Corp | ヘッドマウントディスプレイ |
US9134954B2 (en) | 2012-09-10 | 2015-09-15 | Qualcomm Incorporated | GPU memory buffer pre-fetch and pre-back signaling to avoid page-fault |
EP2711670B1 (en) | 2012-09-21 | 2019-01-30 | NavVis GmbH | Visual localisation |
GB201217372D0 (en) | 2012-09-28 | 2012-11-14 | Ucl Business Plc | A system and method for annotating images by propagating information |
US9177404B2 (en) | 2012-10-31 | 2015-11-03 | Qualcomm Incorporated | Systems and methods of merging multiple maps for computer vision based tracking |
US9188694B2 (en) | 2012-11-16 | 2015-11-17 | Halliburton Energy Services, Inc. | Optical interferometric sensors for measuring electromagnetic fields |
US9160727B1 (en) | 2012-11-30 | 2015-10-13 | Microstrategy Incorporated | Providing credential information |
US9026847B2 (en) | 2012-12-21 | 2015-05-05 | Advanced Micro Devices, Inc. | Hardware based redundant multi-threading inside a GPU for improved reliability |
US20140176591A1 (en) | 2012-12-26 | 2014-06-26 | Georg Klein | Low-latency fusing of color image data |
WO2014105385A1 (en) | 2012-12-27 | 2014-07-03 | The Regents Of The University Of California | Anamorphic stretch image compression |
US9788714B2 (en) | 2014-07-08 | 2017-10-17 | Iarmourholdings, Inc. | Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance |
WO2014164901A1 (en) | 2013-03-11 | 2014-10-09 | Magic Leap, Inc. | System and method for augmented and virtual reality |
US9898866B2 (en) | 2013-03-13 | 2018-02-20 | The University Of North Carolina At Chapel Hill | Low latency stabilization for head-worn displays |
CN108628446B (zh) | 2013-03-15 | 2021-10-26 | 奇跃公司 | 显示***和方法 |
US9542613B2 (en) | 2013-03-15 | 2017-01-10 | Orcam Technologies Ltd. | Systems and methods for processing images |
US20140323148A1 (en) | 2013-04-30 | 2014-10-30 | Qualcomm Incorporated | Wide area localization from slam maps |
US9269003B2 (en) | 2013-04-30 | 2016-02-23 | Qualcomm Incorporated | Diminished and mediated reality effects from reconstruction |
US9367960B2 (en) | 2013-05-22 | 2016-06-14 | Microsoft Technology Licensing, Llc | Body-locked placement of augmented reality objects |
US10254855B2 (en) | 2013-06-04 | 2019-04-09 | Wen-Chieh Geoffrey Lee | High resolution and high sensitivity three-dimensional (3D) cursor maneuvering device |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US9129430B2 (en) | 2013-06-25 | 2015-09-08 | Microsoft Technology Licensing, Llc | Indicating out-of-view augmented reality images |
US9443355B2 (en) | 2013-06-28 | 2016-09-13 | Microsoft Technology Licensing, Llc | Reprojection OLED display for augmented reality experiences |
US9712473B2 (en) | 2013-07-11 | 2017-07-18 | Facebook, Inc. | Methods, systems, and user interfaces for community-based location ratings |
WO2015006784A2 (en) | 2013-07-12 | 2015-01-15 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
US10228242B2 (en) | 2013-07-12 | 2019-03-12 | Magic Leap, Inc. | Method and system for determining user input based on gesture |
US9514571B2 (en) | 2013-07-25 | 2016-12-06 | Microsoft Technology Licensing, Llc | Late stage reprojection |
JP6192010B2 (ja) | 2013-09-05 | 2017-09-06 | 国立大学法人 東京大学 | 重み設定装置および方法 |
US9729864B2 (en) | 2013-09-30 | 2017-08-08 | Sony Interactive Entertainment Inc. | Camera based safety mechanisms for users of head mounted displays |
JP6353214B2 (ja) | 2013-11-11 | 2018-07-04 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
NZ755272A (en) | 2013-11-27 | 2020-05-29 | Magic Leap Inc | Virtual and augmented reality systems and methods |
US11402629B2 (en) | 2013-11-27 | 2022-08-02 | Magic Leap, Inc. | Separated pupil optical systems for virtual and augmented reality and methods for displaying images using same |
US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
US9354778B2 (en) | 2013-12-06 | 2016-05-31 | Digimarc Corporation | Smartphone-based methods and systems |
WO2015095733A1 (en) | 2013-12-19 | 2015-06-25 | Objectvideo, Inc. | System and method for identifying faces in unconstrained media |
US9360935B2 (en) | 2013-12-20 | 2016-06-07 | Hong Kong Applied Science And Technology Research Institute Co. Ltd. | Integrated bi-sensing optical structure for head mounted display |
EP2887311B1 (en) | 2013-12-20 | 2016-09-14 | Thomson Licensing | Method and apparatus for performing depth estimation |
US20160147063A1 (en) | 2014-11-26 | 2016-05-26 | Osterhout Group, Inc. | See-through computer display systems |
US10254856B2 (en) | 2014-01-17 | 2019-04-09 | Osterhout Group, Inc. | External user interface for head worn computing |
US9448409B2 (en) | 2014-11-26 | 2016-09-20 | Osterhout Group, Inc. | See-through computer display systems |
US9405122B2 (en) | 2014-01-29 | 2016-08-02 | Ricoh Co., Ltd | Depth-disparity calibration of a binocular optical augmented reality system |
EP3170131A2 (en) | 2014-03-04 | 2017-05-24 | Google, Inc. | Map personalization based on social clues |
US20160203624A1 (en) | 2014-03-05 | 2016-07-14 | Google Inc. | System and Method for Providing Combined Multi-Dimensional Map Views |
WO2015134958A1 (en) | 2014-03-07 | 2015-09-11 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
CN105005457B (zh) | 2014-04-25 | 2019-04-09 | 腾讯科技(深圳)有限公司 | 地理位置展示方法及装置 |
US9953243B2 (en) | 2014-04-25 | 2018-04-24 | Google Llc | Electronic device localization based on imagery |
US9652893B2 (en) * | 2014-04-29 | 2017-05-16 | Microsoft Technology Licensing, Llc | Stabilization plane determination based on gaze location |
US9727341B2 (en) | 2014-05-09 | 2017-08-08 | Samsung Electronics Co., Ltd. | Control flow in a thread-based environment without branching |
EP3926589A1 (en) | 2014-06-03 | 2021-12-22 | Apple Inc. | Method and system for presenting a digital information related to a real object |
US20150358539A1 (en) | 2014-06-06 | 2015-12-10 | Jacob Catt | Mobile Virtual Reality Camera, Method, And System |
US20150379772A1 (en) | 2014-06-30 | 2015-12-31 | Samsung Display Co., Ltd. | Tracking accelerator for virtual and augmented reality displays |
WO2016002409A1 (ja) | 2014-07-01 | 2016-01-07 | シャープ株式会社 | フィールドシーケンシャル画像表示装置および画像表示方法 |
US10056054B2 (en) | 2014-07-03 | 2018-08-21 | Federico Fraccaroli | Method, system, and apparatus for optimising the augmentation of radio emissions |
US10198865B2 (en) | 2014-07-10 | 2019-02-05 | Seiko Epson Corporation | HMD calibration with direct geometric modeling |
US10162177B2 (en) | 2014-07-11 | 2018-12-25 | Sixense Entertainment, Inc. | Method and apparatus for self-relative body tracking for virtual reality systems using magnetic tracking |
US9363644B2 (en) | 2014-07-16 | 2016-06-07 | Yahoo! Inc. | System and method for detection of indoor tracking units |
US9719871B2 (en) | 2014-08-09 | 2017-08-01 | Google Inc. | Detecting a state of a wearable device |
EP3192058A4 (en) | 2014-09-08 | 2018-05-02 | Simx LLC | Augmented reality simulator for professional and educational training |
JP2017532847A (ja) | 2014-09-09 | 2017-11-02 | ノキア テクノロジーズ オーユー | 立体録画及び再生 |
US20160104308A1 (en) | 2014-10-14 | 2016-04-14 | Microsoft Technology Licensing, Llc. | Performance optimization for data visualization |
US9478029B2 (en) | 2014-10-23 | 2016-10-25 | Qualcomm Incorporated | Selection strategy for exchanging map information in collaborative multi-user SLAM systems |
US10650574B2 (en) | 2014-10-31 | 2020-05-12 | Fyusion, Inc. | Generating stereoscopic pairs of images from a single lens camera |
WO2016073557A1 (en) | 2014-11-04 | 2016-05-12 | The University Of North Carolina At Chapel Hill | Minimal-latency tracking and display for matching real and virtual worlds |
US20160131904A1 (en) | 2014-11-07 | 2016-05-12 | Osterhout Group, Inc. | Power management for head worn computing |
US9818170B2 (en) | 2014-12-10 | 2017-11-14 | Qualcomm Incorporated | Processing unaligned block transfer operations |
WO2016100717A1 (en) | 2014-12-17 | 2016-06-23 | Google Inc. | Generating numeric embeddings of images |
US9696549B2 (en) | 2014-12-22 | 2017-07-04 | International Business Machines Corporation | Selectively pairing an application presented in virtual space with a physical display |
US9846968B2 (en) | 2015-01-20 | 2017-12-19 | Microsoft Technology Licensing, Llc | Holographic bird's eye view camera |
US9721385B2 (en) * | 2015-02-10 | 2017-08-01 | Dreamworks Animation Llc | Generation of three-dimensional imagery from a two-dimensional image using a depth map |
US20160239985A1 (en) | 2015-02-17 | 2016-08-18 | Osterhout Group, Inc. | See-through computer display systems |
US20160247282A1 (en) * | 2015-02-19 | 2016-08-25 | Daqri, Llc | Active surface projection correction |
NZ735465A (en) | 2015-03-05 | 2021-07-30 | Magic Leap Inc | Systems and methods for augmented reality |
US10180734B2 (en) | 2015-03-05 | 2019-01-15 | Magic Leap, Inc. | Systems and methods for augmented reality |
JP6814752B2 (ja) | 2015-03-07 | 2021-01-20 | ベリティ ストゥディオス アーゲー | 分散された位置特定システムおよび方法ならびに自己位置特定装置 |
US9874932B2 (en) | 2015-04-09 | 2018-01-23 | Microsoft Technology Licensing, Llc | Avoidance of color breakup in late-stage re-projection |
US9814430B1 (en) | 2015-04-17 | 2017-11-14 | Bertec Corporation | System and method for measuring eye movement and/or eye position and postural sway of a subject |
KR20230136683A (ko) | 2015-05-04 | 2023-09-26 | 매직 립, 인코포레이티드 | 가상 및 증강 현실을 위한 분리된 동공 광학 시스템들 및 이를 사용하여 이미지들을 디스플레이하기 위한 방법들 |
CN104866829B (zh) | 2015-05-25 | 2019-02-19 | 苏州大学 | 一种基于特征学习的跨年龄人脸验证方法 |
US10721280B1 (en) | 2015-05-29 | 2020-07-21 | Sprint Communications Company L.P. | Extended mixed multimedia reality platform |
US20160378863A1 (en) | 2015-06-24 | 2016-12-29 | Google Inc. | Selecting representative video frames for videos |
US10062010B2 (en) | 2015-06-26 | 2018-08-28 | Intel Corporation | System for building a map and subsequent localization |
US10192361B2 (en) | 2015-07-06 | 2019-01-29 | Seiko Epson Corporation | Head-mounted display device and computer program |
US10750161B2 (en) | 2015-07-15 | 2020-08-18 | Fyusion, Inc. | Multi-view interactive digital media representation lock screen |
US9875427B2 (en) | 2015-07-28 | 2018-01-23 | GM Global Technology Operations LLC | Method for object localization and pose estimation for an object of interest |
WO2017044965A1 (en) | 2015-09-10 | 2017-03-16 | Duke University | Systems and methods for arbitrary viewpoint robotic manipulation and robotic surgical assistance |
GB201518112D0 (en) | 2015-10-13 | 2015-11-25 | Bae Systems Plc | Improvements in and relating to displays |
US10338677B2 (en) | 2015-10-28 | 2019-07-02 | Microsoft Technology Licensing, Llc | Adjusting image frames based on tracking motion of eyes |
US10026212B2 (en) * | 2015-11-20 | 2018-07-17 | Google Llc | Electronic display stabilization using pixel velocities |
US20170161853A1 (en) | 2015-12-03 | 2017-06-08 | James Carroll Gossweiler | Mapping system that identifies site-specific real estate due diligence professionals and related service providers |
CA3007367A1 (en) | 2015-12-04 | 2017-06-08 | Magic Leap, Inc. | Relocalization systems and methods |
US10241569B2 (en) * | 2015-12-08 | 2019-03-26 | Facebook Technologies, Llc | Focus adjustment method for a virtual reality headset |
EP3185550A1 (en) * | 2015-12-23 | 2017-06-28 | Thomson Licensing | Tridimensional rendering with adjustable disparity direction |
FR3046261B1 (fr) | 2015-12-24 | 2018-08-31 | Starbreeze Paris | Element mobile hybride, procede et dispositif pour interfacer une pluralite d'elements mobiles hybrides avec un systeme informatique, et ensemble pour systeme de realite virtuelle ou augmentee |
US10130429B1 (en) | 2016-01-06 | 2018-11-20 | Ethicon Llc | Methods, systems, and devices for controlling movement of a robotic surgical system |
KR20180110051A (ko) | 2016-02-05 | 2018-10-08 | 매직 립, 인코포레이티드 | 증강 현실을 위한 시스템들 및 방법들 |
US10334076B2 (en) | 2016-02-22 | 2019-06-25 | Google Llc | Device pairing in augmented/virtual reality environment |
US10788791B2 (en) | 2016-02-22 | 2020-09-29 | Real View Imaging Ltd. | Method and system for displaying holographic images within a real object |
KR102298378B1 (ko) * | 2016-04-18 | 2021-09-07 | 소니그룹주식회사 | 정보 처리 장치, 정보 처리 방법, 및 프로그램 |
US9639935B1 (en) | 2016-05-25 | 2017-05-02 | Gopro, Inc. | Apparatus and methods for camera alignment model calibration |
US10366536B2 (en) * | 2016-06-28 | 2019-07-30 | Microsoft Technology Licensing, Llc | Infinite far-field depth perception for near-field objects in virtual environments |
IL303182B2 (en) | 2016-08-02 | 2024-07-01 | Magic Leap Inc | Virtual and augmented reality systems at a fixed distance and methods |
US11017712B2 (en) | 2016-08-12 | 2021-05-25 | Intel Corporation | Optimized display image rendering |
CA2976464A1 (en) | 2016-08-16 | 2018-02-16 | Sergi Berna Sague | Method and system for wireless location and movement mapping, tracking and analytics |
AU2017317600B2 (en) | 2016-08-22 | 2021-12-09 | Magic Leap, Inc. | Virtual, augmented, and mixed reality systems and methods |
US10318115B2 (en) | 2016-10-14 | 2019-06-11 | OneMarket Network LLC | System and method for presenting optimized map labels |
US10942252B2 (en) | 2016-12-26 | 2021-03-09 | Htc Corporation | Tracking system and tracking method |
US10330936B2 (en) * | 2017-01-19 | 2019-06-25 | Facebook Technologies, Llc | Focal surface display |
US10812936B2 (en) | 2017-01-23 | 2020-10-20 | Magic Leap, Inc. | Localization determination for mixed reality systems |
EP3596702A4 (en) | 2017-03-17 | 2020-07-22 | Magic Leap, Inc. | MIXED REALITY SYSTEM WITH MULTI-SOURCE VIRTUAL CONTENT COMPOSITION AND ASSOCIATED VIRTUAL CONTENT GENERATION PROCESS |
JP7009494B2 (ja) | 2017-03-17 | 2022-01-25 | マジック リープ, インコーポレイテッド | カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法 |
CA3054619C (en) | 2017-03-17 | 2024-01-30 | Magic Leap, Inc. | Mixed reality system with virtual content warping and method of generating virtual content using same |
EP3619704A4 (en) | 2017-05-01 | 2020-11-11 | Pure Depth Inc. | SACCADED SEQUENTIAL FIELD FRAGMENTATION REDUCTION BASED ON HEAD TRACKING |
US10620710B2 (en) * | 2017-06-15 | 2020-04-14 | Microsoft Technology Licensing, Llc | Displacement oriented interaction in computer-mediated reality |
GB201709752D0 (en) * | 2017-06-19 | 2017-08-02 | Advanced Risc Mach Ltd | Graphics processing systems |
US10859834B2 (en) * | 2017-07-03 | 2020-12-08 | Holovisions | Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear |
US10403032B2 (en) * | 2017-08-22 | 2019-09-03 | Qualcomm Incorporated | Rendering an image from computer graphics using two rendering computing devices |
US10445922B2 (en) * | 2017-08-31 | 2019-10-15 | Intel Corporation | Last-level projection method and apparatus for virtual and augmented reality |
US10529086B2 (en) * | 2017-11-22 | 2020-01-07 | Futurewei Technologies, Inc. | Three-dimensional (3D) reconstructions of dynamic scenes using a reconfigurable hybrid imaging system |
US10481689B1 (en) | 2018-01-10 | 2019-11-19 | Electronic Arts Inc. | Motion capture glove |
US10861215B2 (en) * | 2018-04-30 | 2020-12-08 | Qualcomm Incorporated | Asynchronous time and space warp with determination of region of interest |
WO2020023383A1 (en) | 2018-07-23 | 2020-01-30 | Magic Leap, Inc. | Mixed reality system with virtual content warping and method of generating virtual content using same |
US11176901B1 (en) | 2019-08-13 | 2021-11-16 | Facebook Technologies, Llc. | Pan-warping and modifying sub-frames with an up-sampled frame rate |
US10843067B1 (en) | 2019-10-04 | 2020-11-24 | Varjo Technologies Oy | Input device, system, and method |
-
2019
- 2019-07-22 WO PCT/US2019/042819 patent/WO2020023383A1/en unknown
- 2019-07-22 EP EP19840248.9A patent/EP3827299A4/en active Pending
- 2019-07-22 US US16/518,431 patent/US11379948B2/en active Active
- 2019-07-22 CN CN202310425037.8A patent/CN116483200A/zh active Pending
- 2019-07-22 CN CN201980049056.7A patent/CN112513712B/zh active Active
- 2019-07-22 JP JP2021503570A patent/JP7304934B2/ja active Active
-
2022
- 2022-04-14 US US17/659,284 patent/US11790482B2/en active Active
-
2023
- 2023-06-27 JP JP2023104864A patent/JP7443602B2/ja active Active
- 2023-08-23 US US18/237,046 patent/US20230394621A1/en active Pending
-
2024
- 2024-02-21 JP JP2024024423A patent/JP2024079674A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030038875A1 (en) * | 2001-08-17 | 2003-02-27 | Ivanov Yuri A. | Computer vision depth segmentation using virtual surface |
CN108139815A (zh) * | 2016-02-22 | 2018-06-08 | 谷歌有限责任公司 | 用于虚拟现实内容的显示的场景和对象的分立时间扭曲 |
US20170345220A1 (en) * | 2016-05-29 | 2017-11-30 | Google Inc. | Time-warping adjustment based on depth information in a virtual/augmented reality system |
US20180061121A1 (en) * | 2016-08-26 | 2018-03-01 | Magic Leap, Inc. | Continuous time warp and binocular time warp for virtual and augmented reality display systems and methods |
Non-Patent Citations (2)
Title |
---|
MICHAEL SCHMEING等: "Faithful Disocclusion Filling in Depth Image Based Rendering Using Superpixel-Based Inpainting", IEEE TRANSACTIONS ON MULTIMEDIA, vol. 17, no. 12, 1 December 2015 (2015-12-01), pages 2160 - 2173, XP011589953, DOI: 10.1109/TMM.2015.2476372 * |
WILLIAM R. MARK 等: "Post-Rendering 3D Warping", PROCEEDINGS OF 1997 SYMPOSIUM ON INTERACTIVE 3D GRAPHICS, 30 April 1997 (1997-04-30), pages 7 - 16, XP055803843, DOI: 10.1145/253284.253292 * |
Also Published As
Publication number | Publication date |
---|---|
US11790482B2 (en) | 2023-10-17 |
JP7443602B2 (ja) | 2024-03-05 |
JP2023129414A (ja) | 2023-09-14 |
EP3827299A1 (en) | 2021-06-02 |
US20220245758A1 (en) | 2022-08-04 |
CN112513712A (zh) | 2021-03-16 |
CN112513712B (zh) | 2023-05-09 |
JP2024079674A (ja) | 2024-06-11 |
US20200027194A1 (en) | 2020-01-23 |
WO2020023383A1 (en) | 2020-01-30 |
JP2021530811A (ja) | 2021-11-11 |
JP7304934B2 (ja) | 2023-07-07 |
US20230394621A1 (en) | 2023-12-07 |
EP3827299A4 (en) | 2021-10-27 |
US11379948B2 (en) | 2022-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112513712B (zh) | 具有虚拟内容翘曲的混合现实***和使用该***生成虚拟内容的方法 | |
AU2021290369B2 (en) | Mixed reality system with color virtual content warping and method of generating virtual content using same | |
US11410269B2 (en) | Mixed reality system with virtual content warping and method of generating virtual content using same | |
AU2022200841B2 (en) | Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |