CN107439011B - 在后期重投影中的视网膜位置 - Google Patents

在后期重投影中的视网膜位置 Download PDF

Info

Publication number
CN107439011B
CN107439011B CN201680020949.5A CN201680020949A CN107439011B CN 107439011 B CN107439011 B CN 107439011B CN 201680020949 A CN201680020949 A CN 201680020949A CN 107439011 B CN107439011 B CN 107439011B
Authority
CN
China
Prior art keywords
video
display
engine
mobile object
transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680020949.5A
Other languages
English (en)
Other versions
CN107439011A (zh
Inventor
M·C·克赖斯勒
R·T·黑尔德
S·赖特
A·A·米哈尔
M·谢特
A·汤姆林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107439011A publication Critical patent/CN107439011A/zh
Application granted granted Critical
Publication of CN107439011B publication Critical patent/CN107439011B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

一个实施例提供了一种显示诸如计算机渲染的动画或其他视频之类的视频的方法。该方法包括组装描写移动对象的一系列视频帧，每个视频帧包括根据时间表排列以显示的多个子帧。该方法还包括确定移动对象相对于视频观察者的头部的向量值差分速度。在安排成显示给定帧的第一子帧的时刻，显示通过第一变换而变换的第一子帧图像内容。在安排成显示给定帧的第二子帧的时刻，显示通过第二变换而变换的第二子帧图像内容。基于向量值差分速度来计算第一和第二变换以减轻伪像。

Description

在后期重投影中的视网膜位置
背景技术
现代视频显示***可被设计成提供高分辨率和色彩保真度，以及低等待时间。一些视频显示***通过逐部分地更新每个视频帧而不是一次更新全部来管理等待时间。此策略的示例包括场序色彩显示和卷帘快门配置。
概述
一个实施例提供了一种显示诸如计算机渲染的动画或其他视频之类的视频的方法。该方法包括组装描写移动对象的一系列视频帧，每个视频帧包括根据时间表排列以显示的多个子帧。该方法还包括确定移动对象相对于视频观察者的头部的向量值差分速度。在安排成显示给定帧的第一子帧的时刻，显示通过第一变换而变换的第一子帧图像内容。在安排成显示给定帧的第二子帧的时刻，显示通过第二变换而变换的第二子帧图像内容。基于向量值差分速度来计算第一和第二变换以减轻伪像。
提供本概述是为了以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。所要求保护的主题也不限于解决在本公开中指出的先前缺点的实现。
附图简述
图1示出了示例可穿戴显示设备的各方面。
图2示出可穿戴显示设备的示例有源显示光学器件的各方面。
图3示出了根据本公开的示例显示3D虚拟图像的各方面。
图4示出了图1的可穿戴显示设备的各附加方面。
图5示出了包括在沿不同方向移动的两个对象的视频的示例帧的各方面。
图6示出了根据本公开的示例显示移动对象的3D图像的各方面。
图7示出了根据本公开的示例显示包括沿不同方向移动的两个对象的3D图像的各方面。
图8例示了以场序色彩模式显示视频的示例方法。
图9示出了包括移动对象的示例视频帧的各方面。
图10例示了以卷帘快门模式显示视频的示例方法。
详细描述
如上文所提及的，一些视频显示***通过逐部分地更新每个视频帧而不是一次更新全部来管理等待时间。此策略的示例包括场序色彩显示和卷帘快门配置。然而，逐部分地视频更新可能会暴露不希望的伪像，诸如色彩分离和图像失真。因此，本文公开了可有助于减少此类伪像的发生和/或严重性的示例。
图1示出了可穿戴显示设备10形式的示例电子显示***的各方面。所例示的显示设备旨在被穿戴在观察者12的头部上，并且所例示的显示设备包括有源显示光学器件14——右显示光学器件14R和左显示光学器件14L。图1中的有源显示光学器件位于观察者眼睛的前方。在显示设备10中，有源显示光学器件是透视的——即被配置为传送与虚拟显示内容组合被呈现给观察者的真实的外部图像。通过组合真实和虚拟图像，显示设备支持所谓的“混合现实”或“增强现实”(AR)体验，其中观察者对他或她的环境的感知被虚拟显示内容增强。具有独立的右和左显示光学器件，显示设备10可被配置为在观察者的右眼和左眼前显示立体图像对。因此，虚拟显示内容可显现为三维(3D)，并且可占据观察者视野中的任何3D位置。当然，此方法可被用于提供理想的AR游戏体验，尽管在游戏领域外的许多应用也得到了支持。
图1的控制器16向有源显示光学器件14提供虚拟显示内容。在一些实施例中，虚拟显示内容被耦合在显示设备内的图像渲染部件本地地渲染(参见下文)。在其他实施例中，虚拟显示内容可被渲染于远程确定***上，并经由有线或无线通信链路被传送到控制器。
图2示出了在一个非限制性实现中的有源显示光学器件14的各方面。有源显示光学器件包括独立地调制的红色、绿色、以及蓝色发光二极管(LED 18R、18G、以及18B)和反射型液晶显示器(LCD)矩阵20。LED被配置为将它们的发射引导到反射型LCD矩阵上，该反射型LCD矩阵基于来自控制器16的控制信号形成显示图像。在一些实施例中，每个色彩的LED可由控制器依次地触发。在被称为“场序色彩显示”的此方法中，接连不断地向观察者呈现三种不同色彩的基本上单色的图像。替代于单独地表达每个图像，观察者的解剖视觉***将来自每个图像的色彩内容混合以形成预期的色彩图像。
反射型LCD矩阵20可包括布置于矩形网格或其它几何形状上的众多可单独寻址的像素元素。在一些实施例中，反射型LCD矩阵可以是反射型硅基液晶(LCOS)矩阵。在其他实施例中，数字微镜阵列可被用于代替反射型LCD矩阵。在又一些其他实施例中，有源显示光学器件14可包括具有LED背光、色彩LED有源矩阵、或全息或扫描光束***的透射式LCD显示器以形成右和左图像。尽管图示出了分隔的右和左显示光学器件，但是一些显示设备可包括在观察者的两只眼睛上延伸的图像形成部件。
现在参考图3，每个数字化呈现的显示对象22都是以像素渲染的多个可见位点24的集合。如果显示对象将被3D地呈现，则对于对象的每个位点，显示***将至少两个像素投影到显示器的焦平面26上。例如，经由右显示光学器件14R投影右像素28R，并且经由左显示光学器件14L投影左像素28L。相同位点的右和左像素之间的水平视差部分地确定该位点的表观深度——即在观察者前方的距离。在一些实施例中，诸如图2中的场序色彩显示，每个像素对应于单一色彩。对于全色显示器而言，每个位点可使用六个像素——针对两个显示光学器件中的每一个可使用红色、绿色和蓝色像素。
方便地在AR环境中，虚拟显示对象及其每个位点的位置可相对于全局坐标系或参照帧来指定。以此方式，虚拟对象可被定位在真实环境中的特定位置处，并且可保持其位置，而不管观察者在该环境中的定向。对头戴式显示设备而言另一坐标系是本地的，该另一坐标系是其上投影有右和左像素的坐标系。因此，为了使虚拟对象以所期望的位置和定向显现，该对象的每个位点的全局坐标都被转换成本地的设备坐标。这可通过应用可变平移和旋转操作来完成，该操作取决于观察者在环境中的位置和定向以及观察者头部的倾斜和旋转。由于观察者可在环境中自由地移动并可自由地移动他或她的头部，故可以按实时的方式更新允许在全局和本地参考帧之间的转换的适当的平移和旋转偏移以显示虚拟对象，使得该虚拟对象在观察者的视角变化时也能看起来处于预期的位置并具有预期的定向。为此，图1的显示设备10包括被配置为量化观察者的头部移动的惯性测量单元(IMU)34。此外，显示设备还可经由诸如一个或多个图像传感器之类的其它机构来跟踪头部运动，如下文所解释的。
图4示出了例示显示设备10的各附加方面的框图。如图所示，IMU 34包括运动感测部件，诸如加速度计36、陀螺仪38和磁力计40。加速度计和陀螺仪可提供沿三条正交轴的惯性数据以及绕三条轴的旋转数据，作为组合的六个自由度。来自加速度计和陀螺仪的数据可与来自磁力计的地磁数据组合以按照地理方位进一步定义惯性和旋转数据。
显示设备10还包括面向前方的相机41，其可被配置为对观察者的视野的一部分进行成像。在一些实施例中，来自可穿戴显示设备(例如，面向前方的相机41或眼睛跟踪相机60)的一个或多个照相机的图像数据可被用于细化或补充来自IMU 34的位置数据，或可通过跟踪当相机在物理环境中移动时在该物理环境中的成像特征的位置变化而被单独用于跟踪运动。在这些和其他实施例中，位置数据可被提供给显示设备10的控制器16。
本文公开的显示***能够显示包括3D视频的视频以及静态图像。本文所使用的术语“视频”包括由游戏或其他应用程序动态地渲染的视频、预渲染的视频(例如，预录制的视频)及其组合。在图4的实施例中，显示设备10包括视频组装件引擎42。视频组装件引擎被配置为组装存储在帧缓冲器44中的一系列连续的视频帧。在一种操作模式下，视频显示引擎46依次从帧缓冲器检索视频帧，并根据被编码在视频帧内的图像内容来驱动有源显示光学器件14。
因为显示设备10是场序色彩显示，所以每个视频帧由多个不同色彩的子帧组成——例如红色、绿色、和蓝色子帧——它们根据时间表而依次显示。在一些实施例中，第二绿色子帧被包括在该时间表中。如上所述，来自每个子帧的色彩内容被接连不断地呈现。由于视频流的各个色彩子帧采用相关联的等待时间而依次显示，所以每个子帧在时间上都对应于唯一的时刻，在本文中被称为“时间索引”。
由于每个色彩子帧在不同的时间索引处到达的事实，当观察者在观看静止的虚拟对象时、或在用他或她的眼睛跟踪正在移动的虚拟对象时移动了他或她的头部的情况下，可能会发生色彩边纹。前一种情况的一个示例存在于用户在注视该对象的同时前后地摇晃他的头部。在此情况下，在每个帧开始时计算对象的位置，而各色彩子帧则各自被渲染在显示器上的相同位置处。然而，由于头部运动，眼睛正在扫描显示器的表面以保持对对象的注视。结果，色彩子帧落在视网膜的不同部分上并发生色彩边纹。图5例示了由于对象运动而出现色彩边纹的情况。该图表示对象48(小飞艇的图像)正在向左移动的视频。如果视频的色彩子帧以{红色、绿色、蓝色}的序列呈现，则在任何时刻，由于眼睛跟随小飞艇的运动，依次被显示的图像数据的单个帧的色彩场(其被显示在相对于真实世界背景的相同位置处)可随着用户的眼睛平滑地跟随该小飞艇而被投射到用户视网膜的不同位置处。在此类情况下，对用户而言，小飞艇的鼻子将看起来具有蓝色边纹50，而尾部将看起来具有红色边纹52。这种现象被称为“色彩边纹”或“色彩分离”，分隔的幅度取决于头部运动(如果有的话)和对象运动之间的速度差值的幅度。
在观看静止的虚拟对象的同时有头部运动的情况下，针对显示设备10中色彩边纹的一种补救措施应用后期重投影(LSR)引擎56，以便在视频被完全渲染并驻留在帧缓冲器54内之后调整视频的各个色彩子帧。更具体而言，LSR引擎通过不同的变换来变换每个帧的每个色彩子帧，以例如应用任何合适的单应性的将观察者头部的运动考虑在内。如本文所使用的术语“变换”可包括实际上任何类型的坐标变换——例如，以预定序列应用的平移、旋转和缩放变换的组合。在此补救措施中，观察者头部的向量值速度被确定，其中头部速度向量可包括基于IMU 34、图像传感器41、和/或(一个或多个)其他运动传感器的输出而获得的一个或多个角速度分量和/或平移速度分量。一旦色彩子帧被适当地变换，视频显示引擎46就连续地显示每个子帧。用户在观察世界锁定的虚拟对象的同时移动他或她头部的情况下，此解决方案移除了色彩边纹。
然而，上述方法并没有考虑到例如当观察者正视觉地跟踪移动虚拟对象时，该观察者相对于全局坐标系移动他或她头部和/或相对于本地坐标系移动他或她眼睛的自然倾向。如上文所描述的，在移动对象的各个色彩子帧基于最新的头部位置而被更新的情况下，此类眼睛和/或头部运动将使得对所有子帧而言对象不会被成像在观察者视网膜上的相同位置处，这将导致色彩边纹。
为了解决上述问题，本公开提供了一种经细化的LSR方法，其可减轻在用户的注视跟踪所显示的对象的运动时眼睛或头部移动的影响。为此，图4的LSR引擎56可被配置为计算移动对象相对于观察者头部运动的向量值差分速度。差分速度被计算为已知或可发现的移动对象的速度和在全局坐标系内的显示设备10的速度(其捕捉了头部移动)的向量和。
在对象的向量值速度是已知的情况下，此类校正可在不使用眼睛跟踪的情况下进行。此外，在一些实现中，可选的注视估计引擎58可被用于获得关于所显示的对象的运动的附加信息，诸如多个所显示的对象中的哪一个正在被观察者跟踪。注视跟踪也可被用于恢复来自视频的对象运动，其中此类运动不被显示视频的***所知。
在被包括的情况下注视估计引擎58在本公开的不同实施例中可显著地不同。在一些实施例中，注视估计引擎可操作地耦合到眼睛旋转传感器并被配置为接收来自该眼睛旋转传感器的输入。在一些实现中，眼睛旋转传感器可以是电图传感器。然而，在图2的实施例中，眼睛旋转传感器是包括眼睛成像相机60和相关联的部件的眼睛成像子***。应当理解，这些注视估计技术的示例是出于示例的目的而被呈现的，而并不旨在以任何方式进行限制。此外，在一些实现中，诸如在渲染引擎提供所显示的对象运动信息的实例中，注视估计引擎可被省略，或可被呈现但不被用于色彩边纹校正。
再次参考图2，显示设备10包括眼睛成像相机60、轴上照明源62和离轴照明源62’。每个照明源发射眼睛成像相机的合适波长段的红外(IR)或近红外(NIR)照明。每个照明源可包括例如IR LED或二极管激光器。术语“轴上”和“离轴”指照明相对于眼睛成像相机的光轴A的方向。
通过合适的物镜***，眼睛成像相机60在某一视野角范围内检测光，将这样的角度映射到矩形或其他像素阵列中的对应像素。在一个实施例中，眼睛成像相机可以检测与阵列像素的子集相关联的多个波长通道——例如，红、绿、蓝等。替换地或附加地，单色眼睛成像相机可被使用，其以灰度范围成像一个或多个可见、近红外(NIR)、红外(IR)、以及紫外(UV)光。控制器16可被配置为使用来自眼睛成像相机的输出来估计并跟踪观察者12的注视方向V，如下文所进一步描述的。
相对于注视估计而言，轴上和离轴照明服务于不同的目的。如图2所示，离轴照明可创建从观察者的眼睛的角膜66反射的镜面闪光64。离轴照明也可被用于照亮眼睛以用于“暗瞳”效果，其中瞳孔68显得比周围的虹膜70更暗。相反，来自IR或NIR源的轴上照明可被用于创建“亮瞳”效果，其中瞳孔显得比周围的虹膜更亮。更具体地，来自轴上照明源62的IR或NIR照明照亮眼睛的视网膜72的回射组织，该回射组织将光通过瞳孔反射回去，形成瞳孔的亮图像74。有源显示光学器件14的光束转向光学器件76允许眼睛成像相机和轴上照明源共享公共光轴A，而不管它们在有源显示光学器件的***上的安排。在某些实施例中，眼睛成像相机可包括阻挡照明源的发射波段之外的传输以增强强环境光存在时亮瞳对比的波长过滤器。
来自眼睛成像相机60的数字图像数据可被传达到控制器16中和/或控制器可经由网络访问的远程计算机***中的相关联的逻辑。在那里，可处理图像数据以便解析如瞳孔中心、瞳孔轮廓、和/或来自角膜的一个或多个镜面闪光64之类的特征。图像数据中这些特征的位置可被用作把特征位置与注视向量V联系起来的模型(例如多项式模型)中的输入参数。在其中针对右眼和左眼来确定注视向量的各实施例中，控制器还可被配置来计算观察者的焦点作为右和左注视向量的交叉点。
如上文所提及的，在一些实现中，视网膜位置不经由注视估计引擎来跟踪，而是基于用户的注视将追随最突出的移动对象的假设来预测的。在假设观察者的注视将追随移动对象的实施例中，眼睛跟踪相机60和相关联的部件可被省略，或以其它方式不被用于色彩边纹减轻。
无论是通过已知的对象速度和/或注视跟踪，后期重投影引擎56计算移动对象相对于观察者的移动头部的向量值差分速度——即，显示设备10在全局坐标系中的速度。然后，在安排成显示给定帧视频显示引擎46的第一色彩子帧的时刻显示由第一变换来变换的第一色彩图像内容，并且在安排成显示给定帧的第二色彩子帧的时刻显示由第二变换来变换的第二色彩图像内容，该第一和第二变换将向量值差分速度考虑在内。该解决方案的各方面在图6中被示出，其中各种变换被计算，使得光被成像在观察者的视网膜上的基本相同的位置处。如在此使用的，“基本相同的位置”之类的术语指的是用于减轻色彩边纹伪像的足够的相似性。
上述解决方案可通过应用全局校正来减少或防止由观察者的注视所跟踪的虚拟对象上的色彩边纹。全局校正可基于单个被跟踪对象的相对运动，并且被应用于经校正的视频帧的每个区域。因此，上述解决方案在减少被跟踪对象的色彩边纹的同时，可能会增加其它移动对象中的色彩边纹，特别是沿与被跟踪对象相反的方向移动的那些对象。换言之，在图5的场景中，全局校正可能导致飞机的鼻子(对象78)显现出红色、而飞机的尾部显现成蓝色。
为了解决上述问题，图4中的LSR引擎56可包括可选区域校正引擎80。区域校正引擎被配置成变换在观察者所瞄准的移动对象上的局部化的给定色彩子帧的区域。以此方式，校正可被具体地应用于由观察者的注视追踪的对象的附近，而其他虚拟图像则避开了过度校正。如在上文所描述的实现中，基于所瞄准的移动对象相对于观察者头部的向量值差分速度来选择不同的变换。在将变换应用到色彩子帧的任何区域之后，区域校正引擎80组合图像的不同区域，并然后向视频显示引擎46提交所组合的子帧。
区域校正方法可被应用于校正视频中两个或更多个移动对象(例如，如图5所示的在不同方向上移动的对象)上的色彩边纹。此处，区域校正引擎80可被配置成针对多个不同的局部化部分(被示为围绕对象48的一部分和围绕对象78的一不同部分)确定不同的变换。将被执行的变换可通过使用注视跟踪来确定哪个对象正在被跟踪，或通过预测观察者的注视可能会追随哪个对象(例如，基于上下文、对象大小、对象位置等)来确定。如图7所示，在瞳孔K朝向并追随被跟踪对象48的情况下，对象48相对于其它被显示的对象(例如，对象78)的相对运动可与任何头部运动结合使用，以确定应用于包含对象78的每个色彩场图像的图像区域的色彩场的适当区域变换。
图8例示了以场序色彩模式在显示设备上显示视频的示例方法82。在84，组装了一系列连续的视频帧。视频可描写一个移动对象或多个移动对象。在一些实施例中，可基于通过网络从外部设备接收的数据来组装视频。在其他实施例中，视频可被渲染在显示设备本身中——在显示设备的视频组装引擎中。在方法82中，每个视频帧包括根据时间表排列以显示的多个色彩子帧。因此，不同的时间索引可与每个子帧相关联。
在86，从视频中选择移动对象。所选择的移动对象是用户注视假设或确定将追随的对象。在一些实施例中，将被选择的对象由正在显示设备上执行的应用层代码标识，该应用层代码还控制对对象进行渲染。在其他实施例中，试探或其他规则可被用于确定选择哪个对象。所选择的对象可以是例如最大、最亮、最近或最快移动的对象。在一些实施例中，显示设备的后期重投影引擎可被配置成从视频中的多个对象中自动地选择移动对象。在又一其他示例中，可根据注视跟踪来确定对象，例如，与用户注视方向相交的所显示的对象。
在88，在局部坐标系中确定移动对象的向量值速度。向量值速度可通过例如视频的分析来确定，或者可通过应用级代码来披露。在视频内容被渲染在可穿戴显示设备内的情况下，直接知晓对象的速度。当观察者观看预渲染的视频以确定该视频内被跟踪对象的速度时，注视跟踪可被使用。在90，确定观察者的头部的向量值速度。通常，确定头部的向量值速度包括量化观察者的头部移动——例如平移、旋转、或其任何组合。可经由惯性运动传感器、图像数据和/或以任何其它合适的方式来量化此类运动。
在92，计算所选择的移动对象相对于视频观察者的头部的向量值差分速度。差分速度可通过在上述88和90计算的向量值速度的差值来获得。在一些实施例中，向量值差分速度可包括角速度。
在94，为视频的每个帧的每个色彩子帧(例如，红色、绿色、以及蓝色子帧)计算变换。基于在92计算的向量值差分速度来计算变换。特别地，可计算变换使得针对视频中的移动对象的每个位点，来自对应于该位点的红色、绿色、以及蓝色像素的光全部被成像在观察者的视网膜上的基本相同的位置处。在一些实现中，可针对具有彼此不同的相对运动的不同显示对象执行不同的区域变换。
在96，在安排成显示第一子帧的时刻，显示通过第一变换而变换的第一子帧图像内容。在98，在安排成显示第二子帧的时刻，显示通过第二变换而变换的第二子帧图像内容。显示第一和第二子帧图像内容的动作可包括照亮上述第一和第二像素。
如上所述，在一些示例中，在移动对象是视频中描写的多个移动对象中的一个的情况下，显示设备的LSR引擎可被配置成计算每个移动对象相对于可移动的视网膜的向量值差分速度。此处，区域校正引擎80可被配置成再次基于向量值差分速度将不同的变换应用于每个视频子帧的不同区域(例如，在不同移动对象上的局部化区域)。在此类示例中，可在显示子帧之前组合每个子帧的单独变换的区域。
上述说明不应当被解释成以任何方式构成限制，因为还构想了许多替换实现。例如，虽然头戴式可穿戴显示设备10被描述为用于AR应用的透视设备，但用于虚拟现实(VR)应用的完全沉浸式显示设备同样适用于本文所公开的方法。本公开还涵盖不可穿戴显示***——仅显示2D视频的静止或手持式显示屏，或可通过无源眼镜观看的3D视频。实际上，本公开适用于其中每个视频帧被划分为被安排成在不同时刻呈现的子帧的视频显示任何方法。尽管前述描述中的子帧内容是色彩子帧内容，但即便是这方面也不是严格必要的，因为子帧也可以是视频帧的几何部分(诸如列或行部分)。这个想法在以下示例中被例示。
在“卷帘快门”显示***中，视频帧不会一次全部更新，而是逐行更新，更新的内容从视频帧的一侧(例如，顶部或左侧)向下滚动到相对侧(例如，底部或右侧)。因此，如果内容以从上到下滚动的方式更新，则所显示对象的下部在上部接收更新之后才接收其更新。如果对象正相对于观察者向下移动，则对象可能看起来在垂直方向上被压缩。如果对象正向上移动，则其可能看起来在垂直方向上被伸长，如在图9左侧框中的对象100。一种形式的LSR可被用于校正这些偏离效应，以在对象运动时保持该对象的比例。为了使该方法在观察者的注视跟踪对象时提供适当水平的补偿，可估计或跟踪观察者的视网膜运动，而不是假设观察者的视网膜在局部坐标系中占据不变的位置。例如，整体校正可基于对象运动、头部运动、以及扫描线的位置。当此校正被应用时，如在图9的右侧框所示的，对象将以正确的比例被显现给观察者。
图10例示了以卷帘快门模式显示视频的示例方法102。在84，组装了描写移动对象的一系列连续的视频帧。每个视频帧包括根据时间表排列以显示的多个行子帧。在86，无论是通过假设还是检测，一个移动对象将从视频中被选作由观察者跟踪的对象。在88，确定移动对象的向量值速度。在90，确定观察者的头部的向量值速度。在92，计算移动对象相对于视频观察者的头部的向量值差分速度。
在104，针对每个行子帧(例如，顶行、第二行、底行)计算变换。第一子帧为第一(例如较高)像素行提供图像内容，而第二子帧为第二(例如较低)像素行提供图像内容。基于在92计算的向量值差分速度来计算变换。变换可被全局地应用于对应的行，或者可被本地地应用于包含在图像帧之间移动的对象的区域。
在106，在安排成显示第一行子帧的时刻，显示通过第一变换而变换的第一子帧图像内容。在108，在安排成显示第二行子帧的时刻，显示通过第二变换而变换的第二子帧图像内容。
从前述描述中显而易见，本文所描述的方法和过程可被绑定到一个或多个确定机器的计算机***。这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其它计算机程序产品。读者再次参考图4，该图以简化形式示出了被配置成执行本文所描述的方法和过程的显示设备控制器16——计算***的非限制性示例。该计算***包括逻辑机110和数据存储、或计算机存储机112。计算机***还包括有源显示光学器件14、通信机114、以及未在图中示出的各种组件。
逻辑机110包括被配置成执行指令的一个或多个物理逻辑设备。逻辑机可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其它逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果、或以其他方式得到期望结果。
逻辑机110可包括被配置成执行软件指令的一个或多个处理器。附加地或替换地，逻辑机可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑机的处理器可以是单核或多核，且在其上执行的指令可被配置用于串行、并行和/或分布式处理。逻辑机的各个组件可任选地分布在两个或更多单独设备上，这些设备可以位于远程和/或被配置用于进行协同处理。逻辑机的各方面可由以云确定配置来配置的可远程访问的联网设备虚拟化和执行。
计算机存储机112包括被配置成保持可由相关联的逻辑机110执行以实现此处描述的方法和过程的指令的一个或多个物理的计算机存储器设备。在实现这些方法和过程时，可以变换计算机存储机的状态——例如以保存不同的数据。计算机存储机可包括可移动的和/或内置设备；它可包括光学存储器(例如，CD、DVD、HD-DVD、蓝光碟等)、半导体存储器(例如，RAM、EPROM、EEPROM等)、和/或磁性存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)、以及其他。计算机存储机可以包括易失性的、非易失性的、动态的、静态的、读/写的、只读的、随机存取的、顺序存取的、位置可定址的、文件可定址的、和/或内容可定址的设备。
可以理解，计算机存储机112包括一个或多个物理设备。然而，本文所述的指令的各方面替代地可由通信介质(例如电磁信号、光学信号等)来传播，而不是经由存储介质进行存储。
逻辑机110和计算机存储机112的各方面可被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上***(SOC)以及复杂可编程逻辑器件(CPLD)。
术语“模块”、“程序”和“引擎”可用于描述被实现为执行一特定功能的计算***的一方面。在某些情况下，可经由执行由计算机存储机所保持的指令的逻辑机来实例化程序或引擎。将会理解，可从同一应用、服务、代码块、对象、库、例程、API、功能等实例化不同的程序和引擎。类似地，相同的程序或引擎可由不同的应用、服务、代码块、对象、例程、API、功能等来实例化。程序或引擎可涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
显示器14可用于呈现由计算机存储机112所保持的数据的视觉表示。此视觉表示可采用图形用户界面(GUI)的形式。由于本文所描述的方法和过程改变了由计算机存储机保持的数据，并由此变换了计算机存储机的状态，因此同样可以转变显示器14的状态以视觉地表示底层数据的改变。显示器14可包括使用实际上任何类型的技术的一个或多个显示设备。可将此类显示设备与逻辑机110和/或计算机存储机112组合在共享封装中，或者此类显示设备可以是***显示设备。
通信机器114可被配置为将计算机***通信地耦合到一个或多个其它机器，包括服务器计算机***。通信机器可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信机器可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些示例中，通信机器可允许确定机器经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其它设备接收消息。
将会理解，此处描述的配置和/或方法本质是示例性的，这些具体实现或示例不应被视为限制性的，因为许多变体是可能的。本文描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
另一示例涉及一种在显示设备上执行的用于显示视频的方法。所述方法包括：组合描写移动对象的一系列连续的视频帧，每个视频帧包括根据时间表排列以显示的多个子帧；确定所述移动对象相对于所述视频的观察者的头部的向量值差分速度；在安排成显示给定帧的第一子帧的时刻，显示通过第一变换而变换的第一子帧图像内容；以及在安排成显示给定帧的第二子帧的时刻，显示通过第二变换而变换的第二子帧图像内容，所述第一和第二变换基于所述向量值差分速度来被计算。
在一些实现中，显示所述第一和第二子帧图像内容包括照明所述第一和第二子帧图像内容各自的第一和第二像素，每个都对应于所述对象的给定位点，其中所述第一和第二变换被计算使得来自所述第一和第二像素的光被成像在所述观察者的视网膜上的基本相同的位置处。在一些实现中，所述视频可以场序色彩模式显示，其中所述第一子帧提供第一色彩分量的图像内容，而所述第二子帧提供第二色彩分量的图像内容。在一些实现中，所述视频可以卷帘快门模式显示，其中所述第一子帧提供限于第一行像素的图像内容，而所述第二子帧提供限于第二行像素的图像内容。在这些和其他实现中，确定所述向量值差分速度可包括经由运动传感器数据来量化所述观察者的头部移动。在这些和其他实现中，确定所述向量值差分速度可进一步包括跟踪所述观察者的注视来确定所述观察者的所述注视正跟随着所述移动对象。在这些和其他实现中，确定所述向量值差分速度可进一步包括经由显示所述移动对象的应用来确定所述移动对象的向量值速度，以及基于所述移动对象的所述向量值速度来确定所述向量值差分速度。
另一示例涉及一种场序色彩显示***，包括：视频组装件引擎，所述视频组装件引擎被配置为组装描写移动对象的一系列连续的视频帧，每个视频帧包括根据时间表排列以显示的多个色彩子帧；后期重投影引擎，所述后期重投影引擎被配置成计算所述移动对象相对于观察者的可移动头部的向量值差分速度；以及视频显示引擎，所述视频显示引擎被配置成，在安排成显示给定帧的第一色彩子帧的时刻，显示通过第一变换而变换的第一色彩图像内容，以及，在安排成显示所述给定帧的第二色彩子帧的时刻，显示通过第二变换而变换的第二色彩图像内容，所述第一和第二变换基于所述向量值差分速度而被计算。
在一些实现中，所述视频显示引擎包括被安排成用于立体视频显示的右和左显示光学器件。在这些和其它实现中，所述视频显示引擎可被配置成，在显示所述第一和第二子帧图像内容时照明所述第一和第二子帧图像内容各自的第一和第二像素，，每个都对应于所述对象的给定位点，其中所述第一和第二变换被计算使得来自所述第一和第二像素的光被成像在所述观察者的视网膜上的基本相同的位置处。在一些实现中，所述视频组装件引擎、所述后期重投影引擎、以及所述视频显示引擎可以是被配置成戴在头部上的可穿戴显示设备的组件。一些实现可进一步包括被配置为量化所述观察者的头部移动的运动传感器。在一些实现中，所述可穿戴显示设备包括透视光学器件，所述透视光学器件被配置为传送与所述视频组合被呈现给所述观察者的真实的外部图像。在一些实现中，所述***可进一步包括注视估计引擎，所述注视估计引擎被配置为跟踪所述观察者的注视来确定所述观察者的所述注视正跟随着所述移动对象。在这些和其它实现中，所述注视估计引擎可被配置为经由注视跟踪来确定所述移动对象的向量值速度。在一些实现中，确定所述向量值差分速度可包括确定来自显示所述对象的应用的所述移动对象的向量值速度。
另一示例提供一种场序色彩显示***，包括：视频组装件引擎，所述视频组装件引擎被配置为组装描写移动对象的一系列连续的预定或计算机渲染的视频帧，每个视频帧包括根据时间表排列以显示的多个色彩子帧；后期重投影引擎，所述后期重投影引擎被配置成计算所述移动对象相对于观察者的可移动头部的向量值差分速度；区域校正引擎，所述区域校正引擎被配置为通过不同的变换来变换给定色彩子帧的不同区域，所述不同区域包括在所述移动对象上的局部化区域，并且所述不同的变换基于向量值差分速度而被计算；以及被配置为显示所述第一色彩子帧的视频显示引擎。
在一些实现中，所述移动对象是从所述视频中的多个移动对象中选择的，并且所述后期重投影引擎被配置为接收标识所选择的移动对象的输入。在一些实现中，所述后期重投影引擎被配置成从所述视频中的多个移动对象中自动地选择所述移动对象。在一些实现中，所述移动对象是所述视频中描写的多个移动对象中的一个，所述后期重投影引擎被配置成计算每个所述移动对象相对于所述可移动头部的向量值差分速度，并且所述不同的变换被计算，以便减少每个所述不同区域中的色彩边纹。
本公开的主题包括各种过程、***和配置以及此处公开的其他特征、功能、动作和/或属性、以及它们的任一和全部等价物的所有新颖且非显而易见的组合和子组合。

Claims (20)

1.一种在显示设备上执行的用于显示视频的方法，包括：
组装描写移动对象的一系列连续的视频帧，每个视频帧包括根据时间表排列以显示的多个子帧；
确定所述移动对象相对于所述视频的观察者的头部的向量值差分速度；
在安排成显示给定帧的第一子帧的时刻，显示包括通过包含第一变换的不同变换而变换的不同区域的第一子帧图像内容，所述不同区域包括在所述移动对象上的局部化区域；以及
在安排成显示所述给定帧的第二子帧的时刻，显示通过第二变换而变换的第二子帧图像内容，所述第一和第二变换基于所述向量值差分速度来被计算。
2.如权利要求1所述的方法，其特征在于，显示所述第一和第二子帧图像内容包括照明所述第一和第二子帧图像内容各自的第一和第二像素，每个都对应于所述对象的给定位点，其中所述第一和第二变换被计算使得来自所述第一和第二像素的光被成像在所述观察者的视网膜上的基本相同的位置处。
3.如权利要求1所述的方法，其特征在于，所述视频以场序色彩模式显示，并且其中所述第一子帧提供第一色彩分量的图像内容，而所述第二子帧提供第二色彩分量的图像内容。
4.如权利要求1所述的方法，其特征在于，所述视频以卷帘快门模式显示，并且其中所述第一子帧提供限于第一行像素的图像内容，而所述第二子帧提供限于第二行像素的图像内容。
5.如权利要求1所述的方法，其特征在于，确定所述向量值差分速度包括经由运动传感器数据来量化所述观察者的头部移动。
6.如权利要求1所述的方法，其特征在于，确定所述向量值差分速度进一步包括跟踪所述观察者的注视来确定所述观察者的所述注视正跟随着所述移动对象。
7.如权利要求1所述的方法，其特征在于，确定所述向量值差分速度进一步包括经由显示所述移动对象的应用来确定所述移动对象的向量值速度，以及基于所述移动对象的所述向量值速度来确定所述向量值差分速度。
8.一种场序色彩显示***，包括：
视频组装件引擎，所述视频组装件引擎被配置为组装描写移动对象的一系列连续的视频帧，每个视频帧包括根据时间表排列以显示的多个色彩子帧；
后期重投影引擎，所述后期重投影引擎被配置成计算所述移动对象相对于观察者的可移动头部的向量值差分速度；以及
视频显示引擎，所述视频显示引擎被配置成，在安排成显示给定帧的第一色彩子帧的时刻，显示包括通过包含第一变换的不同变换而变换的不同区域的第一色彩图像内容，所述不同区域包括在所述移动对象上的局部化区域，以及，在安排成显示所述给定帧的第二色彩子帧的时刻，显示通过第二变换而变换的第二色彩图像内容，所述第一和第二变换基于所述向量值差分速度而被计算。
9.如权利要求8所述的***，其特征在于，所述视频显示引擎包括被安排成用于立体视频显示的右和左显示光学器件。
10.如权利要求8所述的***，其特征在于，所述视频显示引擎被配置成，在显示所述第一和第二色彩图像内容时照明所述第一和第二色彩图像内容各自的第一和第二像素，每个都对应于所述对象的给定位点，以及其中所述第一和第二变换被计算使得来自所述第一和第二像素的光被成像在所述观察者的视网膜上的基本相同的位置处。
11.如权利要求8所述的***，其特征在于，所述视频组装件引擎、所述后期重投影引擎、以及所述视频显示引擎是被配置成戴在头部上的可穿戴显示设备的组件。
12.如权利要求11所述的***，其特征在于，进一步包括被配置为量化所述观察者的头部移动的运动传感器。
13.如权利要求11所述的***，其特征在于，所述可穿戴显示设备包括透视光学器件，所述透视光学器件被配置为传送与所述视频组合被呈现给所述观察者的真实的外部图像。
14.如权利要求8所述的***，其特征在于，进一步包括注视估计引擎，所述注视估计引擎被配置为跟踪所述观察者的注视来确定所述观察者的所述注视正跟随着所述移动对象。
15.如权利要求14所述的***，其特征在于，所述注视估计引擎被配置为经由注视跟踪来确定所述移动对象的向量值速度。
16.如权利要求8所述的***，其特征在于，确定所述向量值差分速度包括确定来自显示所述对象的应用的所述移动对象的向量值速度。
17.一种场序色彩显示***，包括：
视频组装件引擎，所述视频组装件引擎被配置为组装描写移动对象的一系列连续的预定或计算机渲染的视频帧，每个视频帧包括根据时间表排列以显示的多个色彩子帧；
后期重投影引擎，所述后期重投影引擎被配置成计算所述移动对象相对于观察者的可移动头部的向量值差分速度；
区域校正引擎，所述区域校正引擎被配置为通过不同的变换来变换给定色彩子帧的不同区域，所述不同区域包括在所述移动对象上的局部化区域，并且所述不同的变换基于向量值差分速度而被计算；以及
被配置为显示所述多个色彩子帧中的第一色彩子帧的视频显示引擎。
18.如权利要求17所述的***，其特征在于，所述移动对象是从所述视频中的多个移动对象中选择的，并且其中所述后期重投影引擎被配置为接收标识所选择的移动对象的输入。
19.如权利要求17所述的***，其特征在于，所述后期重投影引擎被配置成从所述视频中的多个移动对象中自动地选择所述移动对象。
20.如权利要求17所述的***，其中所述移动对象是所述视频中描写的多个移动对象中的一个，其中所述后期重投影引擎被配置成计算每个所述移动对象相对于所述可移动头部的向量值差分速度，并且其中所述不同的变换被计算，以便减少每个所述不同区域中的色彩边纹。
CN201680020949.5A 2015-04-09 2016-03-29 在后期重投影中的视网膜位置 Active CN107439011B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/682,860 2015-04-09
US14/682,860 US9874932B2 (en) 2015-04-09 2015-04-09 Avoidance of color breakup in late-stage re-projection
PCT/US2016/024714 WO2016164207A1 (en) 2015-04-09 2016-03-29 Retina location in late-stage re-projection

Publications (2)

Publication Number Publication Date
CN107439011A CN107439011A (zh) 2017-12-05
CN107439011B true CN107439011B (zh) 2019-07-26

Family

ID=55808846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680020949.5A Active CN107439011B (zh) 2015-04-09 2016-03-29 在后期重投影中的视网膜位置

Country Status (4)

Country Link
US (1) US9874932B2 (zh)
EP (1) EP3281406B1 (zh)
CN (1) CN107439011B (zh)
WO (1) WO2016164207A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NZ735465A (en) 2015-03-05 2021-07-30 Magic Leap Inc Systems and methods for augmented reality
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
KR20180090355A (ko) 2015-12-04 2018-08-10 매직 립, 인코포레이티드 리로컬리제이션 시스템들 및 방법들
US10589625B1 (en) * 2015-12-11 2020-03-17 Disney Enterprises, Inc. Systems and methods for augmenting an appearance of an actual vehicle component with a virtual vehicle component
US10969748B1 (en) 2015-12-28 2021-04-06 Disney Enterprises, Inc. Systems and methods for using a vehicle as a motion base for a simulated experience
US11524242B2 (en) 2016-01-20 2022-12-13 Disney Enterprises, Inc. Systems and methods for providing customized instances of a game within a virtual space
KR20210025721A (ko) 2016-08-02 2021-03-09 매직 립, 인코포레이티드 고정-거리 가상 및 증강 현실 시스템들 및 방법들
US10043318B2 (en) * 2016-12-09 2018-08-07 Qualcomm Incorporated Display synchronized image warping
US10627909B2 (en) 2017-01-10 2020-04-21 Disney Enterprises, Inc. Simulation experience with physical objects
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
US9978118B1 (en) 2017-01-25 2018-05-22 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations with data compression
US10242654B2 (en) * 2017-01-25 2019-03-26 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations
CN110419061B (zh) 2017-03-17 2023-09-29 奇跃公司 混合现实***及使用该***生成虚拟内容的方法
KR102366140B1 (ko) 2017-03-17 2022-02-21 매직 립, 인코포레이티드 가상 콘텐츠 워핑을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
US10762598B2 (en) 2017-03-17 2020-09-01 Magic Leap, Inc. Mixed reality system with color virtual content warping and method of generating virtual content using same
US10410349B2 (en) * 2017-03-27 2019-09-10 Microsoft Technology Licensing, Llc Selective application of reprojection processing on layer sub-regions for optimizing late stage reprojection power
US10514753B2 (en) * 2017-03-27 2019-12-24 Microsoft Technology Licensing, Llc Selectively applying reprojection processing to multi-layer scenes for optimizing late stage reprojection power
US10255891B2 (en) 2017-04-12 2019-04-09 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations with multiple LSR processing engines
US10928892B2 (en) * 2017-05-01 2021-02-23 Alibaba Technology (Israel) Ltd. Optical engine time warp for augmented or mixed reality environment
CN109246410B (zh) * 2017-05-31 2021-04-02 江苏慧光电子科技有限公司 全息影像的成像方法和数据生成方法及装置
IL253432A0 (en) 2017-07-11 2017-09-28 Elbit Systems Ltd System and method for correcting a rolling display effect
US10585471B2 (en) 2017-10-03 2020-03-10 Disney Enterprises, Inc. Systems and methods to provide an interactive space based on predicted events
US10970560B2 (en) 2018-01-12 2021-04-06 Disney Enterprises, Inc. Systems and methods to trigger presentation of in-vehicle content
US10520739B1 (en) * 2018-07-11 2019-12-31 Valve Corporation Dynamic panel masking
CN112513712B (zh) 2018-07-23 2023-05-09 奇跃公司 具有虚拟内容翘曲的混合现实***和使用该***生成虚拟内容的方法
WO2020023523A1 (en) 2018-07-23 2020-01-30 Magic Leap, Inc. Intra-field sub code timing in field sequential displays
US10841632B2 (en) 2018-08-08 2020-11-17 Disney Enterprises, Inc. Sequential multiplayer storytelling in connected vehicles
US10785621B1 (en) 2019-07-30 2020-09-22 Disney Enterprises, Inc. Systems and methods to provide an interactive space based on vehicle-to-vehicle communications
US11076276B1 (en) 2020-03-13 2021-07-27 Disney Enterprises, Inc. Systems and methods to provide wireless communication between computing platforms and articles
EP4204889A1 (en) * 2020-08-28 2023-07-05 Telefonaktiebolaget LM Ericsson (publ) Projection of an image in an extended reality device
US20230053893A1 (en) * 2021-08-20 2023-02-23 Jennifer Hendrix Head tracker assembly

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5684498A (en) * 1995-06-26 1997-11-04 Cae Electronics Ltd. Field sequential color head mounted display with suppressed color break-up
CN102213854A (zh) * 2010-04-09 2011-10-12 株式会社半导体能源研究所 液晶显示装置及电子设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0616136B2 (ja) 1986-11-14 1994-03-02 矢崎総業株式会社 車載用ホログラフィック表示システム
US5369450A (en) 1993-06-01 1994-11-29 The Walt Disney Company Electronic and computational correction of chromatic aberration associated with an optical system used to view a color video display
AU7616496A (en) 1995-11-27 1997-06-19 Cae Electronics Ltd. Method and apparatus for displaying a virtual environment on a video display
AUPO981997A0 (en) 1997-10-15 1997-11-06 Lions Eye Institute Of Western Australia Incorporated, The Stereo optic disc analyser
US5926318A (en) 1998-04-06 1999-07-20 Optimize Incorporated Biocular viewing system with intermediate image planes for an electronic display device
US6111701A (en) 1999-07-14 2000-08-29 Rockwell Collins, Inc. Chromatic aberration corrected multi-color head-up display system
NL1018198C2 (nl) 2001-06-01 2002-12-03 Tno Head mounted display inrichting.
TWI308845B (en) 2006-06-07 2009-04-11 Himax Display Inc Head-mounted display and image adjusting method for the same
US8054335B2 (en) * 2007-12-20 2011-11-08 Aptina Imaging Corporation Methods and system for digitally stabilizing video captured from rolling shutter cameras
US9591293B2 (en) 2008-07-22 2017-03-07 Nokia Technologies Oy Stereoscopic field sequential colour display control
US8405691B2 (en) * 2008-09-22 2013-03-26 Rambus Inc. Field sequential color encoding for displays
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
FR2959022B1 (fr) 2010-04-16 2012-10-26 Thales Sa Dispositif de visualisation a "combineur" optique corrige des aberrations chromatiques
US8692845B2 (en) * 2010-10-28 2014-04-08 Eastman Kodak Company Head-mounted display control with image-content analysis
JP6015250B2 (ja) * 2012-08-31 2016-10-26 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
DE102012216581A1 (de) 2012-09-17 2014-02-27 Carl Zeiss Ag Anzeigevorrichtung
US20140176591A1 (en) 2012-12-26 2014-06-26 Georg Klein Low-latency fusing of color image data
US9529195B2 (en) * 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5684498A (en) * 1995-06-26 1997-11-04 Cae Electronics Ltd. Field sequential color head mounted display with suppressed color break-up
CN102213854A (zh) * 2010-04-09 2011-10-12 株式会社半导体能源研究所 液晶显示装置及电子设备

Also Published As

Publication number Publication date
US20160299567A1 (en) 2016-10-13
US9874932B2 (en) 2018-01-23
EP3281406A1 (en) 2018-02-14
CN107439011A (zh) 2017-12-05
WO2016164207A1 (en) 2016-10-13
EP3281406B1 (en) 2021-06-02

Similar Documents

Publication Publication Date Title
CN107439011B (zh) 在后期重投影中的视网膜位置
CN107783298B (zh) 显示装置及使用该显示装置进行显示的方法
US11461936B2 (en) Wearable image manipulation and control system with micro-displays and augmentation of vision and sensing in augmented reality glasses
CN104954777B (zh) 一种显示视频数据的方法和装置
CN107959837B (zh) 显示装置及通过该显示装置进行显示的方法
CN105992965B (zh) 响应于焦点移位的立体显示
CN109863538B (zh) 用于虚拟及增强现实显示的连续时间扭曲及双目时间扭曲***和方法
US10338677B2 (en) Adjusting image frames based on tracking motion of eyes
US10482663B2 (en) Virtual cues for augmented-reality pose alignment
CN105264478B (zh) 全息锚定和动态定位
KR101960980B1 (ko) 증강 현실 디스플레이용 최적화 초점 영역
US20150312558A1 (en) Stereoscopic rendering to eye positions
US20140176591A1 (en) Low-latency fusing of color image data
CN107376349A (zh) 被遮挡的虚拟图像显示
CN108369457A (zh) 用于混合现实的现实混合器
CN107209386A (zh) 增强现实视野对象跟随器
US20200049946A1 (en) Display apparatus and method of displaying using gaze prediction and image steering
US11567568B2 (en) Display apparatuses and methods incorporating foveated rendering
WO2020014705A1 (en) Wearable image manipulation and control system with micro-displays and augmentation of vision and sensing in augmented reality glasses
CN107810634A (zh) 用于立体增强现实的显示器
CN109951698A (zh) 用于检测反射的设备和方法
US11579449B2 (en) Systems and methods for providing mixed-reality experiences under low light conditions
US10989927B2 (en) Image frame synchronization in a near eye display
EP4318379A1 (en) Sparse color reconstruction using deep neural networks
JP2023104315A (ja) キャリブレーション装置、表示装置、キャリブレーション方法、および画像表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant