CN114008665A - 显示设备及用于校正该显示设备的图像畸变的方法 - Google Patents

显示设备及用于校正该显示设备的图像畸变的方法 Download PDF

Info

Publication number
CN114008665A
CN114008665A CN202080042084.9A CN202080042084A CN114008665A CN 114008665 A CN114008665 A CN 114008665A CN 202080042084 A CN202080042084 A CN 202080042084A CN 114008665 A CN114008665 A CN 114008665A
Authority
CN
China
Prior art keywords
image frame
given
eye
distortion corrected
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080042084.9A
Other languages
English (en)
Inventor
阿瑞·培库林恩
托马斯·卡尔松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Varjo Technologies Oy
Original Assignee
Varjo Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Varjo Technologies Oy filed Critical Varjo Technologies Oy
Publication of CN114008665A publication Critical patent/CN114008665A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/147—Optical correction of image distortions, e.g. keystone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

公开了一种显示设备(100、200、300)，包括：分别向第一眼睛(302)和第二眼睛(304)显示第一图像和第二图像的第一显示器或投影仪(102、202)以及第二显示器或投影仪(104、204)；分别面向第一眼睛和第二眼睛的第一部件(306)和第二部件(308)，第一部件和第二部件分别具有第一光轴(F‑F’)和第二光轴(S‑S’)；分别跟踪第一眼睛和第二眼睛相对于相应光轴的位置和方向的装置(106、206)；以及处理器(108、208)。处理器或外部处理器(110、226)用于：获取两个眼睛的当前相对位置和方向；确定第一输入图像帧的第一变换和第二输入图像帧的第二变换，给定的变换用于校正显示给定的输入图像帧时产生的明显的每像素畸变；以及分别应用第一变换和第二变换以生成第一畸变校正图像帧和第二畸变校正图像帧，其中，处理器渲染第一畸变校正图像帧和第二畸变校正图像帧。

Description

显示设备及用于校正该显示设备的图像畸变的方法
技术领域
本公开总体上涉及显示设备，更具体地涉及包括下述项的显示设备：第一显示器或投影仪、第二显示器或投影仪、第一部件和第二部件、跟踪用户眼睛的位置和方向的装置以及处理器。此外，本公开还涉及用于校正上述显示设备的图像畸变的方法。
背景技术
目前，多种技术(例如，如虚拟现实(virtual reality，VR)、增强现实(augmentedreality，AR)、混合现实(mixed reality，MR)等)用于向用户呈现交互式的扩展现实环境。通常，用户使用专用设备(例如虚拟现实设备、增强现实设备、混合现实设备等)来体验这种扩展现实环境并与之交互。在使用时，用户一般将这种专用装置穿戴(即支撑)在他/她的头上。
传统的专用设备使用各种设备来生成和渲染构成扩展现实环境的图像。通常，传统的专用设备将构成扩展现实环境的图像以不同的视角呈现给用户的不同眼睛。此外，传统的专用设备被设计为使得用户的双眼通过专用设备的不同光轴(对应于用户的不同眼睛)来观看。为此，通常根据用户的瞳距来校准传统的专用设备。
然而，传统的专用设备无法适应用户的给定眼睛相对于其相应光轴的错位和/或未对准。因此，用户的该给定眼睛会看到扩展现实环境的畸变视图。值得注意的是，上述给定眼睛的相对错位和/或未对准可能是由于用户不正确地在他/她的头上佩戴给定的传统专用设备、给定的传统专用设备在使用期间的移动等而造成的。
因此，考虑到前述讨论，需要克服与呈现交互式的扩展现实环境的现有专用设备相关联的前述缺点。
发明内容
本公开旨在提供一种显示设备。本公开还旨在提供一种校正显示设备的图像畸变的方法。本公开旨在提供一种针对由于用户的眼睛与传统专用设备之间的错位和/或未对准而导致的图像畸变的现有问题的解决方案。本公开的目的是提供一种至少部分地克服现有技术中遇到的问题的解决方案，以及一种向显示设备的用户显示畸变校正后的图像的显示设备。
在一方面，本公开实施例提供了一种显示设备，该显示设备包括：
至少一个第一显示器或投影仪，在操作时显示要向用户的第一眼睛呈现的第一图像；
至少一个第二显示器或投影仪，在操作时显示要向用户的第二眼睛呈现的第二图像；
第一部件和第二部件，被布置成分别面向第一眼睛和第二眼睛，该第一部件和第二部件分别具有第一光轴和第二光轴；
跟踪装置，分别用于跟踪第一眼睛相对于第一光轴的位置和方向以及第二眼睛相对于第二光轴的位置和方向；以及
处理器，耦接到至少一个第一显示器或投影仪、至少一个第二显示器或投影仪以及跟踪装置，其中，处理器或通信地耦接到该处理器的至少一个外部处理器被配置成：
-分别获取第一眼睛相对于第一光轴的当前位置和方向以及第二眼睛相对于第二光轴的当前位置和方向；
-分别基于第一眼睛的当前位置和方向以及第二眼睛的当前位置和方向，确定将应用于至少一个第一输入图像帧的至少一个第一变换以及将应用于至少一个第二输入图像帧的至少一个第二变换，其中，给定的变换将被用于校正在给定的显示器或投影仪上显示给定输入图像帧时产生的明显的每像素畸变；以及-将至少一个第一变换和至少一个第二变换分别应用于至少一个第一输入图像帧和至少一个第二输入图像帧，以生成至少一个第一畸变校正图像帧和至少一个第二畸变校正图像帧。
其中，处理器被配置成分别通过至少一个第一显示器或投影仪和至少一个第二显示器或投影仪来渲染至少一个第一畸变校正图像帧和至少一个第二畸变校正图像帧。
在另一方面，本公开的实施例提供了一种用于校正显示设备的图像畸变的方法，该显示设备包括至少一个第一显示器或投影仪、至少一个第二显示器或投影仪、以及被布置成分别面向用户的第一眼睛和第二眼睛第一部件和第二部件，该第一部件和第二部件分别具有第一光轴和第二光轴。该方法包括：
-分别跟踪第一眼睛相对于第一光轴的当前位置和方向以及第二眼睛相对于第二光轴的当前位置和方向；
-分别基于第一眼睛的当前位置和方向以及第二眼睛的当前位置和方向，确定将应用于至少一个第一输入图像帧的至少一个第一变换以及将应用于至少一个第二输入图像帧的至少一个第二变换，其中，给定的变换将被用于校正在给定的显示器或投影仪上显示给定输入图像帧时产生的明显的每像素畸变；
-将至少一个第一变换和至少一个第二变换分别应用于至少一个第一输入图像帧和至少一个第二输入图像帧，以生成至少一个第一畸变校正图像帧和至少一个第二畸变校正图像帧；以及
-分别通过至少一个第一显示器或投影仪和至少一个第二显示器或投影仪来渲染至少一个第一畸变校正图像帧和至少一个第二畸变校正图像帧。
本公开的实施例基本消除或至少部分地解决了现有技术中的上述问题，并且无论用户的眼睛相对于显示设备是何种姿态，都能使用户看到看起来没有畸变的图像。
根据结合所附权利要求所解释的附图和说明性实施例的具体实施方式，本公开的其他方面、优势、特征和目的将变得明显。
应当理解，本公开的特征易于在不脱离由所附权利要求限定的本公开的范围的情况下以各种组合进行组合。
附图说明
当结合附图阅读时，可以更好地理解上述发明内容以及说明性实施例的下述具体实施方式。出于说明本公开的目的，附图中示出了本公开的示例性构造。然而，本公开不限于本文公开的特定方法和设备。此外，本领域技术人员将理解附图并不是按比例绘制的。在可能的情况下，相同的元素用相同的数字表示。
现在将仅通过示例的方式，参考以下附图来描述本公开的实施例，其中：
图1和图2示出了根据本公开的不同实施例的显示设备的架构的框图；
图3是根据本公开的实施例的显示设备相对于用户的第一眼睛和第二眼睛的布置的示意图；
图4A是根据本公开的实施例的给定眼睛相对于给定光轴的最佳位置和方向的示意图；图4B是根据本公开的实施例的给定眼睛相对于给定光轴的次佳位置和方向的示意图；
图5A是根据本公开的实施例的输入图像帧的示意图；图5B是根据本公开的实施例的当给定眼睛相对于对应的光轴处于最佳位置和方向时给定眼睛可见的输入图像帧的视图的示意图；图5C是根据本公开的实施例的当给定眼睛相对于对应的光轴处于示例性次佳位置和方向时给定眼睛可见的输入图像帧的视图的示意图；
图6A是根据本公开的实施例的当用户的给定眼睛相对于相应的光轴处于最佳位置和方向时给定输入图像帧的给定遮挡区域的示意图，图6B是根据本公开的实施例的当给定眼睛相对于相应的光轴处于次佳位置和方向时给定输入图像帧的给定遮挡区域的示意图；以及
图7示出了根据本公开的实施例的用于校正显示设备的图像畸变的方法的步骤。
在附图中，下划线数字用于表示下划线数字所在的项目或下划线数字相邻的项目。无下划线的数字与通过将无下划线的数字链接到项目的线所标识的项目相关。当数字不带下划线并伴有相关箭头时，该不带下划线的数字用于标识该箭头所指的一般项目。
具体实施方式
以下具体实施方式说明了本公开的实施例以及可以实现它们的方式。尽管已经公开了实施本公开的一些方式，但是本领域技术人员将认识到用于实施或实践本公开的其他实施例也是可能的。
在一方面，本公开实施例提供了一种显示设备，该显示设备包括：
至少一个第一显示器或投影仪，在操作时显示要向用户的第一眼睛呈现的第一图像；
至少一个第二显示器或投影仪，在操作时显示要向用户的第二眼睛呈现的第二图像；
第一部件和第二部件，被布置成分别面向第一眼睛和第二眼睛，该第一部件和第二部件分别具有第一光轴和第二光轴；
跟踪装置，跟踪第一眼睛相对于第一光轴的位置和方向以及第二眼睛相对于第二光轴的位置和方向；以及
处理器，耦接到至少一个第一显示器或投影仪、至少一个第二显示器或投影仪和跟踪装置，其中，处理器或可通信地耦接到该处理器的至少一个外部处理器被配置成：
-分别获取第一眼睛相对于第一光轴的当前位置和方向以及第二眼睛相对于第二光轴的当前位置和方向；
-分别基于第一眼睛的当前位置和方向以及第二眼睛的当前位置和方向，确定将应用于至少一个第一输入图像帧的至少一个第一变换以及将应用于至少一个第二输入图像帧的至少一个第二变换，其中，给定的变换将被用于校正在给定的显示器或投影仪上显示给定输入图像帧时产生的明显的每像素畸变；以及-将至少一个第一变换和至少一个第二变换分别应用于至少一个第一输入图像帧和至少一个第二输入图像帧，以生成至少一个第一畸变校正图像帧和至少一个第二畸变校正图像帧。
其中，处理器被配置成分别通过至少一个第一显示器或投影仪和至少一个第二显示器或投影仪来渲染至少一个第一畸变校正图像帧和至少一个第二畸变校正图像帧。
在另一方面，本公开的实施例提供了一种用于校正显示设备的图像畸变的方法，该显示设备包括至少一个第一显示器或投影仪、至少一个第二显示器或投影仪、以及被布置为分别面向用户的第一眼睛和第二眼睛第一部件和第二部件，该第一部件和第二部件分别具有第一光轴和第二光轴。该方法包括：
-分别跟踪第一眼睛相对于第一光轴的当前位置和方向以及第二眼睛相对于第二光轴的当前位置和方向；
-分别基于第一眼睛的当前位置和方向以及第二眼睛的当前位置和方向，确定将应用于至少一个第一输入图像帧的至少一个第一变换以及将应用于至少一个第二输入图像帧的至少一个第二变换，其中，给定的变换将被用于校正在给定的显示器或投影仪上显示给定输入图像帧时产生的明显的每像素畸变；
-将至少一个第一变换和至少一个第二变换分别应用于至少一个第一输入图像帧和至少一个第二输入图像帧，以生成至少一个第一畸变校正图像帧和至少一个第二畸变校正图像帧；以及
-分别通过至少一个第一显示器或投影仪和至少一个第二显示器或投影仪来渲染至少一个第一畸变校正图像帧和至少一个第二畸变校正图像帧。
本公开提供了前述显示设备和前述方法。所描述的显示设备适用于用户的给定眼睛相对于其相应光轴的错位和/或未对准。具体地，在显示设备上渲染畸变校正图像帧，其中，畸变校正图像帧是通过应用基于用户的眼睛相对于其相应光轴的当前姿态所确定的变换生成的。这些畸变校正图像帧以数字方式调整在没有畸变校正的情况下用户会看到的任何视觉假象或畸变。因此，显示设备为用户提供了真正身临其境且逼真的扩展现实体验。此外，外部处理器可以有益地用于减少显示设备的处理器的处理负担。因此，与现有的显示设备相比，本文描述的显示设备提供了更好的设备性能。本文描述的方法计算效率高且简单。
在整个本公开中，术语“显示设备”指的是被配置成当用户将操作中的显示设备戴在他/她的头上时向用户呈现扩展现实环境的专用设备。在示例中，显示设备用作可操作以向用户呈现扩展现实环境的视觉场景的设备(例如，诸如虚拟现实耳机、虚拟现实眼镜、增强现实耳机、增强现实眼镜、混合现实耳机、混合现实眼镜等)。通常，仅为了方便起见，术语“显示设备”被称为“头戴式显示设备”。
在整个本公开中，术语“扩展现实”包括虚拟现实、增强现实、混合现实等。
在整个本公开中，术语“显示器”指的是在操作时显示要向显示设备的用户示出的给定图像的设备，而术语“投影仪”指的是在操作时投影要向显示设备的用户示出的给定图像的设备。可选地，给定的投影仪将给定的图像投影到投影屏幕上或直接投影到用户眼睛的视网膜上。应当理解，在一些实施方式中，术语“至少一个第一显示器或投影仪”指的是“一个第一显示器或投影仪”，而在其他实施方式中，该术语指的是“多个第一显示器或投影仪”。同样地，术语“至少一个第二显示器或投影仪”在一些实施方式中指的是“一个第二显示器或投影仪”，而在其他实施方式中指的是“多个第二显示器或投影仪”。
可选地，至少一个第一显示器和/或至少一个第二显示器选自以下各项组成的组：液晶显示器(Liquid Crystal Display，LCD)、基于发光二极管(Light Emitting Diode，LED)的显示器、基于有机LED(Organic LED，OLED)的显示器、基于微型OLED的显示器和基于硅基液晶(Liquid Crystal on Silicon，LCoS)的显示器。
可选地，至少一个第一投影仪和/或至少一个第二投影仪选自以下各项组成的组：基于LCD的投影仪、基于LED的投影仪、基于OLED的投影仪、基于LCoS的投影仪、基于数字光处理(Digital Light Processing，DLP)的投影仪以及激光投影仪。
在一个实施例中，第一图像和第二图像是虚拟现实图像。该虚拟现实图像在显示时向用户呈现虚拟现实环境的视觉场景。
在另一个实施例中，第一图像和第二图像是增强现实图像。增强现实图像在显示时向用户呈现增强现实环境的视觉场景。
在又一实施例中，第一图像和第二图像是混合现实图像。混合现实图像在显示时向用户呈现混合现实环境的视觉场景。
在整个本公开中，术语“第一部件”和“第二部件”指的是显示设备的主体的不同部件。当用户佩戴显示设备操作时，第一部件与第二部件分别面向第一眼睛和第二眼睛。值得注意的是，第一部件和第二部件作为显示设备的不同腔室，分别容纳对应于第一眼睛和第二眼睛的(显示设备的)光学组件、电子组件和/或机械组件。例如，第一部件至少容纳至少一个第一显示器或投影仪，第二部件至少容纳至少一个第二显示器或投影仪。第一光轴是对应于用户的第一眼睛的光学器件(尤其是至少一个第一显示器或投影仪)的光轴，而第二光轴是对应于用户的第二眼睛的光学器件(尤其是至少一个第二个显示器或投影仪)的光轴。
在整个本公开中，术语“跟踪第一眼睛的位置和方向以及第二眼睛的位置和方向的跟踪装置”是指检测和/或跟踪用户的第一眼睛相对于第一光轴的位置和方向以及用户的第二眼睛相对于第二光轴的位置和方向的专用设备。值得注意的是，该跟踪装置生成表示用户眼睛相对于第一光轴和第二光轴的姿态的相关眼睛姿态数据。换言之，相关眼睛姿态数据表示用户眼睛相对于显示设备的光学器件的姿态。在此，术语“姿态”包括位置和方向。
应当理解，当给定眼睛的视线方向呈直线时，将给定眼睛的瞳孔中心和/或给定眼睛的中心与给定光轴之间的距离确定为给定眼睛相对给定光轴的姿态。在一些实施方式中，分别跟踪第一眼睛的位置和方向以及第二眼睛的位置和方向。在其他实施方式中，共同跟踪第一眼睛的位置和方向以及第二眼睛的位置和方向。
还应当理解，在下述情况下，给定眼睛相对于显示设备的姿态最佳：
-给定眼睛定位于给定光轴上与显示设备的相应光学器件相距特定距离的特定点处，该特定距离由显示设备的光学设计确定；以及
-给定眼睛的光轴沿着给定光轴定向。
因此，给定眼睛相对于显示设备的最佳姿态由显示设备的光学设置限定，并且是已知的。给定眼睛的所有其他姿态(即，除最佳姿态之外的所有姿态)被认为是给定眼睛相对于显示设备的次佳姿态。
可选地，使用至少一个数学公式来确定给定眼睛的瞳孔中心和/或给定眼睛的中心与给定光轴上的特定点之间的距离。其中，至少一个数学公式属于二维坐标几何或三维坐标几何。
可选地，使用下述项中的至少之一来确定给定眼睛的方向与给定光轴之间的角间距：四元数、欧拉角、与二维坐标几何或三维坐标几何有关的数学公式。
根据一个实施例，跟踪第一眼睛的位置和方向以及第二眼睛的位置和方向的跟踪装置是依附眼睛(eye-attached)的跟踪解决方案。在这种情况下，该跟踪装置实现为具有嵌入式镜或传感器的隐形眼镜。
根据另一个实施例，跟踪第一眼睛的位置和方向以及第二眼睛的位置和方向的跟踪装置是光学跟踪解决方案。可选地，在这种情况下，所述跟踪装置被实现为：分别向第一眼睛和第二眼睛发射光的第一照明器和第二照明器；捕获第一眼睛的至少一个图像的第一相机，该第一相机布置在第一光轴上；捕获第二眼睛的至少一个图像的第二相机，该第二相机布置在第二光轴上。在这种情况下，所捕获的第一眼睛的至少一个图像描绘了对第一眼睛的发射光的反射，所捕获的第二眼睛的至少一个图像描绘了对第二眼睛的发射光的反射。这些反射通常称为“闪烁(glints)”。发射光可以是红外光或可见光。在这种情况下，第一眼睛和第二眼睛的视觉特征(在其图像中描绘)用于确定第一眼睛和第二眼睛相对于第一光轴和第二光轴的姿态。该视觉特征的示例包括但不限于：瞳孔的形状、瞳孔的大小、瞳孔相对于闪光反射的位置、虹膜的形状、虹膜的大小以及眼角的位置。
在一示例中，当第一眼睛和第二眼睛的捕获图像将对应眼睛的瞳孔的形状描绘为圆形时，该跟踪装置确定第一眼睛和第二眼睛的光轴分别沿着第一光轴和第二光轴定向。替选地，当第一眼睛和第二眼睛的捕获图像将所述眼睛的瞳孔形状描绘为椭圆形时，该跟踪装置确定第一眼睛和第二眼睛的光轴没有分别沿着第一和第二光轴定向。此外，椭圆形瞳孔的椭圆度表示第一眼睛和第二眼睛的方向。此外，眼睛的虹膜大小表示第一眼睛和第二眼睛与显示设备之间的距离。
根据又一实施例，跟踪第一眼睛的位置和方向以及第二眼睛的位置和方向的跟踪装置是基于显示器或投影仪的跟踪解决方案。在这种情况下，该跟踪装置被实现为：至少一个第一显示器或投影仪、至少一个第二显示器或投影仪、对应于第一眼睛的第一相机和对应于第二眼睛的第二相机。在操作时，至少一个第一显示器或投影仪和至少一个第二显示器或投影仪分别在第一眼睛的视野中心和第二眼睛的视野中心显示点，，第一摄像头和第二摄像头在用户注视这些点时分别捕捉其对应眼睛的图像。分析所捕获的图像以确定第一眼睛相对于第一光轴以及第二眼睛相对第二光轴的姿态。
根据又一实施例，跟踪第一眼睛的位置和方向以及第二眼睛的位置和方向的跟踪装置是基于电势测量的解决方案。在这种情况下，该跟踪装置被实现为布置在第一眼睛和第二眼睛周围的电极，其中，该电极测量电势，该电势表示第一眼睛和第二眼睛的姿态。
在整个本公开中，术语“处理器”是指硬件、软件、固件或它们的组合。处理器控制显示设备的整体操作。具体地，处理器耦接到至少一个第一显示器或投影仪、至少一个第二显示器或投影仪以及跟踪装置并控制这些组件的操作。应当理解，处理器耦接到显示设备的各种组件并且可选地控制这些组件中的至少一些组件的操作。
可选地，处理器被实现为控制器，该控制器被配置成控制合成器以执行畸变校正操作。
在整个本公开中，术语“外部处理器”是指被实现为外部计算设备的处理器的处理器。在这种情况下，由于至少一个外部处理器可通信地耦接到处理器，该外部计算设备可通信地耦接到显示设备。至少一个外部处理器以无线和/或有线方式可通信地耦接到处理器。应当理解，在至少一个外部处理器处执行至少一些与畸变校正相关联的计算任务是有益的，这是因为这将显著减少显示设备的处理器的处理负担。应当理解，术语“至少一个外部处理器”在一些实施方式中是指“一个外部处理器”，而在其他实施方式中是指“多个外部处理器”。
可选地，可以由第一外部处理器执行生成和存储预先计算的校正模型的步骤(稍后描述)和/或生成实时校正模型的步骤(稍后描述)，由第二外部处理器执行访问预先计算的校正模型的步骤。
可选地，至少一个外部处理器执行至少一个软件应用程序以控制显示设备的操作行为。可选地，其中，至少一个软件应用程序生成要在显示设备上显示的第一图像和第二图像。
处理器或至少一个外部处理器分别从跟踪第一眼睛和第二眼睛的位置和方向的跟踪装置获取第一眼睛相对于第一光轴的当前位置和方向以及第二眼睛相对于第二光轴的当前位置和方向。应当理解，由于用户在使用显示设备时其眼睛相对于第一光轴和第二光轴的姿态在不断变化，因此，对于给定的显示设备重复地获得第一眼睛和第二眼睛的当前位置和方向。表示用户眼睛的当前姿态的最新信息能够为显示设备生成畸变校正的扩展现实环境。
在整个本公开中，术语“变换”指的是与畸变校正有关的图像处理操作。由于要向用户的不同眼睛呈现不同的图像(即第一图像和第二图像)，因此，需要针对不同图像的图像帧进行不同的变换(即畸变校正)。由于当用户使用显示设备时，用户的眼睛通常相对于显示设备是未对准的，因此需要应用这种变换。此外，不同的用户具有不同的瞳孔间距，并且一只眼睛可能比另一只眼睛未对准的程度更大。因此，处理器或至少一个外部处理器分别基于第一眼睛的当前位置和方向以及第二眼睛的当前位置和方向来确定至少一个第一变换和至少一个第二变换。需要注意的是，该至少一个第一变换在应用时校正从第一眼睛的当前姿态的角度观看至少一个第一输入图像帧(无畸变校正)时产生的明显的每像素畸变。同样地，该至少一个第二变换在应用时校正从第二眼睛的当前姿态的角度观看至少一个第二输入图像帧(无畸变校正)时产生的明显的每像素畸变。
在整个本公开中，术语“输入图像帧”是指当用户的眼睛相对于显示设备处于最佳姿态时要显示(经由给定的显示器或投影仪)的图像帧。需要注意的是，至少一个第一输入图像帧对应于要呈现给第一眼睛的第一图像，而至少一个第二输入图像帧对应于要呈现给第二眼睛的第二图像。
应当理解，如果给定的输入图像帧在没有畸变校正的情况下在给定的显示器或投影仪上显示，而用户的给定眼睛相对于显示设备为次佳姿态，则将产生对于给定眼睛来说明显的每像素畸变。需要注意的是，由于给定输入图像帧的每像素发出的光的光路不平行，因此，来自给定输入图像帧的每个像素的光行进不同的光学距离到达给定眼睛。在这种情况下，如果给定的输入图像帧在没有畸变校正的情况下被显示，则给定的输入图像帧的每个像素对于给定眼睛来说将表现为经历了唯一的畸变。
在一个实施例中，在校准显示设备时执行确定至少一个第一变换和至少一个第二变换的步骤。通常，用户在使用显示设备观看扩展现实环境之前根据他/她的眼睛(例如，根据他/她的瞳距)来校准显示设备。可选地，在这种情况下，处理器或至少一个外部处理器被配置成：
-控制至少一个第一显示器或投影仪以及至少一个第二显示器或投影仪分别显示第一参考图像和第二参考图像；
-控制多个相机分别从第一眼睛和第二眼睛的多个姿态的角度捕获表示第一参考图像和第二参考图像的明显视图的图像；以及
-分析所捕获的图像以确定校正在针对多个姿态所捕获的图像中产生的每像素畸变所需的变换。
此外，可选地，处理器或至少一个外部处理器被配置成：基于所确定的变换生成校正模型，其中，给定的校正模型包括与校正对应于用户眼睛的至少一种姿势的每像素畸变所需的至少一种变换有关的信息。处理器或至少一个外部处理器被配置成将校正模型存储在显示设备或外部计算设备的存储单元中。其中，校正模型是预先计算的，并且可以在用户使用显示设备查看扩展现实环境时容易访问该校正模型。然后，可选地，使用预先计算的校正模型来确定至少一个第一变换和至少一个第二变换。
应当理解，用户眼睛的多个姿态中的数量被选择成使得预先计算的校正模型所需的数据量足够且性能最佳。在这种情况下，预先计算的校正模型包括表示仅有限数量的用户眼睛的姿态所需的准确变换的信息。当预先计算的校正模型不包括与给定眼睛的给定姿态所需的一个或多个变换有关的信息时，使用预先计算的校正模型中现有信息的插值来估计所需的一个或多个转换。
附加地或可替选地，在一个实施例中，在使用显示设备时执行确定至少一个第一变换和至少一个第二变换的步骤。用户的眼睛相对于显示设备的姿态随着用户使用显示设备而变化，可以在用户使用显示设备时实时或接近实时地准确计算至少一个第一变换和至少一个第二变换。可选地，处理器或至少一个外部处理器被配置成计算实时校正模型，其中，给定的实时校正模型包括与校正对应于用户眼睛当前姿势的每像素畸变所需的至少一种变换有关的信息。这在用户眼睛相对于显示设备的姿态经常改变时尤其有用，这是因为预先计算的校正模型可能不包括用户眼睛的所有可能的相对姿态。
可选地，当确定给定变换时，处理器或至少一个外部处理器被配置成：基于给定眼睛相对于显示设备的给定部件的给定光轴的当前位置和方向，确定给定的输入图像帧的给定像素将在空间上移位的给定二维偏移，以生成对应畸变校正图像帧的对应像素。
可选地，其中，如果给定输入图像帧在没有畸变校正的情况下显示，则将给定输入图像帧的给定像素在空间上移位以生成对应畸变校正的图像帧的对应像素，来解决对于给定眼睛来说会比较明显的可能的几何畸变。应当理解，几何畸变会导致给定输入图像帧中视觉特征的物理属性(例如形状、大小、方向等)的明显变化。因此，给定输入图像帧的每个像素的前述空间移位对于生成对应于给定输入图像帧的畸变校正的图像帧来说非常有用。上述空间移位可以理解为“几何变换”。
应当理解，针对给定眼睛相对于给定光轴的不同姿态将产生不同的几何畸变。因此，基于给定眼睛相对于给定光轴的当前位置和方向来确定给定二维偏移。这使得给定输入图像帧的每个像素能够在空间上偏移所需的量度，以使得当显示畸变校正图像帧时，在所需的空间位置上的每个像素对用户是明显的。因此，用户看到的畸变校正图像帧是没有几何畸变的。
在上文中，术语“二维偏移”是指两个维度上的偏移。例如，给定输入图像帧的给定像素在空间上移位的给定二维偏移量可以是5个单位的水平(或X轴)偏移量以及3个单位的垂直(或Y轴)偏移量。应当理解，由于来自每个像素的光在行进到达用户的给定眼睛时经历了唯一的畸变，因此，给定输入图像帧的每个像素在空间上移位了唯一的量度。
可选地，基于与波长相关的像差的量，针对给定像素的每个颜色通道单独确定给定二维偏移。需要注意的是，给定像素包括三个颜色通道(具体为红色通道、绿色通道和蓝色通道)。由于这些颜色通道中的每个颜色通道对应的光的波长(或波长范围)不同，所以，当由相对于显示设备为次佳姿态的给定眼睛观看来自给定像素的光时，会产生与波长相关的像差。特别地，与给定像素的不同颜色通道对应的光经历不同程度的畸变(由于它们的不同波长)，并且即使该光从相同的像素发出，似乎也会入射到空间上不同的点处。因此，针对给定像素的每个颜色通道单独确定给定的二维偏移，以根据每个颜色通道对应的光的波长或波长范围来对给定像素的每个颜色通道进行空间移位。这为由于波长相关的像差而引入的色像差提供了补偿。
可选地，当确定给定变换时，处理器或至少一个外部处理器被配置成：基于给定眼睛相对于显示设备的给定部件的给定光轴的当前位置和方向，确定给定输入图像帧的给定像素的每颜色通道的颜色校正因子，其中，当该颜色校正因子应用于给定像素时，改变给定像素的每颜色通道的像素值。
可选地，其中，给定像素包括三个颜色通道(具体为红色通道、绿色通道和蓝色通道)，三个颜色通道中的每个颜色通道都与相应的像素值相关联。本文中，给定像素的给定颜色通道的术语“像素值”是指给定颜色通道的强度。给定像素的合成像素值是给定像素的所有组成颜色通道的像素值的相加总和。例如，与给定像素相关联的红色通道、蓝色通道和绿色通道的像素值可以分别是“64”、“224”和“208”。在该示例中，给定像素的合成像素值可以是“496”，且给定像素的颜色为“青绿色(turquoise)”。
可选地，基于给定眼睛相对于给定光轴的当前位置和方向来确定给定输入图像帧的给定像素的每个颜色通道的颜色校正因子。需要注意的是，由于与不同颜色通道相关联的的光的波长不同，因此，与给定像素的不同颜色通道对应的光在到达给定眼睛时会经历不同程度的畸变。此外，由于与给定颜色通道相关联的光将行进不同的光路入射到给定眼睛上，因此，针对给定眼睛的不同姿态，给定像素的给定颜色通道将经历不同量的畸变。因此，当来自给定像素的光到达给定眼睛时，给定眼睛相对于给定光轴的当前姿态用于确定给定像素的预期每颜色通道畸变，然后根据预期的每颜色通道畸变来确定给定像素的每颜色通道的颜色校正因子，以解决与给定眼睛的当前姿态相对应的预期颜色畸变。当给定像素的每颜色通道的颜色校正因子应用于给定像素的像素值时，给定像素的合成像素值被调整为当来自给定像素的光入射到相对于给定光轴为当前姿态的给定眼睛时，给定像素具有所需的像素值。换言之，应用每颜色通道的颜色校正因子来补偿给定像素的颜色畸变，以向给定眼睛显示所需的给定像素颜色。这种颜色校正可以理解为“颜色变换”或“色度变换”。
应当理解，给定像素的每颜色通道像素值的变化也补偿给定像素的色相(hue)(取决于红色通道、蓝色通道和绿色通道的相对像素值)。
例如，与具有青绿色(在前面的示例中描述)的给定像素的红色通道、蓝色通道和绿色通道相关联的颜色校正因子可以分别是“0”、“-50”和“-38”。因此，给定像素的红色通道、蓝色通道和绿色通道的改变后的像素值现在分别为“64”、“174”和“170”。给定像素的改变后的合成像素值可以是“408”，并且给定像素将具有“浅海绿色(light sea green)”。
处理器或至少一个外部处理器分别将至少一个第一变换和至少一个第二变换应用于至少一个第一输入图像帧和至少一个第二输入图像帧，以生成至少一个第一畸变校正图像帧和至少一第二畸变校正图像帧。这里，术语“畸变校正图像帧”是指当(通过给定的显示器或投影仪)显示时在给定的眼睛看来没有任何畸变的图像帧。使用与用户的给定眼睛的给定位置和方向对应的至少一个给定变换来生成给定的畸变校正图像帧。至少一个给定的变换对光从给定的畸变校正的图像帧的每个像素传播到达给定的眼睛的不同光学距离进行补偿，使得给定的畸变校正的图像帧在给定的眼睛看起来没有任何畸变。至少一个给定的变换可以包括下述项中的至少一种：几何变换、颜色变换、混合变换等。
应当理解，需要针对给定眼睛的不同位置和方向生成不同的畸变校正图像帧。
至少一个第一畸变校正图像帧和至少一个第二畸变校正图像帧分别通过至少一个第一显示器或投影仪和至少一个第二显示器或投影仪进行渲染。需要注意的是，至少一个第一畸变校正图像帧对应于要呈现给用户的第一眼睛的第一图像，至少一个第二畸变校正图像帧对应于要呈现给用户的第二眼睛的第二图像。用户看到的是经渲染的至少一个第一畸变校正图像帧和至少一个第二畸变校正图像帧。
可选地，至少一个第一显示器或投影仪包括第一背景(context)显示器或投影仪和第一焦点显示器或投影仪，并且至少一个第二显示器或投影仪包括第二背景显示器或投影仪和第二焦点显示器或投影仪。至少一个第一畸变校正图像帧包括将分别由第一背景显示器或投影仪和第一焦点显示器或投影仪渲染的第一畸变校正的背景图像帧和第一畸变校正的焦点图像帧，至少一个第二畸变校正图像帧包括将分别由第二背景显示器或投影仪和第二焦点显示器或投影仪渲染的第二畸变校正背景图像帧和第二畸变校正焦点图像帧，其中，显示设备还包括：
第一光学组合器，被布置成将第一畸变校正的背景图像帧的投影与第一畸变校正的焦点图像帧的投影进行光学组合，以向第一眼睛呈现第一视图；以及
第二光学组合器，被布置成将第二畸变校正的背景图像帧的投影与第二畸变校正的焦点图像帧的投影进行光学组合，以向第二眼睛呈现第二视图。
可选地，其中，至少一个第一显示器或投影仪和至少一个第二显示器或投影仪被实现为：中央凹跟随显示器(Fovea Contingent Display，FCD)或中央凹跟随投影仪(FoveaContingent Projector，FCP)，其在操作时渲染扩展现实环境在中心凹的视觉场景。
可选地，第一焦点显示器或投影仪的显示分辨率高于第一背景显示器或投影仪的显示分辨率。同样，可选地，第二焦点显示器或投影仪的显示分辨率高于第二背景显示器或投影仪的显示分辨率。
需要注意的是，给定的“畸变校正的焦点图像帧”是对应于视觉场景中的感兴趣区域或感兴趣区域的一部分的图像帧，而给定的“畸变校正的背景图像帧”是对应于视觉场景中与感兴趣区域或感兴趣区域的一部分不同的至少其他区域的图像帧。这里，术语“感兴趣区域”是指视觉场景中用户视线所指向(即聚焦)的区域。
在一个实施例中，给定的畸变校正的背景图像帧仅表示视觉场景中与感兴趣区域或感兴趣区域的一部分不同的其他区域。在另一实施例中，给定的畸变校正的背景图像帧表示整个视觉场景。
可选地，显示设备还包括跟踪用户眼睛视线方向的跟踪装置，其中，处理器或至少一个外部处理器被配置成从该跟踪装置获取表示用户眼睛的视线方向的信息，并基于该信息确定视觉场景中的感兴趣区域。可以理解的是，用户的第一眼睛的视线方向与用户的第二眼睛的视线方向不同。可选地，跟踪视线方向的装置通过带有传感器的隐形眼镜、监视用户眼睛瞳孔位置的摄像机等方式实现。这种跟踪视线方向的装置在本领域中是众所周知的。
在整个本公开中，术语“光学组合器”是指用于将给定的畸变校正的背景图像帧的投影与对应的畸变校正的焦点图像帧的投影进行光学组合以向给定眼睛呈现给定视图的设备(例如光学元件等)。在进行光学组合之后会产生给定视图的组合投影，其中，给定视图的组合投影是描绘给定视图的至少一个给定畸变校正图像帧的投影。
可选地，给定的光学组合器使得能够将给定的畸变校正的背景图像帧的投影与对应的畸变校正的焦点图像帧的投影进行光学组合，以将给定视图的组合投影中与感兴趣的区域对应的部分入射在给定眼睛的中央凹上。应当理解，给定的畸变校正的背景图像帧和对应的畸变校正的焦点图像帧基本上同时渲染，以避免在将其投影进行组合期间的时间滞后。
应当理解，给定的光学组合器被布置在给定的畸变校正的背景图像帧的投影的光路上以及给定的畸变校正的焦点图像帧的投影的光路上。
在上文中，术语“投影”是指当给定的图像帧在至少一个给定的显示器或投影仪上显示时从该至少一个给定的显示器或投影仪发出的光线的集合。给定的投影(即，光线的集合)可以在到达用户的眼睛之前通过显示设备的各个光学元件透射和/或从显示设备的各个光学元件反射。给定的投影可以与另一个投影进行组合以形成组合投影。出于本公开的实施例的目的，无论光线的集合是被透射还是被反射，都使用术语“投影”。
可选地，给定的光学组合器通过下述中的至少之一实现：透镜、反射镜、半透明反射镜、半透明薄膜、半透明柔性膜、棱镜、分束器、光波导、偏振器。
可选地，处理器或至少一个外部处理器被配置成：
-基于第一眼睛的当前位置和方向确定第一畸变校正的焦点图像帧的至少一部分的不透明度值和第一畸变校正的背景图像帧的至少一部分的不透明度值，其中，第一畸变校正的焦点图像帧的该部分的投影将与第一畸变校正的背景图像帧的该部分的投影进行光学组合；以及
-基于第二眼睛的当前位置和方向确定第二畸变校正的焦点图像帧的至少一部分的不透明度值和第二畸变校正的背景图像帧的至少一部分的不透明度值，其中，第二畸变校正的焦点图像帧的该部分的投影将与第二畸变校正的背景图像帧的该部分的投影进行光学组合。
可选地，第一畸变校正的焦点图像帧和第一畸变校正的背景图像帧的上述部分(将针对该部分确定不透明度值)表示不同角分辨率下在第一畸变校正的焦点图像帧和第一畸变校正的背景图像帧中视觉场景的相同区域。同样，第二畸变校正的焦点图像帧和第二畸变校正的背景图像帧的上述部分(将针对该部分确定不透明度值)表示不同角分辨率下在第二畸变校正的焦点图像帧和第二畸变校正的背景图像帧中视觉场景的相同区域。在这种情况下，多个显示***(即，第一背景显示器或投影仪和第一焦点显示器或投影仪，以及第二背景显示器或投影仪和第二焦点显示器或投影仪)在显示设备内提供注视点渲染(foveated rendering)。
可选地，给定畸变校正的焦点图像帧的给定部分的投影与给定畸变校正的背景图像帧的给定部分的投影的光学组合形成该给定部分的混合。在这种情况下，该给定部分可以理解为相加混合。需要注意的是，当给定眼睛以不同姿态观看时，与该部分的光学组合对应的给定视图的区域将看起来具有不同的混合畸变。因此，可选地，基于给定眼睛的当前姿态来确定给定畸变校正的焦点图像帧和给定畸变校正的背景图像帧的给定部分的不透明度值，以解决当从给定眼睛的当前姿态的角度观看给定视图的该区域时可见的可能混合畸变。
应当理解，当将确定的不透明度值应用于给定畸变校正的焦点图像帧和给定畸变校正的背景图像帧的给定部分时，在与这些部分的光学组合相对应的给定视图的区域，实现了最佳的混合衰落效果。作为结果，给定的视图在给定的眼睛看来是无缝且逼真的。这种不透明度调整可以理解为“混合变换”。
可选地，该显示设备还包括至少一个第一致动器和至少一个第二致动器，其中，处理器被配置成：
-基于第一眼睛的当前位置和方向，控制至少一个第一致动器以相对于第一光学组合器的表面上第一畸变校正的背景图像帧的投影的位置来调整第一畸变校正的焦点图像帧的投影的位置；以及
-基于第二眼睛的当前位置和方向，控制至少一个第二致动器以相对于第二光学组合器的表面上第二畸变校正的背景图像帧的投影的位置来调整第二畸变校正的焦点图像帧的投影的位置。
在这点上，可以理解，第一畸变校正的焦点图像帧的投影的位置可以可选地相对于第一畸变校正的背景图像帧的投影的位置进行调整，以确保第一视图的组合投影中对应于感兴趣区域的部分入射在第一眼睛的中央凹上。上述调整是基于第一眼睛的当前位置和方向进行的，这是因为第一眼睛的中央凹是第一眼睛的一部分，其位置和方向随着第一眼睛的位置和方向的变化而变化。
同样地，第二畸变校正的焦点图像帧的投影位置可选地相对于第二畸变校正的背景图像帧的投影的位置进行调整，以确保第二视图的组合投影中对应于感兴趣区域的部分入射在第二眼睛的中央凹上。上述调整是基于第二眼睛的当前位置和方向进行的，这是因为第二眼睛的中央凹是第二眼睛的一部分，其位置和方向随着第二眼睛的位置和方向的变化而变化。
在整个本公开中，术语“致动器”是指用于移动其相关联的组件的设备(例如，诸如电气组件、机械组件、磁性组件、聚合物组件等)。至少一个致动器被控制以通过下述项中的至少之一来移动其相关联的组件：位移组件、旋转组件、倾斜组件。需要注意的是，由致动信号驱动至少一个致动器。应当理解，该致动信号可以是机械扭矩、电流、液压、气压等。
可选地，通过下述方式中的至少之一相对于第一光学组合器的表面上第一畸变校正的背景图像帧的投影的位置来调整第一畸变校正的焦点图像帧的投影的位置：
-相对于第一光学组合器移动至少一个第一焦点显示器或投影仪，
-相对于至少一个第一焦点显示器或投影仪移动至少一个第一光学元件，该至少一个第一光学元件位于第一光学组合器和至少一个第一焦点显示器或投影仪之间的光路上，
-移动第一光学组合器。
应当理解，上述移动是通过至少一个第一致动器进行的，并且包括平移移动、旋转移动、倾斜移动等。
可选地，通过下述方式中的至少之一相对于第二光学组合器的表面上第二畸变校正的背景图像帧的投影的位置来调整第二畸变校正的焦点图像帧的投影位置：
-相对于第二光学组合器移动至少一个第二焦点示器或投影仪，
-相对于至少一个第二焦点显示器或投影仪移动至少一个第二光学元件，该至少一个第二光学元件位于第二光学组合器和至少一个第二焦点显示器或投影仪之间的光路上，
-移动第二光学组合器。
应当理解，上述移动是通过至少一个第二致动器进行的，并且包括平移移动、旋转移动、倾斜移动等。
可选地，处理器或至少一个外部处理器被配置成：分别基于第一眼睛的当前位置和方向以及第二眼睛的当前位置和方向，确定至少一个第一畸变校正图像帧的至少一个第一遮挡区域以及至少一个第二畸变校正图像帧的至少一个第二遮挡区域。
其中，处理器被配置成：
-控制至少一个第一显示器或投影仪仅渲染至少一个第一畸变校正图像帧中除至少一个第一遮挡区域之外的区域；以及
-控制至少一个第二显示器或投影仪仅渲染至少一个第二畸变校正图像帧中除至少一个第二遮挡区域之外的区域。
在整个本公开中，术语“遮挡区域”是指给定的畸变校正图像帧中用户的给定眼睛无法看到的区域。通常，给定畸变校正图像帧的遮挡区域沿着给定畸变校正图像帧的***，并且由于给定眼睛无法看到遮挡区域，因此不渲染该遮挡区域。应当理解，给定眼睛的不同姿态对应于给定眼睛观看给定畸变校正图像帧的不同视角。因此，根据给定眼睛的当前姿态确定至少一个给定遮挡区域，以准确对应给定眼睛的当前视角(从给定眼睛的当前姿态)。
应当理解，由于不渲染至少一个第一遮挡区域和至少一个第二遮挡区域，因此，在仅渲染至少一个第一畸变校正图像帧和至少一个第二畸变校正图像帧的选择性区域的同时实现了更好的渲染性能。例如，因为仅渲染所需的视觉信息，而不是整个可用的视觉信息，因此当仅渲染所述选择区域时可以减少渲染时间。
可选地，当控制至少一个第一显示器或投影仪渲染至少一个第一畸变校正图像帧的选择区域时，处理器被配置成仅用至少一个第一畸变校正图像帧中除至少一个第一遮挡区域以外的区域来填充至少一个第一显示器或投影仪的渲染缓冲区。同样地，可选地，当控制至少一个第二显示器或投影仪渲染至少一个第二畸变校正图像帧的选择区域时，处理器被配置成仅用至少一个第二畸变校正图像帧中除至少一个第二遮挡区域以外的区域来填充至少一个第二显示器或投影仪的渲染缓冲区。需要注意的是，处理器根据第一遮挡区域和第二遮挡区域的大小来确定上述渲染缓冲区的最佳大小，这减少了渲染缓冲区上不需要的处理负担。
本公开还涉及如上所述的方法。以上公开的各种实施例和变体也适用于该方法。
可选地，在该方法中，确定给定变换的步骤包括：基于给定眼睛相对于显示设备的给定部件的给定光轴的当前位置和方向，确定给定的输入图像帧的给定像素将在空间上移位的给定二维偏移，以生成对应畸变校正的图像帧的对应像素。
可选地，在该方法中，基于与波长相关的像差的量，为给定像素的每个颜色通道单独确定给定二维偏移。
可选地，在该方法中，确定给定变换的步骤包括：基于给定眼睛相对于显示设备的给定部件的给定光轴的当前位置和方向，确定给定输入图像帧的给定像素的每颜色通道的颜色校正因子。当该颜色校正因子应用于给定像素时，改变给定像素的每颜色通道的像素值。
可选地，在该方法中，至少一个第一显示器或投影仪包括第一背景显示器或投影仪和第一焦点显示器或投影仪，至少一个第二显示器或投影仪包括第二背景显示器或投影仪和第二焦点显示器或投影仪。至少一个第一畸变校正图像帧包括分别在第一背景显示器或投影仪和第一焦点显示器或投影仪上渲染的第一畸变校正的背景图像帧和第一畸变校正的焦点图像帧，至少一个第二畸变校正图像帧包括分别在第二背景显示器或投影仪和第二焦点显示器或投影仪上渲染的第二畸变校正的背景图像帧和第二畸变校正的焦点图像帧，其中，显示器设备包括第一光学组合器和第二光学组合器。该方法还包括：
-经由第一光学组合器将第一畸变校正的背景图像帧的投影与第一畸变校正的焦点图像帧的投影进行光学组合以向第一眼睛呈现第一视图；以及
-经由第二光学组合器将第二畸变校正的背景图像帧的投影与第二畸变校正的焦点图像帧的投影进行光学组合以向第二眼睛呈现第二视图。
可选地，该方法还包括：
-基于第一眼睛的当前位置和方向确定第一畸变校正的焦点图像帧的至少一部分的不透明度值和第一畸变校正的背景图像帧的至少一部分的不透明度值，其中，第一畸变校正的焦点图像帧的该部分的投影与第一畸变校正的背景图像帧的该部分的投影进行光学组合；以及
-基于第二眼睛的当前位置和方向确定第二畸变校正的焦点图像帧的至少一部分的不透明度值和第二畸变校正的背景图像帧的至少一部分的不透明度值，其中，第二畸变校正的焦点图像帧的该部分的投影与第二畸变校正的背景图像帧的该部分的投影进行光学组合。
可选地，该方法还包括：
-基于第一眼睛的当前位置和方向相对于第一光学组合器的表面上第一畸变校正的背景图像帧的投影的位置来调整第一畸变校正的焦点图像帧的投影的位置；以及
-基于第二眼睛的当前位置和方向相对于第一光学组合器的表面上第二畸变校正的背景图像帧的投影的位置来调整第二畸变校正的焦点图像帧的投影的位置。
可选地，该方法还包括：
-分别基于第一眼睛的当前位置和方向以及第二眼睛的当前位置和方向，确定该至少一个第一畸变校正图像帧的至少一个第一遮挡区域以及至少一个第二畸变校正图像帧的至少一个第二遮挡区域；
-控制至少一个第一显示器或投影仪仅渲染至少一个第一畸变校正图像帧中除至少一个第一遮挡区域之外的其他区域；以及
-控制至少一个第二显示器或投影仪仅渲染至少一个第二畸变校正图像帧中除至少一个第二遮挡区域之外的其他区域。
具体附图说明
参考图1，示出了根据本公开实施例的显示设备100的架构框图。显示设备100包括至少一个第一显示器或投影仪(描绘为第一显示器或投影仪102)、至少一个第二显示器或投影仪(描绘为第二显示器或投影仪104)、第一部件(未示出)和第二部件(未示出)、跟踪第一眼睛的位置和方向以及第二眼睛的位置和方向的跟踪装置106以及处理器108。处理器108被耦接到第一显示器或投影仪102、第二显示器或投影仪104以及跟踪装置106。第一显示器或投影仪102在操作时显示要向用户的第一眼睛呈现的第一图像。第二显示器或投影仪104在操作时显示要向用户的第二眼睛呈现的第二图像。第一部件与第二部件被布置成分别面向第一眼睛和第二眼睛。第一部件和第二部件分别具有第一光轴和第二光轴。跟踪第一眼睛的位置和方向以及第二眼睛的位置和方向的跟踪装置106分别相对于第一光轴和第二光轴。
处理器108或通信地耦接到处理器108的至少一个外部处理器(描绘为外部处理器110)被配置成：
-分别获取第一眼睛相对于第一光轴的当前位置和方向以及第二眼睛相对于第二光轴的当前位置和方向；
-分别基于第一眼睛的当前位置和方向以及第二眼睛的当前位置和方向，确定将应用于至少一个第一输入图像帧的至少一个第一变换以及将应用于至少一个第二输入图像帧的至少一个第二变换，其中，给定的变换将被用于校正当给定的显示器或投影仪上显示给定输入图像帧时产生的明显的每像素畸变；以及-将至少一个第一变换和至少一个第二变换分别应用于至少一个第一输入图像帧和至少一个第二输入图像帧，以生成至少一个第一畸变校正图像帧和至少一个第二畸变校正图像帧。
其中，处理器108被配置成分别通过第一显示器或投影仪102和第二显示器或投影仪104来渲染至少一个第一畸变校正图像帧和至少一个第二畸变校正图像帧。
参考图2，示出了根据本公开另一实施例的显示设备200的架构框图。显示设备200包括至少一个第一显示器或投影仪(描绘为第一显示器或投影仪202)、至少一个第二显示器或投影仪(描绘为第二显示器或投影仪204)、第一部件(未示出)和第二部件(未示出)、跟踪第一眼睛的位置和方向以及第二眼睛的位置和方向的跟踪装置206以及处理器208。第一显示器或投影仪202还包括第一背景显示器或投影仪210和第一焦点显示器或投影仪212。第二显示器或投影仪204还包括第二背景显示器或投影仪214和第二焦点显示器或投影仪216。显示设备200还包括第一光组合器218、第二光组合器220、至少一个第一致动器(描绘为第一致动器222)以及至少一个第二致动器(描绘为第二致动器224)。处理器208可通信地耦接到第一显示器或投影仪202、第二显示器或投影仪204、跟踪装置206和至少一个外部处理器(描绘为外部处理器226)。处理器208还可通信地耦接到第一致动器222和第二致动器224。
本领域技术人员可以理解，图1和图2为了清楚起见分别包括显示设备100和200的简化架构，其不应对权利要求的范围造成不适当的限缩。本领域技术人员将认识到本公开的实施例的各种变化、替代和修改。
参考图3，示出了根据本公开的实施例的显示设备300相对于用户的第一眼睛302和第二眼睛304的布置的示意图。显示设备300包括第一部件306和第二部件308。当用户佩戴显示设备300操作时，第一部件306和第二部件308分别被布置为面向第一眼睛302和第二眼睛304。第一部件306和第二部件308分别具有第一光轴F-F’和第二光轴S-S’。
参考图4A和4B，图4A是根据本公开的实施例的给定眼睛402相对于给定光轴A-A’的最佳位置和方向的示意图。图4B是根据本公开的实施例的给定眼睛402相对于给定光轴A-A’的次佳位置和方向的示意图。本领域技术人员可以理解，图4A和4B代表示例性示意图，其不应对权利要求的范围造成不适当的限缩。本领域技术人员将认识到本公开的实施例的各种变化、替代和修改。
在图4A和4B中，给定光轴A-A’对应于显示设备的给定部件，其中，给定部件容纳显示设备中对应于给定眼睛402的若干光学组件404。
在图4A中，给定眼睛402相对于给定的光轴A-A’位于最佳位置(特别地，位于给定光轴A-A’上的位置X)且定向在最佳方向(特别地，当给定眼睛402的光轴B-B'与给定光轴A-A’对齐时)。
在图4B中，给定眼睛402相对于给定的光轴A-A’位于次佳位置(特别地，位于不在给定光轴A-A’上的位置X’)且定向在次佳方向(特别地，当给定眼睛402的光轴B-B’不与给定光轴A-A'对齐时)。
参考图5A、5B和5C，图5A是根据本公开的实施例的输入图像帧500的示意图；图5B根据本公开的实施例的是当给定眼睛相对于对应的光轴位于最佳位置和方向时该给定眼睛可见的输入图像帧500的视图的示意图；图5C是根据本公开的实施例的当给定眼睛相对于对应的光轴处于示例性次佳位置和方向时该给定眼睛可见的输入图像帧500的视图的示意图。本领域技术人员可以理解，图5A、5B和5C代表示例性示意图，其不应对权利要求的范围造成不适当的限缩。本领域技术人员将认识到本公开的实施例的各种变化、替代和修改。
在图5A中，输入图像帧500描绘了飞机驾驶舱。值得注意的是，在输入图像帧500中示出了飞机驾驶舱的前面板和顶面板。前面板和顶面板都包括若干控制器(例如，描绘为圆形和矩形)。
当给定的眼睛相对于其对应的光轴处于最佳位置和方向并且输入图像帧500在显示设备处渲染时，给定的眼睛可以看到图5B中示出的视图。该视图准确且充分地描绘了输入图像帧500的飞机驾驶舱。换言之，该视图与输入图像帧500中描绘的飞机驾驶舱的视图相同。
当给定的眼睛相对于其对应的光轴处于次佳位置和方向并且输入图像帧500在显示设备处渲染时，给定的眼睛可以看到图5C中示出的视图。该视图不准确且不充分地描绘了输入图像帧500的飞机驾驶舱。值得注意的是，在该视图中，前面板和顶面板仅部分可见，该视图不准确地示出了它们的尺寸，且扭曲了它们的形状。此外，控制器的形状和尺寸也被不准确地描绘(例如，在图5A的输入图像框5500中，顶面板中的一组3个控制器具有圆形形状和较小尺寸，而在图5C的视图中，顶面板上相同的3个控制器具有椭圆形状和更大的尺寸)。
参考图6A和图6B，图6A是根据本公开的实施例的当用户的给定眼睛相对于相应的光轴处于最佳位置和方向时给定输入图像帧600的给定遮挡区域602的示意图，图6B是根据本公开的实施例的当给定眼睛相对于相应的光轴处于次佳位置和方向时给定输入图像帧600的给定遮挡区域604的示意图。本领域技术人员可以理解，图6A和图6B代表示例性示意图，其不应对权利要求的范围造成不适当的限缩。本领域技术人员将认识到本公开的实施例的各种变化、替代和修改。
在图6A和图6B中，给定的输入图像帧600被认为是在没有任何畸变校正的情况下在显示设备处渲染的。
当给定眼睛相对于其相应的光轴处于最佳位置和方向时，图6A的遮挡区域602在给定输入图像帧600内最佳地成形以及放置。值得注意的是，给定输入图像帧600中仅除了遮挡区域602之外的区域对用户可见并且在显示设备中渲染，而遮挡区域602不在显示设备处渲染。
当给定的眼睛相对于其相应的光轴处于次佳位置和方向时，图6B的遮挡区域604在给定输入图像帧600内次佳地成形以及放置。值得注意的是，给定输入图像帧600中位于虚线边界内的部分606对用户是可见的。由于遮挡区域604是次佳的，因此部分606中属于遮挡区域604的子部分608(描绘为虚线区域)将不会渲染。为了向用户展示子部分608，遮挡区域604将针对给定的输入图像帧600被最佳地重新定形以去除该子部分608，或者，在渲染之前对给定的输入图像帧600进行畸变校正。
参考图7，示出了根据本公开的实施例的用于校正显示设备的图像畸变的方法的步骤。显示设备包括至少一个第一显示器或投影仪、至少一个第二显示器或投影仪、以及被布置为分别面向用户的第一眼睛和第二眼睛第一部件和第二部件，该第一部件和第二部件分别具有第一光轴和第二光轴。步骤702，分别跟踪第一眼睛相对于第一光轴的当前位置和方向以及第二眼睛相对于第二光轴的当前位置和方向；步骤704，分别基于第一眼睛的当前位置和方向以及第二眼睛的当前位置和方向来确定将应用于至少一个第一输入图像帧的至少一个第一变换和将应用于至少一个第二输入图像帧的至少一个第二变换；给定的变换将被用于校正在给定的显示器或投影仪上显示给定输入图像帧时产生的明显的每像素畸变。步骤706，将至少一个第一变换和至少一个第二变换分别应用于至少一个第一输入图像帧和至少一个第二输入图像帧，以生成至少一个第一畸变校正图像帧和至少一个第二畸变校正图像帧。步骤708，至少一个第一畸变校正图像帧和至少一个第二畸变校正图像帧分别通过至少一个第一显示器或投影仪和至少一个第二显示器或投影仪渲染。
步骤702至步骤708仅仅是说明性的，在不脱离本文权利要求的范围的情况下，还可以提供其他替代方案，其中，可以添加一个或多个步骤、移除一个或多个步骤、或者以不同的顺序提供一个或多个步骤。
在不脱离所附权利要求限定的本公开的范围的情况下，可以对上文描述的本公开的实施例进行修改。用于描述和要求保护本公开的诸如“包括”、“包含”、“结合”、“具有”、“是”等表述旨在以非排他性方式解释，即允许存在未明确描述的项目、组件或元素。对单数的引用也应理解为与复数相关。

Claims (16)

1.一种显示设备(100、200、300)，包括：
至少一个第一显示器或投影仪(102、202)，在操作时显示要向用户的第一眼睛(302)呈现的第一图像；
至少一个第二显示器或投影仪(102、202)，在操作时显示要向所述用户的第二眼睛(304)呈现的第二图像；
第一部件(306)和第二部件(308)，被布置成分别面向所述第一眼睛和所述第二眼睛，所述第一部件和所述第二部件分别具有第一光轴(F-F’)和第二光轴(S-S’)；
跟踪装置(106、206)，跟踪所述第一眼睛相对于所述第一光轴的位置和方向以及所述第二眼睛相对于所述第二光轴的位置和方向；以及
处理器(108、208)，耦接到所述至少一个第一显示器或投影仪、所述至少一个第二显示器或投影仪以及所述跟踪装置，其中，所述处理器或通信地耦接到所述处理器的至少一个外部处理器(110、226)被配置成：
-分别获取所述第一眼睛相对于所述第一光轴的当前位置和方向以及所述第二眼睛相对于所述第二光轴的当前位置和方向；
-分别基于所述第一眼睛的当前位置和方向以及所述第二眼睛的当前位置和方向，确定将应用于所述至少一个第一输入图像帧的至少一个第一变换以及将应用于所述至少一个第二输入图像帧的至少一个第二变换，其中，给定的变换将被用于校正在给定的显示器或投影仪上显示给定输入图像帧时产生的明显的每像素畸变；以及
-将所述至少一个第一变换和所述至少一个第二变换分别应用于所述至少一个第一输入图像帧和所述至少一个第二输入图像帧，以生成至少一个第一畸变校正图像帧和至少一个第二畸变校正图像帧，
其中，所述处理器被配置成分别通过所述至少一个第一显示器或投影仪和所述至少一个第二显示器或投影仪来渲染所述至少一个第一畸变校正图像帧和所述至少一个第二畸变校正图像帧。
2.根据权利要求1所述的显示设备(100、200、300)，其中，当确定给定变换时，所述处理器(108、208)或所述至少一个外部处理器(110、226)被配置成：基于给定眼睛相对于所述显示设备的给定部件的给定光轴的当前位置和方向，确定给定输入图像帧的给定像素将在空间上移位的给定二维偏移，以生成对应的畸变校正图像帧的对应像素。
3.根据权利要求2所述的显示设备(100、200、300)，其中，所述给定二维偏移基于与波长相关的像差的量、针对所述给定像素的每个颜色通道单独确定。
4.根据权利要求1、2或3所述的显示设备(100、200、300)，其中，当确定给定变换时，所述处理器(108、208)或所述至少一个外部处理器(110、226)被配置成：基于给定眼睛相对于所述显示设备的给定部件的给定光轴的当前位置和方向，确定给定输入图像帧的给定像素的每颜色通道的颜色校正因子，其中，当所述颜色校正因子应用于所述给定像素时，改变所述给定像素的每颜色通道像素值。
5.根据前述权利要求中任一项所述的显示设备(100、200、300)，其中，所述至少一个第一显示器或投影仪(202)包括第一背景显示器或投影仪(210)和第一焦点显示器或投影仪(212)，所述至少一个第二显示器或投影仪(204)包括第二背景显示器或投影仪(214)和第二焦点显示器或投影仪(216)，所述至少一个第一畸变校正图像帧包括分别在所述第一背景显示器或投影仪和所述第一焦点显示器或投影仪中渲染的第一畸变校正的背景图像帧和第一畸变校正的焦点图像帧，所述至少一个第二畸变校正图像帧包括分别在所述第二背景显示器或投影仪和所述第二焦点显示器或投影仪中渲染的第二畸变校正的背景图像帧和第二畸变校正的焦点图像帧，
其中，所述显示设备还包括：
第一光学组合器(218)，被布置成将所述第一畸变校正的背景图像帧的投影与所述第一畸变校正的焦点图像帧的投影进行光学组合，以向所述第一眼睛(302)呈现第一视图；以及
第二光学组合器(220)，被布置成将所述第二畸变校正的背景图像帧的投影与所述第二畸变校正的焦点图像帧的投影进行光学组合，以向所述第二眼睛(304)呈现第二视图。
6.根据权利要求5所述的显示设备(100、200、300)，其中，所述处理器(108、208)或所述至少一个外部处理器(110、226)被配置成：
-基于所述第一眼睛(302)的当前位置和方向确定所述第一畸变校正的焦点图像帧的至少一部分的不透明度值和所述第一畸变校正的背景图像帧的至少一部分的不透明度值，其中，所述第一畸变校正的焦点图像帧的所述部分的投影将与所述第一畸变校正的背景图像帧的所述部分的投影进行光学组合；以及
-基于所述第二眼睛(304)的当前位置和方向确定所述第二畸变校正的焦点图像帧的至少一部分的不透明度值和所述第二畸变校正的背景图像帧的至少一部分的不透明度值，其中，所述第二畸变校正的焦点图像帧的所述部分的投影将与所述第二畸变校正的背景图像帧的所述部分的投影进行光学组合。
7.根据权利要求5或6所述的显示设备(100、200、300)，所述显示设备还包括至少一个第一致动器(222)和至少一个第二致动器(224)，其中，所述处理器(108、208)被配置成：
-基于所述第一眼睛(302)的当前位置和方向，控制所述至少一个第一致动器以相对于所述第一光学组合器(218)的表面上所述第一畸变校正的背景图像帧的投影的位置来调整所述第一畸变校正的焦点图像帧的投影的位置；以及
-基于所述第二眼睛(304)的当前位置和方向，控制所述至少一个第二致动器以调整相对于所述第二光学组合器(220)的表面上所述第二畸变校正的背景图像帧的投影的位置来调整所述第二畸变校正的焦点图像帧的投影的位置。
8.根据前述权利要求中任一项所述的显示设备(100、200、300)，其中，所述处理器(108、208)或所述至少一个外部处理器(110、226)被配置成：分别基于所述第一眼睛(302)的当前位置和方向以及所述第二眼睛(304)的当前位置和方向，确定所述至少一个第一畸变校正图像帧的至少一个第一遮挡区域以及所述至少一个第二畸变校正图像帧的至少一个第二遮挡区域。
其中，所述处理器被配置成：
-控制所述至少一个第一显示器或投影仪(102、202)仅渲染所述至少一个第一畸变校正图像帧中除所述至少一个第一遮挡区域之外的区域；以及
-控制所述至少一个第二显示器或投影仪(104、204)仅渲染所述至少一个第二畸变校正图像帧中除所述至少一个第二遮挡区域之外的区域。
9.一种用于校正显示设备(100、200、300)的图像畸变的方法，所述显示设备包括至少一个第一显示器或投影仪(102、202)、至少一个第二显示器或投影仪(104、204)、以及被布置成分别面向用户的第一眼睛(302)和第二眼睛(304)的第一部件(306)和第二部件(308)，所述第一部件和所述第二部件分别具有第一光轴(F-F’)和第二光轴(S-S’)，
所述方法包括：
-分别跟踪所述第一眼睛相对于所述第一光轴的当前位置和方向以及所述第二眼睛相对于所述第二光轴的当前位置和方向；
-分别基于所述第一眼睛的当前位置和方向以及所述第二眼睛的当前位置和方向，确定将应用于至少一个第一输入图像帧的至少一个第一变换以及将应用于至少一个第二输入图像帧的至少一个第二变换，其中，给定的变换将被用于校正在给定的显示器或投影仪上显示给定输入图像帧时产生的明显的每像素畸变；
-将所述至少一个第一变换和所述至少一个第二变换分别应用于所述至少一个第一输入图像帧和所述至少一个第二输入图像帧，以生成至少一个第一畸变校正图像帧和至少一个第二畸变校正图像帧；以及
-分别通过所述至少一个第一显示器或投影仪和所述至少一个第二显示器或投影仪来渲染所述至少一个第一畸变校正图像帧和所述至少一个第二畸变校正图像帧。
10.根据权利要求9所述的方法，其中，确定给定的变换的步骤包括：基于给定眼睛相对于所述显示设备(100、200、300)的给定部件的给定光轴的当前位置和方向，确定给定输入图像帧的给定像素将在空间上移位的给定二维偏移，以生成对应的畸变校正图像帧的对应像素。
11.根据权利要求10所述的方法，其中，所述给定二维偏移基于与波长相关的像差的量、针对所述给定像素的每个颜色通道单独确定。
12.根据权利要求9、10或11所述的方法，其中，确定给定的变换的步骤包括：基于给定眼睛相对于所述显示设备(100、200、300)的给定部件的给定光轴的当前位置和方向，确定给定输入图像帧的给定像素的每颜色通道的颜色校正因子，其中，当所述颜色校正因子应用于所述给定像素时，改变所述给定像素的每颜色通道像素值。
13.根据权利要求9至12中任一项所述的方法，其中，所述至少一个第一显示器或投影仪(202)包括第一背景显示器或投影仪(210)和第一焦点显示器或投影仪(212)，所述至少一个第二显示器或投影仪(204)包括第二背景显示器或投影仪(214)和第二焦点显示器或投影仪(216)，所述至少一个第一畸变校正图像帧包括分别在所述第一背景显示器或投影仪和所述第一焦点显示器或投影仪中渲染的第一畸变校正的背景图像帧和第一畸变校正的焦点图像帧，所述至少一个第二畸变校正图像帧包括分别在所述第二背景显示器或投影仪和所述第二焦点显示器或投影仪中渲染的第二畸变校正的背景图像帧和第二畸变校正的焦点图像帧，其中，所述显示设备(100、200、300)还包括第一光学组合器(218)和第二光学组合器(220)，
所述方法还包括：
-经由所述第一光学组合器将所述第一畸变校正的背景图像帧的投影与所述第一畸变校正的焦点图像帧的投影进行光学组合，以向所述第一眼睛(302)呈现第一视图；以及
-经由所述第二光学组合器将所述第二畸变校正的背景图像帧的投影与所述第二畸变校正的焦点图像帧的投影进行光学组合，以向所述第二眼睛(304)呈现第二视图。
14.根据权利要求13所述的方法，所述方法还包括：
-基于所述第一眼睛(302)的当前位置和方向确定所述第一畸变校正的焦点图像帧的至少一部分的不透明度值和所述第一畸变校正的背景图像帧的至少一部分的不透明度值，其中，将所述第一畸变校正的焦点图像帧的所述部分的投影与所述第一畸变校正的背景图像帧的所述部分的投影进行光学组合；以及
-基于所述第二眼睛(304)的当前位置和方向确定所述第二畸变校正的焦点图像帧的至少一部分的不透明度值和所述第二畸变校正的背景图像帧的至少一部分的不透明度值，其中，将所述第二畸变校正的焦点图像帧的所述部分的投影与所述第二畸变校正的背景图像帧的所述部分的投影进行光学组合。
15.根据权利要求13或14所述的方法，所述方法还包括：
-基于所述第一眼睛(302)的当前位置和方向，相对于所述第一光学组合器(218)的表面上所述第一畸变校正的背景图像帧的投影的位置来调整所述第一畸变校正的焦点图像帧的投影位置；以及
-基于所述第二眼睛(304)的当前位置和方向，相对于所述第二光学组合器(220)的表面上所述第二畸变校正的背景图像帧的投影的位置来调整所述第二畸变校正的焦点图像帧的投影的位置。
16.根据权利要求9至15中任一项所述的方法，所述方法还包括：
-分别基于所述第一眼睛(302)的当前位置和方向以及所述第二眼睛(304)的当前位置和方向，确定所述至少一个第一畸变校正图像帧的至少一个第一遮挡区域以及所述至少一个第二畸变校正图像帧的至少一个第二遮挡区域；
-控制所述至少一个第一显示器或投影仪(102、202)仅渲染所述至少一个第一畸变校正图像帧中除所述至少一个第一遮挡区域之外的其他区域；以及
-控制所述至少一个第二显示器或投影仪(104、204)仅渲染所述至少一个第二畸变校正图像帧中除所述至少一个第二遮挡区域之外的其他区域。
CN202080042084.9A 2019-11-26 2020-11-05 显示设备及用于校正该显示设备的图像畸变的方法 Pending CN114008665A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/696,515 2019-11-26
US16/696,515 US11228745B2 (en) 2019-11-26 2019-11-26 Display apparatus and method of correcting image distortion therefor
PCT/FI2020/050733 WO2021105549A1 (en) 2019-11-26 2020-11-05 Display apparatus and method of correcting image distortion therefor

Publications (1)

Publication Number Publication Date
CN114008665A true CN114008665A (zh) 2022-02-01

Family

ID=73449107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080042084.9A Pending CN114008665A (zh) 2019-11-26 2020-11-05 显示设备及用于校正该显示设备的图像畸变的方法

Country Status (4)

Country Link
US (1) US11228745B2 (zh)
EP (1) EP3966670B1 (zh)
CN (1) CN114008665A (zh)
WO (1) WO2021105549A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11379957B1 (en) * 2021-02-23 2022-07-05 Qualcomm Incorporated Head wearable display device calibrated for distortion correction using inter-pupillary distance
US11423569B1 (en) * 2021-04-09 2022-08-23 Varjo Technologies Oy Gaze-tracking system and method employing selective glints
GB2613194A (en) * 2021-11-29 2023-05-31 Samsung Electronics Co Ltd Image processing

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012172719A1 (ja) 2011-06-16 2012-12-20 パナソニック株式会社 ヘッドマウントディスプレイおよびその位置ずれ調整方法
US9025252B2 (en) 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
US9311883B2 (en) 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
NZ719204A (en) * 2012-01-24 2017-11-24 Univ Arizona Compact eye-tracked head-mounted display
US9523856B2 (en) 2014-01-21 2016-12-20 Osterhout Group, Inc. See-through computer display systems
US10459254B2 (en) 2014-02-19 2019-10-29 Evergaze, Inc. Apparatus and method for improving, augmenting or enhancing vision
KR102402467B1 (ko) 2016-10-05 2022-05-25 매직 립, 인코포레이티드 혼합 현실 교정을 위한 안구주위 테스트
WO2019143844A1 (en) 2018-01-17 2019-07-25 Magic Leap, Inc. Eye center of rotation determination, depth plane selection, and render camera positioning in display systems
KR20200108857A (ko) 2018-01-17 2020-09-21 매직 립, 인코포레이티드 디스플레이와 사용자의 눈들 사이의 정합을 결정하기 위한 디스플레이 시스템들 및 방법들
US10491890B1 (en) 2018-05-14 2019-11-26 Dell Products L.P. Systems and methods for automatic adjustment for vertical and rotational imbalance in augmented and virtual reality head-mounted displays
US11354787B2 (en) * 2018-11-05 2022-06-07 Ultrahaptics IP Two Limited Method and apparatus for correcting geometric and optical aberrations in augmented reality

Also Published As

Publication number Publication date
US11228745B2 (en) 2022-01-18
US20210160468A1 (en) 2021-05-27
WO2021105549A1 (en) 2021-06-03
EP3966670A1 (en) 2022-03-16
EP3966670B1 (en) 2023-01-04

Similar Documents

Publication Publication Date Title
US10317680B1 (en) Optical aberration correction based on user eye position in head mounted displays
JP6717377B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN110325895B (zh) 聚焦调整多平面头戴式显示器
US11079601B2 (en) Eye projection system and method
JP2021144227A (ja) 視線追跡情報に基づく画像領域内の適応パラメータ
EP3966670B1 (en) Display apparatus and method of correcting image distortion therefor
US10467770B2 (en) Computer program for calibration of a head-mounted display device and head-mounted display device using the computer program for calibration of a head-mounted display device
US20200081530A1 (en) Method and system for registering between an external scene and a virtual image
CN110082914A (zh) 包括用于校正差分失真的光学组件的光投影***
IL247922A (en) A combination of contracted and optics-based augmented reality in a close-up view
US10598941B1 (en) Dynamic control of optical axis location in head-mounted displays
US20170324944A1 (en) Video display apparatus, video display system, and video display method
US10789782B1 (en) Image plane adjustment in a near-eye display
US11442272B2 (en) High-resolution liquid crystal displays
US10698218B1 (en) Display system with oscillating element
JP2019125965A (ja) 表示装置
EP3859429B1 (en) Display apparatus and method of compensating for visual artifacts
US10989927B2 (en) Image frame synchronization in a near eye display
US11619814B1 (en) Apparatus, system, and method for improving digital head-mounted displays
WO2024122191A1 (ja) 画像処理装置及び方法、プログラム、記憶媒体
CN115509007A (zh) 增强现实显示设备与方法
CN116894877A (zh) 动态相机旋转校准

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40061033

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination