CN116670562A - 具有成像能力的显示*** - Google Patents

Abstract

一种显示器可包括反射显示面板、红外图像传感器和波导。该面板可以第一操作模式和第二操作模式操作，在该第一操作模式中，该面板将图像光朝该波导反射，在第二操作模式中，该面板将来自该波导的红外光朝该红外图像传感器反射。该面板还可将来自红外发射器的红外光朝该波导反射。如果需要，该红外图像传感器可邻近该波导上的反射输入耦合棱镜的反射表面安装。该红外图像传感器可通过该反射表面接收该红外光。如果需要，面向世界的相机可通过该波导接收世界光。可使用时间复用方案操作该显示模块和该面向世界的相机以防止该图像光干扰由该面向世界的相机捕获的图像。

Description

具有成像能力的显示***

本申请要求提交于2020年11月30日的美国临时专利申请号63/119,509的优先权，该美国临时专利申请据此全文以引用方式并入本文。

背景技术

本发明整体涉及光学***，并且更具体地讲，涉及用于显示器的光学***。

电子设备可包括向用户的眼睛呈现图像的显示器。例如，诸如虚拟现实和增强现实头戴式耳机之类的设备可包括具有允许用户观看显示器的光学元件的显示器。

设计设备诸如这些设备可能是有挑战性的。如果稍有不慎，用于显示内容的部件可能是难看且笨重的，可消耗过多电力，并且可能未表现出期望的光学性能水平。

发明内容

电子设备诸如头戴式设备可具有为用户产生图像的一个或多个近眼显示器。头戴式设备可以是一副虚拟现实眼镜，或者可以是增强现实头戴式耳机，其允许观察者观看计算机生成的图像和观察者周围环境中的真实世界对象两者。

显示器可包括显示模块和波导。显示模块可包括照明光学器件、反射显示面板和红外图像传感器。波导可具有被配置为将图像光耦合进该波导的输入耦合器。波导可具有被配置为将图像光耦合出该波导并朝适眼区耦合的输出耦合器。反射显示面板可具有第一操作模式和第二操作模式。在第一操作模式中，反射显示面板可通过将图像数据调制到由照明光学器件产生的照明光上来生成图像光。在第二操作模式中，反射显示面板可将来自波导的红外光朝红外图像传感器反射。红外图像传感器可基于红外光来收集红外图像传感器数据。如果需要，还可在显示模块中形成红外发射器以用于产生经由波导朝适眼区定向的附加红外光。红外光可以是从在显示器外部的对象(诸如用户的眼睛)反射离开的附加红外光的型式。反射显示面板可针对使用图像光显示的图像数据的每个帧处于第一操作模式和第二操作模式。控制电路可处理红外图像传感器数据以执行注视跟踪和/或光学对准操作。

如果需要，波导可包括反射输入耦合棱镜。红外图像传感器和任选地红外发射器可邻近反射输入耦合棱镜的反射表面安装。反射输入耦合棱镜可将图像光从显示模块耦合进波导中。红外图像传感器可通过反射输入耦合棱镜的反射表面接收来自波导的红外光。红外图像传感器可基于接收到的红外光来收集红外图像传感器数据。部分反射涂层可层合在反射表面上。部分反射涂层可使红外波长通过而同时反射可见波长。

如果需要，波导的***区域可安装到外壳。输入耦合器可安装到波导的***区域。面向世界的相机可安装到外壳、与输入耦合器相邻并与波导的***区域重叠。面向世界的相机可通过波导的***区域接收世界光。可使用时间复用方案操作面向世界的相机和显示模块以防止图像光干扰由面向世界的相机接收的世界光。

附图说明

图1是根据一些实施方案的具有成像能力的例示性显示***的图示。

图2是根据一些实施方案的用于具有显示模块的显示器的例示性光学***的顶视图，该显示模块向波导提供图像光。

图3是根据一些实施方案的具有反射显示面板的例示性显示模块的顶视图，该反射显示面板向波导提供图像光和从波导向显示模块中的红外图像传感器提供红外光。

图4是根据一些实施方案的具有反射显示面板的例示性显示模块的顶视图，该反射显示面板向波导提供图像光、从显示模块中的红外发射器向波导提供红外光和从波导向显示模块中的红外图像传感器提供红外光。

图5是根据一些实施方案的使用显示模块中的反射显示面板向波导提供图像光和从波导向显示模块中的红外图像传感器提供红外光所涉及的例示性操作的流程图。

图6是根据一些实施方案的示出可由显示模块中的反射显示面板使用以向波导提供图像光和从波导向显示模块中的红外图像传感器提供红外光的例示性时间复用方案的时序图。

图7是根据一些实施方案的示出例示性红外图像传感器可如何通过用于波导的输入耦合棱镜的反射表面从波导接收红外光的顶视图。

图8是根据一些实施方案的示出例示性红外发射器可如何透射红外光和红外图像传感器可如何通过用于波导的输入耦合棱镜的反射表面接收红外光的顶视图。

图9是根据一些实施方案的例示性显示***的前视图，该显示***具有向波导提供图像光的显示模块并具有经受来自图像光的潜在干扰的面向世界的相机。

图10是根据一些实施方案的在没有来自由显示模块产生的图像光的干扰的情况下操作图9所示的类型的面向世界的相机所涉及的例示性操作的流程图。

图11是根据一些实施方案的示出可由显示模块和面向世界的相机使用以减轻来自显示模块的图像光与面向世界的相机之间的干扰的例示性时间复用方案的时序图。

具体实施方式

图1中示出了一个例示性***，其具有带有一个或多个近眼显示***的设备。***10可以是头戴式设备，其具有一个或多个显示器，诸如安装在支撑结构(壳体)20内的近眼显示器14。支撑结构20可具有一副眼镜(例如，支撑框架)的形状，可形成具有头盔形状的外壳，或者可具有用于帮助将近眼显示器14的部件安装和固定在用户的头部上或眼睛附近的其他配置。近眼显示器14可包括一个或多个显示模块诸如显示模块14A，以及一个或多个光学***诸如光学***14B。显示模块14A可安装在支撑结构诸如支撑结构20中。每个显示模块14A可发射光22，使用光学***14B中的相关联的光学***将该光朝适眼区24处的用户眼睛重定向。光22在本文中有时可称为图像光22(例如，含有和/或表示可视事物诸如场景或对象的光)。

可使用控制电路16来控制***10的操作。控制电路16可包括用于控制***10的操作的存储和处理电路。电路16可包括存储装置，诸如硬盘驱动器存储装置、非易失性存储器(例如，被配置为形成固态驱动器的电可编程只读存储器)、易失性存储器(例如，静态或动态随机存取存储器)等。控制电路16中的处理电路可基于一个或多个微处理器、微控制器、数字信号处理器、基带处理器、电源管理单元、音频芯片、图形处理单元、专用集成电路以及其他集成电路。软件代码(指令)可存储在电路16中的存储器上，并且在电路16中的处理电路上运行，以实现用于***10的操作(例如，数据采集操作、涉及使用控制信号调节部件的操作、产生图像内容以向用户显示的图像渲染操作等)。

***10可包括输入输出电路诸如输入-输出设备12。输入-输出设备12可用于允许由***10从外部装置(例如，拴系计算机、便携式设备(诸如手持设备或膝上型计算机)或其他电气装置)接收数据，并且允许用户向***10提供用户输入。输入-输出设备12还可用于收集有关在其中操作的***10(例如，头戴式设备10)的环境的信息。设备12中的输出部件可允许***10向用户提供输出，并且可用于与外部电子装置通信。输入-输出设备12可包括传感器和其他部件18(例如，用于收集与***10中的显示器上的虚拟对象数字地合并的真实世界对象的图像的面向世界的相机(诸如图像传感器)、加速度计、深度传感器、光传感器、触觉输出设备、扬声器、电池、用于在***10与外部电子装备之间通信的无线通信电路等)。如果需要，部件18可包括注视跟踪传感器，该注视跟踪传感器在适眼区24处从用户的眼睛收集注视图像数据以实时跟踪用户的注视的方向。注视跟踪传感器可包括至少一个红外(IR)发射器，该至少一个IR发射器发射从用户的眼睛的部分反射离开的红外或近红外光。至少一个红外图像传感器可从反射红外或近红外光收集红外图像数据。例如，控制电路16可处理所收集的红外图像数据以识别或跟踪用户的注视的方向。

显示模块14A(在本文中有时称为显示引擎14A、光引擎14A或投影仪14A)可包括反射式显示器(例如，具有产生照明光(该照明光从反射式显示面板反射以产生图像光)的光源的显示器，诸如硅上液晶(LCOS)显示器、硅上铁电液晶(fLCOS)显示器、数字微镜设备(DMD)显示器或其他空间光调制器)、发射式显示器(例如，微发光二极管(uLED)显示器、有机发光二极管(OLED)显示器、基于激光的显示器等)或其他类型的显示器。显示模块14A中的光源可包括uLED、OLED、LED、激光器、这些器件的组合或任何其他所需的发光部件。

光学***14B可形成允许观察者(参见例如适眼区24处的观察者的眼睛)观察显示器14上的图像的透镜。可存在与用户的相应左眼和右眼相关联的两个光学***14B(例如，用于形成左透镜和右透镜)。单个显示器14可为双眼产生图像，或者一对显示器14可用于显示图像。在具有多个显示器(例如，左眼显示器和右眼显示器)的配置中，可选择由光学***14B中的部件形成的透镜的焦距和位置，使得显示器之间存在的任何间隙对于用户将是不可见的(例如，使得左显示器和右显示器的图像无缝地重叠或合并)。

如果需要，光学***14B可包括部件(例如，光学组合器等)以允许来自真实世界图像或对象25的真实世界图像光与虚拟(计算机生成的)图像诸如图像光22中的虚拟图像在光学上组合。在这种类型的***(有时称为增强现实***)中，***10的用户可查看真实世界内容和覆盖在真实世界内容之上的计算机生成的内容两者。基于相机的增强现实***也可用于***10中(例如，面向世界的相机捕获对象25的真实世界图像并将该内容与光学***14B处的虚拟内容数字地合并的布置)。

如果需要，***10可包括无线电路和/或其他电路，以支持与计算机或其他外部装置(例如，向显示器14提供图像内容的计算机)通信。在操作期间，控制电路16可将图像内容提供给显示器14。可以远程接收该内容(例如，从耦接到***10的计算机或其他内容源)和/或可以由控制电路16生成该内容(例如，文本、其他计算机生成的内容等)。由控制电路16提供给显示器14的内容可由适眼区24处的观察者观看。

图2是可在图1的***10中使用的例示性显示器14的顶视图。如图2所示，近眼显示器14可包括一个或多个显示模块诸如显示模块14A，以及一个光学***诸如光学***14B。光学***14B可包括光学元件诸如一个或多个波导26。波导26可包括由光学透明材料诸如塑料、聚合物、玻璃等所形成的一个或多个层叠基底(例如，层叠平面和/或弯曲层，在本文中有时称为“波导基底”)。

如果需要，波导26还可包括一层或多层全息记录介质(在本文中有时称为“全息介质”、“光栅介质”或“衍射光栅介质”)，在该全息记录介质上记录一个或多个衍射光栅(例如，全息相位光栅，在本文中有时称为“全息图”)。全息记录可存储为光敏光学材料诸如全息介质内的光学干涉图案(例如，不同折射率的交替区域)。该光学干涉图案可产生全息相位光栅，当用给定光源照射该全息相位光栅时，该全息相位光栅衍射光以产生全息记录的三维重建。全息相位光栅可以是用永久干涉图案编码的不可开关的衍射光栅，或者可以是可开关的衍射光栅，其中可以通过控制施加到全息记录介质的电场来调制射光。如果需要，可在相同体积的全息介质内记录多个全息相位光栅(全息图)(例如，叠加在相同体积的光栅介质内)。全息相位光栅可为例如体积全息图或光栅介质中的薄膜全息图。光栅介质可包括光聚合物、明胶诸如重铬酸盐明胶、卤化银、全息聚合物分散液晶或其他合适的全息介质。

波导26上的衍射光栅可包括全息相位光栅诸如体积全息图或薄膜全息图、元光栅或任何其他所需的衍射光栅结构。波导26上的衍射光栅还可包括形成在波导26中的基底的一个或多个表面上的表面凹凸光栅、由金属结构的图案形成的光栅等。衍射光栅可例如包括在相同体积的光栅介质内至少部分重叠的多个复用光栅(例如，全息图)(例如，用于以一个或多个对应的输出角度衍射不同颜色的光和/或来自不同输入角度范围内的光)。

光学***14B可包括准直光学器件34。准直光学器件34在本文中有时可称为目镜34、准直透镜34、光学器件34或透镜34。准直光学器件34可包括有助于将图像光22朝波导26定向的一个或多个透镜元件。如果需要，可省略准直光学器件34。如果需要，显示模块14A可安装在图1的支撑结构20内，而光学***14B可安装在支撑结构20的部分之间(例如，以形成与窥眼箱24对准的透镜)。如果需要，可使用其他安装布置。

如图2所示，显示模块14A可生成与要显示到(要显示于)适眼区24的图像内容相关联的图像光22。在图2的示例中，显示模块14A包括照明光学器件36和空间光调制器40。照明光学器件36可产生照明光38(在本文中有时称为照明38)并可使用照明光38照明空间光调制器40。空间光调制器40可调制照明光38(例如，使用图像数据)以产生图像光22(例如，包括由图像数据识别的图像的图像光)。空间光调制器40可以是反射空间光调制器(例如，DMD调制器、LCOS调制器、fLCOS调制器等)或透射空间光调制器(例如，LCD调制器)。这些示例仅是例示性的，并且如果需要，显示模块14A可包括发射显示面板而非空间光调制器。其中空间光调制器40是反射空间光调制器的示例在本文中作为示例进行描述。在其他合适的布置中，显示模块14A是包括发射显示面板而非空间光调制器的发射显示模块。

可使用准直光学器件34对图像光22进行准直。光学***14B可用于将从显示模块14A输出的图像光22呈现到适眼区24。光学***14B可包括一个或多个光学耦合器诸如输入耦合器28、交叉耦合器32和输出耦合器30。在图2的示例中，输入耦合器28、交叉耦合器32和输出耦合器30形成在波导26处或其上。输入耦合器28、交叉耦合器32和/或输出耦合器30可完全入在波导26的基底层内、可部分嵌入在波导26的基底层内、可安装到波导26(例如，安装到波导26的外表面)等。

图2的示例仅为例示性的。可省略这些耦合器中的一个耦合器或多个耦合器(例如，交叉耦合器32)。光学***14B可包括相对于彼此横向和/或竖直堆叠的多个波导。每个波导可包括耦合器28、耦合器32和耦合器30中的一个耦合器、两个耦合器、全部耦合器或不包括这些耦合器。如果需要，波导26可为至少部分弯曲的或弯折的。

波导26可经由全内反射沿其长度向下引导图像光22。输入耦合器28可被配置为将图像光22从显示模块14A耦合进波导26，而输出耦合器30可被配置为将图像光22从波导26内耦合到波导26外部并朝适眼区24。如果需要，输入耦合器28可包括输入耦合棱镜。作为示例，显示模块14A可沿+Y方向发射朝向光学***14B的图像光22。当图像光22撞击输入耦合器28时，输入耦合器28可重定向图像光22，使得该光在波导26内经由全内反射朝向输出耦合器30(例如，沿+X方向)传播。当图像光22撞击输出耦合器30时，输出耦合器30可将图像光22朝向窥眼箱24(例如，沿Y轴向后)离开波导26重新定向。例如，在交叉耦合器32形成在波导26处的场景中，交叉耦合器32可在图像光22沿波导26的长度向下传播时将该图像光重定向至一个或多个方向。

输入耦合器28、交叉耦合器32和输出耦合器30可基于反射光学器件和折射光学器件，或者可基于全息(例如，衍射)光学器件。在其中耦合器28、耦合器30和耦合器32由反射光学器件和折射光学器件形成的布置中，耦合器28、耦合器30和耦合器32可包括一个或多个反射器(例如，微镜、部分镜、装百叶窗镜、或其他反射器的阵列)。在耦合器28、耦合器30和耦合器32基于全息光学器件的布置中，耦合器28、耦合器30和耦合器32可包括衍射光栅(例如，体积全息图、表面凹凸光栅等)。可使用全息和反射光学器件的任何期望组合来形成耦合器28、30和32。

在本文中有时作为示例描述的一种合适的布置中，输出耦合器30由嵌入在波导26内的衍射光栅或微镜(例如，堆叠在透明聚合物波导基底之间的光栅介质上记录的体积全息图，嵌入插置在透明聚合物波导基底之间的聚合物层中的微镜阵列等)形成，而输入耦合器28包括安装到波导26的外表面(例如，由接触用于形成输出耦合器30的光栅介质或聚合物层的波导基底所限定的外表面)的反射棱镜或衍射光栅结构的一个或多个层。

除了在适眼区24处使用图像光22显示图像之外，显示器14还可具有成像能力。例如，显示器14可包括捕获外部对象诸如对象25的图像的面向世界的相机。如果需要，显示器14可附加地或另选地包括一个或多个红外图像传感器。红外图像传感器可用于确保左适眼区24的显示模块14A和光学***14B与右适眼区24的显示模块14A和光学***14B正确对准。红外图像传感器可附加地或另选地用于捕获注视跟踪信息。

例如，显示器14可包括一个或多个红外发射器。红外发射器可发射呈红外或近红外波长的光。由红外发射器发射的光在本文中有时可称为红外光，即使该光包括近红外波长。红外光可在适眼区24处从用户的眼睛的部分反射离开。如果需要，波导26可用于帮助将红外光朝适眼区24引导。一个或多个红外图像传感器可通过捕获从用户的眼睛反射离开的红外光来生成红外图像传感器数据。控制电路16可使用红外图像传感器数据来识别用户的凝视的方向、随时间推移跟踪用户的注视的方向和/或确保左适眼区与右适眼区之间的正确光学对准(例如，控制电路16可对显示模块中的一个或多个显示模块实行数字和/或机械调整以确保左适眼区与右适眼区之间存在正确光学对准以实现令人满意的双目视觉)。如果需要，波导26可用于帮助将反射红外光朝红外图像传感器引导。

为了最小化显示器14的体积，显示模块14A可包含红外图像传感器中的至少一者。红外图像传感器可收集红外图像传感器数据来执行注视跟踪和/或光学对准操作。图3是示出显示模块14A可如何包括红外图像传感器的一个示例的图示。

如图3所示，显示模块14A可包括向空间光调制器40提供照明光38的照明光学器件36。空间光调制器40可将图像(例如，一系列图像数据帧)调制到照明光38上以产生图像光22。可通过准直光学器件34将图像光22朝波导26的输入耦合器28定向。准直光学器件34可包括一个或多个透镜元件。

照明光学器件36可包括一个或多个光源。照明光学器件36中的光源可包括LED、OLED、uLED、激光器等。照明光学器件36中的每个光源可发射照明光38的相应部分。如果需要，照明光学器件36可包括部分反射结构，诸如X板或其他光学组合器，该部分反射结构将由照明光学器件36中的每个光源发射的光组合成照明光38。如果需要，可使用透镜元件(为了清楚起见，图3未示出)来帮助将照明光38从照明光学器件36定向到空间光调制器40。

空间光调制器40可包括棱镜62(例如，由两个或更多个堆叠的光学楔子形成的棱镜，该两个或更多个堆叠的光学楔子任选地具备一个或多个反射或部分反射涂层)。在图3的示例中，空间光调制器40是包括反射显示面板诸如显示面板60的反射空间光调制器。显示面板60可以是DMD面板、LCOS面板、fLCOS面板或其他反射显示面板。棱镜62可将照明光38定向到显示面板60(例如，显示面板60上的不同像素)上。控制电路16(图1)可控制显示面板60以在每个像素位置处选择性地反射照明光38以产生图像光22(例如，具有如由显示面板60调制到照明光上的图像的图像光)。棱镜62可将图像光22朝准直光学器件34定向。

为了进一步优化显示模块14A的性能而同时最小化体积，空间光调制器40可包括动力棱镜诸如动力棱镜65。动力棱镜65可安装到棱镜62或可与棱镜62间隔开。照明光38可穿过棱镜62进入动力棱镜65并可朝显示面板60从动力棱镜65的反射表面61反射离开。反射表面61可以是弯曲的，以向照明光38赋予光学功率，而同时还将照明光朝显示面板60定向。反射表面61可具有球面曲率、非球面曲率、自由形状曲率或任何其他期望曲率。部分反射层诸如部分反射涂层64可层合在反射表面61上。部分反射涂层64可反射照明光38的波长(例如，可见波长)的光，而同时透射其他波长(例如，近红外和红外波长)的光。图3的示例仅是例示性的，并且在其他合适的布置中，反射表面61可以是平面的，或者可省略动力棱镜65。在省略动力棱镜65的场景下，部分反射涂层64可层合到与显示面板60相对的棱镜62的表面上或可层合到与棱镜62分离的透镜元件上。在空间光调制器40包括动力棱镜65的场景下，动力棱镜65(例如，反射表面61和/或部分反射涂层64)可向照明光38添加光学功率以匹配显示面板60的f数，而同时相对于使用单独透镜的场景而占据更少体积且引入更少色差。

显示模块14A还可包括红外成像模块52。例如，棱镜62可光学插置在显示面板60与红外成像模块52之间。红外成像模块52可包括红外图像传感器58(例如，CMOS相机)。一个或多个透镜元件诸如透镜元件56可光学插置在红外图像传感器58与棱镜62之间。红外图像传感器58可基于从波导26接收到的红外光来生成红外图像传感器数据。

当显示模块14A正在用于在适眼区处显示图像数据帧时，照明光学器件36可发射照明光38，并且控制电路16可基于要在适眼区处显示的图像数据帧来控制显示面板60的像素。显示面板60中的每个像素的状态由图像数据帧确定。根据图像数据帧中的对应像素值，显示面板中的像素可例如处于“导通”状态或“关断”状态。显示面板60可反射照明光38以产生图像光22(例如，显示面板60可在产生图像光22时将图像数据帧调制到照明光38上)。准直光学器件34可将图像光22定向到输入耦合器28。

在图3的示例中，输入耦合器28包括反射输入耦合棱镜50，该反射输入耦合棱镜安装到波导26的与显示模块14A相对的侧向表面。反射输入耦合棱镜50具有反射表面54，该反射表面相对于波导26的侧向表面以非平行且非垂直角倾斜。反射表面54还可相对于图3的X-Y平面倾斜和/或可以是弯曲的。反射输入耦合棱镜50可将图像光22耦合进波导26中。例如，反射表面54可以一定角度将图像光22反射到波导26中，使得图像光经由全内反射顺着波导26的长度向下传播。如果需要，任选的反射层可层合在反射表面54上以最大化反射率。该示例仅是例示性的，并且一般来讲，输入耦合器28可包括任何期望类型的输入耦合器(例如，输入耦合器28可包括透射输入耦合棱镜、一个或多个反射镜、衍射光栅结构等)。图像光22可顺着波导26向下传播直到到达输出耦合器30(图2)，该输出耦合器将图像光耦合出波导并朝适眼区耦合。

波导26还可用于将已从用户的眼睛反射离开的红外光66朝显示模块14A中的红外图像传感器58定向。例如，波导26可接收红外光66(例如，在从用户的眼睛反射离开之后)并可经由全内反射朝输入耦合器28传播红外光。输入耦合器28用作图像光22的输入耦合器，但是输入耦合器28也可用作红外光66的输出耦合器。例如，反射输入耦合棱镜50的反射表面54可通过将红外光66朝显示模块14A反射来将红外光66耦合出波导26。准直光学器件34或其他透镜元件可用于将红外光66朝显示模块14A定向。虽然在图3的示例中使用相同的反射棱镜(例如，反射输入耦合棱镜50)将图像光22耦合进波导26中和将红外光66耦合出波导26，但是如果需要，波导26可包括附加输出耦合器，该附加输出耦合器与输入耦合器28分离并将红外光66耦合出波导26并朝显示模块14A耦合。附加输出耦合器可包括反射镜、棱镜、衍射光栅或任何其他期望输出耦合结构。

棱镜62可将红外光66朝显示面板60定向。显示面板60可通过棱镜62将红外光66朝红外成像模块52反射。从显示面板60反射离开的红外光66可穿过棱镜62、动力棱镜65和部分反射涂层64到达红外成像模块52。红外成像模块52中的透镜元件56可将红外光66聚焦到红外图像传感器58上。红外图像传感器58可基于接收到的红外光66来生成红外图像传感器数据。红外图像传感器数据可被处理用于执行注视跟踪和/或光学对准操作。

当显示面板60用于向光学***14B提供图像光22时，显示面板60可能无法将红外光66朝红外成像模块52重定向(例如，因为显示面板60中的像素用于将照明光38作为图像光22朝输入耦合器28反射并因此未取向成将红外光66朝红外成像模块52定向)。为了允许同一显示面板60既向波导26提供图像光22又从波导26向红外成像模块52提供红外光66，空间光调制器40可使用时间复用方案来操作。在时间复用方案下，显示面板60仅用于在任何给定时间朝波导26提供图像光22或朝红外成像模块52提供红外光66。例如，在显示面板60产生图像光22时(例如，在显示面板60正在显示操作模式下操作时)，显示面板60中的每个像素的状态可由要显示的图像数据帧确定。当显示面板60正在将红外光66朝红外成像模块52定向时，显示面板60中的每个像素的状态可置于预定状态(例如，“导通”状态)，在该状态下，入射在显示面板60上的红外光66朝红外成像模块52反射(例如，在显示面板60正在红外成像操作模式下操作时)。显示面板60可针对由显示模块14A产生的每个图像数据帧在显示操作模式与红外成像操作模式之间切换，从而有效地允许显示模块连续地显示图像数据，而同时还收集红外图像传感器数据。

在图3的示例中，红外光66由与显示模块14A分离的红外发射器产生。为了进一步减少***10中的空间消耗，显示模块14A可包括用于产生红外光66的红外发射器。图4是示出显示模块14A可如何包括发射显示器的图示。

如图4所示，红外成像模块52可包括棱镜诸如棱镜72。棱镜72可光学插置在透镜元件56与红外图像传感器58之间。红外成像模块52还可包括红外发射器诸如红外发射器70。红外发射器70可以是红外LED或发射红外光的任何其他期望的光源。如果需要，红外发射器70也可使用红外发射器阵列形成。

红外发射器70可发射红外光74。棱镜72可经由透镜元件56、动力棱镜65和棱镜62将红外光74朝显示面板60定向。显示面板60可朝棱镜62反射红外光74。棱镜62可将红外光74朝输入耦合器28(例如，经由准直光学器件34)定向。输入耦合器28可将红外光74耦合进波导26中(例如，反射表面54可将红外光74反射到波导26中)。波导26可经由全内反射传播红外光74。输出耦合器(例如，图2的输出耦合器30或单独的输出耦合器)可将红外光74耦合出波导26并朝适眼区耦合。红外光74可作为红外光66从用户的眼睛的部分(在适眼区处)反射离开。红外光66可接着传递到红外成像模块52的红外图像传感器58(例如，如上文结合图3所述)。

图4的示例仅仅是例示性的。一般来讲，红外发射器70可位于显示模块14A内的其他地方。当在红外成像模式下时(例如，在显示面板60未用于向波导26提供图像光22时)，显示面板60可将红外光74朝波导26反射。图5是可在使用时间复用方案控制空间光调制器40时执行的例示性操作的流程图。

在操作80处，控制电路16可识别图像帧(例如，图像数据帧)以在适眼区24处显示。

在操作82处，控制电路16可在显示操作模式下操作显示模块14A。例如，控制电路16可控制照明光学器件36以产生照明光38。控制电路16可使用所识别的图像帧同时驱动显示面板60。显示面板60可反射照明光38以将所识别的图像帧调制到照明光上，由此产生图像光22。棱镜62、准直光学器件34和波导26可将图像光22朝适眼区24定向以供用户观察。所识别的图像帧可具有对应帧时间。显示模块14A可在帧时间的第一子集期间使用所识别的图像帧产生图像光22。

在操作84处，控制电路16可在红外成像模式下操作显示模块14A。例如，控制电路16可禁用照明光学器件36(例如，可关闭照明光学器件36中的光源)，因此照明光学器件36不再产生照明光36。同时，控制电路16可控制红外光源(例如，图4的红外发射器70或***中的另一个红外发射器)以发射红外光74。控制电路16可将显示面板60中的所有像素置于预定状态(例如，“导通”状态)。当处于预定状态时，显示面板60的像素可将红外光74朝波导26反射(例如，在红外成像模块52包括红外发射器70的场景中)。同时，显示面板60的像素可将红外光66(例如，已从用户的眼睛反射离开的红外光74)从波导26并朝红外图像传感器58反射。

红外图像传感器58可基于接收到的红外光66来生成红外图像传感器数据。控制电路16可处理红外图像传感器数据以识别/跟踪用户的注视的位置(例如，用于更新要在图像光22中显示的内容或用于执行其他操作)和/或评估左适眼区与右适眼区之间的光学对准。在帧时间的第二子集期间，显示面板60可将红外光66朝红外图像传感器58定向并可将红外光74朝波导26定向(在红外成像模块52包括红外发射器70的场景中)。由于附加图像帧(例如，来自图像帧流)被处理并在适眼区处显示，处理可后续循环回步骤80，如路径86所示。

图6是与图5的时间复用方案相关联的时序图。如图6所示，每个所识别的图像帧可在相应帧时间86期间由显示模块14A显示。显示模块14A可在显示操作模式下并可在每个帧时间86的第一子集88期间(例如，在图5的处理操作82时)输送包括来自对应图像帧的图像数据的图像光22。显示模块14A可在红外成像操作模式下并可在每个帧时间86的第二子集90期间(例如，在图5的处理操作84时)输送红外光66和/或红外光74。

每个帧时间86的第一子集88可具有持续时间92。每个帧时间86的第二子集90可具有持续时间94。持续时间94可比持续时间92长。仅作为一个示例，持续时间92可以是约1ms至3ms，而持续时间94是约5ms至7ms。作为一个示例，当以120Hz的帧速率操作时，帧时间86可以是约8.3ms。如果需要，可使用其他帧速率。每个帧时间86还可包括第三子集，在该第三子集期间，将对应图像数据加载到用于显示面板60的帧缓冲器中。第二子集90的一部分还可用于将图像数据加载到帧缓冲器中。通过利用每个帧时间86的其中图像光未提供到适眼区的部分，显示模块14A可使用显示面板60收集红外图像传感器数据而不影响提供到用户的图像光，由此确保用户的观看体验不被红外成像操作中断。

其中红外成像模块52位于显示模块14A内的图3和图4的示例仅是例示性的。在另一种合适的布置中，红外成像模块52可形成为光学***14B的一部分。图7是示出光学***14B可如何包括红外成像模块52的一个示例的顶视图。

如图7所示，显示模块14A(例如，具有反射或透射空间光调制器、发射显示面板等的显示模块)可发射图像光22。部分反射层诸如部分反射涂层102可层合到反射输入耦合棱镜50的反射表面54上。部分反射涂层102可透射红外和近红外波长的光，而同时反射其他波长的光(例如，可见波长的图像光22)。反射表面54和部分反射涂层102可由此将图像光22反射到波导26中。

红外成像模块52可通过反射输入耦合棱镜50、反射表面54和部分反射层102接收来自波导26的红外光66。透镜元件56可将红外光66聚焦到红外图像传感器58上。红外图像传感器58可使用接收到的红外光66生成红外图像传感器数据。发射对应于红外光66的红外光74的红外发射器可位于显示模块14A内或***10中的其他地方。输入耦合器28不必是反射输入耦合棱镜，并且如果需要，可使用其他输入耦合结构形成。

在另一种合适的布置中，红外发射器可形成为邻近输入耦合器28安装的红外成像模块52的一部分。图8是示出红外成像模块52可如何包括红外发射器的顶视图。如图8所示，邻近反射表面54的红外成像模块52可包括红外发射器70和棱镜72。红外发射器70可发射红外光74。棱镜72可将红外光74朝波导26定向。部分反射涂层102和反射输入耦合棱镜50可将红外光74透射到波导26中。对应于红外光74的红外光66(例如，已从用户的眼睛反射回到波导26中的红外光74)也可透射穿过反射输入耦合棱镜50、部分反射涂层102、透镜元件56和棱镜72到达红外图像传感器58。

***10可附加地或另选地包括其他图像传感器，诸如面向世界的相机。图9是***10的前视图(例如，如在图8的箭头109的方向上截取的)，示出了***10可如何包括面向世界的相机的一个示例。如图9所示，波导26可安装到外壳20(例如，波导26的***部分或区域可安装到由外壳20形成的框架)。波导26还可部分地或完全地与外壳20重叠(例如，当在图9的-Y方向上观察时)。

如图9所示，输入耦合器28可在波导26的周边处或附近安装到波导26。输入耦合器28可例如部分地或完全地与外壳20重叠。输入耦合器28可将图像光22耦合进波导26中，如箭头112所示。波导26可经由全内反射朝输出耦合器30传播图像光。如果需要，图2的交叉耦合器32也可对图像光进行操作。输出耦合器30可将与箭头112相关联的图像光耦合出波导26并朝适眼区(例如，在-Y方向上)耦合，如箭头113所示。

面向世界的相机诸如面向世界的相机110可在输入耦合器28处或附近安装到外壳20。面向世界的相机110可部分地或完全地与波导26重叠(例如，从外部世界的角度来看，波导26的侧向边缘处或附近的***区域可至少部分地覆盖面向世界的相机110)。面向世界的相机110可响应于通过波导26的侧向表面从真实世界对象(例如，图1的对象25)接收的真实世界光而生成图像传感器数据(例如，红外图像传感器数据、可见光图像传感器数据等)。

如果不小心，则图像光22在波导26处的散射可能在面向世界的相机110周围或上方形成可见光伪影。如果不小心，则该图像光可能被面向世界的相机110捕获并可在由面向世界的相机110捕获的真实世界对象的图像中形成不期望伪影。为了减轻这些问题，可使用时间多路复用方案来操作显示模块14A和面向世界的相机110。

图10是可在使用时间复用方案控制显示模块14A和面向世界的相机110时执行的例示性操作的流程图。

在操作120处，显示模块14A可使用输入耦合器28显示当前图像帧。显示模块14A可在与当前图像帧相关联的帧时间(在本文中有时称为当前帧时间)的第二子集期间显示当前图像帧。输入耦合器28可将对应图像光22耦合进波导26中。例如，当前帧时间的第一子集可用于将当前图像帧加载到用于显示面板60的帧缓冲器中。当显示模块14A正在显示图像光22时(例如，在当前帧时间的第二子集期间)，面向世界的相机110可以是不活动的、关闭的，或者可以其他方式操作而不收集图像传感器数据。

在操作122处，显示模块14A可以是不活动的、关闭的，或者可以其他方式操作而不生成图像光22。同时，面向世界的相机110可基于通过波导26从真实世界对象接收的真实世界光来生成图像传感器数据。面向世界的相机110可在当前帧时间的第三子集期间生成图像传感器数据(并且显示模块14A可以是不活动的)。如果需要，面向世界的相机110还可在与后续图像帧相关联的帧时间(本文中有时称为后续帧时间)的第一子集期间生成图像传感器数据。后续图像帧可(例如)在后续帧时间的第一子集期间加载到用于显示面板60的帧缓冲器中。由于***10继续在适眼区处显示来自图像帧流的图像帧，处理可随后循环回到操作120，如路径123所示。通过在其中未显示图像光22的每个帧时间的部分期间仅使用面向世界的相机110捕获图像传感器数据，***10可使用面向世界的相机110捕获在***10前面的真实世界的图像而没有来自图像光的不期望的伪影。

图11是与图10的时间复用方案相关联的时序图。如图11所示，显示模块14A可在当前帧时间86-1期间显示第一图像帧(例如，当前图像帧)。显示模块14A可在后续帧时间86-2期间显示第二图像帧(例如，后续图像帧)。

在当前帧时间86-1的第一子集130-1期间，控制电路16可将当前图像帧加载到用于显示面板60的帧缓冲器中。显示模块14A在当前帧时间86-1的第一子集130-1期间不产生图像光22。如果需要，面向世界的相机110可在当前帧时间86-1的第一子集130-1期间捕获图像传感器数据。

在当前帧时间86-1的第二子集132-1期间，显示模块14A可使用图像光22在适眼区24处显示当前图像帧。在当前帧时间86-1的第二子集132-1期间，面向世界的相机110可以是不活动的。这可用于防止面向世界的相机捕获由图像光22在波导26处的散射产生的不期望的图像伪影。

在当前帧时间86-1的第三子集134-1期间，面向世界的相机110可通过波导26捕获图像传感器数据。显示模块14A在当前帧时间86-1的第三子集134-1期间不产生图像光22。

在后续帧时间86-2的第一子集130-2期间，控制电路16可将后续图像帧加载到用于显示面板60的帧缓冲器中。显示模块14A在后续帧时间86-2的第一子集130-2期间不产生图像光22。如果需要，面向世界的相机110可在后续帧时间86-2的第一子集130-2期间继续捕获图像传感器数据。作为一个示例，这可允许面向世界的相机110跨当前帧时间和后续帧时间捕获图像传感器数据达约6ms的连续持续时间。

在后续帧时间86-2的第二子集132-2期间，显示模块14A可使用图像光22在适眼区24处显示后续图像帧。在后续帧时间86-2的第二子集132-2期间，面向世界的相机110可以是不活动的。这可用于防止面向世界的相机捕获由图像光22在波导26处的散射产生的不期望的图像伪影。

在后续帧时间86-2的第三子集134-2期间，面向世界的相机110可通过波导26捕获图像传感器数据。显示模块14A在当前帧时间86-2的第三子集134-2期间不产生图像光22。当在适眼区处显示来自图像帧流的每个图像帧时，可继续该过程。图11的示例仅是例示性的，并且如果需要，可使用其他时间复用方案。

如上所述，本发明技术的一个方面在于收集和使用得自各种来源的数据，以改善向用户递送图像和/或执行其他显示器相关的操作。本公开预期，在一些实例中，这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。这种个人信息数据可包括面部识别数据、注视跟踪数据、人口统计数据、基于位置的数据、电话号码、电子邮件地址、推特ID、家庭地址、与用户的健康或健身水平相关的数据或记录(例如，生命体征测量值、用药信息、锻炼信息)、出生日期或任何其他识别信息或个人信息。

根据一个实施方案，提供了一种显示***，包括：照明光学器件，该照明光学器件被配置为生成照明光；图像传感器；波导，该波导具有被配置为将图像光耦合进该波导中的输入耦合器并具有被配置为将该图像光耦合出该波导的输出耦合器；以及反射显示面板，该反射显示面板具有第一操作模式和第二操作模式，在该第一操作模式中，该反射显示面板被配置为通过使用图像数据调制该照明光来生成该图像光，并且，在该第二操作模式中，该反射显示面板被配置为将光从该波导朝该图像传感器反射。

根据另一个实施方案，该输入耦合器被配置为将该光耦合出该波导并朝该反射显示面板耦合。

根据另一个实施方案，该输入耦合器包括安装到该波导的反射输入耦合棱镜。

根据另一个实施方案，该显示***包括棱镜，该棱镜被配置为将该照明光朝该反射显示面板定向，该棱镜被配置为将该图像光朝该输入耦合器定向，该棱镜被配置为将该光从该波导朝该反射显示面板定向，并且该棱镜被配置为在该光已从该反射显示面板反射离开之后将该光朝该图像传感器定向。

根据另一个实施方案，该棱镜插置在该反射显示面板与该图像传感器之间。

根据另一个实施方案，该显示***包括附加棱镜，该附加棱镜插置在该棱镜与该图像传感器之间；以及红外发射器，该红外发射器被配置为发射附加光，该附加棱镜被配置为将该附加光朝该反射显示面板定向，该附加棱镜被配置为将已从该反射显示面板反射离开的该光朝该图像传感器定向，并且在该第二操作模式中，该反射显示面板被配置为将该附加光朝该波导反射，该光是已从在该显示***外部的对象反射离开的该附加光的型式。

根据另一个实施方案，该显示***包括动力棱镜，该动力棱镜插置在该棱镜与该附加棱镜之间；以及部分反射涂层，该部分反射涂层在该动力棱镜上，该部分反射涂层被配置为反射该照明光并透射该光。

根据另一个实施方案，该反射显示面板包括像素，在该反射显示面板在该第一操作模式下时，使用该图像数据驱动该像素，并且在该反射显示面板在该第二操作模式下时，该像素中的每个像素处于预定状态。

根据另一个实施方案，在该反射显示面板在该第二操作模式下时，该像素中的每个像素在导通状态下。

根据另一个实施方案，该图像数据包括一系列图像帧，该一系列图像帧中的每个图像帧具有相关联的帧时间，并且该反射显示面板针对该一系列图像帧中的该图像帧中的每个图像帧在该帧时间期间在该第一操作模式与第二操作模式之间切换。

根据另一个实施方案，反射显示面板包括选自以下项的显示面板：数字微镜设备(DMD)显示面板、硅上液晶(LCOS)显示面板和硅上铁电液晶(fLCOS)显示面板。

根据一个实施方案，提供了一种显示***，该显示***包括：投影仪，该投影仪被配置为生成图像光；波导，该波导被配置为经由全内反射传播该图像光和反射光；反射输入耦合棱镜，该反射输入耦合棱镜安装到该波导，该反射输入耦合棱镜具有被配置为将该图像光反射到该波导中的反射表面；图像传感器，该图像传感器被配置为通过该反射输入耦合棱镜和该反射表面接收来自该波导的该反射光；以及输出耦合器，该输出耦合器被配置为将该图像光耦合出该波导。

根据另一个实施方案，该显示***包括部分反射涂层，该部分反射涂层在该反射表面上，该部分反射涂层被配置为反射可见波长的光而同时透射红外波长的光。

根据另一个实施方案，该显示***包括红外发射器，该红外发射器被配置为通过该反射输入耦合棱镜和该反射表面将对应于该反射光的红外光发射到该波导中，该波导被配置为经由全内反射传播该红外光。

根据另一个实施方案，该显示***包括棱镜，该棱镜被配置为将来自该红外发射器的该红外光朝该反射输入耦合棱镜定向，并且该棱镜被配置为将来自该反射表面的该反射光朝该图像传感器定向。

根据另一个实施方案，该显示***包括控制电路，该控制电路被配置为基于由该图像传感器接收的该反射光来执行注视跟踪操作。

根据一个实施方案，提供了一种显示***，该显示***包括外壳；波导，该波导具有安装到该外壳的***区域；输入耦合器，该输入耦合器在该波导上并被配置为将图像光耦合进该波导中，该图像光包括具有对应帧时间的图像帧；输出耦合器，该输出耦合器在该波导上并被配置为将该图像光耦合出该波导；面向世界的相机，该面向世界的相机安装到该外壳，与该输入耦合器相邻并与该波导的该***区域重叠；以及投影仪，该投影仪被配置为在该帧时间的第一子集期间生成该图像光，该面向世界的相机在该帧时间的该第一子集期间不活动，该投影仪在该帧时间的第二子集期间不活动，并且该面向世界的相机被配置为响应于在该帧时间的该第二子集期间通过该波导的该***区域接收到的真实世界光而捕获图像传感器数据。

根据另一个实施方案，该图像光包括具有在该帧时间之后的附加帧时间的附加图像帧，该投影仪被配置为在该附加帧时间的第一子集期间将该附加图像帧加载到帧缓冲器中，并且该面向世界的相机被配置为响应于在该附加帧时间的该第一子集期间通过该波导接收到的该真实世界光而捕获附加图像传感器数据。

根据另一个实施方案，该投影仪被配置为在该附加帧时间的第二子集期间生成该图像光，并且该面向世界的相机在该附加帧时间的该第二子集期间不活动。

根据另一个实施方案，该帧时间的该第二子集在该帧时间的该第一子集之后，该附加帧时间的该第一子集在该帧时间的该第二子集之后，并且该附加帧时间的该第二子集在该附加帧时间的该第一子集之后。

前述内容仅为示例性的并且可对所述实施方案作出各种修改。前述实施方案可独立实施或可以任意组合实施。

Claims (20)

1.一种显示***，包括：

照明光学器件，所述照明光学器件被配置为生成照明光；

图像传感器；

波导，所述波导具有被配置为将图像光耦合进所述波导中的输入耦合器并具有被配置为将所述图像光耦合出所述波导的输出耦合器；以及

反射显示面板，所述反射显示面板具有第一操作模式和第二操作模式，其中，在所述第一操作模式中，所述反射显示面板被配置为通过使用图像数据调制所述照明光来生成所述图像光，并且其中，在所述第二操作模式中，所述反射显示面板被配置为将光从所述波导朝所述图像传感器反射。

2.根据权利要求1所述的显示***，其中所述输入耦合器被配置为将所述光耦合出所述波导并朝所述反射显示面板耦合。

3.根据权利要求2所述的显示***，其中所述输入耦合器包括安装到所述波导的反射输入耦合棱镜。

4.根据权利要求1所述的显示***，还包括：

棱镜，其中所述棱镜被配置为将所述照明光朝所述反射显示面板定向，所述棱镜被配置为将所述图像光朝所述输入耦合器定向，所述棱镜被配置为将所述光从所述波导朝所述反射显示面板定向，并且所述棱镜被配置为在所述光已从所述反射显示面板反射离开之后将所述光朝所述图像传感器定向。

5.根据权利要求4所述的显示***，其中所述棱镜插置在所述反射显示面板与所述图像传感器之间。

6.根据权利要求5所述的显示***，还包括：

附加棱镜，所述附加棱镜插置在所述棱镜与所述图像传感器之间；以及

红外发射器，所述红外发射器被配置为发射附加光，其中所述附加棱镜被配置为将所述附加光朝所述反射显示面板定向，所述附加棱镜被配置为将已从所述反射显示面板反射离开的所述光朝所述图像传感器定向，并且在所述第二操作模式中，所述反射显示面板被配置为将所述附加光朝所述波导反射，所述光是已从所述显示***外部的对象反射离开的所述附加光的型式。

7.根据权利要求5所述的显示***，还包括：

动力棱镜，所述动力棱镜插置在所述棱镜与所述附加棱镜之间；以及

部分反射涂层，所述部分反射涂层在所述动力棱镜上，其中所述部分反射涂层被配置为反射所述照明光并透射所述光。

8.根据权利要求1所述的显示***，其中所述反射显示面板包括像素，在所述反射显示面板在所述第一操作模式下时，使用所述图像数据驱动所述像素，并且在所述反射显示面板在所述第二操作模式下时，所述像素中的每个像素处于预定状态。

9.根据权利要求8所述的显示***，其中在所述反射显示面板在所述第二操作模式下时，所述像素中的每个像素在导通状态下。

10.根据权利要求1所述的显示***，其中所述图像数据包括一系列图像帧，所述一系列图像帧中的每个图像帧具有相关联的帧时间，并且所述反射显示面板在所述一系列图像帧中的每个图像帧的所述帧时间期间在所述第一操作模式与第二操作模式之间切换。

11.根据权利要求1所述的显示***，其中所述反射显示面板包括选自以下项的显示面板：数字微镜设备(DMD)显示面板、硅上液晶(LCOS)显示面板和硅上铁电液晶(fLCOS)显示面板。

12.一种显示***，包括：

投影仪，所述投影仪被配置为生成图像光；

波导，所述波导被配置为经由全内反射传播所述图像光和反射光；

反射输入耦合棱镜，所述反射输入耦合棱镜安装到所述波导，其中所述反射输入耦合棱镜具有被配置为将所述图像光反射到所述波导中的反射表面；

图像传感器，所述图像传感器被配置为通过所述反射输入耦合棱镜和所述反射表面接收来自所述波导的所述反射光；以及

输出耦合器，所述输出耦合器被配置为将所述图像光耦合出所述波导。

13.根据权利要求12所述的显示***，还包括：

部分反射涂层，所述部分反射涂层在所述反射表面上，其中所述部分反射涂层被配置为反射可见波长的光而同时透射红外波长的光。

14.根据权利要求12所述的显示***，还包括：

红外发射器，所述红外发射器被配置为通过所述反射输入耦合棱镜和所述反射表面将对应于所述反射光的红外光发射到所述波导中，所述波导被配置为经由全内反射传播所述红外光。

15.根据权利要求14所述的显示***，还包括：

棱镜，其中所述棱镜被配置为将来自所述红外发射器的所述红外光朝所述反射输入耦合棱镜定向，并且其中所述棱镜被配置为将来自所述反射表面的所述反射光朝所述图像传感器定向。

16.根据权利要求12所述的显示***，还包括：

控制电路，所述控制电路被配置为基于由所述图像传感器接收的所述反射光来执行注视跟踪操作。

17.一种显示***，包括：

外壳；

波导，所述波导具有安装到所述外壳的***区域；

输入耦合器，所述输入耦合器在所述波导上并被配置为将图像光耦合进所述波导中，其中所述图像光包括具有对应帧时间的图像帧；

输出耦合器，所述输出耦合器在所述波导上并被配置为将所述图像光耦合出所述波导；

面向世界的相机，所述面向世界的相机安装到所述外壳，与所述输入耦合器相邻并与所述波导的所述***区域重叠；以及

投影仪，所述投影仪被配置为在所述帧时间的第一子集期间生成所述图像光，其中所述面向世界的相机在所述帧时间的所述第一子集期间不活动，所述投影仪在所述帧时间的第二子集期间不活动，并且所述面向世界的相机被配置为响应于在所述帧时间的所述第二子集期间通过所述波导的所述***区域接收到的真实世界光而捕获图像传感器数据。

18.根据权利要求17所述的显示***，其中所述图像光包括具有在所述帧时间之后的附加帧时间的附加图像帧，所述投影仪被配置为在所述附加帧时间的第一子集期间将所述附加图像帧加载到帧缓冲器中，并且所述面向世界的相机被配置为响应于在所述附加帧时间的所述第一子集期间通过所述波导接收到的所述真实世界光而捕获附加图像传感器数据。

19.根据权利要求18所述的显示***，其中所述投影仪被配置为在所述附加帧时间的第二子集期间生成所述图像光，并且所述面向世界的相机在所述附加帧时间的所述第二子集期间不活动。

20.根据权利要求19所述的显示***，其中所述帧时间的所述第二子集在所述帧时间的所述第一子集之后，所述附加帧时间的所述第一子集在所述帧时间的所述第二子集之后，并且所述附加帧时间的所述第二子集在所述附加帧时间的所述第一子集之后。