CN112136074B - 基于波导成像的眼睛跟踪 - Google Patents

基于波导成像的眼睛跟踪 Download PDF

Info

Publication number
CN112136074B
CN112136074B CN201980033381.4A CN201980033381A CN112136074B CN 112136074 B CN112136074 B CN 112136074B CN 201980033381 A CN201980033381 A CN 201980033381A CN 112136074 B CN112136074 B CN 112136074B
Authority
CN
China
Prior art keywords
optical element
light
optical
eye
light ray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980033381.4A
Other languages
English (en)
Other versions
CN112136074A (zh
Inventor
巴巴克·埃米尔苏来马尼
帕西·萨里科
耿莹
优素福·尼奥尼·巴克萨姆·苏莱
斯科特·查尔斯·麦克尔道尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Meta Platforms Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/359,117 external-priority patent/US11256086B2/en
Application filed by Meta Platforms Technologies LLC filed Critical Meta Platforms Technologies LLC
Priority to CN202211554573.XA priority Critical patent/CN116009243A/zh
Publication of CN112136074A publication Critical patent/CN112136074A/zh
Application granted granted Critical
Publication of CN112136074B publication Critical patent/CN112136074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/283—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for beam splitting or combining
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)

Abstract

一种光学***包括光波导和第一光学元件，该第一光学元件被配置成在第一方向上引导第一光线，该第一光线具有第一圆偏振并以第一入射角照射到第一光学元件上，使得第一光线经由全内反射通过光波导朝向第二光学元件传播。第一光学元件也被配置成在不同于第一方向的第二方向上引导第二光线，该第二光线具有不同于第一圆偏振的第二圆偏振并且以第一入射角照射到第一光学元件上，以使得第二光线远离第二光学元件传播。第二光学元件被配置成将传播通过光波导的第一光线导向检测器。

Description

基于波导成像的眼睛跟踪
技术领域
本公开总体上涉及显示设备，并且更具体地涉及头戴式显示设备。
背景
头戴式显示设备(本文也称为头戴式显示器)作为向用户提供视觉信息的手段越来越受欢迎。例如，头戴式显示设备用于虚拟现实和增强现实操作。眼睛跟踪允许头戴式显示设备确定用户的凝视，并基于用户的凝视方向提供视觉信息。
概述
因此，在头戴式显示设备中需要一种紧凑且轻便的眼睛跟踪***。
本说明书中公开的***和方法使用波导和偏振相关光学元件(例如，偏振体全息元件(polarization volume holographic element)、几何相位透镜等)来应对上述技术挑战和其他技术挑战。偏振相关光学元件操纵具有特定偏振(例如，右旋圆偏振(right-handed circular polarization))的光并将该光耦合进入波导，使得光在波导内被引导至离轴(off-axis)位置，在该位置将光从波导耦合出去。这允许将光学元件和检测器放置在远离用户视线的位置(例如，共轴(on-axis)位置)。此外，波导和偏振相关光学元件采用望远镜配置，从而提供(例如，眼睛的)缩小的图像，并允许在眼睛跟踪***中使用更小(和更轻)的检测器。此外，通过利用偏振相关的光学元件，眼睛跟踪***中的检测器接收具有特定偏振的光(并且不接收具有不同偏振的光或者接收具有不同偏振的强度降低的光)，这又降低了所接收光中的噪声并提高了眼睛跟踪***的性能。在一些实施例中，波导和偏振相关光学元件是特定于波长的，因此允许可见光的传输，使得眼睛跟踪***与增强现实操作兼容。
根据一些实施例，一种光学***包括光波导和第一光学元件，该第一光学元件被配置成：i)在第一方向上引导第一光线，该第一光线具有第一圆偏振并且以第一入射角照射(impinge)到第一光学元件上，使得该第一光线经由全内反射通过光波导朝向第二光学元件传播，以及ii)在不同于第一方向的第二方向上引导第二光线，该第二光线具有不同于第一圆偏振的第二圆偏振并且以第一入射角照射到第一光学元件上，使得第二光线远离第二光学元件传播。第二光学元件被配置成将传播通过光波导的第一光线导向检测器。
根据一些实施例，一种用于中继眼睛图像的方法，该方法包括在第一光学元件处接收来自用户眼睛的光，其中第一光学元件被配置成：i)在第一方向上引导第一光线，该第一光线具有第一圆偏振并且以第一入射角照射到第一光学元件上，使得该第一光线经由全内反射通过光波导朝向第二光学元件传播，以及ii)在不同于第一方向的第二方向上引导第二光线，该第二光线具有不同于第一圆偏振的第二圆偏振并且以第一入射角照射到第一光学元件上，使得第二光线远离第二光学元件传播。该方法包括用第二光学元件将第一光线从光波导导向检测器。
在涉及光学***、成像***和方法的所附权利要求中具体公开了根据本发明的实施例，其中，在一个权利要求类别(例如光学***)中提到的任何特征也可以在另一个权利要求类别(例如成像***、方法、存储介质、***和计算机程序产品)中被要求保护。在所附权利要求中的从属性或往回引用仅为了形式原因而被选择。然而，也可以要求保护由对任何前面权利要求的有意往回引用(特别是多项引用)而产生的任何主题，使得权利要求及其特征的任何组合被公开并可被要求保护，而不考虑在所附权利要求中选择的从属性。可以被要求保护的主题不仅包括如在所附权利要求中阐述的特征的组合，而且还包括在权利要求中的特征的任何其他组合，其中，在权利要求中提到的每个特征可以与在权利要求中的任何其他特征或其他特征的组合相结合。此外，本文描述或描绘的实施例和特征中的任一个可以在单独的权利要求中和/或以与本文描述或描绘的任何实施例或特征的任何组合或以与所附权利要求的任何特征的任何组合被要求保护。
在实施例中，一种光学***可以包括：
光波导，以及
第一光学元件，其被配置成：
i)在第一方向上引导第一光线，该第一光线具有第一圆偏振并以第一入射角照射到第一光学元件上，使得第一光线经由全内反射通过光波导朝向第二光学元件传播，以及
ii)在不同于第一方向的第二方向上引导第二光线，该第二光线具有不同于第一圆偏振的第二圆偏振并以第一入射角照射到第一光学元件上，使得第二光线远离第二光学元件传播，
其中，第二光学元件被配置成将传播通过光波导的第一光线导向检测器。
第一光学元件可以包括选自由偏振体全息元件和几何相位透镜组成的组的元件。
第一光线可以具有大于850nm的波长。
第一光学元件可以被配置成透射波长小于800nm的第三光线，使得第三光线远离第二光学元件传播。
第一光学元件可以设置在光波导的第一表面上，使得第一光线在照射到第一光学元件上之后照射到光波导上。
在实施例中，一种光学***可以包括检测器，其中照射到第一光学元件上的第一光线可以包括来自对象的成像光，并且光学***可以被配置成将成像光投射到检测器上。
引导第一光线可以包括引起第一光线的反射和衍射。
第一光学元件可以设置在光波导的第二表面上，使得第一光线在照射到第一光学元件上之前照射到光波导上。
第二光学元件可以包括选自由偏振体全息元件、几何相位透镜、输出镜(outputmirror)和输出光栅组成的组的元件。
第一光线可以形成以减小的放大率被中继到第二光学元件的光束的一部分。
光波导可以包括中间场透镜(intermediate field lens)，以减小光束的放大率。
第一光学元件可以包括提供聚焦光焦度(focusing power)的涂层。
第一光学元件和第二光学元件可以形成离轴伽利略望远镜(Galileantelescope)。
第一光学元件和第二光学元件可以形成奥夫纳望远镜(Offner telescope)。
奥夫纳望远镜可以包括三个反射表面，该三个反射表面中的第二个位于光学***的中间像平面(image plane)处。
在实施例中，一种成像***可以包括：
本文任何实施例的光学***；以及
检测器，该检测器被配置成从光学***接收对象的图像。
对象可以包括眼睛，检测器可以包括照相机，该照相机可以位于眼睛的视场之外，并且第一光学元件可以位于眼睛的前方，以允许照相机对眼睛的直接视图(direct view)成像。
成像***可以包括在头戴式装置(headset)中。
在实施例中，一种用于(特别地，利用根据本文任何实施例的光学***或成像***)中继眼睛图像的方法可以包括：
在第一光学元件处接收来自用户眼睛的光，其中该第一光学元件被配置成：
i)在第一方向上引导第一光线，该第一光线具有第一圆偏振并以第一入射角照射到该第一光学元件上，使得该第一光线经由全内反射通过光波导朝向第二光学元件传播，以及
ii)在不同于第一方向的第二方向上引导第二光线，该第二光线具有不同于第一圆偏振的第二圆偏振并以第一入射角照射到第一光学元件上，使得第二光线远离第二光学元件传播；以及
用第二光学元件将第一光线从光波导导向检测器。
在实施例中，一种用于中继眼睛图像的方法：
将第一光线投射到检测器上以形成图像；以及
从图像确定用户眼睛瞳孔(pupil)的位置。
在实施例中，一个或更多个计算机可读非暂时性存储介质可以体现软件，该软件在被执行时可操作来执行根据光学***、或成像***或任何上面提到的实施例的方法，或者执行光学***内、或成像***内或任何上面提到的实施例内的方法。
在实施例中，一种***可以包括：一个或更多个处理器；以及耦合到处理器并包括处理器可执行的指令的至少一个存储器，处理器当执行指令时可操作来执行根据光学***、或成像***或任何上面提到的实施例的方法，或者执行光学***内、或成像***内或任何上面提到的实施例内的方法。
在实施例中，优选地包括计算机可读非暂时性存储介质的计算机程序产品当在数据处理***上被执行时可操作，以执行根据光学***、或成像***或任何上面提到的实施例的方法，或者执行光学***内、或成像***内或任何上面提到的实施例内的方法。
附图简述
为了更好地理解所描述的各种实施例，应该结合以下附图参考以下实施例的描述，在整个附图中，相同的附图标记指代相应的部分。
图1是根据一些实施例的显示设备的透视图。
图2是根据一些实施例的包括显示设备的***的框图。
图3是根据一些实施例的显示设备的等轴视图(isometric view)。
图4A是根据一些实施例的示例光学***。
图4B是根据一些实施例的示例光学***。
图5A是根据一些实施例的示例光学***。
图5B是根据一些实施例的示例光学***。
图5C是根据一些实施例的示例光学***。
图5D是根据一些实施例的示例光学***。
图5E示出了光学***中的失真示例。
图6A是根据一些实施例的近轴光学***(paraxial optical system)的示例。
图6B是根据一些实施例的离轴光学***(off-axis optical system)的示例。
图7A是根据一些实施例的示例光学***。
图7B是根据一些实施例的示例光学***。
图7C是光学***中的失真示例。
图8A示出了根据一些实施例的奥夫纳中继光学***。
图8B示出了根据一些实施例的交叉椭圆中继光学***。
除非另有说明，否则这些图不是按比例绘制的。
详细描述
现在将参考实施例，其示例在附图中示出。在以下描述中，阐述了许多具体细节，以便提供对各种所描述的实施例的理解。然而，对于本领域的普通技术人员来说显而易见的是，可以在没有这些具体细节的情况下实施各种所描述的实施例。在其他情况下，没有详细描述众所周知的方法、过程、部件、电路和网络，以免不必要地模糊实施例的各个方面。
还应当理解，尽管在某些情况下，术语第一、第二等在本文用于描述各种元素，但这些元素不应当被这些术语所限制。这些术语仅用于区分一个元素和另一个元素。例如，第一光投射器(light projector)可以被称为第二光投射器，并且类似地，第二光投射器可以被称为第一光投射器，而不偏离各种所描述的实施例的范围。第一光投射器和第二光投射器都是光投射器，但它们不是同一光投射器。
在本文各种所描述的实施例的描述中使用的术语仅用于描述特定实施例的目的，而并不旨在是限制性的。如在各种所描述的实施例和所附权利要求的描述中所使用的，除非上下文清楚地另有指示，否则单数形式“一个(a)”、“一个(an)”和“该(the)”也旨在包括复数形式。还应当理解，本文使用的术语“和/或”指的是并包括一个或更多个相关列出项目的任何和所有可能的组合。还应当理解，当在本说明书中使用时，术语“包括(includes)”、“包括(including)”、“包含(comprises)”和/或“包含(comprising)”指定所陈述的特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或更多个其他特征、整数、步骤、操作、元件、部件和/或其组合的存在或添加。术语“示例性的”在本文中是在“用作示例、实例或说明”的意义上使用的，而不是在“代表同类中最好”的意义上使用的。
图1示出了根据一些实施例的显示设备100。在一些实施例中，显示设备100被配置成佩戴在用户的头上(例如，通过具有如图1所示的眼镜(spectacles或eyeglasses)的形式)，或者作为用户要佩戴的头盔的一部分被包括。当显示设备100被配置成佩戴在用户的头上或者作为头盔的一部分被包括时，显示设备100被称为头戴式显示器。替代地，显示设备100被配置用于在固定位置处放置在用户的一只或两只眼睛附近，而不是头戴式的(例如，显示设备100被安装在交通工具(例如汽车或飞机)中，用于放置在用户的一只或两只眼睛前面)。如图1所示，显示设备100包括显示器110。显示器110被配置用于向用户呈现视觉内容(例如，增强现实内容、虚拟现实内容、混合现实内容或其任意组合)。
在一些实施例中，显示设备100包括本文参考图2所描述的一个或更多个部件。在一些实施例中，显示设备100包括图2中未示出的附加部件。
图2是根据一些实施例的***200的框图。图2所示的***200包括显示设备205(其对应于图1所示的显示设备100)、成像设备235和输入接口240，它们各自耦合到控制台210。虽然图2示出了包括一个显示设备205、成像设备235和输入接口240的***200的示例，但在其他实施例中，***200中可以包括任何数量的这些部件。例如，可以有多个显示设备205，每个显示设备205具有相关联的输入接口240，并由一个或更多个成像设备235监控，其中每个显示设备205、输入接口240和成像设备235都与控制台210通信。在替代配置中，***200中可以包括不同的和/或附加的部件。例如，在一些实施例中，控制台210经由网络(例如，互联网)连接到***200，或者作为显示设备205的一部分是独立的(self-contained)(例如，物理上位于显示设备205内部)。在一些实施例中，显示设备205用于通过添加现实环境的视图来创建混合现实。因此，这里描述的显示设备205和***200可以传送增强现实、虚拟现实和混合现实。
在一些实施例中，如图1所示，显示设备205是向用户呈现媒体的头戴式显示器。由显示设备205呈现的媒体的示例包括一个或更多个图像、视频、音频、或它们的某种组合。在一些实施例中，经由外部设备(例如，扬声器和/或耳机)来呈现音频，该外部设备从显示设备205、控制台210或两者接收音频信息并基于该音频信息来呈现音频数据。在一些实施例中，显示设备205使用户沉浸在增强环境中。
在一些实施例中，显示设备205还充当增强现实(AR)头戴式装置。在这些实施例中，显示设备205用计算机生成的元素(例如，图像、视频、声音等)来增强物理现实世界环境的视图。此外，在一些实施例中，显示设备205能够在不同类型的操作之间循环。因此，基于来自应用引擎255的指令，显示设备205作为虚拟现实(VR)设备、增强现实(AR)设备、作为眼镜或其某种组合(例如，没有光学校正的眼镜、针对用户进行了光学校正的眼镜、太阳镜或其某种组合)来操作。
显示设备205包括电子显示器215、一个或更多个处理器216、眼睛跟踪模块217、调整模块218、一个或更多个***220、一个或更多个位置传感器225、一个或更多个位置照相机222、存储器228、惯性测量单元(IMU)230、一个或更多个反射元件260或其子集或超集(例如，具有电子显示器215、一个或更多个处理器216和存储器228而没有任何其他列出的部件的显示设备205)。显示设备205的一些实施例具有不同于这里描述的模块的模块。类似地，功能可以以不同于这里描述的方式分布在模块中。
一个或更多个处理器216(例如，处理单元或核心)执行存储在存储器228中的指令。存储器228包括高速随机存取存储器，例如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备；并且可以包括非易失性存储器，例如一个或更多个磁盘存储设备、光盘存储设备、闪存设备或者其他非易失性固态存储设备。存储器228或替代地在存储器228内的非易失性存储器设备包括非暂时性计算机可读存储介质。在一些实施例中，存储器228或者存储器228的计算机可读存储介质存储用于在电子显示器215上显示一个或更多个图像的程序、模块和数据结构、和/或指令。
电子显示器215根据从控制台210和/或处理器216接收的数据来向用户显示图像。在各种实施例中，电子显示器215可以包括单个可调整显示元件或多个可调整显示元件(例如，用户每只眼睛一个显示器)。在一些实施例中，电子显示器215被配置成通过将图像投射到一个或更多个反射元件260上来向用户显示图像。
在一些实施例中，显示元件包括一个或更多个发光器件和相应的空间光调制器阵列。空间光调制器是电光像素阵列、光电像素阵列、动态调整由每个器件传输的光量的某种其他器件阵列或它们的某种组合。这些像素被放置在一个或更多个透镜的后面。在一些实施例中，空间光调制器是LCD(液晶显示器)中基于液晶的像素阵列。发光器件的示例包括：有机发光二极管、有源矩阵有机发光二极管、发光二极管、能够放置在柔性显示器中的某种类型的器件或它们的某种组合。发光器件包括能够生成用于图像生成的可见光(例如，红色、绿色、蓝色等)的器件。空间光调制器被配置成选择性地衰减单个发光器件、发光器件组或它们的某种组合。替代地，当空间光调制器被配置成选择性地衰减单个发射器件和/或发光器件组时，显示元件包括这种发光器件的阵列，而没有单独的发射强度阵列。在一些实施例中，电子显示器215将图像投射到一个或更多个反射元件260，反射元件260将至少一部分光朝向用户的眼睛反射。
一个或更多个透镜将来自发光器件阵列的光(可选地通过发射强度阵列)引导到每个视窗(eyebox)内的位置，并最终到达用户视网膜的背面。视窗是位于显示设备205附近的用户(例如，佩戴显示设备205的用户)的眼睛所占据的区域，用于观看来自显示设备205的图像。在某些情况下，视窗被表示为10mm×10mm的正方形。在一些实施例中，一个或更多个透镜包括一个或更多个涂层，例如抗反射涂层。
在一些实施例中，显示元件包括红外(IR)检测器阵列，该阵列检测从观看用户的视网膜、从角膜表面、眼睛的晶状体或它们的某种组合逆反射的(retro-reflected)IR光。IR检测器阵列包括一个IR传感器或多个IR传感器，该多个IR传感器中的每一个对应于观看用户的眼睛瞳孔的不同位置。在替代实施例中，也可以采用其他眼睛跟踪***。
眼睛跟踪模块217确定用户眼睛的每个瞳孔的位置。在一些实施例中，眼睛跟踪模块217指示电子显示器215用IR光(例如，经由显示元件中的IR发射器件)照亮视窗。
发射的IR光的一部分将穿过观看用户的瞳孔，并从视网膜朝向用于确定瞳孔位置的IR检测器阵列逆反射。替代地，离开眼睛表面的反射光也被用于确定瞳孔的位置。IR检测器阵列扫描逆反射，并在检测到逆反射时识别哪些IR发射器件处于活动状态。眼睛跟踪模块217可以使用跟踪查找表和识别的IR发射器件来确定每只眼睛的瞳孔位置。跟踪查找表将IR检测器阵列上接收到的信号映射到每个视窗中的位置(对应于瞳孔位置)。在一些实施例中，跟踪查找表是经由校准过程生成的(例如，用户看图像中的各个已知参考点，并且眼睛跟踪模块217将看参考点时用户瞳孔的位置映射到在IR跟踪阵列上接收的对应信号)。如上所述，在一些实施例中，***200可以使用除本文描述的嵌入式IR眼睛跟踪***之外的其他眼睛跟踪***。
调整模块218基于确定的瞳孔位置生成图像帧。在一些实施例中，这将离散图像发送到显示器，显示器将子图像平铺在一起，因此连贯的拼接图像将出现在视网膜的背面。调整模块218基于检测到的瞳孔位置调整电子显示器215的输出(即，生成的图像帧)。调整模块218指示电子显示器215的一些部分将图像光传递到所确定的瞳孔位置。在一些实施例中，调整模块218还指示电子显示器不要将图像光传递到除所确定的瞳孔位置之外的位置。调整模块218可以例如，阻挡和/或停止其图像光落在所确定的瞳孔位置之外的发光器件、允许其他发光器件发射落入所确定的瞳孔位置内的图像光、平移和/或旋转一个或更多个显示元件、动态调整透镜(例如，微透镜)阵列中一个或更多个有源透镜的曲率和/或屈光力(refractive power)、或者它们的某种组合。
可选的***220是相对于彼此并且相对于显示设备205上的特定参考点位于显示设备205上特定位置的对象。***220可以是发光二极管(LED)、锥体棱镜(corner cubereflector)、反射标记(reflective marker)、与显示设备205操作的环境形成对比的一种类型的光源或者它们的某种组合。在***220是有源的(即，LED或其他类型的发光器件)的实施例中，***220可以发射在可见光波段(例如，大约400nm至750nm)中、在红外波段(例如，大约750nm至1mm)中、在紫外波段(大约100nm至400nm)中、电磁波谱的某个其他部分或其某种组合中的光。
在一些实施例中，***220位于显示设备205的外表面下面，该外表面对于由***220发射或反射的光的波长是透光的，或者足够薄而基本上不减弱由***220发射或反射的光的波长。另外，在一些实施例中，显示设备205的外表面或其他部分在光的波长的可见光波段中是不透光的。因此，***220可以在外表面下发射在IR波段中的光，该外表面在IR波段中是透光的，但在可见光波段中是不透光的。
IMU 230可以是基于从一个或更多个位置传感器225接收的测量信号生成校准数据的电子设备。位置传感器225响应于显示设备205的运动而生成一个或更多个测量信号。位置传感器225的示例包括：一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、检测运动的另一合适类型的传感器、用于IMU 230的误差校正的一种类型的传感器、或者它们的某种组合。位置传感器225可以位于IMU 230的外部、IMU 230的内部或者其某种组合。
基于来自一个或更多个位置传感器225的一个或更多个测量信号，IMU 230生成第一校准数据，该第一校准数据指示相对于显示设备205的初始位置的显示设备205的估计位置。例如，位置传感器225包括测量平移运动(向前/向后、向上/向下、向左/向右)的多个加速度计和测量旋转运动(例如，俯仰、偏航、横滚)的多个陀螺仪。在一些实施例中，IMU 230对测量信号进行快速采样，并从采样的数据计算显示设备205的估计位置。例如，IMU 230在时间上对从加速度计接收的测量信号进行积分以估计速度向量，并在时间上对速度向量进行积分以确定显示设备205上参考点的估计位置。替代地，IMU 230向控制台210提供所采样的测量信号，控制台210确定第一校准数据。参考点是可以用来描述显示设备205的位置的点。尽管参考点通常可以被定义为空间中的点，但是在实践中，参考点被定义为显示设备205内的点(例如，IMU 230的中心)。
在一些实施例中，IMU 230从控制台210接收一个或更多个校准参数。如下面进一步讨论的，一个或更多个校准参数用于保持对显示设备205的跟踪。基于接收到的校准参数，IMU 230可以调整一个或更多个IMU参数(例如，采样率)。在一些实施例中，某些校准参数使得IMU 230更新参考点的初始位置，使得其对应于参考点的下一个校准位置。将参考点的初始位置更新为参考点的下一个校准位置有助于减少与所确定的估计位置相关联的累积误差。累积误差(也称为漂移误差(drift error))导致参考点的估计位置随着时间的推移偏离参考点的实际位置。
成像设备235根据从控制台210接收的校准参数来生成校准数据。校准数据包括显示***220的所观察的位置的一个或更多个图像，这些位置由成像设备235可检测。在一些实施例中，成像设备235包括一个或更多个静止照相机、一个或更多个摄像机、能够捕获包括一个或更多个***220的图像的任何其他设备，或者它们的某种组合。另外，成像设备235可以包括一个或更多个滤波器(例如，用于增加信噪比)。成像设备235被配置成可选地在成像设备235的视场中检测从***220发射或反射的光。在***220包括无源元件(例如，逆反射器(retroreflector))的实施例中，成像设备235可以包括照亮一些或所有***220的光源，这些***朝着成像设备235中的光源逆反射光。第二校准数据从成像设备235被传递到控制台210，并且成像设备235从控制台210接收一个或更多个校准参数以调整一个或更多个成像参数(例如，焦距、焦点、帧速率、ISO、传感器温度、快门速度、光圈等)。
在一些实施例中，显示设备205可选地包括一个或更多个反射元件260。在一些实施例中，电子显示设备205可选地包括单个反射元件260或多个反射元件260(例如，用户每只眼睛一个反射元件260)。在一些实施例中，电子显示设备215将计算机生成的图像投射到一个或更多个反射元件260上，反射元件260继而将图像朝向用户的一只眼睛或两只眼睛反射。计算机生成的图像包括静止图像、动画图像和/或它们的组合。计算机生成的图像包括看起来是二维和/或三维对象的对象。在一些实施例中，一个或更多个反射元件260是部分透光的(例如，一个或更多个反射元件260具有至少15％、20％、25％、30％、35％、40％、45％或50％的透射率)，这允许环境光的传输。在这样的实施例中，由电子显示器215投射的计算机生成的图像与传输的环境光(例如，传输的环境图像)叠加，以提供增强现实图像。
输入接口240是允许用户向控制台210发送动作请求的设备。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束应用，或者是在应用内执行特定动作。输入接口240可以包括一个或更多个输入设备。示例输入设备包括：键盘、鼠标、游戏控制器、来自大脑信号的数据、来自人体其他部位的数据、或用于接收动作请求并将接收到的动作请求传送到控制台210的任何其他合适的设备。由输入接口240接收到的动作请求可以被传送到控制台210，控制台210执行对应于动作请求的动作。在一些实施例中，输入接口240可以根据从控制台210接收到的指令来向用户提供触觉反馈。例如，触觉反馈在接收到动作请求时被提供，或者控制台210向输入接口240传送指令，使输入接口240在控制台210执行动作时生成触觉反馈。
控制台210根据从成像设备235、显示设备205和输入接口240中的一个或更多个接收的信息来向显示设备205提供媒体以呈现给用户。在图2所示的示例中，控制台210包括应用储存器245、跟踪模块250和应用引擎255。控制台210的一些实施例具有与结合图2描述的模块不同的模块。类似地，本文进一步描述的功能可以以不同于这里描述的方式分布在控制台210的部件当中。
当应用储存器245被包括在控制台210中时，应用储存器245存储由控制台210执行的一个或更多个应用。应用是一组指令，该组指令当由处理器执行时被用来生成用于呈现给用户的内容。由处理器基于应用生成的内容可以响应于经由显示设备205的移动或输入接口240而从用户接收的输入。应用的示例包括：游戏应用、会议应用、视频回放应用或其他合适的应用。
当跟踪模块250被包括在控制台210中时，跟踪模块250使用一个或更多个校准参数来校准***200，并且可以调整一个或更多个校准参数以降低显示设备205位置确定中的误差。例如，跟踪模块250调整成像设备235的焦点以获得在显示设备205上的被观察的***的更准确的位置。此外，由跟踪模块250执行的校准还考虑从IMU 230接收到的信息。另外，如果显示设备205的跟踪丢失(例如，成像设备235失去至少阈值数量的***220的视线)，则跟踪模块250重新校准部分或全部***200。
在一些实施例中，跟踪模块250使用来自成像设备235的第二校准数据来跟踪显示设备205的移动。例如，跟踪模块250使用被观察的***根据第二校准数据和显示设备205的模型来确定显示设备205的参考点的位置。在一些实施例中，跟踪模块250还使用来自第一校准数据的位置信息来确定显示设备205的参考点的位置。此外，在一些实施例中，跟踪模块250可以使用第一校准数据、第二校准数据或其某种组合的部分来预测显示设备205的未来位置。跟踪模块250向应用引擎255提供显示设备205的估计位置或预测的未来位置。
应用引擎255执行在***200内的应用，并从跟踪模块250接收显示设备205的位置信息、加速度信息、速度信息、预测的未来位置或其某种组合。基于接收到的信息，应用引擎255确定要提供给显示设备205用于呈现给用户的内容。例如，如果接收到的信息指示用户已经向左看，则应用引擎255为显示设备205生成反映(mirror)用户在增强环境中的移动的内容。此外，应用引擎255响应于从输入接口240接收到的动作请求来在控制台210上执行的应用内执行动作，并且向用户提供动作被执行的反馈。所提供的反馈可以是经由显示设备205的视觉或听觉反馈或者经由输入接口240的触觉反馈。
图3是根据一些实施例的显示设备300的等轴视图。在一些其他实施例中，显示设备300是某种其他电子显示器(例如，数字显微镜、头戴式显示设备等)的一部分。在一些实施例中，显示设备300包括发光器件阵列310和一个或更多个透镜330、335。在一些实施例中，显示设备300还包括IR检测器阵列。
发光器件阵列310朝向观看用户发射图像光和可选的IR光。发光器件阵列310可以是例如，LED阵列、微LED阵列、OLED阵列或它们的某种组合。发光器件阵列310包括发射在可见光中的光的发光器件320(并且可选地包括发射在IR中的光的器件)。
在一些实施例中，显示设备300包括发射强度阵列，其被配置成选择性地衰减从发光器件阵列310发射的光。在一些实施例中，发射强度阵列由多个液晶单元或像素、发光器件组、或它们的某种组合组成。每个液晶单元(或者在一些实施例中，液晶单元组)是可寻址的，以具有特定的衰减水平。例如，在给定时间，一些液晶单元可以被设置为无衰减，而其他液晶单元可以被设置为最大衰减。以这种方式，发射强度阵列能够控制从发光器件阵列310发射的图像光的哪一部分被传递到一个或更多个透镜330、335。在一些实施例中，显示设备300使用发射强度阵列来促进向用户的眼睛340的瞳孔350位置提供图像光，并且最小化向视窗中的其他区域提供的图像光的量。
一个或更多个透镜330、335接收来自发射强度阵列(或直接来自发光器件阵列310)的经修改的图像光(例如，经衰减的光)，并将经修改的图像光引导至瞳孔350的位置。
可选的IR检测器阵列检测已经从眼睛340的视网膜、眼睛340的角膜、眼睛340的晶状体或其某种组合逆反射的IR光。IR检测器阵列包括单个IR传感器或多个IR敏感检测器(例如光电二极管)。在一些实施例中，IR检测器阵列与发光器件阵列310分离。在一些实施例中，IR检测器阵列被集成到发光器件阵列310中。
在一些实施例中，发光器件阵列310和发射强度阵列构成显示元件。替代地，显示元件包括发光器件阵列310(例如，当发光器件阵列310包括可单独调整的像素时)，而不包括发射强度阵列。在一些实施例中，显示元件另外包括IR阵列。在一些实施例中，响应于所确定的瞳孔350位置，显示元件调整发射的图像光，使得显示元件输出的光被一个或更多个透镜330、335朝向所确定的瞳孔350位置(而不是朝向视窗中的其他位置)折射。
在一些实施例中，除了发光器件阵列310之外或代替发光器件阵列310，显示设备300包括与多个滤色器耦合的一个或更多个宽带光源(例如，一个或更多个白色LED)。
图6A示出了根据一些实施例的示例光学***600的示意性“展开(unfolded)”(例如，所有光学元件被布置成没有“折叠”光学元件，例如波导)和共轴配置(例如，光学元件的几何中心与光学元件的主轴重合)。光学***600包括两个中继***，第一中继***602包括第一光学元件608和第二光学元件610。第一中继***602接收来自对象(例如，包括光学***600的设备的佩戴者的眼睛606)的光。第一光学元件608具有会聚/聚焦光焦度。在沿着y方向的较大高度上撞击第一光学元件608的来自眼睛606的光束，当它们撞击第二光学元件610时会聚到较小高度。第二光学元件610具有发散光焦度(diverging optical power)，并且光束在与第二光学元件610相互作用之后沿着y方向发散。在一些实施例中，第一光学元件608的正透镜效应(例如，会聚)和第二光学元件610的负透镜效应(例如，发散)允许第一光学元件和第二光学元件形成伽利略望远镜(例如，由负透镜跟着正透镜形成)。在一些实施例中，第一中继***602包含开普勒望远镜(Keplerian telescope)(例如，由两个正透镜形成)。在一些实施例中，第一光学元件和第二光学元件形成望远镜。在一些实施例中，望远镜包括第一中继***602内的附加光学元件。在一些实施例中，附加光学元件设置在光波导402内。
第二中继***604布置在第一中继***602的下游，并将从第二光学元件610射出(emerge)的光束成像到检测器614上。在图6A中，示例光学***600中的第二中继***604包括单个光学元件612(例如，会聚透镜)。在一些实施例中，第二中继***604包括附加的光学元件。在一些实施例中，第二中继***604包括望远镜。在一些实施例中，第二中继***604是伽利略望远镜。在一些实施例中，第二中继***604是开普勒望远镜。检测器614(例如，包含传感器元件的CCD照相机)位于光学元件612的像平面上。在示例光学***600中，第二中继***604以减小的放大率将第一中继***602的输出成像到检测器614上(成像光沿检测器614处的y轴的范围小于撞击光学元件612的成像光的范围)。在一些实施例中，第二光中继***在第一光中继***的下游，并且接收来自第一光中继***的输出作为其输入。
图6B示出了根据一些实施例的光学***650的“展开”(例如，所有光学元件被布置成没有“折叠”光学元件，例如波导)和离轴配置(例如，任何光学元件的几何中心不与任何其他光学元件的主轴重合)。图6A中的光学***600中的光学元件被近轴地布置，但是图6B中的光学***650中的光学元件以离轴方式布置。
像光学***600一样，光学***650具有第一中继***658，第一中继***658包括第一光学元件652和第二光学元件654。图6A和图6B都示出了第一中继***中的伽利略望远镜。第一光学元件652具有会聚光焦度(例如，正透镜)，并且第二光学元件654具有发散光焦度(例如，负透镜)。在一些实施例中，第一光学元件652是正透镜，并且来自眼睛606的光束以偏心方式照射(impinge)在第一光学元件652上。例如，第一光学元件652是偏心透镜(decentered lens)(例如，透镜主轴偏离透镜几何中心的透镜)。在一些实施例中，偏心透镜的主轴远离透镜(例如，在透镜外部)。以这种方式，来自眼睛606的一个边缘的光束660与来自眼睛的另一个边缘的光束662相比折射了较大的角度θr1，光束662被第一光学元件652折射了较小的角度θr2。因此，在一些实施例中，(y-z平面中)对称射出的光束在以离轴/偏心方式撞击第一光学元件时被不同地折射。相反，图6A中最外面的光束616(其照射到中心透镜(centered lens)上)与另一个最外面的光束618相比，被折射相同的角度θr1。在图6A中，角度θr1和θr2具有相同的大小和不同的符号。
在一些实施例中，第一光学元件652是几何相位元件。在一些实施例中，第一光学元件652是几何相位透镜。圆偏振光直接通过几何相位(也称为Pancharatnam-Berry相位)效应(例如，几何相位透镜的相位轮廓被添加到原始相位(光穿过几何相位透镜之前的相位))呈现该相位轮廓。光束660包括具有第一圆偏振的第一光线664和具有不同于第一圆偏振的第二圆偏振的第二光线(未示出)。第一光学元件652沿着与z轴成角度θr1的方向引导第一光线664。在一些实施例中，具有不同于第一圆偏振的第二圆偏振的第二光线传输通过第一光学元件652。在一些实施例中，第一光学元件652以与z轴成-θr1的角度、在与第一光线相反的方向上引导第二光线。
来自各种光束的第一光线以偏心的方式照射到第二光学元件654上(例如，离轴地，第二光学元件没有关于其对称轴或其主轴被对称地照明)。在一些实施例中，第二光学元件654是负透镜，并且第一光线在照射到第二光学元件654上之后发散。在一些实施例中，第二光学元件654的偏心负透镜校正像差(aberrations)(例如，失真)。在一些实施例中，第一光学元件652和第二光学元件654分别是形成第一中继***658的伽利略望远镜的正透镜和负透镜。
在一些实施例中，单个会聚透镜656形成第二中继***648。透镜656将第一中继***658的输出成像到检测器624上。
图4A示出了根据一些实施例光学***400。光学***400包括波导402(例如，沿着光波导的长轴(例如，图4A中的y轴)引导波长大于400nm、大于800nm、大于1000nm或大于2000nm的电磁辐射的光波导)、第一光学元件404、第二光学元件406、成像光学元件408和检测器410，用于对来自光学***400的用户(例如，佩戴包括光学***400的设备(例如，头戴式显示器、VR显示头戴式装置或AR显示头戴式装置等)的用户)眼睛412的光进行成像。与图6A所示的共轴***相比，图4A中的波导402允许其内部的光线轨迹被“折叠”，从而导致更紧凑的***。
来自眼睛412的光束414(例如，反射离开眼睛412的光)包括第一光线416-1和第二光线418-1。第一光线416-1具有第一圆偏振(例如，右旋圆偏振光(RCP))，并且第二光线418-1具有不同于第一圆偏振的第二圆偏振(例如，左旋圆偏振光(LCP))。光束414以第一入射角照射到第一光学元件404上。在一些实施例中，光束以一定范围的入射角照射到第一光学元件404上。在一些实施例中(如图4A所示)，光束414以垂直入射(即0°的入射角)照射到第一光学元件404上。
在一些实施例中，第一光学元件404被配置成在沿着衍射角θD的第一方向上引导第一光线416-1(例如，作为第一光线416-2)，并且在不同于第一方向的第二方向上引导第二光线418-1。在一些实施例中，第一光学元件通过经由光波导402传输第二光线418-1，从而在第二方向上引导第二光线418-1而没有任何衍射。在一些实施例中，第一光学元件通过沿着衍射角为θD(例如，相对于第一光线416-1的衍射角为负)的方向衍射第二光线(例如，第一光线416-1被衍射到+1衍射级，而光线418-1被衍射到-1衍射级)来引导第二光线作为第二光线418-3。第二光线418-2和第二光线418-3都在导致第二光线远离第二光学元件406传播的方向上被引导。
在一些实施例中，第一光线416-1具有第一波长，并且第二光线418-1具有不同于第一波长的第二波长。在一些实施例中，第一波长大于850nm(例如，大于900nm、大于1000nm、大于1500nm、大于2000nm)，并且第二波长小于850nm(例如，小于800nm、小于700nm、小于600nm)。在一些实施例中，第一波长和第二波长不同，并且都大于800nm。在一些实施例中，第一光学元件404衍射一波长范围(例如，大于800nm，在800nm和2000nm之间)内的光，并且透射该波长范围之外的光。在一些实施例中，第一光学元件404衍射照射到其上的光，该光在入射角范围内入射(例如，从入射表面法线的+20°到-20°之间，从入射表面法线的+10°到-10°之间，从入射表面法线的+5°到-5°之间，从入射表面法线的+2°到-2°之间)。
在一些实施例中，第一光学元件404是偏振体全息元件。在一些实施例中，第一光学元件是几何相位透镜，类似于在2017年12月6日提交的题为“Geometric Phase LensAlignment in an Augmented Reality Head Mounted Display”的第15/833,676号共同未决专利申请中描述的那些，该申请通过引用以其整体并入本文。
第一光学元件404在前向方向上将第一光线416-1衍射成第一光线416-2，使得它以入射角θI入射到光波导402的后表面422上，该入射角等于或大于光波导402的临界角(critical angle)。例如，在光波导402由在波长λ1处的折射率为n的材料制成的实施例中，波长为λ1的光在材料-空气界面处的临界角θc是sin-1(n空气/n)(即，空气折射率n空气与波长λ1处的折射率n之比的反正弦)。因此，第一光线在后表面422处通过全内反射(TIR)被反射，从而以大于θc的角度(例如，该角度的大小与入射角θI的大小相同)再次照射到第一表面424上。第一光学元件404将来自眼睛412的光耦合进来，使得光沿着光波导402的长轴(例如，y轴)被引导。在光波导402的材料-空气界面(例如，后表面422和前表面424)处经历一次或更多次全内反射之后，第一光线416-2在设置第二光学元件406的位置处照射到前表面424上。在一些实施例中，第二光学元件406沉积在光波导402上。在一些实施例中，第二光学元件406涂覆在光波导402上。第二光学元件406将第一光线416-2从光波导402耦合出去，因此不再进一步沿着光波导402引导第一光线416-2(例如，第一光线416-2不再被光波导402反射)。在一些实施例中，第二光学元件406是偏振体全息元件。在一些实施例中，第二光学元件406是几何相位透镜。在一些实施例中，第二光学元件406是偏振光栅。在一些实施例中，第二光学元件406是输出镜。在一些实施例中，第二光学元件406是输出光栅。第二光学元件406引导第一光线416-2，使得被引导的第一光线416-3在离开光波导402之后基本平行于z轴传播(例如，光线与z轴成小于20°的角度，光线与z轴成小于10°的角度，光线与z轴成小于5°的角度，光线与z轴成小于2°的角度，光线与z轴成小于1°的角度)。
图4A示出了在平行于光束414的方向上来自眼睛412的另一光线426-1。在图4A中，第一光学元件404也在平行于第一光线416-2的方向上将光线426-1衍射成光线426-2。结果，光线426-2沿着相对于第一光线416-2沿y方向移位(displaced)的光路被引导通过光波导402。成像光学元件408位于第二光学元件406的下游(例如，沿着始于眼睛412并终止于检测器410的光路位于第二光学元件406之后)，将第一光线416-3和光线426-3成像到检测器410上，使得眼睛412的图像(例如，眼睛412瞳孔的图像)在检测器410处形成(例如，检测器410位于成像光学元件408的像平面处)。在一些实施例中，成像光学元件408的物平面在第二光学元件406的出射表面(exit surface)上或附近。在一些实施例中，出射表面是第二光学元件406最靠近检测器410的表面428，其可以限定材料-空气界面。在一些实施例中，成像光学元件408形成中继***，该中继***将来自光波导402的输出成像到检测器410上。
在一些实施例中，第一中继***将来自眼睛412的光线(例如，光束414、光线426-1)中继(或成像)到平面(例如，像平面、光波导402的输出平面)上，该平面又是第二中继***(例如，成像光学元件408)的物平面(object plane)。在一些实施例中，第一光学元件404和第二光学元件406共同形成第一中继***。
图4B示出了根据一些实施例的光学***450。来自眼睛412的光束414透射通过光波导402的前表面424，并被耦合到光波导402中。光束414包含具有第一圆偏振的第一光线416-1和具有不同于第一圆偏振的第二圆偏振的光线418-1。光束414撞击设置在光波导402的后表面422上的反射性第一光学元件452。反射性第一光学元件452以反射方式(例如，在向后的方向上)以衍射角θD朝向光波导402的前表面424衍射具有第一圆偏振的第一光线416-1，作为衍射的第一光线416-2。第一光线416-2以等于θD的入射角θI撞击前表面424。反射性第一光学元件452被配置成使得θD(并且因此使得θI)等于或大于光波导402的临界角。以这种方式，第一光线416-2通过光波导内的全内反射被反射，并沿着其长轴(例如，沿着y方向)被引导。在一些实施例中，具有不同于第一圆偏振的第二圆偏振的第二光线418-1仅传输通过反射性第一光学元件452作为透射的第二光线418-2，并且远离第二光学元件406传播。在一些实施例中，具有第二圆偏振的第二光线418-1在相反的方向上以角度-θD衍射，作为衍射的第二光线418-3，并远离第二光学元件406传播。第一光线416-2通过第二光学元件406以与参照图4A描述的类似方式从光波导402耦合出去。
为了便于说明，第一光学元件404在图4A中未示出具有光焦度(例如，聚焦光焦度、会聚光焦度、发散光焦度)——第一光线416-1(在光束414内)和光线426-1之间在第二光学元件406处的距离(例如，第一光线416-3和第二光线426-3之间的距离)基本上与它们之间在第一光学元件404处的距离(例如，第一光线416-1和第二光线426-1之间的距离)相同。在一些实施例中，第一光学元件具有聚焦光焦度，并且光线之间在第二光学元件406处的距离与它们在第一光学元件404处的距离相比减小了(例如，形成了缩小的图像)。在一些实施例中，第一光学元件具有提供聚焦光焦度的涂层。在一些实施例中，第一光学元件由提供聚焦光焦度的材料形成。
图5A示出了光学***500的“展开”配置，其包括用于在检测器上形成对象图像的望远镜。“展开”配置示出了沿z轴顺序布置在光学***500中的各个光学元件，其中在波导内没有一次或更多次反射。光束沿着y轴从对象(例如，眼睛502)射出，并照射到第一光学元件504上。
在一些实施例中，第一光学元件504(有时称为输入光栅)具有聚焦光焦度。例如，图5A中的第一光学元件504具有焦距f1。第二光学元件520位于离第一光学元件504的距离f1处。在一些实施例中，如图5A所示，第二光学元件520不具有聚焦光焦度，并且用于(例如，仅用于)将由波导引导的光耦合出去。在一些实施例中，来自眼睛502的光束的光谱宽度在第二光学元件520处最窄。将第二光学元件520放置在该位置处允许使用最小的第二光学元件520，而不会损失第一光学元件504下游的大部分光。
如同在伽利略望远镜中一样，具有焦距f2的透镜522(例如，照相机透镜)被定位成使得第二光学元件520以距离f2远离透镜522放置(即，在透镜522的后焦平面处)。眼睛502的缩小图像在远离透镜522的距离f2处(即，在透镜522的前焦平面处)形成在检测器524(例如，具有传感器元件的CCD照相机)上。缩小率取决于焦距f1和f2。
图5B示出了光学***528，其对应于处于部分折叠配置、没有波导的光学***500。第一光学元件530被示为具有焦距f1的反射性输入光栅(尽管被描绘为平面)，并且第二光学元件532是平面镜，以距离f1远离第一光学元件530放置。图5B中的所有光学元件位于与图5A所示相同的距离处(例如，第二光学元件532和透镜522之间的代表性距离是f2，并且透镜522和检测器524之间的距离也是f2)。
图5C示出了包括波导552的光学***550的透视图。图5D是光学***550的y-z平面横截面视图。眼睛502由视窗553来表示，并且来自包含视窗553的x-y平面的光束(包括光束506)照射到设置在波导552上的第一光学元件554上。第一光学元件554将光束的具有第一圆偏振的光线耦合进来。具有不同于第一圆偏振的第二圆偏振的光线(例如，第一圆偏振是RCP而第二圆偏振是LCP；或者第一圆偏振是LCP而第二圆偏振是RCP)没有被第一光学元件554引导以在波导552内经历全内反射。结果，具有第二圆偏振的光线远离第二光学元件556传播。例如，第二偏振的光线透射通过波导552或者被第一光学元件554在与具有第一偏振的光线的衍射方向相反的方向上衍射。在一些实施例中，在波导552内被引导的第一偏振的光线沿着y方向向上行进，并且设置在波导552上的第二光学元件556将这些光线耦合出去，基本上沿着z方向引导它们。透镜557将光线成像到检测器558上。在一些实施例中，检测器558垂直放置在眼睛上方(并且比眼睛更靠近波导)。第一光学元件554具有聚焦光焦度，并且在被引导的光线被从波导552耦合出去时，缩小来自眼睛502的成像光束。以这种方式，检测器558在x-y平面中具有比视窗553面积更小的检测表面。
在一些实施例中，第一光学元件554被配置成接收输入光，并且在平行于第一光学元件554的第一方向上以第一角度操纵输入光，并且在平行于第一光学元件554且垂直于第一方向的第二方向上以第二角度操纵输入光。在一些实施例中，第一角度不同于第二角度。例如，在一些实施例中，第一光学元件554朝向y方向以第一角度(例如，小于10度、小于5度、小于3度、小于2度、小于1度)操纵输入光，并朝向x方向以第二角度(例如，小于6度、小于3度、小于2度、小于1度、小于0.5度)操纵输入光。在一些实施例中，第二角度小于第一角度。
图5E示出了对于以第一光学元件554的表面法线的±0.1°以内的入射角入射到第一光学元件554的光线，在检测器558处观察到的x-y平面中的失真。失真是光学像差的一种形式，并且是与直线投影(rectilinear projection)(即，从对象射出的直线在图像中保持是直的)的偏差。为了确定失真的大小，(沿x轴和沿y轴)形成镜面对称棋盘图案的输入(入射)光线传播通过光学***，并且与棋盘输入图像的偏差揭示了光学***内的失真程度。
由检测器558记录的图案580示出，对于沿正y方向的光线，整个图案沿x方向的宽度较小。棋盘图案的底部也有一些曲率(例如，沿着针对较小y坐标值的x轴)。失真阻碍了在检测器558处形成视窗553的精确图像。在一些实施例中，校正光学元件减少(例如，消除)失真。在一些实施例中，失真首先被确定，随后被用于校准光学***。在一些实施例中，校正算法处理在检测器558处检测到的图像，以通过在计算上考虑那些误差来减少(例如，消除)失真。
图7A示出了光学***700。来自眼睛702的光束照射到设置在波导706前表面上的第一光学元件704上。在波导706内被引导的光线在“展开”的配置中示出——图7A中未描绘在波导706内被引导的光线的全内反射，并且光线在波导内的传播距离设定了波导706的厚度。被引导的光线被第二光学元件710耦合出波导706。右上角的插图示出了被引导的光线在波导一端附近传播的分解视图。第二光学元件710校正光线的各种像差，将(例如，通过它们的波长而分离的)光线聚焦在其输出界面附近(例如，在开普勒望远镜中)，并将光线耦合出去以沿着z轴传播。成像透镜712将光线成像到检测器714上。
图7B描绘了处于折叠配置的图7A的光学***700，示出了波导706内的引导光线的多次全内反射。第一光学元件704将(来自眼睛702)具有特定圆偏振的光线耦合到波导706中。与特定圆偏振的光线相比，具有不同圆偏振的光线要么透射通过波导706，要么被衍射/折射到不同的方向上。结果，不具有特定圆偏振的光线远离第二光学元件710传播。第一光学元件704被设计成响应具有特定圆偏振的光线。在一些实施例中，第一光学元件704被设计成将LCP光线衍射到+1衍射级，并将RCP光线衍射到-1衍射级。在一些实施例中，第一光学元件704被设计成将RCP光线衍射到+1衍射级，并将LCP光线衍射到-1衍射级。在一些实施例中，第一光学元件704被设计成将LCP光线衍射到+1衍射级，而RCP光线透射通过第一光学元件704(例如，第一光学元件704不会引起RCP光线的衍射)。在一些实施例中，第一光学元件704被设计成将RCP光线衍射到+1衍射级，而LCP光线透射通过第一光学元件704(例如，第一光学元件704不会引起LCP光线的衍射)。
光线被第二光学元件710耦合出波导706。在一些情况下，一些光线720没有被第二光学元件710在朝向成像透镜712的方向上耦合出去，而是从波导706泄漏出去，因为它们在与第二光学元件710相互作用之后不再满足全内反射条件。被引导至透镜712的光线被透镜712成像到检测器714上的像平面上。继续在波导内被全内反射的一些光线722穿过(past)第二光学元件710。
图7C示出了指示x-y平面中失真量的图案730。输入(入射)光线(沿x轴并沿y轴)形成镜面对称棋盘图案，并通过光学***被发送，以确定从光学***射出后棋盘图案的偏离量。在光线从光学***700射出之后，整个图案沿x方向并沿y方向的宽度保持基本恒定(例如，变化小于10％、变化小于5％、变化小于1％)。图案730示出了棋盘顶部的一些曲率(即，沿着针对最大y坐标值的x轴)。在一些实施例中，失真阻碍了在检测器714处形成视窗553的精确图像。这里，光学***700校正失真，允许主光线以减少的失真成像。在一些实施例中，附加的校正光学元件减少(例如，消除)失真误差。
除了图5A、图5B、图5C、图5D中所示的中继***，或者图6A和图6B中所示的中继***(例如伽利略望远镜和开普勒望远镜)，也可以使用其他中继***。在一些实施例中，成像***包含单个中继***(例如，图5A-图5D)。在一些实施例中，成像***包含两个中继***(例如，图6A和图6B)。在一些实施例中，特定圆偏振的光线沿着其被引导的光波导还可以包括中间场透镜，以减小从波导耦合出去的光束(其包括第一光线)的放大率。中间场透镜是放置在与光学***的像平面(例如，检测器的平面)共轭的位置中的透镜。
在一些实施例中，光学***包括奥夫纳望远镜。图8A示出了一些实施例中的奥夫纳望远镜800。奥夫纳望远镜800包括三个反射表面802、804和806。从对象808射出的光被第一反射表面802聚焦到第二反射表面804上。以第一角度从对象808射出的光线被聚焦到第二反射表面804上的第一位置上。以第二角度从对象808射出的光线被聚焦到第二反射表面804上不同于第一位置的第二位置上。
聚焦的光线被第二反射表面804反射，发散并反射离开第三反射表面806。第三反射表面806然后将光成像到像平面810。
在一些实施例中，第一反射表面802的曲率中心和第三反射表面806的曲率中心与第二反射表面804重合。在一些实施例中，光学***800提供缩小率(即图像810比对象808小)。在一些实施例中，光学***800提供放大率(即图像810比对象808大)。
在一些实施例中，光学***800被配置为无焦光学***(afocal opticalsystem)。无焦***(即没有焦点的***)是一种不产生光束的净会聚或发散(例如，具有无限远的有效焦距)的光学***。提供无焦放大的光学***也可以校正佩兹瓦尔像场弯曲(Petzval field curvature)。当光轴附近的像点完全聚焦，但离轴光线在图像传感器之前聚焦时，就会出现这种弯曲。光学***800校正佩兹瓦尔像场弯曲，因为第二反射表面804(例如发散凸面镜)的曲率与第一反射表面802和第三反射表面806(例如会聚、凹面镜)的曲率符号相反。离轴光线以与凹面镜相反的方式反射离开凸面镜的边缘，减小(例如，抵消)由第一反射表面和第三反射表面引起的佩兹瓦尔像场弯曲。
图8B示出了包含两个交叉椭圆表面826和828的光学***820。从对象822射出的光在反射离开第二椭圆反射表面828之前，反射离开第一椭圆反射表面826。第二椭圆反射表面将光线引导至像平面824上，在像平面824处形成对象822的图像。
在一些实施例中，第一光学元件(例如，404、452、504、530、554、608、652、704)和第二光学元件(例如，406、556、654、710)形成奥夫纳中继器800的元件。在一些实施例中，第一光学元件(例如，404、452、504、530、554、608、652、704)和第二光学元件(例如，406、556、654、710)形成交叉椭圆中继器820的元件。
在一些实施例中，第一光学元件由引起类似于第一反射表面802的光学反射效应的衍射的材料制成。在一些实施例中，第二光学元件由引起类似于第三反射表面806的光学反射效应的衍射的材料制成。在这样的实施例中，反射表面804由波导内或波导外部的另一个光学元件提供。
在一些实施例中，奥夫纳中继器800设置在波导的下游。在一些实施例中，交叉椭圆中继器820设置在波导的下游。
在一些实施例中，第一光学元件由引起类似于第一椭圆反射表面826的光学反射效应的衍射的材料制成。在一些实施例中，第二光学元件由引起类似于第二椭圆反射表面828的光学反射效应的衍射的材料制成。
根据这些原理，我们现在转向某些实施例。
根据一些实施例，光学***包括光波导和第一光学元件，该第一光学元件被配置成在第一方向上引导第一光线，该第一光线具有第一圆偏振并以第一入射角照射到第一光学元件上，使得第一光线经由全内反射通过光波导朝向第二光学元件传播。第一光学元件还被配置成在不同于第一方向的第二方向上引导第二光线，该第二光线具有不同于第一圆偏振的第二圆偏振并且以第一入射角照射到第一光学元件上，使得第二光线远离第二光学元件传播(例如，第二光线不经由全内反射传播通过光波导，而是穿过光波导，或者即使第二光线经由全内反射传播通过光波导，第二光线也被引导远离第二光学元件)。第二光学元件被配置成将传播通过光波导的第一光线导向检测器。
在一些实施例中，引导光线包括改变光线的方向(例如，通过反射、折射和/或衍射等)。在一些实施例中，引导光线包括不改变光线的方向(例如，引导光线包括允许光线穿过光学元件而不改变光线的方向)。
在一些实施例中，第一光学元件包括选自由以下项组成的组的元件：偏振体全息元件和几何相位透镜。在一些实施例中，光学***包括偏振体全息元件和/或几何相位透镜。在一些实施例中，几何相位透镜是偏心的几何相位透镜。
在一些实施例中，第一光学元件被配置成在第一方向上引导以第一入射角照射到第一光学元件上的近红外光，并且在不同于第一方向的方向上引导以第一入射角照射到第一光学元件上的可见光(例如，允许可见光穿过第一光学元件而不改变可见光的方向)。在一些实施例中，第一光线具有大于850nm的波长。在一些实施例中，第一光学元件被配置成透射可见光(不改变可见光的方向)。在一些实施例中，第一光学元件被配置成透射波长小于800nm的第三光线，使得第三光线远离第二光学元件传播(例如，第三光线不经由全内反射传播通过光波导，而是穿过光波导)。
在一些实施例中，第一光学元件对于近红外光具有第一衍射效率，对于可见光具有第二衍射效率，并且第一衍射效率大于第二衍射效率(例如，第一衍射效率是90％或更大，并且第二衍射效率是10％或更小)。在一些实施例中，第一光学元件对大于850nm的波长的衍射效率高于对小于800nm的波长的衍射效率。
在一些实施例中，第一光学元件设置在光波导的第一表面上，使得第一光线在照射到第一光学元件上之后照射到光波导上。在一些实施例中，第一光学元件位于对象和光波导之间。
在一些实施例中，光学***包括检测器(例如，图5C)。在一些实施例中，照射到第一光学元件上的第一光线包括来自对象的成像光，并且光学***被配置成将成像光投射到检测器上。
在一些实施例中，光学***还包括成像望远镜，该成像望远镜不同于光波导、第一光学元件和第二光学元件的组合。在一些实施例中，成像望远镜被配置成接收来自第二光学元件的成像光，并在检测器上形成对象的图像。在一些实施例中，检测器包括照相机。在一些实施例中，照相机和对象位于光波导的同一侧。在一些实施例中，照相机位于对象上方。在一些实施例中，照相机位于对象下方。在一些实施例中，光学***被配置成减少由检测器(例如，图6A、图6B、图7A、图7B和图7C)记录的像差(例如，色差、失真等)。
在一些实施例中，引导第一光线包括引起第一光线的反射和衍射。在一些实施例中，第一光学元件设置在光波导的第二表面上，使得第一光线在照射到第一光学元件上之前照射到光波导上。在一些实施例中，光波导在光波导的第一表面上接收第一光线，并且已经穿过光波导第一表面的第一光线被位于光波导第二表面上的第一光学元件反射。在一些实施例中，光波导位于对象和第一光学元件之间。
在一些实施例中，第二光学元件包括偏振体全息元件、几何相位透镜(例如，偏心的几何相位透镜)、输出镜和输出光栅。
在一些实施例中，第一光线形成以减小的放大率被中继到第二光学元件的光束的一部分。在一些实施例中，光波导还包括中间场透镜以减小光束的放大率。在一些实施例中，中间场透镜设置在光波导的表面上。在一些实施例中，中间场透镜嵌入光波导中。
在一些实施例中，第一光学元件包括提供聚焦光焦度的涂层(例如，第一光学元件是具有光焦度的薄膜光学器件)。
在一些实施例中，第一光学元件和第二光学元件形成离轴伽利略望远镜(例如，图6B)。在一些实施例中，第一光学元件是正透镜，并且第二光学元件是负透镜。
在一些实施例中，第一光学元件和第二光学元件(共同)形成奥夫纳望远镜(例如，图8A)。在一些实施例中，奥夫纳望远镜包括三个反射表面，该三个反射表面中的第二反射表面位于光学***的中间像平面处(例如，图8A)。
在一些实施例中，光学***包括离轴伽利略望远镜(例如，与第一光学元件和第二光学元件分离的离轴伽利略望远镜)。在一些实施例中，离轴伽利略望远镜接收从光波导(例如，图5C和图5D)出射的光并将其成像到检测器上。在一些实施例中，光学***还包括光学中继***，以将离轴伽利略望远镜的输出成像到检测器上。在一些实施例中，离轴伽利略望远镜包括会聚透镜和发散透镜。会聚透镜是偏心的，并且发散透镜是偏心的。发散透镜被配置成减少与会聚透镜相关联的像差。在一些实施例中，像差包括失真。在一些实施例中，像差包括色差。
在一些实施例中，光学***包括校正失真的第四光学元件(例如，图7A、图7B和图7C)。在一些实施例中，第四光学元件包括涂层。
在一些实施例中，光学***还包括两个离轴反射性椭圆表面(例如，图8B)。在一些实施例中，第一光学元件包括两个离轴反射性椭圆表面之一。
根据一些实施例，成像***包括光学***和被配置成从光学***接收对象图像的检测器。
在一些实施例中，对象包括眼睛，检测器包括照相机，照相机位于眼睛的视场之外，并且第一光学元件位于眼睛的前方，以允许照相机对眼睛的直接视图成像。
在一些实施例中，成像***包括在头戴式装置中(例如，成像***作为头戴式装置的眼睛跟踪单元的一部分操作)。
根据一些实施例，一种用于中继眼睛图像的方法包括在第一光学元件处接收来自用户眼睛的光。第一光学元件被配置成在第一方向上引导第一光线，该第一光线具有第一圆偏振并且以第一入射角照射到第一光学元件上，使得第一光线经由全内反射通过光波导朝向第二光学元件传播。第一光学元件也被配置成在不同于第一方向的第二方向上引导第二光线，该第二光线具有不同于第一圆偏振的第二圆偏振并且以第一入射角照射到第一光学元件上，以使得第二光线远离第二光学元件传播。该方法包括用第二光学元件将第一光线从光波导导向检测器。
在一些实施例中，该方法还包括将第一光线投射到检测器上以形成图像；以及从图像确定用户眼睛瞳孔的位置。在一些实施例中，将第一光线成像到照相机上包括将从波导耦合出去的第一光线发送到光学中继***中，并且照相机位于光学***的像平面处(例如，图5A和图5B)。在一些实施例中，光学中继***包括离轴伽利略望远镜、离轴开普勒望远镜、奥夫纳望远镜和/或两个离轴椭圆表面。
尽管各个附图示出了特定部件或特定部件组相对于一只眼睛的操作，但是本领域普通技术人员将理解，可以相对于另一只眼睛或两只眼睛执行类似的操作。为简洁起见，本文不再重复这样的细节。
尽管一些不同的附图以特定的顺序示出了多个逻辑阶段，但是不依赖于顺序的阶段可以被重新排序，并且其他阶段可以被组合或分解。虽然具体提及了某种重新排序或其他分组，但是对于本领域普通技术人员来说，其他的重新排序或分组将是显而易见的，因此本文呈现的排序和分组并不是替代方案的穷举性列表。此外，应该认识到，这些阶段可以用硬件、固件、软件或其任意组合来实现。
为了解释的目的，已经参考具体实施例描述了前面的描述。然而，上面的说明性讨论并不旨在穷举或将权利要求的范围限制到所公开的精确形式。鉴于上面的教导，许多修改和变化是可能的。选择实施例是为了最好地解释权利要求书的基本原理及其实际应用，从而使本领域的其他技术人员能够以适合于设想的特定用途的各种修改来最佳地使用实施例。

Claims (25)

1.一种光学***，包括：
光波导；以及
第一光学元件，其被配置成：
i）在第一方向上引导来自用户眼睛的第一光线，所述第一光线具有第一圆偏振并以第一入射角照射到所述第一光学元件上，使得所述第一光线经由全内反射通过所述光波导朝向第二光学元件传播，以及
ii）在不同于所述第一方向的第二方向上引导来自用户眼睛的第二光线，所述第二光线具有不同于所述第一圆偏振的第二圆偏振并以所述第一入射角照射到所述第一光学元件上，使得所述第二光线远离所述第二光学元件传播，
其中，所述第二光学元件被配置成将传播通过所述光波导的所述第一光线导向检测器；
其中，引导所述第一光线包括引起所述第一光线的反射和衍射；
且其中，所述第一光学元件设置在所述光波导的第二表面上，使得所述第一光线在照射到所述第一光学元件上之前照射到所述光波导上。
2.根据权利要求1所述的光学***，其中，所述第一光学元件包括选自由偏振体全息元件和几何相位透镜组成的组的元件。
3.根据权利要求1所述的光学***，其中，所述第一光线具有大于850 nm的波长。
4.根据权利要求2所述的光学***，其中，所述第一光线具有大于850 nm的波长。
5.根据权利要求3所述的光学***，其中，所述第一光学元件被配置成透射波长小于800 nm的第三光线，使得所述第三光线远离所述第二光学元件传播。
6.根据权利要求4所述的光学***，其中，所述第一光学元件被配置成透射波长小于800 nm的第三光线，使得所述第三光线远离所述第二光学元件传播。
7.根据权利要求1-6中任一项所述的光学***，还包括所述检测器，其中，照射到所述第一光学元件上的第一光线包括来自对象的成像光，并且所述光学***被配置成将所述成像光投射到所述检测器上。
8.根据权利要求1-6中任一项所述的光学***，其中，所述第二光学元件包括选自由偏振体全息元件、几何相位透镜、输出镜和输出光栅组成的组的元件。
9.根据权利要求7所述的光学***，其中，所述第二光学元件包括选自由偏振体全息元件、几何相位透镜、输出镜和输出光栅组成的组的元件。
10.根据权利要求1-6、9中任一项所述的光学***，其中，所述第一光线形成以减小的放大率被中继到所述第二光学元件的光束的一部分。
11.根据权利要求10所述的光学***，其中，所述光波导还包括中间场透镜，以减小所述光束的放大率。
12.根据权利要求1-6、9、11中任一项所述的光学***，其中，所述第一光学元件还包括提供聚焦光焦度的涂层。
13.根据权利要求1-6、9、11中任一项所述的光学***，其中，所述第一光学元件和所述第二光学元件形成离轴伽利略望远镜。
14.根据权利要求1-6、9、11中任一项所述的光学***，其中，所述第一光学元件和所述第二光学元件形成奥夫纳望远镜。
15.根据权利要求14所述的光学***，其中，所述奥夫纳望远镜包括三个反射表面，所述三个反射表面中的第二个位于所述光学***的中间像平面处。
16.一种成像***，包括：
根据权利要求1-6和8中任一项所述的光学***；以及
检测器，其被配置成从所述光学***接收对象的图像。
17.根据权利要求16所述的成像***，其中，所述对象包括眼睛，所述检测器包括照相机，所述照相机位于眼睛的视场之外，并且所述第一光学元件位于眼睛的前方，以允许所述照相机对眼睛的直接视图成像。
18.根据权利要求16或17所述的成像***，其中，所述成像***包括在头戴式装置中。
19.一种成像***，包括：
根据权利要求7和9中任一项所述的光学***。
20.根据权利要求19所述的成像***，其中，所述对象包括眼睛，所述检测器包括照相机，所述照相机位于眼睛的视场之外，并且所述第一光学元件位于眼睛的前方，以允许所述照相机对眼睛的直接视图成像。
21.根据权利要求19或20所述的成像***，其中，所述成像***包括在头戴式装置中。
22.一种成像***，包括：
根据权利要求10-15中任一项所述的光学***。
23.根据权利要求22所述的成像***，其中，所述成像***包括在头戴式装置中。
24.一种用于中继眼睛图像的方法，所述方法包括：
在第一光学元件处接收来自用户眼睛的光，其中，所述第一光学元件被配置成：
i）在第一方向上引导来自用户眼睛的第一光线，所述第一光线具有第一圆偏振并以第一入射角照射到所述第一光学元件上，使得所述第一光线经由全内反射通过光波导朝向第二光学元件传播，以及
ii）在不同于所述第一方向的第二方向上引导来自用户眼睛的第二光线，所述第二光线具有不同于所述第一圆偏振的第二圆偏振并以所述第一入射角照射到所述第一光学元件上，使得所述第二光线远离所述第二光学元件传播，以及
用所述第二光学元件将所述第一光线从所述光波导导向检测器；
其中，引导所述第一光线包括引起所述第一光线的反射和衍射；
且其中，所述第一光学元件设置在所述光波导的第二表面上，使得所述第一光线在照射到所述第一光学元件上之前照射到所述光波导上。
25.根据权利要求24所述的方法，还包括：
将所述第一光线投射到所述检测器上以形成图像；以及
从所述图像确定用户眼睛瞳孔的位置。
CN201980033381.4A 2018-05-18 2019-04-22 基于波导成像的眼睛跟踪 Active CN112136074B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211554573.XA CN116009243A (zh) 2018-05-18 2019-04-22 基于波导成像的眼睛跟踪

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862673805P 2018-05-18 2018-05-18
US62/673,805 2018-05-18
US201962804136P 2019-02-11 2019-02-11
US62/804,136 2019-02-11
US16/359,117 US11256086B2 (en) 2018-05-18 2019-03-20 Eye tracking based on waveguide imaging
US16/359,117 2019-03-20
PCT/US2019/028452 WO2019221875A1 (en) 2018-05-18 2019-04-22 Eye tracking based on waveguide imaging

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211554573.XA Division CN116009243A (zh) 2018-05-18 2019-04-22 基于波导成像的眼睛跟踪

Publications (2)

Publication Number Publication Date
CN112136074A CN112136074A (zh) 2020-12-25
CN112136074B true CN112136074B (zh) 2022-12-09

Family

ID=68540713

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202211554573.XA Pending CN116009243A (zh) 2018-05-18 2019-04-22 基于波导成像的眼睛跟踪
CN201980033381.4A Active CN112136074B (zh) 2018-05-18 2019-04-22 基于波导成像的眼睛跟踪

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202211554573.XA Pending CN116009243A (zh) 2018-05-18 2019-04-22 基于波导成像的眼睛跟踪

Country Status (3)

Country Link
EP (1) EP3794396A4 (zh)
CN (2) CN116009243A (zh)
WO (1) WO2019221875A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11256086B2 (en) 2018-05-18 2022-02-22 Facebook Technologies, Llc Eye tracking based on waveguide imaging

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104126143A (zh) * 2012-02-15 2014-10-29 谷歌公司 包含眼睛追踪的抬头显示器
WO2017134412A1 (en) * 2016-02-04 2017-08-10 Milan Momcilo Popovich Holographic waveguide optical tracker

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007021036A1 (de) * 2007-05-04 2008-11-06 Carl Zeiss Ag Anzeigevorrichtung und Anzeigeverfahren zur binokularen Darstellung eines mehrfarbigen Bildes
US9134534B2 (en) * 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
WO2013167864A1 (en) * 2012-05-11 2013-11-14 Milan Momcilo Popovich Apparatus for eye tracking
US9939628B2 (en) * 2014-03-20 2018-04-10 CSEM Centre Suisse d'Electronique et de Microtechnique SA—Recherche et Développement Imaging system
US9377623B2 (en) * 2014-08-11 2016-06-28 Microsoft Technology Licensing, Llc Waveguide eye tracking employing volume Bragg grating
US10451876B2 (en) * 2015-08-03 2019-10-22 Facebook Technologies, Llc Enhanced visual perception through distance-based ocular projection
US10254542B2 (en) * 2016-11-01 2019-04-09 Microsoft Technology Licensing, Llc Holographic projector for a waveguide display

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104126143A (zh) * 2012-02-15 2014-10-29 谷歌公司 包含眼睛追踪的抬头显示器
WO2017134412A1 (en) * 2016-02-04 2017-08-10 Milan Momcilo Popovich Holographic waveguide optical tracker

Also Published As

Publication number Publication date
CN116009243A (zh) 2023-04-25
EP3794396A1 (en) 2021-03-24
CN112136074A (zh) 2020-12-25
EP3794396A4 (en) 2021-07-28
WO2019221875A1 (en) 2019-11-21

Similar Documents

Publication Publication Date Title
US11933975B2 (en) Eye tracking based on waveguide imaging
US20220163808A1 (en) Optical assembly with polarization volume holographic element
EP3729173B1 (en) Integrated augmented reality head-mounted display for pupil steering
KR102391561B1 (ko) 필드 곡률 보정 디스플레이
EP3721286B1 (en) Compact multi-color beam combiner using a geometric phase lens
US10600352B1 (en) Display device with a switchable window and see-through pancake lens assembly
US11624922B2 (en) Optical assemblies having polarization volume gratings for projecting augmented reality content
US10942320B2 (en) Dispersion compensation for light coupling through slanted facet of optical waveguide
CN113454515A (zh) 全息场内照明器
US10969675B1 (en) Optical assemblies having scanning reflectors for projecting augmented reality content
US11914162B1 (en) Display devices with wavelength-dependent reflectors for eye tracking
CN112136074B (zh) 基于波导成像的眼睛跟踪
US10955675B1 (en) Variable resolution display device with switchable window and see-through pancake lens assembly
US11714282B2 (en) Compact array light source for scanning display
US12025795B1 (en) Wedge combiner for eye-tracking
US11579425B1 (en) Narrow-band peripheral see-through pancake lens assembly and display device with same
US11726326B1 (en) Wedge light guide
US20230168506A1 (en) High efficiency optical assembly with folded optical path
US11586024B1 (en) Peripheral see-through pancake lens assembly and display device with same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant