CN106662685A - 采用体布拉格光栅的波导眼睛跟踪 - Google Patents

采用体布拉格光栅的波导眼睛跟踪 Download PDF

Info

Publication number
CN106662685A
CN106662685A CN201580043666.8A CN201580043666A CN106662685A CN 106662685 A CN106662685 A CN 106662685A CN 201580043666 A CN201580043666 A CN 201580043666A CN 106662685 A CN106662685 A CN 106662685A
Authority
CN
China
Prior art keywords
bragg grating
volume bragg
waveguide
infrared
coupler
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580043666.8A
Other languages
English (en)
Other versions
CN106662685B (zh
Inventor
S·罗宾斯
I·A·恩古延
X·楼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106662685A publication Critical patent/CN106662685A/zh
Application granted granted Critical
Publication of CN106662685B publication Critical patent/CN106662685B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)

Abstract

一种用于跟踪由具有红外波长的红外光照射的眼睛的透明波导，包括被适配成接收具有红外波长的红外光并且将接收到的红外光耦合到波导中的体布拉格光栅类型的输入耦合器。体布拉格光栅包括下边界和比该下边界更靠近输出耦合器的上边界。在下边界处的体布拉格光栅的k向量角大于在上边界处的k向量角，其中下边界与上边界之间的体布拉格光栅的k向量角随着体布拉格光栅的光栅平面与上边界之间的距离减小而逐渐减小。附加地，体布拉格光栅优选地具有不大于5度的角带宽。

Description

采用体布拉格光栅的波导眼睛跟踪
背景
透视、混合现实显示设备***使得用户能够观察覆盖在物理场景上的数字信息。为了实现免提(hands-free)用户交互，透视、混合现实显示设备***还可配备有眼睛***。通常，眼睛***包括对用户的眼睛照射的红外(IR)光源以及对用户的眼睛成像的传感器(例如相机)，例如，来观察反射的闪光和虹膜移动以计算注视方向。对用户的眼睛的照射和成像优选地被实现成使得：混合现实显示设备***的透视属性不因眼睛跟踪硬件而受损；对眼睛的成像对所有类型的处方眼镜(prescription spectacles)都有效；并且对眼睛的成像覆盖整个眼睛移动范围加上瞳孔间(inter-pupillary)距离范围和出瞳距离(eyerelief)距离范围。
对眼睛成像以进行眼睛跟踪的一种方式是使用被安装在头戴式显示(HMD)设备的框架上的简单相机，其中该相机被直接对焦于用户的眼睛。换言之，存在从相机到眼睛的直接视线。尽管这样的配置相对简单和便宜，但是它对相机相对于眼睛的位置和移动高度灵敏。而且，根据这样的配置，相机需要被定位在靠近眼睛高度，这通常导致混合现实显示设备***的透视属性的至少部分遮挡。替代地，部分反射器可被用来将相机观察路径折叠到用户的太阳穴。尽管此替代配置允许相机被定位在透视视野之外，但是如果眼睛跟踪需要与处方眼镜一起工作，则该替代配置的实现是有问题的。
另一种可能是使用基于自由形式棱镜或其他目镜的混合现实显示设备***中的反向光路成像。该技术依赖于实际的显示光学器件来同样提供用于眼睛跟踪的成像功能。然而，因为自由形式棱镜或目镜的组件趋向于在尺寸上相当大，所以该方法并不总是实用的。仅添加用于眼睛跟踪的自由形式光学元件也是可能的，但是这将是昂贵的并且将向***增加显著的重量和尺寸。
概述
本文描述的某些实施例涉及在跟踪由红外光照射的眼睛时使用的波导。这样的波导(其可在头戴式显示器(HMD)中被使用，但不限于与其一起使用)是透明的并且包括输入耦合器以及输出耦合器。根据具体实施例，输入耦合器包括被适配成接收具有红外波长的红外光并将接收到的红外光耦合到波导中的体布拉格光栅。体布拉格光栅包括下边界和上边界，上边界比下边界更靠近输出耦合器。根据实施例，体布拉格光栅在下边界处具有大于上边界处的k向量角的k向量角，其中在下边界与上边界之间的体布拉格光栅的k向量角随着体布拉格光栅的光栅平面与上边界之间的距离减小而逐渐减小。这使得由体布拉格光栅类型的输入耦合器耦合到波导中的至少大部分红外光在波导内传播到波导的输出耦合器。
根据实施例，体布拉格光栅具有与用于眼睛跟踪的红外光的红外波长相匹配的布拉格波长。附加地，体布拉格光栅包括透镜光学能力(lens power)和棱镜光学能力(prismatic power)。体布拉格光栅的透镜光学能力指定体布拉格光栅的焦距。体布拉格光栅的棱镜光学能力致使由体布拉格光栅接收到的红外光被耦合到波导中。
根据实施例，体布拉格光栅的角带宽(angular bandwidth)在传播方向上(即，垂直于光栅线)等于或小于5度。更具体地，体布拉格光栅的角带宽在传播方向上可以是大约1.5度。当不同的红外光束从体布拉格光栅类型的输入耦合器传播到波导内的输出耦合器时，该窄角带宽被用来限制一范围，其中(在不同的出瞳距离距离处)从眼睛上的同一点反射之后被耦合到波导中的不同的红外光束可以是非准直的。因此，窄角带宽的使用限制了多重成像的程度，这将在下文进行更详细地讨论。
当输入耦合器被定位在被用红外光照射的眼睛的前方时，从眼睛反射并由输入耦合器接收的红外光的至少一部分在输入耦合器处被耦合到波导中，经由全内反射在波导内从输入耦合器传播到输出耦合器，并在输出耦合器处离开波导。
在一实施例中，输入耦合器和输出耦合器相对于彼此定位以基本上实现远心性(telecentricity)。此外，为了基本上实现远心性，输入耦合器的每个点的角带宽基本上以输入耦合器的主光线为中心，输入耦合器的所有主光线基本上彼此平行。输出耦合器可以是例如线性光栅、全息光栅或棱镜，但并不局限于此。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识所要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定所要求保护的主题的范围。
附图简述
图1是描绘透视、混合现实显示设备***的一个实施例的示例组件的框图。
图2A是被具体化为提供对硬件和软件组件的支持的眼镜的透视、混合现实显示设备的实施例中的镜架的眼镜腿的侧视图。
图2B是透视、近眼、混合现实设备的集成眼睛跟踪和显示光学***的实施例的顶视图。
图3A是可以用于一个或多个实施例的透视、近眼、混合现实显示设备的硬件和软件组件的一个实施例的框图。
图3B是描述处理单元的各组件的框图。
图4A例示了根据实施例的包括波导的眼睛跟踪***的一部分的侧视图。
图4B是图4A中引入的波导的部分的放大图。
图4C例示了波导的输入耦合器的示例性k向量和对应的示例性k向量角。
图5根据实施例例示了透镜光学能力和楔形光学能力(wedge power)如何能够在双光束过程中在数学上被组合以生成相位复制主全息图(phase copy master hologram)，其进而可被用于接触复制(contact copy)过程中以产生体布拉格光栅类型的输入光栅。
图6是被用来概述用于在跟踪眼睛中使用的方法的高级流程图。
详细描述
本技术的某些实施例涉及波导，该波导允许实现对眼睛的成像以用于眼睛跟踪的目的，而不损害混合现实显示设备***的透视属性。此外，这些实施例可有利地与处方眼镜一起使用。而且，这样的实施例可被用来执行覆盖整个眼睛移动范围加上瞳孔间距离范围和出瞳距离距离范围的眼睛的成像。然而，在更详细地讨论这样的实施例之前，首先描述本技术的实施例可使用的示例性透视、混合现实显示设备***是有用的。
图1是描绘透视、混合现实显示设备***的一个实施例的示例组件的框图。***8包括作为经由线6与处理单元4进行通信的近眼、头戴式显示设备2的透视显示设备。在其他实施例中，头戴式显示设备2经由无线通信来与处理单元4进行通信。处理单元4可以采取各种实施例。例如，处理单元4可被实现在如智能手机、平板或膝上型计算机之类的移动设备中。在一些实施例中，处理单元4是可被佩戴在用户的身体(例如，在所例示的示例中的腕)上或在口袋中的分开的单元，并且包括被用来操作近眼显示设备2的计算能力中的大部分能力。处理单元4可与不论是本示例中位于附近的还是处在远程位置的一个或多个中枢计算***12在通信网络50上无线地(例如，WiFi、蓝牙、红外、RFID传输、无线通用串行总线(WUSB)、蜂窝、3G、4G或其他无线通信装置)进行通信。在其他实施例中，处理单元4的功能可被集成在显示设备2的软件和硬件组件中。
头戴式显示设备2(在一个实施例中它是带镜架115的眼镜的形状)被佩戴在用户的头上，使得用户能够透视显示器(在本示例中该显示器被实现为用于每一只眼睛的显示光学***14)，并且从而具有用户前方的空间的实际直接视图。
使用术语“实际直接视图”来指直接用人眼看到真实世界对象，而非看到对象的经创建的图像表示的能力。例如，透过房间的玻璃看允许用户得到该房间的实际直接视图，而观看电视机上的房间的视频并不是该房间的实际直接视图。基于执行软件(例如，游戏应用)的上下文，该***可在显示器上投影虚拟对象的图像(有时被称为虚拟图像)，虚拟对象的图像可由佩戴透视显示设备的人观看，同时该人还透过显示器观看真实世界对象。
镜架115提供用于将该***的各元件保持在原位的支承体以及用于电连接的管道。在该实施例中，镜架115提供便利的眼镜架作为对下面进一步讨论的该***的各元件的支承。在其他实施例中，可以使用其他支承结构。这样的结构的示例是面罩(visor)或护目镜。镜架115包括用于搁置在用户的每只耳朵上的镜腿或边撑。镜腿102代表右镜腿的实施例，并且包括显示设备2的控制电路136。镜架115的鼻梁104包括用于记录声音并向处理单元4传送音频数据的麦克风110。
图2A是被具体化为提供对硬件和软件组件的支持的眼镜的透视、混合现实显示设备的实施例中的镜架115的眼镜腿102的侧视图。在镜架115的前部是朝向物理环境或朝向外部的视频相机113，其可捕捉被传送到处理单元4的视频和静态图像。
来自相机的数据可被发送到控制电路136的处理器210、或处理单元4或者这两者，它们可处理数据，然而单元4也可将数据通过网络50发送到一个或多个计算机***12用于处理。该处理标识并映射用户的现实世界视野。
控制电路136提供支持头戴式显示设备2的其他组件的各种电子装置。控制电路136的更多细节在下文参照图3A提供。在镜腿102内部或被安装到镜腿102的有耳机130、惯性传感器132、GPS收发机144以及温度传感器138。在一个实施例中，惯性传感器132包括三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C(参见图3A)。惯性传感器用于感测头戴式显示器设备2的位置、朝向，以及突然加速。根据这些移动，头部位置同样可被确定。
被安装到镜腿102或在镜腿102内部的是图像源或图像生成单元120。在一个实施例中，图像源包括用于投射一个或多个虚拟对象的图像的微显示器120和用于将来自微显示器120的图像导入透视波导112中的透镜***122。透镜***122可包括一个或多个透镜。在一个实施例中，透镜***122包括一个或多个准直的透镜。在例示出的示例中，反射元件124接收由透镜***122引导的图像并且将图像数据光学地耦合到波导112中。
存在可被用来实现微显示器120的不同的图像生成技术。例如，微显示器120可使用透射式投影技术来实现，其中光源由光学活性材料(optically active material)来调制，用白光从背后照亮。这些技术通常使用具有强大背光和高光能量密度的LCD型显示器来实现。微显示器120还可使用反射技术来实现，其中外部光被光学活性材料反射并调制。数字光处理(DLP)、硅基液晶(LCOS)以及高通公司的显示技术都是反射技术的示例。另外，微显示器120可使用发射技术来实现，其中光由显示器生成，例如，来自Microvision公司的PicoPTM显示引擎。发射显示技术的另一示例是微型有机发光二极管(OLED)显示器。eMagin和Microoled公司提供了微型OLED显示器的示例。
图2B是透视、近眼、增强或混合现实设备的显示光学***14的实施例的顶视图。近眼显示设备2的镜架115的一部分将环绕显示光学***14，以提供对如此处以及之后的附图中例示出的一个或多个光学元件的支承并进行电气连接。为了示出头戴式显示设备2中的显示光学***14(在该情况下是右眼***14r)的各个组件，围绕显示光学***的镜架115的一部分未被描绘。
在一个实施例中，显示光学***14包括波导112、任选的不透明度滤光器114、透视透镜116和透视透镜118。在一个实施例中，不透明度滤光器(opacity filter)114在透视透镜116后面并与透视透镜116对准，波导112在不透明度滤光器114后面并与不透明度滤光器114对准，并且透视透镜118在波导112后面并与波导112对准。透视透镜116和118可以是眼镜中使用的标准透镜，并且可根据任何处方(包括无处方)来制作。在一些实施例中，头戴式显示设备2将仅包括一个透视透镜或者不包括透视透镜。与波导112对准的不透明度滤光器114均匀地或基于每像素来选择性地阻挡自然光穿过波导112。例如，不透明度滤光器增强了虚拟影像的对比度。
波导112将来自微显示器120的可见光传送到佩戴头戴式显示设备2的用户的眼睛140。透视波导112还允许可见光如代表显示光学***14r的光轴的箭头142所描绘的那样从头戴式显示设备2的前方透过透视波导112被传送到眼睛140，从而除了接收来自微显示器120的虚拟图像之外还允许用户具有头戴式显示设备2的前方的空间的实际直接视图。因此，波导112的壁是透明的，波导112包括第一反射表面(例如，镜面或其他表面)或第一衍射光栅124。来自微显示器120的可见光通过透镜122并且入射到反射表面或衍射光栅124上。反射表面或衍射光栅124反射或衍射来自微显示器120的入射可见光，使得可见光通过内反射被捕获在包括波导112的基板内，如下文进一步描述。
红外照射和反射同样穿过波导112，以供眼睛跟踪***134跟踪用户眼睛的位置和注视方向。用户的眼睛将被引导到作为用户的聚焦或注视区域的环境的子集。眼睛跟踪***134包括眼睛跟踪照射源134A(在该示例中其被安装到镜腿102或其内部)以及眼睛跟踪IR传感器134B(在该示例中其被安装到镜架115的眉部103或其内部)。眼睛跟踪IR传感器134B可替代地被定位在透镜118与镜腿102之间。还有可能的是，眼睛跟踪照射源134A和眼睛跟踪IR传感器134B都被安装到镜架115的眉部103或其内部。
本技术允许进出用于图像生成单元120、照射源134A以及眼睛跟踪IR传感器134B的波导的光学路径的入口和出口光学耦合器(其也可被称为输入耦合器和输出耦合器)的布置中的灵活性。呈现图像的可见照射以及红外照射可从相对波导112的任何方向进入，并且一个或多个波长选择滤光器(例如127)以显示光学***14的光轴142为中心将照射导出波导。
在一个实施例中，眼睛跟踪照射源134A可包括以大约预先确定的IR波长或一定范围的波长发射的一个或多个红外(IR)发射器(诸如红外发光二极管(LED)或激光器(例如，VCSEL))。在一些实施例中，眼睛跟踪IR传感器134B可以是用于跟踪闪光位置的IR相机或IR位置敏感检测器(PSD)。
在一实施例中，波长选择滤光器123让来自微显示器120的经过反射面124的可见光谱的光通过，并且将来自眼睛跟踪照射源134A的红外波长照射导入波导112中，其中IR照射在波导内被内部反射直至到达与光轴142对准的另一波长选择滤光器127。
从IR反射中，当眼睛跟踪IR传感器134B是IR相机时，瞳孔在眼框内的位置可通过已知的成像技术来标识，而当眼睛跟踪IR传感器134B是一种位置敏感检测器(PSD)时，瞳孔在眼框内的位置可通过闪光位置数据来标识。其他类型的眼睛跟踪IR传感器和用于眼睛跟踪的其他技术的使用同样是可能的并且落在实施例的范围内。
在耦合到波导112中之后，呈现来自微显示器120的图像数据的可见光照射和IR照射在波导112中被内部反射。在图2B的示例中，在基板的表面上进行若干次反射之后，被捕获的可见光波到达在本示例中被实现为选择性反射表面1261至126N的波长选择滤光器阵列。附加地，与显示光学***的光轴对准的波长选择滤光器127同样被定位在波导112中。反射表面126将入射在那些反射表面上的可见光波长耦合到指向用户眼睛140的方向的基板之外。
反射表面126还在波导内传递红外辐照。然而，与显示光学***14r的光轴142对准的是一个或多个波长选择滤光器127，波长选择滤光器127不仅引导可见光照射，还引导接收到的来自照射源134A的红外照射。例如，如果反射元件1261至126N各自反射可见光谱的不同部分，则一个或多个波长选择滤光器127可反射红色可见光谱和红外光谱中的波长。在其他实施例中，滤光器127可反射覆盖整个可见光谱或其较大部分的波长，以及IR反射的波长和由IR照射源生成的波长的红外光谱。
附加地，如下面将参考图4A和4B更详细地讨论的，输入耦合器(在图2A和2B中未被具体示出，但在图4A和4B中被示出)将来自眼睛的穿过以光轴142为中心的波导的透视壁的红外反射沿朝向输出耦合器(在图2A和2B中未被具体示出，但在图4A-5C中被示出)的方向引入到波导的光路中，该输出耦合器将红外光引向眼睛跟踪IR传感器134B。附加地，可见和红外滤光器可在从透镜116至118的方向上被层叠，使得它们都与光轴同轴。例如，相对于眼睛被放置在可见反射元件前方的双向热镜(hot mirror)让可见光通过但反射IR波长。附加地，一个或多个滤光器127可被实现为主动式光栅，其被调制在可见和红外光谱之间的过滤波长之间。这将会以人眼无法检测到的足够快的速率来完成。
在一实施例中，每只眼睛将具有其自己的波导112。当头戴式显示设备具有两个波导时，每只眼睛都可具有其自己的微显示器120，该微显示器120可在双眼中显示相同图像或者在双眼中显示不同图像。此外，当头戴式显示设备具有两个波导时，每只眼睛可具有其自己的眼睛跟踪照射源134A和其自己的眼睛跟踪IR传感器134B。在另一实施例中，可存在一个具有两根光轴的波导，每只眼睛一根，其横跨鼻梁并将可见和红外光反射到两只眼睛中。
在上述实施例中，所示出的具体数量的透镜只是示例。可以使用其他数目和配置的根据相同原理操作的透镜。另外，图2A和2B仅示出头戴式显示设备2的一半。完整的头戴式显示设备可包括例如另一组透视透镜116和118、另一不透明度滤光器114、具有一个或多个波长选择滤光器127的另一波导112、另一微显示器120、另一透镜***122、朝向物理环境的相机113(也称朝向外部或朝向正面的相机113)、眼睛跟踪组件134、耳机130、滤光器123以及温度传感器138。示例性头戴式显示器2的更多细节在Flaks等人于2010年10月15日提交的题为“Fusing Virtual Content Into Real Content(将虚拟内容融合到现实内容中)”的美国专利申请公开号2012/0092328中提供。
图3A是可以用于一个或多个实施例的透视、近眼、混合现实显示设备2的硬件和软件组件的一个实施例的框图。图3B是描述处理单元4的各种组件的框图。在这一实施例中，近眼显示设备2接收来自处理单元4的关于虚拟图像的指令并将来自传感器的数据提供回处理单元4。例如在图3B中描绘的可被实现在处理单元4中的软件和硬件组件从显示设备2接收传感数据并且还可通过网络50从计算***12接收传感信息。基于该信息，处理单元4将确定在何处以及在何时向用户提供虚拟图像并相应地将指令发送给显示设备2的控制电路136。
注意，图3A的某些组件(例如，朝向外部或物理环境的相机113、眼睛相机134、微显示器120、不透明度滤光器114、眼睛跟踪照射单元134A、耳机130、一个或多个波长选择滤光器127、以及温度传感器138)以阴影显示，以指示可存在那些设备中的每一者的至少两个，其中至少一个用于头戴式显示设备2的左侧并且至少一个用于右侧。图3A示出与电源管理电路202通信的控制电路200。控制电路200包括处理器210、与存储器244(例如D-RAM)进行通信的存储器控制器212、相机接口216、相机缓冲器218、显示驱动器220、显示格式化器222、定时生成器226、显示输出接口228、以及显示输入接口230。在一个实施例中，控制电路200的所有组件都通过一个或多个总线的专用线路彼此进行通信。在另一实施例中，控制电路200的每个组件都与处理器210通信。
相机接口216提供到两个朝向物理环境的相机113以及本实施例中的如传感器134B之类的IR相机的接口，并且将从相机113、134B接收到的各个图像储存在相机缓冲区218中。显示驱动器220将驱动微显示器120。显示格式化器222可向执行该混合现实***的处理的一个或多个计算机***(例如4和12)的一个或多个处理器提供与被显示在微显示器120上的虚拟图像有关的信息。显示格式化器222可向不透明度控制单元224标识关于显示光学***14的透射率设置。定时生成器226被用来为该***提供定时数据。显示输出接口228包括用于将来自面向物理环境的相机113和眼睛相机134B的图像提供给处理单元4的缓冲区。显示输入接口230包括用于接收诸如要在微显示器120上被显示的虚拟图像之类的缓冲区。显示输出228和显示输入230与作为到处理单元4的接口的带接口(band interface)232进行通信。
电源管理电路202包括电压调节器234、眼睛跟踪照射驱动器236、音频DAC和放大器238、麦克风前置放大器和音频ADC 240、温度传感器接口242、主动式滤光器控制器237、以及时钟生成器245。电压调节器234通过带接口232从处理单元4接收电力，并将该电力提供给头戴式显示设备2的其他组件。照射驱动器236例如经由驱动电流或电压来控制眼睛跟踪照射单元134A以大约预定的波长或在某一波长范围内操作。音频DAC和放大器238向耳机130提供音频数据。麦克风前置放大器和音频ADC 240提供用于麦克风110的接口。温度传感器接口242是用于温度传感器138的接口。主动式滤光器控制器237接收指示一个或多个波长的数据，其中针对所述波长，每个波长选择滤光器127将作为对该波长的选择性波长滤光器。电源管理单元202还向三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C提供电力并从其接收回数据。电源管理单元202还向GPS收发机144提供电力并且从GPS收发机144接收数据并向其发送数据。
图3B是与透视、近眼、混合现实显示单元相关联的处理单元4的硬件和软件组件的一个实施例的框图。图3B示出与电源管理电路306进行通信的控制电路304。控制电路304包括中央处理单元(CPU)320、图形处理单元(GPU)322、高速缓存324、RAM 326、与存储器330(例如，D-RAM)进行通信的存储器控制器328、与闪存334(或其他类型的非易失性存储)进行通信的闪存控制器332、经由带接口302和带接口232与透视、近眼显示设备2进行通信的显示输出缓冲区336、经由带接口302和带接口232与近眼显示设备2进行通信的显示输入缓冲区338、与用于连接到麦克风的外部麦克风连接器342进行通信的麦克风接口340、用于连接到无线通信设备346的PCI express接口，以及(多个)USB端口348。
在一个实施例中，无线通信组件346可包括启用Wi-Fi的通信设备、蓝牙通信设备、红外通信设备、蜂窝、3G、4G通信设备、无线USB(WUSB)通信设备、RFID通信设备等等。无线通信设备346由此允许与例如另一显示设备***8的端对端数据传输，以及经由无线路由器或蜂窝塔到较大网络的连接。USB端口可被用来将处理单元4对接到另一显示设备***8。附加地，处理单元4可对接到另一计算***12以便将数据或软件加载到处理单元4以及对处理单元4充电。在一个实施例中，CPU 320和GPU 322是用于确定在何处、何时以及如何向用户的视野内***虚拟图像的主负荷设备。
电源管理电路306包括时钟生成器360、模数转换器362、电池充电器364、电压调节器366、透视、近眼显示器电源376，以及与温度传感器374进行通信的温度传感器接口372(位于处理单元4的腕带(wrist band)上)。到直流转换器362的交流电被连接到充电插孔370以用于接收AC供电并为该***产生DC供电。电压调节器366与用于向该***提供电力的电池368进行通信。电池充电器364被用来在从充电插孔370接收到电力时(通过电压调节器366)对电池368进行充电。设备电源接口376向显示设备2提供电力。
波导眼睛跟踪***
图4A和4B现在将被用来描述根据本技术的实施例的波导412的具体特征。更具体地，图4A和4B将被用来描述波导412的被用来收集从眼睛440反射的红外光并将该红外光提供给眼睛跟踪IR传感器(例如，上面参考图2B和3A讨论的134B)以用于眼睛跟踪的部分。因此，波导412也可被称为眼睛***波导412或眼睛跟踪波导412。更一般地，该波导可被称为用于跟踪眼睛的装置。
波导412可被合并到透视混合现实显示设备***中，诸如上面参考图1－3B描述的***，但不限于与其一起使用。例如，波导412可被用来实现上面参考图1、2A和2B讨论的波导112(或其一部分)。替代地，根据实施方式，波导412可被定位成与波导112相邻或者被用来代替波导112。可以为眼睛被跟踪的用户的左眼和右眼中的每一只提供波导412的单独实例。如果在上面参照图1－3B描述的透视混合现实显示设备***中被使用，则波导412可被定位在透视透镜(例如，116和/或118)旁边或透视透镜之间，透视透镜可以是眼镜中使用的标准透镜，并且可根据任何处方(包括无处方)来制作。波导412可替代地与旨在基于从眼睛反射的红外光执行眼睛跟踪的任何***一起使用。
图4A例示了包括波导412的眼睛跟踪***400的一部分的侧视图，并且因此，图4A中所示的眼睛跟踪***的一部分可被称为波导眼睛***400。波导412包括输入耦合器414和输出耦合器424。图4A中还示出了包括一个或多个透镜的透镜模块430，透镜模块430被配置成将波导412内的光线的角度空间转换为在光线在靠近输出耦合器424处离开波导412之后的二维(2D)空间。用另一种方式解释，也可被称为成像透镜430的透镜模块430被用来将角度编码的红外光束转换为二维(2D)空间编码的红外光束。在被转换到二维空间之后，红外光束入射到眼睛跟踪IR传感器134B的二维平面上，如图4C中所示。眼睛跟踪IR传感器134B取决于入射到传感器上的二维空间编码的红外光束来产生眼睛跟踪数据。
一般地，波导的输入耦合器414优选地与眼睛轴向对准，使得当眼睛440被用红外光照射时，从眼睛反射的红外光束将入射到波导412的输入耦合器414上。更一般地，红外光将被从眼睛440反射，例如当眼睛被由眼睛跟踪照射单元134A产生的红外光照射时，如上面所解释的。
输出耦合器424被优选地定位成与被用来对眼睛成像的传感器或相机(例如眼睛跟踪IR传感器134B)紧邻。如上面所提及的，这样的传感器或相机可被安装到镜架(例如115)的眉部(例如103)或其内部。替代地，传感器或相机可被安装到镜架的镜腿或边撑(例如102)或者其内部，在这种情况下，输入耦合器414和输出耦合器424的相对位置可被旋转九十度。如上面所解释的，透镜模块(例如430)可被定位在输出耦合器424与传感器(例如眼睛跟踪IR传感器134B)之间。根据实施例，输出耦合器结合部分地或全部地替代透镜模块430的透镜光学能力。例如，在一个实施例中，输出耦合器424在单个衍射光学元件中提供楔形光学能力和透镜光学能力。
根据实施例，输入耦合器的水平－垂直区域是28mm×16mm，其限定眼睛跟踪区域。替代的区域也是可能的，并且落在实施例的范围内。输出耦合器的孔径可以是例如3.7mm，但是更小或更大的孔径也是可能的并且落在实施例的范围内。透镜模块430的焦距比数(f-number)可以是例如1.35，但是更小或更大的焦距比数也是可能的并且落在实施例的范围内。波导412的厚度优选地为1mm或更小，但是更大的厚度是可能的并且落在实施例的范围内。波导412可使用BK7光学玻璃来制造，但是其他光学材料的使用也是可能的并且落在实施例的范围内。假设用于眼睛跟踪的红外光的波长为850nm，则波导412优选地在850nm波长下提供大于42度的入射角(AOI)的全内反射。同样落在实施例的范围内的是可以使用替代的红外波长。为了实现低于基板的临界角的全内反射，反射涂层422可在空气－玻璃界面处被施加到波导412的外表面。该涂层在其中由输入耦合器生成的内角的范围大于能够被基板支持的内角的范围的实施例中是有用的。例如，如果眼睛跟踪区域是28mm×16mm并且眼睛出瞳距离(从眼睛到输入耦合器的距离)是大约20mm，则如果输入耦合器最靠近成像透镜的区域生成刚好大于BK7的临界角的内角，则由输入耦合器的离成像透镜最远的区域生成的内角将需要在90度以上，这本质上是不可能的。替代地，如果输入耦合器被设计成对于输入耦合器的离成像透镜最远的区域生成大约70度的内角，则由输入耦合器的最靠近成像透镜的区域生成的内角将小于BK7的临界角，因此需要涂层以延长内部反射。
图4B是波导412的包括输入耦合器414的部分的放大图，现在将被用来描述根据实施例的波导412的附加细节。。参考图4B，波导412被示为包括第一透明层402、第二透明层404，以及输入耦合器414。虽然在图4B中未被具体示出，但是输出耦合器424可以类似地在第一和第二透明层402、404之间。透明层402、404可由玻璃或光学塑料制成，但不限于此。应当注意，即使透明层402、404由光学塑料制成，这样的层与空气之间的界面仍将被称为空气－玻璃界面。如图4B所示，输入耦合器414具有下边界415和上边界416，其中上边界416比下边界415更靠近输出耦合器424。
作为衍射元件的输入耦合器414被配置成具有不同于入射角的折射角。更具体地，衍射元件输入耦合器414调整穿过第一透明层402的光的角度，使得当光遇到第二透明层404时，光的角度超过临界角并因此在波导412中进行内部反射。然后，光将在输出耦合器424处从波导412传递出来，如上所述。根据下面描述的具体实施例，衍射元件输入耦合器414是体布拉格光栅类型的输入耦合器。
当输入耦合器414被定位在被红外光照射的眼睛440的前方时，从眼睛440反射的红外光束(一个示例由图4B中的虚线箭头所示)穿过第一透明层402并入射在输入耦合器414上。这些红外光束在输入耦合器414处进入波导412，在波导412内经由全内反射从输入耦合器414传播到输出耦合器424，并且在靠近输出耦合器424处离开波导412。用另一种方式解释，从眼睛440反射的红外光由输入耦合器414成像，并且同时通过衍射红外光被衍射成波导模式，使得经衍射的红外光以比全内反射的临界角更大的角度入射在波导412的表面上。
输入耦合器414可被实现为输入光栅，在这种情况下，输入耦合器414可被简称为输入光栅414。在下面更详细地描述的某些实施例中，输入耦合器414是体布拉格光栅类型的输入光栅，在这种情况下，输入耦合器414可被称为体布拉格光栅类型的输入耦合器414、体布拉格光栅类型的输入光栅414，或简称为体布拉格光栅414。输出耦合器424(其可以是反射的、衍射的或折射的或者其组合)可被植入，例如，作为能够促使红外光离开波导412的线性光栅类型的输出耦合器、全息光栅类型的输出耦合器、棱镜或另一光学耦合器。输出耦合器414可附加地具有集成在处方中的透镜光学能力，其可替代透镜模块430的一些或全部透镜光学能力。在一个这样的实施例中，输出耦合器414可以是具有楔形和透镜光学能力的体布拉格光栅。输出耦合器414的透镜光学能力可提供透镜模块430的一些或全部透镜光学能力。在一个实施例中，输出耦合器414例如通过提供非球面校正来向透镜模块430提供小的校正。简要地回顾图4A，输出耦合器424的目的是促使红外光朝着透镜模块430和/或朝向眼睛跟踪IR传感器134B的方向离开波导412。然后，红外光最终由透镜模块430(或输出耦合器本身)成像到眼睛跟踪IR传感器134B上。眼睛跟踪IR传感器可以是例如电荷耦合器件(CCD)或CMOS二维(2D)像素传感器阵列，但不限于此。
在一实施例中，体布拉格光栅类型的输入耦合器414和输出耦合器424相对于彼此定位以实现远心性。在此情形下，入射瞳孔(entrance pupil)位于无穷远处，这使得输入耦合器物体空间是远心的。这可以有利地提供眼睛440的正射投影。远心性也可通过将输入耦合器的角带宽设计成使得其集中于光(对于来自眼睛平面的所有光而言是平行的)来实现。这并不一定意味着角带宽集中在与波导正交的光上。例如，从眼睛平面下方的方向查看眼睛平面(仰望眼睛处)以减少由于睫毛导致的遮蔽可能是有利的。用另一种方式解释，为了在物体空间中实现远心性，输入耦合器414的每个点的角带宽应当以主光线为中心，其中输入耦合器414的所有主光线基本上平行。
根据实施例，体布拉格光栅类型的输入耦合器414具有透镜光学能力和楔形光学能力。体布拉格光栅类型的输入耦合器414的透镜光学能力优选地具有等于眼睛440与体布拉格光栅类型的输入耦合器414之间的距离的焦距，其有利地使得红外光(从眼睛440反射，并入射在体布拉格光栅类型的输入耦合器414上)在波导412内被准直。例如，如果眼睛440与体布拉格光栅类型的输入耦合器414之间的距离是20毫米(mm)，则输入光栅的透镜光学能力的焦距优选为20mm。楔形光学能力(也可称为楔形衍射光学能力或棱镜光焦度(prismatic power))将红外光(优选地是经准直的)衍射成波导模式。楔形光学能力被优选地选择，使得入射在体布拉格光栅类型的输入耦合器414的靠近其上边界416的部分上的红外光被内部衍射，使得到波导的空气－玻璃界面的入射角大于波导412的全内反射(TIR)角(并且因此由波导412引导)。另外，楔形光学能力被优选地选择，使得入射在体布拉格光栅类型的输入耦合器414的靠近其下边界415的部分上的红外光被内部衍射，使得到波导的空气－玻璃界面的入射角不会太大(例如，不大于70度)，以避免几乎平行于波导412的表面行进的光线。根据实施例，透镜光学能力和楔形光学能力在数学上被组合并且由单个布拉格光栅处方实现。这可通过将满足输入角度的条件的相位多项式数学拟合跨光栅表面的输出角度来实现。该类型的相位多项式的生成可被用来对电子束光刻机进行编程，以在诸如铬或玻璃之类的介质中产生表面光栅。这进而可被用来生成相位复制主全息图，相位复制主全息图进而可被用于用接触复制过程中以大量生产体布拉格光栅类型的输入耦合器414。
在波导412内反射的光束靠近在一起，这样的光束之间的距离取决于波导412内的传播角、波导412的厚度，以及光束宽度。由于希望使得波导412的厚度尽可能薄，因此波导412内的不同光束可能彼此非常靠近并且可能彼此重叠。
眼睛***光学***作为一个整体像中继透镜***一样起作用，将来自(例如，与眼睛440相关联的)眼睛平面的光重新成像到(例如，与眼睛跟踪IR传感器134B相关联的)相机传感器平面。在一实施例中，总***的放大率远小于一(即，缩小)，因为眼睛跟踪IR传感器134B(其也可被称为相机传感器)远小于物体平面(眼睛平面)。体布拉格光栅类型的输入耦合器414优选地促使入射在体布拉格光栅类型的输入耦合器414的不同的水平和竖直位置上的不同红外光束在波导412内以各自不同的反射角传播，并且以相对于波导412的表面的各自不同的入射角离开输出耦合器424(红外光束通过该输出耦合器424离开)。用另一种方式解释，体布拉格光栅类型的输入耦合器414优选地导致入射到体布拉格光栅类型的输入耦合器414上的红外光束的角度编码，由此使得穿过输出耦合器424离开波导412的红外光束能够按照以下方式被成像(例如，被眼睛跟踪IR传感器134B成像)：该方式区分入射到体布拉格光栅类型的输入耦合器414的不同的水平和竖直位置上的红外光束。
如上所述，体布拉格光栅类型的输入耦合器414的透镜光学能力优选地具有等于眼睛440与体布拉格光栅类型的输入耦合器414之间的距离的焦距，其有利地使得红外光(从眼睛440反射，并入射在体布拉格光栅类型的输入耦合器414上)在波导内被准直。尽管这是优选的条件，但是这样的条件不容易一致地实现，因为不同的人具有不同形状的鼻子和其他面部特征以及不同的眼睛位置。附加地，每次相同的人戴上包括波导412的HMD设备和/或调整HMD设备时，人的眼睛与体布拉格光栅类型的输入耦合器414之间的距离可能改变。
当体布拉格光栅类型的输入耦合器414的透镜光学能力的焦距(其也可被简单地称为体布拉格光栅类型的输入耦合器414的焦距)不等于体布拉格光栅类型的输入耦合器414与眼睛440之间的距离时，则经由全内反射在波导412内行进的红外光束将不会被完美地准直。这种情况的问题在于，在经由全内反射从体布拉格光栅类型的输入耦合器414行进到输出耦合器424之后，从眼睛440上的同一点反射到波导中(经过体布拉格光栅类型的输入耦合器414)的两个或更多个光束将在两个或更多个不同位置处离开波导(经过输出耦合器424)，从而导致多个(例如，双重，三重等)图像由透镜模块430和眼睛跟踪IR传感器134B生成。换句话说，来自眼睛平面中的相同点的两个或更多个光束将在波导412内会聚或发散，使得两个或更多个分离的图像由眼睛跟踪IR传感器134B形成。这样的多重(例如，双重、三重等)成像是不期望的，因为它降低了眼睛跟踪的精确度和/或使得执行眼睛跟踪更加复杂。
当眼睛440与输入耦合器414之间的距离可以改变时，本技术的某些实施例减小并且优选地最小化在波导眼睛***400中固有的这样的多重成像的影响。一些这样的实施例通过将输入耦合器414实现为在切向方向上(即，在传播方向上)具有非常窄的角带宽的体布拉格光栅类型的输入耦合器来减小并且优选地使多个图像之间的(诸)距离最小化来做到这一点。更具体地，根据实施例，体布拉格光栅类型的输入耦合器414的角带宽(ABW)不大于5度，优选地不大于2度，更优选地在1和2度之间，并且甚至更优选地约1.5度。
如本文所使用的术语，衍射光栅(诸如体布拉格光栅类型的输入耦合器414)的角带宽(ABW)是围绕入射角的峰值衍射效率(DE)的角度范围，其中DE大于或等于峰值DE的50％。因此，ABW在本文中可被更准确地称为全宽度半最大值(FWHM)ABW。有利地，具有这样的窄ABW的体布拉格光栅可被容易地设计和制造。
通过将ABW限制为这样窄的角度，从眼睛440上的相同点反射的红外光在波导内可以是非准直的程度显著地受到限制。换句话说，体布拉格光栅类型的输入耦合器414的非常窄的ABW限制从眼睛440上的同一点反射(并进入输入耦合器414处的波导)的红外光束能够有多少不在波导412内完全准直。更一般地，使用具有窄AWB的体布拉格光栅类型的输入耦合器414限制了来自眼睛的反射光的锥角以从而增加成像的视野深度，从而使得波导眼睛***400和眼睛与体布拉格光栅类型的输入耦合器414之间的距离范围兼容。
如本领域中已知的，体布拉格光栅是具有周期性变化的折射率的体光栅，使得大的衍射效率在满足布拉格条件的特定波长附近的波长范围(带宽)中可被达到。衍射波长λB(其也被称为布拉格波长)由布拉格条件λB＝2neffΛ定义，并且与波导的有效折射率(neff)和光栅周期(Λ)成比例。体布拉格光栅包括限定光栅周期(Λ)的光栅平面(也被称为条纹或布拉格平面)。体布拉格光栅的k向量正交于(即，垂直于)这些布拉格平面。根据一实施例，布拉格波长λB匹配于(即，基本上等于)被用于眼睛跟踪的红外光的波长。
参考图4B，当红外光束(由虚线箭头表示)在体布拉格光栅类型的输入光栅414(其也可被简称为体布拉格光栅414)的标记为418的区域处被衍射时，由于满足布拉格条件，红外光束被高效率地衍射为波导模式。如果体布拉格光栅414的处方在标记为420的区域处与在标记为418的区域处完全相同，则布拉格条件也将在标记为420的区域处得到满足，这将导致高百分比的红外光(由虚线箭头表示)在标记为420的区域处被衍射出波导。这是不期望的，因为其导致(通过体布拉格光栅414)被衍射到波导412中的红外光的部分没有到达输出耦合器424，从而显著地降低设备的整体光学效率并且就图像处理而言降低了信噪比(SNR)。
根据某些实施例，为了减小并且优选地最小化由体布拉格光栅414衍射出波导的红外光的量，体布拉格光栅414的处方在体布拉格光栅414的下边界415与上边界416之间变化。这是通过将体布拉格光栅414设计成使得在标记为420的区域处的体布拉格光栅414的k向量从标记为418的区域处的k向量被充分偏移，使得标记为420的区域不再完全满足布拉格条件。这优选地导致效率曲线的峰值在角度上被充分地偏移，以便显著地减少在体布拉格光栅的标记为420的区域和其他区域处被衍射出波导(即，被耦出)的红外光的量。附加地，光栅周期(即，相邻布拉格平面之间的距离)以及因此光栅频率(其是光栅周期的倒数)在体布拉格光栅414的下边界415与上边界416之间变化以实现所需的楔形和透镜光学能力的组合。
更具体地，根据某些实施例，体布拉格光栅类型的输入耦合器414在其下边界415处具有大于其上边界416处的k向量角的k向量角，其中下边界和上边界415、416之间的布拉格光栅类型的输入耦合器414的k向量角逐渐减小。这样的体布拉格光栅类型的输入耦合器414可被说成具有变化的k向量或滚动的k向量通过沿着红外光在波导412中被传播的方向对体布拉格光栅类型的输入耦合器414的k向量角进行变化，红外光到波导412中的有效耦合以这样的方式实现：促使被耦合进波导412的大部分的(并且优选地所有或显著地所有)红外光通过全内反射向沿波导向上传送直至红外光被输出耦合器424耦合输出。
根据某些实施例，体布拉格类型的输入耦合器414在其下边界415处具有小于在其上边界416处的布拉格光栅周期的光栅周期(其也可被称为光栅间隔)，其中在下和上边界415、416之间的布拉格类型的输入耦合器414的布拉格光栅周期逐渐增加。这样的体布拉格光栅类型的输入耦合器414可被说成具有变化的布拉格光栅周期。这与体布拉格光栅类型的输入耦合器414在其下边界415处具有大于在其上边界416处的布拉格光栅频率的布拉格光栅频率的说法相同，其中在下和上边界415、416之间的布拉格类型的输入耦合器414的布拉格光栅频率逐渐减小。这样的体布拉格光栅类型的输入耦合器414可被说成具有变化的布拉格光栅频率。
在一实施例中，透镜光学能力和楔形光学能力通过变化布拉格光栅频率得到实现。透镜光学能力聚焦来自眼睛平面的光。当出瞳距离(从眼睛瞳孔平面到输入光栅的距离)等于衍射透镜焦距时，光通过透镜光学能力被准直。楔形光学能力分量将该经准直的光衍射，使得基板中的最小内角超过基板的临界角，并将因此在波导中被引导。入射在体布拉格类型的输入耦合器414的下部(靠近下边界415)的光以比入射在上部(靠近上边界416)的光大的角度被衍射，并且由于体布拉格光栅类型的输入耦合器414的透镜和楔形光学能力的组合而行进。由于峰值效率的输入角基本上都相同，因此用于体布拉格光栅类型的输入耦合器414的结构光学器件的第一光束将接***行。由于衍射光学能力根据衍射透镜光学能力和楔形光学能力的组合而变化，因此布拉格记录的第二结构光束将基本上会聚。根据实施例，这两种光束的组合提供体k向量藉此自然地变化的布拉格光栅。优选地，该两种结构光束被优化，使得衍射效率和衍射光学能力得到优化以满足体布拉格光栅类型的输入耦合器414的效率和几何属性。
以下表格例示了示例性k向量角，以及这样的体布拉格光栅类型的输入耦合器414的布拉格光栅周期和频率，其中下边界415与上边界416之间的总距离为16mm。
在上表中，为了简单和一致性，假定入射到体布拉格光栅类型的输入耦合器414上的红外光束具有零度入射角。然而，不必是这种情况，并且本文描述的实施例不限于该条件。
根据定义，体布拉格光栅(例如414)的k向量正交于(即，垂直于)体布拉格光栅的布拉格平面。本文所使用的术语k向量角是指相对于体布拉格光栅的表面法线的k向量的角度，如从图4C可以理解的。参考图4C，其中示出了(多个布拉格平面中的(其他布拉格平面未示出))两个布拉格平面424。图4C中还示出了正交于体布拉格光栅404的表面的虚线430。还示出了两个k向量，每个k向量垂直于相应的布拉格平面424，并且每个k向量相对于布拉格光栅414的表面法线具有不同的k向量角。
图5例示了透镜光学能力和楔形光学能力如何能够在双光束过程中进行组合以生成主全息图，其进而能够被用于接触复制过程中以产生体布拉格光栅414。参考图5，其中示出了第一表面502、盖透镜(cover lens)504、用来生成被记录的主全息图的全息记录介质506、离轴成像透镜***(off-axis imaging lens system)508和第二表面510。全息记录介质506可以是二色性明胶或光聚合物，但不限于此。第一光束由从第一表面502发散出的经准直的光束生成。第一光束在其入射到记录介质506上之前由盖透镜504会聚。第二光束由从第二表面510发散出的经准直的光束生成。该光束在入射到记录介质上之前由离轴成像透镜***508和盖透镜504修正。这两个光束彼此干涉以在全息记录介质506中产生干涉图案，从而生成主全息图。这样的主全息图然后可被用于使用接触复制来大量生产体布拉格光栅414。如果主全息图与副本直接接触，则接触副本的透镜或衍射光学能力将是相同的。如果主图和副本之间有间隙或距离，则主全息图应被设计成补偿该间隙。
图6是被用来概述用于在眼睛跟踪中使用的方法的流程图。参考图6，在步骤602，当波导的体布拉格光栅类型的输入耦合器与眼睛基本轴向对准时，用红外光照射眼睛。如步骤604所示，体布拉格光栅类型的输入耦合器被用来将从眼睛反射的入射在体布拉格光栅型输入耦合器上的红外光束耦合到波导中。步骤606涉及在体布拉格光栅类型的输入耦合器的下至上边界之间使用逐渐减小的k向量角，以促使由体布拉格光栅类型的输入耦合器耦合到波导中的红外光的至少大部分(并且优选地全部或几乎所有)在波导内传播到波导的输出耦合器。步骤608涉及使用等于或小于5度的体布拉格光栅类型的输入耦合器的角带宽，从而限制一范围，其中当不同的红外光束从体布拉格光栅类型的输入耦合器传播到输出耦合器时，在从眼睛上的同一点反射之后被耦合到波导中的不同红外光束可以是非准直。尽管步骤604、606和608被示出为三个独立的步骤，但是这些步骤可能被同时执行。
如步骤610所示，波导的输出耦合器被用来促使从体布拉格光栅类型的输入耦合器传播到输出耦合器的红外光束离开波导。
如在步骤612所指示的，离开波导的红外光束被从角度编码的红外光束转换为二维空间编码的红外光束。这可使用透镜模块来实现(例如430)。
如在步骤614指示的，可被用来跟踪眼睛的眼睛跟踪数据取决于二维空间编码的红外光束而生成。如上面解释的，这可使用眼睛跟踪IR传感器(例如134B)来实现。传感器可以例如是电荷耦合器件(CCD)或CMOS像素传感器阵列，但不限于此。眼睛跟踪数据的一些示例是来自红外相机或由位置敏感检测器(PSD)所检测到闪光的位置的图像数据。眼睛跟踪数据可被用来例如确定注视点，该注视点指示用户正在注视的一个或多个现实或虚拟对象。换句话说，眼睛跟踪数据可被用来确定用户注视的方向或对象。本领域所知的眼睛跟踪可涉及测量聚散度、瞳孔间距(IPD)、注视确定、基于眼睛移动的命令、生物测定标识，但不限于此。
当IR传感器是IR相机时，瞳孔在眼框内的位置可通过已知的成像技术来标识，而当IR传感器是一种位置敏感检测器(PSD)时，瞳孔在眼框内的位置可通过闪光位置数据来标识。对于更具体的示例，瞳孔的位置可通过检测角膜的反射的已知成像技术来标识，例如，如在2008年7月22日授权给Kranz等人的题为“Head Mounted Eye Tracking andDisplay System(头戴式眼睛跟踪和显示***)”的美国专利7,401,920中所公开的。此类技术可以定位眼睛的中心相对于跟踪相机(例如，眼睛跟踪IR传感器134B)的位置。一般而言，眼睛跟踪涉及获得眼睛的图像并使用计算机视觉技术来确定瞳孔在眼眶内的位置。在一个实施例中，跟踪一只眼睛的位置就足够了，因为双眼通常一致地移动。然而，单独地跟踪每只眼睛也是可能的。在两只眼睛被跟踪的情况下，对于这两只眼睛中的每只眼睛，可以存在在本文中描述的波导412中的一个独立的波导。描述用于基于反射的红外光来跟踪眼睛并生成眼睛跟踪数据的专利的另一示例是2013年7月16日颁发给Lewis等人的题为“GazeDetection in a See-Through,Near-Eye,Mixed Reality Display(透视近眼混合现实显示器中的注视检测)”的美国专利号8,487,838。
如在步骤616处所指示的，应用的一方面基于眼睛跟踪数据被控制或修改。步骤616可例如使用处理器(例如210或320)来执行。步骤616可涉及例如使得用户能够从列表中做出选择，从而使得用户能够控制化身如何行进通过虚拟环境，或引起某些虚拟对象被强调，但不限于此。步骤616可附加地或替代地涉及观察用户对某些视觉刺激等的反应。
本文公开的波导有利地可按不损害混合现实显示设备***的透视属性的方式与眼睛跟踪硬件一起使用。而且，本文公开的波导使得眼睛的成像能够与所有类型的处方眼镜一起工作，并且使得眼睛的成像覆盖整个眼睛移动范围加上瞳孔间距离范围。
在附图中，波导412通常被示为包括一对平面表面的波导412。在替代实施例中，波导的表面可以是非平面的，即弯曲的。尽管光栅可在平面表面上或平面表面中被更容易地制造，使用(一个或多个)弯曲表面可能减少***中的某些色差(aberration)。
本文描述的某些实施例涉及一种用于跟踪被具有红外波长的红外光照射的眼睛的装置，其中该装置包括波导，该波导是透明的并且包括输入耦合器和输出耦合器。输出耦合器可以是线性光栅、全息栅格或棱镜，但不限于此。输入耦合器包括被适配成接收具有红外波长的红外光并将接收到的红外光耦合到波导中的体布拉格光栅。体布拉格光栅包括下边界和上边界，其中上边界比下边界更靠近输出耦合器。附加地，体布拉格光栅在下边界处具有大于上边界处的k向量角的k向量角，其中在下边界与上边界之间的体布拉格光栅的k向量角随着体布拉格光栅的光栅平面与上边界之间的距离减小而逐渐减小。体布拉格光栅具有与照射被跟踪的眼睛的红外光的红外波长相匹配的布拉格波长。体布拉格光栅在其下边界处具有小于其上边界处的光栅周期的光栅周期，其中在下边界与上边界之间的体布拉格光栅的光栅周期逐渐增加。体布拉格光栅包括透镜光学能力和棱镜光学能力，其中体布拉格光栅的透镜光学能力指定体布拉格光栅的焦距，并且体布拉格光栅的棱镜光学能力促使由体布拉格光栅接收到的红外光被耦合到波导中。体布拉格光栅的角带宽等于或小于5度，并且优选地在1和2度之间。当输入耦合器被定位在用红外光照射的眼睛的前方时，从眼睛反射并由输入耦合器接收的红外光的至少一部分在输入耦合器处被耦合到波导中，经由全内反射在波导内从输入耦合器传播到输出耦合器，并离开接近输出耦合器的波导。为了基本上实现远心性，输入耦合器的每个点的角带宽基本上以输入耦合器的主光线为中心，输入耦合器的所有主光线基本上彼此平行。
本文描述的某些实施例涉及一种用于跟踪眼睛的方法，其中该方法包括用红外光照射眼睛，而波导的体布拉格光栅类型的输入耦合器通常与眼睛轴向对准，以及使用体布拉格光栅类型的输入耦合器将入射在体布拉格光栅类型输入耦合器上的从眼睛反射的红外光束耦合到波导中。这样的方法还包括在体布拉格光栅类型的输入耦合器的下和上边界之间使用逐渐减小的k向量角，以促使由体布拉格光栅类型的输入耦合器耦合到波导中的红外光的至少大部分在波导内传播到波导的输出耦合器。此外，这样的方法还包括使用波导的输出耦合器，以促使已经从体布拉格光栅类型的输入耦合器传播到输出耦合器的红外光束离开波导。此外，当不同的红外光束从体布拉格光栅类型的输入耦合器传播到输出耦合器时，等于或小于5度的体布拉格光栅类型的输入耦合器的角带宽被用来限制在从眼睛上的同一点反射之后被耦合到波导中的不同红外光束是非准直的程度。附加地，离开波导的红外光束被从角度编码的红外光束转换成二维空间编码的红外光束。该方法还可包括根据二维空间编码的红外光束来生成被用来跟踪眼睛的眼睛跟踪数据，以及基于眼睛跟踪数据来控制或修改应用的一方面。
本文描述的某些实施例涉及用于跟踪眼睛的***。这样的***包括产生被用来照射眼睛的红外光的红外照射源。该***还包括波导，所述波导是透明的并且包括输入耦合器和输出耦合器。输入耦合器包括被适配成接收具有红外波长的红外光并将接收到的红外光耦合到波导中的体布拉格光栅。体布拉格光栅包括下边界和上边界，上边界比下边界更靠近输出耦合器。体布拉格光栅在下边界处具有大于上边界处的k向量角的k向量角，其中在下边界与上边界之间的体布拉格光栅的k向量角随着体布拉格光栅的光栅平面与上边界之间的距离减小而逐渐减小。体布拉格光栅具有与用于眼睛跟踪的红外光的红外波长相匹配的布拉格波长。体布拉格光栅包括透镜光学能力和棱镜光学能力，其中体布拉格光栅的透镜光学能力指定体布拉格光栅的焦距，并且体布拉格光栅的棱镜光学能力促使由体布拉格光栅接收到的红外光被耦合到波导中。体布拉格光栅的角带宽等于或小于5度。该***还包括透镜模块，该透镜模块将在输出耦合器处离开波导的红外光束从角度编码的红外光束转换成二维空间编码的红外光束。该***还包括传感器，该传感器取决于使用透镜模块产生的二维空间编码的红外光束来产生眼睛跟踪数据。附加地，该***包括基于眼睛跟踪数据来控制或修改应用的一方面的处理器。
本技术的各实施例已经在上面在解说所指定的功能的执行及其关系的功能构造块的帮助下进行了描述。这些功能构造块的边界在本文中经常为了方便描述而被限定。替代的边界可被定义，只要所指定的功能及其关系被适当地执行。任何这些替代地边界从而落在本技术的范围和精神内。例如，组合或分离图6中示出的某些步骤是可能的。对于另一示例，改变图3A和3B中示出的某些块的边界是可能的。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。本技术的范围由所附的权利要求进行定义。

Claims (15)

1.一种用于跟踪被具有红外波长的红外光照射的眼睛的装置，所述装置包括：
透明的并且包括输入耦合器和输出耦合器的波导；
所述输入耦合器包括被适配成接收具有所述红外波长的红外光并且将所接收到的红外光耦合到所述波导中的体布拉格光栅；
所述体布拉格光栅包括下边界和上边界，所述上边界比所述下边界更靠近所述输出耦合器；以及
所述体布拉格光栅在所述下边界处具有大于在所述上边界处的k向量角的k向量角，其中在所述下边界与上边界之间的所述体布拉格光栅的k向量角随着所述体布拉格光栅的光栅平面与所述上边界之间的距离减小而逐渐减小。
2.如权利要求1所述的装置，其特征在于，其中所述体布拉格光栅具有与照射被跟踪的所述眼睛的所述红外光的红外波长相匹配的布拉格波长。
3.如权利要求1或2所述的装置，其特征在于，其中所述体布拉格光栅在其下边界处具有小于在其上边界处的光栅周期的光栅周期，所述体布拉格光栅的光栅周期在所述下边界与上边界之间逐渐增加。
4.如权利要求3所述的装置，其特征在于，其中：
所述体布拉格光栅包括透镜光学能力和棱镜光学能力；
所述体布拉格光栅的透镜光学能力指定所述体布拉格光栅的焦距；以及所述体布拉格光栅的棱镜光学能力促使由所述体布拉格光栅接收到的红外光被耦合到所述波导中。
5.如权利要求1或2所述的装置，其特征在于，其中所述体布拉格光栅的角带宽等于或小于5度。
6.如权利要求5所述的装置，其特征在于，其中所述体布拉格光栅的角带宽在1和2度之间。
7.如权利要求1所述的装置，其特征在于，其中当所述输入耦合器被定位成在被所述红外光照射的眼睛的前方时，从所述眼睛反射并由所述输入耦合器接收到的所述红外光的至少一部分被耦合到在所述输入耦合器处的所述波导中，经由全内反射在所述波导内从所述输入耦合器传播到所述输出耦合器，并且在靠近所述输出耦合器处离开所述波导。
8.如权利要求1所述的装置，其特征在于，其中为了基本上实现远心性，所述输入耦合器的每个点的角带宽基本上以所述输入耦合器的主光线为中心，所述输入耦合器的所有主光线基本上彼此平行。
9.一种用于跟踪眼睛的方法，所述方法包括：
当波导的体布拉格光栅类型的输入耦合器与眼睛基本轴向对准时，用红外光照射所述眼睛；
使用所述体布拉格光栅类型的输入耦合器将入射在所述体布拉格光栅类型输入耦合器上的从所述眼睛反射的红外光束耦合到所述波导中；
在所述体布拉格光栅类型的输入耦合器的下边界与上边界之间使用逐渐减小的k向量角，以促使由所述体布拉格光栅类型的输入耦合器耦合到所述波导中的所述红外光的至少大部分在所述波导内传播到所述波导的输出耦合器；以及
使用所述波导的输出耦合器，以促使已经从所述体布拉格光栅类型的输入耦合器传播到所述输出耦合器的所述红外光束离开所述波导。
10.如权利要求9所述的方法，其特征在于，还包括：
使用等于或小于5度的所述体布拉格光栅类型的输入耦合器的角带宽，从而限制一范围，在该范围中，当不同的红外光束从所述体布拉格光栅类型的输入耦合器传播到所述输出耦合器时，在从所述眼睛上的同一点反射之后被耦合到所述波导中的所述不同的红外光束是非准直。
11.如权利要求9或10所述的方法，其特征在于，还包括：
将离开所述波导的所述红外光束从角度编码的红外光束转换成二维空间编码的红外光束；
根据所述二维空间编码的红外光束生成被用来跟踪所述眼睛的眼睛跟踪数据；以及
基于所述眼睛跟踪数据来控制或修改应用的方面。
12.一种用于跟踪眼睛的***，其特征在于，包括：
产生被用来照射眼睛的红外光的红外照射源；
透明的并且包括输入耦合器和输出耦合器的波导；
所述输入耦合器包括被适配成接收具有所述红外波长的红外光并且将所接收到的红外光耦合到所述波导中的体布拉格光栅；
所述体布拉格光栅包括下边界和上边界，所述上边界比所述下边界更靠近所述输出耦合器；以及
所述体布拉格光栅在所述下边界处具有大于在所述上边界处的k向量角的k向量角，其中在所述下边界与上边界之间的所述体布拉格光栅的k向量角随着所述体布拉格光栅的光栅平面与所述上边界之间的距离减小而逐渐减小。
13.如权利要求12所述的***，其特征在于，其中：
所述体布拉格光栅具有与用于眼睛跟踪的所述红外光的红外波长相匹配的布拉格波长；
所述体布拉格光栅包括透镜光学能力和棱镜光学能力；
所述体布拉格光栅的透镜光学能力指定所述体布拉格光栅的焦距；以及
所述体布拉格光栅的棱镜光学能力促使由所述体布拉格光栅接收到的红外光被耦合到所述波导中。
14.如权利要求12或13所述的***，其特征在于，其中所述体布拉格光栅的角带宽等于或小于5度。
15.如权利要求12或13所述的***，其特征在于，还包括：
透镜模块，所述透镜模块将离开所述输出耦合器处的所述波导的所述红外光束从角度编码的红外光束转换成二维空间编码的红外光束；
传感器，所述传感器根据使用所述透镜模块产生的所述二维空间编码的红外光束来产生眼睛跟踪数据；以及
基于所述眼睛跟踪数据来控制或修改应用的方面的处理器。
CN201580043666.8A 2014-08-11 2015-08-10 采用体布拉格光栅的波导眼睛跟踪 Active CN106662685B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/456,512 2014-08-11
US14/456,512 US9377623B2 (en) 2014-08-11 2014-08-11 Waveguide eye tracking employing volume Bragg grating
PCT/US2015/044400 WO2016025350A1 (en) 2014-08-11 2015-08-10 Waveguide eye tracking employing volume bragg grating

Publications (2)

Publication Number Publication Date
CN106662685A true CN106662685A (zh) 2017-05-10
CN106662685B CN106662685B (zh) 2019-04-09

Family

ID=53887236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580043666.8A Active CN106662685B (zh) 2014-08-11 2015-08-10 采用体布拉格光栅的波导眼睛跟踪

Country Status (5)

Country Link
US (1) US9377623B2 (zh)
EP (1) EP3180647B1 (zh)
KR (1) KR102416401B1 (zh)
CN (1) CN106662685B (zh)
WO (1) WO2016025350A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108646413A (zh) * 2018-05-13 2018-10-12 深圳纬目信息技术有限公司 一种含多层自由曲面光波导的眼球追踪装置的头戴式设备
CN111051938A (zh) * 2017-09-26 2020-04-21 苹果公司 具有体相位光栅的显示器
CN111149040A (zh) * 2017-09-27 2020-05-12 奥迪股份公司 尤其用于车辆的显示装置以及带有这种显示装置的车辆
CN113424085A (zh) * 2019-02-11 2021-09-21 脸谱科技有限责任公司 用于通过光波导的倾斜表面的光耦合的色散补偿
CN114556186A (zh) * 2019-10-14 2022-05-27 脸谱科技有限责任公司 具有布拉格光栅的人工现实***

Families Citing this family (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0522968D0 (en) 2005-11-11 2005-12-21 Popovich Milan M Holographic illumination device
GB0718706D0 (en) 2007-09-25 2007-11-07 Creative Physics Ltd Method and apparatus for reducing laser speckle
US11726332B2 (en) 2009-04-27 2023-08-15 Digilens Inc. Diffractive projection apparatus
US9335604B2 (en) 2013-12-11 2016-05-10 Milan Momcilo Popovich Holographic waveguide display
US9341846B2 (en) 2012-04-25 2016-05-17 Rockwell Collins Inc. Holographic wide angle display
US11204540B2 (en) 2009-10-09 2021-12-21 Digilens Inc. Diffractive waveguide providing a retinal image
US20200057353A1 (en) 2009-10-09 2020-02-20 Digilens Inc. Compact Edge Illuminated Diffractive Display
WO2012136970A1 (en) 2011-04-07 2012-10-11 Milan Momcilo Popovich Laser despeckler based on angular diversity
EP2748670B1 (en) 2011-08-24 2015-11-18 Rockwell Collins, Inc. Wearable data display
WO2016020630A2 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Waveguide laser illuminator incorporating a despeckler
US10670876B2 (en) 2011-08-24 2020-06-02 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
US20150010265A1 (en) 2012-01-06 2015-01-08 Milan, Momcilo POPOVICH Contact image sensor using switchable bragg gratings
US9456744B2 (en) 2012-05-11 2016-10-04 Digilens, Inc. Apparatus for eye tracking
US9933684B2 (en) 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
WO2014188149A1 (en) 2013-05-20 2014-11-27 Milan Momcilo Popovich Holographic waveguide eye tracker
US9727772B2 (en) 2013-07-31 2017-08-08 Digilens, Inc. Method and apparatus for contact image sensing
WO2016020632A1 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Method for holographic mastering and replication
WO2016042283A1 (en) 2014-09-19 2016-03-24 Milan Momcilo Popovich Method and apparatus for generating input images for holographic waveguide displays
US10423222B2 (en) 2014-09-26 2019-09-24 Digilens Inc. Holographic waveguide optical tracker
US20180275402A1 (en) 2015-01-12 2018-09-27 Digilens, Inc. Holographic waveguide light field displays
CN107873086B (zh) 2015-01-12 2020-03-20 迪吉伦斯公司 环境隔离的波导显示器
WO2016116733A1 (en) 2015-01-20 2016-07-28 Milan Momcilo Popovich Holographic waveguide lidar
US9632226B2 (en) 2015-02-12 2017-04-25 Digilens Inc. Waveguide grating device
WO2016146963A1 (en) 2015-03-16 2016-09-22 Popovich, Milan, Momcilo Waveguide device incorporating a light pipe
US10591756B2 (en) 2015-03-31 2020-03-17 Digilens Inc. Method and apparatus for contact image sensing
EP3770659B1 (en) * 2015-05-19 2023-10-04 Magic Leap, Inc. Illuminator
WO2017060665A1 (en) 2015-10-05 2017-04-13 Milan Momcilo Popovich Waveguide display
DE102015221774B4 (de) * 2015-11-05 2019-10-17 Agrippa Holding & Consulting Gmbh Optisches System und Verfahren zur Erzeugung eines zwei- oder dreidimensionalen Bildes
WO2017127494A1 (en) 2016-01-22 2017-07-27 Corning Incorporated Wide field personal display
WO2017134412A1 (en) 2016-02-04 2017-08-10 Milan Momcilo Popovich Holographic waveguide optical tracker
JP6895451B2 (ja) 2016-03-24 2021-06-30 ディジレンズ インコーポレイテッド 偏光選択ホログラフィー導波管デバイスを提供するための方法および装置
JP6734933B2 (ja) 2016-04-11 2020-08-05 ディジレンズ インコーポレイテッド 構造化光投影のためのホログラフィック導波管装置
WO2017196999A1 (en) * 2016-05-12 2017-11-16 Magic Leap, Inc. Wavelength multiplexing in waveguides
DE102016115938A1 (de) * 2016-08-26 2018-03-01 Carl Zeiss Jena Gmbh Wellenleiter sowie Vorrichtungen zur Dateneinspiegelung
US10268268B1 (en) 2016-09-02 2019-04-23 Facebook Technologies, Llc Waveguide integrated eye tracking
WO2018102834A2 (en) 2016-12-02 2018-06-07 Digilens, Inc. Waveguide device with uniform output illumination
US10551616B2 (en) * 2016-12-09 2020-02-04 Microsoft Technology Licensing, Llc Display device system with tilted lens group to prevent ghost images
US10168531B1 (en) 2017-01-04 2019-01-01 Facebook Technologies, Llc Lightfield waveguide integrated eye tracking
US10545346B2 (en) 2017-01-05 2020-01-28 Digilens Inc. Wearable heads up displays
US10534185B1 (en) 2017-02-14 2020-01-14 Facebook Technologies, Llc Multi-planar display with waveguide and lens stacks
WO2018152235A1 (en) * 2017-02-14 2018-08-23 Optecks, Llc Optical display system for augmented reality and virtual reality
US10690919B1 (en) 2017-02-17 2020-06-23 Facebook Technologies, Llc Superluminous LED array for waveguide display
JP7300996B2 (ja) * 2017-03-21 2023-06-30 マジック リープ， インコーポレイテッド 回折光学要素を使用した眼結像装置
US10185393B2 (en) 2017-04-03 2019-01-22 Facebook Technologies, Llc Waveguide display with spatially switchable grating
WO2018194962A1 (en) * 2017-04-17 2018-10-25 Akonia Holographics Llc Skew mirror auxiliary imaging
CN107272202A (zh) * 2017-06-16 2017-10-20 北京灵犀微光科技有限公司 光学装置和波导显示装置
US10175489B1 (en) 2017-07-05 2019-01-08 Microsoft Technology Licensing, Llc Compact optical system with MEMS scanners for image generation and object tracking
US10895746B1 (en) 2017-08-07 2021-01-19 Facebook Technologies, Llc Expanding field-of-view in direct projection augmented reality and virtual reality systems
US10534209B1 (en) * 2017-08-21 2020-01-14 Facebook Technologies, Llc Liquid crystal structure for controlling brightness uniformity in a waveguide display
US10976551B2 (en) 2017-08-30 2021-04-13 Corning Incorporated Wide field personal display device
KR102481884B1 (ko) * 2017-09-22 2022-12-28 삼성전자주식회사 가상 영상을 표시하는 방법 및 장치
WO2019079350A2 (en) 2017-10-16 2019-04-25 Digilens, Inc. SYSTEMS AND METHODS FOR MULTIPLYING THE IMAGE RESOLUTION OF A PIXÉLISÉ DISPLAY
KR20200108030A (ko) 2018-01-08 2020-09-16 디지렌즈 인코포레이티드. 도파관 셀 내의 홀로그래픽 격자의 높은 처리능력의 레코딩을 위한 시스템 및 방법
WO2019136476A1 (en) 2018-01-08 2019-07-11 Digilens, Inc. Waveguide architectures and related methods of manufacturing
US10613332B1 (en) 2018-02-15 2020-04-07 Facebook Technologies, Llc Near-eye display assembly with enhanced display resolution
JP7487109B2 (ja) 2018-03-16 2024-05-20 ディジレンズ インコーポレイテッド 複屈折制御を組み込むホログラフィック導波管およびその加工のための方法
CN116009243A (zh) * 2018-05-18 2023-04-25 元平台技术有限公司 基于波导成像的眼睛跟踪
US11256086B2 (en) 2018-05-18 2022-02-22 Facebook Technologies, Llc Eye tracking based on waveguide imaging
WO2020023779A1 (en) 2018-07-25 2020-01-30 Digilens Inc. Systems and methods for fabricating a multilayer optical structure
US11409240B2 (en) 2018-12-17 2022-08-09 Meta Platforms Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using a diffractive optical element
US11256213B2 (en) 2018-12-17 2022-02-22 Facebook Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using an array of parabolic mirrors
US10838362B2 (en) 2018-12-17 2020-11-17 Facebook Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using a prism array
US10816809B2 (en) * 2018-12-17 2020-10-27 Facebook Technologies, Llc Holographic in-field illuminator
US10948873B2 (en) 2018-12-17 2021-03-16 Facebook Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using a lens array
US10942489B2 (en) 2018-12-17 2021-03-09 Facebook Technologies, Llc Wide-field holographic pattern generation for head-mounted display (HMD) eye tracking
DE102019102614A1 (de) * 2019-02-01 2020-08-06 Carl Zeiss Jena Gmbh Bildschirm mit einem transparenten Basiskörper
US11366298B1 (en) 2019-02-11 2022-06-21 Facebook Technologies, Llc Eye tracking based on telecentric polarization sensitive grating
JP2022520472A (ja) 2019-02-15 2022-03-30 ディジレンズ インコーポレイテッド 統合された格子を使用してホログラフィック導波管ディスプレイを提供するための方法および装置
CN113728258A (zh) 2019-03-12 2021-11-30 迪吉伦斯公司 全息波导背光及相关制造方法
US11353698B1 (en) * 2019-05-29 2022-06-07 Facebook Technologies, Llc Dual Purkinje imaging with ellipsoidal lensing structure
US11848542B1 (en) 2019-05-29 2023-12-19 Meta Platforms Technologies, Llc Active optics feedback and calibration
US11307415B1 (en) * 2019-05-29 2022-04-19 Facebook Technologies, Llc Head mounted display with active optics feedback and calibration
US11516374B2 (en) 2019-06-05 2022-11-29 Synaptics Incorporated Under-display image sensor
US10852551B1 (en) * 2019-06-07 2020-12-01 Facebook Technologies, Llc Wavefront sensing with ellipsoidal lensing structure
US20200386947A1 (en) 2019-06-07 2020-12-10 Digilens Inc. Waveguides Incorporating Transmissive and Reflective Gratings and Related Methods of Manufacturing
TW202129357A (zh) 2019-06-23 2021-08-01 以色列商魯姆斯有限公司 具有中央凹光學校正的顯示器
WO2021021926A1 (en) 2019-07-29 2021-02-04 Digilens Inc. Methods and apparatus for multiplying the image resolution and field-of-view of a pixelated display
US10948657B2 (en) 2019-08-02 2021-03-16 Honeywell International Inc. Bichromatic chip to free-space grating coupler
US11360557B2 (en) 2019-08-06 2022-06-14 Apple Inc. Eye tracking system
US11829528B2 (en) 2019-08-06 2023-11-28 Apple Inc. Eye tracking system
US11153513B2 (en) 2019-08-19 2021-10-19 Synaptics Incorporated Light source for camera
KR20220054386A (ko) 2019-08-29 2022-05-02 디지렌즈 인코포레이티드. 진공 브래그 격자 및 이의 제조 방법
US10989928B2 (en) 2019-09-17 2021-04-27 Facebook Technologies, Llc Thin see-through pancake lens assembly and display device including the same
EP4033288A4 (en) * 2019-09-18 2023-11-15 Letinar Co., Ltd AUGMENTED REALITY OPTICAL DEVICE HAVING IMPROVED OPTICAL EFFICIENCY
US10907967B1 (en) 2019-10-02 2021-02-02 Honeywell International Inc. Ring laser gyroscopes with active volume Bragg grating
US11615647B1 (en) * 2019-11-26 2023-03-28 Meta Platforms Technologies, Llc Systems and methods for eye tracking with spatially varying k-vectors
CN110995992B (zh) * 2019-12-04 2021-04-06 深圳传音控股股份有限公司 补光装置、补光装置的控制方法及计算机存储介质
US11076080B2 (en) 2019-12-05 2021-07-27 Synaptics Incorporated Under-display image sensor for eye tracking
WO2021157204A1 (ja) * 2020-02-04 2021-08-12 ソニーグループ株式会社 映像追従情報検出装置、映像追従装置、映像追従情報検出方法及び映像追従方法
KR102223621B1 (ko) 2020-07-01 2021-03-05 부경대학교 산학협력단 비가시광선 가시화 자동정합형 증강현실 글래스
KR20220120304A (ko) 2021-02-23 2022-08-30 삼성전자주식회사 3차원 홀로그래픽 디스플레이 장치 및 그 동작 방법
TW202331357A (zh) * 2021-12-28 2023-08-01 美商元平台技術有限公司 用於眼動追蹤的波導成像系統
US20230205312A1 (en) * 2021-12-28 2023-06-29 Meta Platforms Technologies, Llc Waveguide imaging system for eye tracking
US11741861B1 (en) 2022-02-08 2023-08-29 Lumus Ltd. Optical system including selectively activatable facets
US20230258938A1 (en) * 2022-02-17 2023-08-17 Meta Platforms Technologies, Llc Display systems with waveguide configuration to mitigate rainbow effect
US20230418066A1 (en) * 2022-06-27 2023-12-28 Juan Russo Multiplexed volume hologram couplers for augmented reality waveguides
DE102022127175A1 (de) * 2022-10-18 2024-04-18 Cariad Se Verfahren und Vorrichtung zum Vornehmen einer Überprüfung einer Person mittels Infrarotstrahlung sowie Kraftfahrzeug mit der Vorrichtung

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100157400A1 (en) * 2008-11-17 2010-06-24 Fedor Dimov Holographic Substrate-Guided Wave-Based See-Through Display
CN102955255A (zh) * 2011-09-26 2013-03-06 微软公司 集成眼睛追踪和显示***
CN103823267A (zh) * 2012-11-16 2014-05-28 罗克韦尔柯林斯公司 透明波导显示装置
US20140168735A1 (en) * 2012-12-19 2014-06-19 Sheng Yuan Multiplexed hologram tiling in a waveguide display

Family Cites Families (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3861784A (en) 1973-06-29 1975-01-21 Sperry Rand Corp Programmable diffraction grating
US4235504A (en) 1975-06-10 1980-11-25 Fujitsu Limited Holographic disk scanner
CA1174882A (en) 1981-02-23 1984-09-25 Charles J. Kramer Plane grating polarizing beamsplitter
JPS61213802A (ja) 1985-03-20 1986-09-22 Toshiba Corp 光カプラ
US4711512A (en) 1985-07-12 1987-12-08 Environmental Research Institute Of Michigan Compact head-up display
US5491570A (en) * 1991-07-26 1996-02-13 Accuwave Corporation Methods and devices for using photorefractive materials at infrared wavelengths
US5440669A (en) * 1991-07-26 1995-08-08 Accuwave Corporation Photorefractive systems and methods
GB2267165A (en) * 1992-05-11 1993-11-24 Sharp Kk Optical information processor
JPH08507879A (ja) 1993-02-26 1996-08-20 イエダ リサーチ アンド デベロツプメント カンパニー リミテツド ホログラフィー光学装置
US5614988A (en) * 1993-12-06 1997-03-25 Nikon Corporation Projection exposure apparatus and method with a plurality of projection optical units
US5986746A (en) * 1994-02-18 1999-11-16 Imedge Technology Inc. Topographical object detection system
US5596451A (en) 1995-01-30 1997-01-21 Displaytech, Inc. Miniature image generator including optics arrangement
US5701132A (en) 1996-03-29 1997-12-23 University Of Washington Virtual retinal display with expanded exit pupil
US5856842A (en) 1996-08-26 1999-01-05 Kaiser Optical Systems Corporation Apparatus facilitating eye-contact video communications
US5886822A (en) 1996-10-08 1999-03-23 The Microoptical Corporation Image combining system for eyeglasses and face masks
US6285813B1 (en) 1997-10-03 2001-09-04 Georgia Tech Research Corporation Diffractive grating coupler and method
DE69912759T2 (de) 1998-04-02 2004-09-30 Elop Electro-Optics Industries Ltd. Optische holographische Vorrichtung
US6323970B1 (en) 1999-09-29 2001-11-27 Digilents, Inc. Method of producing switchable holograms
US7123794B2 (en) * 2000-03-16 2006-10-17 Lightsmyth Technologies Inc Distributed optical structures designed by computed interference between simulated optical signals
US6529331B2 (en) 2001-04-20 2003-03-04 Johns Hopkins University Head mounted display with full field of view and high resolution
US6771423B2 (en) 2001-05-07 2004-08-03 Richard Geist Head-mounted virtual display apparatus with a near-eye light deflecting element in the peripheral field of view
US6731434B1 (en) 2001-05-23 2004-05-04 University Of Central Florida Compact lens assembly for the teleportal augmented reality system
IL148804A (en) 2002-03-21 2007-02-11 Yaacov Amitai Optical device
US7872804B2 (en) 2002-08-20 2011-01-18 Illumina, Inc. Encoded particle having a grating with variations in the refractive index
US7619739B1 (en) * 2002-08-29 2009-11-17 Science Applications International Corporation Detection and identification of biological agents using Bragg filters
FI114945B (fi) 2002-09-19 2005-01-31 Nokia Corp Sähköisesti säädettävä diffraktiivinen hilaelementti
US7205960B2 (en) 2003-02-19 2007-04-17 Mirage Innovations Ltd. Chromatic planar optic display system
US20070041684A1 (en) 2003-05-09 2007-02-22 Sbg Labs Inc. A Delaware Corporation Switchable viewfinder display
US7401920B1 (en) 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
US20060132914A1 (en) 2003-06-10 2006-06-22 Victor Weiss Method and system for displaying an informative image against a background image
US7245369B2 (en) * 2003-11-13 2007-07-17 B & W Tek, Inc. Spectroscopic apparatus using spectrum narrowed and stabilized laser with Bragg grating
KR100584703B1 (ko) 2003-12-26 2006-05-30 한국전자통신연구원 평면 격자렌즈
EP1922580B1 (en) 2005-09-07 2009-11-04 BAE Systems PLC A projection display with a rod-like, rectangular cross-section waveguide and a plate-like waveguide, each of them having a diffraction grating
US8068709B2 (en) 2005-09-12 2011-11-29 Lightsmyth Technologies Inc. Transmission gratings designed by computed interference between simulated optical signals and fabricated by reduction lithography
IL171820A (en) 2005-11-08 2014-04-30 Lumus Ltd A polarizing optical component for light coupling within a conductive substrate
US7931540B2 (en) * 2006-08-04 2011-04-26 Moose Mountain Toymakers Ltd. Children's playland
IL177618A (en) 2006-08-22 2015-02-26 Lumus Ltd Optical component in conductive substrate
CN101589326B (zh) 2006-12-28 2011-06-29 诺基亚公司 用于在二维上扩展出射光瞳的设备
DE102007023560B4 (de) * 2007-05-21 2009-02-05 Ovd Kinegram Ag Mehrschichtkörper
US8491121B2 (en) 2007-10-09 2013-07-23 Elbit Systems Of America, Llc Pupil scan apparatus
CA2712059A1 (en) 2008-01-22 2009-07-30 The Arizona Board Of Regents On Behalf Of The University Of Arizona Head-mounted projection display using reflective microdisplays
US20100149073A1 (en) * 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
US8311067B2 (en) * 2008-06-12 2012-11-13 Akonia Holographics, Llc System and devices for improving external cavity diode lasers using wavelength and mode sensors and compact optical paths
JP4858512B2 (ja) 2008-08-21 2012-01-18 ソニー株式会社 頭部装着型ディスプレイ
US7660047B1 (en) 2008-09-03 2010-02-09 Microsoft Corporation Flat panel lens
US20100079865A1 (en) 2008-09-26 2010-04-01 Nokia Corporation Near-to-eye scanning display with exit-pupil expansion
ES2644595T3 (es) 2009-04-14 2017-11-29 Bae Systems Plc Guía de ondas óptica y dispositivo de visualización
CA2759296C (en) 2009-04-20 2018-07-24 Bae Systems Plc Surface relief grating in an optical waveguide having a reflecting surface and dielectric layer conforming to the surface
US8639072B2 (en) * 2011-10-19 2014-01-28 Milan Momcilo Popovich Compact wearable display
JP5316391B2 (ja) 2009-08-31 2013-10-16 ソニー株式会社 画像表示装置及び頭部装着型ディスプレイ
US8233204B1 (en) 2009-09-30 2012-07-31 Rockwell Collins, Inc. Optical displays
US11320571B2 (en) 2012-11-16 2022-05-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view with uniform light extraction
US9341846B2 (en) 2012-04-25 2016-05-17 Rockwell Collins Inc. Holographic wide angle display
KR20110050929A (ko) 2009-11-09 2011-05-17 삼성전자주식회사 착용형 디스플레이장치
JP5546217B2 (ja) 2009-11-20 2014-07-09 キヤノン株式会社 回折光学素子およびそれを有する光学系、撮像装置
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US20120017153A1 (en) 2010-07-15 2012-01-19 Ken Matsuda Dynamic video editing
WO2012021811A1 (en) 2010-08-13 2012-02-16 The Penn State Research Foundation Compact spectrometer including a diffractive optical element with dual dispersion and focusing functionality
US8908738B2 (en) * 2010-10-01 2014-12-09 Physical Sciences, Inc. Ring resonator with a holographic reflector
WO2012054231A2 (en) 2010-10-04 2012-04-26 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
US9406166B2 (en) * 2010-11-08 2016-08-02 Seereal Technologies S.A. Display device, in particular a head-mounted display, based on temporal and spatial multiplexing of hologram tiles
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
WO2012085045A1 (de) 2010-12-22 2012-06-28 Seereal Technologies S.A. Kombinierte lichtmodulationsvorrichtung zur benutzernachführung
GB2490354A (en) * 2011-04-28 2012-10-31 Univ Southampton Laser with axially-symmetric beam profile
EP2748670B1 (en) 2011-08-24 2015-11-18 Rockwell Collins, Inc. Wearable data display
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US8638498B2 (en) 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
EP3761072A1 (en) 2012-01-24 2021-01-06 Augmented Vision Inc. Compact eye-tracked head-mounted display
US8736963B2 (en) 2012-03-21 2014-05-27 Microsoft Corporation Two-dimensional exit-pupil expansion
US9456744B2 (en) * 2012-05-11 2016-10-04 Digilens, Inc. Apparatus for eye tracking
IL219907A (en) 2012-05-21 2017-08-31 Lumus Ltd Integrated head display system with eye tracking
US10502876B2 (en) * 2012-05-22 2019-12-10 Microsoft Technology Licensing, Llc Waveguide optics focus elements
US9310277B2 (en) 2012-07-06 2016-04-12 Ta-Min Peng Tire temperature and tire pressure wireless sensing device
JP6163753B2 (ja) 2012-12-27 2017-07-19 セイコーエプソン株式会社 液室形成体及び液体噴射装置
US8873149B2 (en) 2013-01-28 2014-10-28 David D. Bohn Projection optical system for coupling image light to a near-eye display
US9459451B2 (en) * 2013-12-26 2016-10-04 Microsoft Technology Licensing, Llc Eye tracking apparatus, method and system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100157400A1 (en) * 2008-11-17 2010-06-24 Fedor Dimov Holographic Substrate-Guided Wave-Based See-Through Display
CN102955255A (zh) * 2011-09-26 2013-03-06 微软公司 集成眼睛追踪和显示***
CN103823267A (zh) * 2012-11-16 2014-05-28 罗克韦尔柯林斯公司 透明波导显示装置
US20140168735A1 (en) * 2012-12-19 2014-06-19 Sheng Yuan Multiplexed hologram tiling in a waveguide display

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111051938A (zh) * 2017-09-26 2020-04-21 苹果公司 具有体相位光栅的显示器
US11467407B2 (en) 2017-09-26 2022-10-11 Apple Inc. Displays with volume phase gratings
CN111051938B (zh) * 2017-09-26 2022-11-25 苹果公司 具有体相位光栅的显示器
CN111149040A (zh) * 2017-09-27 2020-05-12 奥迪股份公司 尤其用于车辆的显示装置以及带有这种显示装置的车辆
CN111149040B (zh) * 2017-09-27 2022-06-28 奥迪股份公司 尤其用于车辆的显示装置以及带有这种显示装置的车辆
US11493758B2 (en) 2017-09-27 2022-11-08 Audi Ag Display device, in particular for vehicle, and vehicle having display device with volume hologram
CN108646413A (zh) * 2018-05-13 2018-10-12 深圳纬目信息技术有限公司 一种含多层自由曲面光波导的眼球追踪装置的头戴式设备
CN113424085A (zh) * 2019-02-11 2021-09-21 脸谱科技有限责任公司 用于通过光波导的倾斜表面的光耦合的色散补偿
CN114556186A (zh) * 2019-10-14 2022-05-27 脸谱科技有限责任公司 具有布拉格光栅的人工现实***

Also Published As

Publication number Publication date
KR20170042332A (ko) 2017-04-18
KR102416401B1 (ko) 2022-07-01
EP3180647A1 (en) 2017-06-21
CN106662685B (zh) 2019-04-09
EP3180647B1 (en) 2019-11-13
US20160041384A1 (en) 2016-02-11
US9377623B2 (en) 2016-06-28
WO2016025350A1 (en) 2016-02-18

Similar Documents

Publication Publication Date Title
CN106662685B (zh) 采用体布拉格光栅的波导眼睛跟踪
CN106716223B (zh) 采用可切换衍射光栅的波导眼睛跟踪
CN105849621B (zh) 眼睛跟踪装置、方法和***
US11754840B2 (en) Eye-imaging apparatus using diffractive optical elements
CN105393160A (zh) 基于眼睛注视的相机自动聚焦
CN107005653A (zh) 虚拟聚焦反馈
CN107003520A (zh) 透视显示器光学结构
CN105829951A (zh) 影像投射装置、头戴式显示器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant