CN111727398A - 用于瞳孔转向的集成增强现实头戴式显示器 - Google Patents

用于瞳孔转向的集成增强现实头戴式显示器 Download PDF

Info

Publication number
CN111727398A
CN111727398A CN201880089712.1A CN201880089712A CN111727398A CN 111727398 A CN111727398 A CN 111727398A CN 201880089712 A CN201880089712 A CN 201880089712A CN 111727398 A CN111727398 A CN 111727398A
Authority
CN
China
Prior art keywords
light
eye
pupil
light projector
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880089712.1A
Other languages
English (en)
Inventor
道格拉斯·罗伯特·兰曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN111727398A publication Critical patent/CN111727398A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • G02B26/101Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • G02B26/105Scanning systems with one or more pivoting mirrors or galvano-mirrors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)

Abstract

一种用于向佩戴者提供增强现实内容的头戴式显示设备包括眼睛***、投光器、光束转向器和组合器。眼睛***被配置成确定佩戴者的眼睛的瞳孔的位置。投光器被配置为投射光以用于渲染图像。光束转向器被配置成基于瞳孔的位置来改变来自投光器的光的方向。组合器被配置为将来自投光器的光和来自头戴式显示设备外部的光组合,用于提供所渲染的图像和与来自头戴式显示设备外部的光相对应的真实图像的重叠。

Description

用于瞳孔转向的集成增强现实头戴式显示器
技术领域
本申请总体上涉及显示设备,更具体地说,涉及头戴式显示设备。
背景
头戴式显示设备(在本文中也称为头戴式显示器)作为向用户提供视觉信息的工具正变得越来越流行。例如,头戴式显示设备用于虚拟现实和增强现实操作。
然而,传统头戴式显示器的尺寸和重量限制了头戴式显示器的应用。
概述
因此,需要紧凑且轻的头戴式显示器,从而增强用户的虚拟现实和/或增强现实体验。
特别地,传统头戴式显示设备(例如,被配置用于增强现实操作的传统头戴式显示设备)在用户的眼睛周围的大区域上投射图像,以便在所有注视方向上提供宽视场(例如,以便处理瞳孔转向(pupil steering))。然而,在大区域上投射图像会导致所投射图像的亮度降低。补偿降低的亮度通常需要高强度光源,高强度光源通常又大又重,并且具有高功耗。
所公开的显示设备减少或消除了与传统头戴式显示器相关联的上述缺陷和其他问题。根据一些实施例,用户的眼睛的瞳孔的位置被确定(例如,使用眼睛***),并且将图像朝向眼睛的瞳孔投射到缩小的区域上。通过缩小图像被投射的区域,减少或消除了对高强度光源的需求。这继而允许紧凑的、轻的和低功耗的头戴式显示器。
根据一些实施例,用于向佩戴者提供增强现实内容的头戴式显示设备包括眼睛***、投光器(light projector)、光束转向器(beam steerer)和组合器。眼睛***被配置为确定佩戴者的眼睛的瞳孔的位置,投光器被配置为投射光以至少基于增强现实内容来渲染图像,光束转向器被配置为基于瞳孔的位置来改变来自投光器的光的方向,并且组合器被配置为将来自投光器的光和来自头戴式显示设备外部的光组合,用于提供渲染的图像和真实图像的重叠,该真实图像与来自头戴式显示设备外部的光相对应。
根据一些实施例,一种使用头戴式显示设备——包括眼睛***、投光器、光束转向器和组合器——向佩戴者提供增强现实内容的方法包括利用眼睛***来确定眼睛的瞳孔的位置。该方法还包括利用投光器来投射光以至少基于增强现实内容渲染图像,以及利用光束转向器基于瞳孔的位置来改变来自投光器的光的方向。该方法还包括利用组合器将来自投光器的光和来自头戴式显示设备外部的光组合,用于提供渲染的图像和真实图像的重叠,该真实图像与来自头戴式显示设备外部的光相对应。
根据一些实施例,一种用于使用包括投光器和光束移位器的头戴式显示设备向佩戴者提供图像的方法包括利用投光器投射光以至少基于虚拟现实内容和/或增强现实内容渲染图像,以及利用光束移位器基于佩戴者的眼睛的瞳孔的位置来改变从投光器投射的光的路径。
根据一些实施例,用于向佩戴者提供图像的头戴式显示设备包括投光器和光束移位器,投光器被配置为投射光以至少基于虚拟现实内容和/或增强现实内容来渲染图像,光束移位器被配置为基于佩戴者的眼睛的瞳孔的位置来改变从投光器投射的光的路径。
根据一些实施例,用于向佩戴者提供增强现实内容的头戴式显示设备包括第一投光器和第一菲涅耳(Fresnel)组合器,第一投光器被配置为投射光以至少基于增强现实内容来渲染图像,第一菲涅耳组合器被配置为将来自第一投光器的光和来自头戴式显示设备外部的光组合,用于提供渲染的图像和真实图像的重叠,该真实图像与来自头戴式显示设备外部的光相对应。
根据一些实施例,一种使用包括第一投光器和第一菲涅耳组合器的头戴式显示设备向佩戴者提供增强现实内容的方法包括利用第一投光器投射光以至少基于增强现实内容来渲染图像,以及利用第一菲涅耳组合器将来自第一投光器的光和来自头戴式显示设备外部的光组合,用于提供渲染的图像和真实图像的重叠,该真实图像与来自头戴式显示设备外部的光相对应。
根据一些实施例,用于向佩戴者提供增强现实内容的头戴式显示设备包括投光器和扁平(pancake)组合器。投光器被配置为投射具有第一偏振的光以至少基于增强现实内容来渲染图像。扁平组合器被配置为将来自投光器的光和来自头戴式显示设备外部的光组合,用于提供所渲染的图像和真实图像的重叠,该真实图像与来自头戴式显示设备外部的光相对应。扁平组合器还被配置成将来自投光器的光导向佩戴者的眼睛的瞳孔。
根据一些实施例,一种使用包括投光器和扁平组合器的头戴式显示设备向佩戴者提供增强现实内容的方法包括利用投光器投射具有第一偏振的光以至少基于增强现实内容来渲染图像,以及利用扁平组合器将来自投光器的光和来自头戴式显示设备外部的光组合,用于提供渲染的图像和真实图像的重叠,该真实图像与来自头戴式显示设备外部的光相对应。扁平组合器被配置成将来自投光器的光导向佩戴者的眼睛的瞳孔。
根据一些实施例,用于向佩戴者提供增强现实内容的头戴式显示设备包括投光器、眼睛***和光束转向器,投光器被配置为投射光以至少基于增强现实内容来渲染图像,眼睛***被配置为确定佩戴者的眼睛的瞳孔的位置,光束转向器被配置为基于瞳孔的位置来改变来自投光器的光的方向。
根据一些实施例,一种用于使用头戴式显示设备——包括眼睛***、投光器和光束转向器——向佩戴者提供增强现实内容的方法包括利用眼睛***来确定佩戴者的眼睛的瞳孔的位置,以及利用投光器投射光以至少基于增强现实内容渲染图像。该方法还包括利用光束转向器,基于瞳孔的位置来改变来自投光器的光的方向。
根据一些实施例,一种用于使用头戴式显示设备——包括眼睛跟踪传感器、投光器、光束转向器和组合器——向佩戴者提供增强现实内容的方法包括利用眼睛跟踪传感器来确定佩戴者的眼睛的瞳孔的位置,以及利用投光器投射光以至少基于增强现实内容渲染图像。该方法还包括利用光束转向器,基于瞳孔的位置来改变来自投光器的光的方向。来自光束转向器的光被导向组合器,并且来自光束转向器的光和来自头戴式显示设备外部的光被组合器组合,以提供渲染的图像和真实图像的重叠,该真实图像与来自头戴式显示设备外部的光相对应。
根据一些实施例,一种用于向佩戴者提供增强现实内容的头戴式显示设备,该设备包括眼睛跟踪传感器、投光器、光束转向器和组合器,眼睛跟踪传感器被配置为确定佩戴者的眼睛的瞳孔的位置,投光器被配置为投射光以至少基于增强现实内容来渲染图像,光束转向器被配置为基于瞳孔的位置来改变来自投光器的光的方向,组合器被配置为将来自投光器的光和来自头戴式显示设备外部的光组合,用于提供渲染的图像和真实图像的重叠,该真实图像与来自头戴式显示设备外部的光相对应。
根据一些实施例,用于向佩戴者提供图像的头戴式显示设备包括被配置为投射用于渲染图像的光的支持调焦的投光器(focus-supporting light projector)。从支持调焦的投光器投射的光对应于至少部分地基于佩戴者的眼睛的瞳孔的位置而选择的图像平面。该设备还包括光束转向器,该光束转向器被配置为基于佩戴者的眼睛的瞳孔的位置来改变从支持调焦的投光器投射的光的路径。
根据一些实施例,使用包括支持调焦的投光器和光束转向器的头戴式显示设备来执行用于向佩戴者提供图像的方法。该方法包括利用支持调焦的投光器投射光,以至少基于虚拟现实内容和/或增强现实内容来渲染图像。从支持调焦的投光器投射的光对应于至少部分地基于佩戴者的眼睛的瞳孔的位置而选择的图像平面。该方法还包括利用光束转向器,基于佩戴者的眼睛的瞳孔的位置来改变从支持调焦的投光器投射的光的路径。
因此,所公开的实施例提供了可用于增强现实和/或虚拟现实操作的紧凑且轻便的显示设备。
附图简述
为了更好地理解所描述的各个实施例,应当结合以下附图来参考下面的实施例的描述,在所有附图中,相同的附图标记指示相应的部件。
图1是根据一些实施例的显示设备的透视图。
图2是根据一些实施例的包括显示设备的***的框图。
图3是根据一些实施例的显示设备的等轴视图。
图4A是示出根据一些实施例的显示设备的示意图。
图4B是示出根据一些实施例的显示设备的示意图。
图4C是示出根据一些实施例的显示设备的示意图。
图4D是示出根据一些实施例的显示设备的示意图。
图5A-5B是示出根据一些实施例的显示设备的示例操作的示意图。
图5C-5E是示出根据一些实施例的显示设备的示意图。
图5F是示出根据一些实施例的扫描反射器组件的示意图。
图5G-5H是示出根据一些实施例的显示设备的示意图。
图5I是示出根据一些实施例的投射光的方向的改变的示意图。
图6A-6C是示出根据一些实施例的可调谐波导的示意图。
图7A是示出根据一些实施例的全息组合器的示意图。
图7B是示出根据一些实施例的全息组合器的示意图。
图8是示出根据一些实施例的非球面组合器的示意图。
图9A是示出根据一些实施例的菲涅耳组合器的示意图。
图9B是示出根据一些实施例的菲涅耳组合器的示意图。
图9C是示出根据一些实施例的菲涅耳组合器的示意图。
图9D是示出根据一些实施例的菲涅耳组合器的示意图。
图9E是示出根据一些实施例的菲涅耳组合器的示意图。
图10A和图10B是示出根据一些实施例的扁平组合器的示意图。
图11A是示出根据一些实施例通过成像来检测瞳孔的位置的示意图。
图11B是示出根据一些实施例通过闪光跟踪(glint tracking)来检测瞳孔的位置的示意图。
图11C是示出根据一些实施例的用于眼睛跟踪的四种结构化光图案的示意图。
图11D是示出根据一些实施例通过红外(IR)视网膜反射(retinal reflex)检测来检测瞳孔的位置的示意图。
图11E是示出根据一些实施例通过深度测量来检测瞳孔的位置的示意图。
图11F是示出根据一些实施例通过深度扫描来检测瞳孔的位置的示意图。
图11G-11I是示出根据一些实施例通过飞行时间检测器(time-of-flightdetector)来检测瞳孔的位置的示意图。
图11J是示出根据一些实施例通过飞行时间检测器来检测瞳孔的位置的示意图。
图12A-12E是示出根据一些实施例的具有支持调焦的投光器的头戴式显示器的示意图。
图12F和图12G是示出根据一些实施例的头戴式显示器的示例操作的示意图。
除非另有说明,否则这些图不是按比例绘制的。
详细描述
利用透射现实世界图像并反射计算机生成的图像的光学元件(例如,组合器)允许增强现实操作,而不需要单独的高分辨率高帧率相机,从而减小头戴式显示器的尺寸和重量。为了向瞳孔提供图像而不考虑瞳孔的移动,传统的组合器将图像投射到大的视窗(eyebox)(例如,具有至少1cm的特征尺寸(例如直径或宽度)的视窗)上。例如,可以通过光瞳复制(pupil replication)技术来实现大的视窗,该光瞳复制技术扩展传输到视窗的光束的尺寸。例如,传统的组合器可以包括与光学元件(例如,光栅)耦合的波导,以扩展光束的尺寸。然而,当光被投射到大的视窗上时,该光的很大一部分落在瞳孔之外的区域上,并因此没有被检测到。这导致所投射图像的亮度降低。代替增加显示器的功率(其增加头戴式显示器的尺寸、重量和功耗),将图像投射到小的视窗(例如,对应于瞳孔尺寸的视窗)上,从而提高所投射图像的亮度。为了适应瞳孔的移动并减少投射光的渐晕(vignetting),使用眼睛***来确定瞳孔的位置,并将投射光转向瞳孔。
现在将参考实施例,这些实施例的示例在附图中被示出。在以下描述中,阐述了许多具体细节,以便提供对各种描述的实施例的理解。然而,对于本领域中的普通技术人员将明显的是,可以在没有这些具体细节的情况下实践各种描述的实施例。在其他实例中,没有详细描述众所周知的方法、过程、部件、电路和网络,以免不必要地模糊实施例的各个方面。
还将理解,尽管本文中术语第一、第二等在一些实例中被用于描述各种元素,但是这些元素不应被这些术语所限制。这些术语仅用于使一个元素区别于另一个元素。例如,第一投光器可以被称为第二投光器,并且类似地,第二投光器可以被称为第一投光器,而不偏离各种描述的实施例的范围。第一投光器和第二投光器都是投光器,但是它们不是相同的投光器。
在本文中,在各种描述的实施例的描述中使用的术语仅是出于描述特定实施例的目的,而不意图进行限制。如在各种描述的实施例和所附权利要求的描述中所使用的,单数形式“一个(a)”、“一个(an)”和“该(the)”也意图包括复数形式,除非上下文另外清楚地说明。还将理解,本文使用的术语“和/或”指代并包括一个或更多个相关列出项的任何和所有可能的组合。将进一步理解,当在本说明书中使用时,术语“包括(includes)”、“包括(including)”、“包括(comprises)”和/或“包括(comprising)”指定所陈述的特征、整体事物、步骤、操作、元素和/或部件的存在,但不排除一个或更多个其他特征、整体事物、步骤、操作、元素、部件和/或它们的组的存在或添加。在本文中,术语“示例性”以“用作示例、实例或说明”而非“代表同类最佳”的意义被使用。
图1示出了根据一些实施例的显示设备100。在一些实施例中,显示设备100被配置为佩戴在用户的头上(例如,通过具有眼镜(spectacles)或眼镜(eyeglasses)的形式,如图1所示)或作为将由用户佩戴的头盔的一部分被包括。当显示设备100被配置为佩戴在用户的头上或作为头盔的一部分被包括时,显示设备100被称为头戴式显示器。替代地,显示设备100被配置用于放置在用户的一只眼睛或多只眼睛附近的固定位置处,而不是头戴式的(例如,显示设备100被安装在诸如汽车或飞机的交通工具中,用于放置在用户的一只眼睛或多只眼睛前面)。如图1所示,显示设备100包括显示器110。显示器110被配置用于向用户呈现视觉内容(例如,增强现实内容、虚拟现实内容、混合现实内容或其任意组合)。
在一些实施例中,显示设备100包括本文中参考图2描述的一个或更多个部件。在一些实施例中,显示设备100包括图2中未示出的附加部件。
图2是根据一些实施例的***200的框图。图2中所示的***200包括显示设备205(其对应于图1中所示的显示设备100)、成像设备235和输入接口240,它们各自都耦合到控制台210。虽然图2示出了包括一个显示设备205、成像设备235和输入接口240的***200的示例,但在其他实施例中,***200中可以包括任何数量的这些部件。例如,可以有多个显示设备205,每个显示设备205具有相关联的输入接口240,并且由一个或更多个成像设备235监控,其中每个显示设备205、输入接口240和成像设备235都与控制台210进行通信。在替代配置中,不同部件和/或附加部件可以被包括在***200中。例如,在一些实施例中,控制台210经由网络(例如,互联网)连接到***200,或者是独立的(self-contained),作为显示设备205的一部分(例如,物理上位于显示设备205内部)。在一些实施例中,显示设备205用于通过添加真实周围环境的视图来创建混合现实。因此,此处描述的显示设备205和***200可以传送增强现实、虚拟现实和混合现实。
在一些实施例中,如图1所示,显示设备205是向用户呈现媒体的头戴式显示器。显示设备205所呈现的媒体的示例包括一个或更多个图像、视频、音频或它们的某种组合。在一些实施例中,经由外部设备(例如,扬声器和/或头戴式耳机)来呈现音频,该外部设备从显示设备205、控制台210或两者接收音频信息并基于该音频信息来呈现音频数据。在一些实施例中,显示设备205使用户沉浸在增强的环境中。
在一些实施例中,显示设备205还充当增强现实(AR)头戴式装置(headset)。在这些实施例中,显示设备205用计算机生成的元素(例如,图像、视频、声音等)来增强物理现实世界环境的视图。此外,在一些实施例中,显示设备205能够在不同类型的操作之间循环。因此,基于来自应用引擎255的指令,显示设备205作为虚拟现实(VR)设备、增强现实(AR)设备、眼镜或其某种组合(例如,没有光学校正的眼镜、对用户进行光学校正的眼镜、太阳镜或其某种组合)来操作。
显示设备205包括电子显示器215、一个或更多个处理器216、眼睛跟踪模块217、调整模块218、一个或更多个***220、一个或更多个位置传感器225、一个或更多个位置相机222、存储器228、惯性测量单元(IMU)230、一个或更多个反射元件260或其子集或超集(例如,具有电子显示器215、一个或更多个处理器216和存储器228而没有任何其他列出的部件的显示设备205)。显示设备205的一些实施例具有不同于此处描述的那些模块的模块。类似地,功能可以以不同于此处描述的方式在模块之间分配。
一个或更多个处理器216(例如,处理单元或核心)执行存储在存储器228中的指令。存储器228包括高速随机存取存储器,例如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备;并且可以包括非易失性存储器,例如一个或更多个磁盘存储设备、光盘存储设备、闪存设备或其他非易失性固态存储设备。存储器228或者替代地在存储器228内的非易失性存储器设备包括非暂时性计算机可读存储介质。在一些实施例中,存储器228或存储器228的计算机可读存储介质存储用于在电子显示器215上显示一个或更多个图像的程序、模块和数据结构、和/或指令。
电子显示器215根据从控制台210和/或处理器216接收的数据向用户显示图像。在各种实施例中,电子显示器215可以包括单个可调显示元件或多个可调显示元件(例如,用户的每只眼睛对应一个显示器)。在一些实施例中,电子显示器215被配置成通过将图像投射到一个或更多个反射元件260上来向用户显示图像。
在一些实施例中,显示元件包括一个或更多个发光器件和相应的空间光调制器阵列。空间光调制器是电光像素阵列、光电像素阵列、动态调整每个设备透射的光量的某种其他器件阵列、或它们的某些组合。这些像素被放置在一个或更多个透镜后面。在一些实施例中,空间光调制器是LCD(液晶显示器)中基于液晶的像素阵列。发光器件的示例包括:有机发光二极管、有源矩阵有机发光二极管、发光二极管、能够放置在柔性显示器中的某种类型的器件、或它们的某种组合。发光器件包括能够产生用于图像生成的可见光(例如,红色、绿色、蓝色等)的器件。空间光调制器被配置成选择性地衰减单独的发光器件、发光器件的组、或它们的某种组合。替代地,当发光器件被配置成选择性地衰减单个发射器件和/或发光器件的组时,显示元件包括这种发光器件的阵列,而没有单独的发射强度阵列(emissionintensity array)。在一些实施例中,电子显示器215将图像投射到一个或更多个反射元件260,反射元件260将至少一部分光朝向用户的眼睛反射。
一个或更多个透镜将来自发光器件阵列的光引导(可选地穿过发射强度阵列)至每个视窗内的位置,并最终引导至用户的视网膜的后部。视窗是由位于显示设备205附近的用户(例如,佩戴显示设备205的用户)的眼睛所占据的区域,用于观看来自显示设备205的图像。在某些情况下,视窗被表示为10mm×10mm的正方形。在一些实施例中,一个或更多个透镜包括一个或更多个涂层,例如抗反射涂层。
在一些实施例中,显示元件包括红外(IR)检测器阵列,该IR检测器阵列检测从观看用户的视网膜、从角膜的表面、眼睛的晶状体或其某种组合后向反射的IR光。IR检测器阵列包括一个IR传感器或多个IR传感器,每一个IR传感器对应于观看用户的眼睛的瞳孔的不同位置。在替代实施例中,也可以采用其他眼睛跟踪***。
眼睛跟踪模块217确定用户的眼睛的每个瞳孔的位置。在一些实施例中,眼睛跟踪模块217指示电子显示器215用IR光照亮视窗(例如,经由显示元件中的IR发射器件)。
发射的IR光的一部分将穿过观看用户的瞳孔,并从视网膜朝向IR检测器阵列后向反射,该IR检测器阵列用于确定瞳孔的位置。替代地,从眼睛的表面的反射也用于确定瞳孔的位置。IR检测器阵列对后向反射进行扫描,并识别出在检测到后向反射时哪些IR发射器件是激活的。眼睛跟踪模块217可以使用跟踪查找表和所识别的IR发射器件来确定每只眼睛的瞳孔位置。跟踪查找表将IR检测器阵列上接收到的信号映射到每个视窗中的位置(对应于瞳孔位置)。在一些实施例中,跟踪查找表是经由校准过程生成的(例如,用户观察图像中的各种已知参考点,并且眼睛跟踪模块217将在观察参考点时用户的瞳孔的位置映射到在IR跟踪阵列上接收到的相应信号)。如上面所提到的,在一些实施例中,***200可以使用除了本文描述的嵌入式IR眼睛跟踪***之外的其他眼睛跟踪***。
调整模块218基于所确定的瞳孔位置生成图像帧。在一些实施例中,这将离散图像发送到显示器,显示器将子图像拼接在一起,因此相干拼接图像将出现在视网膜的后部。调整模块218基于检测到的瞳孔位置调整电子显示器215的输出(即,生成的图像帧)。调整模块218指示电子显示器215的各部分将图像光传递到所确定的瞳孔位置。在一些实施例中,调整模块218还指示电子显示器不要将图像光传递到除了所确定的瞳孔位置之外的位置。调整模块218可以例如阻挡和/或停止其图像光落在所确定的瞳孔位置之外的发光器件,允许其他发光器件发射落在所确定的瞳孔位置之内的图像光,平移和/或旋转一个或更多个显示元件,动态调整在透镜(例如,微透镜)阵列中的一个或更多个有源透镜的曲率和/或屈光力,或者这些操作的某种组合。
可选***220是相对于彼此并且相对于显示设备205上的特定参考点位于显示设备205上特定位置的对象。***220可以是发光二极管(LED)、角立方体反射器、反射标记、与显示设备205的操作环境形成对比的一类光源、或它们的某种组合。在***220是有源的(即,LED或其他类型的发光器件)的实施例中,***220可以发射在可见光波段(例如,约400nm至750nm)中、在红外波段(例如,约750nm至1mm)中、在紫外波段(约100nm至400nm)中、电磁波谱的某个其他部分或其某种组合中的光。
在一些实施例中,***220位于显示设备205的外表面之下,该外表面对于由***220发射或反射的光的波长是透光的,或者足够薄而基本上不使由***220发射或反射的光的波长衰减。此外,在一些实施例中,显示设备205的外表面或其他部分在光的波长的可见光波段中是不透光的。因此,***220可以在外表面下发射在IR波段中的光,该外表面在IR波段中是透光的,但在可见光波段中是不透光的。
IMU 230是基于从一个或更多个位置传感器225接收的测量信号来生成校准数据的电子设备。位置传感器225响应于显示设备205的运动而生成一个或更多个测量信号。位置传感器225的示例包括:一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、检测运动的另一合适类型的传感器、用于IMU 230的误差校正的一种类型的传感器、或者其某种组合。位置传感器225可以位于IMU 230的外部、IMU 230的内部或者这两种位置的某种组合。
基于来自一个或更多个位置传感器225的一个或更多个测量信号,IMU 230生成第一校准数据,该第一校准数据指示相对于显示设备205的初始位置的显示设备205的估计位置。例如,位置传感器225包括测量平移运动(向前/向后、向上/向下、向左/向右)的多个加速度计和测量旋转运动(例如,俯仰、偏航、横滚)的多个陀螺仪。在一些实施例中,IMU 230对测量信号进行快速采样,并从采样的数据计算显示设备205的估计位置。例如,IMU 230对从加速度计接收的测量信号在时间上求积分以估计速度向量,并对速度向量在时间上求积分以确定显示设备205上的参考点的估计位置。替代地,IMU 230向控制台210提供所采样的测量信号,控制台确定第一校准数据。参考点是可以用来描述显示设备205的位置的点。尽管参考点通常可以被定义为空间中的点;然而,在实践中,参考点被定义为显示设备205内的点(例如,IMU 230的中心)。
在一些实施例中,IMU 230从控制台210接收一个或更多个校准参数。如下面进一步讨论的,该一个或更多个校准参数用于保持对显示设备205的跟踪。基于接收到的校准参数,IMU 230可以调整一个或更多个IMU参数(例如,采样率)。在一些实施例中,某些校准参数使得IMU 230更新参考点的初始位置,使得其对应于参考点的下一个校准位置。将参考点的初始位置更新为参考点的下一个校准位置有助于降低与所确定的估计位置相关联的累积误差。累积误差(也称为漂移误差)导致参考点的估计位置随着时间的推移“漂移”离开参考点的实际位置。
成像设备235根据从控制台210接收的校准参数来生成校准数据。校准数据包括显示***220的所观察的位置的一个或更多个图像,这些图像可由成像设备235检测。在一些实施例中,成像设备235包括一个或更多个静态相机、一个或更多个摄像机、能够捕获包括一个或更多个***220的图像的任何其他设备、或它们的某种组合。此外,成像设备235可以包括一个或更多个滤波器(例如,用于增加信噪比)。成像设备235被配置成可选地在成像设备235的视场中检测从***220发射或反射的光。在***220包括无源元件(例如,后向反射器)的实施例中,成像设备235可以包括照亮一些或所有***220的光源,这些***朝着成像设备235中的光源后向反射光。第二校准数据从成像设备235被传递到控制台210,并且成像设备235从控制台210接收一个或更多个校准参数以调整一个或更多个成像参数(例如,焦距、焦点、帧速率、ISO、传感器温度、快门速度、光圈等)。
在一些实施例中,显示设备205可选地包括一个或更多个反射元件260。在一些实施例中,电子显示设备205可选地包括单个反射元件260或多个反射元件260(例如,用户的每只眼睛对应一个反射元件260)。在一些实施例中,电子显示设备215将计算机生成的图像投射到一个或更多个反射元件260上,反射元件260继而将图像朝向用户的一只眼睛或多只眼睛反射。计算机生成的图像包括静止图像、动画图像和/或它们的组合。计算机生成的图像包括看起来是二维和/或三维对象的对象。在一些实施例中,一个或更多个反射元件260是部分透明的(例如,该一个或更多个反射元件260具有至少15%、20%、25%、30%、35%、40%、45%或50%的透射率),这允许环境光的透射。在这样的实施例中,由电子显示器215投射的计算机生成的图像与透射的环境光(例如,透射的环境图像)叠加,以提供增强现实图像。
输入接口240是允许用户向控制台210发送动作请求的设备。动作请求是执行特定动作的请求。例如,动作请求可以是开始或结束应用,或者是在应用内执行特定动作。输入接口240可以包括一个或更多个输入设备。示例输入设备包括:键盘、鼠标、游戏控制器、来自脑信号的数据、来自人体的其他部位的数据、或者用于接收动作请求并将接收的动作请求传送到控制台210的任何其他合适的设备。由输入接口240接收到的动作请求被传递到控制台210,控制台210执行对应于动作请求的动作。在一些实施例中,输入接口240可以根据从控制台210接收到的指令来向用户提供触觉反馈。例如,当接收到动作请求时,提供触觉反馈,或者控制台210向输入接口240传递指令,使输入接口240在控制台210执行动作时生成触觉反馈。
控制台210根据从成像设备235、显示设备205和输入接口240中的一个或更多个接收的信息来向显示设备205提供媒体以呈现给用户。在图2所示的示例中,控制台210包括应用储存器245、跟踪模块250和应用引擎255。控制台210的一些实施例具有与结合图2描述的模块不同的模块。类似地,本文中进一步描述的功能可以以与此处描述的方式不同的方式在控制台210的部件之间分配。
当应用储存器245被包括在控制台210中时,应用储存器245存储一个或更多个应用以供控制台210执行。应用是一组指令,该组指令当由处理器执行时用来生成用于呈现给用户的内容。由处理器基于应用生成的内容可以响应于经由显示设备205的移动或输入接口240而从用户接收的输入。应用的示例包括:游戏应用、会议应用、视频回放应用或其他合适的应用。
当跟踪模块250被包括在控制台210中时,跟踪模块250使用一个或更多个校准参数来校准***200,并且可以调整一个或更多个校准参数以降低在显示设备205的位置确定中的误差。例如,跟踪模块250调整成像设备235的焦点以获得在显示设备205上的被观察到的***的更准确的位置。此外,由跟踪模块250执行的校准还考虑从IMU 230接收到的信息。此外,如果失去对显示设备205的跟踪(例如,成像设备235失去至少阈值数量的***220的视线),则跟踪模块250重新校准***200中的一些或全部。
在一些实施例中,跟踪模块250使用来自成像设备235的第二校准数据来跟踪显示设备205的移动。例如,跟踪模块250使用来自第二校准信息的观察到的***和显示设备205的模型来确定显示设备205的参考点的位置。在一些实施例中,跟踪模块250还使用来自第一校准数据的位置信息来确定显示设备205的参考点的位置。此外,在一些实施例中,跟踪模块250可以使用第一校准数据、第二校准数据或其某种组合的部分来预测显示设备205的未来位置。跟踪模块250向应用引擎255提供显示设备205的估计位置或预测的未来位置。
应用引擎255执行在***200内的应用,并从跟踪模块250接收显示设备205的位置信息、加速度信息、速度信息、预测的未来位置或其某种组合。基于接收到的信息,应用引擎255确定要提供给显示设备205用于呈现给用户的内容。例如,如果接收到的信息指示用户已经向左看,则应用引擎255为显示设备205生成反映(mirror)用户在增强环境中的移动的内容。此外,应用引擎255响应于从输入接口240接收到的动作请求来在控制台210上执行的应用内执行动作,并且向用户提供动作被执行的反馈。所提供的反馈可以是经由显示设备205的视觉或听觉反馈或者经由输入接口240的触觉反馈。
图3是根据一些实施例的显示设备300的等轴视图。在一些其他实施例中,显示设备300是某种其他电子显示器(例如,数字显微镜、头戴式显示设备等)的一部分。在一些实施例中,显示设备300包括发光器件阵列310和一个或更多个透镜330。在一些实施例中,显示设备300还包括IR检测器阵列。
发光器件阵列310朝向观看用户发射图像光和可选的IR光。发光器件阵列310可以是例如LED阵列、微LED阵列、OLED阵列或它们的某种组合。发光器件阵列310包括发射在可见光中的光的发光器件320(并且可选地包括发射在IR中的光的器件)。
在一些实施例中,显示设备300包括发射强度阵列,其被配置成选择性地衰减从发光阵列310发射的光。在一些实施例中,发射强度阵列由多个液晶单元或像素、发光器件的组、或它们的某种组合组成。每个液晶单元(或者在一些实施例中,液晶单元的组)是可寻址的,以具有特定的衰减水平。例如,在给定时间,一些液晶单元可以被设置为无衰减,而其他液晶单元可以被设置为最大衰减。以这种方式,发射强度阵列能够控制从发光器件阵列310发射的图像光的哪一部分被传递到一个或更多个透镜330。在一些实施例中,显示设备300使用发射强度阵列来促进向用户的眼睛340的瞳孔350的位置提供图像光,并且最小化向视窗中的其他区域提供的图像光的量。
一个或更多个透镜330接收来自发射强度阵列(或直接来自发射器件阵列310)的经修改的图像光(例如,经衰减的光),并将经修改的图像光引导至瞳孔350的位置。
可选的IR检测器阵列检测已经从眼睛340的视网膜、眼睛340的角膜、眼睛340的晶状体或其某种组合后向反射的IR光。IR检测器阵列包括单个IR传感器或多个IR敏感检测器(例如光电二极管)。在一些实施例中,IR检测器阵列与发光器件阵列310分离。在一些实施例中,IR检测器阵列被集成到发光器件阵列310中。
在一些实施例中,发光器件阵列310和发射强度阵列构成显示元件。替代地,显示元件包括发光器件阵列310(例如,当发光器件阵列310包括可单独调整的像素时),而不包括发射强度阵列。在一些实施例中,显示元件另外包括IR阵列。在一些实施例中,响应于瞳孔350的确定的位置,显示元件调整发射的图像光,使得显示元件输出的光被一个或更多个透镜330朝向瞳孔350的所确定的位置折射,而不是朝向视窗中的其他位置折射。
在一些实施例中,除了发光器件阵列310之外,或者代替发光器件阵列310,显示设备300包括与多个滤色器耦合的一个或更多个宽带源(例如,一个或更多个白色LED)。
图4A是示出根据一些实施例的显示设备400的示意图。在一些实施例中,显示设备400对应于本文参考图1描述的显示设备100。在一些实施例中,显示设备400被配置为向显示设备400的佩戴者提供增强现实内容。在图4A中,显示设备400包括投光器402、光束转向器404、组合器410和眼睛***408。投光器402向光束转向器404投射光414-1,光束转向器404继而将光414-1导向光束组合器410。光束组合器410朝向瞳孔406(例如,显示设备400的用户或佩戴者的眼睛的瞳孔)反射和/或引导光414-1的至少一部分。光束组合器410将光414-1与来自显示设备400外部的光(例如,光416)(例如,环境光)组合,使得由光414-1表示的图像与由光416提供的现实世界图像重叠,或将由光414-1表示的图像叠加在由光416提供的现实世界图像上。
眼睛***408被配置成确定瞳孔406的位置和/或在瞳孔406朝向不同的注视方向旋转时跟踪瞳孔406的移动。在一些实施例中,眼睛***408对应于本文参考图2描述的眼睛跟踪模块217、与眼睛跟踪模块217耦合、或被包括在眼睛跟踪模块217中。在一些实施例中,确定瞳孔406的位置包括确定瞳孔406在瞳孔406的x-y平面(例如,参考平面407-1)上的位置。在一些实施例中,x-y平面是曲线平面。在一些实施例中,确定瞳孔406的位置包括确定眼睛和眼睛***408之间的距离(例如,眼睛和眼睛***408之间的最短距离)。在一些实施例中,眼睛***408包括光源(例如,红外或近红外光源)。在一些实施例中,眼睛***408与投光器402集成在一起。在一些实施例中,由投光器402投射的光和由眼睛***408检测的光(例如,IR光)具有相同的光路(或平行光路),并且由相同的光学元件(例如,一个或更多个透镜412、光束转向器404和/或光束组合器410)透射或引导。
在一些实施例中,投光器402被配置为投射光,以提供与现实世界视图重叠的增强现实图像。在一些实施例中,投光器402包括一个或更多个发光器件。发光器件的示例包括:发光二极管(LED)、超辐射发光二极管(SLED)、激光器或它们的某种组合。发光器件包括能够产生用于多色图像生成的可见光(例如,红色、绿色、蓝色等)的器件。在一些实施例中,发光器件还包括产生红外(IR)和/或近红外(NIR)光的器件。在一些实施例中,该一个或更多个发光器件包括液晶显示器(LCD)、硅基液晶(LCOS)显示器、有机发光二极管(OLED)、无机发光二极管(ILED)、数字光处理(DLP)显示器或其任意组合。在一些实施例中,该一个或更多个发光器件与相应的空间光调制器阵列光学耦合。空间光调制器阵列被配置成选择性地衰减单独的发光器件、发光器件的组、或其任意组合。在图4A中,瞳孔406位于参考平面407-1附近,该参考平面平行于x-y平面并与瞳孔406的表面相切。由投光器402投射的光414-1照亮参考平面407-1上的区域。在一些实施例中,该区域被定尺寸为仅覆盖被配置为覆盖瞳孔的所有可能位置的视窗的子集。例如,该区域覆盖具有小于20mm的特征尺寸的区域(例如,具有7mm、6mm、5mm、4mm或3mm的直径的圆形区域,7mm×7mm、6mm×6mm、5mm×5mm、4mm×4mm或3mm×3mm的正方形区域等)。在一些实施例中,投光器402将光投射到参考平面407-1上具有至少3mm的特征尺寸的区域上。在一些实施例中,光414-1被转向以将光投射到参考平面407-1平面的区域内,该区域与包含指向所有可能注视方向的瞳孔406的位置的不确定锥体相交。
光束转向器404将光414-1导向组合器410,组合器410继而将光414-1导向瞳孔406。在一些实施例中,光束转向器404基于由眼睛***410确定的瞳孔406的位置来调整光414-1的方向和/或使光414-1偏移。在一些实施例中,光束转向器404包括机械光束转向器,该机械光束转向器包括一个或更多个致动器,该一个或更多个致动器改变光束转向器404相对于显示设备400在x和/或y方向上或者在x、y和/或z方向上的位置。在一些实施例中,光束转向器404包括机械光束转向器,该机械光束转向器包括一个或更多个被构造成绕一个或更多个轴旋转的致动器。在一些实施例中,光束转向器404包括一个或更多个平移镜、一个或更多个旋转镜或其任意组合。在一些实施例中,光束转向器404还包括一个或更多个固定反射镜。在一些实施例中,光束转向器404与投光器402或光束组合器410集成在一起。
组合器410将由投光器402投射的光414-1朝向瞳孔406反射和/或引导,并透射来自显示设备400外部的光416。因此,由从投光器402投射的光形成的计算机生成的图像与现实世界图像重叠。在一些实施例中,组合器410被配置成避免光瞳复制。例如,组合器410在没有复制的光线的情况下将光(例如,光414-1)反射或引导到区域上。在一些实施例中,组合器410包括菲涅耳组合器、扁平组合器、椭球镜、一个或更多个可调谐波导或全息组合器。
可选地,显示设备400包括一个或更多个透镜412。在一些实施例中,一个或更多个透镜412与投光器402光学耦合,并被定位在光束转向器404之前的光414-1的光路上。在一些实施例中,透镜412与光束转向器404光学耦合,并被定位在光束转向器404之后的光414-1的光路上。在一些实施例中,一个或更多个透镜412使由投光器402投射的光414-1聚焦。在一些实施例中,一个或更多个透镜412包括从由凹透镜、凸透镜、平凹透镜、平凸透镜或凸凹透镜构成的组中选择的透镜。在一些实施例中,一个或更多个透镜412包括从由球面透镜或非球面透镜构成的组中选择的透镜。在一些实施例中,一个或更多个透镜412包括菲涅耳透镜,该菲涅耳透镜包括一个或两个菲涅耳表面,菲涅耳表面的至少一部分由多个菲涅耳结构限定。在一些实施例中,一个或更多个透镜412包括具有可调焦距的自适应透镜(例如,自动聚焦透镜、电润湿透镜、液体透镜或液晶透镜)。
图4B是示出根据一些实施例的显示设备420的示意图。显示设备420对应于本文参考图4A描述的显示设备400,除了在图4B中,投光器402与光束转向器404集成在一起。部件422将光414-1朝向组合器410投射和转向,组合器410继而将光414-1朝向瞳孔406反射。
图4C是示出根据一些实施例的显示设备430的示意图。显示设备430对应于本文参考图4A描述的显示设备400,除了在图4C中,光束转向器432与组合器410集成在一起。光束转向器432与组合器410机械地耦合,并被配置为旋转组合器410以引导光414-1。在一些实施例中,附加地或替代地,光束转向器432被配置成平移组合器410以引导光414-1(例如,图10A-10B)。由投光器402投射的光414-1被组合器410接收,组合器410继而将光414-1朝向瞳孔406反射。
图4D是示出根据一些实施例的显示设备440的示意图。显示设备440对应于本文参考图4A描述的显示设备400,除了在图4D中,投光器402与眼睛***408集成在一起。由投光器402投射的光414-1被光束转向器404导向组合器410,组合器410继而朝向瞳孔406反射光414-1。眼睛***408经由与光414-1相同的光路朝向瞳孔406发射光线444-1(例如,IR光线或近红外光线)。然后,光线444-1从瞳孔406经由同一光路被反射回眼睛***408,眼睛***408检测反射的光线444-1。
尽管图4A-4D示出了根据各个实施例的显示设备,但是本文参考图4A-4D中的任何一个描述的一个或更多个特征可以被包括在本文参考图4A-4D中的任何其他附图描述的任何显示设备中。例如,在一些实施例中,本文参考图4A-4C描述的显示设备包括与眼睛***408集成在一起的投光器402。在一些实施例中,本文参考图4A和图4C-4D描述的显示设备包括与光束转向器404集成在一起的投光器402。在一些实施例中,本文参考图4A-4B和图4D描述的显示设备包括与附加于或代替光束转向器404的光束转向器432集成在一起的组合器410。为简洁起见,本文重复这样的细节。
图5A-5B是示出根据一些实施例的显示设备400的示例操作的示意图。
在图5A中,瞳孔406位于直接面向组合器410的第一瞳孔位置406-1处。瞳孔406的位置由眼睛***408确定,如箭头418-1所示。在一些实施例中,该位置基于瞳孔图像、闪光检测、视网膜反射(reflex)(也称为视网膜反射(reflection))的检测或瞳孔406的表面的轮廓的测量(例如,使用深度传感器)来确定。根据对瞳孔406位于第一瞳孔位置406-1处的确定,由投光器402投射的光414-1被光束转向器404导向组合器410的位置411-1,使得反射的光414-1被导向在第一瞳孔位置406-1处的瞳孔406。此外,组合器410透射来自显示设备400外部的光416,并且光416的至少一部分朝向在第一瞳孔位置406-1处的瞳孔406被传输。
在图5B中,瞳孔406已经移动到第二瞳孔位置406-2(例如,由于眼睛的旋转)。瞳孔406的位置由眼睛***408确定,如箭头418-2所示。根据对瞳孔406位于第二瞳孔位置406-2处的确定,由投光器402投射的光414-2被光束转向器404导向组合器410的位置411-2,组合器410的位置411-2不同于组合器410的位置411-1。这使得组合器410朝向在第二瞳孔位置406-2处的瞳孔406反射光414-2。
尽管图5A-5B示出了在一个方向上将由投光器402投射的光进行转向,但是本领域中普通技术人员将理解,由投光器402投射的光可以在相反的方向上被转向(例如,从位置411-2到位置411-1)。为简洁起见,本文不再重复这样的细节。
尽管图5A-5B示出了显示设备400的示例操作,但是本领域中普通技术人员将理解适用于本文描述的任何其他显示设备的类似操作。为简洁起见,本文不再重复这样的细节。
本文参考图6A-6C、图7A-7B、图8、图9A-9E和图10A-10B描述了组合器的某些方面。本文参考图11A-11F讨论了跟踪瞳孔406的位置的某些方面。为简洁起见,本文不再重复这样的细节。
图5C-5E是示出根据一些实施例的显示设备500的示意图。
图5C中的显示设备500对应于本文参考图4A描述的显示设备400,除了投光器402(其对应于图4A的被定位在第一位置处的投光器402)与致动器502机械地耦合。在一些实施例中,显示设备500不包括光束转向器404,如图5C所示。在一些实施例中,除了致动器502之外,显示设备500还包括光束转向器404。
致动器502被配置成通过(例如,线性地或分段线性地)移动投光器402来改变投光器402在一个或更多个维度(例如,三个维度)上的位置,从而改变投光器402投射的光514-1的光路。在一些实施例中,致动器502包括音圈电机,并且移动投光器402包括激活该音圈电机。在一些实施例中,致动器502与一个或更多个平移台耦合,并且移动投光器402包括激活致动器502以移动该一个或更多个平移台。
在图5C中,瞳孔406位于第一瞳孔位置406-1处。瞳孔406的位置由眼睛***408确定。另外在图5C中,投光器402位于第一位置402-1处,并且将光514-1投射到组合器410上的位置511-1,在位置511-1,光514-1被导向在第一瞳孔位置406-1处的瞳孔406。
在一些实施例中,投光器402与被定位在光514-1的光路上的一个或更多个透镜412光学耦合。在一些实施例中,一个或更多个透镜412与致动器502机械地耦合。在一些实施例中,致动器502被配置成同时移动投光器402和一个或更多个透镜412。在一些实施例中,致动器502被配置成独立于一个或更多个透镜412而移动投光器402(例如,一个或更多个透镜412不与致动器502机械地耦合,使得致动器502在不移动一个或更多个透镜412的情况下移动投光器402)。
在图5D中,瞳孔406已经移动到第二瞳孔位置406-2(例如,由于眼睛的旋转)。响应于确定瞳孔406已经移动到第二瞳孔位置406-2,致动器502将投光器402移动到第二位置402-2,从而将光514-2导向组合器410上的位置511-2,在位置511-2,光514-2被导向在第二瞳孔位置处的瞳孔406。在一些实施例中,投光器402的移动不会改变投光器402投射的光的方向(例如,光514-1平行于光514-2)。在一些实施例中,投光器402从第一位置402-1到第二位置402-2的移动方向垂直于光514-2的传播方向。在一些实施例中,致动器502还移动一个或更多个透镜412,使得一个或更多个透镜412保持在由投光器402投射的光的光路中。
在一些实施例中,投光器402和/或一个或更多个透镜412在平行于投光器402投射的光的传播方向的方向上被移动,以便调整与投光器402投射的光对应的图像平面。这改变了佩戴者所感知的到投射的图像的距离。在图5E中,瞳孔406保持在第二瞳孔位置406-2。通过在平行于投光器402的光轴的方向上将投光器402移动到第三位置402-3来调整与投光器402投射的光对应的图像平面。当投光器402保持在第三位置402-3处时,图像平面沿着光轴在朝向投光器402的方向上移动。在一些实施例中,致动器502将投光器402移动到离瞳孔406更远的位置,其继而使图像平面沿着光轴在远离投光器402的方向上移动。通过在平行于投光器402投射的光的传播方向的方向上来回(back and forth)移动投光器402,投射的图像或对象看起来离显示设备500的佩戴者更近或更远。
参考图12A-12D进一步描述了移动图像平面以改变到投射的图像的感知距离。
图5F是示出根据一些实施例的扫描反射器组件515的示意图。扫描反射器组件515包括机械地附接到致动器502的可调反射镜516。扫描反射器组件515与投光器402光学耦合(例如,扫描反射器组件515被配置成接收从投光器402投射的光)。可选地,扫描反射器组件515还包括反射镜518。在一些实施例中,反射镜518是固定反射镜或可移动反射镜。在一些实施例中,反射镜518还与致动器502(或与致动器502分离的致动器)机械地耦合。扫描反射器组件515被配置成将来自投光器402的光导向头戴式显示设备的佩戴者的眼睛的瞳孔。当瞳孔的位置改变时,通过移动(例如,通过倾斜)可调反射镜516和/或反射镜518来改变由投光器402投射的光的方向。
尽管图5F示出了具有被配置为绕一个轴旋转的可调反射镜516的扫描反射器组件515,但是在一些实施例中,扫描反射器组件515包括被配置为绕彼此不平行的两个轴旋转的可调反射镜(例如,可调反射镜被配置为绕x轴旋转且同时也绕y轴旋转,并且可调反射镜还被配置为绕x轴旋转且在不同的时间也绕y轴旋转)。
图5G-5H是示出根据一些实施例的显示设备520的示意图。显示设备520类似于本文参考图5A描述的显示设备500,除了显示设备520包括与投光器402光学耦合的扫描反射器组件515。在一些实施例中,显示设备520包括一个或更多个透镜412,其未在图5G中示出。
在图5G中,瞳孔406位于第一瞳孔位置406-1处。瞳孔406的位置用眼睛***408确定。可调反射镜516位于第一反射镜位置516-1处。可调反射镜将光524-1导向在第一瞳孔位置406-1处的瞳孔406。
在图5H中,瞳孔406已经移动到第二瞳孔位置406-2(例如,由于眼睛的旋转)。响应于确定瞳孔已经移动到第二瞳孔位置406-2,致动器502将可调反射镜516倾斜到第二反射镜位置516-2,使得由投光器402投射的光524-2被导向在第二瞳孔位置406-2处的瞳孔406。在图5H中,可调反射镜绕x轴倾斜。在一些实施例中,可调反射镜相对于x轴、y轴和/或z轴倾斜。
图5I是示出根据一些实施例的投射光的方向的改变的示意图。由投光器投射的光(例如,图5G中的光524-1)具有以两个维度为特征的横截面。
在一些实施例中,横截面相对于两个维度对称(例如,横截面是正方形或圆形),如图5I的部分A中的横截面526-A所示。在一些实施例中,基于两个维度中的瞳孔位置(例如,图5G-5H中的第一瞳孔位置406-1和第二瞳孔位置406-2),将投射光转向,如横截面526-B和526-C所示。
在一些实施例中,横截面具有纵向形状(例如,表征横截面的第一尺寸(例如横截面的长度)至少是表征横截面的第二尺寸(例如横截面的宽度)的三倍),如图5I的部分B中示出的横截面528所示。在一些实施例中,光仅在一个维度上被转向,如部分B中的箭头所示。
在一些实施例中,通过使扫描反射器组件515的可调反射镜516在一个维度、两个维度或三个维度上倾斜来改变光的方向,如本文参考图5F-5H所述。
在一些实施例中,通过与组合器410集成在一起的光束转向器432(例如,图4C)来改变由投光器(例如,本文参考图4A描述的投光器402)投射的光的方向。
图6A-6C和图7A-7B示出了根据一些实施例的具有光束转向特征的平坦的组合器的实施例。
图6A-6C是示出根据一些实施例的可调谐波导600的示意图。可调谐波导600包括光波导602(例如,由玻璃、熔融石英或聚碳酸酯的衬底组成的波导),其被配置成接收由投光器402投射的光(例如,光606)。在一些实施例中,可调谐波导600包括一个或更多个光栅,这些光栅与光波导602耦合,以便于光606进入光波导602中。在图6A-6C中省略了一个或更多个光栅,以免模糊可调谐波导600的其他方面。
在图6A-6C中,光波导602与多个可调谐光学元件(例如可调谐光学元件604-1和604-2)耦合,或附接到多个可调谐光学元件(例如可调谐光学元件604-1和604-2)。在一些实施例中,可调谐光学元件604-1和604-2具有电可调谐的光学特性。在一些实施例中,可调谐光学元件604-1和604-2包括具有电可调谐折射率(electrically tunable indices ofrefraction)的单独可寻址的液晶元件。在一些实施例中,可调谐光学元件604-1的折射率的单独调整导致透射穿过光波导602的光在对应于可调谐光学元件604-1的位置处从光波导602射出。
在图6A中,可调谐光学元件604-1和604-2处于第一操作条件(例如,可调谐光学元件604-1和604-2都处于非激活条件,例如没有将电场施加到可调谐光学元件604-1和604-2)。例如,在图6A中,可调谐光学元件604-1和604-2都具有第一折射率。
在图6A中,光606的特性使得光606基于全内反射(TIR)沿着光波导602传播(当可调谐光学元件604-1和604-2保持在第一操作条件时)。
在图6A中,光606继续通过光波导602传播,并且光606不朝向在第一瞳孔位置406-1处的瞳孔406发射。
在图6B中,可调谐光学元件604-1和604-2处于第二操作条件,使得可调谐光学元件604-2被电调谐成具有不同于第一折射率的第二折射率,而可调谐光学元件604-1继续具有第一折射率。在光606传播到光波导602的与可调谐光学元件604-1邻近的区域之后,光606继续沿着光波导602传播。然而,在光606传播到光波导602的与可调谐光学元件604-2邻近的区域之后,光606从光波导602朝向在第一瞳孔位置406-1处的瞳孔406发射(例如,逃逸)。
在图6C中,瞳孔406已经移动到第二瞳孔位置406-2。在图6C中,可调谐光学元件604-1和604-2处于第三操作条件,使得可调谐光学元件604-1被电调谐成具有第二折射率(并且可调谐光学元件604-2可以具有第二折射率或如图6C所示的第一折射率)。在光606传播到光波导602的与可调谐光学元件604-1邻近的区域之后,光606从光波导602朝向在第二瞳孔位置406-2处的瞳孔406发射(例如,逃逸)。
图7A是示出根据一些实施例的全息组合器700的示意图。全息组合器700包括全息光学元件(HOE)702。全息光学元件702包括一个或更多个全息膜(例如,光敏聚合物的全息膜或全息膜类似物(analog holographic film))。在一些实施例中,该一个或更多个全息膜位于衬底708上。全息光学元件702包括多个部分(例如,部分706-1、706-2和706-3),该多个部分被配置成将光导向不同的方向。在一些实施例中,全息光学元件702的各个部分被配置成将光导向不同的方向(例如,全息光学元件702的部分706-1被配置成将来自投光器402的光导向第一方向,全息光学元件702的部分706-2被配置成将来自投光器402的光导向不同于第一方向的第二方向,并且全息光学元件702的部分706-3被配置成将来自投光器402的光导向不同于第一方向和第二方向的第三方向)。在一些实施例中,全息光学元件702充当非球面反射表面(例如,抛物面反射表面或椭球面反射表面),其中照射在全息光学元件702的不同部分上的光线被导向瞳孔(例如,瞳孔406)。在图7A中,由投光器402投射的光线704-1照射在部分706-1上,并且全息光学元件702的部分706-1被配置成使得光线704-1被导向瞳孔406。由投光器402投射的光线704-2照射在部分706-2上,并且全息元件702的部分706-2被配置成使得光线704-2被导向瞳孔406。由投光器402投射的光线704-3照射在部分706-3上,并且全息光学元件702的部分706-3被配置成使得光线704-3被导向瞳孔406。在一些实施例中,全息光学元件702是动态可调的全息光学元件。
尽管图7A示出了全息光学元件702的三个部分706-1、706-2和706-3,但是在一些实施例中,全息光学元件702被配置成具有多于三个的不同部分。在一些实施例中,全息组合器包括多个不同且分开的全息光学元件(例如,在一些实施例中,全息光学元件的各个部分不需要是连续的)。
图7B是示出根据一些实施例的全息组合器710(也称为全息波导组合器)的示意图。全息组合器710包括与全息光学元件702邻近的光波导714。波导708被配置成接收由投光器402投射的光。在一些实施例中,光波导714对应于本文参考图6A描述的光波导602。例如,在一些实施例中,光波导714与一个或更多个光栅耦合,以便于由投光器402投射的光进入光波导714中。在图7B中省略了一个或更多个光栅,以免模糊全息组合器710的其他方面。
在一些实施例中,全息组合器710还包括一个或更多个棱镜(例如,棱镜712)。棱镜712是可调谐棱镜。在一些实施例中,棱镜712是可调谐液体棱镜。在一些实施例中,棱镜712是可调谐液晶棱镜。可调谐棱镜712被配置成基于瞳孔406的位置动态地使由投光器402投射的光(例如,光线704-1、702-2和704-3)转向。
图8是示出根据一些实施例的非球面组合器800的示意图。非球面组合器800包括部分反射的非球面表面(例如,抛物面、椭球面等),其被配置成接收由投光器402投射的光线802-1、802-2和802-3,并将每条光线的至少一部分朝向瞳孔406反射。
在一些实施例中,部分反射的非球面表面是波长选择性反射表面(例如,部分反射的非球面表面反射第一波长的可见光而透射不同于第一波长的第二波长的可见光)。在一些实施例中,部分反射的非球面表面包括波长选择性涂层,这在本文中参考图9A进行了描述。在这样的实施例中,非球面组合器800反射由投光器402投射的具有不同波长(例如,蓝色、绿色和/或红色)的光,同时透射与由投光器402投射的光的波长不同的可见光波长。
在一些实施例中,部分反射的表面是偏振相关表面(polarization dependentsurface)。在本文中参考图10A描述了偏振相关表面。在这样的实施例中,非球面组合器800反射由投光器402投射的具有特定偏振的光(例如,线偏振光),而透射具有不同偏振的光(例如,圆偏振光)。在一些实施例中,非球面组合器800与用于改变非球面组合器的位置和/或定向的致动器机械地耦合,以便基于瞳孔406的位置来改变光线802-1、802-2和802-3的方向。例如,通过使非球面组合器800相对于x轴倾斜,在z方向上移动非球面组合器800的位置和/或改变非球面组合器800的定向。
图9A是示出根据一些实施例的菲涅耳组合器900的示意图。在一些实施例中,菲涅耳组合器900是本文参考图4A描述的组合器410的示例。菲涅耳组合器900被配置为将从头戴式显示设备的外部透射穿过组合器900的光(例如,光416)与由投光器402投射的光(例如,光线910-1、910-2和910-3)组合。在一些实施例中,投光器402投射具有一组不同特征的光(例如,具有不同偏振和波长的光)。在一些实施例中,投光器402被配置成输出具有不同特征的两条或更多条光线。例如,投光器402投射具有不同颜色(例如,红色、绿色、蓝色、红外的等)和/或具有不同的偏振(例如,右旋偏振、左旋偏振、水平偏振、垂直偏振等)的两条或更多条光线。在一些实施例中,投光器402包括本文参考图4A描述的一个或更多个透镜412和/或光束转向器404,或者与本文参考图4A描述的一个或更多个透镜412和/或光束转向器404光学耦合。
菲涅耳组合器900包括衬底902,衬底902具有面向瞳孔406的表面902-1和与表面902-1相反的表面902-2。在一些实施例中,表面902-1是光滑表面,并且表面902-2包括由多个拔模刻面(draft facet)(例如,拔模刻面912-1、912-2和912-3)和多个斜刻面(例如,斜刻面904-1、904-2和904-3)限定的多个菲涅耳结构。拔模刻面912-1、912-2和912-3的特征在于代表性拔模角度(例如,拔模刻面相对于参考轴倾斜相应的代表性拔模角度)。在一些实施例中,拔模刻面912-1、912-2和912-3是平坦表面。在一些实施例中,拔模刻面912-1、912-2和912-3是弯曲表面,并且代表性拔模角度是拔模刻面的平均拔模角度。在一些实施例中,斜刻面904-1、904-2和904-3的特征在于代表性倾斜角度(例如,斜刻面相对于参考轴倾斜相应的代表性倾斜角度)。在一些实施例中,斜刻面904-1、904-2和904-3是平坦表面。在一些实施例中,斜刻面904-1、904-2和904-3是弯曲表面,并且代表性倾斜角度是斜刻面的平均倾斜角度。在一些实施例中,斜刻面904-1、904-2和904-3的形状是弯曲的,使得斜刻面904-1、904-2和904-3对应于非球面表面(例如,椭球面或抛物面)的分段。
衬底902由光学透明材料(例如,玻璃或塑料)制成。在一些实施例中,表面902-2的至少一部分包括反射涂层。在一些实施例中,表面902-2的至少一部分包括半透明光学涂层,其反射由投光器402投射的光(例如,光线910-1、910-2和910-3),而透射来自组合器900的相对侧的光(例如,环境光)(例如,光416)。在一些实施例中,斜刻面904-1、904-2和904-3包括反射光学涂层,而拔模刻面912-1、912-2和912-3不包括反射涂层。在一些实施例中,一个或更多个斜刻面不具有反射涂层(例如,照射在这样的斜刻面上的光通过全内反射被反射)。
在一些实施例中,反射涂层是波长选择性光学涂层。在一些实施例中,斜刻面904-1具有波长选择性光学涂层,该涂层反射具有特定波长的光,而透射具有其他波长的光。例如,斜刻面904-1具有波长选择性光学涂层,该涂层反射波长范围从625nm到675nm的红光,而透射该范围之外的光。根据投光器402投射的光(例如,光线910-1、910-2和910-3)的特性来配置波长选择性涂层的特性。例如,在投光器402包括窄带隙光发射器(例如,激光器或超辐射发光二极管(SLD))的配置中,斜刻面904-1的反射涂层被配置成反射具有窄波长范围(例如,10nm的波长范围)的光。如果投光器402包括LED,则斜刻面904-1的反射涂层被配置成反射具有更宽波长范围(例如,50nm的波长范围)的光。在一些实施例中,斜刻面904-1、904-2和904-3包括相同的波长选择性光学涂层。在一些实施例中,斜刻面904-1具有与斜刻面904-2或904-3的光学涂层不同的波长选择性光学涂层。例如,斜刻面904-1具有反射红光(例如,波长为625-675nm的光)的波长选择性光学涂层,斜刻面904-2具有反射绿光(例如,波长为495-545nm的光)的波长选择性光学涂层。
在一些实施例中,斜刻面904-1、904-2和904-3的光学涂层是偏振选择性光学涂层。例如,斜刻面904-1具有反射水平偏振的光而透射通过任何其他偏振的光的涂层,斜刻面904-2具有反射垂直偏振的光而透射通过任何其他偏振的光的涂层。
在图9A中,来自头戴式显示设备外部的光416朝向瞳孔406透射穿过菲涅耳组合器900。在一些实施例中,光416在表面902-2和902-1处折射。在一些实施例中,菲涅耳组合器902与其他光学元件(例如,一个或更多个棱镜)光学耦合,这些光学元件被配置成使光416和/或光线910-1、910-2和910-3转向(例如,以补偿光416在表面902-2和/或902-1处的折射)。
图9B是示出根据一些实施例的菲涅耳组合器920的示意图。菲涅耳组合器920包括与衬底922耦合的衬底902。衬底922包括表面922-1和922-2。在一些实施例中,表面922-1对应于衬底902的表面902-1(例如,表面922-1是光滑且平坦的表面)。表面922-2被配置为表面902-1的反向复制(inverse replicate),从而包括多个菲涅耳结构。衬底922具有对应于衬底902的折射率的折射率。在一些实施例中,衬底922由与衬底902相同的光学透明材料制成。衬底902和922被定位成使得衬底902和922之间存在由相应的表面902-2和922-2限定的窄空间。
在一些实施例中,衬底902的斜刻面904-1、904-2和904-3包括波长选择性或偏振选择性涂层,如本文参考图9A所述。在这样的实施例中,分别对应于斜刻面904-1、904-2和904-3的涂层的特性的光线910-1、910-2和910-3在表面902-2的斜刻面上被反射,并朝向瞳孔406透射,类似于图9A中所说明的。然而,在具有两个配合(mating)的衬底902和922的菲涅耳组合器920的情况下,光416在只有轻微的偏移的情况下透射通过菲涅耳组合器920,因为光416在表面922-2上的折射被光416在表面902-2上的折射所补偿。
图9C是示出根据一些实施例的菲涅耳组合器930的示意图。菲涅耳组合器930对应于本文参考图9B描述的菲涅耳组合器920,除了在菲涅耳组合器930中,由表面902-2和表面922-2限定的空间填充有材料932。材料932由光学透明材料组成。在一些实施例中,材料932具有与用于衬底902和922的材料的折射率类似的折射率。在一些实施例中,材料932具有与空气的折射率类似的折射率。
图9D是示出根据一些实施例的菲涅耳组合器940的示意图。菲涅耳组合器940对应于本文参考图9B描述的菲涅耳组合器920或本文参考图9C描述的菲涅耳组合器930,除了菲涅耳组合器940另外包括与表面922-1和/或表面922-2光学耦合的一个或更多个光学元件。这样的光学元件进一步使光416和/或光线910-1、910-2和910-3转向,并且可以用于根据眼睛的旋转来改变光线的方向。
在图9D中,菲涅耳组合器940包括元件942-1和942-2,元件942-1和942-2是棱镜。元件942-1与表面922-1光学耦合。在一些实施例中,元件942-1位于表面922-1附近。在一些实施例中,元件942-1与光学表面922-1分离。光学元件942-2与表面902-1光学耦合。在一些实施例中,元件942-1位于表面902-1附近。在一些实施例中,元件942-1与光学表面902-1分离。在一些实施例中,元件942-1和942-2是由光学透明材料(例如,玻璃或塑料)(例如,对可见光透明)制成的棱镜。在一些实施例中,元件942-1和942-2是液体棱镜或液晶棱镜。在一些实施例中,元件942-1和942-2是自适应光学元件,例如自适应液体棱镜或自适应液晶棱镜。在一些实施例中,元件942-1和942-2包括一个或更多个透镜、一个或更多个衍射光栅、一个或更多个棱镜阵列或其任意组合。在一些实施例中,光学元件942-1和942-2还包括涂层,例如波长选择性和/或偏振选择性涂层。
图9E是示出根据一些实施例的菲涅耳组合器950的示意图。菲涅耳组合器950包括衬底902和衬底952。衬底952类似于衬底902,除了衬底952包括斜刻面954-1、954-2和954-3,它们所具有的光学涂层不同于斜刻面904-1、904-2和904-3的光学涂层。例如,斜刻面952-1、954-2和954-3反射的光与斜刻面904-1、904-2和904-3反射的光具有不同特性(例如颜色)。在一些实施例中,斜刻面904-1、904-2和904-3包括反射第一波长(例如,光线910-1)的波长选择性涂层,而斜刻面954-1、954-2和954-3包括反射第二波长(例如,光线910-4)的波长选择性涂层。例如,斜刻面904-1、904-2和904-3反射绿光,而透射所有其他波长,斜刻面954-1、954-2和954-3反射红光(且在某些情况下,透射所有其他波长)。在一些实施例中,斜刻面904-1、904-2和904-3包括反射具有第一偏振的光的偏振选择性涂层,而斜刻面954-1、954-2和954-3包括反射具有第二偏振的光的偏振涂层(例如,用于反射具有第二偏振的光的偏振选择性涂层)。例如,斜刻面904-1、904-2和904-3反射具有水平偏振的光,而透射具有不同偏振的光,斜刻面954-1、954-2和954-3反射具有垂直偏振的光,而透射具有任何其他偏振的光。
在图9E中,衬底952与衬底902光学耦合,使得它们具有相同的光轴。在一些实施例中,衬底952邻近衬底902。在一些实施例中,衬底952和902被不同地配置(例如,衬底952具有不同于衬底902的菲涅耳结构的菲涅耳结构,使得它们具有不同的焦距)。在一些实施例中,衬底952和902形成单个连续衬底,使得衬底952和902是单个连续菲涅耳组合器的不同部分。在一些实施例中,菲涅耳组合器950包括彼此光学耦合的三个或更多个衬底,用于将具有不同特性的光与环境光组合。在一些实施例中,衬底952与衬底902机械地耦合。
图10A是示出根据一些实施例的扁平组合器1000的示意图。在一些实施例中,扁平组合器100是本文参考图4A描述的组合器410的示例。扁平组合器1000被配置为将从头戴式显示设备的外部透射穿过组合器1000的光(例如,光416)与由投光器402投射的光(例如,光线1008-1)组合。扁平组合器100还被配置成将投光器402投射的光线1008-1导向用户的眼睛(例如,瞳孔406)。在图10A中,瞳孔406位于第一瞳孔位置406-1。
在一些实施例中,投光器402是本文参考图4A描述的投光器402的示例。在一些实施例中,投光器402投射偏振光。在一些实施例中,投光器402包括发射线偏振光的一个或更多个光源(例如,激光器或LED)。在一些实施例中,投光器402包括发射具有混合偏振的光的一个或更多个光源,并且该一个或更多个光源与偏振器光学耦合。在图10A中,由投光器402投射的光线1008-1具有线偏振。在一些其他实施例中,光线1008-1具有圆偏振。在一些实施例中,投光器402被配置成发射具有不同波长的光。在一些实施例中,投光器402投射具有蓝色、绿色和/或红色的光线。
在图10A中,投光器402远离扁平组合器1000的光轴且远离从头戴式显示器的外部透射穿过扁平组合器的光(例如,光416)的路径而定位。例如,投光器402被定位在头戴式显示设备的镜腿(temple)上。在一些实施例中,投光器402包括本文参考图4A描述的一个或更多个透镜412和/或光束转向器404,或者与本文参考图4A描述的一个或更多个透镜412和/或光束转向器404光学耦合。图10A中未示出一个或更多个透镜412和光束转向器404,以免模糊扁平组合器1000的其他方面。
扁平组合器1000包括部分反射器1002、偏振器1004和部分反射器1006。图10A所示的这些光学部件的配置为光线1008-1提供折叠光路,从而允许更小(例如更薄)的组合器。
部分反射器1002透射由投光器402投射的光线1008-1的至少一部分。在一些实施例中,部分反射器1002是偏振相关反射器,其透射具有特定偏振(例如,特定线偏振)的光。在一些实施例中,部分反射器1002反射具有任何其他偏振的光。在图10A中,部分反射器1002透射具有第一线偏振的光线1008-1,而反射具有第二线偏振(例如,垂直于第一线偏振)的光。在光线1008-1透射通过部分反射器1002之后,光线1008-1被偏振器1004接收,偏振器1004将光线1008-1的偏振从第一线偏振转换为右旋圆偏振。在一些实施例中,偏振器1004是四分之一波片。
随后,光线1008-1被部分反射器1006反射。在一些实施例中,部分反射器1006是波长选择性反射镜,其反射具有一个或更多个特定波长的光,而透射具有一些其他波长的光。在本文中参考图9A描述了波长选择性光学涂层。在图10A中,部分反射器1006是波长选择性光学反射镜,其被配置为反射具有绿色的光,而透射通过具有其他颜色的光,光线1008-1包括绿光。在一些实施例中,光线1008-1包括蓝光、绿光和红光,并且部分反射器1006是反射蓝光、绿光和红光而透射具有其他颜色的光的波长选择性光学反射镜。当部分反射器1006反射光线1008-1时,圆偏振从右旋圆偏振转变为左旋圆偏振。被部分反射器1006反射的光线1008-1第二次被偏振器1004接收,偏振器1004将光线1008-1转换成具有第二线偏振的光。
具有第二线偏振的光线1008-1被偏振相关部分反射器1002反射。被部分反射器1002反射的光线1008-1第三次被偏振器1004接收,偏振器1004将光线1008-1转换成具有左旋圆偏振的光。
光线1008-1第二次被部分反射器1006反射,并且具有右旋圆偏振的光线1008-1第四次被偏振器1004接收。偏振器1004将具有圆偏振的光线1008-1转换成具有第一线偏振的光。具有第一线偏振的光线1008-1朝向瞳孔406透射通过部分反射器1002。
在一些实施例中,部分反射器1002除了是偏振相关的之外,还是波长选择性的,使得部分反射器1002仅反射具有光线1008-1中包括的波长(例如,蓝色、绿色和/或红色)的光,而透射具有其他波长的光。这种波长选择性特征允许来自显示设备外部的更大量的光(例如,光416)朝向瞳孔406透射。在一些实施例中,部分反射器1002是偏振无关的和/或波长无关的。在一些实施例中,部分反射器1002被配置成透射入射光(impinging light)的一部分并反射该入射光的一部分。例如,部分反射器1002是透射50%的入射光且反射50%的入射光的50/50反射镜(尽管可以使用具有不同反射率的部分反射器,例如60/40反射镜、70/30反射镜等)。在一些实施例中,部分反射器1006是偏振无关的和/或波长无关的。在一些实施例中,部分反射器1006被配置成透射入射光的一部分并反射该入射光的一部分。例如,部分反射器1006是透射50%的入射光且反射50%的入射光的50/50反射镜(尽管可以使用具有不同反射率的部分反射器,例如60/40反射镜、70/30反射镜等)。在一些实施例中,部分反射器1006是偏振相关反射镜。
在图10A中,部分反射器1006是抛物面部分反射镜,其被配置成以一定角度范围将投光器402投射的光导向瞳孔406。通过调整部分反射器1006的位置和/或定向,从扁平组合器1000射出的光线1008-1的方向被改变。在图10A中,瞳孔406位于第一瞳孔位置406-1处,光线1008-1被导向在第一瞳孔位置406-1处的瞳孔406。
在图10B中,瞳孔406已经移动到第二瞳孔位置406-2。基于瞳孔406的位置,头戴式显示器(例如,在z方向上)移动扁平组合器1000,使得光线1008-2被导向在第二瞳孔位置406-2处的瞳孔406。移动的方向和移动的距离根据瞳孔406的位置来确定。在一些实施例中,调整扁平组合器1000的定向,以改变从扁平组合器1000射出的光线1008-2的方向。例如,通过相对于由瞳孔406限定的平面倾斜扁平组合器1000来调整扁平组合器1000的定向。在一些实施例中,部分反射器1006具有除抛物面形状以外的弯曲形状。
图11A-11I示出了根据一些实施例的在头戴式显示设备中使用的用于眼睛跟踪的方法和设备。图11A-11I中示出的眼睛***是本文参考图4A描述的眼睛***408的示例。眼睛***被配置成确定眼睛1100的瞳孔406的位置(例如,眼睛1100是头戴式显示设备的佩戴者的眼睛)和/或跟踪当眼睛1100旋转到不同的注视方向时瞳孔406的移动。在一些实施例中,眼睛***408对应于本文参考图2描述的眼睛跟踪模块217、与其耦合、或被包括在其中。
图11A是示出根据一些实施例通过成像来检测瞳孔的位置的示意图。在图11A中,眼睛***408-1包括捕获瞳孔406周围区域(例如,头戴式显示设备的佩戴者的眼睛1100的区域)的图像的相机(例如,静态相机或摄像机)。在一些实施例中,眼睛***408-1包括远心相机(telecentric camera)。在图11A中,参考线1102限定了由眼睛***408-1成像的区域(或锥体)。通过图像处理算法确定眼睛的组成部分(例如,眼睛的巩膜、虹膜和/或瞳孔)的位置,而从捕获的图像确定瞳孔406的位置。在一些实施例中,眼睛***408-1包括用于照亮成像区域的光源。在一些实施例中,光源发射红外(IR)或近红外(NIR),并且相机捕获眼睛的IR图像或NIR图像。
图11B是示出根据一些实施例通过闪光跟踪来检测瞳孔的位置的示意图。在图11A中,眼睛***408-2包括相机(例如,静态相机或摄像机)或其他光电检测器(例如,光电二极管阵列)。闪光是指来自眼睛的一个或更多个表面的光反射。在图11B中,眼睛***408-2朝向眼睛1100投射光,并且该光的至少一部分(例如光线1104-1)照射在眼睛1100的巩膜上,并被反射为光线1104-2。反射光线1104-2在由眼睛***408-2捕获的图像中被检测到。
在一些实施例中,瞳孔406的位置基于检测到的光线的代表性强度(intensity orintensities)来确定。在一些实施例中,基于检测到的光线1104-2的入射角来确定瞳孔406的位置(例如,眼睛***408-2包括一个或更多个光学元件,以确定检测到的光线1104-2的入射角)。例如,瞳孔406的位置通过将光线1104-2的入射角与眼睛1100的表面的估计表面轮廓进行比较来确定。眼睛的表面轮廓并不对应于完美的球体,而是在包括角膜和瞳孔的区域具有不同的曲率。因此,可以通过确定眼睛的表面轮廓来确定瞳孔的位置。
在一些实施例中,由眼睛***408-1投射的光的至少一部分照射在眼睛1100的其他部分上,例如光线1106-1照射在瞳孔406上。光线1106-1被反射为光线1106-2,其在由眼睛***408-2捕获的图像中被检测到。在一些实施例中,瞳孔406的位置基于光线1104-2和光线1106-2来确定。在一些实施例中,瞳孔406的位置基于光线1104-2的强度和光线1106-2的强度之间的差异(和/或比率)来确定。例如,在眼睛的巩膜上反射的光线1104-2的强度高于光线1106-2的强度,因此可以基于强度差异来确定瞳孔406的位置。在一些实施例中,瞳孔406的位置基于光线1104-2和光线1106-2之间的角度来确定。例如,基于在巩膜上反射的光线1104-2和在瞳孔406上反射的光线1106-2之间的角度来确定眼睛1100的表面轮廓。
在一些实施例中,通过闪光跟踪确定瞳孔406的位置包括由眼睛***408-2朝向眼睛1100投射具有结构化图案的光(例如,图11B中的光线1104-1包括结构化图案),并且当具有该结构化图案的光在眼睛1100的表面上被反射时,由眼睛***408-2检测该结构化图案的图像(例如,光线1104-2)。例如,当具有结构化图案的光被眼睛1100的非平坦表面反射时,结构化图案失真。然后,基于失真的结构化图案来确定眼睛1100的非平坦表面轮廓,并且基于表面轮廓来确定瞳孔406的位置。
图11C是示出根据一些实施例的用于眼睛跟踪的四种结构化光图案的示意图。图案1108-1包括直线,图案1108-2包括网格图案,图案1108-3包括点阵,以及图案1108-4包括正弦图案。
图11D是示出根据一些实施例通过红外(IR)视网膜反射检测来检测瞳孔的位置的示意图。IR视网膜反射——也称为视网膜反射或红反射(red reflex)——是指来自眼睛的视网膜的带红色的(reddish)光反射,眼睛的视网膜是排列在眼睛后部的内部的一层组织。由IR视网膜反射引起的带红色的光(例如红外光)反射与由眼睛的其他位置引起的光反射是可区分的。例如,从视网膜反射的光具有可区分的强度、波长相关性和/或偏振相关性。视网膜包括中央凹(fovea),它是负责敏锐的中央视觉的区域,包括最高密度的感光细胞。一些感光细胞(例如,汉勒纤维(Henle fiber))具有双折射特性。双折射是指材料的折射率取决于入射光的偏振态和传播方向的特性。中央凹的双折射特性还可以用来将从视网膜反射的光与从眼睛的其他部分反射的光区分开。
图11D中的眼睛***408-3包括光源(例如,IR光源)和IR检测器。在一些实施例中,IR检测器是对IR敏感的光电二极管。在图11D中,光线1114(例如,IR光)由眼睛***408-3朝向眼睛1100投射。当光线1114通过瞳孔进入时,光线1114被眼睛1100的视网膜反射。反射光线1116被眼睛***408-3检测到。由视网膜反射的光线与从眼睛的其他部分反射的光是可区分的,并且可以基于反射光的位置(以及可选的强度)来确定瞳孔的位置。
在一些实施例中,眼睛***408-3与一个或更多个偏振器1115光学耦合。在一些实施例中,偏振器1115-1被定位成使由眼睛***408-3投射的光线1114偏振。照射到视网膜的双折射感光细胞上的偏振光产生具有特征图案的反射。替代地或附加地,在一些实施例中,偏振器1115-2被定位成使由眼睛***408-3检测到的反射光线1116偏振,并且由于双折射感光细胞,眼睛***408-3检测到类似的特征图案。在这样的实施例中,眼睛1100的瞳孔406的位置基于眼睛***408-3在反射光线1116中检测到的特征图案来确定。在一些实施例中,当没有检测到特征图案时,眼睛***408-3确定光线1116已经被眼睛1100的其他部分(例如,巩膜或角膜)反射。
图11E是示出根据一些实施例通过深度测量来检测瞳孔的位置的示意图。在一些实施例中,眼睛***408-4包括一个或更多个深度传感器(例如,基于飞行时间、声音导航和测距(SONAR)、光检测和测距(LIDAR)、干涉测量和/或光三角测量技术和/或深度感测领域中已知的其他技术的一个或更多个深度传感器)。深度传感器被配置成测量眼睛***408-4和眼睛1100的表面之间的一个或更多个距离(例如,图11E中的距离1116-1、1116-2和1116-3)。在一些实施例中,通过测量距离1116-1、1116-2和1116-3中的两个或更多个来确定表面轮廓。在一些实施例中,瞳孔406的位置根据表面轮廓来确定。
当眼睛1100旋转时,眼睛***408-4和眼睛1100之间的距离改变。例如,在图11E中,比参考距离(例如相对于处于中间位置(例如,0°)的眼睛的距离)长的距离指示眼睛正在向下看,而比参考距离短的距离指示眼睛正在向上看。此外,眼睛1100的注视角度可以根据距离来确定。再者,眼睛1100的角度移动可以根据距离的变化来确定。例如,根据距离增加的确定,眼睛***408-4确定眼睛1100正在向下旋转,并且根据距离减小的确定,眼睛***408-4确定眼睛1100正在向上旋转。在图11E中,眼睛***408-4被配置成沿着与处于中间位置的眼睛1100的光轴不平行的轴测量眼睛***408-4和眼睛1100的表面之间的距离。例如,眼睛***408-4的光轴不与处于中间位置的眼睛1100的光轴对准(例如,眼睛***408-4被定位成以与处于中间位置的眼睛1100的光轴成至少15°的角度测量到眼睛1100的表面的距离;眼睛***408-4被定位成以与处于中间位置的眼睛1100的光轴成至少30°的角度测量到眼睛1100的表面的距离;眼睛***408-4被定位成以与处于中间位置的眼睛1100的光轴成至少45°的角度测量到眼睛1100的表面的距离;或者眼睛***408-4被定位成以与处于中间位置的眼睛1100的光轴成至少60°的角度测量到眼睛1100的表面的距离)。
图11F是示出根据一些实施例通过扫描来检测瞳孔的位置的示意图。在一些实施例中,包括眼睛1100的区域用包括深度传感器的眼睛***408-4扫描,以产生眼睛1100表面的外形轮廓(contour profile)。在一些实施例中,眼睛的表面的外形轮廓包括眼睛1100的三维图像。在一些实施例中,眼睛1100的三维图像是低分辨率图像,仅包括足够创建眼睛1100的图像的有限数量的深度测量点。通过限制深度测量点的数量,减少了执行测量所需的时间,以及减少了这样的图像的图像处理所需的时间和功率。因此,这降低了眼睛跟踪所需的功耗。
在一些实施例中,包括眼睛1100的区域用本文描述的任何其他眼睛***扫描。在一些实施例中,眼睛***执行局部搜索(例如,仅扫描该区域的子集,而不是全部,并确定瞳孔的位置或虹膜的边界),这提高了眼睛跟踪的速度。
图11G-11I是示出根据一些实施例通过飞行时间检测器来检测瞳孔的位置的示意图。眼睛***408-5包括光源1121和检测器1123,光源1121被配置成朝向眼睛1100发射脉冲光,检测器1123被配置成检测由眼睛1100反射的脉冲光。
在一些实施例中,光源1121包括发光二极管(LED)、超辐射发光二极管(SLED)、有机LED(OLED)或激光器。在一些实施例中,光源1121是单个LED。在一些实施例中,光源1121发射红外(IR)或近红外(NIR)光,并且检测器1123是IR或NIR检测器。在一些实施例中,光源1121被包括在投光器(例如本文参考图4A描述的投光器402)中,或者与投光器(例如本文参考图4A描述的投光器402)耦合。在图11G-11H中,眼睛***408-5沿着光路1120朝向眼睛1100发射脉冲光1120-1。脉冲光1120-1被眼睛1100的表面(例如,眼睛1100的视网膜、巩膜或角膜)反射,并且反射光被眼睛***408-5的检测器1123检测到。在一些情况下,脉冲光1120-1被眼睛1100周围的区域(例如,眼睑)反射。
在一些实施例中,检测器1123是雪崩光电二极管(例如,单光子雪崩光电二极管,SPAD)。雪崩光电二极管被配置成接收由眼睛1100的表面反射的光,并且眼睛***408-5被配置成基于光的发射和检测的定时来确定眼睛***408-5和已经反射了该光的眼睛1100的表面之间的距离。在图11G中,眼睛1100-1被引导到第一角度位置,并且朝向眼睛1100投射的脉冲光1120-1通过瞳孔406进入眼睛1100,并且被眼睛1100的视网膜反射回来。反射的脉冲光1122-1沿着光路1122返回,并被眼睛***408-5检测到。
在图11H中,眼睛1100-2被引导到第二角度位置,并且朝向眼睛1100投射的脉冲光1120-1不通过瞳孔406进入眼睛1100,而是被眼睛1100的巩膜反射。反射的脉冲光1122-2由检测器1123检测到。
在图11I中,在时间线上示出了由光源1121发射的脉冲光1120-1以及反射光1122-1和1122-2。在时间T0朝向眼睛1100发射脉冲光1120-1,发射时间由眼睛***408-5记录。在图11G中,脉冲光1120-1进入眼睛1100的瞳孔,并且被眼睛1100的视网膜反射为脉冲光1122-1。脉冲光1122-1在时间T1被眼睛***408-5检测到,其中T1-T0对应于被眼睛1100的视网膜反射的脉冲光1120-1的飞行时间。基于飞行时间T1-T0,确定眼睛***408-5与反射脉冲光1122-1的表面(例如,视网膜)之间的距离。在图11H中,脉冲光1120-1被眼睛1100的巩膜反射为脉冲光1122-2。脉冲光1122-2在时间T2被眼睛***408-5检测到,其中T2-T0对应于被眼睛1100的巩膜反射的脉冲光1120-1的飞行时间。基于飞行时间T2-T0,确定眼睛***408-5与反射脉冲光1120-1的表面(例如巩膜)之间的距离。根据基于飞行时间T1-T0和T2-T0确定的距离,眼睛***408-5确定飞行时间是对应于从眼睛1100的视网膜反射的脉冲光的飞行时间,还是对应于从眼睛1100的巩膜反射的脉冲光的飞行时间。
图11J是示出根据一些实施例通过飞行时间检测器来检测瞳孔的位置的示意图。眼睛***408-6包括朝向眼睛1100发射相干光(例如,光线1128)的光源(例如,图11J的插图中示出的光源1124)。眼睛***408-6还包括干涉仪(例如,图11J的插图中示出的干涉仪1138)。在一些实施例中,该光源包括发光二极管(LED)、超辐射发光二极管(SLED)、有机LED(OLED)或激光器。在一些实施例中,该光源是单个LED。在一些实施例中,该光源被包括在投光器(例如本文参考图4A描述的投光器402)中。光线1128被眼睛1100的表面反射。在图11J中,光线1128通过瞳孔406进入眼睛1100,并被眼睛1100的视网膜反射。反射光线1130随后被眼睛***408-6的干涉仪1138检测到。
图11J的插图中示出了干涉仪1138的操作。光源1124发射照射在分束器1136上的光线1132-1。分束器1136将光线1132-1分成导向眼睛1100的光线1128和参考光线1132-2。光线1128从眼睛1100的表面反射。如本文参考图11G所述,光线1128可被眼睛1100的一个或更多个表面(例如,视网膜、巩膜或角膜)或眼睛1100周围的表面(例如,眼睑)反射。反射光线1130穿过分束器1136并进入检测器1126(例如,光电二极管)。参考光线1132-2被反射镜1134反射,反射的参考光线1132-3的一部分被分束器1136朝向检测器1126反射。反射镜1134是被配置成改变参考光线1132-3行进的光学距离的可调反射镜。检测器1126检测由光线1130和参考光线1132-3形成的干涉图案,该干涉图案由光线130和参考光线1132-3之间的相移引起,该相移是由于相应光线行进的距离的差异造成的。基于干涉图案,眼睛***408-6确定眼睛***408-6和被确定反射了光线1128的表面之间的距离。基于眼睛***408-6和光线1128的表面之间的距离,眼睛***408-6确定光线1128是被眼睛的视网膜反射,还是被眼睛的任何其他表面(例如,眼睛1100的巩膜或角膜)反射。
在一些实施例中,本文参考图11A-11J描述的眼睛***(即,眼睛***408-1、408-2、408-3、408-4、408-5和408-6)被配置为获得眼睛1100的低分辨率图像,以用于眼睛跟踪。在一些实施例中,低分辨率图像包括单像素图像。在一些实施例中,低分辨率图像包括由几个像素(例如,2、3、4、5、6、7、8、9、10个像素等)组成的图像。在一些实施例中,图11A-11J的眼睛***包括单像素眼睛跟踪传感器。在一些实施例中,图11A-11J的眼睛***包括低分辨率图像传感器,例如眼睛跟踪传感器的小型阵列(例如,2、3、4、5、6、7、8、9、10个眼睛跟踪传感器等)。相比于包括提供高分辨率图像(例如,500×500像素或更多像素等)的相机的眼睛***,单像素传感器和低分辨率图像传感器具有优势。例如,与高分辨率相机相比,单像素眼睛跟踪传感器具有低功耗和低重量。此外,处理来自单像素传感器的数据比处理来自高分辨率图像的数据需要更少的计算能力。
图12A-12E是示出根据一些实施例的具有支持调焦的投光器的头戴式显示器的示意图。
辐辏调节冲突(vergence-accommodation conflict)会影响头戴式显示器的用户体验质量。不同于固定焦点的投光器,支持调焦的投光器能够改变到投射的图像的感知距离,从而减少或消除辐辏调节冲突。
图12A示出了根据一些实施例的显示设备1210。显示设备1210类似于图5D所示的显示设备500,除了在图12A中,致动器502被配置为移动一个或更多个透镜412,而不移动投光器402。在图12A中,致动器502被配置成在包括与投光器402的光轴平行的分量的方向上移动一个或更多个透镜412(例如,致动器502沿着投光器402的光轴移动一个或更多个透镜412)。这允许移动对应于投射的图像的图像平面。显示设备1210可选地包括光束转向器404。
图12B示出了根据一些实施例的显示设备1220。显示设备1220类似于图12A所示的显示设备1210,除了在图12B中,致动器502被配置为移动投光器402(或投光器402内的光源),而不移动一个或更多个透镜412。在图12B中,致动器502被配置成在包括与投光器402的光轴平行的分量的方向上移动投光器402(例如,致动器502沿着投光器402的光轴移动投光器402)。
在一些实施例中,致动器502被配置成移动一个或更多个透镜412连同投光器402,如图5D所示。
图12C示出了根据一些实施例的显示设备1230。显示设备1230类似于图12A所示的显示设备1210,除了显示设备1230包括一个或更多个空间光调制器1202。在一些实施例中,一个或更多个空间光调制器1202包括硅基液晶(LCOS)空间光调制器。在一些实施例中,一个或更多个空间光调制器1202包括修改相位的空间光调制器。修改相位的空间光调制器的功能类似于具有可变焦距的可调谐透镜。
图12D示出了根据一些实施例的显示设备1240。显示设备1240类似于图12C所示的显示设备1230,除了显示设备1240包括可调谐透镜1204,例如电润湿透镜、液体透镜和液晶透镜。在一些实施例中,显示设备1240包括一个或更多个透镜412。在一些实施例中,显示设备1240不包括一个或更多个透镜412。
图12E示出了根据一些实施例的显示设备1250。显示设备1250是麦克斯韦视图(Maxwellian-view)头戴式显示器的示例。显示设备1250包括限定孔(aperture)(例如,具有0.1mm、0.2mm、0.3mm、0.4mm、0.5mm、0.6mm、0.7mm、0.8mm、0.9mm、1mm等直径的针孔)的阻挡器1206。在一些实施例中,阻挡器1206由不透明材料(例如,金属、塑料等)制成,其被配置为阻挡光(并且仅通过孔透射光)。投光器402与该孔光学耦合,使得来自投光器402的光透射通过阻挡器1206中限定的孔。在一些实施例中,一个或更多个透镜412被配置成将透射通过该孔的光聚焦到瞳孔406上(或瞳孔406附近)。
在一些实施例中,显示设备1250包括一个或更多个空间光调制器(例如,修改幅度的空间光调制器),其被配置为修改透射通过该孔的光。
图12F和图12G是示出根据一些实施例的头戴式显示器的示例操作的示意图。
图12F示出了眼睛正注视着位于用户附近的对象1270(例如,真实对象或虚拟对象)。如图12F所示,当眼睛注视着一个位于用户附近的对象时,眼睛进行会聚(与它们的中间位置相比)。眼睛***408-1和408-2确定眼睛的瞳孔的位置。在一些实施例中,眼睛***408-1和408-2(或者与眼睛***408-1和408-2通信的一个或更多个处理器,例如处理器216)基于眼睛的瞳孔的位置来确定聚散度(vergence)(例如,通过确定眼睛的注视角度并计算注视角度之间的差异)。在一些实施例中,该一个或更多个处理器基于聚散度确定图像平面。例如,该一个或更多个处理器基于眼睛的会聚选择邻近的图像平面(例如,离用户具有第一距离的图像平面),并且基于眼睛的发散选择远的图像平面(例如,离用户具有大于第一距离的第二距离的图像平面)。
显示设备1260-1和1260-2投射光,以用于渲染图像。在一些实施例中,显示设备1260-1和1260-2中的每一个都包括本文描述的支持调焦的投光器(例如,显示设备1250的支持调焦的投光器)。在图12F中,显示设备1260-1投射光,并且组合器410-1将投射的光朝向左眼反射。此外,显示设备1260-2投射光,并且组合器410-2将投射的光朝向右眼反射。在一些实施例中,显示设备1260-1投射的光不同于显示设备1260-2投射的光。在某些情况下,这向用户提供了立体感知。
在图12F中,显示设备1260-1投射的光用两条代表性光线1262-1和1262-2示出,显示设备1260-2投射的光用两条代表性光线1264-1和1264-2示出。光线1262-1和1264-1对应于位于用户附近的对象1270,光线1262-2和1264-2对应于远离用户定位的对象1272。
当用户注视着位于用户附近的对象1270时,光线1262-1和1264-1被调整(例如,使用支持调焦的投光器,例如显示设备1250)以在投射到眼睛的视网膜上时保持聚焦,并且光线1262-2和1264-2被调整(例如,使用支持调焦的投光器)以在投射到视网膜上时保持失焦(out of focus)。这创建了一种视觉感知,即位于用户附近的对象看起来聚焦,而远离用户定位的对象看起来模糊。
图12G示出了眼睛正注视着远离用户定位的对象1272(例如,真实对象或虚拟对象)(例如,对象1270被感知为位于离用户第一距离处,并且对象1272被感知为位于离用户第二距离处,该第二距离大于第一距离)。眼睛***408-1和408-2确定眼睛的瞳孔的位置。在一些实施例中,眼睛***408-1和408-2基于眼睛的瞳孔的位置来确定聚散度。
显示设备1260-1和1260-2投射光,以用于渲染更新后的图像。例如,光线1262-1和1264-1被调整为在投射到视网膜上时保持失焦,而光线1262-2和1264-2被调整为在投射到视网膜上时保持聚焦。这创建了一种视觉感知,即位于用户附近的对象看起来模糊,而远离用户定位的对象看起来聚焦。
根据这些原理,我们现在转向头戴式显示设备的某些实施例。
根据一些实施例,用于向佩戴者提供增强现实内容的头戴式显示设备包括眼睛***、投光器、光束转向器和组合器(例如,在图4A中,显示设备400包括眼睛***408、投光器402、光束转向器404和组合器410)。眼睛***被配置成确定佩戴者的眼睛的瞳孔的位置(例如,图4A中的瞳孔406的位置),投光器被配置成投射光(例如,光414-1)以至少基于增强现实内容来渲染图像,光束转向器被配置成基于瞳孔的位置来改变来自投光器的光(例如,光414-1)的方向,并且组合器被配置为将来自投光器的光和来自头戴式显示设备外部的光组合,以提供渲染的图像和与来自头戴式显示设备外部的光相对应的真实图像的重叠(例如,在图4A中,组合器410将投光器402投射的光414-1与来自显示设备400外部的光416(例如,环境光)组合)。
在一些实施例中,眼睛***包括本文描述的任何眼睛***(例如,图11A-11J)。
在一些实施例中,光束转向器包括本文描述的任何光束转向器或任何致动器(例如,图4A-4D和图5A-5I)。
在一些实施例中,投光器是支持调焦的投光器(例如,图12A-12E)。
在一些实施例中,组合器是本文描述的任何组合器(例如,图6A-6C、图7A-7B、图8、图9A-9E和图10A-10B)。
在一些实施例中,投光器被配置成将光投射到位于佩戴者的眼睛的瞳孔的平面上的6mm×6mm正方形区域内的区域上(例如,图4A中位于瞳孔406的参考平面407-1上的6mm×6mm正方形区域内的区域)。
在一些实施例中,投光器被配置成将光投射到具有至少3mm的特征尺寸的区域上。这减少或消除了瞳孔的填充不足(underfilling)。
在一些实施例中,组合器不包括与波导耦合的光栅(例如,图4A中的组合器410不包括与波导耦合的光栅,与波导耦合的光栅在光瞳复制组合器中被使用)。在一些实施例中,组合器没有被配置为使用光瞳复制来扩展光束的尺寸。
在一些实施例中,投光器包括以下项中的一个或更多个:空间光调制器(例如,图12C)或扫描反射镜投射器(例如,图5G)。
在一些实施例中,投光器与一个或更多个可调焦点透镜(例如,图12D中的透镜1204)耦合。
在一些实施例中,投光器与孔和一个或更多个透镜(例如,图12E所示的麦克斯韦光学***)耦合。
在一些实施例中,光束转向器包括一个或更多个致动器(例如,图5C中的致动器502)。
在一些实施例中,组合器包括以下项中的一个或更多个:菲涅耳组合器(例如,图9A-9E)、扁平组合器(例如,图10A-10B)、椭球镜(例如,图8)、一个或更多个可调谐波导(例如,图6A-6C)或全息组合器(例如,图7A和图7B)。
在一些实施例中,组合器被配置成反射来自投光器的光并透射来自头戴式显示设备外部的光(例如,在图4A中,组合器410反射由投光器402投射的光414-1而透射来自显示设备400外部的光416)。
在一些实施例中,眼睛***包括以下项中的一个或更多个:瞳孔图像***(例如,图11A)、视网膜反射***(例如,图11D)、深度传感器(例如,图11E)或闪光***(例如,图11B)。
在一些实施例中,光束转向器与投光器集成在一起(例如,在图4B中,部件422包括与投光器402集成在一起的光束转向器404)。
在一些实施例中,光束转向器与光组合器集成在一起(例如,在图4C中,部件432包括与组合器410集成在一起的光束转向器404)。
在一些实施例中,眼睛***与投光器集成在一起(例如,在图4D中,部件442包括与投光器402集成在一起的眼睛***408)。
根据一些实施例,一种使用头戴式显示设备(例如,图5A中的显示设备400)向佩戴者提供增强现实内容的方法,该头戴式显示设备包括眼睛***、投光器、光束转向器和组合器,该方法包括利用眼睛***来确定眼睛的瞳孔的位置(例如,在图4A中,瞳孔406的位置由眼睛***408确定)。该方法还包括利用投光器投射光以至少基于增强现实内容来渲染图像,并且利用光束转向器,基于瞳孔的位置来改变来自投光器的光的方向(例如,光束转向器404改变被导向图5A中的第一位置处的瞳孔406的光束414-1的方向,使得光束414-2被导向如图5B所示的第二位置处的瞳孔406)。该方法还包括利用组合器将来自投光器的光和来自头戴式显示设备外部的光组合,以提供渲染的图像和真实图像的重叠,该真实图像对应于来自头戴式显示设备外部的光(例如,在图5A中,组合器410将光线414-1和光线416组合)。
在一些实施例中,该方法包括利用投光器将光投射到位于佩戴者的眼睛的瞳孔平面上6mm×6mm正方形区域内的区域上。
在一些实施例中,该方法包括利用投光器将光投射到具有至少3mm的特征尺寸的区域上。
在一些实施例中,组合器不包括与波导耦合的光栅。
在一些实施例中,投光器包括一个或更多个可调焦点透镜。
在一些实施例中,投光器包括与孔和一个或更多个透镜耦合的投光器。
根据一些实施例,一种使用包括投光器和光束移位器的头戴式显示设备(例如,在图5C中,显示设备500包括投光器402和致动器502)向佩戴者提供图像的方法包括,利用投光器投射光(例如,光514-1)以至少基于虚拟现实内容和/或增强现实内容来渲染图像,并且利用光束移位器基于佩戴者的眼睛的瞳孔(例如,瞳孔406)的位置来改变从投光器投射的光的路径。
在一些实施例中,光束移位器与投光器机械地耦合,并且改变来自投光器的光的路径包括利用光束移位器在不平行于投光器的光轴的方向上移动投光器。例如,在图5C中,致动器502与投光器402机械地耦合,并且移动投光器402改变了光514-1的方向)。
在一些实施例中,该方法包括在第一时间在不平行于投光器的光轴的第一方向上移动投光器,并且在第二时间在不平行于第一方向和投光器的光轴的第二方向上移动投光器。例如,图5C中的投光器402与投光器402的光轴不平行地被移动到图5C中用投光器402指示的第二位置)。
在一些实施例中,头戴式显示设备包括反射器,该反射器被配置成接收来自投光器的光,并将光导向佩戴者的眼睛的瞳孔。光束移位器与反射器机械地耦合,并且改变光的路径包括用光束移位器移动反射器。例如,在图5F中,扫描反射器515包括与致动器502机械地耦合的可调反射镜516,并且通过利用致动器502移动扫描反射器515改变由投光器402投射的光的方向。
在一些实施例中,从投光器投射的光具有以第一尺寸和比第一尺寸短的第二尺寸为特征的横截面(例如,在图5I的部分B中,横截面528具有纵向形状)。移动反射器包括使反射器绕第一轴倾斜,而不使反射器绕不平行于第一轴的第二轴倾斜(例如,通过使图5G中的可调反射镜516仅在一个方向上倾斜,图5I的部分B中的横截面528在一个维度上移动)。
在一些实施例中,移动反射器包括在第一时间使反射器绕第一轴倾斜,并且在第二时间使反射器绕不平行于第一轴的第二轴倾斜(例如,通过使图5G中的可调反射镜516在两个方向上倾斜,图5I的部分A中的横截面526-A在两个维度上移动)。
在一些实施例中,该方法包括利用与头戴式显示设备耦合的眼睛***(例如,图5C中的眼睛***408)来确定佩戴者的眼睛的瞳孔的位置。
根据一些实施例,用于向佩戴者提供图像的头戴式显示设备包括投光器和光束移位器,投光器被配置为投射光以至少基于虚拟现实内容和/或增强现实内容来渲染图像,光束移位器被配置为基于佩戴者的眼睛的瞳孔的位置来改变从投光器投射的光的路径(例如,图5C)。
在一些实施例中,光束移位器与投光器机械地耦合,并且光束移位器被配置为通过在不平行于投光器的光轴的方向上移动投光器来改变来自投光器的光的路径(例如,图5C)。
在一些实施例中,光束移位器被配置为在第一时间在不平行于投光器的光轴的第一方向上移动投光器(例如,图5C和图5D)。光束移位器还被配置为在第二时间在不平行于第一方向和投光器的光轴的第二方向上移动投光器。
在一些实施例中,光束移位器被配置为在平行于投光器的光轴的方向上移动投光器(例如,在图5D中的第二位置处的投光器402与投光器402的光轴平行地被移动到图5E中用投光器402-3指示的第三位置)。
在一些实施例中,头戴式显示设备包括与投光器光学耦合的透镜,并且该设备还包括光束移位器,该光束移位器被配置为在包括与投光器的光轴平行的分量的方向上移动透镜(例如,在图5C中的第一位置处的一个或更多个透镜412与投光器402平行地被移动到图5D中的第二位置)。
在一些实施例中,该设备包括全息组合器,该全息组合器被配置成接收从投光器投射的光,并将该光导向佩戴者的眼睛的瞳孔。全息组合器包括位于透明衬底上的全息光学元件(例如,在图7A中,全息组合器700包括衬底708上的全息光学元件702)。全息光学元件包括第一部分(例如,部分706-1),该第一部分被配置为沿第一方向(例如,朝向瞳孔406)引导来自投光器的照射在全息光学元件的第一部分上的光(例如,光线704-1)。全息光学元件还包括第二部分(例如,部分706-2),该第二部分被配置成沿不同于第一方向的第二方向(例如,朝向瞳孔406)引导来自投光器的照射在全息光学元件的第二部分上的光(例如,光线704-2)。全息光学元件还包括第三部分(例如,部分706-3),该第三部分被配置为沿不同于第一方向、第二方向和第三方向的第三方向(例如,朝向瞳孔406)引导来自投光器的照射在全息光学元件的第三部分上的光(例如,光线704-3)。
在一些实施例中,头戴式显示设备包括反射器(例如,图5G中的可调反射镜516-1),该反射器被配置成接收来自投光器的光并将该光导向佩戴者的眼睛的瞳孔。光束移位器(例如,致动器502)与反射器机械地耦合,并且光束移位器被配置为通过移动反射器来改变光的路径。
在一些实施例中,从投光器投射的光具有以第一尺寸和比第一尺寸短的第二维度为特征的横截面(例如,图5G和图5I)。光束移位器被配置为通过使反射器绕第一轴倾斜而不使反射器绕不平行于第一轴的第二轴倾斜来移动反射器。
在一些实施例中,光束移位器被配置为通过在第一时间使反射器绕第一轴倾斜并在第二时间使反射器绕不平行于第一轴的第二轴倾斜来移动反射器(例如,图5G和图5I)。
在一些实施例中,头戴式显示设备与被配置成确定佩戴者的眼睛的瞳孔的位置的眼睛***(例如,图5G中的眼睛***408)耦合。
在一些实施例中,光束移位器包括可调谐波导(例如,图6A-6C中的可调谐波导600)。可调谐波导包括被配置成接收从投光器投射的光(例如光606)的波导(例如波导602)。波导还包括沿着波导邻近波导定位的多个单独可寻址的控制区域(例如,可调谐光学元件604-1和604-2)。多个单独可寻址的控制区域中的相应区域被配置成在第一操作条件下具有第一光学厚度,并且在不同于第一操作条件的第二操作条件下具有不同于第一光学厚度的第二光学厚度(例如,可调谐光学元件604-1在图6A中具有第一光学厚度,在图6C中具有第二光学厚度)。可调谐波导被配置为当相应区域具有第一光学厚度时在对应于该相应区域的位置处通过波导传播接收的光(例如,在图6A中,光606在照射到具有第一光学厚度的可调谐光学元件604-1上之后传播通过波导602),并且当相应区域具有第二光学厚度时在对应于该相应区域的位置处从波导射出接收的光的至少一部分(例如,在图6C中,光606在照射到具有第二光学厚度的可调谐光学元件604-1上之后从波导602射出)。
在一些实施例中,光束移位器包括全息组合器(例如,全息组合器710包括图7B中的波导714)。全息组合器包括被配置成接收从投光器投射的光的波导。全息组合器还包括位于波导附近的一个或更多个全息光学元件(例如,全息光学元件702)和位于该一个或更多个全息光学元件附近的一个或更多个可调谐棱镜(例如,棱镜712)。
在一些实施例中,一个或更多个可调谐棱镜包括以下项中的一个或更多个:液体棱镜或液晶棱镜(例如,图7B中的棱镜712)。
根据一些实施例,用于向佩戴者提供增强现实内容的头戴式显示设备(例如,图1中的显示设备100)包括第一投光器(例如,图4A中的投光器402)和第一菲涅耳组合器(例如,图6A中的菲涅耳组合器900),第一投光器被配置为投射光以至少基于增强现实内容来渲染图像,第一菲涅耳组合器被配置为将来自第一投光器的光(例如,图6A中的光线910-1、910-2和910-3)和来自头戴式显示设备外部的光(例如,图6A中的光416)组合,用于提供渲染的图像和与来自头戴式显示设备外部的光相对应的真实图像的重叠。
在一些实施例中,第一菲涅耳组合器包括具有第一表面和与第一表面相反的第二表面的第一光学透明衬底(例如,在图6A中,菲涅耳组合器900包括具有表面902-1和902-2的衬底902)。第一菲涅耳组合器包括在第二表面上的多个菲涅耳结构(例如,表面902-2包括由斜刻面904-1、904-2和904-3以及相邻的拔模刻面912-1、912-2和912-3限定的菲涅耳结构)。
在一些实施例中,第一菲涅耳组合器在第一表面上没有菲涅耳结构(例如,在图9A中,表面902-1是光滑且平坦的表面)。
在一些实施例中,第一菲涅耳组合器被配置为反射来自第一投光器的光,并透射来自头戴式显示设备外部的光(例如,在图9A中,由投光器402发射的光线910-1、910-2和910-3在表面902-2处被反射,并且来自头戴式显示器416外部的光416透射通过菲涅耳组合器900)。
在一些实施例中,第一投光器被定位成远离来自头戴式显示设备外部的透射通过第一菲涅耳组合器的光的路径(例如,在图9A中,投光器402被定位成远离光416)。
在一些实施例中,第一投光器远离第一菲涅耳组合器的光轴定位(例如,在图9A中,投光器402远离菲涅耳组合器900的光轴定位)。
在一些实施例中,第一菲涅耳组合器包括在第二表面的至少一部分上的一个或更多个波长选择性光学涂层(例如,在图9A中,菲涅耳组合器900的斜刻面904-1、904-2和904-3包括光学涂层)。
在一些实施例中,该一个或更多个波长选择性光学涂层包括至少一个光学涂层,该至少一个光学涂层对于第一颜色的光具有第一折射率,并且对于不同于第一颜色的第二颜色的光具有不同于第一折射率的第二折射率,使得第一菲涅耳组合器反射从第一投光器投射的第一颜色的光,并且放弃反射从第一投光器投射的第二颜色的光。例如,在图9A中,斜刻面904-1的光学涂层对于第一波长范围(例如红色)具有选择性折射率,因而反射在第一波长范围内的光,而透射具有在第一波长范围之外的波长的光。斜刻面904-2的光学涂层对于第二波长范围(例如绿色)具有选择性折射率,因而反射在第二波长范围内的光,而透射具有在第二波长范围之外的波长的光。
在一些实施例中,第一菲涅耳组合器包括具有第三表面和与第三表面相反的第四表面的第二光学透明衬底,并且第一菲涅耳组合器包括在第三表面上的多个菲涅耳结构(例如,在图9B中,衬底922包括表面922-1和表面922-2,表面922-2具有多个菲涅耳结构)。
在一些实施例中,第一菲涅耳组合器在第四表面上没有菲涅耳结构(例如,在图9B中,表面922-1是光滑且平坦的表面)。
在一些实施例中,第三表面上的多个菲涅耳结构被配置为与第二表面上的多个菲涅耳结构配合(例如,在图9B中,表面922-2被配置为与表面902-2配合)。
在一些实施例中,第一光学透明衬底和第二光学透明衬底由具有第一折射率的第一材料制成(例如,图9B中的衬底902和922)。第二表面上的多个菲涅耳结构与第三表面上的多个菲涅耳结构分离(例如,表面902-2和922-2在它们之间限定了间隔)。第二表面上的多个菲涅耳结构和第三表面上的多个菲涅耳结构之间的间隔用具有小于第一折射率的第二折射率的第二材料填充(例如,在一些实施例中,在图9C中,由表面902-2和922-2限定的间隔用具有与衬底902和922的折射率不同的折射率的光学透明材料填充)。
在一些实施例中,第一菲涅耳组合器被配置为通过第一光学透明衬底内的全内反射来反射来自第一投光器的光。
在一些实施例中,第一菲涅耳组合器被配置为使来自头戴式显示设备外部的光(例如,图9B中的光416)透射通过第一光学透明衬底、在第二表面上的多个菲涅耳结构和第三表面上的多个菲涅耳结构之间的间隔中的第二材料、以及第二光学透明衬底。
在一些实施例中,头戴式显示设备还包括与第一菲涅耳组合器的第一表面光学耦合的一个或更多个棱镜(例如,在图9D中,菲涅耳组合器940包括与表面902-1光学耦合的棱镜942-2)。
在一些实施例中,头戴式显示设备还包括与第一菲涅耳组合器的第四表面光学耦合的一个或更多个棱镜(例如,在图9D中,菲涅耳组合器940包括与表面622-1光学耦合的棱镜942-1)。
在一些实施例中,头戴式显示设备还包括眼睛***(例如,图4A中的眼睛***408)和光束转向器(例如,图4A中的光束转向器404),眼睛***被配置为确定佩戴者的眼睛的瞳孔(例如,瞳孔406)的位置,光束转向器被配置为基于瞳孔的位置来改变来自第一投光器的光的方向。
在一些实施例中,第一投光器被配置成投射第一颜色的光。在这样的实施例中,头戴式显示设备还包括第二投光器和第二菲涅耳组合器,第二投光器被配置成投射第二颜色的光以至少基于增强现实内容来渲染图像,第二颜色不同于第一颜色(例如,在图9E中,投光器402包括一个或更多个光源,并且投射具有第一颜色的光线910-2和具有第二颜色的光线910-4),第二菲涅耳组合器被配置为将来自第二投光器的光和来自头戴式显示设备外部的光组合,用于提供渲染的图像和真实图像的重叠(例如,在图9E中,菲涅耳组合器902将光线910-4和来自头戴式显示设备外部的光416组合)。
在一些实施例中,头戴式显示设备还包括第三投光器,第三投光器被配置成投射第三颜色的光以至少基于增强现实内容渲染图像。第三颜色不同于第一颜色和第二颜色。头戴式显示设备还包括第三菲涅耳组合器,第三菲涅耳组合器被配置为将来自第三投光器的光和来自头戴式显示设备外部的光组合,用于提供渲染的图像和真实图像的重叠。
根据一些实施例,一种使用包括第一投光器(例如,图9A中的投光器402)和第一菲涅耳组合器(例如,菲涅耳组合器900)的头戴式显示设备向佩戴者提供增强现实内容的方法包括,利用第一投光器投射光(例如,光线910-1、910-2和910-3)以至少基于增强现实内容来渲染图像,并且利用第一菲涅耳组合器将来自第一投光器的光和来自头戴式显示设备外部的光(例如,光416)组合,用于提供渲染的图像和与来自头戴式显示设备外部的光相对应的真实图像的重叠。
根据一些实施例,用于向佩戴者提供增强现实内容的头戴式显示设备包括投光器和扁平组合器(例如,图10A中的投光器402和扁平组合器1000)。投光器被配置为投射具有第一偏振的光以至少基于增强现实内容来渲染图像(例如,由投光器402投射的光线1008-1是偏振的)。扁平组合器被配置为将来自投光器的光(例如,光线1008-1)和来自头戴式显示设备外部的光(例如,光416)组合,用于提供渲染的图像和与来自头戴式显示设备外部的光相对应的真实图像的重叠。扁平组合器还被配置成将来自投光器的光导向佩戴者的眼睛的瞳孔(例如,瞳孔406)。
在一些实施例中,投光器(例如,图10A中的光源402)包括与偏振器耦合的光源。在一些实施例中,投光器包括发射偏振光的光源(例如,包括一个或更多个LED的光源)。
在一些实施例中,扁平组合器包括第一部分反射器、第一偏振器和第二部分反射器(例如,在图4A中,扁平组合器1000包括部分反射器1002、偏振器1004和部分反射器1006)。
在一些实施例中,第一偏振器被配置成接收具有第一偏振的光,并将具有第一偏振的光转换成具有第二偏振的光(例如,在图10A中,偏振器1004接收在z方向上具有线偏振的光线1008-1,并将其转换成具有右旋圆偏振的光线1008-1),并接收具有第三偏振的光,并将具有第三偏振的光转换成具有第四偏振的光(例如,偏振器1004接收具有左旋圆偏振的光线1008-1,并将其转换成在x方向1上具有线偏振的光线1008-1)。第一部分反射器被配置为透射具有第一偏振的光的至少一部分并反射具有第四偏振的光的至少一部分(例如,部分反射器1002透射在z方向上具有线偏振的光线1008-1并反射在x方向上具有线偏振的光线1008-1)。第二部分反射器被配置成反射具有第二偏振的光的至少一部分并反射具有第三偏振的光的至少一部分(例如,部分反射器1006反射具有右旋圆偏振的光线1008-1和具有左旋圆偏振的光线1008-1)。
在一些实施例中,第一偏振器是四分之一波片(例如,在图10A中,偏振器1004是四分之一波片)。
在一些实施例中,第一部分反射器被配置成透射被导向第一部分反射器的光的一部分,并反射被导向第一部分反射器的光的一部分,而与被导向第一部分反射器的光的偏振无关(例如,在图10A中,部分反射器1002是50/50反射镜)。第二部分反射器被配置成透射被导向第二部分反射器的光的一部分,并且反射被导向第二部分反射器的光的一部分,而与被导向第二部分反射器的光的偏振无关(例如,部分反射器1004是50/50反射镜)。
在一些实施例中,第一部分反射器是第一偏振相关反射镜,其被配置为透射具有第一偏振的光并反射具有第四偏振的光(例如,在图10A中,部分反射器1004是透射在z方向上具有线偏振的光并反射在x方向上具有线偏振的光的偏振相关反射镜)。第二部分反射器是第二偏振相关反射镜,其被配置为反射具有第二偏振的光并透射具有第一偏振的光(例如,部分反射器1006是反射具有右旋圆偏振的光并透射具有线偏振的光的偏振相关反射镜)。
在一些实施例中,具有第一偏振的光具有第一波长,并且第二部分反射器是波长相关反射器,其被配置为反射具有第一波长的第一偏振的光,并且透射具有不同于第一波长的第二波长的光(例如,在图10A中,光线1008-1具有第一波长,并且部分反射器1006是波长选择性反射镜,其反射具有第一波长的光线1008-1并透射具有其他波长的光)。
在一些实施例中,具有第一偏振的光具有第一波长、不同于第一波长的第二波长以及不同于第一波长和第二波长的第三波长(例如,在图10A中,光线1008-1包括具有三种不同波长(例如蓝色、绿色和红色)的光)。第二部分反射器是波长相关反射器,其被配置为反射具有第一偏振在第一波长、第二波长和第三波长处的光,并透射具有不同于第一波长、第二波长和第三波长的第四波长的光(例如,部分反射镜1006是波长选择性反射镜,其反射具有光线1008-1的三种不同波长的光并透射具有其他波长的光)。
在一些实施例中,第一偏振是定向在第一方向上的线偏振(例如,图10A中的在z方向上的线偏振),第二偏振是第一圆偏振(例如,右旋圆偏振),第三偏振是不同于第一圆偏振的第二圆偏振(例如,左旋圆偏振),以及第四偏振是定向在不同于第一方向的第二方向上的线偏振(例如,在x方向上的线偏振)。
在一些实施例中,第二部分反射器是弯曲的(例如,在图10A中,部分反射器1006是弯曲的)。
在一些实施例中,第二部分反射器包括抛物面反射表面(例如,在图10A中,部分反射器1006包括抛物面反射表面)。
在一些实施例中,第二部分反射器被配置为通过修改抛物面部分反射镜的位置和/或定向来基于佩戴者的眼睛的瞳孔的位置改变由投光器投射的光的方向(例如,在图10B中,修改扁平组合器1000的位置,以改变光线1008-2的方向,使得光线1008-2被导向在第二注视方向的瞳孔406)。
在一些实施例中,扁平组合器被配置为允许来自头戴式显示设备外部的光的至少一部分透射通过该扁平组合器(例如,在图10A中,扁平组合器1000允许光416的至少一部分透射通过)。
在一些实施例中,投光器被定位成远离来自头戴式显示设备外部的透射通过扁平组合器的光的路径(例如,在图10A中,投光器402被定位成远离光416的路径)。
在一些实施例中,投光器被定位成远离扁平组合器的光轴(例如,在图10A中,投光器402被定位成远离扁平组合器1000的光轴)。
在一些实施例中,光束转向器被配置为基于佩戴者的眼睛的瞳孔的位置来改变来自投光器的光的方向(例如,在图4A中,光束转向器404被配置为基于瞳孔406的位置来改变光414-1的方向)。
根据一些实施例,一种使用包括投光器和扁平组合器(例如,图10A中的投光器402和扁平组合器1000)的头戴式显示设备向佩戴者提供增强现实内容的方法包括利用投光器投射具有第一偏振的光(例如,光线1008-1)以至少基于增强现实内容来渲染图像,以及利用扁平组合器将来自投光器的光(例如,光线1008-1)和来自头戴式显示设备外部的光(例如光416)组合,用于提供渲染的图像和与来自头戴式显示设备外部的光相对应的真实图像的重叠。扁平组合器被配置成将来自投光器的光导向佩戴者的眼睛的瞳孔(例如,瞳孔406)。
在一些实施例中,扁平组合器包括第一部分反射器、第一偏振器和第二部分反射器(例如,图10B中的部分反射器1002、偏振器1004和部分反射器1006)。该方法还包括使具有第一偏振的光的至少一部分透射通过第一部分反射器,在第一时间使来自第一部分反射器的具有第一偏振的光透射通过第一偏振器,以及用第二部分反射器将第一次透射通过第二偏振的光的至少一部分朝向第一偏振器反射。该方法还包括在第二时间使由第二部分反射器反射的光透射通过第一偏振器,并且用第一部分反射器将在第二时间透射通过第一偏振器的光的至少一部分朝向第一偏振器反射。该方法还包括在第三时间使由第一部分反射器反射的光透射通过第一偏振器,用第二部分反射器使在第三时间透射通过第一偏振器的光的至少一部分反射,在第四时间使由第二部分反射器反射的光透射通过第一偏振器,以及将在第四时间透射通过第一偏振器的光的至少一部分朝向佩戴者的眼睛的瞳孔透射通过第一部分反射器。
根据一些实施例,用于向佩戴者提供增强现实内容的头戴式显示设备(例如,图4A中的显示设备400)包括投光器(例如,投光器402)、眼睛***(例如,眼睛***408)和光束转向器(例如,光束转向器404),投光器被配置为投射光以至少基于增强现实内容来渲染图像,眼睛***被配置为确定佩戴者的眼睛的瞳孔的位置,光束转向器被配置为基于瞳孔的位置来改变来自投光器的光的方向。
在一些实施例中,眼睛***与投光器集成在一起以形成眼睛***和投光器的集成组合件,并且光束转向器与眼睛***和投光器的集成组合件光学耦合。例如,在图4D中,部件442包括与投光器402集成在一起的眼睛***408。部件442与光束转向器404光学耦合。
在一些实施例中,该设备还包括与眼睛***和投光器的集成组合件光学耦合的一个或更多个透镜(例如,在图4D中,一个或更多个透镜412与部件442光学耦合)。由投光器投射的光和由红外检测器检测到的从佩戴者的眼睛反射的光都被该一个或更多个透镜透射(例如,光414-1和光线444-1都被一个或更多个透镜412透射)。
在一些实施例中,该一个或更多个透镜是可调焦点透镜(例如,一个或更多个透镜412是可调焦点透镜)。
在一些实施例中,该设备还包括组合器,该组合器被配置为将来自投光器的光和来自头戴式显示设备外部的光组合,用于提供渲染的图像和与来自头戴式显示设备外部的光相对应的真实图像的重叠(例如,在图4A中,组合器410将从投光器402投射的光414-1和来自显示设备400外部的光线418组合)。
在一些实施例中,组合器与眼睛***和投光器的集成组合件光学耦合(例如,在图4D中,组合器410与部件442光学耦合)。
在一些实施例中,投光器被配置成将光投射到位于佩戴者的眼睛的瞳孔的平面上的6mm×6mm正方形区域内的区域上(例如,在图4A中,投光器402将光(例如光414-1)投射到位于瞳孔406的参考平面407-1上的6mm×6mm正方形区域内的区域上),并且来自投光器的光的方向由光束转向器基于由眼睛***确定的瞳孔的位置来调整(例如,光束转向器404调整光414-1的方向)。
在一些实施例中,眼睛***包括被配置为获得佩戴者的眼睛的瞳孔的图像的相机(例如,在图11A中,眼睛***408-1包括捕获眼睛1100的图像的相机)。
在一些实施例中,投光器包括红外光源,该红外光源被配置为朝向佩戴者的眼睛的视网膜的至少一部分投射红外光,并且眼睛***包括红外检测器,该红外检测器被配置为检测来自佩戴者的眼睛的视网膜的红外光反射。在一些实施例中,红外检测器是光电二极管。例如,在图11D中,眼睛***408-3包括朝向眼睛1100的视网膜投射光线1114的IR光源,并且眼睛***408-3包括检测在眼睛1100的视网膜上反射的光线1116的IR检测器(例如,光电二极管)。
在一些实施例中,眼睛***包括传感器,该传感器被配置为确定到佩戴者的眼睛上的表面的距离,用于确定佩戴者的眼睛的瞳孔的位置(例如,在图11E中,眼睛***408-4包括深度传感器,该深度传感器确定到眼睛1100的表面的距离(例如距离1116-1),用于确定瞳孔406的位置)。
在一些实施例中,传感器被配置成通过扫描包括佩戴者的眼睛的瞳孔的预定义区域并获得佩戴者的眼睛的表面的外形轮廓来确定佩戴者的眼睛的瞳孔的位置。例如,在图11E中,包括眼睛1100的瞳孔406的预定义区域被光线1116-1、1116-2和1116-3扫描,以获得眼睛1100的表面的外形轮廓。作为另一个示例,在图11F中,包括眼睛1100的瞳孔406的预定义区域被一条光线以一定图案扫描,以获得眼睛1100的表面的外形轮廓。在一些实施例中,扫描包括佩戴者的眼睛的瞳孔的预定义区域包括以栅格图案进行扫描。在一些实施例中,佩戴者的眼睛的表面的外形轮廓包括佩戴者的眼睛的表面的低分辨率轮廓。
在一些实施例中,投光器被配置为将图案化光投射到佩戴者的眼睛,并且眼睛***是被配置为捕获在佩戴者的眼睛的表面上被反射的图案化光的反射图像的相机。例如,在图11B中,眼睛***408-2包括将具有结构化图案(例如,图11C中的图案)的光线1104-1投射到眼睛1100的投光器,并且眼睛***408-2包括捕获从眼睛1100的表面反射的光线1104-2的图像的相机。
在一些实施例中,投光器被配置为向佩戴者的眼睛提供光(例如,在图11B中,眼睛***408-2包括用于向眼睛1100提供光线1104-1和1106-2的投光器),并且在佩戴者的眼睛的表面上产生反射。该光的至少一部分在佩戴者的眼睛的角膜的***表面上产生第一反射(例如,光线1104-2),并且该光的至少一部分在佩戴者的眼睛的晶状体的表面上产生第二反射(例如,光线1106-2)。眼睛***被配置为检测第一反射的第一强度和第二反射的第二强度,并基于第一强度和第二强度来确定佩戴者的眼睛的瞳孔(例如,眼睛1100的瞳孔406)的位置。
根据一些实施例,一种使用头戴式显示设备(例如,图4A中的显示设备400)向佩戴者提供增强现实内容的方法包括利用眼睛***确定佩戴者的眼睛的瞳孔(例如,瞳孔406)的位置,并利用投光器投射光(例如,光414-1)以至少基于增强现实内容来渲染图像,该头戴式显示设备包括眼睛***(例如,眼睛***408)、投光器(例如,投光器402)和光束转向器(例如,光束转向器404)。该方法还包括利用光束转向器基于瞳孔的位置来改变来自投光器的光的方向(例如,光414-1的方向)。
在一些实施例中,利用眼睛***确定佩戴者的眼睛的瞳孔的位置包括获得佩戴者的眼睛的瞳孔的图像。例如,在图11A中,眼睛***408-1捕获眼睛1100的图像,以确定瞳孔406的位置。
在一些实施例中,利用眼睛***确定佩戴者的眼睛的瞳孔的位置包括向佩戴者的眼睛提供红外光(例如,图11D中的光线1114),并且通过红外检测器检测从佩戴者的眼睛的视网膜反射的光(例如,图11D中的光线1116)。
在一些实施例中,利用眼睛***确定佩戴者的眼睛的瞳孔的位置包括确定到佩戴者的眼睛上的表面的距离(例如,图11E)。
在一些实施例中,确定到佩戴者的眼睛上的表面的距离包括用传感器扫描包括佩戴者的眼睛的瞳孔的预定义区域,并获得佩戴者的眼睛的表面的外形轮廓(例如,图11E和图11F)。
在一些实施例中,利用眼睛***确定佩戴者的眼睛的瞳孔的位置包括用投光器将图案化光投射到佩戴者的眼睛,并用相机捕获在佩戴者的眼睛的表面上被反射的图案化光的反射图像(例如,图11B和图11C)。
在一些实施例中,利用眼睛***确定佩戴者的眼睛的瞳孔的位置包括用投光器向佩戴者的眼睛提供光,并在佩戴者的眼睛的表面上产生反射。该光的至少一部分在佩戴者的眼睛的角膜的***表面上产生第一反射,并且该光的至少一部分在佩戴者的眼睛的晶状体的表面上产生第二反射。利用眼睛***确定眼睛的瞳孔的位置还包括用眼睛***检测第一反射的第一强度和第二反射的第二强度,并基于第一强度和第二强度确定佩戴者的眼睛的瞳孔的位置(例如,图11B)。
根据一些实施例,一种使用头戴式显示设备——其包括眼睛跟踪传感器、投光器、光束转向器和组合器——向佩戴者提供增强现实内容的方法包括利用眼睛跟踪传感器确定佩戴者的眼睛的瞳孔的位置,以及利用投光器投射光以至少基于增强现实内容渲染图像。该方法还包括利用光束转向器,基于瞳孔的位置来改变来自投光器的光的方向。来自光束转向器的光被导向组合器,并且来自光束转向器的光和来自头戴式显示设备外部的光被组合器组合,以提供渲染的图像和与来自头戴式显示设备外部的光相对应的真实图像的重叠。例如,在图4A中,显示设备400包括眼睛***408、投光器402、光束转向器404和组合器410。眼睛***408被配置成确定瞳孔406的位置。投光器被配置成投射光414-1以至少基于增强现实内容来渲染图像,并且光束转向器404被配置成基于瞳孔406的位置来改变光414-1的方向。光束转向器将光414-1导向组合器410,组合器410将光414-1朝向瞳孔406反射,并将光414-1与来自显示设备400外部的光416组合。
在一些实施例中,眼睛跟踪传感器包括光源和检测器,该光源被配置用于提供眼睛跟踪光,该检测器被配置用于接收从眼睛反射的眼睛跟踪光。例如,在图11G中,眼睛***408-5包括光源1121和检测器1123。利用眼睛跟踪传感器确定佩戴者的眼睛的瞳孔的位置包括朝向眼睛提供来自光源的眼睛跟踪光(例如,图11G中光源1121朝向眼睛1100发射的光线1120),并用检测器检测从眼睛反射的眼睛跟踪光(例如,在图11G中,反射光线1122由检测器1123检测)。确定佩戴者的眼睛的瞳孔的位置还包括基于由来自光源的眼睛跟踪光和检测到的眼睛跟踪光表示的定时信息来确定从眼睛跟踪传感器到眼睛的距离信息,并且基于该距离信息来确定佩戴者的眼睛的瞳孔的位置。例如,图11I示出了关于光源1121在时间T0发射的脉冲光1120-1以及检测器1123分别在时间T1和T2检测到的脉冲1122-1和1122-2的时间信息。图11G和图11H中的瞳孔406的位置基于脉冲在其飞行时间T1-T0和T2-T1期间行进的相应光学距离来确定。
在一些实施例中,基于第一时间(例如,图11I中的时间T1)和第二时间(例如,图11I中的时间T1)来确定定时信息,该第一时间对应于从光源朝向眼睛提供眼睛跟踪光的时间,该第二时间对应于检测器检测到从眼睛反射的眼睛跟踪光的时间。
在一些实施例中,利用雪崩光电二极管确定第二时间(例如,在图11G中,检测器1123是雪崩光电二极管)。
在一些实施例中,眼睛跟踪传感器包括光源(例如,图11J的插图中的光源1124)和检测器(例如,图11J的插图中的检测器1126),该光源被配置用于提供眼睛跟踪光,该检测器被配置用于至少接收从眼睛反射的眼睛跟踪光。利用眼睛跟踪传感器确定佩戴者的眼睛的瞳孔的位置包括从光源朝向眼睛提供眼睛跟踪光(例如,图11J中的光线1128),并基于由来自光源的眼睛跟踪光和从眼睛反射的眼睛跟踪光表示的相位信息来确定佩戴者的眼睛的瞳孔的位置(例如,在图11J的插图中,基于由眼睛1100的表面反射的光线1130和由反射镜1134反射的参考光线1132-3之间的干涉来确定瞳孔406的位置)。
在一些实施例中,确定由来自光源的眼睛跟踪光和从眼睛反射的眼睛跟踪光表示的相位信息包括确定来自光源的眼睛跟踪光和从眼睛反射的眼睛跟踪光之间的相位差(例如,在图11J的插图中,基于由眼睛1100的表面反射的光线1130和由反射镜1134反射的参考光线1132-3之间的相位差来确定瞳孔406的位置)。
在一些实施例中,眼睛跟踪传感器是低分辨率图像传感器或单像素传感器(例如,分别在图11G和图11J中,眼睛***408-5和408-6包括低分辨率图像传感器或单像素传感器)。
在一些实施例中,眼睛跟踪传感器包括光源和检测器,光源被配置用于提供眼睛跟踪光,检测器被配置用于接收从眼睛反射的眼睛跟踪光(例如,在图11D中,眼睛***408-3包括朝向眼睛1100提供光线1115的光源和检测已被眼睛1100的表面反射的光线1116的检测器)。利用眼睛跟踪传感器确定佩戴者的眼睛的瞳孔的位置包括从光源朝向眼睛提供眼睛跟踪光,用检测器检测从眼睛反射的眼睛跟踪光,以及基于来自光源的眼睛跟踪光和从眼睛反射的眼睛跟踪光之间的偏振差异来确定佩戴者的眼睛的瞳孔的位置。例如,在图11D中,偏振器1115被定位在光线1115的光路上或反射光线1115的光路上,使得由眼睛***408-3的检测器检测到的光是偏振的。当光线1114进入瞳孔406并被眼睛1100的视网膜反射时,由于眼睛1100的视网膜的双折射特性,眼睛***408-3将光线1116检测为具有可区分图案的图像。
在一些实施例中,朝向眼睛提供的眼睛跟踪光是偏振的,并且该方法包括使从眼睛反射的眼睛跟踪光透射通过一个或更多个偏振元件(例如,在图11D中,光线1115被偏振器1115偏振)。
在一些实施例中,该方法包括使来自光源的眼睛跟踪光透射通过一个或更多个偏振元件(例如,光线1115被偏振器1115偏振)。
根据一些实施例,一种用于向佩戴者提供增强现实内容的头戴式显示设备,该设备包括眼睛跟踪传感器、投光器、光束转向器和组合器,眼睛跟踪传感器被配置为确定佩戴者的眼睛的瞳孔的位置,投光器被配置为投射光以至少基于增强现实内容渲染图像,光束转向器被配置为基于瞳孔的位置来改变来自投光器的光的方向,组合器被配置为将来自投光器的光和来自头戴式显示设备外部的光组合,用于提供渲染的图像和与来自头戴式显示设备(例如,图4A中的显示设备400)外部的光相对应的真实图像的重叠。
在一些实施例中,眼睛跟踪传感器包括光源和检测器,该光源被配置为朝向眼睛提供眼睛跟踪光,该检测器被配置为接收从眼睛反射的眼睛跟踪光(例如,图11G)。该设备被配置为基于由来自光源的眼睛跟踪光和检测到的眼睛跟踪光表示的定时信息来确定从眼睛跟踪传感器到眼睛的距离信息。该设备还被配置为基于距离信息来确定佩戴者的眼睛的瞳孔的位置。
在一些实施例中,该设备被配置为基于第一时间和第二时间来确定定时信息,该第一时间对应于从光源朝向眼睛提供眼睛跟踪光的时间,该第二时间对应于检测器检测到从眼睛反射的眼睛跟踪光的时间(例如,图11I)。
在一些实施例中,眼睛跟踪传感器包括被配置成确定第二时间的雪崩光电二极管(例如,在图11G中,检测器1123是雪崩光电二极管)。
在一些实施例中,眼睛跟踪传感器包括光源和检测器,光源被配置为朝向眼睛提供眼睛跟踪光,检测器被配置为接收从眼睛反射的眼睛跟踪光(例如,图11J的插图)。该设备被配置为基于由来自光源的眼睛跟踪光和从眼睛反射的眼睛跟踪光表示的相位信息来确定佩戴者的眼睛的瞳孔的位置。
在一些实施例中,该设备被配置为确定由来自光源的眼睛跟踪光和从眼睛反射的眼睛跟踪光表示的相位信息,包括确定来自光源的眼睛跟踪光和从眼睛反射的眼睛跟踪光之间的相位差(例如,图11J的插图)。
在一些实施例中,眼睛跟踪传感器是低分辨率图像传感器或单像素传感器(例如,分别在图11G和图11J中的眼睛***408-5和408-6)。
在一些实施例中,眼睛跟踪传感器包括光源和检测器,该光源被配置为朝向眼睛提供眼睛跟踪光,该检测器被配置为接收从眼睛反射的眼睛跟踪光。该设备被配置为基于来自光源的眼睛跟踪光和从眼睛反射的眼睛跟踪光之间的偏振差异来确定佩戴者的眼睛的瞳孔的位置(例如,图11D)。
在一些实施例中,该设备包括一个或更多个偏振元件,该一个或更多个偏振元件被配置用于透射从眼睛反射的眼睛跟踪光。朝向眼睛提供的眼睛跟踪光是偏振的(例如,图11D中的偏振器1115)。
在一些实施例中,该设备包括一个或更多个偏振元件(例如,图11D中的偏振器1115),该一个或更多个偏振元件被配置用于透射来自光源的眼睛跟踪光。
根据一些实施例,用于向佩戴者提供图像的头戴式显示设备包括支持调焦的投光器(例如,如图12A所示,投光器402和耦合到致动器502的透镜412的组合),该投光器被配置成投射光以至少基于虚拟现实内容和/或增强现实内容来渲染图像。从支持调焦的投光器投射的光对应于至少部分地基于佩戴者的眼睛的瞳孔的位置而选择的图像平面。该设备还包括光束转向器,该光束转向器被配置为基于佩戴者的眼睛的瞳孔的位置来改变从支持调焦的投光器投射的光的路径。
在一些实施例中,支持调焦的投光器包括:光源(例如,图12A中的光源402),其被配置为投射图像;一个或更多个透镜(例如,图12A中的一个或更多个透镜),其与光源光学耦合以传输从光源投射的图像;以及一个或更多个致动器(例如,图12A中的致动器502),其与一个或更多个透镜机械地耦合,并被配置为移动与从支持调焦的投光器投射的光相对应的图像平面。
在一些实施例中,支持调焦的投光器包括:光源,其被配置成投射图像;以及一个或更多个透镜,其与光源光学耦合以传输从光源投射的图像,该一个或更多个透镜包括多焦点透镜(例如,被配置为相对于显示器的不同区域提供不同焦距的高速可调谐透镜)。
在一些实施例中,支持调焦的投光器包括:光源,其被配置成投射图像;一个或更多个空间光调制器(例如,图12C中的空间调制器1202),其与光源光学耦合,以修改从光源投射的图像;以及一个或更多个透镜,其与一个或更多个空间光调制器光学耦合,以传输被一个或更多个空间光调制器修改的图像。
在一些实施例中,支持调焦的投光器包括:光源,其被配置成投射图像;一个或更多个透镜,其与光源光学耦合,以传输从光源投射的图像;以及一个或更多个致动器(例如,图12B中的致动器502),其与光源机械地耦合,并被配置为移动光源,使得与从支持调焦的投光器投射的光相对应的图像平面被移动。
在一些实施例中,支持调焦的投光器包括从由电润湿透镜、液体透镜和液晶透镜构成的组中选择的透镜。
在一些实施例中,支持调焦的投光器包括:光源,其被配置成投射图像;限定孔的阻挡器(例如,图12E中的阻挡器1206),该阻挡器与光源光学耦合,以使由光源投射的图像透射通过该孔;以及一个或更多个聚焦元件,其被配置为使透射通过孔的图像聚焦。
在一些实施例中,该设备包括眼睛***(例如,图12A中的眼睛***408),该眼睛***被配置为确定佩戴者的眼睛的瞳孔的位置。
在一些实施例中,该设备包括第一眼睛***(例如,图12F中的眼睛***408-1),其被配置为确定佩戴者的第一只眼睛的瞳孔的位置;第二眼睛***(例如,图12F中的眼睛***408-2),其被配置为确定佩戴者的第二只眼睛的瞳孔的位置,该第二只眼睛不同于佩戴者的第一只眼睛;以及一个或更多个处理器,其被配置为基于佩戴者的第一只眼睛的瞳孔的位置和佩戴者的第二只眼睛的瞳孔的位置来确定聚散度。从支持调焦的投光器投射的光对应于基于佩戴者的眼睛的瞳孔的位置和所确定的聚散度而选择的图像平面(例如,对象1270的图像对应于基于所确定的聚散度而选择的图像平面)。
在一些实施例中,一个或更多个处理器被配置成基于佩戴者的眼睛的瞳孔的位置和所确定的聚散度来选择图像平面(例如,一个或更多个处理器识别眼睛正在注视的对象,并选择与眼睛正在注视的对象相对应的图像平面)。
根据一些实施例,使用头戴式显示设备来执行用于向佩戴者提供图像的方法,该头戴式显示设备包括支持调焦的投光器和光束转向器。该方法包括利用支持调焦的投光器投射光,以至少基于虚拟现实内容和/或增强现实内容来渲染图像。从支持调焦的投光器投射的光对应于至少部分地基于佩戴者的眼睛的瞳孔的位置而选择的图像平面。该方法还包括利用光束转向器,基于佩戴者的眼睛的瞳孔的位置来改变从支持调焦的投光器投射的光的路径。
在一些实施例中,支持调焦的投光器包括:光源,其被配置成投射图像;一个或更多个透镜,其与光源光学耦合,以传输从光源投射的图像;以及一个或更多个致动器,其与一个或更多个透镜机械地耦合,并被配置为移动与从支持调焦的投光器投射的光相对应的图像平面。该方法包括使该一个或更多个致动器在第一时间将图像平面移动到第一位置,并使该一个或更多个致动器在不同于第一时间的第二时间将图像平面移动到不同于第一位置的第二位置。
在一些实施例中,支持调焦的投光器包括:光源,其被配置成投射图像;以及一个或更多个透镜,其与光源光学耦合,以传输从光源投射的图像,该一个或更多个透镜包括多焦点透镜。该方法包括使多焦点透镜在第一时间将图像平面移动到第一位置,并使多焦点透镜在不同于第一时间的第二时间将图像平面移动到不同于第一位置的第二位置。
在一些实施例中,支持调焦的投光器包括:光源,其被配置成投射图像;一个或更多个空间光调制器,其与光源光学耦合,以修改从光源投射的图像;以及一个或更多个透镜,其与一个或更多个空间光调制器光学耦合,以传输被一个或更多个空间光调制器修改的图像。该方法包括使该一个或更多个空间光调制器在第一时间将图像平面移动到第一位置,并使该一个或更多个空间光调制器在不同于第一时间的第二时间将图像平面移动到不同于第一位置的第二位置。
在一些实施例中,支持调焦的投光器包括:光源,其被配置成投射图像;一个或更多个透镜,其与光源光学耦合,以传输从光源投射的图像;以及一个或更多个致动器,其与光源机械地耦合,并被配置为移动光源,使得与从支持调焦的投光器投射的光相对应的图像平面被移动。该方法包括使该一个或更多个致动器在第一时间将图像平面移动到第一位置,并使该一个或更多个空间光调制器在不同于第一时间的第二时间将图像平面移动到不同于第一位置的第二位置。
在一些实施例中,支持调焦的投光器包括从由电润湿透镜、液体透镜和液晶透镜构成的组中选择的可调谐透镜。该方法包括使可调谐透镜在第一时间将图像平面移动到第一位置,并使可调谐透镜在不同于第一时间的第二时间将图像平面移动到不同于第一位置的第二位置。
在一些实施例中,支持调焦的投光器包括:光源,其被配置成投射图像;限定孔的阻挡器,该阻挡器与光源光学耦合,以使由光源投射的图像传输通过该孔;以及一个或更多个聚焦元件,其被配置为使传输通过孔的图像聚焦。
在一些实施例中,该方法包括利用眼睛***确定佩戴者的眼睛的瞳孔的位置。
在一些实施例中,该方法包括:利用第一眼睛***确定佩戴者的第一只眼睛的瞳孔的位置;利用第二眼睛***确定佩戴者的第二只眼睛的瞳孔的位置,该第二只眼睛不同于佩戴者的第一只眼睛;以及利用一个或更多个处理器,基于佩戴者的第一只眼睛的瞳孔的位置和佩戴者的第二只眼睛的瞳孔的位置来确定聚散度。从支持调焦的投光器投射的光对应于基于佩戴者的眼睛的瞳孔的位置和所确定的聚散度而选择的图像平面。
在一些实施例中,该方法包括利用一个或更多个处理器,基于佩戴者的眼睛的瞳孔的位置和所确定的聚散度来选择图像平面。
尽管各个附图示出了特定部件或特定部件组相对于一只眼睛的操作,但是本领域普通技术人员将理解,可以相对于另一只眼睛或两只眼睛执行类似的操作。为简洁起见,本文不再重复这样的细节。
尽管各个附图中的一些附图以特定顺序示出了多个逻辑阶段(stage),但是不依赖于顺序的阶段可以被重新排序,并且其他阶段可以被组合或分解。虽然具体提及了某种重新排序或其他分组,但是对于本领域普通技术人员来说,其他的重新排序或分组将是显而易见的,因此本文呈现的排序和分组并不是替代方案的穷举性列表。此外,应该认识到,这些阶段可以用硬件、固件、软件或其任意组合来实现。
出于解释的目的,前面的描述已经参考具体实施例进行了描述。然而,上面的说明性讨论并不旨在穷举或将权利要求的范围限制到所公开的精确形式。鉴于上面的教导,许多修改和变化是可能的。选择实施例是为了最好地解释权利要求书的基本原理及其实际应用,从而使本领域的其他技术人员能够以适合于设想的特定用途的各种修改来最佳地使用实施例。
基于以下条款描述了本公开的一些实施例:
条款1.一种用于向佩戴者提供增强现实内容的头戴式显示设备,所述设备包括:
眼睛***,其被配置为确定所述佩戴者的眼睛的瞳孔的位置;
投光器,其被配置为投射光以至少基于所述增强现实内容来渲染图像;
光束转向器,其被配置为基于所述瞳孔的位置来改变来自所述投光器的光的方向;以及
组合器,其被配置为将来自所述投光器的光和来自所述头戴式显示设备外部的光组合,用于提供所渲染的图像和真实图像的重叠,所述真实图像对应于来自所述头戴式显示设备外部的光。
条款2.根据条款1所述的设备,其中,所述投光器被配置成将光投射到位于所述佩戴者的眼睛的瞳孔的平面上6mm×6mm正方形区域内的区域上。
条款3.根据条款1或2所述的设备,其中:所述投光器被配置成将光投射到具有至少3mm的特征尺寸的区域上。
条款4.根据条款1至3中的任一项所述的设备,其中,所述组合器不包括与波导耦合的光栅。
条款5.根据条款1至4中的任一项所述的设备,其中,所述投光器包括以下项中的一个或更多个:空间光调制器或扫描反射镜投射器。
条款6.根据条款1至5中的任一项所述的设备,其中,所述投光器与一个或更多个可调焦点透镜耦合。
条款7.根据条款1至6中的任一项所述的设备,其中,所述投光器与孔和一个或更多个透镜耦合。
条款8.根据条款1至7中的任一项所述的设备,其中,所述光束转向器包括一个或更多个致动器。
条款9.根据条款1至8中的任一项所述的设备,其中,所述组合器包括以下项中的一个或更多个:菲涅耳组合器、扁平组合器、椭球镜、一个或更多个可调谐波导或全息组合器。
条款10.根据条款1至9中的任一项所述的设备,其中,所述组合器被配置为反射来自所述投光器的光,并透射来自所述头戴式显示设备外部的光。
条款11.根据条款1至10中的任一项所述的设备,其中,所述眼睛***包括以下项中的一个或更多个:瞳孔图像***、视网膜反射***、深度传感器或闪光***。
条款12.根据条款1至11中的任一项所述的设备,其中,所述光束转向器与所述投光器集成在一起。
条款13.根据条款1至12中的任一项所述的设备,其中,所述光束转向器与所述光组合器集成在一起。
条款14.根据条款1至13中的任一项所述的设备,其中,所述眼睛***与所述投光器集成在一起。
条款15.一种使用头戴式显示设备向佩戴者提供增强现实内容的方法,所述头戴式显示设备包括眼睛***、投光器、光束转向器和组合器,所述方法包括:
利用所述眼睛***来确定所述佩戴者的眼睛的瞳孔的位置;
利用所述投光器投射光,以至少基于所述增强现实内容来渲染图像;
利用所述光束转向器,基于所述瞳孔的位置来改变来自所述投光器的光的方向;以及
利用所述组合器,将来自所述投光器的光和来自所述头戴式显示设备外部的光组合,用于提供所渲染的图像和真实图像的重叠,所述真实图像对应于来自所述头戴式显示设备外部的光。
条款16.根据条款15所述的方法,包括利用所述投光器将光投射到位于所述佩戴者的眼睛的瞳孔的平面上6mm×6mm正方形区域内的区域上。
条款17.根据条款15或16所述的方法,包括利用所述投光器将光投射到具有至少3mm的特征尺寸的区域上。
条款18.根据条款15至17中的任一项所述的方法,其中,所述组合器不包括与波导耦合的光栅。
条款19.根据条款15至18中的任一项所述的方法,其中,所述投光器包括一个或更多个可调焦点透镜。
条款20.根据条款15至19中的任一项所述的方法,其中,所述投光器包括孔和一个或更多个透镜。
条款21.一种用于使用头戴式显示设备向佩戴者提供图像的方法,所述头戴式显示设备包括投光器和光束移位器,所述方法包括:
利用所述投光器投射光,以至少基于虚拟现实内容和/或增强现实内容来渲染图像;以及
利用光束移位器,基于所述佩戴者的眼睛的瞳孔的位置来改变从所述投光器投射的光的路径。
条款22.根据条款21所述的方法,其中:
所述光束移位器与所述投光器机械地耦合;以及
改变来自所述投光器的光的路径包括利用所述光束移位器在不平行于所述投光器的光轴的方向上移动所述投光器。
条款23.根据条款22所述的方法,包括:
在第一时间在不平行于所述投光器的光轴的第一方向上移动所述投光器;以及
在第二时间在不平行于所述第一方向和所述投光器的光轴的第二方向上移动所述投光器。
条款24.根据条款21至23中的任一项所述的方法,其中:
所述头戴式显示设备包括反射器,所述反射器被配置成接收来自所述投光器的光,并将所述光导向所述佩戴者的眼睛的瞳孔;
所述光束移位器与所述反射器机械地耦合;以及
改变所述光的路径包括用所述光束移位器移动所述反射器。
条款25.根据条款24所述的方法,其中:
从所述投光器投射的光具有以第一尺寸和比所述第一尺寸短的第二尺寸为特征的横截面;以及
移动所述反射器包括使所述反射器绕第一轴倾斜而不使所述反射器绕不平行于所述第一轴的第二轴倾斜。
条款26.根据条款24或25所述的方法,其中,移动所述反射器包括在第一时间使所述反射器绕第一轴倾斜,并且在第二时间使所述反射器绕不平行于所述第一轴的第二轴倾斜。
条款27.根据条款21至26中的任一项所述的方法,包括利用与所述头戴式显示设备耦合的眼睛***来确定所述佩戴者的眼睛的瞳孔的位置。
条款28.一种用于向佩戴者提供图像的头戴式显示设备,所述设备包括:
投光器,其被配置为投射光以至少基于虚拟现实内容和/或增强现实内容来渲染图像;以及
光束移位器,其被配置为基于所述佩戴者的眼睛的瞳孔的位置来改变从所述投光器投射的光的路径。
条款29.根据条款28所述的设备,其中:
所述光束移位器与所述投光器机械地耦合;以及
所述光束移位器被配置为通过在不平行于所述投光器的光轴的方向上移动所述投光器来改变来自所述投光器的光的路径。
条款30.根据条款29所述的设备,其中,所述光束移位器被配置为:
在第一时间在不平行于所述投光器的光轴的第一方向上移动所述投光器;以及
在第二时间在不平行于所述第一方向和所述投光器的光轴的第二方向上移动所述投光器。
条款31.根据条款29或30所述的设备,其中,所述光束移位器被配置为在平行于所述投光器的光轴的方向上移动所述投光器。
条款32.根据条款29至31中的任一项所述的设备,其中:
所述头戴式显示设备包括与所述投光器光学耦合的透镜;以及
所述设备还包括光束移位器,光束移位器被配置为在包括与所述投光器的光轴平行的分量的方向上移动所述透镜。
条款33.根据条款29至32中的任一项所述的设备,包括:
全息组合器,其被配置为接收从所述投光器投射的光,并将所述光导向所述佩戴者的眼睛的瞳孔,其中:
所述全息组合器包括位于透明衬底上的全息光学元件;以及
所述全息光学元件包括:
第一部分,其被配置为沿第一方向引导来自所述投光器的照射在所述全息光学元件的所述第一部分上的光;
第二部分,其被配置为沿不同于所述第一方向的第二方向引导来自所述投光器的照射在所述全息光学元件的所述第二部分上的光;以及
第三部分,其被配置为沿不同于所述第一方向、所述第二方向和所述第三方向的第三方向引导来自所述投光器的照射在所述全息光学元件的所述第三部分上的光。
条款34.根据条款28至33中的任一项所述的设备,其中:
所述头戴式显示设备包括反射器,所述反射器被配置成接收来自所述投光器的光,并将所述光导向所述佩戴者的眼睛的瞳孔;
所述光束移位器与所述反射器机械地耦合;以及
所述光束移位器被配置成通过移动所述反射器来改变所述光的路径。
条款35.根据条款34所述的设备,其中:
从所述投光器投射的光具有以第一尺寸和比所述第一尺寸短的第二尺寸为特征的横截面;以及
所述光束移位器被配置为通过使所述反射器绕第一轴倾斜而不使所述反射器绕不平行于所述第一轴的第二轴倾斜来移动所述反射器。
条款36.根据条款34或35所述的设备,其中,所述光束移位器被配置为通过在第一时间使所述反射器绕第一轴倾斜并且在第二时间使所述反射器绕不平行于所述第一轴的第二轴倾斜来移动所述反射器。
条款37.根据条款28至36中的任一项所述的设备,其中,所述头戴式显示设备与眼睛***耦合,所述眼睛***被配置为确定所述佩戴者的眼睛的瞳孔的位置。
条款38.根据条款28至37中的任一项所述的设备,其中:
所述光束移位器包括可调谐波导;以及
所述可调谐波导包括:
波导,其被配置为接收从所述投光器投射的光;以及
多个单独可寻址的控制区域,其沿着所述波导与所述波导相邻定位,所述多个单独可寻址的控制区域中的相应区域被配置成在第一操作条件下具有第一光学厚度,并且在不同于所述第一操作条件的第二操作条件下具有不同于所述第一光学厚度的第二光学厚度,
其中,所述可调谐波导被配置成:
当所述相应区域具有所述第一光学厚度时,在对应于所述相应区域的位置处使接收到的光传播通过所述波导;以及
当所述相应区域具有所述第二光学厚度时,在对应于所述相应区域的位置处从所述波导射出接收到的光的至少一部分。
条款39.根据条款28至38中的任一项所述的设备,其中:
所述光束移位器包括全息组合器;以及
所述全息组合器包括:
波导,其被配置为接收从所述投光器投射的光;
位于所述波导附近的一个或更多个全息光学元件;以及
与所述一个或更多个全息光学元件相邻定位的一个或更多个可调谐棱镜。
条款40.根据条款39所述的设备,其中,所述一个或更多个可调谐棱镜包括以下项中的一个或更多个:液体棱镜或液晶棱镜。
条款41.一种用于向佩戴者提供增强现实内容的头戴式显示设备,所述设备包括:
第一投光器,其被配置为投射光以至少基于所述增强现实内容来渲染图像;以及
第一菲涅耳组合器,其被配置为将来自所述第一投光器的光和来自所述头戴式显示设备外部的光组合,用于提供所渲染的图像和真实图像的重叠,所述真实图像对应于来自所述头戴式显示设备外部的光。
条款42.根据条款41所述的设备,其中:
所述第一菲涅耳组合器包括具有第一表面和与所述第一表面相反的第二表面的第一光学透明衬底;以及
所述第一菲涅耳组合器在所述第二表面上包括多个菲涅耳结构。
条款43.根据条款42所述的设备,其中,所述第一菲涅耳组合器在所述第一表面上没有菲涅耳结构。
条款44.根据条款42或43所述的设备,其中,所述第一菲涅耳组合器被配置成反射来自所述第一投光器的光,并透射来自所述头戴式显示设备外部的光。
条款45.根据条款44所述的设备,其中,所述第一投光器被定位成远离来自所述头戴式显示设备外部的透射通过所述第一菲涅耳组合器的光的路径。
条款46.根据条款44或45所述的设备,其中,所述第一投光器远离所述第一菲涅耳组合器的光轴定位。
条款47.根据条款44至46中的任一项所述的设备,其中,所述第一菲涅耳组合器包括在所述第二表面的至少一部分上的一个或更多个波长选择性光学涂层。
条款48.根据条款47所述的设备,其中,所述一个或更多个波长选择性光学涂层包括至少一个光学涂层,所述至少一个光学涂层对于第一颜色的光具有第一折射率,并且对于不同于所述第一颜色的第二颜色的光具有不同于所述第一折射率的第二折射率,使得所述第一菲涅耳组合器反射从所述第一投光器投射的所述第一颜色的光,并且放弃反射从所述第一投光器投射的所述第二颜色的光。
条款49.根据条款22至48中的任一项所述的设备,其中:
所述第一菲涅耳组合器包括具有第三表面和与所述第三表面相反的第四表面的第二光学透明衬底;以及
所述第一菲涅耳组合器在所述第三表面上包括多个菲涅耳结构。
条款50.根据条款49所述的设备,其中,所述第一菲涅耳组合器在所述第四表面上没有菲涅耳结构。
条款51.根据条款49或50所述的设备,其中,所述第三表面上的多个菲涅耳结构被配置成与所述第二表面上的多个菲涅耳结构配合。
条款52.根据条款49至51中的任一项所述的设备,其中:
所述第一光学透明衬底和所述第二光学透明衬底由具有第一折射率的第一材料制成;
所述第二表面上的多个菲涅耳结构与所述第三表面上的多个菲涅耳结构分离;以及
所述第二表面上的多个菲涅耳结构和所述第三表面上的多个菲涅耳结构之间的间隔用具有小于所述第一折射率的第二折射率的第二材料填充。
条款53.根据条款49至52中的任一项所述的设备,其中,所述第一菲涅耳组合器被配置为通过所述第一光学透明衬底内的全内反射来反射来自所述第一投光器的光。
条款54.根据条款53所述的设备,其中,所述第一菲涅耳组合器被配置为使来自所述头戴式显示设备外部的光透射通过所述第一光学透明衬底、在所述第二表面上的多个菲涅耳结构和所述第三表面上的多个菲涅耳结构之间的间隔中的第二材料以及所述第二光学透明衬底。
条款55.根据条款49至54中的任一项所述的设备,还包括与所述第一菲涅耳组合器的所述第一表面光学耦合的一个或更多个棱镜。
条款56.根据条款49至55中的任一项所述的设备,还包括与所述第一菲涅耳组合器的所述第四表面光学耦合的一个或更多个棱镜。
条款57.根据条款41至56中的任一项所述的方法,还包括:
眼睛***,其被配置为确定所述佩戴者的眼睛的瞳孔的位置;以及
光束转向器,其被配置为基于所述瞳孔的位置来改变来自所述第一投光器的光的方向。
条款58.根据条款41至57中的任一项所述的设备,其中:
所述第一投光器被配置成投射第一颜色的光;
所述设备还包括:
第二投光器,其被配置为投射第二颜色的光以至少基于所述增强现实内容来渲染图像,所述第二颜色不同于所述第一颜色;以及
第二菲涅耳组合器,其被配置为将来自所述第二投光器的光和来自所述头戴式显示设备外部的光组合,用于提供所渲染的图像和所述真实图像的重叠。
条款59.根据条款58所述的设备,还包括:
第三投光器,其被配置为投射第三颜色的光以至少基于所述增强现实内容来渲染图像,所述第三颜色不同于所述第一颜色和所述第二颜色;以及
第三菲涅耳组合器,其被配置为将来自所述第三投光器的光和来自所述头戴式显示设备外部的光组合,用于提供所渲染的图像和所述真实图像的重叠。
条款60.一种使用头戴式显示设备向佩戴者提供增强现实内容的方法,所述头戴式显示设备包括第一投光器和第一菲涅耳组合器,所述方法包括:
利用所述第一投光器投射光,以至少基于所述增强现实内容来渲染图像;以及
利用所述第一菲涅耳组合器来将来自所述第一投光器的光和来自所述头戴式显示设备外部的光组合,用于提供所渲染的图像和真实图像的重叠,所述真实图像对应于来自所述头戴式显示设备外部的光。
条款61.一种用于向佩戴者提供增强现实内容的头戴式显示设备,所述设备包括:
投光器,其被配置为投射具有第一偏振的光以至少基于所述增强现实内容来渲染图像;以及
扁平组合器,其被配置为将来自所述投光器的光和来自所述头戴式显示设备外部的光组合,用于提供所渲染的图像和真实图像的重叠,所述真实图像对应于来自所述头戴式显示设备外部的光,所述扁平组合器被配置为将来自所述投光器的光导向所述佩戴者的眼睛的瞳孔。
条款62.根据条款61所述的设备,其中,所述扁平组合器包括:
第一部分反射器;
第一偏振器;以及
第二部分反射器。
条款63.根据条款62所述的设备,其中:
所述第一偏振器被配置成接收具有所述第一偏振的光并将具有所述第一偏振的光转换成具有第二偏振的光,并接收具有第三偏振的光并将具有所述第三偏振的光转换成具有第四偏振的光;
所述第一部分反射器被配置为透射具有所述第一偏振的光的至少一部分,并反射具有所述第四偏振的光的至少一部分;以及
所述第二部分反射器被配置成反射具有所述第二偏振的光的至少一部分,并反射具有所述第三偏振的光的至少一部分。
条款64.根据条款63所述的设备,其中,所述第一偏振器是四分之一波片。
条款65.根据条款63或64所述的设备,其中:
所述第一部分反射器被配置为透射被导向所述第一部分反射器的光的一部分,并且反射被导向所述第一部分反射器的光的一部分,而与被导向所述第一部分反射器的光的偏振无关;以及
所述第二部分反射器被配置为透射被导向所述第二部分反射器的光的一部分,并反射被导向所述第二部分反射器的光的一部分,而与被导向所述第二部分反射器的光的偏振无关。
条款66.根据条款63至65中的任一项所述的设备,其中:
所述第一部分反射器是第一偏振相关反射镜,其被配置为透射具有所述第一偏振的光并反射具有所述第四偏振的光;以及
所述第二部分反射器是第二偏振相关反射镜,其被配置为反射具有所述第二偏振的光并透射具有所述第一偏振的光。
条款67.根据条款63至66中的任一项所述的设备,其中:
具有所述第一偏振的光具有第一波长;以及
所述第二部分反射器是波长相关反射器,其被配置为反射具有所述第一波长的所述第一偏振的光,并透射具有不同于所述第一波长的第二波长的光。
条款68.根据条款63至67中的任一项所述的设备,其中:
具有所述第一偏振的光具有第一波长、不同于所述第一波长的第二波长以及不同于所述第一波长和所述第二波长的第三波长;以及
所述第二部分反射器是波长相关反射器,其被配置为反射具有所述第一偏振的在所述第一波长、所述第二波长和所述第三波长处的光,并透射具有不同于所述第一波长、所述第二波长和所述第三波长的第四波长的光。
条款69.根据条款62至68中的任一项所述的设备,其中:
所述第一偏振是定向在第一方向上的线偏振,所述第二偏振是第一圆偏振,所述第三偏振是不同于所述第一圆偏振的第二圆偏振,以及所述第四偏振是定向在不同于所述第一方向的第二方向上的线偏振。
条款70.根据条款62至69中的任一项所述的设备,其中,所述第二部分反射器是弯曲的。
条款71.根据条款70所述的设备,其中,所述第二部分反射器包括抛物面反射表面。
条款72.根据条款71所述的设备,其中,所述第二部分反射器被配置为通过修改所述抛物面部分反射镜的位置和/或定向来基于所述佩戴者的眼睛的瞳孔的位置改变由所述投光器投射的光的方向。
条款73.根据条款62至72中的任一项所述的设备,其中,所述扁平组合器被配置为允许来自所述头戴式显示设备外部的光的至少一部分透射通过所述扁平组合器。
条款74.根据条款73中的任一项所述的设备,其中,所述投光器被定位成远离来自所述头戴式显示设备外部的透射通过所述扁平组合器的光的路径。
条款75.根据条款73或74中的任一项所述的设备,其中,所述投光器被定位成远离所述扁平组合器的光轴。
条款76.根据条款61至75中的任一项所述的设备,还包括光束转向器,所述光束转向器被配置为基于所述佩戴者的眼睛的瞳孔的位置来改变来自所述投光器的光的方向。
条款77.一种使用头戴式显示设备向佩戴者提供增强现实内容的方法,所述头戴式显示设备包括投光器和扁平组合器,所述方法包括:
利用所述投光器投射具有第一偏振的光,以至少基于所述增强现实内容来渲染图像;以及
利用所述扁平组合器,将来自所述投光器的光和来自所述头戴式显示设备外部的光组合,用于提供所渲染的图像和真实图像的重叠,所述真实图像对应于来自所述头戴式显示设备外部的光,所述扁平组合器被配置成将来自所述投光器的光导向所述佩戴者的眼睛的瞳孔。
条款78.根据条款77所述的方法,其中:
所述扁平组合器包括第一部分反射器、第一偏振器和第二部分反射器;以及
所述方法包括:
使具有所述第一偏振的光的至少一部分透射通过所述第一部分反射器;
在第一时间使来自所述第一部分反射器的具有所述第一偏振的光透射通过所述第一偏振器;以及
用所述第二部分反射器将第一次透射通过所述第二偏振的光的至少一部分朝向所述第一偏振器反射;
在第二时间使由所述第二部分反射镜反射的光透射通过所述第一偏振器;
用所述第一部分反射器将在所述第二时间透射通过所述第一偏振器的光的至少一部分朝向所述第一偏振器反射;
在第三时间使由所述第一部分反射器反射的光透射通过所述第一偏振器;
用所述第二部分反射器反射在所述第三时间透射通过所述第一偏振器的光的至少一部分;
在第四时间使由所述第二部分反射器反射的光透射通过所述第一偏振器;以及
使在所述第四时间透射通过所述第一偏振器的光的至少一部分朝向所述佩戴者的眼睛的瞳孔透射通过所述第一部分反射器。
条款79.根据条款78所述的方法,包括:
使来自所述头戴式显示设备外部的光的至少一部分透射通过所述扁平组合器,
其中,所述第一偏振是定向在第一方向上的线偏振,所述第二偏振是第一圆偏振,所述第三偏振是不同于所述第一圆偏振的第二圆偏振,以及所述第四偏振是定向在不同于所述第一方向的第二方向上的线偏振。
条款80.根据条款77至79中的任一项所述的方法,其中:
所述第二部分反射器是抛物面部分反射镜;以及
所述方法包括通过修改所述偏振相关反射镜的位置或定向,来利用所述抛物面部分反射镜,基于所述佩戴者的眼睛的瞳孔的位置来改变由所述投光器投射的光的方向。
条款81.一种用于向佩戴者提供增强现实内容的头戴式显示设备,所述设备包括:
投光器,其被配置为投射光以至少基于所述增强现实内容来渲染图像;
眼睛***,其被配置为确定所述佩戴者的眼睛的瞳孔的位置;以及
光束转向器,其被配置为基于所述瞳孔的位置来改变来自所述投光器的光的方向。
条款82.根据条款81所述的设备,其中:
所述眼睛***与所述投光器集成在一起,以形成所述眼睛***和所述投光器的集成组合件;以及
所述光束转向器与所述眼睛***和所述投光器的所述集成组合件光学耦合。
条款83.根据条款82所述的设备,还包括与所述眼睛***和所述投光器的所述集成组合件光学耦合的一个或更多个透镜,其中,由所述投光器投射的光和由红外检测器检测到的从所述佩戴者的眼睛反射的光都被所述一个或更多个透镜透射。
条款84.根据条款83所述的设备,其中,所述一个或更多个透镜是可调焦点透镜。
条款85.根据条款81至84中的任一项所述的设备,还包括组合器,所述组合器被配置为将来自所述投光器的光和来自所述头戴式显示设备外部的光组合,用于提供所渲染的图像和真实图像的重叠,所述真实图像对应于来自所述头戴式显示设备外部的光。
条款86.根据条款85所述的设备,其中,所述组合器与所述眼睛***和所述投光器的所述集成组合件光学耦合。
条款87.根据条款81至86中的任一项所述的设备,其中:
所述投光器被配置成将光投射到位于所述佩戴者的眼睛的瞳孔的平面上6mm×6mm正方形区域内的区域上;以及
来自所述投光器的光的方向由所述光束转向器基于由所述眼睛***确定的瞳孔的位置来调整。
条款88.根据条款81至87中的任一项所述的设备,其中,所述眼睛***包括被配置成获取所述佩戴者的眼睛的瞳孔的图像的相机。
条款89.根据条款81至88中的任一项所述的设备,其中:
所述投光器包括红外光源,所述红外光源被配置为朝向所述佩戴者的眼睛的视网膜的至少一部分投射红外光;以及
所述眼睛***包括红外检测器,红外检测器被配置为检测来自所述佩戴者的眼睛的视网膜的红外光的反射。
条款90.根据条款81至89中的任一项所述的设备,其中,所述眼睛***包括传感器,所述传感器被配置为确定到所述佩戴者的眼睛上的表面的距离,以确定所述佩戴者的眼睛的瞳孔的位置。
条款91.根据条款90所述的设备,其中,所述传感器被配置为通过扫描包括所述佩戴者的眼睛的瞳孔的预定义区域并获得所述佩戴者的眼睛的表面的外形轮廓来确定所述佩戴者的眼睛的瞳孔的位置。
条款92.根据条款81至91中的任一项所述的设备,其中:
所述投光器被配置成向所述佩戴者的眼睛投射图案化光;以及
所述眼睛***是被配置为捕获在所述佩戴者的眼睛的表面上反射的所述图案化光的反射图像的相机。
条款93.根据条款81至92中的任一项所述的设备,其中:
所述投光器被配置为:
向所述佩戴者的眼睛提供光;以及
在所述佩戴者的眼睛的表面上产生反射,其中,所述光的至少一部分在所述佩戴者的眼睛的角膜的***表面上产生第一反射,并且所述光的至少一部分在所述佩戴者的眼睛的晶状体的表面上产生第二反射;以及
所述眼睛***被配置为检测所述第一反射的第一强度和所述第二反射的第二强度,并基于所述第一强度和所述第二强度来确定所述佩戴者的眼睛的瞳孔的位置。
条款94.一种用于使用头戴式显示设备向佩戴者提供增强现实内容的方法,所述头戴式显示设备包括眼睛***、投光器和光束转向器,所述方法包括:
利用所述眼睛***来确定所述佩戴者的眼睛的瞳孔的位置;
利用所述投光器投射光,以至少基于所述增强现实内容来渲染图像;以及
利用所述光束转向器,基于所述瞳孔的位置来改变来自所述投光器的光的方向。
条款95.根据条款94所述的方法,其中,利用所述眼睛***来确定所述佩戴者的眼睛的瞳孔的位置包括获得所述佩戴者的眼睛的瞳孔的图像。
条款96.根据条款94或95所述的方法,其中,利用所述眼睛***来确定所述佩戴者的眼睛的瞳孔的位置包括向所述佩戴者的眼睛提供红外光,并通过红外检测器检测从所述佩戴者的眼睛的视网膜反射的光。
条款97.根据条款94至96中的任一项所述的方法,其中,利用所述眼睛***来确定所述佩戴者的眼睛的瞳孔的位置包括确定到所述佩戴者的眼睛上的表面的距离。
条款98.根据条款97所述的方法,其中,确定到所述佩戴者的眼睛上的表面的距离包括用传感器扫描包括所述佩戴者的眼睛的瞳孔的预定义区域,并获得所述佩戴者的眼睛的表面的外形轮廓。
条款99.根据条款94至98中的任一项所述的方法,其中,利用所述眼睛***确定所述佩戴者的眼睛的瞳孔的位置包括:
利用所述投光器向所述佩戴者的眼睛投射图案化光;以及
利用相机捕获在所述佩戴者的眼睛的表面上反射的所述图案化光的反射图像。
条款100.根据条款94至99中的任一项所述的方法,其中,利用所述眼睛***确定所述佩戴者的眼睛的瞳孔的位置包括:
利用所述投光器向所述佩戴者的眼睛提供光;
在所述佩戴者的眼睛的表面上产生反射,其中,所述光的至少一部分在所述佩戴者的眼睛的角膜的***表面上产生第一反射,并且所述光的至少一部分在所述佩戴者的眼睛的晶状体的表面上产生第二反射;以及
利用所述眼睛***检测所述第一反射的第一强度和所述第二反射的第二强度;以及
基于所述第一强度和所述第二强度,确定所述佩戴者的眼睛的瞳孔的位置。
条款101.一种用于使用头戴式显示设备向佩戴者提供增强现实内容的方法,所述头戴式显示设备包括眼睛跟踪传感器、投光器、光束转向器和组合器,所述方法包括:
利用所述眼睛跟踪传感器来确定所述佩戴者的眼睛的瞳孔的位置;
利用所述投光器投射光,以至少基于所述增强现实内容来渲染图像;以及
利用所述光束转向器,基于所述瞳孔的位置来改变来自所述投光器的光的方向,其中:
来自所述光束转向器的光被导向所述组合器;以及
来自所述光束转向器的光和来自所述头戴式显示设备外部的光被所述组合器组合,以提供渲染的图像和真实图像的重叠,所述真实图像对应于来自所述头戴式显示设备外部的光。
条款102.根据条款101所述的方法,其中:
所述眼睛跟踪传感器包括光源和检测器,所述光源被配置用于提供眼睛跟踪光,所述检测器被配置用于接收从所述眼睛反射的眼睛跟踪光;以及
利用所述眼睛跟踪传感器来确定所述佩戴者的眼睛的瞳孔的位置包括:
从所述光源朝向所述眼睛提供所述眼睛跟踪光;
利用所述检测器检测从所述眼睛反射的眼睛跟踪光;
基于由来自所述光源的所述眼睛跟踪光和检测到的眼睛跟踪光表示的定时信息,来确定从所述眼睛跟踪传感器到所述眼睛的距离信息;以及
基于所述距离信息来确定所述佩戴者的眼睛的瞳孔的位置。
条款103.根据条款102所述的方法,包括基于第一时间和第二时间确定所述定时信息,所述第一时间对应于从所述光源朝向所述眼睛提供所述眼睛跟踪光的时间,所述第二时间对应于所述检测器检测到从所述眼睛反射的眼睛跟踪光的时间。
条款104.根据条款103所述的方法,包括利用雪崩光电二极管确定所述第二时间。
条款105.根据条款101至104中的任一项所述的方法,其中:
所述眼睛跟踪传感器包括光源和检测器,所述光源被配置用于提供眼睛跟踪光,所述检测器被配置用于至少接收从所述眼睛反射的眼睛跟踪光;以及
利用所述眼睛跟踪传感器来确定所述佩戴者的眼睛的瞳孔的位置包括:
从所述光源朝向所述眼睛提供所述眼睛跟踪光;以及
基于由来自所述光源的所述眼睛跟踪光和从所述眼睛反射的眼睛跟踪光表示的相位信息来确定所述佩戴者的眼睛的瞳孔的位置。
条款106.根据条款105所述的方法,其中,确定由来自所述光源的所述眼睛跟踪光和从所述眼睛反射的眼睛跟踪光表示的相位信息包括确定来自所述光源的所述眼睛跟踪光和从所述眼睛反射的眼睛跟踪光之间的相位差。
条款107.根据条款101至106中的任一项所述的方法,其中,所述眼睛跟踪传感器是低分辨率图像传感器或单像素传感器。
条款108.根据条款101至107中的任一项所述的方法,其中:
所述眼睛跟踪传感器包括光源和检测器,所述光源被配置用于提供眼睛跟踪光,所述检测器被配置用于接收从所述眼睛反射的眼睛跟踪光;以及
利用所述眼睛跟踪传感器来确定所述佩戴者的眼睛的瞳孔的位置包括:
从所述光源朝向所述眼睛提供所述眼睛跟踪光;
利用所述检测器检测从所述眼睛反射的眼睛跟踪光;以及
基于来自所述光源的所述眼睛跟踪光和从所述眼睛反射的眼睛跟踪光之间的偏振差异来确定所述佩戴者的眼睛的瞳孔的位置。
条款109.根据条款108所述的方法,其中:
朝向所述眼睛提供的所述眼睛跟踪光是偏振的;以及
所述方法包括使从所述眼睛反射的眼睛跟踪光透射通过一个或更多个偏振元件。
条款110.根据条款101至109中的任一项所述的方法,其中,利用所述眼睛跟踪传感器确定所述佩戴者的眼睛的瞳孔的位置包括确定所述眼睛的虹膜的位置。
条款111.一种用于向佩戴者提供增强现实内容的头戴式显示设备,所述设备包括:
眼睛跟踪传感器,其被配置为确定所述佩戴者的眼睛的瞳孔的位置;
投光器,其被配置为投射光以至少基于所述增强现实内容来渲染图像;
光束转向器,其被配置为基于所述瞳孔的位置来改变来自所述投光器的光的方向;以及
组合器,其被配置为将来自所述投光器的光和来自所述头戴式显示设备外部的光组合,用于提供所渲染的图像和真实图像的重叠,所述真实图像对应于来自所述头戴式显示设备外部的光。
条款112.根据条款111所述的设备,其中:
所述眼睛跟踪传感器包括:
光源,其被配置为朝向所述眼睛提供所述眼睛跟踪光;以及
检测器,其被配置为接收从所述眼睛反射的眼睛跟踪光;
所述设备被配置为基于由来自所述光源的所述眼睛跟踪光和检测到的眼睛跟踪光表示的定时信息,来确定从所述眼睛跟踪传感器到所述眼睛的距离信息;以及
所述设备被配置为基于所述距离信息来确定所述佩戴者的眼睛的瞳孔的位置。
条款113.根据条款112所述的设备,其中:
所述设备被配置为基于第一时间和第二时间确定所述定时信息,所述第一时间对应于从所述光源朝向所述眼睛提供所述眼睛跟踪光的时间,所述第二时间对应于所述检测器检测到从所述眼睛反射的眼睛跟踪光的时间。
条款114.根据条款113所述的设备,其中:
所述眼睛跟踪传感器包括被配置为确定所述第二时间的雪崩光电二极管。
条款115.根据条款111至114中的任一项所述的设备,其中:
所述眼睛跟踪传感器包括:
光源,其被配置为朝向所述眼睛提供所述眼睛跟踪光;以及
检测器,其被配置为接收从所述眼睛反射的眼睛跟踪光;以及
所述设备被配置为基于由来自所述光源的所述眼睛跟踪光和从所述眼睛反射的眼睛跟踪光表示的相位信息来确定所述佩戴者的眼睛的瞳孔的位置。
条款116.根据条款115所述的设备,其中,所述设备被配置为确定由来自所述光源的所述眼睛跟踪光和从所述眼睛反射的眼睛跟踪光表示的相位信息包括确定来自所述光源的所述眼睛跟踪光和从所述眼睛反射的眼睛跟踪光之间的相位差。
条款117.根据条款111至116中的任一项所述的设备,其中,所述眼睛跟踪传感器是低分辨率图像传感器或单像素传感器。
条款118.根据条款111至117中的任一项所述的设备,其中,所述眼睛跟踪传感器包括:
光源,其被配置为朝向所述眼睛提供眼睛跟踪光;以及
检测器,其被配置为接收从所述眼睛反射的眼睛跟踪光;以及
所述设备被配置为基于来自所述光源的所述眼睛跟踪光和从所述眼睛反射的眼睛跟踪光之间的偏振差异来确定所述佩戴者的眼睛的瞳孔的位置。
条款119.根据条款118所述的设备,包括一个或更多个偏振元件,所述一个或更多个偏振元件被配置用于透射从所述眼睛反射的眼睛跟踪光,其中,朝向所述眼睛提供的所述眼睛跟踪光是偏振的。
条款120.根据条款119所述的设备,包括被配置用于透射来自所述光源的所述眼睛跟踪光的一个或更多个偏振元件。
条款121.一种用于向佩戴者提供图像的头戴式显示设备,所述设备包括:
支持调焦的投光器,其被配置为投射光以至少基于虚拟现实内容和/或增强现实内容来渲染图像,其中,从所述支持调焦的投光器投射的光对应于至少部分地基于所述佩戴者的眼睛的瞳孔的位置而选择的图像平面;以及
光束转向器,其被配置为基于所述佩戴者的眼睛的瞳孔的位置来改变从所述支持调焦的投光器投射的光的路径。
条款122.根据条款121所述的设备,其中,所述支持调焦的投光器包括:
光源,其被配置为投射图像;
一个或更多个透镜,其与所述光源光学耦合,以传输从所述光源投射的图像;以及
一个或更多个致动器,其与所述一个或更多个透镜机械地耦合,并被配置为移动与从所述支持调焦的投光器投射的光相对应的所述图像平面。
条款123.根据条款121或122所述的设备,其中,所述支持调焦的投光器包括:
光源,其被配置为投射图像;以及
一个或更多个透镜,其与所述光源光学耦合,以传输从所述光源投射的图像,所述一个或更多个透镜包括多焦点透镜。
条款124.根据条款121至123中的任一项所述的设备,其中,所述支持调焦的投光器包括:
光源,其被配置为投射图像;
一个或更多个空间光调制器,其与所述光源光学耦合,以修改从所述光源投射的图像;以及
一个或更多个透镜,其与所述一个或更多个空间光调制器光学耦合,以传输被所述一个或更多个空间光调制器修改的图像。
条款125.根据条款121至124中的任一项所述的设备,其中,所述支持调焦的投光器包括:
光源,其被配置为投射图像;
一个或更多个透镜,其与所述光源光学耦合,以传输从所述光源投射的图像;以及
一个或更多个致动器,其与所述光源机械地耦合,并且被配置为移动所述光源,使得与从所述支持调焦的投光器投射的光相对应的所述图像平面被移动。
条款126.根据条款121至125中的任一项所述的设备,其中,所述支持调焦的投光器包括从由电润湿透镜、液体透镜和液晶透镜构成的组中选择的透镜。
条款127.根据条款121至126中的任一项所述的设备,其中,所述支持调焦的投光器包括:
光源,其被配置为投射图像;
限定孔的阻挡器,所述阻挡器与所述光源光学耦合,以使由所述光源投射的图像传输通过所述孔;以及
一个或更多个聚焦元件,其被配置为使传输通过所述孔的图像聚焦。
条款128.根据条款121至127中的任一项所述的设备,包括眼睛***,所述眼睛***被配置为确定所述佩戴者的眼睛的瞳孔的位置。
条款129.根据条款121至128中的任一项所述的设备,包括:
第一眼睛***,其被配置为确定所述佩戴者的第一只眼睛的瞳孔的位置;
第二眼睛***,其被配置为确定所述佩戴者的第二只眼睛的瞳孔的位置,所述佩戴者的第二只眼睛不同于所述佩戴者的第一只眼睛;以及
一个或更多个处理器,其被配置为基于所述佩戴者的第一只眼睛的瞳孔的位置和所述佩戴者的第二只眼睛的瞳孔的位置来确定聚散度,其中,从所述支持调焦的投光器投射的光对应于基于所述佩戴者的眼睛的瞳孔的位置和所确定的聚散度而选择的图像平面。
条款130.根据条款129所述的设备,其中,所述一个或更多个处理器被配置为基于所述佩戴者的眼睛的瞳孔的位置和所确定的聚散度来选择所述图像平面。
条款131.一种用于使用头戴式显示设备向佩戴者提供图像的方法,所述头戴式显示设备包括支持调焦的投光器和光束转向器,所述方法包括:
利用所述支持调焦的投光器,投射光以至少基于虚拟现实内容和/或增强现实内容来渲染图像,其中,从所述支持调焦的投光器投射的光对应于至少部分地基于所述佩戴者的眼睛的瞳孔的位置而选择的图像平面;以及
利用所述光束转向器,基于所述佩戴者的眼睛的瞳孔的位置来改变从所述支持调焦的投光器投射的光的路径。
条款132.根据条款131所述的方法,其中:
所述支持调焦的投光器包括:
光源,其被配置为投射图像;
一个或更多个透镜,其与所述光源光学耦合,以传输从所述光源投射的图像;以及
一个或更多个致动器,其与所述一个或更多个透镜机械地耦合,并被配置为移动与从所述支持调焦的投光器投射的光相对应的所述图像平面;以及
所述方法包括使所述一个或更多个致动器在第一时间将所述图像平面移动到第一位置,并使所述一个或更多个致动器在不同于所述第一时间的第二时间将所述图像平面移动到不同于所述第一位置的第二位置。
条款133.根据条款131或132所述的方法,其中:
所述支持调焦的投光器包括:
光源,其被配置为投射图像;以及
一个或更多个透镜,其与所述光源光学耦合,以传输从所述光源投射的图像,所述一个或更多个透镜包括多焦点透镜;以及
所述方法包括使所述多焦点透镜在第一时间将所述图像平面移动到第一位置,并使所述多焦点透镜在不同于所述第一时间的第二时间将所述图像平面移动到不同于所述第一位置的第二位置。
条款134.根据条款131至133中的任一项所述的方法,其中:
所述支持调焦的投光器包括:
光源,其被配置为投射图像;
一个或更多个空间光调制器,其与所述光源光学耦合,以修改从所述光源投射的图像;以及
一个或更多个透镜,其与所述一个或更多个空间光调制器光学耦合,以传输被所述一个或更多个空间光调制器修改的图像;以及
所述方法包括使所述一个或更多个空间光调制器在第一时间将所述图像平面移动到第一位置,并使所述一个或更多个空间光调制器在不同于所述第一时间的第二时间将所述图像平面移动到不同于所述第一位置的第二位置。
条款135.根据条款131至134中的任一项所述的方法,其中:
所述支持调焦的投光器包括:
光源,其被配置为投射图像;
一个或更多个透镜,其与所述光源光学耦合,以传输从所述光源投射的图像;以及
一个或更多个致动器,其与所述光源机械地耦合,并且被配置为移动所述光源,使得与从所述支持调焦的投光器投射的光相对应的所述图像平面被移动;以及
所述方法包括使所述一个或更多个致动器在第一时间将所述图像平面移动到第一位置,并使所述一个或更多个空间光调制器在不同于所述第一时间的第二时间将所述图像平面移动到不同于所述第一位置的第二位置。
条款136.根据条款131至135中的任一项所述的方法,其中:
所述支持调焦的投光器包括从由电润湿透镜、液体透镜和液晶透镜构成的组中选择的可调谐透镜;以及
所述方法包括使所述可调谐透镜在第一时间将所述图像平面移动到第一位置,并使所述可调谐透镜在不同于所述第一时间的第二时间将所述图像平面移动到不同于所述第一位置的第二位置。
条款137.根据条款131至136中的任一项所述的方法,其中,所述支持调焦的投光器包括:
光源,其被配置为投射图像;
限定孔的阻挡器,所述阻挡器与所述光源光学耦合,以使由所述光源投射的图像传输通过所述孔;以及
一个或更多个聚焦元件,其被配置为使传输通过所述孔的图像聚焦。
条款138.根据条款131至137中的任一项所述的方法,包括利用眼睛***来确定所述佩戴者的眼睛的瞳孔的位置。
条款139.根据条款131至138中的任一项所述的方法,包括:
利用第一眼睛***来确定所述佩戴者的第一只眼睛的瞳孔的位置;
利用第二眼睛***来确定所述佩戴者的第二只眼睛的瞳孔的位置,所述佩戴者的第二只眼睛不同于所述佩戴者的第一只眼睛;以及
利用一个或更多个处理器,基于所述佩戴者的第一只眼睛的瞳孔的位置和所述佩戴者的第二只眼睛的瞳孔的位置来确定聚散度,其中,从所述支持调焦的投光器投射的光对应于基于所述佩戴者的眼睛的瞳孔的位置和所确定的聚散度而选择的图像平面。
条款140.根据条款131至139中的任一项所述的方法,包括利用所述一个或更多个处理器,基于所述佩戴者的眼睛的瞳孔的位置和所确定的聚散度来选择所述图像平面。

Claims (20)

1.一种用于向佩戴者提供增强现实内容的头戴式显示设备,所述设备包括:
眼睛***,其被配置为确定所述佩戴者的眼睛的瞳孔的位置;
投光器,其被配置为投射光以至少基于所述增强现实内容来渲染图像;
光束转向器,其被配置为基于所述瞳孔的位置来改变来自所述投光器的光的方向;以及
组合器,其被配置为将来自所述投光器的光和来自所述头戴式显示设备外部的光组合,用于提供所渲染的图像和真实图像的重叠,所述真实图像对应于来自所述头戴式显示设备外部的光。
2.根据权利要求1所述的设备,其中:
所述投光器被配置成将光投射到位于所述佩戴者的眼睛的瞳孔的平面上6mm×6mm正方形区域内的区域上。
3.根据权利要求1所述的设备,其中:
所述投光器被配置成将光投射到具有至少3mm的特征尺寸的区域上。
4.根据权利要求1所述的设备,其中:
所述组合器不包括与波导耦合的光栅。
5.根据权利要求1所述的设备,其中:
所述投光器包括以下项中的一个或更多个:空间光调制器或扫描反射镜投射器。
6.根据权利要求1所述的设备,其中:
所述投光器与一个或更多个可调焦点透镜耦合。
7.根据权利要求1所述的设备,其中:
所述投光器与孔和一个或更多个透镜耦合。
8.根据权利要求1所述的设备,其中:
所述光束转向器包括一个或更多个致动器。
9.根据权利要求1所述的设备,其中:
所述组合器包括以下项中的一个或更多个:菲涅耳组合器、扁平组合器、椭球镜、一个或更多个可调谐波导或全息组合器。
10.根据权利要求1所述的设备,其中:
所述组合器被配置为反射来自所述投光器的光,而透射来自所述头戴式显示设备外部的光。
11.根据权利要求1所述的设备,其中:
所述眼睛***包括以下项中的一个或更多个:瞳孔图像***、视网膜反射***、深度传感器或闪光***。
12.根据权利要求1所述的设备,其中:
所述光束转向器与所述投光器集成在一起。
13.根据权利要求1所述的设备,其中:
所述光束转向器与所述光组合器集成在一起。
14.根据权利要求1所述的设备,其中:
所述眼睛***与所述投光器集成在一起。
15.一种使用头戴式显示设备向佩戴者提供增强现实内容的方法,所述头戴式显示设备包括眼睛***、投光器、光束转向器和组合器,所述方法包括:
利用所述眼睛***来确定所述佩戴者的眼睛的瞳孔的位置;
利用所述投光器投射光,以至少基于所述增强现实内容来渲染图像;
利用所述光束转向器,基于所述瞳孔的位置来改变来自所述投光器的光的方向;以及
利用所述组合器,将来自所述投光器的光和来自所述头戴式显示设备外部的光组合,用于提供所渲染的图像和真实图像的重叠,所述真实图像对应于来自所述头戴式显示设备外部的光。
16.根据权利要求15所述的方法,包括:
利用所述投光器将光投射到位于所述佩戴者的眼睛的瞳孔的平面上6mm×6mm正方形区域内的区域上。
17.根据权利要求15所述的方法,包括:
利用所述投光器将光投射到具有至少3mm的特征尺寸的区域上。
18.根据权利要求15所述的方法,其中:
所述组合器不包括与波导耦合的光栅。
19.根据权利要求15所述的方法,其中:
所述投光器包括一个或更多个可调焦点透镜。
20.根据权利要求15所述的方法,其中:
所述投光器包括孔和一个或更多个透镜。
CN201880089712.1A 2017-12-18 2018-12-18 用于瞳孔转向的集成增强现实头戴式显示器 Pending CN111727398A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762599793P 2017-12-18 2017-12-18
US62/599,793 2017-12-18
US16/222,789 US11112613B2 (en) 2017-12-18 2018-12-17 Integrated augmented reality head-mounted display for pupil steering
US16/222,789 2018-12-17
PCT/US2018/066206 WO2019126150A1 (en) 2017-12-18 2018-12-18 Integrated augmented reality head-mounted display for pupil steering

Publications (1)

Publication Number Publication Date
CN111727398A true CN111727398A (zh) 2020-09-29

Family

ID=66815169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880089712.1A Pending CN111727398A (zh) 2017-12-18 2018-12-18 用于瞳孔转向的集成增强现实头戴式显示器

Country Status (4)

Country Link
US (8) US11112613B2 (zh)
EP (1) EP3729173B1 (zh)
CN (1) CN111727398A (zh)
WO (1) WO2019126150A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112505917A (zh) * 2020-12-09 2021-03-16 Oppo广东移动通信有限公司 一种图像显示装置和近眼显示设备
WO2022160962A1 (zh) * 2021-01-28 2022-08-04 Oppo广东移动通信有限公司 激光显示模组及头戴显示设备
CN116165803A (zh) * 2023-04-20 2023-05-26 杭州光粒科技有限公司 一种波导显示***

Families Citing this family (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10261321B2 (en) 2005-11-08 2019-04-16 Lumus Ltd. Polarizing optical system
US10330935B2 (en) * 2016-09-22 2019-06-25 Apple Inc. Predictive, foveated virtual reality system
US10133070B2 (en) 2016-10-09 2018-11-20 Lumus Ltd. Aperture multiplier using a rectangular waveguide
MX2018007164A (es) 2016-11-08 2019-06-06 Lumus Ltd Dispositivo de guia de luz con borde de corte optico y metodos de produccion correspondientes.
KR102296369B1 (ko) 2016-12-31 2021-09-01 루머스 리미티드 도광 광학 소자를 통한 망막 이미징 기반 안구 추적기
US11754843B2 (en) 2017-07-03 2023-09-12 Holovisions LLC Augmented reality eyewear with “ghost buster” technology
US12013538B2 (en) 2017-07-03 2024-06-18 Holovisions LLC Augmented reality (AR) eyewear with a section of a fresnel reflector comprising individually-adjustable transmissive-reflective optical elements
US11307420B2 (en) 2017-07-03 2022-04-19 Holovisions LLC Augmented reality eyewear with “ghost buster” technology
JP7174929B2 (ja) 2017-07-19 2022-11-18 ルムス エルティーディー. Loeを介するlcos照明
KR20200077511A (ko) 2017-10-22 2020-06-30 루머스 리미티드 광학 벤치를 사용하는 헤드 장착형 증강 현실 장치
US11835841B2 (en) 2017-10-27 2023-12-05 Exciting Technology LLC System, method and apparatus for non-mechanical optical and photonic beam steering
US11835838B2 (en) 2017-10-27 2023-12-05 Exciting Technology LLC System, method and apparatus for non-mechanical optical and photonic beam steering
US10845671B2 (en) 2017-10-27 2020-11-24 Exciting Technology, Llc System, method and apparatus for non-mechanical optical and photonic beam steering
US11112613B2 (en) * 2017-12-18 2021-09-07 Facebook Technologies, Llc Integrated augmented reality head-mounted display for pupil steering
WO2019143844A1 (en) * 2018-01-17 2019-07-25 Magic Leap, Inc. Eye center of rotation determination, depth plane selection, and render camera positioning in display systems
US10551544B2 (en) 2018-01-21 2020-02-04 Lumus Ltd. Light-guide optical element with multiple-axis internal aperture expansion
US20190253700A1 (en) * 2018-02-15 2019-08-15 Tobii Ab Systems and methods for calibrating image sensors in wearable apparatuses
US11012682B2 (en) * 2018-03-02 2021-05-18 Texas Instruments Incorporated Linearly actuated display
US10949969B1 (en) * 2018-03-20 2021-03-16 Welch Allyn, Inc. Pupil edge region removal in digital imaging
CN108398788B (zh) * 2018-03-23 2024-04-16 京东方科技集团股份有限公司 眼睛跟踪装置及虚拟现实成像设备
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
CN112689869A (zh) 2018-07-24 2021-04-20 奇跃公司 用于确定显示器与用户的眼睛之间的配准的显示***和方法
US11054656B2 (en) * 2018-07-24 2021-07-06 Disney Enterprises, Inc. Auto-stereo imaging for viewing in a vehicle
DE102018214637A1 (de) * 2018-08-29 2020-03-05 Robert Bosch Gmbh Verfahren zum Ermitteln einer Blickrichtung eines Auges
MX2021002813A (es) 2018-09-09 2021-05-12 Lumus Ltd Sistemas opticos que incluyen elementos opticos de guia de luz con expansion bidimensional.
US11150480B1 (en) * 2018-11-06 2021-10-19 Facebook Technologies, Llc Systems and methods for translation of optical components
US11740460B2 (en) 2018-11-29 2023-08-29 Apple Inc. Optical systems with multi-layer holographic combiners
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US10895949B2 (en) * 2019-02-22 2021-01-19 Htc Corporation Head mounted display and display method for eye-tracking cursor
US11852813B2 (en) * 2019-04-12 2023-12-26 Nvidia Corporation Prescription augmented reality display
CN114008512B (zh) 2019-06-23 2024-05-24 鲁姆斯有限公司 具有中央凹光学校正的显示器
BR112021022229A2 (pt) * 2019-06-27 2022-02-22 Lumus Ltd Aparelho
EP3990969A1 (en) * 2019-06-27 2022-05-04 Ricoh Company, Ltd. Optical device, image display, and optometric apparatus
US20200413032A1 (en) * 2019-06-27 2020-12-31 Texas Instruments Incorporated Methods and apparatus to render 3d content within a moveable region of display screen
JP7484348B2 (ja) * 2019-06-27 2024-05-16 株式会社リコー 光学装置、映像表示装置、及び検眼装置
CN114365026A (zh) * 2019-07-01 2022-04-15 Pcms控股公司 用于基于光束转向对3d显示器进行连续校准的方法和***
JP2022540675A (ja) 2019-07-16 2022-09-16 マジック リープ, インコーポレイテッド 1つ以上の眼追跡カメラを用いた眼回転中心の決定
US11156829B2 (en) * 2019-07-29 2021-10-26 Facebook Technologies, Llc Pupil expander cailibration
US10885819B1 (en) * 2019-08-02 2021-01-05 Harman International Industries, Incorporated In-vehicle augmented reality system
WO2021049740A1 (en) * 2019-09-12 2021-03-18 Samsung Electronics Co., Ltd. Eye accommodation distance measuring device and method, and head-mounted display
US11245880B2 (en) * 2019-09-12 2022-02-08 Universal City Studios Llc Techniques for spatial data projection
US11372250B2 (en) 2019-09-26 2022-06-28 Himax Technologies Limited Head-mounted display having reflective elements
US11175509B2 (en) * 2019-09-30 2021-11-16 Microsoft Technology Licensing, Llc Tuned waveguides
EP3955045A4 (en) * 2019-09-30 2022-06-01 Lg Chem, Ltd. VISUAL HEADSET
US11826103B2 (en) 2019-10-11 2023-11-28 Microsoft Technology Licensing, Llc Multi-laser eye tracking system
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
KR20210052090A (ko) * 2019-10-31 2021-05-10 삼성전자주식회사 증강 현실 장치
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
US20230052439A1 (en) * 2019-11-18 2023-02-16 Hewlett-Packard Development Company, L.P. Detecting and responding to light source failure
WO2021117033A1 (en) 2019-12-08 2021-06-17 Lumus Ltd. Optical systems with compact image projector
US11205069B1 (en) 2020-02-20 2021-12-21 Facebook Technologies, Llc Hybrid cornea and pupil tracking
US11108977B1 (en) 2020-02-20 2021-08-31 Facebook Technologies, Llc Dual wavelength eye imaging
US11617508B2 (en) 2020-02-28 2023-04-04 Meta Platforms Technologies, Llc Eye-tracking fundus imaging system
US11867900B2 (en) 2020-02-28 2024-01-09 Meta Platforms Technologies, Llc Bright pupil eye-tracking system
CN113448087A (zh) * 2020-03-27 2021-09-28 深圳光峰科技股份有限公司 增强现实显示光学器件、光学***、眼镜及hud显示***
US11822205B2 (en) 2020-04-17 2023-11-21 Exciting Technology LLC System, method, and apparatus for high precision light beam steering using rotating lens elements
WO2022266229A1 (en) * 2021-06-15 2022-12-22 Exciting Technology LLC System, method, and apparatus for high precision light beam steering
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US20230168513A1 (en) * 2020-06-19 2023-06-01 Hes Ip Holdings, Llc Image display systems for eyebox expansion and methods of making the same
CN111596461A (zh) * 2020-07-21 2020-08-28 瑞声通讯科技(常州)有限公司 一种基于小孔成像的离轴反射显示***及显示设备
IL276354A (en) * 2020-07-28 2022-02-01 Eyeway Vision Ltd Eye tracking systems and methods
WO2022036302A1 (en) 2020-08-14 2022-02-17 Hes Ip Holdings, Llc Systems and methods for superimposing virtual image on real-time image
US11740455B2 (en) 2020-08-25 2023-08-29 Meta Platforms Technologies, Llc Pupil steered display
JP2023541495A (ja) 2020-09-03 2023-10-03 ヒーズ アイピー ホールディングス エルエルシー 両眼視を改善するためのシステムおよび方法
DE202021104723U1 (de) 2020-09-11 2021-10-18 Lumus Ltd. An ein optisches Lichtleiterelement gekoppelter Bildprojektor
KR20220036759A (ko) 2020-09-16 2022-03-23 삼성전자주식회사 다중 영상 디스플레이 장치
US11953689B2 (en) 2020-09-30 2024-04-09 Hes Ip Holdings, Llc Virtual image display system for virtual reality and augmented reality devices
WO2022093656A1 (en) * 2020-10-26 2022-05-05 Facebook Technologies, Llc Systems and methods for eye tracking in a head-mounted device using low-coherence interferometry
US20220201271A1 (en) * 2020-12-23 2022-06-23 Facebook Technologies, Llc Temporal foveated rendering
CN116685893A (zh) * 2021-01-11 2023-09-01 奇跃公司 用于头戴式显示***的致动瞳孔转向
EP4220275A4 (en) * 2021-01-21 2024-04-24 Samsung Electronics Co Ltd AUGMENTED REALITY DEVICE AND METHOD FOR DETECTING A USER'S GAZE
CN112946895B (zh) * 2021-02-02 2022-09-20 业成科技(成都)有限公司 头戴式显示装置
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
EP4288856A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd Extended reality for productivity
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
US11860369B2 (en) 2021-03-01 2024-01-02 Lumus Ltd. Optical system with compact coupling from a projector into a waveguide
TWI762231B (zh) * 2021-03-09 2022-04-21 臺北醫學大學 可調整焦距的虛擬實境眼鏡
US20220334392A1 (en) * 2021-04-16 2022-10-20 Nvidia Corporation Holographic virtual reality display
JP2024517804A (ja) 2021-05-19 2024-04-23 ルムス エルティーディー. 活性光学エンジン
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
TW202309570A (zh) 2021-08-23 2023-03-01 以色列商魯姆斯有限公司 具有嵌入式耦入反射器的複合光導光學元件的製造方法
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US11741861B1 (en) * 2022-02-08 2023-08-29 Lumus Ltd. Optical system including selectively activatable facets
DE102022202000A1 (de) 2022-02-28 2023-08-31 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Bestimmen einer Augenposition unter Verwendung einer Laservorrichtung für eine Datenbrille und Laservorrichtung
JP7494873B2 (ja) 2022-03-28 2024-06-04 セイコーエプソン株式会社 プロジェクター
US11892638B2 (en) 2022-06-03 2024-02-06 Meta Platforms Technologies, Llc Scanning near-eye imaging and sensing system
WO2023242447A1 (es) * 2022-06-16 2023-12-21 Jj Gestión Integral S.L. Método para la determinación de la posición del centro de rotación ocular respecto a una lente y dispositivo para dicho metodo
EP4365658A1 (en) * 2022-11-01 2024-05-08 Nokia Technologies Oy Apparatus, methods and computer programs for controlling image augmentations
GB2624197A (en) * 2022-11-09 2024-05-15 Envisics Ltd Extended eye-box
US11988828B1 (en) 2022-11-16 2024-05-21 Meta Platforms Technologies, Llc Multi-pupil display and eye-tracking with interferometric sensing
US11966509B1 (en) * 2023-01-31 2024-04-23 Pixieray Oy Tracking pupil centre during eye scanning
CN117233972B (zh) * 2023-11-03 2024-05-31 广州纳立多科技有限公司 一种近眼显示光学模组、头戴式显示设备及虚拟现实***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080002262A1 (en) * 2006-06-29 2008-01-03 Anthony Chirieleison Eye tracking head mounted display
US9094677B1 (en) * 2013-07-25 2015-07-28 Google Inc. Head mounted display device with automated positioning
US20160238845A1 (en) * 2015-02-17 2016-08-18 Thalmic Labs Inc. Systems, devices, and methods for eyebox expansion in wearable heads-up displays
CN106104353A (zh) * 2014-03-18 2016-11-09 3M创新有限公司 用于近眼显示器的低轮廓图像组合器
US20170115483A1 (en) * 2015-10-23 2017-04-27 Thalmic Labs Inc. Systems, devices, and methods for laser eye tracking

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104094197B (zh) 2012-02-06 2018-05-11 索尼爱立信移动通讯股份有限公司 利用投影仪的注视追踪
US9116337B1 (en) 2012-03-21 2015-08-25 Google Inc. Increasing effective eyebox size of an HMD
JP6449236B2 (ja) 2013-03-25 2019-01-09 インテル コーポレイション 多射出瞳頭部装着型ディスプレイのための方法および装置
US9341850B1 (en) * 2013-04-30 2016-05-17 Google Inc. Diffractive see-through display with hybrid-optical aberration compensation
GB201310368D0 (en) 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-mountable apparatus and systems
JP2017078756A (ja) 2015-10-19 2017-04-27 富士通株式会社 ヘッドマウントディスプレイ装置
WO2017074954A1 (en) 2015-10-25 2017-05-04 Wilson John Paul Facial shielding system for protection from environmental hazards
US20170255020A1 (en) 2016-03-04 2017-09-07 Sharp Kabushiki Kaisha Head mounted display with directional panel illumination unit
US10261320B2 (en) 2016-06-30 2019-04-16 Microsoft Technology Licensing, Llc Mixed reality display device
WO2018057660A2 (en) 2016-09-20 2018-03-29 Apple Inc. Augmented reality system
US20180157908A1 (en) * 2016-12-01 2018-06-07 Varjo Technologies Oy Gaze-tracking system and method of tracking user's gaze
US10395111B2 (en) 2016-12-01 2019-08-27 Varjo Technologies Oy Gaze-tracking system and method
US11112613B2 (en) * 2017-12-18 2021-09-07 Facebook Technologies, Llc Integrated augmented reality head-mounted display for pupil steering

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080002262A1 (en) * 2006-06-29 2008-01-03 Anthony Chirieleison Eye tracking head mounted display
US9094677B1 (en) * 2013-07-25 2015-07-28 Google Inc. Head mounted display device with automated positioning
CN106104353A (zh) * 2014-03-18 2016-11-09 3M创新有限公司 用于近眼显示器的低轮廓图像组合器
US20160238845A1 (en) * 2015-02-17 2016-08-18 Thalmic Labs Inc. Systems, devices, and methods for eyebox expansion in wearable heads-up displays
US20170115483A1 (en) * 2015-10-23 2017-04-27 Thalmic Labs Inc. Systems, devices, and methods for laser eye tracking

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112505917A (zh) * 2020-12-09 2021-03-16 Oppo广东移动通信有限公司 一种图像显示装置和近眼显示设备
WO2022160962A1 (zh) * 2021-01-28 2022-08-04 Oppo广东移动通信有限公司 激光显示模组及头戴显示设备
CN116165803A (zh) * 2023-04-20 2023-05-26 杭州光粒科技有限公司 一种波导显示***
CN116165803B (zh) * 2023-04-20 2024-03-12 杭州光粒科技有限公司 一种波导显示***

Also Published As

Publication number Publication date
US11061239B2 (en) 2021-07-13
US20190361247A1 (en) 2019-11-28
US20190187482A1 (en) 2019-06-20
US20190361249A1 (en) 2019-11-28
US11194167B2 (en) 2021-12-07
US11914160B2 (en) 2024-02-27
US20190361246A1 (en) 2019-11-28
US11209659B2 (en) 2021-12-28
WO2019126150A1 (en) 2019-06-27
US11112613B2 (en) 2021-09-07
US11215837B2 (en) 2022-01-04
EP3729173B1 (en) 2023-06-28
US20190361248A1 (en) 2019-11-28
US11231592B2 (en) 2022-01-25
US20190361245A1 (en) 2019-11-28
EP3729173A4 (en) 2021-02-24
US11194166B2 (en) 2021-12-07
US20190361250A1 (en) 2019-11-28
US20220146836A1 (en) 2022-05-12
EP3729173A1 (en) 2020-10-28

Similar Documents

Publication Publication Date Title
EP3729173B1 (en) Integrated augmented reality head-mounted display for pupil steering
US20220163808A1 (en) Optical assembly with polarization volume holographic element
US11933975B2 (en) Eye tracking based on waveguide imaging
US10466496B2 (en) Compact multi-color beam combiner using a geometric phase lens
US11841502B2 (en) Reflective polarizer for augmented reality and virtual reality display
US11914162B1 (en) Display devices with wavelength-dependent reflectors for eye tracking
US11520149B2 (en) Varifocal display with wavelength tuning
US11199721B1 (en) Polarization volume hologram lens
US20230152578A1 (en) Multi-view eye tracking system with a holographic optical element combiner
US11726326B1 (en) Wedge light guide
US11579425B1 (en) Narrow-band peripheral see-through pancake lens assembly and display device with same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC

CB02 Change of applicant information