CN109425994A - 深度相机组件、头戴式显示器和用于深度感测的方法 - Google Patents

深度相机组件、头戴式显示器和用于深度感测的方法 Download PDF

Info

Publication number
CN109425994A
CN109425994A CN201811003640.2A CN201811003640A CN109425994A CN 109425994 A CN109425994 A CN 109425994A CN 201811003640 A CN201811003640 A CN 201811003640A CN 109425994 A CN109425994 A CN 109425994A
Authority
CN
China
Prior art keywords
light
installation elements
structured light
firing order
diffraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811003640.2A
Other languages
English (en)
Other versions
CN109425994B (zh
Inventor
安德鲁·马修·巴尔达居
约瑟夫·达根
奇纳·哈泽格
刘非
马克·蒂莫西·沙利文
西蒙·莫里斯·尚德·魏斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Oculus VR Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oculus VR Inc filed Critical Oculus VR Inc
Priority to CN202110618491.6A priority Critical patent/CN113296265B/zh
Publication of CN109425994A publication Critical patent/CN109425994A/zh
Application granted granted Critical
Publication of CN109425994B publication Critical patent/CN109425994B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0808—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more diffracting elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4233—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4233—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
    • G02B27/425—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application in illumination systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0154—Head-up displays characterised by mechanical features with movable elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/30—Collimators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Abstract

本发明涉及一种深度相机组件、头戴式显示器和用于深度感测的方法。用于局部区域的深度感测的深度相机组件，包括结构化光发生器、成像装置和控制器。结构化光发生器用结构化光照亮局部区域，并且包括照明源、安装元件和安装在安装元件上的衍射光学元件(DOE)。安装元件可以具有基于来自控制器的发射指令的相对于照明源的多个可调节位置。DOE使用从照明源发射的光生成衍射扫描光束，该衍射扫描光束作为结构化光投射到局部区域中。结构化光的图案对于安装元件的每个可调节位置是动态可调节的并且是唯一的。成像装置捕获从局部区域中的对象反射的结构化光的图像。控制器部分基于所捕获的图像来确定对象的深度信息。

Description

深度相机组件、头戴式显示器和用于深度感测的方法
技术领域
本公开总体上涉及深度感测，并且具体地涉及用于实现用于三维深度感测的结构化光图案的可调节的分辨率的偏移衍射光学元件。
背景技术
为了在使用头戴式显示器(HMD)时实现深度感测的强有力的用户体验，重要的是创建提供实时可动态调节的照明图案的扫描装置。大多数深度感测方法依赖于主动照明和检测。用于深度感测的常规方法涉及使用结构化光或飞行时间技术的机械扫描或固定衍射光学图案投影。基于飞行时间的深度感测使用基于机械的反射镜装置(扫描仪)以将短脉冲发送到对象空间。基于飞行时间的深度感测进一步使用高速检测器来对来自对象的后向散射光进行时间门控以创建高分辨率深度图。然而，基于机械的扫描仪在扫描速度、实时重新配置和机械稳定性方面执行地不适当。基于固定结构光的深度感测使用衍射光学元件以生成投射到对象空间中的静态(固定)图案的结构化光。基于固定结构化光的深度感测进一步使用预先存储的查找表以计算和提取深度图。然而，基于固定结构化光的深度感测对于需要调节照明图案的空间分辨率的动态深度感测不够稳健。
发明内容
深度相机组件(DCA)确定与局部区域中的一个或多个对象相关联的深度信息。DCA包括结构化光发生器、成像装置和控制器。结构化光发生器被配置为根据发射指令利用结构化光照亮局部区域。结构化光发生器包括照明源、安装元件、衍射光学元件(DOE)和投影组件。照明源被配置为部分基于发射指令发射一个或多个光脉冲。安装元件被配置为具有部分基于发射指令的相对于照明源的多个可调节位置。DOE是安装在该安装元件上并且从该一个或多个光脉冲生成衍射扫描光束，这些衍射扫描光束对于该多个可调节位置的该安装元件的每个位置具有不同的图案。投射组件被配置为将衍射扫描光束作为结构化光投射到局部区域中。结构化光的图案可部分基于多个可调节位置中的安装元件的可调节位置而动态地调节。成像装置捕获从局部区域中的一个或多个对象反射的结构化光的至少一部分的一个或多个图像。控制器生成发射指令并且将发射指令提供给结构化光发生器。控制器进一步部分基于所捕获的一个或多个图像来确定一个或多个对象的深度信息。
头戴式显示器(HMD)可以进一步集成DCA。HMD进一步包括电子显示器和光学组件。HMD可以是例如虚拟现实(VR)***、增强现实(AR)***、混合现实(MR)***或其中的一些组合。电子显示器被配置为发射图像光。光学组件被配置为将图像光引导至HMD的对应于用户的眼睛的位置的眼箱，图像光包括由DCA确定的局部区域中的一个或多个对象的深度信息。
附图说明
图1是根据实施方式的头戴式显示器(HMD)的示图。
图2是根据实施方式的图1中的HMD的前刚体的截面。
图3是根据实施方式的示例性深度相机组件(DCA)。
图4是示出根据实施方式的确定局部区域中的对象的深度信息的处理的流程图。
图5是根据实施方式的其中控制台操作的HMD***的框图。
附图仅出于说明的目的描绘了本公开的实施方式。本领域技术人员将容易地从以下描述中认识到，在不背离本文描述的本公开的原理或益处的情况下，可以采用本文所示的结构和方法的替代实施方式。
具体实施方式
本文呈现了用于确定围绕DCA中的一些或全部的局部区域中的一个或多个对象的深度信息的深度相机组件(DCA)。DCA包括结构化光发生器、成像装置(相机)和控制器。结构化光发生器包括衍射光学元件(DOE)、DOE底座和照明源。DOE底座被配置为具有相对于照明源的多个不同位置。DOE底座可与照明源同步(例如，经由控制器)，使得DOE底座针对从照明源发射的不同光脉冲将DOE定位在不同的位置。DOE的每个位置导致从照射局部区域的结构化光发生器发射的结构光的不同图案。
调节DOE的位置(例如，经由DOE底座)提供结构化光图案的可调节分辨率。此外，将DOE的位置调节为所发射的结构化光的可转向图案。例如，由发射的结构化光覆盖的视场可以通过调节DOE的位置而变化。此外，通过调节DOE的位置，结构化光可以指向局部区域中的特定对象。可通过调节用于不同应用(例如，近感测对远感测、对象扫描对房间或建筑物扫描对手跟踪等)的DOE的位置来修改结构化光的图案。
DCA的成像装置捕获从局部区域中的一个或多个对象反射的结构化光的至少一部分的一个或多个图像。控制器部分基于所捕获的一个或多个图像来确定一个或多个对象的深度信息。
在一些实施方式中，DCA被集成到头戴式显示器(HMD)中，该头戴式显示器捕获描述围绕HMD的一些或全部的局部区域中的深度信息的数据。HMD可以是例如虚拟现实(VR)***、增强现实(AR)***、混合现实(MR)***或其中的一些组合的一部分。HMD进一步包括电子显示器和光学组件。电子显示器被配置为发射图像光。光学组件被配置为将图像光引导至HMD的对应于用户的眼睛的位置的眼箱，图像光包括由DCA确定的局部区域中的一个或多个对象的深度信息。
图1是根据实施方式的HMD 100的图。HMD 100可以是例如VR***、AR***、MR***或其中的一些组合的一部分。在描述AR***和/或MR***的实施方式中，HMD 100的前侧102的部分在可见频带(约380nm至750nm)中至少部分透明，并且HMD 100的在HMD 100的前侧102与用户的眼睛之间的部分至少部分透明(例如，部分透明电子显示器)。HMD 100包括前刚体105、带子110和参考点115。HMD 100还包括DCA，DCA被配置为确定围绕HMD 100的一些或全部的局部区域的深度信息。HMD 100还包括成像孔120和照明孔125，并且DCA的照明源通过照明孔125发射光(例如，可调节图案的结构化光)。DCA的成像装置从照明源捕获通过成像孔120从局部区域反射的光。从DCA的照明源通过照明孔125发射的光包括结构化光，如结合图2至图4更详细地讨论的。从局部区域反射穿过成像孔120并且由DCA的成像装置捕获的光包括反射的结构化光的至少一部分，如还结合图2至图4更详细地讨论的。
前刚体105包括一个或多个电子显示元件(图1中未示出)、一个或多个集成眼睛跟踪***(图1中未示出)、惯性测量单元(IMU)130、一个或多个位置传感器135、以及参考点115。在图1所示的实施方式中，位置传感器135位于IMU 130内，并且IMU 130和位置传感器135对于HMD 100的用户都不可见。IMU 130是基于从一个或多个位置传感器135接收的测量信号生成快速校准数据的电子装置。位置传感器135响应于HMD 100的运动生成一个或多个测量信号。位置传感器135的示例包括：一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计、检测运动的另一合适类型的传感器、一类用于IMU 130的误差校正的传感器或其中的一些组合。位置传感器135可以位于IMU 130的外部、IMU 130的内部、或其中的一些组合。
图2是图1中所示的HMD 100的前刚体105的截面200。如图2所示，前刚体105包括电子显示器210和光学组件220，它们一起向眼箱225提供图像光。眼箱225是空间中的由用户的眼睛230占据的区域。为了说明的目的，图2示出了与单眼230相关联的截面200，但是与光学组件220分离的另一个光学组件220向用户的另一只眼睛提供改变的图像光。
电子显示器210生成图像光。在一些实施方式中，电子显示器210包括调节所生成的图像光的焦点的光学元件。电子显示器210根据从控制台(图2中未示出)接收的数据向用户显示图像。在不同的实施方式中，电子显示器210可包括单个电子显示器或多个电子显示器(例如，用于用户的每只眼睛的显示器)。电子显示器210的示例包括：液晶显示器(LCD)、有机发光二极管(OLED)显示器、无机发光二极管(ILED)显示器、有源矩阵有机发光二极管(AMOLED)显示器、透明有机发光二极管(TOLED)显示器、一些其他显示器、投影仪或其中的一些组合。电子显示器210还可包括孔、菲涅耳透镜、凸透镜、凹透镜、衍射元件、波导、滤波器、偏振器、漫射体、光纤锥、反射面、偏振反射面、或影响从电子显示器发射的图像光的任何其他合适的光学元件。在一些实施方式中，一个或多个显示块光学元件可具有一个或多个涂层，诸如抗反射涂层。
光学组件220放大从电子显示器210接收的光，校正与图像光相关联的光学像差，并且校正的图像光被呈现给HMD 100的用户。光学组件220的至少一个光学元件可以是孔、菲涅耳透镜、折射透镜、反射表面、衍射元件、波导、滤波器或影响从电子显示器210发射的图像光的任何其他合适的光学元件。此外，光学组件220可以包括不同光学元件的组合。在一些实施方式中，光学组件220中的一个或多个光学元件可具有一个或多个涂层，诸如抗反射涂层、二向涂层等。光学组件220对图像光的放大率允许电子显示器210的元件比较大显示器在物理上小、重量轻、并且消耗更少的功率。另外，放大可增加所显示媒体的视场。例如，所显示的媒体的视场使得所显示的媒体几乎全部(例如，110度对角线)被呈现，并且在一些情况下是全部的用户的视场。在一些实施方式中，光学组件220被设计成使得其有效焦距大于到电子显示器210的间距，这放大了由电子显示器210投射的图像光。另外，在一些实施方式中，可通过添加或移除光学元件来调节放大量。
如图2所示，前刚体105进一步包括DCA 240，DCA 240用于确定围绕HMD 100的一些或全部的局部区域245中的一个或多个对象的深度信息。DCA 240包括结构化光发生器250、成像装置255和可耦接到结构化光发生器250和成像装置255两者的控制器260。结构化光发生器250通过照明孔125发射光。根据本公开的实施方式，结构化光发生器250被配置为根据由控制器260产生的发射指令用结构化光265照亮局部区域245。控制器260被配置为基于发射指令控制结构化光发生器250的某些部件的操作以动态地调节照亮局部区域245的结构化光265的图案。结合图3至图4公开了关于控制结构化光发生器250的部件以及动态地调节结构化光265的图案的更多细节。
结构化光发生器250可以包括多个发射器，每个发射器发射具有某些特性(例如，波长、偏振、相干、时间行为等)的光。这些特性在发射器之间可以是相同的或不同的，并且发射器可以同时或单独地操作。在一个实施方式中，多个发射器可以是例如激光二极管(例如，边缘发射器)、无机或有机LED、垂直腔面发射激光器(VCSEL)或一些其他源。在一些实施方式中，结构化光发生器250中的单个发射器或多个发射器可发射一个或多个光束。结合图3公开了关于包括结构化光发生器250的DCA 240的更多细节。
成像装置255包括一个或多个相机，该一个或多个相机被配置为通过成像孔120捕获从局部区域245反射的结构化光265的至少一部分。成像装置255捕获用结构化光265照亮的局部区域245中的一个或多个对象的一个或多个图像。耦接到成像装置255的控制器260进一步被配置为基于反射的结构化光的捕获部分确定一个或多个对象的深度信息。在一些实施方式中，控制器260向HMD 100的控制台(图2中未示出)和/或适当模块(例如，图2中未示出的变焦模块)提供所确定的深度信息。控制台和/或HMD 100可利用深度信息来例如生成用于在电子显示器210上呈现的内容。
在一些实施方式中，前刚体105进一步包括眼睛跟踪***(图2中未示出)，其确定用户的眼睛230的眼睛跟踪信息。所确定的眼睛跟踪信息可包括关于眼箱中的用户眼睛230的定向的信息，即，关于眼睛注视的角度的信息。在一个实施方式中，用户的眼睛230被结构化光照亮。然后，眼睛跟踪***可使用所捕获的图像中的经反射的结构化光的位置来确定眼睛位置和眼睛注视。在另一实施方式中，眼睛跟踪***基于在多个时刻捕获的图像光的幅度来确定眼睛位置和眼睛注视。
在一些实施方式中，前刚体105进一步包括变焦模块(图2中未示出)。变焦模块可以基于眼睛跟踪信息来调节在电子显示器210上显示的一个或多个图像的焦点。在一个实施方式中，变焦模块通过基于所确定的眼睛跟踪信息调节光学组件220的焦距来调节所显示的图像的焦点并且调节聚散度适应冲突。在另一实施方式中，变焦模块通过基于所确定的眼睛追踪信息执行一个或多个图像的注视点渲染来调节所显示图像的焦点。在又一实施方式中，变焦模块利用来自控制器260的深度信息来生成用以在电子显示器210上呈现的内容。
图3是根据实施方式的示例DCA 300。DCA 300被配置为使用动态可调节图案的结构化光在大视场上进行深度感测。DCA 300包括结构化光发生器305、成像装置310、以及耦接到结构化光发生器305和成像装置310两者的控制器315。DCA 300可以被配置为图1中的HMD 100的部件。由此，DCA 300可以是图2中的DCA 240的实施方式；结构化光发生器305可以是图2中的结构化光发生器250的实施方式；并且成像装置310可以是图2中的成像装置255的实施方式。
结构化光发生器305被配置为根据来自控制器315的发射指令用结构化光照亮并且扫描局部区域320。结构化光发生器305包括照明源325、安装元件330、安装在安装元件330上的DOE 335以及投影组件340。
照明源325生成光并将光导向DOE 335。照明源325包括光发射器345和光束调节组件350。光发射器345被配置为部分基于来自控制器315的发射指令发射一个或多个光束(光脉冲)355。在一些实施方式中，光发射器345包括发射红外光谱中的一个或多个光束355的激光二极管阵列。在其他实施方式中，光发射器345包括发射可见光谱中的一个或多个光束355的激光二极管阵列。在一些实施方式中，光发射器345发射一个或多个光束355作为限定图案(例如，点图案或线图案)的结构化光。可替代地或另外地，光发射器345部分基于来自控制器315的发射指令发射一个或多个光束355作为时间调制的光，以例如除了结构化照明之外还生成局部区域320的时间调制照明。
光束调节组件350收集从光发射器345发射的一个或多个光束355，并且将一个或多个光束355导向DOE 335的至少一部分。光束调节组件350由一个或多个光学元件(透镜)构成。在一些实施方式中，光束调节组件350包括准直组件和棱镜(图3中未示出)。准直组件包括将一个或多个光束355准直成准直光的一个或多个光学元件(透镜)。棱镜是将准直光引导到DOE 335中的光学元件。在替换实施方式中，光束调节组件350包括单个混合光学元件(透镜)，该单个混合光学元件(透镜)均准直一个或多个光束355以生成准直光并且将准直光引导到DOE 335的部分中。
DOE 335部分基于来自控制器315的发射指令从一个或多个光束355生成衍射扫描光束360。DOE 335可以实现为：声光装置、硅上液晶(LCOS)装置、空间光调制器、数字微反射镜装置、微机电(MEM)装置、一些其他衍射光栅元件或其组合。在一些实施方式中，可以例如部分基于来自控制器315的发射指令来控制DOE 335的操作。例如，控制器315可调节施加到DOE 335的电压电平或控制DOE 335的换能器的信号的射频(图3中未示出)，使得DOE 335的衍射角度实时变化，以在DOE 335的输出处形成具有随时间变化的图案的衍射扫描光束360。
DOE 335安装在安装元件330上。安装元件330被配置为具有例如部分基于来自控制器315的发射指令的相对于照明源325的多个可调节位置。在一些实施方式中，安装元件330可部分基于来自控制器315的发射指令而例如沿着Z轴偏移。由此，DOE 335与照明源325以及光发射器345沿着z轴的距离可以是可调节的。在其他实施方式中，安装元件330可以部分基于来自控制器315的发射指令改变DOE 335相对于光发射器345和光束调节组件350例如在x-z平面和/或x-y平面中的角位置。在其他实施方式中，安装元件330可部分基于来自控制器315的发射指令围绕例如z轴枢轴旋转，以便改变DOE 335相对于光发射器345和光束调节组件350的位置。应理解，由改变安装元件330的位置引起的调节DOE 335的位置可以指使DOE 335沿着z轴偏移和调节DOE 335的角位置两者。
由安装在安装元件330上的DOE 335产生的衍射扫描光束360的图案对于多个可调节位置的安装元件330的每个位置可以是不同的。通过生成衍射扫描光束360的不同图案，照亮局部区域320的结构化光365的图案随时间变化。具有动态地调节衍射扫描光束360的图案和结构化光365的图案的能力提供了扫描局部区域320的不同区域和局部区域320中的不同类型的对象的灵活性。
对于优选的衍射效率，DOE 335可以被配置为以满足布拉格匹配条件的角度衍射入射到DOE 335的至少一部分的一个或多个光束355，以部分基于来自控制器315的发射指令形成衍射扫描光束360。在一些实施方式中，DOE 335可以被配置为通过以满足布拉格匹配条件的几何形状将一个或多个光束355定向到例如DOE 335中的液晶来生成衍射扫描光束360作为偏振光(例如，圆偏振光)。注意，衍射扫描光束360可以基于DOE 335中的液晶被右手圆偏振或左手圆偏振。在一些实施方式中，入射到DOE 335的一个或多个光束355的偏振态(SOP)与布拉格角度处的固有偏振态相匹配，以实现DOE 335的最大衍射效率。
投影组件340位于DOE 335前方。投影组件340包括一个或多个光学元件(透镜)。投影组件340例如在宽视场上将衍射扫描光束360作为结构化光365投射到局部区域320中。结构化光365的图案可部分基于安装元件335相对于照明源325的位置而随时间动态调节。结构化光365照亮局部区域320的包括局部区域320中的一个或多个对象的部分。由于结构化光365的图案随时间动态地可调节，因此局部区域320的不同部分可在不同时刻被照亮。可基于结构化光365从局部区域320中的一个或多个对象的反射而生成经反射的结构化光370。
成像装置310通过捕获反射的结构化光370的至少一部分来捕获局部区域320中的一个或多个对象的一个或多个图像。在一个实施方式中，成像装置310是被配置为捕获红外光谱中的图像的红外相机。在另一实施方式中，成像装置310被配置为捕获可见光谱光的图像。成像装置310可以包括电荷耦合器件(CCD)检测器、互补金属氧化物半导体(CMOS)检测器或一些其他类型的检测器(图3中未示出)。成像装置310可被配置为以在约0.1Hz到约1kHz的范围内的帧速率操作，以快速检测局部区域320中的对象。在一些实施方式中，成像装置310包含用于捕获反射的结构化光370的至少一部分的二维检测器像素阵列。在其他实施方式中，成像装置310包括用于捕获反射的结构化光370的至少一部分的一个以上相机。
在一些实施方式中，成像装置310可包括置于相机前方的偏振元件(图3中未示出)，该元件用于接收和传播特定偏振的反射的结构化光370。该偏振元件可以是线性偏振器、圆形偏振器、椭圆偏振器等，该偏振元件可以被实施为薄膜偏振器(吸收性、反射)、与线性偏振器结合的四分之一波片等。反射的结构化光370可以选自由线偏振光(垂直和水平)、右旋偏振光、左旋偏振光和椭圆偏振光组成的组。应注意，经反射的结构化光370的偏振可不同于照亮局部区域320的结构化光370的偏振。
控制器315控制图3中DCA 300的各种部件的操作。在一些实施方式中，控制器315向光发射器345提供发射指令以控制发射的一个或多个光束355的强度、一个或多个光束355的空间调制、光发射器345激活的持续时间等。控制器315可进一步创建用于控制安装元件330的位置的发射指令，其中DOE 335被安装以动态地调节DOE 335的位置，从而引起衍射扫描光束360的图案和照亮局部区域320的结构化光365的图案的动态调节。在一些实施方式中，控制器315电耦接到安装元件330并且提供电信号用于致动安装元件330以调节安装元件330的位置和DOE 335的位置。在替代实施方式中，控制器315机械地耦接到安装元件330以例如使用音圈、螺线管或用于调节安装在安装元件330上的DOE 335的位置的其他机械致动组件来控制安装元件330的位置和DOE 335的位置。在一些其他实施方式(图3中未示出)中，控制器315可以通过使用例如压电致动器、压电蜗杆、微机电***(MEMS)致动器、形状记忆合金、齿条和小齿轮、或其中的一些组合来控制安装元件330的位置和DOE 335的位置。
在一些实施方式中，控制器315被配置为使光发射器345的操作与安装元件330的位置和安装在安装元件330上的DOE 335的位置同步。在一个实施方式中，控制器315被配置为运行致动器开环(例如，作为步进器操作)，以使光发射器345的操作与安装元件330的位置和DOE 335的位置同步。在其他实施方式中，控制器315被配置为与传感器(图3中未示出)在闭环中操作，以使光发射器345的操作与安装元件330的位置和DOE 335的位置同步。耦接到控制器315的传感器可以被实现为例如光学编码器传感器、光学反射传感器、磁涡传感器、磁霍尔传感器、磁各向异性磁阻(AMR)传感器、磁巨磁阻(GMR)传感器或其中的一些组合。
在一些实施方式中，控制器315可将发射指令(例如关于与从光发射器345发射的一个或多个光束355有关的空间调制、时间调制或强度的指令)提供到光发射器345以控制发射一个或多个光束355。控制器315还可控制安装元件330的位置(例如，经由发射指令)以根据从光发射器345发射的一个或多个光束355调节DOE 335的位置。在一个实施方式中，控制器315基于由光发射器345产生的一个或多个光束355的空间调制来调节安装元件330的位置和DOE 335的位置。在另一实施方式中，控制器315基于由光发射器345生成的一个或多个光束355的时间调制来调节安装元件330的位置和DOE 335的位置。在又一个实施方式中，控制器315基于一个或多个光束355的强度调节安装元件330的位置和DOE 335的位置。
在一些实施方式中，控制器315部分基于发射指令来调节安装元件330的位置以改变DOE 335相对于照明源325的角位置。例如，控制器315可以指示安装元件330使DOE 335例如围绕x轴、围绕y轴、围绕z轴或其中的一些组合旋转特定角度。在替代实施方式中，控制器315部分基于发射指令来调节安装元件330的位置以相对于照明源325例如沿着Z轴、沿着x轴、沿着y轴或其中的一些组合来平移DOE 335。
在一些实施方式中，控制器315获得关于照亮局部区域320的结构化光365的图案的空间分辨率的信息。基于关于结构化光365的空间分辨率的信息，控制器315可改变安装元件330的位置，以调节DOE 335的位置和衍射扫描光束360的图案和结构化光365的图案的空间分辨率。因此，控制器315被配置为通过调节安装元件330的位置来控制照亮局部区域320的结构化光365的图案的空间分辨率。
如图3所示，控制器315进一步耦接到成像装置310，并且可被配置为确定局部区域320中的一个或多个对象的深度信息。控制器315部分基于由成像装置310捕获的一个或多个图像来确定一个或多个对象的深度信息。控制器315可被配置为基于由成像装置310捕获的以局部区域320中的一个或多个对象的形状扭曲的光的相移图案来确定深度信息，且使用三角测量计算以获得局部区域320的深度图。可替代地，控制器315可被配置为基于飞行时间信息和关于由一个或多个对象的形状扭曲的反射的结构化光370的图案的信息来确定深度信息。在一些实施方式中，控制器315可被配置为基于经反射的结构化光370的偏振信息和/或结构化光365的偏振信息来确定深度信息。
在一些实施方式中，基于确定的局部区域320中的一个或多个对象的深度信息，控制器315可调节(例如，部分基于发射指令)安装元件330的位置以动态地改变DOE 335相对于光发射器345和光束调节组件350的位置以调节一个或多个光束355的衍射。控制器315可基于所确定的深度信息的质量、局部区域320中的一个或多个对象的表面类型等来指示安装元件330动态地调节DOE 335的位置和一个或多个光束355的衍射。另外或替代地，控制器315可基于局部区域320中的一个或多个对象的位置信息来控制(例如，部分基于发射指令)安装元件330的位置以调节DOE 335相对于光发射器345和光束调节组件350的位置，从而调节一个或多个光束355的衍射。由此，控制器315可基于局部区域320中关注的对象的位置动态地调节结构化光365的图案。
在一些实施方式中，控制器315可调节安装元件330的位置和DOE 335的位置，使得结构化光365指向局部区域320的一个或多个关注区域。在其他实施方式中，控制器315可控制安装元件330的位置和DOE 335的位置，以根据到局部区域320中的关注的对象的距离(例如，沿着z轴)来调节结构化光365的图案的密度。在其他实施方式中，控制器315可控制安装元件330的位置和DOE 335的位置降低结构化光365的图案的密度，以节省例如由成像装置310和控制器315用于捕获经反射的结构化光370的一部分和深度确定所耗散的功率。在其他实施方式中，控制器315可控制安装元件330的位置和DOE 335的位置以增加结构化光365的图案的密度，以便增加局部区域320的深度图中的深度点的数目。在其他实施方式中，控制器315可以控制安装元件330的位置和DOE 335的位置以将结构化光365的图案改变为更适合于例如手跟踪对房间或对象重构。在其他实施方式中，控制器315可以控制安装元件330的位置和DOE 335的位置以校准可能由DCA 300的组件(例如，由DOE 335和/或投影组件340)引起的指向结构化光365的误差。
图4是示出根据实施方式的确定局部区域中的对象的深度信息的处理400的流程图。图4的处理400可由DCA(例如，DCA 300)的部件执行。在其他实施方式中，其他实体(例如，HMD和/或控制台)可以执行处理的一些或所有步骤。同样地，实施方式可以包括不同和/或附加步骤，或者以不同的顺序执行步骤。
DCA生成410(例如，经由控制器)发射指令。DCA可以向安装在DCA的壳体内的安装元件上的照明源、安装元件和/或DOE提供发射指令。基于发射指令，照明源可以发射一个或多个光束(一个或多个光脉冲)。基于发射指令，发射的光束可具有特定强度和/或调制(空间、时间等)。在一些实施方式中，DCA生成发射指令，该发射指令包含用于安装元件改变其相对于照明源的位置和/或角度定向的指令。
DCA使用安装在具有多个可调节位置的安装元件上的DOE和发射指令生成420(例如，经由DOE)衍射扫描光束。DOE衍射从照明源发射的一个或多个光脉冲以生成衍射扫描光束。衍射扫描光束可具有对于多个可调节位置中的安装元件的每个位置的唯一的图案。
DCA将衍射扫描光束作为结构化光投射430(例如，经由投影组件)到局部区域中。结构化光的图案可部分基于多个可调节位置中的安装元件的可调节位置而动态地调节。结构化光的图案可以实时变化，以在不同的时刻照亮局部区域的不同部分。
DCA捕获440(例如，经由成像装置)从局部区域中的一个或多个对象反射的结构化光的至少一部分的一个或多个图像。在一些实施方式中，成像装置包含捕获一个或多个图像的二维检测器像素阵列。在其他实施方式中，成像装置包括用于捕获一个或多个图像的一个以上相机。在一些实施方式中，成像装置包括偏振元件和相机，其中，偏振元件位于相机前方。该偏振元件被配置为接收具有特定偏振的经反射的结构化光的至少该部分并且将所接收的经反射的偏振光的该部分传播到相机。
DCA部分基于所捕获的一个或多个图像确定450(例如，经由控制器)一个或多个对象的深度信息。在一些实施方式中，DCA基于关于由一个或多个对象的形状扭曲的经反射的结构化光的图案的信息来确定一个或多个对象的深度信息。DCA还可部分基于所反射的结构化光的所捕获部分的偏振信息来确定一个或多个对象的深度信息。
在一些实施方式中，DCA被配置为HMD(例如图1中的HMD 100)的一部分。在一个实施方式中，DCA将确定的深度信息提供给耦接到HMD的控制台。然后，控制台被配置为基于深度信息生成用于在HMD的电子显示器上呈现的内容。在另一实施方式中，DCA基于深度信息将所确定的深度信息提供给生成用于在HMD的电子显示器上呈现的内容的HMD的模块。在替代实施方式中，DCA作为AR***的一部分被集成到HMD中。在这种情况下，DCA可以被配置为感测并显示佩戴HMD的用户的头部后面的对象或显示先前记录的对象。在又一实施方式中，DCA被集成到HMD外部的基站或传感器条中。在这种情况下，DCA可以被配置为感测佩戴HMD的用户(例如，用户的下身)的各个身体部分。在又一实施方式中，DCA被配置作为控制器的一部分或作为捕获***的一部分以捕获VR内容、AR内容或MR内容。
***环境
图5是其中控制台510操作的HMD***500的一个实施方式的框图。HMD***500可以在VR***环境、AR***环境、MR***环境或其中的一些组合中操作。图5所示的HMD***500包括HMD 505和耦接到控制台510的输入/输出(I/O)接口515。虽然图5示出了包括一个HMD505和I/O接口515的示例HMD***500，但是在其他实施方式中，任意数量的这些部件可以被包括在HMD***500中。例如，可能存在各自具有相关联的I/O接口515的多个HMD 505，其中每个HMD 505和I/O接口515与控制台510通信。在替换配置中，HMD***500中可以包括不同和/或附加的部件。另外，在一些实施方式中，结合图5中示出的一个或多个部件描述的功能可以以与结合图5描述的方式不同的方式分布在部件之间。例如，控制台510的功能中的一些或全部由HMD 505提供。
HMD 505是向用户呈现内容的头戴式显示器，该内容包括具有计算机生成的元素(例如，二维(2D)或三维(3D)图像、2D或3D视频、声音等)的物理、真实世界环境的虚拟和/或增强视图。在一些实施方式中，所呈现的内容包括经由外部装置(例如，扬声器和/或头戴式受话器)呈现的音频，该外部装置从HMD 505、控制台510或两者接收音频信息并且基于该音频信息呈现音频数据。HMD 505可以包括一个或多个刚体，该刚体可以刚性地或不刚性地耦接在一起。刚体之间的刚性耦接使耦接的刚体充当单个刚性实体。相反，刚体之间的非刚性耦接允许刚体相对于彼此移动。HMD 505的实施方式是以上结合图1描述的HMD 100。
HMD 505包括DCA 520、电子显示器525、光学组件530、一个或多个位置传感器535、IMU 540、可选的眼睛跟踪***545和可选的变焦模块550。HMD 505的一些实施方式具有与结合图5描述的那些不同的部件。另外，在其他实施方式中，由结合图5描述的不同部件提供的功能可在HMD 505的部件之间不同地分布。
DCA 520捕获描述围绕HMD 505的一些或全部的局部区域的深度信息的数据。DCA520可使用该数据(例如，基于结构化光图案的捕获部分)计算深度信息，或者DCA 520可将此信息发送到另一装置(例如控制台510)，其可使用来自DCA 520的数据确定深度信息。
DCA 520包括结构化光发生器、成像装置和耦接到结构化光发生器和成像装置的控制器。DCA 520的结构化光发生器被配置为根据发射指令用结构化光图案(例如，点图案、线图案等)照亮局部区域。DCA 520的结构化光发生器包括照明源、安装元件、DOE和投影组件。照明源被配置为部分基于发射指令发射一个或多个光脉冲。安装元件被配置为具有部分基于发射指令的相对于照明源的多个可调节位置。DOE安装在该安装元件上并且从该一个或多个光脉冲生成衍射扫描光束，衍射扫描光束对于多个可调节位置中的安装元件的每个位置具有不同的图案。投射组件被配置为将衍射扫描光束作为结构化光投射到局部区域中。结构化光的图案可部分基于多个可调节位置中的安装元件的可调节位置而动态地调节。DCA 520的成像装置捕获从局部区域中的一个或多个对象反射的结构化光的至少一部分的一个或多个图像。DCA 520的控制器生成发射指令并且将发射指令提供给结构化光发生器。DCA 520的控制器进一步部分基于所捕获的一个或多个图像来确定一个或多个对象的深度信息。DCA 520可以是图2中的DCA 240或图3中的DCA 300的实施方式。
电子显示器525根据从控制台510接收的数据向用户显示二维或三维图像。在不同实施方式中，电子显示器525包括单个电子显示器或多个电子显示器(例如，用于用户的每只眼睛的显示器)。电子显示器525的示例包括：液晶显示器(LCD)、有机发光二极管(OLED)显示器、无机发光二极管(ILED)显示器、有源矩阵有机发光二极管(AMOLED)显示器、透明有机发光二极管(TOLED)显示器、一些其他显示器或其中的一些组合。在一些实施方式中，电子显示器525可以表示图2中的电子显示器210。
光学组件530放大从电子显示器525接收的图像光、校正与图像光相关联的光学误差、并且向HMD 505的用户呈现经校正的图像光。光学组件530包括多个光学元件。包括在光学组件530中的示例光学元件包括：孔、菲涅耳透镜、凸透镜、凹透镜、滤波器、反射面或影响图像光的任何其他合适的光学元件。此外，光学组件530可包括不同光学元件的组合。在一些实施方式中，光学组件530中的一个或多个光学元件可具有一个或多个涂层，诸如部分反射或抗反射涂层。
光学组件530对图像光的放大率和聚焦允许电子显示器525比较大显示器在物理上小于、重量轻于、以及消耗更少的功率。另外，放大可增加由电子显示器525呈现的内容的视场。例如，所显示内容的视场使得所显示内容使用几乎全部的用户的视场(例如，约110度对角线)呈现，并且在一些情况下使用全部的用户的视场呈现。另外，在一些实施方式中，可通过添加或移除光学元件来调节放大量。
在一些实施方式中，光学组件530可被设计成校正一种或多种类型的光学误差。光学误差的示例包括桶形或枕形失真、纵向色差或横向色差。其他类型的光学误差可进一步包括由于透镜场曲、像散、或任何其他类型的光学误差而引起的球面像差、色差或误差。在一些实施方式中，提供给电子显示器525以显示的内容被预先失真，并且光学组件530在从电子显示器525接收其基于内容生成的图像光时校正失真。在一些实施方式中，光学组件530可表示图2中的光学组件220。
IMU 540是基于从一个或多个位置传感器535接收的测量信号和从DCA520接收的深度信息来生成指示HMD 505的位置的数据的电子装置。位置传感器535响应于HMD 100的运动生成一个或多个测量信号。位置传感器535的示例包含：一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计、检测运动的另一合适类型的传感器、一类用于IMU 540的误差校正的传感器或其中的一些组合。位置传感器535可以位于IMU 540的外部、IMU 540的内部、或其中的一些组合。
基于来自一个或多个位置传感器535的一个或多个测量信号，IMU 540生成指示HMD 505相对于HMD 505的初始位置的估计当前位置的数据。例如，位置传感器535包括多个加速计以测量平移运动(前/后、上/下、左/右)和多个陀螺仪以测量旋转运动(例如，倾斜、偏转、滚动)。在一些实施方式中，位置传感器535可表示图1中的位置传感器135。在一些实施方式中，IMU 540快速地对测量信号进行采样并且根据采样数据计算HMD 505的估计当前位置。例如，IMU 540将对从加速度计接收的测量信号随时间进行积分以估计速度矢量，并且将速度矢量随时间积分以确定HMD 100上的参考点的估计当前位置。可替代地，IMU 540将采样的测量信号提供给控制台510，控制台510解释数据以减少错误。参考点是可以用于描述HMD 505的位置的点。参考点通常可以被定义为空间中的点或与HMD 505的定向和位置相关的位置。
IMU 540从控制台510接收一个或多个参数。该一个或多个参数用于维持对HMD505的跟踪。基于接收到的参数，IMU 540可以调节一个或多个IMU参数(例如，采样率)。在一些实施方式中，某些参数使得IMU 540更新参考点的初始位置，使得其对应于参考点的下一位置。将参考点的初始位置更新为参考点的下一校准位置有助于减少与估计IMU 540的当前位置相关联的累积误差。累积误差(也称为漂移误差)导致参考点的估计位置随着时间远离参考点的实际位置“漂移”。在HMD 505的一些实施方式中，IMU 540可以是专用硬件部件。在其他实施方式中，IMU 540可以是在一个或多个处理器中实现的软件部件。在一些实施方式中，IMU 540可以表示图1中的IMU 130。
在一些实施方式中，眼睛跟踪***545被集成到HMD 505中。眼睛跟踪***545确定与佩戴HMD 505的用户的眼睛相关联的眼睛跟踪信息。由眼睛跟踪***545确定的眼睛跟踪信息可包括关于用户眼睛的定向的信息，即，关于眼睛注视的角度的信息。在一些实施方式中，眼睛跟踪***545被集成到光学组件530中。眼睛跟踪***545的实施方式可包括照明源和成像装置(相机)。
在一些实施方式中，变焦模块550进一步集成到HMD 505中。变焦模块550可以耦接到眼睛跟踪***545，以获得由眼睛跟踪***545确定的眼睛跟踪信息。变焦模块550可被配置为基于从眼睛跟踪***545获得的所确定的眼睛跟踪信息来调节在电子显示器525上显示的一个或多个图像的焦点。以此方式，变焦模块550可以缓解相对于图像光的聚散度适应冲突。变焦模块550可以与电子显示器525和光学组件530的至少一个光学元件中的至少一个进行接口连接(例如，机械地或电气地)。然后，变焦模块550可以被配置为基于从眼睛跟踪***545获得的所确定的眼睛跟踪信息，通过调节光学组件530中的至少一个光学元件和电子显示器525中的至少一者的位置，来调节在电子显示器525上显示的一个或多个图像的焦点。通过调节位置，变焦模块550改变从电子显示器525向用户的眼睛输出的图像光的焦点。变焦模块550还可以被配置为至少部分基于从眼睛跟踪***545获得的所确定的眼睛跟踪信息通过执行对所显示的图像的视点渲染来调节在电子显示器525上显示的图像的分辨率。在这种情况下，变焦模块550向电子显示器525提供适当的图像信号。变焦模块550仅在用户的眼睛注视的视点区域中提供具有电子显示器525的最大像素密度的图像信号，同时在电子显示器525的其他区域中提供具有较低像素密度的图像信号。在一个实施方式中，变焦模块550可以利用由DCA 520获得的深度信息来例如生成用于在电子显示器525上呈现的内容。
I/O接口515是允许用户发送动作请求并从控制台510接收响应的装置。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束图像或视频数据的捕获的指令或执行应用内的特定动作的指令。I/O接口515可以包括一个或多个输入装置。示例输入装置包括：键盘、鼠标、游戏控制器或用于接收动作请求并将动作请求传送到控制台510的任何其他合适的装置。由I/O接口515接收的动作请求被传送到控制台510，控制台510执行对应于动作请求的动作。在一些实施方式中，I/O接口515包括IMU 540，IMU 540捕获校准数据，该校准数据指示I/O接口515相对于I/O接口515的初始位置的估计位置。在一些实施方式中，I/O接口515可根据从控制台510接收的指令向用户提供触觉反馈。例如，当接收到动作请求时提供触觉反馈，或者控制台510向I/O接口515传送指令，从而使I/O接口515在控制台510执行动作时生成触觉反馈。
控制台510向HMD 505提供内容以根据从以下各项中的一项或多项接收的信息来处理：：DCA 520、HMD 505和I/O接口515。在图5所示的示例中，控制台510包括应用存储器555、跟踪模块560和引擎565。控制台510的一些实施方式具有与结合图5描述的模块或部件不同的模块或部件。类似地，下面进一步描述的功能可以与结合图5描述的方式不同的方式分布在控制台510的部件之间。
应用存储器555存储供控制台510执行的一个或多个应用。应用是一组指令，该组指令在由处理器执行时生成用于向用户呈现的内容。由应用生成的内容可以响应于经由HMD 505或I/O接口515的移动从用户接收的输入。应用的示例包括：游戏应用、会议应用、视频回放应用或其他合适的应用。
跟踪模块560使用一个或多个校准参数校准HMD***500并且可以调节一个或多个校准参数以减少对HMD 505或I/O接口515的位置的确定时的误差。例如，跟踪模块560将校准参数传送到DCA 520以调节DCA 520的焦点以更准确地确定由DCA 520捕获的结构化光元件的位置。跟踪模块560执行的校准还考虑从HMD 505中的IMU 540和/或I/O接口515中包括的IMU 540接收的信息。另外，如果HMD 505的跟踪丢失(例如，DCA 520失去至少阈值数目的结构化光元件的视线)，则跟踪模块560可重新校准HMD***500中的一些或全部。
跟踪模块560使用来自DCA 520、一个或多个位置传感器535、IMU 540或其中的一些组合的信息跟踪HMD 505或I/O接口515的移动。例如，跟踪模块550基于来自HMD 505的信息在局部区域的映射中确定HMD 505的参考点的位置。跟踪模块560还可以使用来自IMU540的指示HMD 505的位置的数据或者使用来自包括在I/O接口515中的IMU 540的指示I/O接口515的位置的数据来分别确定HMD 505的参考点或I/O接口515的参考点的位置。另外，在一些实施方式中，跟踪模块560可使用来自IMU 540的指示HMD 505的位置的数据的部分以及来自DCA 520的局部区域的表示以预测HMD 505的将来位置。跟踪模块560向引擎555提供HMD 505或I/O接口515的估计或预测的将来位置。
引擎565基于从HMD 505接收的信息生成围绕HMD 505的一些或全部的区域(即，“局部区域”)的3D映射。在一些实施方式中，引擎565基于从DCA 520接收的与在计算深度中使用的技术相关的信息来确定局部区域的3D映射的深度信息。引擎565可以使用从结构化光计算深度中的一种或多种技术来计算深度信息。在不同实施方式中，引擎565使用深度信息来例如更新局部区域的模型，并且部分基于更新的模型来生成内容。
引擎565还执行HMD***500内的应用并且从跟踪模块560接收HMD 505的位置信息、加速度信息、速度信息、预测的将来位置或其中的一些组合。基于所接收的信息，引擎565确定提供给HMD 505以供呈现给用户的内容。例如，如果接收到的信息指示用户已看向左侧，则引擎565生成反映用户在虚拟环境中或在利用附加内容增强局部区域的环境中的移动的HMD 505的内容。另外，引擎565响应于从I/O接口515接收的动作请求在控制台510上执行的应用内执行动作，并且向用户提供执行该动作的反馈。所提供的反馈可以是经由HMD505的视觉或可听反馈或经由I/O接口515的触觉反馈。
在一些实施方式中，基于从眼睛跟踪***545接收的眼睛跟踪信息(例如，用户的眼睛的定向)，引擎565确定提供给HMD 505以在电子显示器525上呈现给用户的内容的分辨率。引擎565将内容提供给HMD 505，该HMD 505在电子显示器525上在用户注视的视点区域中具有最大像素分辨率，而引擎565在电子显示器525的其他区域中提供较低像素分辨率，从而实现在HMD 505处的较少功率消耗并且节省控制台510的计算周期，而不损害用户的视觉体验。在一些实施方式中，引擎565还可以使用眼睛跟踪信息来调节在电子显示器525上显示对象的位置，以防止聚散度适应冲突。
附加配置信息
出于说明的目的已经呈现了本公开的实施方式的前述描述；该描述不旨在是穷尽的或者将本公开局限于所公开的精确形式。本领域的技术人员可以理解，在以上公开的教导下许多修改和变型是可能的。
本说明书的一些部分在对信息的操作的算法和符号表示方面描述本公开的实施方式。这些算法描述和表示通常由数据处理领域中的技术人员使用以将他们工作的实质有效地传达给本领域其他技术人员。这些运算，当被描述为功能性的、计算性的或逻辑性的时，被理解为由计算机程序或其他等同电路、微代码等实施。此外，已证明有时把这些运算的布置称为模块也是方便的，并且不失其一般性。运算及其关联模块可具体化为软件、固件、硬件或以上装置的任意组合。
本文的任何步骤、操作或流程可被一个或多个硬件或软件模块单独或与其他装置组合执行或实施。在一个实施方式中，软件模块可被计算机程序产品实施，该计算机程序产品包括包含计算机程序代码的计算机可读介质，该程序代码可由用于执行任何或所有步骤、操作或流程的计算机处理器执行。
本公开的实施方式还可以涉及用于执行本文中的操作的装置。这种装置可能是为所需的目的特别构造的，和/或该装置可包括由储存在计算机中的计算机程序选择性激活或重新配置的通用计算装置。这样的计算机程序可以以不透明的、有形的计算机可读存储介质或适合于存储电子指令的任何类型的介质来存储，这些电子指令可以耦接到计算机***总线。此外，在说明书中提及的任何计算***可以包括单个处理器，或者可以是采用多个处理器设计用于增加的计算能力的架构。
本公开的实施方式还可以涉及由本文描述的计算过程产生的产品。该产品可包括由计算过程产生的信息，其中，信息存储在非暂时性的有形计算机可读存储介质中并且可包括计算机程序产品或者本文所描述的其他数据组合的任何实施方式。
最后，原则上出于可读性和说明性的目的来选择本说明书中使用的语言，并且所使用的语言并不被选择来划定或者限制本发明的主题。因此，意图是本公开的范围不受该详细描述的限制，而是由在基于此的申请上发布的任何权利要求所限制。因此，实施方式的公开内容旨在是说明性的，而非限制在所附权利要求中阐述的本公开的范围。

Claims (20)

1.一种深度相机组件，包括：
结构化光发生器，被配置为根据发射指令用结构化光照亮局部区域，所述结构化光发生器包括：
照明源，被配置为部分基于发射指令发射一个或多个光脉冲；
安装元件，被配置为具有部分基于所述发射指令的相对于所述照明源的多个可调节位置，
衍射光学元件，安装在所述安装元件上，所述衍射光学元件从所述一个或多个光脉冲生成衍射扫描光束，所述衍射扫描光束对于所述多个可调节位置中的所述安装元件的每个位置具有不同的图案，以及
投影组件，所述投影组件被配置为将所述衍射扫描光束作为所述结构化光投射到所述局部区域中，所述结构化光的图案部分基于所述多个可调节位置中的所述安装元件的可调节位置而能够动态调节；
成像装置，被配置为捕获从所述局部区域中的一个或多个对象反射的所述结构化光的至少一部分的一个或多个图像；以及
控制器，被配置为：
生成所述发射指令，
向所述结构化光发生器提供所述发射指令，并且
部分基于所捕获的一个或多个图像来确定所述一个或多个对象的深度信息。
2.根据权利要求1所述的深度相机组件，其中，所述控制器进一步被配置为：
向所述照明源提供所述发射指令以控制发射所述一个或多个光脉冲；以及
部分基于所述发射指令，调节所述安装元件的位置以根据所述一个或多个光脉冲来定位所述衍射光学元件。
3.根据权利要求1所述的深度相机组件，其中，所述多个可调节位置中的所述安装元件的每个位置导致所述结构化光的唯一图案。
4.根据权利要求1所述的深度相机组件，其中，所述照明源包括：
光发射器，被配置为部分基于所述发射指令发射所述一个或多个光脉冲；
准直组件，被配置为将所述一个或多个光脉冲准直成准直光；
以及
棱镜，被配置为将所述准直光引导到所述衍射光学元件中。
5.根据权利要求1所述的深度相机组件，其中，所述照明源包括：
光发射器，被配置为部分基于所述发射指令发射所述一个或多个光脉冲；以及
单个光学元件，被配置为：
准直所述一个或多个光脉冲以生成准直光，并且将所述准直光引导到所述衍射光学元件中。
6.根据权利要求1所述的深度相机组件，其中，所述衍射光学元件以满足布拉格匹配条件的角度衍射入射到所述衍射光学元件的所述一个或多个光脉冲，以部分基于所述发射指令形成所述衍射扫描光束。
7.根据权利要求1所述的深度相机组件，其中，对所述一个或多个光脉冲进行时间调制，从而提供经时间调制的所述结构化光。
8.根据权利要求1所述的深度相机组件，其中，所述控制器进一步被配置为：
部分基于所确定的深度信息来动态地调节所述安装元件的位置。
9.根据权利要求1所述的深度相机组件，其中，所述控制器进一步被配置为：
部分基于与所述局部区域中的所述一个或多个对象相关的位置信息来动态地调节所述安装元件的位置。
10.根据权利要求1所述的深度相机组件，其中，所述控制器进一步被配置为：
部分基于所述发射指令来调节所述安装元件的位置，以改变所述衍射光学元件相对于所述照明源的角度位置。
11.根据权利要求1所述的深度相机组件，其中，所述控制器进一步被配置为：
部分基于所述发射指令调节所述安装元件的位置，以相对于所述照明源沿着一个维度平移所述衍射光学元件。
12.根据权利要求1所述的深度相机组件，所述控制器进一步被配置为：
获得关于与所述结构化光的图案相关的空间分辨率的信息；以及
基于关于所述空间分辨率的信息来调节所述安装元件的位置。
13.根据权利要求1所述的深度相机组件，所述控制器进一步被配置为：
通过调节所述安装元件的位置来控制与所述结构化光的图案相关的空间分辨率。
14.根据权利要求1所述的深度相机组件，其中，所述深度相机组件是头戴式显示器的部件。
15.一种用于深度感测的方法，包括：
生成发射指令；
部分基于所述发射指令，通过使用安装在具有多个可调节位置的安装元件上的衍射光学元件衍射一个或多个光脉冲，从所述一个或多个光脉冲生成衍射扫描光束，所述衍射扫描光束对于所述多个可调节位置中的所述安装元件的每个位置具有不同的图案；
将所述衍射扫描光束作为结构化光投射到局部区域中，所述结构化光的图案部分基于所述多个可调节位置中的所述安装元件的可调节位置而能够动态调节；
捕获从所述局部区域中的一个或多个对象反射的所述结构化光的至少一部分的一个或多个图像；以及
至少部分基于所捕获的一个或多个图像来确定所述一个或多个对象的深度信息。
16.根据权利要求15所述的方法，进一步包括：
部分基于所述发射指令来控制所述一个或多个光脉冲的发射；
以及
部分基于所述发射指令，调节所述安装元件的位置以根据所述一个或多个光脉冲来定位所述衍射光学元件。
17.根据权利要求15所述的方法，进一步包括：
部分基于所确定的深度信息来动态地调节所述安装元件的位置。
18.根据权利要求15所述的方法，进一步包括：
部分基于所述发射指令来调节所述安装元件的位置，以相对于照明源沿着一个维度平移所述衍射光学元件。
19.根据权利要求15所述的方法，进一步包括：
获得关于与所述结构化光的图案相关的空间分辨率的信息；以及
基于关于所述空间分辨率的信息来调节所述安装元件的位置。
20.一种头戴式显示器，包括：
电子显示器，被配置为发射图像光；
结构化光发生器，被配置为根据发射指令用结构化光照亮局部区域，所述结构化光发生器包括：
照明源，被配置为部分基于所述发射指令发射一个或多个光脉冲；
安装元件，被配置为具有部分基于所述发射指令的相对于所述照明源的多个可调节位置；
衍射光学元件，安装在所述安装元件上，所述衍射光学元件从所述一个或多个光脉冲生成衍射扫描光束，所述衍射扫描光束对于所述多个可调节位置中的所述安装元件的每个位置具有不同的图案；以及
投影组件，被配置为将所述衍射扫描光束作为所述结构化光投射到所述局部区域中，所述结构化光的图案部分基于所述多个可调节位置中的所述安装元件的可调节位置而能够动态调节；
成像装置，被配置为捕获从所述局部区域中的一个或多个对象反射的所述结构化光的至少一部分的一个或多个图像；
控制器，被配置为：
生成所述发射指令，
向所述结构化光发生器提供所述发射指令，并且
部分基于所捕获的一个或多个图像来确定所述一个或多个对象的深度信息；以及
光学组件，被配置为将所述图像光引导至所述头戴式显示器的与用户的眼睛的位置相对应的眼箱，所述图像光包含所确定的深度信息。
CN201811003640.2A 2017-08-31 2018-08-30 深度相机组件、头戴式显示器和用于深度感测的方法 Active CN109425994B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110618491.6A CN113296265B (zh) 2017-08-31 2018-08-30 深度相机组件、头戴式显示器和用于深度感测的方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/693,297 US10586342B2 (en) 2017-08-31 2017-08-31 Shifting diffractive optical element for adjustable depth sensing resolution
US15/693,297 2017-08-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110618491.6A Division CN113296265B (zh) 2017-08-31 2018-08-30 深度相机组件、头戴式显示器和用于深度感测的方法

Publications (2)

Publication Number Publication Date
CN109425994A true CN109425994A (zh) 2019-03-05
CN109425994B CN109425994B (zh) 2021-06-08

Family

ID=65437647

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811003640.2A Active CN109425994B (zh) 2017-08-31 2018-08-30 深度相机组件、头戴式显示器和用于深度感测的方法
CN202110618491.6A Active CN113296265B (zh) 2017-08-31 2018-08-30 深度相机组件、头戴式显示器和用于深度感测的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110618491.6A Active CN113296265B (zh) 2017-08-31 2018-08-30 深度相机组件、头戴式显示器和用于深度感测的方法

Country Status (2)

Country Link
US (2) US10586342B2 (zh)
CN (2) CN109425994B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110430415A (zh) * 2019-03-26 2019-11-08 华为技术有限公司 一种物体深度信息的确定方法、电子设备和电路***
CN114830030A (zh) * 2019-12-30 2022-07-29 马特波特公司 捕获并生成全景三维图像的***和方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10904514B2 (en) 2017-02-09 2021-01-26 Facebook Technologies, Llc Polarization illumination using acousto-optic structured light in 3D depth sensing
US10613413B1 (en) 2017-05-31 2020-04-07 Facebook Technologies, Llc Ultra-wide field-of-view scanning devices for depth sensing
US10181200B1 (en) 2017-06-28 2019-01-15 Facebook Technologies, Llc Circularly polarized illumination and detection for depth sensing
US10386647B1 (en) * 2017-07-11 2019-08-20 Facebook, Inc. Magnetic interpupillary distance adjustment
US10551614B2 (en) 2017-08-14 2020-02-04 Facebook Technologies, Llc Camera assembly with programmable diffractive optical element for depth sensing
US10586342B2 (en) * 2017-08-31 2020-03-10 Facebook Technologies, Llc Shifting diffractive optical element for adjustable depth sensing resolution
US10574973B2 (en) 2017-09-06 2020-02-25 Facebook Technologies, Llc Non-mechanical beam steering for depth sensing
EP3724846A1 (en) * 2017-12-19 2020-10-21 Nokia Technologies Oy Gaze dependent foveated rendering apparatus, method, computer program and system
KR101961666B1 (ko) * 2017-12-21 2019-03-26 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN110086981B (zh) * 2018-01-25 2021-08-31 台湾东电化股份有限公司 光学***以及光学***的控制方法
US11682107B2 (en) * 2018-12-14 2023-06-20 Sony Corporation Depth of field adjustment in images based on time of flight depth maps
CN110196023B (zh) * 2019-04-08 2024-03-12 奥比中光科技集团股份有限公司 一种双变焦结构光深度相机及变焦方法
CN110262055A (zh) * 2019-05-24 2019-09-20 深圳奥比中光科技有限公司 投影模组、深度相机以及调节投影模组焦距的方法
US20200380454A1 (en) * 2019-06-03 2020-12-03 Zebra Technologies Corporation Method, System and Apparatus for Detecting Product Facings
US11676357B2 (en) 2019-07-26 2023-06-13 Hewlett-Packard Development Company, L.P. Modification of projected structured light based on identified points within captured image
KR20220047035A (ko) 2020-10-08 2022-04-15 삼성전자주식회사 객체의 깊이를 측정하는 디바이스 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160197452A1 (en) * 2010-02-02 2016-07-07 Apple Inc. Integrated structured-light projector
CN106019580A (zh) * 2016-07-19 2016-10-12 华中科技大学 一种具有超宽调谐范围的灵活宽型光学滤波器
CN106325511A (zh) * 2016-08-25 2017-01-11 安徽协创物联网技术有限公司 一种虚拟现实实现***

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003092819A (ja) 2001-09-18 2003-03-28 Sumitomo Wiring Syst Ltd 電気接続箱
CN1176351C (zh) 2002-10-09 2004-11-17 天津大学 动态多分辨率的三维数字成像的方法及装置
WO2011099409A2 (en) 2010-02-12 2011-08-18 Canon Kabushiki Kaisha Swept light source apparatus and imaging system including the same
US9870068B2 (en) 2010-09-19 2018-01-16 Facebook, Inc. Depth mapping with a head mounted display using stereo cameras and structured light
JP2012237604A (ja) 2011-05-10 2012-12-06 Sanyo Electric Co Ltd 情報取得装置、投射装置および物体検出装置
WO2013009676A1 (en) 2011-07-13 2013-01-17 Faro Technologies, Inc. Device and method using a spatial light modulator to find 3d coordinates of an object
US8749796B2 (en) 2011-08-09 2014-06-10 Primesense Ltd. Projectors of structured light
CN103309137B (zh) 2012-03-15 2015-05-20 苹果公司 光电设备及用于制造光电设备的方法
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
CN103576724B (zh) 2012-08-08 2016-08-10 联想(北京)有限公司 一种图像采集器、电子设备及光线调节方法
US20140307055A1 (en) * 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
CA2924622C (en) 2013-10-23 2020-03-10 Oculus Vr, Llc. Three dimensional depth mapping using dynamic structured light
CN106937531B (zh) 2014-06-14 2020-11-06 奇跃公司 用于产生虚拟和增强现实的方法和***
CN105338255B (zh) 2014-06-24 2019-04-26 联想(北京)有限公司 一种深度恢复调整方法及电子设备
CN106796661B (zh) 2014-08-12 2020-08-25 曼蒂斯影像有限公司 投影光图案的***、方法和计算机程序产品
JP6380091B2 (ja) 2014-12-26 2018-08-29 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
DE102015202182A1 (de) * 2015-02-06 2016-08-11 Siemens Aktiengesellschaft Vorrichtung und Verfahren zur sequentiellen, diffraktiven Musterprojektion
CN113358045A (zh) 2015-11-04 2021-09-07 奇跃公司 光场显示度量
US10708577B2 (en) 2015-12-16 2020-07-07 Facebook Technologies, Llc Range-gated depth camera assembly
US10349038B2 (en) 2016-01-04 2019-07-09 Facebook Technologies, Llc Dynamic control over structured illumination intensity
US10152121B2 (en) 2016-01-06 2018-12-11 Facebook Technologies, Llc Eye tracking through illumination by head-mounted displays
US10469722B2 (en) * 2016-08-29 2019-11-05 Facebook Technologies, Llc Spatially tiled structured light projector
CN110892716B (zh) * 2017-07-12 2022-11-22 镜泰公司 从环境中用于获取信息的***及方法
US10586342B2 (en) * 2017-08-31 2020-03-10 Facebook Technologies, Llc Shifting diffractive optical element for adjustable depth sensing resolution

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160197452A1 (en) * 2010-02-02 2016-07-07 Apple Inc. Integrated structured-light projector
CN106019580A (zh) * 2016-07-19 2016-10-12 华中科技大学 一种具有超宽调谐范围的灵活宽型光学滤波器
CN106325511A (zh) * 2016-08-25 2017-01-11 安徽协创物联网技术有限公司 一种虚拟现实实现***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110430415A (zh) * 2019-03-26 2019-11-08 华为技术有限公司 一种物体深度信息的确定方法、电子设备和电路***
WO2020192503A1 (zh) * 2019-03-26 2020-10-01 华为技术有限公司 一种物体深度信息的确定方法、电子设备和电路***
CN114830030A (zh) * 2019-12-30 2022-07-29 马特波特公司 捕获并生成全景三维图像的***和方法

Also Published As

Publication number Publication date
US20200151892A1 (en) 2020-05-14
CN113296265A (zh) 2021-08-24
CN109425994B (zh) 2021-06-08
US11450015B2 (en) 2022-09-20
US20190066316A1 (en) 2019-02-28
CN113296265B (zh) 2023-07-14
US10586342B2 (en) 2020-03-10

Similar Documents

Publication Publication Date Title
CN109425994A (zh) 深度相机组件、头戴式显示器和用于深度感测的方法
US10152121B2 (en) Eye tracking through illumination by head-mounted displays
CN109459849A (zh) 用于深度感测的非机械光束转向
US10551879B1 (en) Dynamic distortion correction for optical compensation
US10859838B1 (en) Compact head-mounted display for artificial reality
US10013055B2 (en) Eye tracking using optical flow
US11417005B1 (en) Polarized illumination and detection for depth sensing
US10469722B2 (en) Spatially tiled structured light projector
CN109565585A (zh) 用于深度信息确定的多发射器照明源
KR102510644B1 (ko) 깊이 감지를 위해 프로그래밍가능한 회절 광학 요소를 갖는 카메라 어셈블리
US10957059B1 (en) Multi-pattern depth camera assembly
CN108463740A (zh) 使用结构化光和飞行时间的深度映射
CN109791605A (zh) 基于眼睛跟踪信息的图像区域中的自适应参数
US10791283B2 (en) Imaging device based on lens assembly with embedded filter
KR20220099580A (ko) 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
CN110377148B (zh) 计算机可读介质、训练对象检测算法的方法及训练设备
CN109425305A (zh) 使用多个脉冲式结构光投影仪的深度测量
JP6349660B2 (ja) 画像表示装置、画像表示方法、および画像表示プログラム
US10574938B1 (en) Variable frame rate depth camera assembly
EP3445049B1 (en) Camera assembly with programmable diffractive optical element for depth sensing
US10690923B1 (en) Scanning system for a tiling display
US10685453B1 (en) Folded laser emitters for structured light applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Patentee before: Facebook Technologies, LLC

CP01 Change in the name or title of a patent holder