CN113016177B - 具有结构光源和飞行时间相机的深度测量组件 - Google Patents

具有结构光源和飞行时间相机的深度测量组件 Download PDF

Info

Publication number
CN113016177B
CN113016177B CN201880099465.3A CN201880099465A CN113016177B CN 113016177 B CN113016177 B CN 113016177B CN 201880099465 A CN201880099465 A CN 201880099465A CN 113016177 B CN113016177 B CN 113016177B
Authority
CN
China
Prior art keywords
sensor
illumination
structured light
pulse frequency
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880099465.3A
Other languages
English (en)
Other versions
CN113016177A (zh
Inventor
迈克尔·霍尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Meta Platforms Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meta Platforms Technologies LLC filed Critical Meta Platforms Technologies LLC
Publication of CN113016177A publication Critical patent/CN113016177A/zh
Application granted granted Critical
Publication of CN113016177B publication Critical patent/CN113016177B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813—Housing arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

深度测量组件(DMA)包括照明源，该照明源以时间脉冲频率将光脉冲(例如，结构光)投射到局部区域中。DMA包括传感器，该传感器捕获从局部区域反射的光脉冲的图像，并使用捕获的图像中的一个或更多个图像来确定光脉冲的一个或更多个TOF相移。该DMA包括耦合到传感器的控制器，并且该控制器被配置为基于一个或更多个TOF相移来确定到局部区域中的对象的第一组估计径向距离。控制器基于结构光的编码和捕获的图像中的至少一个图像来确定到对象的第二估计径向距离。控制器从第一组径向距离中选择估计径向距离。

Description

具有结构光源和飞行时间相机的深度测量组件
背景
本公开总体上涉及用于确定局部区域的深度的***，更具体地说，涉及用于人工现实***的头戴装置(headset)，该头戴装置利用结构光源获得局部区域的深度信息。
在任意环境中定位对象可能在从人工现实到自主设备的许多不同的情境中有用。存在许多技术来确定任意环境的三维映射。一些依赖飞行时间(TOF)计算来确定深度信息，而另一些可能使用结构光图案。然而，这两种技术都有许多缺点。基于结构光的深度相机可能没有充分利用传感器像素密度，最大范围受到基线(baseline)的限制，并且计算成本通常较高。基于TOF的深度相机受到多径误差的影响，并且在单个曝光窗口期间需要多个脉冲光频率。
概述
本文描述了一种基于结构光的TOF深度测量组件(DMA)，其利用结构光的空间编码和TOF计算。DMA可以被结合到头戴式显示器(HMD)中，以在任意环境中确定深度信息。在人工现实***中，虚拟内容可以基于由DMA确定的深度信息而被覆盖(overlay)在用户环境的顶部。
一种DMA包括照明源，该照明源被配置成以多个时间脉冲频率将光脉冲(例如，其中强度图案也是空间结构化的)投射到局部区域中。该DMA包括传感器，该传感器被配置为捕获从局部区域反射的光脉冲的图像，并且使用捕获的图像中的一个或更多个图像来确定光脉冲的一个或更多个TOF相移。该DMA包括耦合到传感器的控制器，并且该控制器被配置为基于一个或更多个TOF相移来确定到局部区域中的对象的第一组估计径向距离(estimated radial distance)。控制器基于结构光的编码和捕获的图像中的至少一个图像来确定到对象的第二估计径向距离。控制器部分地基于第二估计径向距离从第一组径向距离中选择估计径向距离。
根据本发明的实施例在涉及深度测量组件(DMA)的所附权利要求中被具体公开，其中在一个权利要求类别(例如DMA)中提到的任何特征也可以在另一个权利要求类别(例如头戴式显示器(HMD)、***、存储介质、计算机程序产品和方法)中被要求保护。所附权利要求中的从属性或往回引用仅出于形式原因而被选择。然而，也可以要求保护由对任何前面权利要求的有意往回引用(特别是多项引用)而产生的任何主题，使得权利要求及其特征的任何组合被公开并可被要求保护，而不考虑在所附权利要求中选择的从属性。可以被要求保护的主题不仅包括如在所附权利要求中阐述的特征的组合，而且还包括在权利要求中的特征的任何其他组合，其中，在权利要求中提到的每个特征可以与在权利要求中的任何其他特征或其他特征的组合相结合。此外，本文描述或描绘的实施例和特征中的任一个可以在单独的权利要求中和/或以与本文描述或描绘的任何实施例或特征的任何组合或以与所附权利要求的任何特征的任何组合被要求保护。
在一个实施例中，深度测量组件(DMA)可以包括：
照明源，其中该照明源被配置成以时间脉冲频率将光脉冲投射到局部区域中；
传感器，其被配置为：
捕获从局部区域反射的光脉冲的图像，以及
使用捕获的图像中的一个或更多个图像来确定光脉冲的一个或更多个飞行时间(TOF)相移；和
控制器，其耦合到所述传感器，并被配置为：
基于一个或更多个TOF相移来确定到局部区域中的对象的第一组估计径向距离，
基于结构光的编码和捕获的图像中的至少一个图像，确定到对象的第二估计径向距离，以及
部分地基于第二估计径向距离，从第一组径向距离中选择估计径向距离。
在一个实施例中，一种深度测量组件(DMA)可以包括：
照明源，其中该照明源被配置成以一个或更多个时间脉冲频率将光脉冲投射到局部区域中；
传感器，其被配置为：
捕获从局部区域反射的光脉冲的图像，以及
使用捕获的图像中的一个或更多个图像来确定光脉冲的一个或更多个飞行时间(TOF)相移；和
控制器和/或人工现实设备，其耦合到传感器并被配置成：
基于一个或更多个TOF相移来确定到局部区域中的对象的第一组估计径向距离，
基于结构光的编码和捕获的图像中的至少一个图像，确定到对象的第二估计径向距离，以及
部分地基于第二估计径向距离，从第一组径向距离中选择估计径向距离。
照明源可以被配置成在第一时间以第一时间脉冲频率，并且在第一时间之后的第二时间以第二时间脉冲频率投射结构光脉冲。
对于第一时间脉冲频率和第二时间脉冲频率中的每一个，传感器可以被配置为：
使用具有相对于脉冲照明(pulsed illumination)的第一定时偏移的第一门控快门窗口(gated shutter window)捕获第一原始数据；
在具有相对于脉冲照明的第二定时偏移的第二门控快门窗口中捕获第二原始数据，以及
在具有相对于脉冲照明的第一定时偏移的第三门控快门窗口中捕获第三原始数据。
可以在捕获第二原始数据之前读出处于第一时间脉冲频率的第一原始数据，并且可以在捕获处于第一时间脉冲频率的第三原始数据之前读出处于第一时间脉冲频率的第二原始数据。
传感器可以包括多个增强像素(augmented pixel)，并且每个增强像素可以包括三个电荷存储区域，其中在第一时间脉冲频率，第一电荷存储区域可以在具有相对于脉冲照明的第一定时偏移的第一门控快门窗口中收集与第一原始捕获相关联的电荷，第二组电荷存储区域可以在具有相对于脉冲照明的第二定时偏移的第二门控快门窗口中收集与第一原始捕获相关联的电荷，并且第三组电荷存储区域可以在具有相对于脉冲照明的第三定时偏移的第三门控快门窗口中收集与第一原始捕获相关联的电荷。
在第二时间脉冲频率，第一电荷存储区域可以在具有相对于脉冲照明的第一定时偏移的第一门控快门窗口中收集与第二原始捕获相关联的电荷，第二组电荷存储区域可以在具有相对于脉冲照明的第二定时偏移的第二门控快门窗口中收集与第二原始捕获相关联的电荷，并且第三组电荷存储区域可以在具有相对于脉冲照明的第三定时偏移的第三门控快门窗口中收集与第二原始捕获相关联的电荷。
可以在处于第二时间脉冲频率的第二原始捕获之前读出处于第一时间脉冲频率的第一原始捕获。
投射的光脉冲可以由被结构光点图案覆盖的泛光照明(flood illumination)组成，其中点图案中的每个点具有比泛光照明的亮度更亮的亮度。
投射的光脉冲可以由被结构光点图案覆盖的泛光照明组成，其中点图案中的每个点具有小于泛光照明的亮度值的亮度值。
照明源和传感器之间的距离可以是50mm或更小。
控制器和/或人工现实设备可以被配置成基于从第一组径向距离中选择的估计径向距离来获得局部区域的深度图(depth map)。
在一个实施例中，深度测量组件(DMA)，特别是根据任何上面提到的实施例的深度测量组件(DMA)，可以包括：
照明源，其中该照明源被配置成以一个或更多个时间脉冲频率将光脉冲投射到局部区域中；
传感器，其被配置为：
捕获从局部区域反射的光脉冲的图像，以及
使用捕获的图像中的一个或更多个图像来确定光脉冲的一个或更多个飞行时间(TOF)相移；和
人工现实设备，其耦合到所述传感器并被配置成：
基于一个或更多个TOF相移来确定到局部区域中的对象的第一组估计径向距离，
基于结构光的编码和捕获的图像中的至少一个图像，确定到对象的第二估计径向距离，以及
部分地基于第二估计径向距离，从第一组径向距离中选择估计径向距离。
人工现实设备可以被配置成基于从第一组径向距离中选择的估计径向距离来获得局部区域的深度图。
人工现实设备可以是头戴式显示器(HMD)，而DMA可以是HMD的一部分，HMD可以包括：
电子显示元件，其被配置为部分地基于局部区域的深度图来显示虚拟对象，以及
光学块，其被配置为将来自电子显示元件的光导向HMD的出射光瞳。
照明源可以被配置成在第一时间以第一时间脉冲频率，并且在第一时间之后的第二时间以第二时间脉冲频率投射结构光脉冲。
对于第一时间脉冲频率和第二时间脉冲频率中的每一个，传感器可以被配置为：
使用具有相对于脉冲照明的第一定时偏移的第一门控快门窗口捕获第一原始数据；
在具有相对于脉冲照明的第二定时偏移的第二门控快门窗口中捕获第二原始数据，以及
在具有相对于脉冲照明的第一定时偏移的第三门控快门窗口中捕获第三原始数据。
可以在捕获第二原始数据之前读出处于第一时间脉冲频率的第一原始数据，并且可以在捕获处于第一时间脉冲频率的第三原始数据之前读出处于第一时间脉冲频率的第二原始数据。
传感器可以包括多个增强像素，并且每个增强像素可以包括3个电荷存储区域，其中在第一时间脉冲频率，第一电荷存储区域可以在具有相对于脉冲照明的第一定时偏移的第一门控快门窗口中收集与第一原始捕获相关联的电荷，第二组电荷存储区域可以在具有相对于脉冲照明的第二定时偏移的第二门控快门窗口中收集与第一原始捕获相关联的电荷，并且第三组电荷存储区域可以在具有相对于脉冲照明的第三定时偏移的第三门控快门窗口中收集与第一原始捕获相关联的电荷。
在第二时间脉冲频率，第一电荷存储区域可以在具有相对于脉冲照明的第一定时偏移的第一门控快门窗口中收集与第二原始捕获相关联的电荷，第二组电荷存储区域可以在具有相对于脉冲照明的第二定时偏移的第二门控快门窗口中收集与第二原始捕获相关联的电荷，并且第三组电荷存储区域可以在具有相对于脉冲照明的第三定时偏移的第三门控快门窗口中收集与第二原始捕获相关联的电荷。
可以在处于第二时间脉冲频率的第二原始捕获之前读出处于第一时间脉冲频率的第一原始捕获。
在本发明的另一实施例中，一个或更多个计算机可读非暂时性存储介质体现软件，该软件在被执行时可操作来在根据本发明或任何上面提到的实施例的DMA或***中执行。
在本发明的另一实施例中，一种计算机实现的方法使用根据本发明或任何上面提到的实施例的DMA或***。
在本发明的另一实施例中，优选地包括计算机可读非暂时性存储介质的计算机程序产品在根据本发明或任何上面提到的实施例的DMA或***中被使用。
附图简述
图1是根据一个或更多个实施例的HMD的示意图。
图2是根据一个或更多个实施例的HMD的前刚体的横截面。
图3是根据一个或更多个实施例的传统结构光DMA的操作图。
图4是根据一个或更多个实施例的结构化TOF深度传感器的操作图。
图5是根据一个或更多个实施例的结构化TOF深度传感器的相位图(phase map)的一部分。
图6A是根据一个或更多个实施例的具有三个捕获窗口的结构化TOF深度传感器的像素时序图。
图6B是根据一个或更多个实施例的具有增强像素的结构化TOF深度传感器的像素时序图。
图7是根据一个或更多个实施例的与利用图6A和图6B的光电二极管传感器的结构化TOF深度传感器的操作相关的时序图。
图8是根据一个或更多个实施例的用于确定到对象的径向距离的方法的流程图。
图9是根据一个或更多个实施例的用于提供人工现实内容的***环境的框图。
附图的详细说明
通过头戴式显示器(HMD)向用户提供人工现实内容通常依赖于在任意环境中定位用户的位置，并确定在任意环境内周围事物的三维映射。然后，可以在虚拟环境中表示任意环境内的用户的周围事物，或者可以用附加内容覆盖用户的周围事物。
传统的HMD包括一个或更多个定量深度相机，以确定用户环境内用户的周围事物。通常，传统的深度相机使用结构光或飞行时间(TOF)来确定HMD在环境内的位置。结构光深度相机使用主动照明源将已知图案投射到HMD周围的环境中。结构光使用光的图案(例如，点、线、条纹等)。该图案使得环境的一些部分被照亮(例如，用点照亮)，而其他部分(例如，图案中点之间的空间)没有被照亮。用结构光照射的环境的图像用于确定深度信息。然而，结构光图案导致投射图案的结果图像的重要部分(signification portion)不被照亮。这低效地使用了捕获结果图像的传感器的像素分辨率；例如，结构光深度相机对图案进行的投射导致少于10％的传感器像素从投射图案收集光，同时需要照亮多个传感器像素来执行单个深度测量。此外，即使***不受SNR的限制，范围(range)也受到相机与照明之间的基线距离的限制。此外，为了从结构光获得高质量的深度，计算复杂度可能很大。
TOF深度相机测量被投射到深度相机周围的环境中并返回到传感器阵列上的像素的光的往返传播时间。当均匀照明图案被投射到环境中时，TOF深度相机能够通过每个传感器像素独立地测量环境中不同对象的深度。然而，入射到传感器像素上的光可能是从深度相机周围的环境中的多条光路接收的光的组合。解析入射到传感器像素上的光的光路的现有技术在计算上是复杂的，并且不能完全消除环境中光路之间的歧义。此外，TOF深度相机通常需要在多于一个的照明脉冲频率上进行多次图像捕获。通常很难在短曝光时间内保持足够的信噪比性能，这可能会限制传感器减少总捕获时间的能力。
本文描述了一种基于结构光的TOF深度测量组件(DMA)，其利用结构光的空间编码和TOF计算。DMA将结构光或结构光和均匀泛光照明的组合发射到局部区域中。相机组件累积与TOF相移相关联的电荷，并且与相机组件信号通信的控制器基于TOF相移确定局部区域中的对象的多个估计径向距离。使用空间光编码，控制器选择估计径向距离中的一个，并将其与三角测量(triangulation)计算相结合，以确定对象的深度信息。因此，DMA可以提高相机传感器的效率，因为结构光可以与均匀的泛光(flood light)一起被检测到。DMA还提高了传统TOF深度相机的信噪比性能，因为在相同的曝光时间内需要更少的图像捕获(和相关联的读出时间)。另外的改进将在下面进一步详细描述。DMA可以被结合到头戴式显示器(HMD)中，以在任意环境中确定深度信息。在人工现实***中，虚拟内容可以基于由DMA确定的深度信息而被覆盖在用户环境的顶部。
本公开的实施例可以包括人工现实***或结合人工现实***来被实现。人工现实是一种在呈现给用户之前以某种方式被调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混杂现实(hybrid reality)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与所捕获的(例如，真实世界)内容组合地生成的内容。人工现实内容可以包括视频、音频、触觉反馈、或其某种组合，且其中任何一个都可以在单个通道中或在多个通道(例如向观看者产生三维效果的立体视频)中被呈现。此外，在一些实施例中，人工现实还可以与用于例如在人工现实中创建内容和/或以其他方式在人工现实中被使用(例如，在人工现实中执行活动)的应用、产品、附件、服务或其某种组合相关联。可以在各种平台(包括连接到主计算机***的头戴式显示器(HMD)、独立的HMD、移动设备或计算***、或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台)上实现提供人工现实内容的人工现实***。
图1是根据一个或更多个实施例的HMD 100的示意图。HMD 100包括前刚体120和带130。在一些实施例中，HMD 100的部分可以是透明的或部分透明的，例如前刚体120的任一侧上的HMD 100的侧面。图1所示的HMD 100还包括深度测量组件(未完全示出)的实施例，该深度测量组件包括相机组件180和照明源170，这将在下面结合图2-图9进一步描述。前刚体120包括电子显示器(未示出)的一个或更多个电子显示元件。前刚体120可选地包括惯性测量单元(IMU)140、一个或更多个位置传感器150和参考点160。
图2是根据一个或更多个实施例的图1的HMD 100的前刚体120的横截面200。如图2所示，前刚体120包括电子显示器220和光学块230，它们一起向视窗(eye box)240提供图像光。视窗240是空间中由用户的眼睛250占据的区域。在一些实施例中，前刚体120还包括用于跟踪眼睛250在视窗240中的位置(即，眼睛注视)的眼睛***(未示出)，以及耦合到深度测量组件(DMA)210和电子显示器220的控制器216。为了说明的目的，图2示出了与单只眼睛250相关联的横截面200，但是与光学块230分离的另一个光学块(未示出)向用户的另一只眼睛提供改变的图像光。
在图2所示的实施例中，HMD 100包括DMA 210，该DMA 210包括照明源170(又名结构光源)、相机组件180和控制器216。注意，在图示的实施例中，DMA 210是HMD 100的一部分。在替代实施例中，DMA 210可以是近眼显示器、某个其他HMD或用于深度确定的某个设备的一部分。DMA 210用作基于结构光的TOF深度传感器，例如参考图4进一步详细描述的结构化TOF深度传感器400。
在各种实施例中，照明源170发射具有编码的周期性图案的结构光，该图案可以是任何结构光图案，例如点图案、方波图案、正弦图案、某种其他编码的结构光图案或其某种组合。在一些实施例中，照明源170发射用非周期性图案(例如，伪随机点图案被设计成伪随机的)编码的结构光(例如，使得三角测量不会被相同的周期混淆)。在一些实施例中，照明源170将一系列正弦波(sinusoid)发射到HMD 100周围的环境中，每个正弦波具有不同的相移。在各种实施例中，照明源170包括被配置成产生正弦干涉图案的声光调制器。然而，在其他实施例中，照明源170包括声光器件、电光器件、物理光学器件、光学干涉、衍射光学器件或被配置成产生周期性照明图案的任何其他合适的部件中的一个或更多个。
在各种实施例中，照明源170将结构光和均匀泛光照明发射到局部区域260中。例如，投射的光脉冲可以由被结构光点图案覆盖的泛光照明组成，其中点图案中的每个点具有大于泛光照明的亮度值的亮度值。在一些实施例中，照明源170可以包括发射结构光的光源和发射均匀泛光照明的第二光源。向结构光添加均匀泛光照明提高了相机组件180的传感器像素利用的效率，因为额外的光增强了结构光束之间的任何间隙。
在其他实施例中，可以投射反向点图案(inverse dot pattern)，由此将平滑变化的照明投射到具有位于不同位置的“暗点(dark dots)”的区域中。在该实施例中，点是投影中亮度值至少比点之间的空间暗阈值量的位置。在一些实施例中，点由不发光来表示，而相邻点之间的空间使用至少某种级别的照明来表示。例如，投射的光脉冲可以由被结构光点图案覆盖的泛光照明组成，其中点图案中的每个点具有小于泛光照明的亮度值的亮度值。在这种情况下，结构光检测可以识别缺少照明的区域，并且TOF测量将测量投射了照明的区域的径向深度。结构光检测可以用作插值点来消除相邻TOF测量的歧义。因此，反向点图案可以有助于提高传感器像素利用率。
在各种实施例中，照明源170以脉冲速率频率发射光。对于单个深度测量，可以将多个脉冲速率频率的光发射到局部区域260中。因此，在单个捕获窗口期间，照明源170可以发射不同脉冲速率频率的光。这将参照图5-图8进一步详细描述。
相机组件180捕获局部区域260的图像。相机组件包括对从照明源170发射的光敏感的一个或更多个相机。相机组件180中的一个或更多个相机中的至少一个相机用于检测结构光并且位于结构化TOF深度传感器中，例如参考图4进一步详细描述的结构化TOF深度传感器400。在一些实施例中，一个或更多个相机也可能对其他波段的光(例如，可见光)敏感。捕获的图像用于计算局部区域260内的不同位置相对于HMD 100的深度，如下面结合图3-图9进一步描述的。前刚体120还具有与光传播穿过前刚体120所沿着的路径相对应的光轴。在一些实施例中，相机组件180沿着光轴定位，并且捕获局部区域260的图像，局部区域260是相机组件180的视场内前刚体120周围的环境的一部分。局部区域260内的对象反射入射的环境光以及由照明源170投射的光，该光随后被相机组件180捕获。
相机组件180使用包括多个像素的传感器捕获投射到局部区域260上的周期性照明图案的图像。该传感器可以是参照图4进一步详细描述的传感器404。相机组件180的传感器可以由二维像素阵列组成。每个像素捕获来自局部区域260的由照明源170发射的光的强度。因此，相机组件180的传感器可以检测由照明源170发射并从局部区域260反射的结构光，或者结构光和均匀泛光照明和/或从局部区域260反射的环境光的组合。在一些实施例中，像素检测不同相位的相移和光脉冲频率。在一些实施例中，传感器的像素在连续的捕获窗口中检测不同的相位和光脉冲频率。在一些实施例中，相机组件180的传感器的像素是增强像素，其具有多于一个像素上(on-pixel)电荷存储区域(也称为仓(bin))，并且在单个捕获窗口期间收集不同相位的电荷。参照图6A-图7进一步详细描述了这些实施例。
控制器216使用由相机组件180捕获的信息(例如，图像)来确定深度信息。控制器216估计局部区域260中的对象的深度。控制器216从相机组件180的传感器接收电荷信息。相机组件180的传感器累积与不同相位的光相关联的电荷。相机组件180的传感器将电荷信息传送给控制器216。控制器216基于由相机组件180检测到的结构光的相移来估计径向深度信息。然后使用结构光编码来消除TOF计算的估计深度之间的歧义。参照图3-图9进一步详细描述了该过程。参照图9进一步详细描述了控制器216。
电子显示器220可以被配置为根据从控制台(图1中未示出)(例如参考图9进一步详细描述的控制台910)接收的数据向用户显示图像。电子显示器220可以在限定的时间段期间发射多个图像。在各种实施例中，电子显示器220可以包括单个电子显示器或多个电子显示器(例如，用户的每只眼睛一个显示器)。电子显示器的示例包括：液晶显示器(LCD)、有机发光二极管(OLED)显示器、无机发光二极管(ILED)显示器、有源矩阵有机发光二极管(AMOLED)显示器、透明有机发光二极管(TOLED)显示器、某个其它显示器、投影仪或它们的某种组合。
光学块230放大从电子显示器220接收的图像光，校正与图像光相关联的光学像差，并且将校正后的图像光呈现给HMD 100的用户。光学块230的至少一个光学元件可以是光圈、菲涅尔透镜、折射透镜、反射面、衍射元件、波导、滤光器或影响从电子显示器220发射的图像光的任何其他合适的光学元件。此外，光学块230可以包括不同光学元件的组合。在一些实施例中，光学块230中的一个或更多个光学元件可以具有一个或更多个涂层，例如抗反射涂层、二向色涂层(dichroic coatings)等。光学块230对图像光的放大允许电子显示器220的元件比更大的显示器物理上更小、重量更轻、功耗更低。另外，放大可以增加所显示媒体的视场。例如，所显示媒体的视场使得使用几乎所有的用户视场(例如，110度对角线)，并且在某些情况下使用所有的视场来呈现所显示的媒体。此外，在一些实施例中，可以通过添加或移除光学元件来调整放大量。
图3是根据一个或更多个实施例的传统的基于结构光的深度确定设备300的操作图。在传统的基于结构光的深度确定设备中，结构光源302将结构光发射到环境中。该结构光具有编码的结构图案，并且可以以脉冲频率进行脉冲输送。结构光被投射到环境中，并且可以从环境中的表面或任何三维对象反射回传感器304。环境中的任何表面或三维对象都会使来自结构光源302的输出图案失真。使用三角测量计算，从传感器304接收信息的控制器(未示出)可以将失真的图案与发射的图案进行比较，以确定环境中的对象离传感器304的距离R 316。
三角测量计算依赖于以下关系式：
Figure GDA0004088187520000131
其中R是对象离传感器304的距离R 316，B是从结构光源302到传感器304的基线306距离，θ是投射光和基线306之间的角度θ314，以及α是从对象反射的光和传感器表面304之间的角度α312。基线距离306B和发射光角度θ314是固定的，并且由基于结构光的深度确定设备和编码的结构光的结构来定义。为了确定α312，控制器将像素强度的二维图像与已知的结构图案进行比较，以识别来自结构光源302的原始图案。在传统的基于结构光的深度确定设备中，该过程将需要在结构光编码的整个范围上进行全对极码搜索(full epipolarcode search)308。在确定α312的值之后，控制器使用关系式(1)执行三角测量计算。
这种确定环境中的对象位置的传统方法有许多缺点。全对极码搜索308可能需要更长的计算时间，因此增加了来自结构光源302的输出光和控制器记录环境中对象的存在和位置之间的时间。在传统的基于结构光的深度确定设备用于人工现实***的例子中，这种延迟可能是明显的，因为确定对象的位置可能是向用户显示虚拟内容的步骤，导致显示图像的视觉滞后。另外，传统的基于结构光的深度确定设备具有由从结构光源302到传感器304的基线306距离定义的范围限制310。结构光源302和传感器304之间的基线306的距离越长，传统的基于结构光的深度确定设备的深度范围就越大。在传统的基于结构光的深度确定设备被结合到另一个设备中的情况下，对于该另一个设备，形状因子是重要的，这可能导致设备的范围限制或者对设备的尺寸约束，以便实现足够大的范围。此外，结构光包含由没有照明的区域包围的图案化的光星座(constellations of light)。如果传感器304是基于像素的传感器，这导致图像的显著未被照亮的部分，这在某些情况下可能导致传感器中的像素利用不足(例如，少于10％的传感器阵列收集来自有源结构光源302的光)。
图4是根据一个或更多个实施例的结构化TOF深度传感器400的示意图。结构化TOF深度传感器400可以是DMA 210的实施例。在结构化TOF深度传感器400中，照明源402与TOF传感器404相结合，以利用TOF计算和结构光编码。照明源402可以是照明源170，而TOF传感器404可以是相机组件180的一部分。结构化TOF深度传感器400还包括控制器412，控制器412可以是如参考图2进一步详细描述的DMA 210的控制器216。结构光编码与TOF计算的结合允许与基线306相比减小的基线406，而不牺牲感测范围的深度。结构化TOF深度传感器400还减少了与码搜索相关联的计算，因为TOF计算将全对极码搜索308限制为TOF受限对极搜索408。这将在下面进一步详细描述。
在一些实施例中，照明源402将结构光发射到环境(例如局部区域260)中。照明源402可以以一个或更多个脉冲频率速率(又名脉冲频率)发射结构光。在一些示例中，照明源402以不同的时间脉冲频率速率按顺序发射结构光。这将参照图5-图9进一步详细描述。在一些实施例中，照明源402发射任何结构光图案，例如对称或准随机的点图案、网格、水平条、周期性结构或任何其他图案。结构光被投射到环境中，并且可以从环境中的表面或任何三维对象反射。反射的结构光然后从对象被引导回到传感器404。在一些实施例中，除了均匀泛光照明之外，照明源402或本文描述的任何其他光源同时发射结构光。因此，照明源402可以发射结构光和均匀泛光照明两者。在其他实施例中，照明源402或本文描述的任何其他光源可以发射结构光，而第二光源发射均匀泛光照明。
传感器404可以是快速光电二极管阵列，或者具有二维像素阵列的任何其他TOF传感器。传感器404可以是位于相机组件180中的传感器之一。控制器412根据传感器404提供的信息确定光从照明源402传播到环境中的对象并回到传感器404平面所花费的时间。这可以通过在像素处累积与反射光的不同相位相关联的电荷来确定。像素信息被传送到控制器412，控制器412然后执行TOF相移计算以生成局部区域中的对象的估计径向深度。在一些示例中，传感器404可以在不同的曝光窗口期间针对照明源402的不同输出脉冲频率测量不同组的相移。这将参照图5-图9进一步详细描述。与传统的基于结构光的深度确定设备中的传感器304不同，传感器404因此测量来自照明源402的结构光的多个相移，而不是累积电荷以用于计算三角测量。
参考图4，控制器412使照明源402发射处于两个不同脉冲频率(例如，40MHz和100MHz)的脉冲结构光。传感器404捕获反射脉冲，并且控制器使用捕获的数据和TOF深度确定技术来确定一组可能的距离。
根据由传感器404检测到的多个相移产生的照明源402的TOF测量可能没有被完全消除歧义。例如，使用单个时间脉冲频率，控制器412的TOF测量可以产生几个深度估计，每个深度估计由TOF计算中的2π歧义产生。因此，TOF测量可以产生多个相移估计，每个相移估计都是TOF计算的可能解，并且彼此隔开2π的因子。多个相移估计中的每一个导致对象的不同深度测量。这在图4中被示为相位估计410a、相位估计410b和相位估计410c(统称为410)。估计410定义了环境中被检测对象的可能径向深度的离散区域。
为了区分根据TOF计算产生的深度估计，控制器412使用来自传感器404捕获的至少一个图像中的结构光的深度信息。因此，控制器412可以将传感器404产生的图像与照明源402图案的编码进行比较。控制器412可以是如图2所示的控制器216。这可以由控制器412使用包含结构光编码的查找表(LUT)来完成。因此，代替全对极码搜索308，控制器412在用TOF计算做出的估计的区域中执行TOF受限对极搜索408。通过将来自传感器404的图像与结构光编码进行比较，控制器412消除TOF估计的歧义，并且选择相位估计之一作为正确相位，并从一组径向深度估计中选择对应的正确径向距离。注意，TOF连同SL的使用允许快速确定深度，并且可以使用相对较小的基线(因为SL的准确度只需要足以消除更准确的TOF测量的歧义。因此，与基线306相比，结构化TOF深度传感器允许更小的基线406。在一些示例中，基线406可以是50mm或更小(例如，10mm)。
图5是根据一个或更多个实施例的结构化TOF深度传感器的相位图500的一部分。在一些示例中，相位图500由结构化TOF深度传感器产生，如图4中所述。因此，如参考图4进一步详细描述的，相位图500可以由传感器404检测。相位图500示出了在以两个不同脉冲频率发射结构光之后根据TOF计算产生的已消除歧义的深度估计。
照明源(例如，照明源402)可以以第一相移频率502将结构光投射到环境中。第一相移频率502是在0和2π之间的相移，其对应于输出脉冲的第一时间频率(例如，典型的范围是大约1MHz-350MHz，但是可能甚至更高，例如高达1GHz)。照明源然后可以以不同于第一相移频率502的第二相移频率504投射结构光。第二相移频率504是在0和2π之间的相移，其对应于输出脉冲的第二时间频率。例如，照明源可以以10MHz输出脉冲，也可以以50MHz发射脉冲。在一些示例中，以第一相移频率502发射到局部环境中的光可以是结构光，而以第二相移频率504发射到局部环境中的光可以是均匀泛光或任何非编码光。以第一相移频率502和第二相移频率504的光投射可以在不同的时间，并且对应于传感器(例如，传感器404)的不同曝光窗口。参照图6A-图7进一步详细描述了结构光投射和感测窗口的定时。
相位图500示出了TOF计算中的歧义。y轴显示径向距离506。相位图500表示在离结构化TOF深度传感器一定距离处的环境中对象的检测。该组检测到的范围508a、508b、508c和508d(统称为508)各自表示对TOF计算的相位包裹解(phase-wrapped solutions)，并且对应于基于由传感器检测到的相移的一组估计径向距离。注意，所示出的实际上只是相位图500的一部分，因为会有额外的检测到的范围组延伸到无穷远处(注意，实际上，该范围可能受到发射到场景中的光量和被成像对象的反射率的限制)，为了便于说明，省略了这些检测到的范围组。该组检测到的范围508在本文被称为估计径向距离。因此，检测到的范围508a中的解与检测到的范围508b隔开2π相位歧义，如上面进一步详细描述的。例如，检测到的范围508中的每一个可以对应于图4中所示的TOF受限对极搜索408和相位估计410a、410b和410c的区域。使用相位图500，控制器将检测到的范围508与结构光编码进行比较。控制器可以是控制器412。结构光编码可以存储在查找表(LUT)中。因此，代替全对极码搜索308，控制器在用TOF计算做出的估计的区域中执行TOF受限对极搜索408。在一些实施例中，基于检测到的范围508和LUT之间的比较，控制器选择检测到的范围508之一。控制器然后使用关系式(1)执行三角测量计算，以产生三角测量深度估计。在一些实施例中，控制器可以将由照明源照明的局部区域分成多个不同的区域。在一些实施例中，针对三角测量深度估计的区域，控制器识别来自TOF计算的估计径向距离的对应区域。因此，控制器将TOF计算的区域与三角测量深度估计的区域相匹配。在一些实施例中，控制器然后选择在三角测量深度估计的阈值距离内的径向深度估计。在一些实施例中，控制器部分地基于LUT和第二估计径向距离来选择估计径向距离。在一些实施例中，控制器使用机器学习来选择估计径向距离。在一些实施例中，在没有结构光照明或三角测量深度估计的区域中，控制器可以根据TOF计算回填(back-fill)估计径向距离和/或在区域之间进行插值。就插值而言，在一些实施例中，在具有较亮斑点(spot)(例如点)或空斑点(例如暗点-反向点图案)的一些区域处调制均匀照明图案。在这种情况下，几乎所有像素都有TOF信息，从而增加了它们的效用，而只有一个子集有SL信息。但是，通过例如局部插值，可以使用该SL信息来局部地消除TOF估计的相邻区域的歧义。因此，通过将三角测量计算的结果与检测到的范围进行比较，选择检测到的范围508中的估计范围之一作为对象的真实距离。
将基于相移的TOF计算与基于结构光编码的三角测量计算相结合，允许消除相位图500中所示的TOF相移解的歧义，而不需要以附加输出光频率检测对象。因此，可以减少传感器的有限曝光窗口内的TOF捕获的总数，这将在下面进一步详细讨论。结构光TOF传感器还允许降低三角测量结构光计算的准确度，因为结构光估计可能只需要足够精确以消除TOF计算的解之间(即检测到的范围508中的每一个之间)的歧义，而不是如图4所示跨越整个深度范围。这也允许照明源和传感器之间的基线距离(例如基线406)显著减小，而不牺牲结构光TOF传感器的检测能力。减小的基线可以允许结合了结构化TOF传感器的HMD或任何其他设备的较小形状因子。此外，由于需要较低的准确度和精度，因此可以降低结构光计算算法的复杂性。在一些实施例中，结构光估计的准确度可以在0.5米至3米的范围内。
将结构光编码与TOF解相结合还减少了TOF感测中的多径伪像(multi-pathartifact)，其是传统TOF感测中的一个误差源。在传统的TOF传感器中，很难区分从对象反射的入射到传感器上的光和在到达传感器之前已经多次反射的光(即多径光)。然而，通过将TOF解与结构光编码进行比较，可以拒绝与结构光图案不匹配的信号，并将其从深度估计中移除。
图6A是根据一个或更多个实施例的具有三个原始捕获窗口的结构化TOF深度传感器的像素时序图600。像素时序图600可以用于位于如图4所示的传感器404上的像素。时间脉冲频率602和时间脉冲频率610可以指由照明源402产生的脉冲。像素时序图600捕获来自照明源402的从局部区域反射的光作为原始数据。像素时序图600是对其他传统像素时序图的改进，因为结构光编码与TOF深度估计的组合允许在单个曝光窗口内更少的总捕获。因此，以前用于传感器电荷读出和/或附加图像捕获的定时窗口现在可以用于附加图像曝光，从而提高SNR并因此提高深度精度。
在结构化TOF深度传感器(例如，结构化TOF深度传感器400)中，曝光窗口对于每个时间脉冲频率具有至少三个原始数据的捕获窗口，允许在每个相位捕获期间捕获总数的减少和信噪比的提高。在一些实施例中，对于每个时间脉冲频率，可以有多于三个捕获窗口。在一些实施例中，可能有多于两个时间脉冲频率。在一些实施例中，不同时间脉冲频率的捕获窗口的数量彼此不同(例如，对于第一时间脉冲频率有4个捕获窗口，而对于第二时间脉冲频率有3个捕获窗口)。
在图示的图中，在每个时间脉冲频率处有三个原始数据的捕获窗口，具体地说，在时间脉冲频率602处有原始数据604、606、608，在时间脉冲频率604处有原始数据612、614和616。注意，对于每个时间脉冲频率，每个原始数据之间存在相位差。例如，原始数据606、原始数据608和原始数据610虽然都处于相同的时间脉冲频率602(例如，10MHz)，但都是针对传感器404和来自照明源402的从局部区域反射的光之间的不同相移而获取的原始强度图像。以相同的方式，原始数据612、原始数据614和原始数据616都是针对传感器404和来自照明源402的从局部区域反射的光之间的不同相移而获取的原始强度图像。相位差可以通过例如调节门控快门窗口来实现，所述门控快门窗口控制脉冲发射的时间和/或相对于脉冲发射的时间的结构化TOF深度传感器激活的时间。每个原始数据对应于检测到的来自照明源402从局部区域反射的至少一个脉冲。实际上，每个检测到的脉冲可以具有低信噪比(SNR)值，并且多个检测到的脉冲(例如，100个、1000个等)被捕获(以增加SNR)，以在读出捕获的原始数据之前组成单个原始数据。如下所述，结构化TOF深度传感器使用每个时间脉冲频率的原始数据来确定相应的集合相位(aggregate phase)。
结构光照明源(例如，照明源402)以第一时间脉冲频率602将结构光投射到环境中，其中投射的结构光具有第一相位。在该第一时间段期间，结构化TOF深度传感器捕获反射脉冲作为原始数据606。在经过某个阈值数量的时间之后(例如，对应于检测到的脉冲的阈值数量)，结构光照明源执行原始数据606的读出620。结构化TOF深度传感器然后将相位改变为不同于第一相位的第二相位(例如，对应于照明脉冲和传感器快门定时之间的不同定时偏移)，并以第一时间脉冲频率602将结构光投射到环境中，其中投射的结构光具有第二相位。在该时间段期间，结构化TOF深度传感器捕获反射脉冲作为原始数据608。在经过某个阈值数量的时间之后(例如，对应于检测到的脉冲的阈值数量)，结构光照明源执行原始数据608的读出620。结构化TOF深度传感器然后将相位改变为不同于第一相位和第二相位的第三相位，并以第一时间脉冲频率602将结构光投射到环境中，其中投射的结构光具有第三相位。在该时间段期间，结构化TOF深度传感器捕获反射脉冲作为原始数据610。在经过某个阈值数量的时间之后(例如，对应于检测到的脉冲的阈值数量)，结构光照明源执行原始数据610的读出620。结构化TOF深度传感器使用原始数据606、原始数据608和原始数据610来确定时间脉冲频率602的第一集合相位。注意，集合相位具有多个值，这些值可以因像素而异。
在这三个捕获窗口和它们相关联的读出120之后，结构光照明源以第二时间脉冲频率604将结构光投射到环境中，其中投射的结构光具有第一相位。在该时间段期间，结构化TOF深度传感器捕获反射脉冲作为原始数据612。在经过某个阈值数量的时间之后(例如，对应于检测到的脉冲的阈值数量)，结构光照明源执行原始数据612的读出620。结构光照明源然后将相位改变为不同于第一相位的第二相位，并以第二时间脉冲频率602将结构光投射到环境中，其中投射的结构光具有第二相位。在该时间段期间，结构化TOF深度传感器捕获反射脉冲作为原始数据614。在经过某个阈值数量的时间之后(例如，对应于检测到的脉冲的阈值数量)，结构光照明源执行原始数据614的读出620。结构光照明源然后将相位改变为不同于第一相位和第二相位的第三相位，并以第二时间脉冲频率604将结构光投射到环境中，其中投射的结构光具有第三相位。在该时间段期间，结构化TOF深度传感器捕获反射脉冲作为原始数据616。在经过某个阈值数量的时间之后(例如，对应于检测到的脉冲的阈值数量)，结构光照明源执行原始数据616的读出620。结构化TOF深度传感器使用原始数据612、原始数据614和原始数据616来确定时间脉冲频率604的第二集合相位。
与传统的TOF传感器不同，由于来自时间脉冲频率602和时间脉冲频率604的相位测量的结果，TOF深度估计可能没有被完全消除歧义，但这不会导致确定深度信息的困难，因为相位产生的深度估计随后通过结构光编码被完全消除歧义。因为总曝光时间在更少的捕获(captions)之间分配，所以在每个相位捕获期间检测到的信号的信噪比可能优于传统的TOF传感器，从而导致改进的TOF深度估计。空闲周期是原始数据606的捕获重复之前的一段时间。
图6B是根据一个或更多个实施例的具有增强像素的结构化TOF深度传感器的像素时序图620。像素时序图620可用于具有增强像素的传感器，每个增强像素包含独立地存储电荷的多个电荷存储区域(例如，3个或更多个电荷存储区域)。增强像素可以是快速光电二极管传感器，其被配置为将受激光电子顺序地存储到至少三个不同的像素上存储位置。
在图示的图中，在每个时间脉冲频率处有一个原始数据的捕获窗口，具体而言，在时间脉冲频率630和时间脉冲频率632处分别有原始捕获624和原始捕获628。注意，在每个原始捕获内，实际上存在不同相位处的原始数据的多次捕获，其中每个不同相位都在不同的电荷存储区域中被捕获。例如，在包括三个电荷存储区域的增强像素的情况下，原始捕获624被细分为三个不同相位处的原始数据的一系列捕获，例如，对应于第一相位、第二相位和第三相位。每个原始数据对应于检测到的来自照明源402从局部区域反射的至少一个脉冲。如上所述，在实践中，每个检测到的脉冲可以具有低SNR值，并且多个检测到的脉冲(例如，100个、1000个等)被捕获(以增加SNR)，以在读出捕获的原始数据之前组成单个原始数据。
在一些实施例中，原始捕获624和原始捕获628以交错的方式捕获原始数据。例如，结构光照明源(例如，照明源402)以时间脉冲频率630将结构光投射到环境中，其中投射的结构光具有第一相位。结构化TOF深度传感器捕获对应于第一相位的单个脉冲的原始数据，该原始数据存储在每个增强像素的电荷存储区域1中。结构化TOF深度传感器然后(例如，使用门控快门窗口)将相位改变为不同于第一相位的第二相位，并以时间脉冲频率630将结构光投射到环境中，其中投射的结构光具有第二相位。结构化TOF深度传感器捕获对应于第二相位的单个脉冲的原始数据，该原始数据存储在每个增强像素的电荷存储区域2中。结构化TOF深度传感器然后将相位改变为不同于第一相位和第二相位的第三相位，并以时间脉冲频率630将结构光投射到环境中，其中投射的结构光具有第三相位。结构化TOF深度传感器捕获对应于第三相位的单个脉冲的原始数据，该原始数据存储在每个增强像素的电荷存储区域3中。然后，该过程连续重复若干次，之后，读出620每个像素的电荷存储区域1、2和3中的捕获的原始数据。该次数基于针对三个相位中的每个相位而捕获的原始数据的估计SNR。结构化TOF深度传感器使用来自每个像素的三个电荷存储区域的原始捕获624中的原始数据来确定时间脉冲频率630的第一集合相位。
然后，使用不同于时间脉冲频率630的时间脉冲频率632重复该过程(例如，时间脉冲频率632可以是40MHz，而时间脉冲频率630可以是100MHz)。结构光照明源以时间脉冲频率632将结构光投射到环境中，其中投射的结构光具有第一相位。结构化TOF深度传感器捕获对应于第一相位的单个脉冲的原始数据，该原始数据存储在每个增强像素的电荷存储区域1中。结构化TOF深度传感器然后将相位改变为不同于第一相位的第二相位，并以时间脉冲频率632将结构光投射到环境中，其中投射的结构光具有第二相位。结构化TOF深度传感器捕获对应于第二相位的单个脉冲的原始数据，该原始数据存储在每个增强像素的电荷存储区域2中。结构化TOF深度传感器然后将相位改变为不同于第一相位和第二相位的第三相位，并以时间脉冲频率632将结构光投射到环境中，其中投射的结构光具有第三相位。结构化TOF深度传感器捕获对应于第三相位的单个脉冲的原始数据，该原始数据存储在每个增强像素的电荷存储区域3中。然后，该过程连续重复若干次，之后，读出620每个增强像素的电荷存储区域1、2和3中的捕获的原始数据。该次数基于针对三个相位中的每个相位而捕获的原始数据的估计SNR。结构化TOF深度传感器使用来自每个像素的三个电荷存储区域的原始捕获628中的原始数据来确定时间脉冲频率632的第二集合相位。
注意，在上述示例中，原始捕获624和原始捕获628以交错的方式捕获原始数据。然而，在其他实施例中，可以以其他顺序(例如以线性方式)捕获原始数据。例如，代替在逐个脉冲的基础上从电荷存储区域1移动到电荷存储区域2、电荷存储区域3，然后返回到电荷存储区域1，从而以增量方式为这些区域中的每一个建立SNR，结构化TOF深度传感器可以在对应于目标SNR的次数内在电荷存储区域1(第一相位)中捕获原始数据，将相位调整到第二相位，并在对应于目标SNR的次数内在电荷存储区域2(第二相位)中捕获原始数据，以及将相位调整到第三相位，并在对应于目标SNR的次数内在电荷存储区域3(第二相位)中捕获原始数据。空闲周期是原始捕获624重复之前的一段时间。
类似于时序图600，时序图620可能不允许完全消除TOF深度估计的歧义，但是随着结构光编码的添加，深度估计可以稍后被完全消除歧义。注意，相对于图6A，在6B中有实质上更少的读出120，这允许更好地优化时间使用(例如，读出的时间损失更少)。
图7是根据一个或更多个实施例的时序图700、710和720，其涉及利用图6A和图6B的光电二极管传感器的结构化TOF深度传感器的操作。时序图710可以对应于图6A的像素时序图600，而时序图720可以对应于图6B的像素时序图620。
时序图700、710和720包括横轴上的时间702。图7所示的时间间隔在两个时间间隔706a和706b(统称为706)之间分配。在第一时间间隔706a期间，光源将光(例如，结构光)投射到环境中。这由光功率704a指示。光源可以是如参考图4进一步详细描述的照明源402。光功率704a指示光源将光投射到环境中的持续时间小于时间间隔706a。类似地，在时间间隔706b期间，光源将光投射到环境中，如由光功率704b指示的。光功率704a和光功率704B产生时间脉冲频率的光。注意，图700基本上是处于该时间脉冲频率的一系列脉冲中的两个脉冲。作为光功率704a和704b的结果，发射到环境中的光可以从环境中的对象反射。反射光入射到诸如TOF传感器404的TOF传感器上。
在时序图710中，示出了三个不同相位的原始捕获，原始捕获712a和712b、原始捕获714a和714b以及原始捕获716a和716b。注意，在该实施例中，在时间间隔706a上将仅出现原始捕获712a、714a、716a中的一个，并且在时间间隔706b上将仅出现原始捕获712b、714b、716b中的一个，并且为了便于说明，它们被简单地示出在一起。例如，原始捕获712a和712b可以对应于原始数据606的脉冲的捕获，原始捕获714a和714b可以对应于原始数据608的脉冲的捕获，并且原始捕获716a和716b可以对应于原始数据610的脉冲的捕获。请注意每个原始捕获与其对应的光功率之间在时间上的相对差异。因此，原始捕获712a、712b、原始捕获714a、714b和原始捕获716a、716b相对于彼此具有不同的相位。
在像素电荷图720中，示出了三个不同相位的原始捕获，原始捕获722a和722b、原始捕获724a和724b以及原始捕获726a和726b。注意，在该实施例中，原始捕获722a、724a、726a中的每一个出现在时间间隔706a上，并且原始捕获722b、724b、726b中的每一个出现在时间间隔706b上。例如，原始捕获722a、724a、726a和随后的原始捕获722b、724b、726b可以对应于原始捕获624中的脉冲的捕获。注意，在图示的图中，给定的定时窗口的相邻原始捕获之间存在小的时段。在这些小的时段期间，累积的电荷可以被转移到漏极(例如，被存储而不收集，或者被转移到衬底等)。在其他实施例中，该时间段可以被最小化(例如，没有间隔)。在一些实施例中，相邻原始捕获之间的定时可以不同(例如，原始捕获722a和原始捕获724a之间的时间不同于原始捕获724a和原始捕获726a之间的时间)。
图8是根据一个或更多个实施例的用于确定到对象的径向距离的过程800的流程图。过程800可以由DMA(例如，DMA 210)来执行。在一些实施例中，一些或所有步骤可以被执行和/或与其他实体(例如，HMD的处理器、控制台等)共享。同样，实施例可以包括不同的和/或附加的步骤，或者以不同的顺序执行这些步骤。
DMA以一个或更多个脉冲频率将光脉冲投射802到局部区域中。光脉冲可以根据来自控制器(例如控制器216)的指令由光源(例如照明源170)投射。在一些实施例中，投射光的脉冲频率可以在10MHz-200MHz之间。投射的光可以是结构光。在一些实施例中，投射的光可以包括散布有结构光脉冲的一个或更多个非图案化泛光照明脉冲。DMA可以通过控制器(例如控制器412)与光源通信，该控制器指示光源以脉冲频率投射光脉冲。
DMA捕获从局部区域反射的光脉冲的图像804。DMA使用相机组件(例如，相机组件180)捕获图像。捕获组件根据来自DMA的控制器(例如控制器412)的指令捕获图像。
DMA使用捕获的图像中的一个或更多个图像来确定806光脉冲的一个或更多个TOF相移。这可以部分地基于相机组件的传感器的像素对于图6A-图7所示的每个相移而累积的电荷。参考图4进一步详细描述了TOF相移。如参考图4进一步详细描述的，TOF相移与像素电荷累积相关。一个或更多个TOF相移可以由DMA的控制器(例如控制器412)确定。
基于一个或更多个TOF相移，DMA确定808到局部区域中的对象的第一组估计径向距离。这可以是图4所示的相位估计410，和/或图5所示的检测到的范围。估计径向距离基于参考图4描述的计算。一个或更多个TOF相移可以对应于发射的光的不同脉冲频率。第一组估计径向距离可以由DMA的控制器(例如控制器412)确定。
基于结构光的编码和捕获的图像中的至少一个图像，DMA确定810到对象的第二估计径向距离。捕获的图像中的至少一个图像是用结构光图案照射的局部区域的图像。诸如控制器412的控制器使用该至少一个图像来确定该局部区域中的对象的深度信息。
部分地基于第二估计径向距离，DMA从第一组径向距离中选择812估计径向距离。在一些实施例中，DMA部分地基于第二估计径向距离在所选择的估计径向距离的阈值距离内，选择估计径向距离。选择可以由DMA的控制器(例如控制器412)来执行。这可以部分地基于以结构光编码查阅LUT来完全消除来自TOF相移的估计径向距离的歧义。被消除歧义的估计径向距离可以指估计径向距离中的2π歧义，如参考图4进一步详细描述的。这是在局部区域的区域的环境中对象的最终深度估计。阈值距离可以是例如估计径向距离的10％以内。在一些实施例中，DMA部分地基于LUT和第二估计径向距离来选择估计径向距离。在这种情况下，DMA将第二估计径向距离输入到LUT，以确定估计径向距离。在一些实施例中，DMA使用机器学习来选择估计径向距离。在这种情况下，训练DMA，使得给定第二估计径向距离，它能够选择估计径向距离。DMA可以使用最终深度估计来确定局部环境(例如局部区域260)的深度图。DMA可以将局部区域260划分成多个不同的区域，并且如上所述为每个区域收集深度估计。在一些实施例中，DMA可以在区域之间进行插值。然后，可以从方法800的多次迭代中构建局部区域的完整深度图。
***概况
图9是根据一个或更多个实施例的用于提供人工现实内容的***环境900的框图。在各种实施例中，图9所示的***环境900可以向用户提供人工现实内容。附加地或替代地，***环境900生成一个或更多个虚拟环境，并向用户呈现用户可以与之交互的虚拟环境。图9所示的***环境900包括头戴式显示器(HMD)905和耦合到控制台910的输入/输出(I/O)接口915。虽然图9示出了包括一个HMD 905和一个I/O接口915的示例***环境900，但是在其他实施例中，***环境900中可以包括任意数量的这些部件。例如，可以有多个HMD 905，每个HMD 905具有相关联的I/O接口915，每个HMD 905和I/O接口915与控制台910通信。在替代配置中，***环境900中可以包括不同和/或附加的部件。另外，在一些实施例中，结合图9所示的一个或更多个部件描述的功能可以以不同于结合图9描述的方式分布在部件中。例如，控制台910的部分或全部功能由HMD 905提供。
头戴式显示器(HMD)905向用户呈现包括具有计算机生成的元素(例如，二维(2D)或三维(3D)图像、2D或3D视频、声音等)的物理真实世界环境的增强视图的内容，或呈现包括虚拟环境的内容。在一些实施例中，所呈现的内容包括经由外部设备(例如，扬声器和/或头戴式耳机)呈现的音频，该外部设备从HMD 905、控制台910或两者接收音频信息，并基于音频信息来呈现音频数据。结合图1和图2进一步描述了HMD 905的实施例。HMD 905也可以是近眼显示器。
HMD 905包括DMA 920、电子显示器925、光学块930、一个或更多个位置传感器935和IMU 940。HMD 905可以是如图1-图2所示的HMD 100。DMA 920可以是DMA 210，电子显示器925可以是电子显示器220，并且光学块可以是光学块230，如关于图2进一步详细描述的。位置传感器935可以是位置传感器150，并且IMU 940可以是IMU 140，如关于图1进一步详细描述的。HMD 905的一些实施例具有不同于结合图9描述的部件。另外，在其他实施例中，由结合图9描述的各种部件提供的功能可以不同地分布在HMD 905的部件中。
DMA 920捕获描述HMD 905周围的区域的深度信息的数据。DMA 920包括光源(例如照明源402和/或照明源170)，其将光投射到环境(例如图2所示的局部区域260)中。DMA 920包括相机组件，例如相机组件180。收集与反射光的TOF相移相关的电荷的传感器(例如传感器404)可以是相机组件的一个元件。DMA的控制器根据TOF相移确定多个径向深度估计。使用结构光编码从这些径向深度估计中进行选择，并且将来自捕获图像的三角测量计算的第二深度估计与估计的径向深度相结合。三角测量计算的分辨率可能比估计的径向深度低，但是足以消除多个径向深度估计之间的歧义。然后将径向深度估计与三角测量计算相结合，以确定环境中对象的深度。参考图2-图8进一步详细描述了该过程。
电子显示器925根据从控制台910接收的数据来向用户显示2D或3D图像。在各种实施例中，电子显示器925包括单个电子显示器或多个电子显示器(例如，针对用户的每只眼睛的显示器)。电子显示器925的例子包括：液晶显示器(LCD)、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管显示器(AMOLED)、某种其他显示器或它们的一些组合。
光学块930放大从电子显示器925接收的图像光，校正与图像光相关联的光学误差，并将校正后的图像光呈现给HMD 905的用户。在各种实施例中，光学块930包括一个或更多个光学元件。光学块930中包括的示例光学元件包括：光圈、菲涅尔透镜、凸透镜、凹透镜、滤光器、反射表面或影响图像光的任何其他合适的光学元件。此外，光学块930可以包括不同光学元件的组合。在一些实施例中，光学块930中的一个或更多个光学元件可以具有一个或更多个涂层，例如抗反射涂层。
光学块930对图像光的放大和聚焦允许电子显示器925比更大的显示器物理上更小、重量更轻并且消耗更少的功率。此外，放大可以增大电子显示器925所呈现的内容的视场。例如，所显示内容的视场使得所显示内容使用用户的几乎所有视场(例如，大约110度对角线)、且在一些情况下使用所有视场来呈现。此外，在一些实施例中，可以通过添加或移除光学元件来调整放大倍数。
在一些实施例中，光学块930可以被设计成校正一种或更多种类型的光学误差。光学误差的例子包括桶形失真、枕形失真、纵向色差(longitudinal chromaticaberrations)或横向色差(transverse chromatic aberration)。其他类型的光学误差还可以包括球面像差、彗星像差或由于透镜场曲率、像散引起的误差或任何其他类型的光学误差。在一些实施例中，被提供给电子显示器925用于显示的内容被预失真，并且当光学块930从电子显示器925接收基于内容生成的图像光时，光学块930校正失真。
IMU 940是电子器件，其基于从一个或更多个位置传感器935接收的测量信号和从DMA 920接收的深度信息来生成指示HMD 905位置的数据。位置传感器935响应于HMD 905的运动而生成一个或更多个测量信号。位置传感器935的示例包括：一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、检测运动的另一合适类型的传感器、用于IMU940的误差校正的一种类型的传感器、或者它们的某种组合。位置传感器935可以位于IMU940的外部、IMU 940的内部或者这两个位置的某种组合。
基于来自一个或更多个位置传感器935的一个或更多个测量信号，IMU 940生成指示HMD 905相对于HMD 905的初始位置的估计的当前位置的数据。例如，位置传感器935包括测量平移运动(向前/向后、向上/向下、向左/向右)的多个加速度计和测量旋转运动(例如，俯仰、偏航、横滚)的多个陀螺仪。在一些实施例中，IMU 940对测量信号进行快速采样，并根据所采样的数据来计算HMD 905的估计的当前位置。例如，IMU 940对从加速度计接收到的测量信号在时间上求积分以估计速度矢量，并对速度矢量在时间上求积分以确定在HMD905上的参考点的估计的当前位置。替代地，IMU 940向控制台910提供采样的测量信号，控制台910对数据进行解析以减少误差。参考点是可以用来描述HMD 905的位置的点。参考点通常可以被定义为与HMD 905的定向和位置相关的空间中的点或者位置。
IMU 940从控制台910接收一个或更多个参数。如下面进一步讨论的，一个或更多个参数用于保持跟踪HMD 905。基于接收到的参数，IMU 940可以调整一个或更多个IMU参数(例如，采样率)。在一些实施例中，某些参数使得IMU 940更新参考点的初始位置，使得其对应于参考点的下一个位置。将参考点的初始位置更新为参考点的下一个校准后的位置有助于减少与IMU 940的估计的当前位置相关联的累积误差。累积误差(也称为漂移误差)导致参考点的估计位置随着时间的推移而“漂移”离开参考点的实际位置。在HMD 905的一些实施例中，IMU 940可以是专用硬件部件。在其他实施例中，IMU 940可以是在一个或更多个处理器中实现的软件部件。
I/O接口915是允许用户发送动作请求并从控制台910接收响应的设备。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束图像或视频数据的捕获的指令，或者是在应用内执行特定动作的指令。I/O接口915可以包括一个或更多个输入设备。示例输入设备包括：键盘、鼠标、游戏控制器、或者用于接收动作请求并将动作请求传送到控制台910的任何其他合适的设备。由I/O接口915接收的动作请求被传送到控制台910，控制台910执行对应于动作请求的动作。在一些实施例中，如上文进一步描述的，I/O接口915包括IMU 940，其捕获指示相对于I/O接口915的初始位置的I/O接口915的估计的位置的校准数据。在一些实施例中，I/O接口915可以根据从控制台910接收的指令来向用户提供触觉反馈。例如，当动作请求被接收到时，或者当控制台910向I/O接口915传送指令时，触觉反馈被提供，该指令使I/O接口915在控制台910执行动作时生成触觉反馈。
控制台910根据从DMA 920、HMD 905和VR I/O接口915中的一个或更多个接收的信息来向HMD 905提供用于处理的内容。在图1所示的示例中，控制台910包括应用储存器950、跟踪模块955和内容引擎945。控制台910的一些实施例具有不同于结合图9描述的模块或部件。类似地，下面进一步描述的功能可以以不同于结合图9描述的方式分布在控制台910的部件中。
应用储存器950存储用于由控制台910执行的一个或更多个应用。应用是一组指令，该组指令当由处理器执行时生成用于呈现给用户的内容。由应用生成的内容可以响应于经由HMD 905的移动或I/O接口915而从用户接收的输入。应用的示例包括：游戏应用、会议应用、视频回放应用或其他合适的应用。
跟踪模块955使用来自DMA 920、一个或更多个位置传感器935、IMU 940或其某种组合的信息来跟踪HMD 905或I/O接口915的移动。例如，跟踪模块955基于来自HMD 905的信息来确定HMD 905的参考点在局部区域的映射中的位置。跟踪模块955也可以分别地使用来自IMU 940的指示HMD 905位置的数据或者使用来自包括在I/O接口915中的IMU 940的指示I/O接口915位置的数据来确定HMD 905的参考点或者I/O接口915的参考点的位置。另外，在一些实施例中，跟踪模块955可以使用来自IMU 940的指示HMD 905的位置的数据部分以及来自DMA 920的局部区域的表示来预测HMD 905的未来定位。跟踪模块955向内容引擎945提供HMD 905或I/O接口915的估计的或预测的未来位置。
内容引擎945基于从被包括在HMD 905中的DMA 920接收的信息，生成HMD 905周围的区域(即，“局部区域”)的3D映射。在一些实施例中，内容引擎945基于由成像设备中的传感器的每个像素根据相移确定的深度来确定局部区域的3D映射的深度信息，所述相移由多个图像中的传感器的像素捕获的相对强度确定。在各种实施例中，内容引擎945使用由DMA920确定的不同类型的信息或由DMA 920确定的各类型信息的组合来生成局部区域的3D映射。
内容引擎945也执行在***环境900内的应用，并从跟踪模块955接收HMD 905的位置信息、加速度信息、速度信息、所预测的未来位置或其某种组合。基于接收到的信息，内容引擎945确定要提供给HMD 905用于呈现给用户的内容。例如，如果接收到的信息指示用户已经向左看，则内容引擎945为HMD 905生成反映(mirror)用户在虚拟环境中或在用附加内容增强局部区域的环境中的移动的内容。另外，内容引擎945响应于从I/O接口915接收的动作请求来执行在控制台910上执行的应用内的动作，并且向用户提供动作被执行的反馈。所提供的反馈可以是经由HMD 905的视觉或听觉反馈或者经由I/O接口915的触觉反馈。
附加的配置信息
本公开的实施例的前述描述为了说明的目的被提出；它并不意图为无遗漏的或将本公开限制到所公开的精确形式。相关领域中的技术人员可以认识到，按照上面的公开，许多修改和变化是可能的。
本描述的一些部分从对信息的操作的算法和符号表示方面描述了本公开的实施例。数据处理领域的技术人员通常使用这些算法描述和表示来向本领域的其他技术人员有效地传达他们工作的实质。这些操作虽然在功能上、计算上或逻辑上进行了描述，但应理解为将由计算机程序或等效电路、微代码等来实现。此外，将操作的这些布置称为模块有时候也被证明是方便的而不失一般性。所描述的操作和它们的相关模块可以体现在软件、固件、硬件或其任何组合中。
可以利用一个或更多个硬件或软件模块单独地或与其他设备组合地来执行或实现本文描述的任何步骤、操作或过程。在一个实施例中，利用包括包含计算机程序代码的计算机可读介质的计算机程序产品来实现软件模块，计算机程序代码可以由计算机处理器执行，用于执行所描述的任何或全部步骤、操作或过程。
本公开的实施例也可以涉及用于执行本文的操作的装置。该装置可以被特别构造成用于所需的目的，和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这种计算机程序可以存储在非暂时性的、有形的计算机可读存储介质中，或者适于存储电子指令的任何类型的介质中，其可以耦合到计算机***总线。此外，说明书中提到的任何计算***可以包括单个处理器，或者可以是采用多处理器设计来提高计算能力的架构。
本公开的实施例也可以涉及由本文所述的计算过程产生的产品。这样的产品可以包括由计算过程产生的信息，其中信息被存储在非暂时性的、有形的计算机可读存储介质上且可以包括计算机程序产品或本文所述的其他数据组合的任何实施例。
最后，在说明书中使用的语言主要为了可读性和指导目的而被选择，并且它可以不被选择来描绘或限制创造性主题。因此，意图是本公开的范围不由该详细描述限制，而是由在基于其的申请上发布的任何权利要求限制。因此，实施例的公开意图对本公开的范围是说明性的，而不是限制性的，在所附权利要求中阐述了本公开的范围。

Claims (20)

1.一种深度测量组件，包括：
照明源，其中，所述照明源被配置成以时间脉冲频率将光脉冲投射到局部区域中；
其中，所述光脉冲包括具有空间图案的至少一个结构光脉冲；
传感器，其被配置为：
感测从所述局部区域反射的所述光脉冲，由所述传感器感测的所述光脉冲包括所述结构光脉冲；以及
至少部分地基于由所述传感器感测的所述光脉冲，确定所述光脉冲的一个或更多个飞行时间测量；以及
控制器，其耦合到所述传感器，并被配置为：
基于所述一个或更多个飞行时间测量来确定到所述局部区域中的对象的第一组估计径向距离；
经由应用于所感测的结构光脉冲的一个或更多个三角测量计算，确定到所述对象的第二估计径向距离；以及
部分地基于所述第二估计径向距离，从所述第一组径向距离中选择估计径向距离。
2.根据权利要求1所述的深度测量组件，其中，所述照明源被配置成在第一时间以第一时间脉冲频率，并且在所述第一时间之后的第二时间以第二时间脉冲频率投射结构光脉冲。
3.根据权利要求2所述的深度测量组件，其中，对于所述第一时间脉冲频率和所述第二时间脉冲频率中的每一个，所述传感器被配置为：
使用具有相对于脉冲的照明的第一定时偏移的第一门控快门窗口捕获第一原始数据；
在具有相对于所述脉冲的照明的第二定时偏移的第二门控快门窗口中捕获第二原始数据，以及
在具有相对于所述脉冲的照明的第一定时偏移的第三门控快门窗口中捕获第三原始数据。
4.根据权利要求3所述的深度测量组件，其中，在捕获所述第二原始数据之前读出处于所述第一时间脉冲频率的所述第一原始数据，并且在捕获处于所述第一时间脉冲频率的所述第三原始数据之前读出处于所述第一时间脉冲频率的所述第二原始数据。
5.根据权利要求2所述的深度测量组件，其中，所述传感器包括多个增强像素，并且每个增强像素包括三个电荷存储区域，其中，在所述第一时间脉冲频率，第一电荷存储区域在具有相对于脉冲的照明的第一定时偏移的第一门控快门窗口中收集与第一原始捕获相关联的电荷，第二组电荷存储区域在具有相对于所述脉冲的照明的第二定时偏移的第二门控快门窗口中收集与所述第一原始捕获相关联的电荷，并且第三组电荷存储区域在具有相对于所述脉冲的照明的第三定时偏移的第三门控快门窗口中收集与所述第一原始捕获相关联的电荷。
6.根据权利要求5所述的深度测量组件，其中，在所述第二时间脉冲频率，所述第一电荷存储区域在具有相对于所述脉冲的照明的第一定时偏移的第一门控快门窗口中收集与第二原始捕获相关联的电荷，所述第二组电荷存储区域在具有相对于所述脉冲的照明的第二定时偏移的第二门控快门窗口中收集与所述第二原始捕获相关联的电荷，并且所述第三组电荷存储区域在具有相对于所述脉冲的照明的第三定时偏移的第三门控快门窗口中收集与所述第二原始捕获相关联的电荷。
7.根据权利要求6所述的深度测量组件，其中，在处于所述第二时间脉冲频率的所述第二原始捕获之前，读出处于所述第一时间脉冲频率的所述第一原始捕获。
8.根据权利要求1所述的深度测量组件，其中，投射的光脉冲由被结构光点图案覆盖的泛光照明组成，其中所述点图案中的每个点具有比所述泛光照明的亮度更亮的亮度。
9.根据权利要求1所述的深度测量组件，其中，投射的光脉冲由被结构光点图案覆盖的泛光照明组成，其中所述点图案中的每个点具有小于所述泛光照明的亮度值的亮度值。
10.根据权利要求1所述的深度测量组件，其中，所述照明源和所述传感器之间的距离为50mm或更小。
11.根据权利要求1所述的深度测量组件，其中，所述控制器还被配置为基于从所述第一组径向距离中选择的估计径向距离来获得所述局部区域的深度图。
12.一种深度测量组件，包括：
照明源，其中，所述照明源被配置成以一个或更多个时间脉冲频率将光脉冲投射到局部区域中；
其中，所述光脉冲包括具有空间图案的至少一个结构光脉冲；
传感器，其被配置为：
感测从所述局部区域反射的所述光脉冲，由所述传感器感测的所述光脉冲包括所述结构光脉冲；以及
至少部分地基于由所述传感器感测的所述光脉冲，确定所述光脉冲的一个或更多个飞行时间测量；以及
人工现实设备，其耦合到所述传感器并被配置为：
基于所述一个或更多个飞行时间测量来确定到所述局部区域中的对象的第一组估计径向距离；
经由应用于所感测的结构光脉冲的一个或更多个三角测量计算，确定到所述对象的第二估计径向距离；以及
部分地基于所述第二估计径向距离，从所述第一组径向距离中选择估计径向距离。
13.根据权利要求12所述的深度测量组件，其中，所述人工现实设备还被配置为基于从所述第一组径向距离中选择的估计径向距离来获得所述局部区域的深度图。
14.根据权利要求13所述的深度测量组件，其中，所述人工现实设备是头戴式显示器，并且所述深度测量组件是所述头戴式显示器的一部分，所述头戴式显示器包括：
电子显示元件，其被配置为部分地基于所述局部区域的所述深度图来显示虚拟对象，以及
光学块，其被配置为将来自所述电子显示元件的光导向所述头戴式显示器的出射光瞳。
15.根据权利要求12所述的深度测量组件，其中，所述照明源被配置成在第一时间以第一时间脉冲频率，并且在所述第一时间之后的第二时间以第二时间脉冲频率投射结构光脉冲。
16.根据权利要求15所述的深度测量组件，其中，对于所述第一时间脉冲频率和所述第二时间脉冲频率中的每一个，所述传感器被配置为：
使用具有相对于脉冲的照明的第一定时偏移的第一门控快门窗口捕获第一原始数据；
在具有相对于所述脉冲的照明的第二定时偏移的第二门控快门窗口中捕获第二原始数据，以及
在具有相对于所述脉冲的照明的第一定时偏移的第三门控快门窗口中捕获第三原始数据。
17.根据权利要求16所述的深度测量组件，其中，在捕获所述第二原始数据之前读出处于所述第一时间脉冲频率的所述第一原始数据，并且在捕获处于所述第一时间脉冲频率的所述第三原始数据之前读出处于所述第一时间脉冲频率的所述第二原始数据。
18.根据权利要求15所述的深度测量组件，其中，所述传感器包括多个增强像素，并且每个增强像素包括三个电荷存储区域，其中，在所述第一时间脉冲频率，第一电荷存储区域在具有相对于脉冲的照明的第一定时偏移的第一门控快门窗口中收集与第一原始捕获相关联的电荷，第二组电荷存储区域在具有相对于所述脉冲的照明的第二定时偏移的第二门控快门窗口中收集与所述第一原始捕获相关联的电荷，并且第三组电荷存储区域在具有相对于所述脉冲的照明的第三定时偏移的第三门控快门窗口中收集与所述第一原始捕获相关联的电荷。
19.根据权利要求18所述的深度测量组件，其中，在所述第二时间脉冲频率，所述第一电荷存储区域在具有相对于所述脉冲的照明的第一定时偏移的第一门控快门窗口中收集与第二原始捕获相关联的电荷，所述第二组电荷存储区域在具有相对于所述脉冲的照明的第二定时偏移的第二门控快门窗口中收集与所述第二原始捕获相关联的电荷，并且所述第三组电荷存储区域在具有相对于所述脉冲的照明的第三定时偏移的第三门控快门窗口中收集与所述第二原始捕获相关联的电荷。
20.根据权利要求19所述的深度测量组件，其中，在处于所述第二时间脉冲频率的所述第二原始捕获之前，读出处于所述第一时间脉冲频率的所述第一原始捕获。
CN201880099465.3A 2018-09-14 2018-12-13 具有结构光源和飞行时间相机的深度测量组件 Active CN113016177B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/131,618 2018-09-14
US16/131,618 US10916023B2 (en) 2018-09-14 2018-09-14 Depth measurement assembly with a structured light source and a time of flight camera
PCT/US2018/065387 WO2020055443A1 (en) 2018-09-14 2018-12-13 Depth measurement assembly with a structured light source and a time of flight camera

Publications (2)

Publication Number Publication Date
CN113016177A CN113016177A (zh) 2021-06-22
CN113016177B true CN113016177B (zh) 2023-05-09

Family

ID=69773038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880099465.3A Active CN113016177B (zh) 2018-09-14 2018-12-13 具有结构光源和飞行时间相机的深度测量组件

Country Status (5)

Country Link
US (3) US10916023B2 (zh)
EP (1) EP3850835A4 (zh)
JP (1) JP7254903B2 (zh)
CN (1) CN113016177B (zh)
WO (1) WO2020055443A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019236563A1 (en) 2018-06-06 2019-12-12 Magik Eye Inc. Distance measurement using high density projection patterns
US10939089B1 (en) * 2018-12-13 2021-03-02 Facebook Technologies, Llc Calibration apparatus for time of flight depth sensor
EP3911920B1 (en) 2019-01-20 2024-05-29 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
KR102008890B1 (ko) * 2019-01-25 2019-08-08 단국대학교 산학협력단 3차원 프로파일 측정 방법
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
CN114303360B (zh) * 2019-08-30 2024-07-05 Lg伊诺特有限公司 Tof相机
JP2023504157A (ja) * 2019-12-01 2023-02-01 マジック アイ インコーポレイテッド 飛行時間情報を用いた三角測量ベースの３次元距離測定の向上
US11069104B1 (en) 2020-05-13 2021-07-20 Facebook Technologies, Llc Display that uses a light sensor to generate environmentally matched artificial reality content
EP3958018A4 (en) * 2020-06-18 2022-08-17 Shenzhen Goodix Technology Co., Ltd. TIME-OF-FLIGHT TELEMETRY METHOD AND ASSOCIATED SYSTEM
EP4244659A1 (en) * 2020-11-13 2023-09-20 trinamiX GmbH Depth measurement through display
US20220171059A1 (en) * 2020-12-02 2022-06-02 Waymo Llc Dynamic sensing channel multiplexing for lidar applications
US11994591B2 (en) * 2020-12-08 2024-05-28 Zoox, Inc. Determining depth using multiple modulation frequencies
WO2022161964A1 (en) * 2021-01-27 2022-08-04 Sony Semiconductor Solutions Corporation Three-dimensional image capturing according to time-of-flight measurement and light spot pattern measurment
WO2022203717A1 (en) * 2021-03-26 2022-09-29 Qualcomm Incorporated Mixed-mode depth imaging
CN113188450B (zh) * 2021-04-23 2023-03-14 封泽希 基于结构光的场景深度检测方法及***
CN117480408A (zh) * 2021-11-05 2024-01-30 华为技术有限公司 一种物体测距方法及装置
JP2024005071A (ja) * 2022-06-29 2024-01-17 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距システム、および測距方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017123452A1 (en) * 2016-01-15 2017-07-20 Oculus Vr, Llc Depth mapping using structured light and time of flight

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8629976B2 (en) * 2007-10-02 2014-01-14 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems
DE112009001652T5 (de) * 2008-07-08 2012-01-12 Chiaro Technologies, Inc. Mehrkanal-Erfassung
CN103477186B (zh) * 2011-04-07 2016-01-27 松下知识产权经营株式会社 立体摄像装置
US8896594B2 (en) 2012-06-30 2014-11-25 Microsoft Corporation Depth sensing with depth-adaptive illumination
US9602807B2 (en) * 2012-12-19 2017-03-21 Microsoft Technology Licensing, Llc Single frequency time of flight de-aliasing
US9519972B2 (en) * 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US10061028B2 (en) * 2013-09-05 2018-08-28 Texas Instruments Incorporated Time-of-flight (TOF) assisted structured light imaging
WO2016144741A1 (en) 2015-03-06 2016-09-15 Illinois Tool Works Inc. Sensor assisted head mounted displays for welding
US9989630B2 (en) 2015-05-13 2018-06-05 Infineon Technologies Ag Structured-light based multipath cancellation in ToF imaging
US10154254B2 (en) * 2017-01-17 2018-12-11 Facebook Technologies, Llc Time-of-flight depth sensing for eye tracking
US10810753B2 (en) * 2017-02-27 2020-10-20 Microsoft Technology Licensing, Llc Single-frequency time-of-flight depth computation using stereoscopic disambiguation
US10628950B2 (en) 2017-03-01 2020-04-21 Microsoft Technology Licensing, Llc Multi-spectrum illumination-and-sensor module for head tracking, gesture recognition and spatial mapping
US10445893B2 (en) 2017-03-10 2019-10-15 Microsoft Technology Licensing, Llc Dot-based time of flight
GB201704443D0 (en) * 2017-03-21 2017-05-03 Photonic Vision Ltd Time of flight sensor
US10598768B2 (en) * 2017-05-24 2020-03-24 Microsoft Technology Licensing, Llc Multipath mitigation for time of flight system
US20190068853A1 (en) * 2017-08-22 2019-02-28 Microsoft Technology Licensing, Llc Structured light and flood fill light illuminator
US10613228B2 (en) * 2017-09-08 2020-04-07 Microsoft Techology Licensing, Llc Time-of-flight augmented structured light range-sensor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017123452A1 (en) * 2016-01-15 2017-07-20 Oculus Vr, Llc Depth mapping using structured light and time of flight
US9858672B2 (en) * 2016-01-15 2018-01-02 Oculus Vr, Llc Depth mapping using structured light and time of flight
CN108463740A (zh) * 2016-01-15 2018-08-28 欧库勒斯虚拟现实有限责任公司 使用结构化光和飞行时间的深度映射

Also Published As

Publication number Publication date
JP2022504010A (ja) 2022-01-13
CN113016177A (zh) 2021-06-22
US10916023B2 (en) 2021-02-09
JP7254903B2 (ja) 2023-04-10
WO2020055443A1 (en) 2020-03-19
EP3850835A4 (en) 2021-11-03
US11132805B2 (en) 2021-09-28
US20200090355A1 (en) 2020-03-19
US20210383560A1 (en) 2021-12-09
US20210082134A1 (en) 2021-03-18
US11625845B2 (en) 2023-04-11
EP3850835A1 (en) 2021-07-21

Similar Documents

Publication Publication Date Title
CN113016177B (zh) 具有结构光源和飞行时间相机的深度测量组件
JP6827073B2 (ja) 構造化光およびタイムオブフライトを用いた深度マッピング
JP7076368B2 (ja) レンジゲート式デプスカメラ部品
US10410373B1 (en) Calibration of a phase interferometry depth camera assembly
US10469722B2 (en) Spatially tiled structured light projector
US10904514B2 (en) Polarization illumination using acousto-optic structured light in 3D depth sensing
JP6377863B2 (ja) 反射マップ表現による奥行きマップ表現の増補
US10957059B1 (en) Multi-pattern depth camera assembly
US10902623B1 (en) Three-dimensional imaging with spatial and temporal coding for depth camera assembly
US10491877B1 (en) Depth camera assembly using multiplexed sensor phase measurements to determine depth using fringe interferometry
US10574938B1 (en) Variable frame rate depth camera assembly
CN112513670B (zh) 测距仪、测距***、测距方法及程序
US10855973B1 (en) Depth mapping using fringe interferometry
US10852434B1 (en) Depth camera assembly using fringe interferometery via multiple wavelengths

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC

GR01 Patent grant
GR01 Patent grant