CN108463740A - 使用结构化光和飞行时间的深度映射 - Google Patents

使用结构化光和飞行时间的深度映射 Download PDF

Info

Publication number
CN108463740A
CN108463740A CN201780006774.7A CN201780006774A CN108463740A CN 108463740 A CN108463740 A CN 108463740A CN 201780006774 A CN201780006774 A CN 201780006774A CN 108463740 A CN108463740 A CN 108463740A
Authority
CN
China
Prior art keywords
pixel groups
light
detector
carrier signal
capture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780006774.7A
Other languages
English (en)
Other versions
CN108463740B (zh
Inventor
尼古拉斯·丹尼尔·特雷尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Oculus VR Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oculus VR Inc filed Critical Oculus VR Inc
Publication of CN108463740A publication Critical patent/CN108463740A/zh
Application granted granted Critical
Publication of CN108463740B publication Critical patent/CN108463740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/06—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the phase of light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

一种深度相机组件(DCA)确定DCA与DCA的视场内的局部区域中的对象之间的距离。DCA包括将用时间载波信号调制的已知的空间图案投射到局部区域中的照明源。成像装置捕获投射到局部区域中的经调制的图案。成像装置包括包含不同的像素组的检测器，每个像素组被激活以在不同的时间捕获光。因此，不同的像素组捕获来自局部区域的在时间上调制的图案的不同相位。DCA从由不同的像素组捕获的相位确定来自照明源的光被反射并由成像装置捕获的时间，并且还基于由成像装置捕获的空间图案的变形来确定DCA与局部区域中的对象之间的距离。

Description

使用结构化光和飞行时间的深度映射
技术领域
本公开总体上涉及虚拟或增强现实***，并且更具体地涉及用于获得局部区域的深度信息的虚拟现实***的耳机。
背景技术
虚拟现实(VR)***、或增强现实(AR)***可以利用以三维(3D)捕获用户周围的环境。然而，传统的深度相机成像架构的尺寸相对大、重、并且消耗大量的电力。用于获得场景的3D信息的常见深度相机成像架构的示例包括：飞行时间(直接检测脉冲和编码波形)、结构化光(SL)、以及立体视觉。不同的深度相机成像架构提供不同的优势和劣势，因此某些深度相机成像架构可以在不同的操作条件下提供比其他的相机架构更好的性能。例如，立体视觉架构在环境照明下运行良好，而具有主动照明源的飞行时间架构可能受到来自环境照明的信噪比限制的损害。然而，由于常规深度相机成像架构的尺寸相对大，包括深度相机的许多***通常使用为特定使用情况配置的单一类型的深度相机成像架构。随着头戴式***越来越多地用于在各种操作条件和环境中执行更广泛的功能，选择单一深度相机成像架构来获得头戴式***和用户周围的区域的深度信息可能损害头戴式***的用户体验。
发明内容
虚拟现实(VR)或增强现实(AR)***环境中的耳机包括深度相机组件(DCA)，深度相机组件被配置为确定耳机与围绕耳机的区域中的一个或多个对象之间并且包括在耳机中的成像装置的视场(即“局部区域”)内的距离。DCA包括诸如相机的成像装置、以及被配置为将诸如对称或准随机点、网格、或水平条的指定图案发射到场景上的照明源。例如，照明源将网格或一系列水平条发射到局部区域上。基于投射到局部区域表面上时的图案变形，DCA可以利用三角测量确定表面与耳机之间的距离。
除了控制发射到局部区域上的指定图案之外，DCA还将时变强度嵌入到图案中。捕获描述从照明源发射的光从局部区域中的对象反射回成像装置的净往返时间的信息(“飞行时间信息”)，DCA具有用于捕获耳机局部区域深度信息的附加机制。基于由成像装置捕获的发射光的时间，DCA确定DCA与反射来自照明源的光的局部区域中的对象之间的距离。例如，DCA确定DCA与局部区域中的对象之间的距离一英寸大约二(2)纳秒，以便由包含在DCA中的成像装置捕获发射光。为了捕获飞行时间信息以及结构化光信息，照明源利用具有指定频率(例如30兆赫)的时间载波信号来调制由照明源发射的图案的时间和空间强度。
成像装置捕获来自局部区域的光，包括由照明源发射的由空间和时间轮廓规定的光。为了确定来自由局部区域中的对象反射的照明源的飞行时间信息，成像装置包括具有像素组阵列的检测器。每个像素组可以包括一个或多个像素，并且不同的像素组与相对于载波信号的相位的积分时间中的不同相移相关联，该载波信号被照明源用来调制发射的图案。检测器中的不同的像素组接收不同的控制信号，因此不同的像素组在由控制信号指定的不同的时间捕获光。这允许检测器中的不同的像素组捕获调制图案的不同相位。例如，彼此最接近的四个像素组接收不同的控制信号，这些控制信号使得四个像素组中的每一个在不同的时间捕获光，因此由四个像素组中的每一个捕获的光相对于由四个像素组中的其他像素组捕获的光具有九十(90)度相移。DCA比较四个像素组之间的相对信号，以得到对于对象位置的载波信号的净相位或角度，该对象位置将基于相对视场在检测器上变化。得到的净相位或角度基于检测器中不同的像素组捕获的光的信号差值。使用任何合适的技术，DCA补偿相对信号中的时间偏移以确定发射到局部区域上的结构化图案的图像。例如，DCA通过反转相对信号的相位角以缩放相对逐像素辐照度、对来自相邻像素的相对信号进行求和以去除时间偏差、或者基于相对信号的时间偏移以及来自检测器中的不同像素得到的净相位或角度中的偏移来执行其他合适的操作来补偿相对信号中的时间偏移。因此，由成像装置在DCA中捕获的帧捕获结构化光(即，空间)数据和飞行时间(即，时间)数据，由DCA改进局部区域的深度信息的整体估计。由于结构化光数据和飞行时间数据为相对于DCA的局部区域的相对深度提供不同的信息，通过DCA捕获帧中的结构化光数据和飞行时间数据提高了深度估计的准确性、精度和稳健性。在单个帧中捕获结构化光和飞行时间数据还会降低DCA对移动或运动变化的敏感度，允许DCA使用单个检测器利用飞行时间数据和结构化光数据的相对强度，提供更小、更轻、且更具成本效益的DCA实现。
附图说明
图1是根据一个实施方式的包括虚拟现实***的***环境的框图。
图2是根据一个实施方式的虚拟现实耳机的图。
图3是根据一个实施方式的虚拟现实耳机的前刚性体的截面。
图4A是根据一个实施方式的在包括于虚拟现实耳机中的深度相机组件的成像装置中包括的检测器的示例。
图4B是根据一个实施方式的操作图4A中所示的示例性检测器积分定时的控制信号的示例。
图4C是根据一个实施方式的由图4A中所示的示例性检测器中的不同的像素组针对正弦载波捕获光的示例。
图4D是根据一个实施方式的在包括于虚拟现实耳机中的深度相机组件的成像装置中包括的检测器的另一个示例。
图5A示出根据一个实施方式的成像装置和将结构化光图案投射到局部区域上的照明源的示例布置。
图5B示出根据一个实施方式的成像装置和将在时间和空间上调制的结构化光图案投射到局部区域上的照明源的示例布置。
附图仅出于说明的目的描绘了本公开的实施方式。本领域技术人员根据以下描述将容易认识到，在不脱离本文描述的公开的原理或利益的情况下，可以采用本文所示的结构和方法的替代实施方式。
具体实施方式
***概述
图1是VR控制台110在其中运行的虚拟现实(VR)***环境100的一个实施方式的框图。尽管图1为了说明的目的示出VR***环境，但是本文所描述的部件和功能还可以包括在各种实施方式中的增强现实(AR)***中。如这里所使用的，VR***环境100还可以包括向用户呈现用户可以与之交互的虚拟环境的虚拟现实***环境。图1所示的VR***环境100包括VR耳机105和耦接到VR控制台110的VR输入/输出(I/O)接口115。尽管图1示出包括一个VR耳机105和一个VR I/O界面115的示例***100，但是在其他实施方式中，在VR***环境100中可以包括任何数量的这些部件。例如，可以有许多VR耳机105，每个耳机具有相关联的VR I/O界面115，每个VR耳机105和VR I/O界面115与VR控制台110通信。在替代配置中，VR***环境100中可以包括不同的和/或附加的部件。另外，在一些实施方式中，结合图1所示的一个或多个部件描述的功能可以以与结合图1所描述的方式不同的方式分布在部件当中。例如，VR控制台110的一些或全部功能由VR耳机105提供。
VR耳机105是向用户呈现内容的头戴式显示器，其包括用计算机生成的元素(例如，二维(2D)或三维(3D)图像、2D或3D视频、声音等)增强的物理、现实环境的视图。在一些实施方式中，所呈现的内容包括经由从VR耳机105、VR控制台110或两者接收音频信息的外部装置(例如，扬声器和/或听筒)呈现的音频，并且基于音频信息呈现音频数据。下面结合图2和图3进一步描述VR耳机105的实施方式。VR耳机105可以包含一个或多个刚性体，刚性体可以刚性地或非刚性地彼此耦接在一起。刚性体之间的刚性耦接导致耦接的刚性体充当单个刚性体。相反，刚性体之间的非刚性耦接允许刚性体相对于彼此移动。
VR耳机105包括深度相机组件(DCA)120、电子显示器125、光学块130、一个或多个位置传感器135、以及惯性测量单元(IMU)140。VR耳机105的一些实施方式具有与结合图1描述的那些部件不同的部件。另外，在其他实施方式中，由结合图1描述的各种部件提供的功能可以不同地分布在VR耳机105的部件当中。
DCA 120捕获描述VR耳机105周围的区域的深度信息的数据。DCA 120的一些实施方式包括一个或多个成像装置(例如，相机、摄像机)和被配置为发射结构化光(SL)图案的照明源。如下面进一步讨论的，结构化光将诸如对称的或准随机点的图案、网格、或水平条的指定图案投射到场景上。例如，照明源将网格或一系列水平条发射到VR耳机105周围的环境上。基于三角测量、或在投射到表面上时感知到的图案变形，确定场景内的对象的深度和表面信息。
为了更好地捕获VR耳机105周围区域的深度信息，DCA 120还捕获飞行时间信息，飞行时间信息描述从照明源发射的光从VR耳机105周围的区域中的对象反射回到一个或多个成像装置的时间。在各种实现中，DCA 120同时或几乎同时捕获飞行时间信息与结构化光信息。基于要由一个或多个成像装置捕获发射光的时间，DCA 120确定DCA 120与反射来自照明源的光的VR耳机105周围的区域中的对象之间的距离。为了捕获飞行时间信息以及结构化光信息，照明源使用具有诸如30MHz的指定频率(在各种实施方式中，频率可以从5MHz到5GHz之间的频率范围中选择)的载波信号来调制发射的SL图案。
成像装置捕获并记录光的特定波长范围(即，光的“波段”)。由成像装置捕获的光波段的示例包括：可见波段(～380nm至750nm)、红外(IR)波段(～750nm至2200nm)、紫外波段(100nm至380nm)、电磁频谱的另一部分、或其中的一些组合。在一些实施方式中，成像装置捕获包括可见波段和红外波段中的光的图像。为了共同捕获从VR耳机105周围的区域中的对象反射的结构化光图案的光并且确定来自照明源的载波信号从该区域中的对象反射到DCA 120的时间，成像装置包括具有像素组阵列的检测器。每个像素组包括一个或多个像素，并且不同的像素组与相对于载波信号的相位的不同相移相关。在各种实施方式中，不同的像素组在相对于彼此的不同的时间被激活，以捕获由照明源发射的载波信号调制的图案的不同的时间相位。例如，像素组在不同的时间被激活，使得相邻像素组捕获相对于彼此具有大约90、180、或270度相移的光。DCA 120从由不同的像素组捕获的信号数据导出与DCA120的深度相等的载波信号的相位。捕获的数据还通过总像素电荷在时域上的总和或者在对载波相位信号校正之后生成空间图案的图像帧。下面结合图3至图4D进一步描述DCA120。
电子显示器125根据从VR控制台110接收的数据向用户显示2D或3D图像。在各种实施方式中，电子显示器125包含单个电子显示器或多个电子显示器(例如，对于用户的每只眼睛有一个显示器)。电子显示器125的示例包括：液晶显示器(LCD)、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管显示器(AMOLED)、一些其他显示器、或其中的一些组合。
光学块130放大从电子显示器125接收的图像光、校正与图像光相关联的光学误差、并将校正的图像光呈现给VR耳机105的用户。在各种实施方式中，光学块130包括一个或多个光学元件。包括在光学块130中的示例性光学元件包括：光圈、菲涅耳透镜、凸透镜、凹透镜、滤波器、反射表面、或影响图像光的任何其他合适的光学元件。此外，光学块130可以包括不同光学元件的组合。在一些实施方式中，光学块130中的一个或多个光学元件可以具有一个或多个涂层，诸如抗反射涂层。
由光学块130对图像光进行的放大和聚焦允许电子显示器125与更大的显示器相比在物理上更小、重量更轻并且消耗更少的电力。此外，放大可以增加由电子显示器125呈现的内容的视场。例如，所显示的内容的视场使得所显示的内容利用几乎全部(例如，大约110度的对角线)、并且在一些情况下全部的用户的视场来呈现。另外，在一些实施方式中，可以通过增加或移除光学元件来调整放大倍数。
在一些实施方式中，光学块130可以被设计成校正一种或多种类型的光学误差。光学误差的示例包括桶形失真、枕形失真、纵向色差、或横向色差。其他类型的光学误差可以进一步包括由于透镜场曲率、像散、或任何其他类型的光学误差引起的球面像差、彗形像差或误差。在一些实施方式中，提供给电子显示器125用于显示的内容被预失真，并且光学块130在从电子显示器125接收基于内容生成的图像光时校正失真。
IMU 140是基于从一个或多个位置传感器135接收的测量信号以及根据从DCA 120接收的深度信息来生成指示VR耳机105的位置的数据的电子装置。位置传感器135响应于VR耳机105的运动生成一个或多个测量信号。位置传感器135的示例包括：一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计、检测运动的另一合适类型的传感器，用于IMU140的误差校正的一类传感器、或其中的一些组合。位置传感器135可以位于IMU 140的外部、IMU 140内部、或其中的一些组合。
基于来自一个或多个位置传感器135的一个或多个测量信号，IMU 140生成指示相对于VR耳机105的初始位置的VR耳机105的估计当前位置的数据。例如，位置传感器135包括用于测量平移运动(前进/后退、上/下、左/右)的多个加速度计和用于测量旋转运动(例如，俯仰、偏航、滚转)的多个陀螺仪。在一些实施方式中，IMU 140快速地对测量信号进行采样并从采样数据计算VR耳机105的估计当前位置。例如，IMU 140对从加速度计接收的测量信号随时间积分以估计速度矢量并对速度矢量随时间积分以确定VR耳机105上的参考点的估计当前位置。可替代地，IMU 140将采样的测量信号提供给VR控制台110，VR控制台110解释数据以减少误差。参考点是可以用于描述VR耳机105的位置的点。参考点通常可以被定义为与VR耳机105的朝向和位置有关的空间中的点或位置。
IMU 140从VR控制台110接收一个或多个参数。如下面进一步讨论的，该一个或多个参数用于保持对VR耳机105的跟踪。基于接收到的参数，IMU 140可以调整一个或多个IMU参数(例如，采样率)。在一些实施方式中，某些参数使IMU 140更新参考点的初始位置，使其对应于参考点的下一个位置。将参考点的初始位置更新为参考点的下一个校准位置有助于减少与IMU 140的估计的当前位置相关联的累积误差。累积误差，也被称为漂移误差，使参考点的估计位置随时间从参考点的实际位置漂移。在VR耳机105的一些实施方式中，IMU140可以是专用硬件部件。在其他的实施方式中，IMU 140可以是在一个或多个处理器中实现的软件部件。
VR I/O界面115是允许用户发送动作请求并从VR控制台110接收响应的装置。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束图像或视频数据的捕获的指令，或者是在应用程序内执行特定动作的指令。VR I/O界面115可以包括一个或多个输入装置。示例性输入装置包括：键盘、鼠标、游戏控制器、或用于接收动作请求并将动作请求传送给VR控制台110的任何其他合适的装置。由VR I/O界面115接收到的动作请求被传送到VR控制台110，VR控制台110执行对应于动作请求的动作。在一些实施方式中，如上面进一步描述的，VR I/O界面115包括IMU 140，该IMU 140捕获指示相对于VR I/O界面115的初始位置的VR I/O界面115的估计位置的校准数据。在一些实施方式中，VR I/O界面115可以根据从VR控制台110接收的指令向用户提供触觉反馈。例如，当接收到动作请求时提供触觉反馈，或者当VR控制台110执行动作时，VR控制台110将指令传送给VR I/O界面115，使VR I/O界面115生成触觉反馈。
VR控制台110根据从DCA 120、VR耳机105、以及VR I/O界面115中的一个或多个接收的信息向VR耳机105提供用于处理的内容。在图1所示的示例中，VR控制台110包括应用储存器150、跟踪模块155和VR引擎145。VR控制台110的一些实施方式具有与结合图1描述的那些不同的模块或部件。类似地，下面进一步描述的功能可以以与结合图1描述的方式不同的方式分布在VR控制台110的部件当中。
应用储存器150存储用于由VR控制台110执行的一个或多个应用。应用是一组指令，当该指令由处理器执行时生成用于呈现给用户的内容。由应用生成的内容可以响应于经由VR耳机105或VR I/O界面115的移动从用户接收到的输入。应用的示例包括：游戏应用、会议应用、视频回放应用、或其他合适的应用。
跟踪模块155使用一个或多个校准参数来校准VR***环境100，并且可以调整一个或多个校准参数以减少确定VR耳机105或VR I/O界面115的位置时的误差。例如，跟踪模块155将校准参数传送给DCA 120以调整DCA 120的焦点以更准确地确定由DCA 120捕获的SL元素的位置。由跟踪模块155执行的校准还考虑从VR耳机105中的IMU 140和/或包括在VRI/O界面115中的IMU 140接收的信息。另外，如果丢失对VR耳机105的跟踪(例如，DCA 120失去至少阈值数量的SL元素的视线)，则跟踪模块140可以重新校准VR***环境100中的一些或全部。
跟踪模块155使用来自DCA 120、一个或多个位置传感器135、IMU 140或其中的一些组合的信息来跟踪VR耳机105或VR I/O界面115的移动。例如，跟踪模块155基于来自VR耳机105的信息在局部区域的映射中确定VR耳机105的参考点的位置。跟踪模块155还可以分别使用来自IMU 140的指示VR耳机105的位置的数据或者使用来自包括在VR I/O界面115中的IMU 140的指示VR I/O界面115的位置的数据来确定VR耳机105的参考点或VR I/O界面115的参考点的位置。另外，在一些实施方式中，跟踪模块155可使用来自IMU 140的指示VR耳机105的位置的数据的部分以及来自DCA 120的本地区域的表示来预测VR耳机105的未来位置。跟踪模块155将估计或预测的VR耳机105或VR I/O界面115的未来位置提供给VR引擎145。
VR引擎145基于从VR耳机105接收的信息生成VR耳机105周围的区域(即，“局部区域”)的3D映射。在一些实施方式中，VR引擎145基于由VR耳机105的DCA 120捕获的变形的SL元素的图像、基于由DCA 120发射的光在由VR耳机105周围的区域中的一个或多个对象反射之后被DCA 120检测到的经过时间、或基于由DCA 120捕获的变形的SL元素的图像和由DCA120发射的光在由VR耳机105周围的区域中的一个或多个对象反射之后被DCA 120检测到的经过时间的组合，来确定针对局部区域的3D映射的深度信息。在各种实施方式中，VR引擎145使用由DCA 120确定的不同类型的信息或由DCA 120确定的各类型的信息的组合。
VR引擎145还执行VR***环境100内的应用，并且从跟踪模块155接收VR耳机105的位置信息、加速度信息、速度信息、预测的未来位置、或其中的一些组合。基于接收到的信息，VR引擎145确定要提供给VR耳机105以呈现给用户的内容。例如，如果所接收的信息指示用户已经向左看去，则VR引擎145生成用于VR耳机105的内容，该内容反映在虚拟环境中或在用附加内容增强局部区域的环境中的用户的移动。另外，VR引擎145响应于从VR I/O界面115接收到的动作请求，在于VR控制台110上执行的应用内执行动作，并向用户提供动作被执行的反馈。所提供的反馈可以是经由VR耳机105的视觉或听觉反馈或经由VR I/O界面115的触觉反馈。
图2是VR耳机200的一个实施方式的线图。VR耳机200是VR耳机105的实施方式，并且包括前刚性体205、带子210、参考点215、左侧220A、上侧220B、右侧220C、下侧220D、和前侧220E。图2中所示的VR耳机200还包括深度相机组件(DCA)120的实施方式，该深度相机组件包括相机225和照明源230，它们将在下面结合图3和图4进一步描述。前刚性体205包括电子显示器125(未示出)的一个或多个电子显示元件、IMU 130、一个或多个位置传感器135、以及参考点215。
在图2所示的实施方式中，VR耳机200包括DCA 120，DCA 120包括相机225和照明源230，照明源230被配置为将已知的空间图案(例如，网格、一系列线、对称或准随机取向的点的图案)投射到局部区域上。例如，空间图案包含已知宽度和高度的一个或多个几何元素，当空间图案被投射到局部区域上时允许计算各种几何元素的变形，以提供关于局部区域中的对象的信息。照明源230利用具有指定频率的载波信号在时间上调制已知的空间图案。在各种实施方式中，照明源230包括耦接到发光器的控制器(例如，处理器)，控制器被配置为通过载波信号调制由发光器发射的光，以基于载波信号的变化随时间改变由发光器发射的光的强度。当发光器发射已知的空间图案(即，“结构化光的图案”或“结构化光图案”)时，已知的空间图案的强度基于载波信号随时间变化。例如，照明源230包括耦接到控制器的发光器，该控制器用具有10MHz的频率的正弦波、具有100MHz的频率的方波、或用任何其它合适的信号来调制已知的空间图案。如下面结合图3到图4B进一步描述的，相机225捕获局部区域的图像，该图像用于计算局部区域的深度图像。
图3是图2中描绘的VR耳机200的前刚性体205的截面。如图3所示，前刚性体205包括成像装置225和照明源230。在图3的示例中还示出，前刚性体205包括耦接到成像装置225的处理器315。然而，在其他实施方式中，处理器315被包括在成像装置225中。前刚性体205还具有对应于路径的光轴，光沿着该路径传播通过前刚性体205。在一些实施方式中，成像装置225沿着光轴定位并且捕获局部区域305的图像，局部区域305是成像装置225的视场内围绕前刚性体205的环境的一部分。另外，前刚性体205包括上面结合图1进一步描述的电子显示器125以及光学块130。前刚性体205还包括用户眼睛340所在的出射光瞳335。为了说明的目的，图3示出根据单只眼睛340的前刚性体205的截面。局部区域305反射入射的环境光以及由照明源230投射的光。
如上面结合图1所述，电子显示器125朝向光学块130发射形成图像的光，光学块改变从电子显示器125接收的光。光学块130将改变后的图像光引导至出射光瞳335，出射光瞳是用户的眼睛340所位于的前刚性体205的位置。图3示出针对用户的单只眼睛340的前刚性体205的截面，而与图3中所示的那些分开的另一电子显示器125和光学块130包括在前刚性体205中，以向用户的另一只眼睛呈现诸如局部区域305或虚拟内容的增强表示的内容。
包括照明源230和成像装置225的深度相机组件(DCA)120使用检测器捕获描述从照明源230发射的光从局部区域305中的对象反射回到成像装置225的时间的信息，以及由照明源230投射到局部区域305上的结构化光图案的图像。在各种实施方式中，检测器被包括在成像装置225中。如上所述，为了捕获来自照明源230的光从局部区域305中的对象反射的时间，照明源230用具有指定频率的载波信号来调制结构化光图案。例如，照明源230用10MHz的正弦波调制结构化光图案，使得由照明源230发射的光的强度基于载波信号随时间变化。
为了捕获在空间和时间上调制的光图案，成像装置225包括包含多个像素组的检测器。图4A示出包括在成像装置225中的示例性检测器400。图4A中的检测器400包括不同的像素组410、415、420、425，每个像素组接收激活像素组410、415、420、425的不同的控制信号以捕获图像数据。使不同的像素组410、415、420、425接收不同的控制信号允许不同的像素组410、415、420、425以偏移但受控的时序捕获图像数据。例如，当由像素组410、415、420、425接收的控制信号具有特定值时，像素组410、415、420、425捕获来自局部区域305的光，并且当控制信号具有替代值时，像素组410、415、420、425不捕获来自局部区域305的光。检测器400中的像素组410、415、420、425相对于彼此定位，使得彼此最接近的像素组410、415、420、425，425在不同的时间捕获光，导致由彼此最接近的像素组410、415、420、425捕获的光之间的指定的相移。在图4A的示例中，像素组410、像素组415、像素组420、和像素组425在不同的时间捕获光，因此由像素组410捕获的光相对于由像素组415捕获的光具有90度的相移，由像素组415捕获的光相对于像素组420具有90度的相移(并且相对于像素组410是180度相移)。然而，在其他实施方式中，由像素组410捕获的光相对于由最靠近像素组410的其他像素组415、420、425捕获的光具有任何合适的指定相移(例如，45度相移、10度相移等)。同样在图4的示例中，像素组425相对于像素组420具有90度相移(并且相对于像素组410具有270度相移)。类似地，像素组415、像素组420、和像素组425中的每一个捕获相对于其他像素组410、415、420、425具有90度相移的光。例如，像素组410、像素组415、像素组420、和像素组425分别捕获具有0度相移，90度相移、180度相移和270度相移的光。在各种实施方式中，像素组410、415、420、425以重复的图案布置在检测器400中。例如，检测器400包括多个2×2网格，每个2×2网格包括如图4A所示的彼此相对布置的像素组410、415、420、425。
如下面进一步描述的，耦接到成像装置225(或包括在成像装置225中)的处理器310从成像装置225接收数据并确定在时间上调制结构化光图案的载波信号的相位。基于确定的载波信号的相位，处理器310确定经调制的结构化光图案被局部区域中的一个或多个对象反射并且由成像装置225的检测器400捕获的时间。从所确定的由局部区域中的不同对象反射结构化光图案的时间，处理器310确定从检测器400到局部区域中的一个或多个对象的距离，并且生成包括来自检测器400中的每个像素组410、415、420、425捕获的光的结构化光图案的帧。
图4B示出由检测器400中的不同的像素组410、415、420、425接收的控制信号的示例。在图4B的示例中，当控制信号具有最大值时，接收控制信号的像素组410、415、420、425捕获光，而接收不同的控制信号的像素组410、415、420、425不捕获光。类似地，当控制信号具有最小值时，接收控制信号的像素组410、415、420、425不捕获光。如图4B所示，不同的像素组410、415、420、425的控制信号在不同的时间具有最大值，因此单个像素组410、415、420、425在特定时间捕获光。例如，当由像素组415接收的控制信号具有最大值时，由像素组410、420、425接收的控制信号具有最小值，因此像素组410、420、425不捕获光，而像素组415捕获光。不同的像素组410、415、420、425基于其控制信号连续地捕获光。当从每个像素组410、415、420、425捕获光时，检测器生成帧。在各种实施方式中，从每个像素组410、415、420、425多次捕获光，并且检测器根据由像素组410、415、420、425捕获的累积光生成帧以改善帧的信噪比。针对后续帧，在不同的时间从不同的像素组410、415、420、425重复捕获光，其中针对由每个帧的总体积分时间和成像装置225的帧速率确定的帧捕获一段时间的光。
因此，在一个实施方式中，不同的像素组410、415、420、425以不同的偏移时间捕获来自局部区域305的光，这些时间是调制空间图案的载波信号的频率的往返时间的一部分。例如，图4C示出照明源230调制结构化光图案的示例性正弦载波信号430。图4C识别在不同的时间捕获包括载波信号430的光的不同的像素组410、415、420、425。因此，像素组410在由像素组410接收的控制信号具有最大值的时间期间捕获包括载波信号430的一部分的光，而像素组415、420、425不捕获包括载波信号430的部分的光。其余的像素组415、420、425类似地各自在由对应像素组415、420、425接收的控制信号具有最大值的时间间隔期间捕获载波信号430的部分。虽然图4C将载波信号430示出为正弦波，但是在其他实施方式中，载波信号430可以是方波或具有频率和谐波的组合的任何其他信号。因此，在图4A至图4C的示例中，当像素组410捕获光时，其余的像素组415、420、245不捕获光，因此当单个像素组捕获光时，其余的三个像素组不针对该相关的帧捕获光。在每个像素组410、415、420、425为单个连续图案捕获光之后，在由成像装置225捕获的帧的积分时间期间重复该序列。
基于由图像捕获装置320中的不同的像素组410、415、420、425接收的光的强度，DCA 120确定载波信号的相位。例如，DCA 120确定由像素组425捕获的光与由像素组415捕获的光之间的差值。另外，DCA 120确定由像素组410捕获的光与由像素组420捕获的光之间的附加差值。在图4A所示的检测器400的示例配置中(其是最小正交布置)，DCA 120将载波信号的相位确定为差值与附加差值之比的反正切。使用确定的相位，DCA 120确定从照明源230发射的光被局部区域305中的对象反射回成像装置225的时间。从所确定的时间，DCA120使用一个或多个飞行时间方法来确定DCA 120与局部区域305中的各种对象之间的距离。另外，使用所确定的相位，DCA 120将由不同的像素组410、415、420、425捕获的光组合成帧，该帧允许从照明源310发射的结构化光图案提供局部区域305的进一步深度信息。由一个或多个飞行时间方法确定的距离提供局部区域305中的对象与DCA 120之间的距离信息，而由成像装置225捕获的结构化光图案的分析提供局部区域305中的对象与DCA 120之间的相关但唯一的距离测量。
图4D示出包括在深度相机组件120的成像装置中的检测器405的另一个示例。在结合图4A至图4C描述的检测器400中，检测器400中的不同的像素组410、415、420、425被示出为在成像装置225的积分时间的片段内捕获光以生成帧。在图4D的示例中，检测器405的每个像素组410、415、420、425在每像素包括多个电荷存储区，这可以经由软件或诸如循环器或开关的硬件实现。这允许每个像素组410、415、420、425在积分时间期间连续地捕获光，并基于载波信号430的频率和相位定时，动态地改变从捕获的光生成的电流所耦接到的位置。由不同的像素组410、415、420、425捕获的光所累积的电荷被累积在不同的位置(例如，存储器或电容器)中，提供不同的子窗口，如图4D中突出显示的矩形所示。如图4D中所示，子窗口沿着对角线组合以说明子窗口相对于彼此具有90度相移。来自每个像素组410、415、420、425的子窗口在相位上组合以增加信噪比并且生成用于飞行时间测量的帧。因此，由不同的像素组410、415、420、425在不同的时间捕获的光经由先前讨论的方法组合以提取载波信号430的相位。在图4D的示例中，随着每个像素组410、415、420、425连续地捕获光并且改变来自捕获的光的电荷在载波频率的相位处被累积的位置，组合在指定的最大积分时间内突出显示的子窗口。例如，图4D的检测器405的每个像素组410、415、420、425同时捕获光并且在对应于捕获光的像素组41、415、420、425的位置中累积电荷，其中由像素组410、415、420、425累积电荷的位置基于载波信号430改变以保持载波频率的相位。在一些实施方式中，图4D所示的检测器405的每个像素组410、415、420、425被配置为以高达百分之100的占空比捕获光，在一些实施方式中允许检测器405的多个像素组410、415、420、425连续地并且同时地累积来自由多个像素组410、415、420、425捕获的光的电荷。如上面进一步描述的，由不同的像素组410、415、420、425确定的相位角允许辐射度差异的校正以分析结构化光图案。另外，在图4D的示例中，由不同的像素组410、415、420、425对光的连续捕获允许对结构化光图像分析进行被动校正。通过对每个像素组410、415、420、425在整个积分窗口上捕获的全部电荷求和，检测器405作为诸如相机的图像捕获装置运行，这是因为在像素级积分定时中似乎没有偏移。因此，图4D所示的检测器405通过最小化时间调制对结构化光算法的影响来减小相关的固定图案、时间、或***噪声的电位。
图5A示出成像装置225和将结构化光图案(也被称为空间图案)投射到局部区域上的照明源230的示例布置。在图5A中，示例性空间图案包含在照明源230的视场内投射的垂直条。通过散射或直接反射，空间图案被成像装置225中的检测器捕获，该检测器通过与照明源230的三角测量允许结构化光方法提取局部区域的三维布局。
图5B示出成像装置225和投射来自照明源230的在时间上调制的结构化光图案(也称为空间图案)的照明源230的示例布置。在图5B中，时间调制由在到达局部区域之前的来自照明源230的距离近似相等的矩形区示出。出于说明的目的，在图5B中将空间图案作为四个竖条示出。因此，图5B中的成像装置225和照明源230允许捕获空间图案和飞行时间信息以分别提供空间和时间方法以提取局部区域深度。如上面结合图3至图4D所述，成像装置225包括公共检测器，以通过控制成像装置225中的不同的像素组410、415、420、425之间的相位偏移来捕获空间和时间信息。
为了说明的目的已经呈现了实施方式的前述描述；实施方式并不旨在是详尽无遗的或将专利权限制在所公开的确切形式。相关领域的技术人员可以理解，鉴于上述公开，许多修改和变化是可能的。
本说明书中使用的语言主要是为了可读性和指导的目的而选择的，并且其可能未被选择为描绘或限定本发明的主题。因此，意图是专利权的范围不受本详细描述的限制，而是受限于基于本文的申请发布的任何权利要求。因此，实施方式的公开旨在说明而非限制专利权的范围。

Claims (23)

1.一种设备，包括：
照明源，包括：
耦接到发光器的控制器，所述控制器被配置为通过载波信号调制由所述发光器发射的光，使得所述光的图案的强度基于所述载波信号随时间变化，并且所述发光器被配置为发射由所述载波信号调制的结构化光图案；
成像装置，被配置为捕获经调制的结构化光图案，所述成像装置包括检测器，所述检测器包括：
多个像素组，每个像素组包括一个或多个像素，每个像素组被配置为接收确定像素组何时捕获光的控制信号，所述控制信号使像素组在相对于其他像素组的不同的时间捕获光；以及
耦接到所述成像装置的处理器，所述处理器被配置为：
基于由所述检测器中的不同的像素组接收的光的强度确定所述载波信号的相位，
基于所确定的所述载波信号的相位，确定所述经调制的结构化光图案从局部区域中的一个或多个对象反射并由所述检测器捕获的时间，
从所确定的时间确定从所述检测器到所述局部区域中的所述一个或多个对象的距离，以及
生成包括来自由所述检测器中的每个像素组在不同的时间捕获的光的结构化光图案的帧。
2.根据权利要求1所述的设备，其中，像素组被配置为当由所述像素组接收的控制信号具有一值时捕获光，并且当由所述像素组接收的所述控制信号具有替代值时不捕获光。
3.根据权利要求2所述的设备，其中，由不同的像素组接收的控制信号在不同的时间具有所述值。
4.根据权利要求2所述的设备，其中，由相邻的像素组在不同的时间接收的控制信号使由所述像素组捕获的光相对于由与所述像素组相邻的其他像素组捕获的光具有指定相移。
5.根据权利要求4所述的设备，其中，所述指定相移是90度相移。
6.根据权利要求5所述的设备，其中，由像素组接收的控制信号在特定时间具有所述值，并且由其他像素组接收的控制信号在所述特定时间具有所述替代值。
7.根据权利要求5所述的设备，其中，由像素组接收的控制信号在特定时间具有所述值，并且由与所述像素组相邻的每个像素组接收的控制信号在所述特定时间具有所述替代值。
8.根据权利要求5所述的设备，其中，基于由所述检测器中的不同的像素组接收的光的强度确定所述载波信号的所述相位包括：
确定由像素组和由与所述像素组相邻的另一像素组捕获的光的强度之间的差值；
确定由替代像素组和与所述替代像素组相邻的又一像素组捕获的光的强度之间的附加差值，所述替代像素组和所述又一像素组与所述像素组相邻；以及
基于所述差值与所述附加差值的比率确定所述载波信号的所述相位。
9.根据权利要求8所述的设备，其中，基于所述差值与所述附加差值的所述比率确定所述载波信号的所述相位包括：
将所述载波信号的所述相位确定为所述差值比所述附加差值的反正切。
10.根据权利要求1所述的设备，其中，包括在所述检测器中的多个所述像素组以重复的图案布置。
11.根据权利要求10所述的设备，其中，所述重复的图案包括2×2网格，其中，所述2×2网格中的每个像素组捕获相对于由所述2×2网格中的另一像素组捕获的光具有90度相移的光。
12.根据权利要求1所述的设备，其中，所述载波信号包括正弦波。
13.根据权利要求1所述的设备，其中，所述载波信号包括方波。
14.一种方法，包括：
通过载波信号调制结构化光图案，使得所述结构化光图案的强度基于所述载波信号随时间变化；
将经调制的结构化光图案发射到局部区域中；
使用包括多个像素组的检测器捕获所述经调制的结构化光图案，每个像素组被配置为在与其他像素组不同的时间捕获光；
基于由所述检测器中的不同的像素组接收的光的强度确定所述载波信号的相位；
基于所确定的所述载波信号的相位，确定所述经调制的结构化光图案从所述局部区域中的一个或多个对象反射并由所述检测器捕获的时间；
从所确定的时间确定从所述检测器到所述局部区域中的所述一个或多个对象的距离；以及
生成包括来自由所述检测器中的每个像素组在不同的时间捕获的光的结构化光图案的帧。
15.根据权利要求14所述的方法，其中，使用包括多个像素组的所述检测器捕获所述经调制的结构化光图案包括：
在不同的时间使用不同的像素组捕获光。
16.根据权利要求15所述的方法，其中，在不同的时间使用不同的像素组捕获光包括：
使用不同的像素组捕获光，使得由像素组捕获的光相对于由与所述像素组相邻的其他像素组捕获的光具有指定相移。
17.根据权利要求16所述的方法，其中，所述指定相移包括90度相移。
18.根据权利要求17所述的方法，其中，基于由所述检测器中的不同的像素组接收的光的强度确定所述载波信号的相位包括：
确定由所述检测器中的像素组和由所述像素组中的与所述像素组相邻的另一像素组捕获的光的强度之间的差值；
确定由所述检测器中的替代像素组和所述检测器中的与所述替代像素组相邻的又一像素组捕获的光的强度之间的附加差值，所述替代像素组和所述又一像素组与所述像素组相邻；以及
基于所述差值与所述附加差值的比率确定所述载波信号的所述相位。
19.根据权利要求17所述的方法，其中，基于所述差值与所述附加差值的所述比率确定所述载波信号的所述相位包括：
将所述载波信号的所述相位确定为所述差值比所述附加差值的反正切。
20.一种设备，包括：
照明源，被配置为：
通过载波信号调制结构化光图案，使得所述结构化光图案的强度基于所述载波信号随时间变化，以及
发射经调制的结构化光图案；
成像装置，被配置为捕获所述经调制的结构化光图案，所述成像装置包括检测器，所述检测器包括：
多个像素组，每个像素组包括一个或多个像素，每个像素组包括多个电荷存储区，所述检测器被配置为基于所述载波信号的频率和相位在包括于像素组中的一个电荷存储区中从由所述像素组捕获的光累积电荷。
21.根据权利要求20所述的设备，其中，每个像素组同时捕获光，并且在包括于所述像素组中的存储区中累积的电荷基于所述载波信号改变。
22.根据权利要求21所述的设备，其中，每个像素组被配置为以高达百分之100的占空比捕获光。
23.根据权利要求20所述的设备，进一步包括：
耦接到所述成像装置的处理器，所述处理器被配置为：
基于由所述检测器中不同的像素组接收的光的强度确定所述载波信号的相位，
基于所确定的所述载波信号的相位，确定所述经调制的结构化光图案从局部区域中的一个或多个对象反射并由所述检测器捕获的时间，
从所确定的时间确定从所述检测器到所述局部区域中的所述一个或多个对象的距离，以及
生成包括来自由所述检测器中的每个像素组在不同的时间捕获的光的结构化光图案的帧。
CN201780006774.7A 2016-01-15 2017-01-05 使用结构化光和飞行时间的深度映射 Active CN108463740B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662279629P 2016-01-15 2016-01-15
US62/279,629 2016-01-15
US15/268,325 US9858672B2 (en) 2016-01-15 2016-09-16 Depth mapping using structured light and time of flight
US15/268,325 2016-09-16
PCT/US2017/012346 WO2017123452A1 (en) 2016-01-15 2017-01-05 Depth mapping using structured light and time of flight

Publications (2)

Publication Number Publication Date
CN108463740A true CN108463740A (zh) 2018-08-28
CN108463740B CN108463740B (zh) 2020-01-21

Family

ID=59312060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780006774.7A Active CN108463740B (zh) 2016-01-15 2017-01-05 使用结构化光和飞行时间的深度映射

Country Status (6)

Country Link
US (3) US9858672B2 (zh)
EP (2) EP3745185A1 (zh)
JP (2) JP6546349B2 (zh)
KR (2) KR101949950B1 (zh)
CN (1) CN108463740B (zh)
WO (1) WO2017123452A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109283508A (zh) * 2018-11-21 2019-01-29 深圳奥比中光科技有限公司 飞行时间计算方法
CN109343070A (zh) * 2018-11-21 2019-02-15 深圳奥比中光科技有限公司 时间飞行深度相机
CN112703729A (zh) * 2018-09-14 2021-04-23 脸谱科技有限责任公司 从由多台照相机捕获的图像并行确定的深度信息生成对象的表示
CN113016177A (zh) * 2018-09-14 2021-06-22 脸谱科技有限责任公司 具有结构光源和飞行时间相机的深度测量组件

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10481195B2 (en) 2015-12-02 2019-11-19 Machinesense, Llc Distributed IoT based sensor analytics for power line diagnosis
US10648735B2 (en) 2015-08-23 2020-05-12 Machinesense, Llc Machine learning based predictive maintenance of a dryer
JP6598673B2 (ja) * 2015-12-24 2019-10-30 キヤノン株式会社 データ処理装置およびその方法
US9858672B2 (en) * 2016-01-15 2018-01-02 Oculus Vr, Llc Depth mapping using structured light and time of flight
US10033988B2 (en) 2016-10-31 2018-07-24 Verizon Patent And Licensing Inc. Methods and systems for capturing depth data using frequency-segregated structured light
US10025384B1 (en) * 2017-01-06 2018-07-17 Oculus Vr, Llc Eye tracking architecture for common structured light and time-of-flight framework
US10154254B2 (en) 2017-01-17 2018-12-11 Facebook Technologies, Llc Time-of-flight depth sensing for eye tracking
CN110785741B (zh) * 2017-06-16 2024-04-26 微软技术许可有限责任公司 生成用户界面容器
DE102017117211B3 (de) 2017-07-31 2018-09-06 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur trajektorienbasierten Merkmalszuordnung in einem von einer Bilderfassungseinheit eines Fahrzeugs erfassten Bild
US10692279B2 (en) * 2017-07-31 2020-06-23 Quantum Spatial, Inc. Systems and methods for facilitating making partial selections of multidimensional information while maintaining a multidimensional structure
US10061352B1 (en) * 2017-08-14 2018-08-28 Oculus Vr, Llc Distributed augmented reality system
US10791283B2 (en) * 2017-09-01 2020-09-29 Facebook Technologies, Llc Imaging device based on lens assembly with embedded filter
JP6637936B2 (ja) * 2017-09-14 2020-01-29 株式会社Ｓｕｂａｒｕ 車両の路面判定装置
US10491877B1 (en) * 2017-12-21 2019-11-26 Facebook Technologies, Llc Depth camera assembly using multiplexed sensor phase measurements to determine depth using fringe interferometry
US10855973B1 (en) * 2017-12-21 2020-12-01 Facebook Technologies, Llc Depth mapping using fringe interferometry
JP7253323B2 (ja) * 2018-02-14 2023-04-06 オムロン株式会社 ３次元計測システム及び３次元計測方法
US11716548B2 (en) 2018-03-13 2023-08-01 Meta Platforms Technologies, Llc Timing of multiplexed sensor phase measurements in a depth camera assembly for depth determination using fringe interferometry
CN108648222B (zh) * 2018-04-27 2021-08-17 华中科技大学 结构光深度数据空间分辨率的提升方法及装置
JP7214363B2 (ja) * 2018-04-27 2023-01-30 ソニーセミコンダクタソリューションズ株式会社 測距処理装置、測距モジュール、測距処理方法、およびプログラム
US10529128B1 (en) * 2018-04-27 2020-01-07 Facebook Technologies, Llc Apparatus, system, and method for mapping a 3D environment
US11187804B2 (en) 2018-05-30 2021-11-30 Qualcomm Incorporated Time of flight range finder for a structured light system
KR102596053B1 (ko) * 2018-08-27 2023-11-01 엘지이노텍 주식회사 영상 처리 장치 및 영상 처리 방법
WO2020045770A1 (en) * 2018-08-31 2020-03-05 Samsung Electronics Co., Ltd. Method and device for obtaining 3d images
KR102543027B1 (ko) * 2018-08-31 2023-06-14 삼성전자주식회사 3차원 이미지를 획득하기 위한 방법 및 장치
US10855896B1 (en) * 2018-12-13 2020-12-01 Facebook Technologies, Llc Depth determination using time-of-flight and camera assembly with augmented pixels
US10791282B2 (en) 2018-12-13 2020-09-29 Fenwick & West LLP High dynamic range camera assembly with augmented pixels
US10791286B2 (en) 2018-12-13 2020-09-29 Facebook Technologies, Llc Differentiated imaging using camera assembly with augmented pixels
JP7438555B2 (ja) 2019-04-22 2024-02-27 国立大学法人 奈良先端科学技術大学院大学 三次元計測方法および三次元計測装置
WO2021030034A1 (en) 2019-08-15 2021-02-18 Apple Inc. Depth mapping using spatial multiplexing of illumination phase
US10902623B1 (en) 2019-11-19 2021-01-26 Facebook Technologies, Llc Three-dimensional imaging with spatial and temporal coding for depth camera assembly
US11194160B1 (en) 2020-01-21 2021-12-07 Facebook Technologies, Llc High frame rate reconstruction with N-tap camera sensor
US20210255327A1 (en) * 2020-02-17 2021-08-19 Mediatek Inc. Emission And Reception Of Patterned Light Waves For Range Sensing
WO2021176873A1 (ja) * 2020-03-03 2021-09-10 ソニーグループ株式会社 情報処理装置と情報処理方法およびプログラム
US11763472B1 (en) 2020-04-02 2023-09-19 Apple Inc. Depth mapping with MPI mitigation using reference illumination pattern
CN115552285A (zh) 2020-06-11 2022-12-30 苹果公司 具有飞行时间感测能力的全局快门图像传感器
CN113298778B (zh) * 2021-05-21 2023-04-07 奥比中光科技集团股份有限公司 一种基于飞行时间的深度计算方法、***及存储介质
JP2024005071A (ja) * 2022-06-29 2024-01-17 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距システム、および測距方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102694998A (zh) * 2011-03-24 2012-09-26 三星电子株式会社 深度传感器、深度信息误差补偿方法及信号处理***
US20130021441A1 (en) * 2011-07-22 2013-01-24 Samsung Electronics Co., Ltd. Method and image sensor having pixel structure for capturing depth image and color image
US20140211193A1 (en) * 2012-09-24 2014-07-31 Alces Technology, Inc. Structured light and time of flight depth capture with a MEMS ribbon linear array spatial light modulator
US20150062558A1 (en) * 2013-09-05 2015-03-05 Texas Instruments Incorporated Time-of-Flight (TOF) Assisted Structured Light Imaging
US20150181096A1 (en) * 2013-12-25 2015-06-25 Sony Corporation Control device, control method, and control system
CN104903677A (zh) * 2012-12-17 2015-09-09 Lsi公司 用于将使用不同深度成像技术生成的深度图像合并的方法和装置

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3298081B2 (ja) 1994-12-06 2002-07-02 日本電信電話株式会社 ヘッドマウントディスプレイ装置
US6600168B1 (en) * 2000-02-03 2003-07-29 Genex Technologies, Inc. High speed laser three-dimensional imager
JP4466260B2 (ja) * 2004-07-30 2010-05-26 パナソニック電工株式会社 画像処理装置
WO2006013901A1 (ja) 2004-08-04 2006-02-09 Asahi Glass Company, Limited 液晶レンズ素子および光ヘッド装置
US20060210111A1 (en) 2005-03-16 2006-09-21 Dixon Cleveland Systems and methods for eye-operated three-dimensional object location
US8427426B2 (en) * 2005-05-27 2013-04-23 Sony Computer Entertainment Inc. Remote input device
KR100791389B1 (ko) * 2006-12-26 2008-01-07 삼성전자주식회사 스트럭쳐드 라이트를 이용한 거리 측정 장치 및 방법
US8150142B2 (en) * 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
US8224068B2 (en) * 2007-09-18 2012-07-17 University Of Kentucky Research Foundation (Ukrf) Lock and hold structured light illumination
JP5280030B2 (ja) * 2007-09-26 2013-09-04 富士フイルム株式会社 測距方法および装置
US7986321B2 (en) * 2008-01-02 2011-07-26 Spatial Integrated Systems, Inc. System and method for generating structured light for 3-dimensional image rendering
BR112012000189B1 (pt) * 2009-06-17 2020-01-21 3Shape As aparelho de varredura com foco.
EP2500687A3 (en) * 2011-03-14 2013-02-20 Heliotis SA Structured light projector
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US9349182B2 (en) * 2011-11-10 2016-05-24 Carestream Health, Inc. 3D intraoral measurements using optical multiline method
JP2013104784A (ja) * 2011-11-14 2013-05-30 Mitsubishi Electric Corp 光３次元カメラ
WO2013078349A1 (en) * 2011-11-23 2013-05-30 The Trustees Of Columbia University In The City Of New York Systems, methods, and media for performing shape measurement
US8955973B2 (en) 2012-01-06 2015-02-17 Google Inc. Method and system for input detection using structured light projection
TWI481901B (zh) * 2012-12-03 2015-04-21 Wistron Corp 頭戴式顯示裝置
JP6241793B2 (ja) * 2012-12-20 2017-12-06 パナソニックＩｐマネジメント株式会社 ３次元測定装置および３次元測定方法
JP2014219621A (ja) 2013-05-10 2014-11-20 株式会社タイトー 表示装置、表示制御プログラム
KR102098277B1 (ko) 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
JP6403776B2 (ja) * 2013-08-19 2018-10-10 ビーエーエスエフ ソシエタス・ヨーロピアＢａｓｆ Ｓｅ 光学検出器
TWI485361B (zh) * 2013-09-11 2015-05-21 Univ Nat Taiwan 三維形貌輪廓量測裝置及其方法
US20150102981A1 (en) 2013-10-11 2015-04-16 Microsoft Corporation Eye tracking
US9671612B2 (en) 2014-01-29 2017-06-06 Google Inc. Dynamic lens for head mounted display
US9749513B2 (en) * 2014-04-29 2017-08-29 Facebook, Inc. System and method for generating a light pattern for object illumination
US9753140B2 (en) * 2014-05-05 2017-09-05 Raytheon Company Methods and apparatus for imaging in scattering environments
US9330464B1 (en) * 2014-12-12 2016-05-03 Microsoft Technology Licensing, Llc Depth camera feedback
US9712806B2 (en) * 2014-12-19 2017-07-18 Datalogic ADC, Inc. Depth camera system using coded structured light
WO2016138143A1 (en) * 2015-02-25 2016-09-01 Oculus Vr, Llc Using intensity variations in a light pattern for depth mapping of objects in a volume
US10241569B2 (en) 2015-12-08 2019-03-26 Facebook Technologies, Llc Focus adjustment method for a virtual reality headset
US9858672B2 (en) * 2016-01-15 2018-01-02 Oculus Vr, Llc Depth mapping using structured light and time of flight

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102694998A (zh) * 2011-03-24 2012-09-26 三星电子株式会社 深度传感器、深度信息误差补偿方法及信号处理***
US20130021441A1 (en) * 2011-07-22 2013-01-24 Samsung Electronics Co., Ltd. Method and image sensor having pixel structure for capturing depth image and color image
US20140211193A1 (en) * 2012-09-24 2014-07-31 Alces Technology, Inc. Structured light and time of flight depth capture with a MEMS ribbon linear array spatial light modulator
CN104903677A (zh) * 2012-12-17 2015-09-09 Lsi公司 用于将使用不同深度成像技术生成的深度图像合并的方法和装置
US20150062558A1 (en) * 2013-09-05 2015-03-05 Texas Instruments Incorporated Time-of-Flight (TOF) Assisted Structured Light Imaging
US20150181096A1 (en) * 2013-12-25 2015-06-25 Sony Corporation Control device, control method, and control system

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112703729A (zh) * 2018-09-14 2021-04-23 脸谱科技有限责任公司 从由多台照相机捕获的图像并行确定的深度信息生成对象的表示
CN113016177A (zh) * 2018-09-14 2021-06-22 脸谱科技有限责任公司 具有结构光源和飞行时间相机的深度测量组件
US11625845B2 (en) 2018-09-14 2023-04-11 Meta Platforms Technologies, Llc Depth measurement assembly with a structured light source and a time of flight camera
CN113016177B (zh) * 2018-09-14 2023-05-09 元平台技术有限公司 具有结构光源和飞行时间相机的深度测量组件
CN112703729B (zh) * 2018-09-14 2023-12-15 元平台技术有限公司 从由多台照相机捕获的图像并行确定的深度信息生成对象的表示
CN109283508A (zh) * 2018-11-21 2019-01-29 深圳奥比中光科技有限公司 飞行时间计算方法
CN109343070A (zh) * 2018-11-21 2019-02-15 深圳奥比中光科技有限公司 时间飞行深度相机

Also Published As

Publication number Publication date
KR20180081634A (ko) 2018-07-16
US9858672B2 (en) 2018-01-02
JP2019504313A (ja) 2019-02-14
EP3745185A1 (en) 2020-12-02
US20170206660A1 (en) 2017-07-20
US10228240B2 (en) 2019-03-12
CN108463740B (zh) 2020-01-21
US9976849B2 (en) 2018-05-22
US20180058844A1 (en) 2018-03-01
EP3403131A1 (en) 2018-11-21
KR102456961B1 (ko) 2022-10-21
JP6546349B2 (ja) 2019-07-17
KR101949950B1 (ko) 2019-02-19
US20180231372A1 (en) 2018-08-16
WO2017123452A1 (en) 2017-07-20
KR20190010742A (ko) 2019-01-30
JP6827073B2 (ja) 2021-02-10
EP3403131A4 (en) 2019-08-21
EP3403131B1 (en) 2020-11-18
JP2019219399A (ja) 2019-12-26

Similar Documents

Publication Publication Date Title
CN108463740A (zh) 使用结构化光和飞行时间的深度映射
US11132805B2 (en) Depth measurement assembly with a structured light source and a time of flight camera
CN108370438B (zh) 范围选通的深度相机组件
US10440355B2 (en) Depth mapping with a head mounted display using stereo cameras and structured light
CN109565585A (zh) 用于深度信息确定的多发射器照明源
CN109425305A (zh) 使用多个脉冲式结构光投影仪的深度测量
US10957059B1 (en) Multi-pattern depth camera assembly
CN109425306A (zh) 深度测量组件
KR20210009316A (ko) 타임 오브 플라이트 카메라의 감소된 전력 동작
CN110275174A (zh) 使用条纹干涉测量法进行深度确定的***和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Facebook Technologies, LLC

Address before: California, USA

Applicant before: OCULUS VR, LLC

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Patentee before: Facebook Technologies, LLC