CN107532885A - 光图案中的强度变化用于体积中的物体的深度绘制 - Google Patents

光图案中的强度变化用于体积中的物体的深度绘制 Download PDF

Info

Publication number
CN107532885A
CN107532885A CN201680023312.1A CN201680023312A CN107532885A CN 107532885 A CN107532885 A CN 107532885A CN 201680023312 A CN201680023312 A CN 201680023312A CN 107532885 A CN107532885 A CN 107532885A
Authority
CN
China
Prior art keywords
light
striped
intensity
change
strength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680023312.1A
Other languages
English (en)
Other versions
CN107532885B (zh
Inventor
纳达夫·格罗辛格
尼他耶·罗马诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Inc filed Critical Facebook Inc
Publication of CN107532885A publication Critical patent/CN107532885A/zh
Application granted granted Critical
Publication of CN107532885B publication Critical patent/CN107532885B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

为了确定体积内物体的深度，将结构光投影到体积内。该结构光包括图案，光强度在该图案上变化。传感器检测来自体积的光，并使用检测到的光的强度变化将检测到的光与图案相关联。基于该相关联，确定体积内物体的深度。

Description

光图案中的强度变化用于体积中的物体的深度绘制
技术领域
本公开整体上涉及深度绘制(depth mapping)，并且更具体地说，涉及使用至体积中的光学投影的深度绘制的方法，允许在三维中检测和跟踪物体。
背景技术
各种方法允许用户远程控制某些装置。例如，用户身体部位(例如，手臂、腿)的预定义手势或姿势可以控制装置。在使用手势或姿势控制装置的方法中，当用户的身体部位与指定位置对准时，识别手势，并且计算机或其他装置执行与所识别的手势相对应的功能或执行与所识别的手势相对应的动作。
在一些实施例中，通过经由图像捕获装置捕获用户的图像或视频并分析图像或视频数据中的多个像素来识别用户的手势。传统手势检测方法通过将像素的颜色值与和该像素相邻的其他像素的颜色值进行比较，分析图像中的像素。因此，这些传统方法取决于用户的身体部位和图像背景中的物体之间的颜色值的显著差异。
用于手势检测的其他方法形成用户的一个或多个身体部位的骨架模型(例如，用户的手的三维模型)，并且分析骨架模型，以识别用户的手势。用于手势检测的替代方法使用三维深度图，其中，每个像素包括深度相机与对应于像素的物体的一部分之间的距离。可以使用各种方法计算深度图。例如，通过将已知的光图案(即，结构光图案)投影到布景上来进行布景的深度绘制，并且当将已知的光图案投影到布景上时，图像捕获装置捕获布景的图像。由于光图案是预先固定的并且已知的，因此可以识别光图案的子部分或唯一特征。基于由图像捕获装置捕获的图像中的光图案的识别特征的位移，来计算布景的部分和图像捕获装置之间的距离(即，布景的部分的“深度”)。然而，对于投影到布景上的光图案的图像的捕获涉及分析更大量的捕获图像，以识别所捕获的图像中的光图案的、能够与已知光图案的特征相关联的特征。此外，图像捕获装置和投影已知光图案的投影仪之间的相对大的分离是必需的，以通过相对于在布景中的物体的深度位移产生已知光图案的图像的更大位移，来提供更高分辨率的深度检测。
然而，这些确定深度图的传统方法在计算上是昂贵的，并且未产生允许精确确定某些物体的结果。例如，传统的深度绘制方法不允许精确检测手指或身体部位以区分紧密相关的手势或姿势。
发明内容
将光图案投影到体积中，并提供用于绘制体积中的深度的可识别的强度变化。在一些实施例中，光图案的两个或更多个变化被投影到至少一个维度中。例如，将光图案的两个强度变化投影到垂直轴中。测量对于彼此的不同变化，允许确定在体积的不同位置处的深度信息。另外，使用光图案的不同变化，允许图案的相对和绝对索引。
例如，该图案包括光的多个条纹或线，当投影到该体积中时，不同条纹具有唯一的基于强度的特征。从不同的基于强度的特征中，可以唯一地识别图案中的每个条纹，允许通过识别的条纹的位移，对体积中的单独位置进行三角测量。这允许生成区域的深度图，其允许识别手势或姿势。
在一些实施例中，通过将结构光图案投影到体积中，三维地绘制体积内的物体。结构光图案是具有多个特征并具有预定义结构的光图案。例如，结构光图案包括在维度中延伸的条纹，每个特征预定义变化。例如，特征是强度等级。在一些实施例中，使用多个衍射元件形成结构光图案。另外，结构光图案可以具有沿着维度的变化和沿着另一维度的额外变化；在一些实施例中，所述额外变化沿该维度变化。例如，所述变化或额外变化是循环强度变化，其可以是以下中的一个或多个：二进制变化、三级变化、四级变化、五级变化、六级变化、七级变化、和八级变化。或者，所述额外变化是沿维度变化的均匀峰值强度的分布。在一个实施例中，变化是维度中的强度的循环，其中，结构光图案包括循环中的以相应强度投影的一组条纹。在一些实施例中，可以建立条纹相对于循环变化的相对指数。额外变化可以包括沿着条纹的强度变化，因此，对于该组中的不同条纹，不同条纹的相应峰值强度的位置是不同的，并且在一些实施例中，可以使用相应峰值强度的位置，以获得体积中的物体的深度信息。在一些实施例中，通过光学元件和额外元件投影光束，以产生结构光图案，其中，光学元件沿着另一维度限定条纹，而额外光学元件指定网格中的具有相对于另一维度的轴偏移的额外变化，在每个条纹上分别提供峰值强度的不同位置。
检测由体积中的一个或多个物体反射的光，检测到的光包括一个或多个特征。因此，检测到的光包括结构光图案的一个或多个变化。检测到的光中的结构光图案的变化与结构光图案的预定义结构相关联，并且相关性用于对检测到的光中的结构光图案的变化进行索引，以确定与在检测到的光中的结构光图案的变化相关的物体的深度。例如，将检测到的光中的结构光图案的变化与检测图像中的包括体积中的物体到物体的对应位置进行比较，以获得与结构光图案的变化相关的物体的深度信息，以及与检测到的光中的结构光图案的其他变化相关的物体的深度信息。在一些实施例中，根据结构光图案，正交地索引结构光图案的特征。
体积中的物体的深度信息可以用于提供体积中的各种物体的三维深度绘制。在结构光图案具有变化和额外变化的实施例中，通过从来自变化的结构光图案的强度的局部值与额外变化的本地测量的峰值强度的比率，计算体积中的深度，来确定物体的深度信息。如果结构光图案具有沿着维度的变化和沿着另一维度的额外变化，则可以使用所述变化和额外变化来确定关于体积中的一个或多个物体的深度信息。
在其他实施例中，具有在一个维度中的变化和在额外维度中的额外变化的光图案被投影到体积中。例如，变化是循环强度变化，额外的变化是沿额外维度随着该维度而变化的均匀峰强度的分布。在一些实施例中，光图案包括在该维度中延伸的条纹。在维度上的变化在具有不同强度的图案中投影不同的条纹，并且对至少另外一组条纹重复不同强度。另外，额外变化可以是在铺设峰值强度的图案中沿条纹的高斯变化。在一些实施例中，物体分割可用于确定条纹相对于循环变化的相对指数。可以通过限定网格的第二变化的光栅元件投影条纹来产生额外变化，该网格具有相对于额外维度偏移的轴线，以提供分别具有峰值强度的不同位置的不同条纹；在一些实施例中，可以通过额外光学元件投影光，来形成光图案中的条纹。
发现体积中的反射光图案的至少一个位置，并且在该位置处确定根据变化的强度与根据额外变化的强度之间的比率。根据确定的比率，确定在该位置处的深度。在一些实施例中，通过分割体积中的物体来建立光图案中的条纹相对于循环变化的相对指数。根据相对指数的相应峰的位置可以用于确定以建立识别体积中物体的深度信息的深度图。
为了将光图案投影到体积中，光源被配置为产生强度在方向上变化的光束。光束从光源投影到光学元件，该光学元件被配置为在与光束的强度变化的方向正交的额外方向上对光束施加强度特征；因此，从光学元件输出的光具有变化的强度特征。在一些实施例中，额外光学元件被配置为向光束施加额外强度特征，覆盖由所述光学元件施加的强度特征。例如，额外光学元件按照网格布局施加额外强度特征。所述额外光学元件相对于所述方向偏移，因此，所述额外强度特征位于光图案的不同部分的不同位置。在一些实施例中，光图案包括多个条纹，在每个条纹中的不同位置处，具有额外的强度特征。
在一些实施例中，投影仪被配置为将光图案投影到体积中。光图案包括沿着一个维度的循环强度变化和沿着额外维度的包括均匀亮度的分布峰值强度的额外变化。准直器被配置为准直该投影的光束。另外，检测器被配置为获得光图案的图像，并且深度计算器被配置为计算光图案中的位置处的深度，其中，根据光图案在该位置处的由于循环强度变化所致的强度和光图案的在该位置处的来自均匀亮度的分布峰值强度的峰值强度之间的比率，确定光图案中的位置处的深度。
投影仪可以包括：光学元件，其被配置为将第一方向上的平行条纹叠加到源光束上；以及额外光学元件，其相对于该方向偏移，并且被配置为产生要叠加在平行条纹上的符号，按照网格布局提供该符号。相对于该方向偏移额外光学元件使得符号处于每个条纹中的不同位置。多个光源被配置为产生用于通过光学元件和额外光学元件投影到该体积中的源光束，向光源供电，以在与该方向正交的方向上改变强度。
在其他实施例中，用于确定体积的深度信息的设备包括光源，其被配置为产生用于投影到体积中的特征光的图案。光学元件被配置为对投影到该体积中的光的每个特征施加签名。在一些实施例中，将唯一签名施加于每个特征。作为另一示例，签名是在特征组上施加的至少一个循环变化。另外，签名可以包括在特征上施加的循环变化和额外循环变化。在一些实施例中，循环变化和额外循环变化可以具有不同的相位。另外，相机被配置为检测来自体积的光，而处理器耦接到相机，并且被配置为使用从相机检测到的光所识别的特征的位置来计算体积内的深度信息。
附图说明
图1A是示出根据实施例的使用手势来在涉及屏幕上显示的软键盘的计算机界面处输入文本的简化示意图。
图1B示出了根据实施例的虚拟现实***。
图1C示出了根据实施例的虚拟现实设备。
图2是示出根据实施例的检测设备的简化方框图。
图3是示出根据实施例的检测到的角度从所识别的光图案转化成深度信息的简化线图。
图4是示出根据实施例的传输到体积中并从物体朝向接收器反射的光的简化方框图。
图5A示出了根据实施例的二进制光图案。
图5B示出了根据实施例的光特征的各种示例。
图5C示出了根据实施例的结合到包括光的条纹的光图案中的签名的各种示例。
图5D是示出根据实施例的通过使用强度来提供签名的光图案对手进行照明的简化图。
图6A示出了根据实施例的使用方向循环改变的特征强度的手的照明。
图6B示出了根据实施例的图6A的方向变化的细节。
图7是示出根据实施例的用于计算体积中的深度的方法的流程图。
图8是根据实施例的用于产生光图案的方法的流程图。
图9是根据实施例的用于从光图案获得三维深度图的方法的流程图。
图10是根据实施例的用于产生光图案的光学部件的示例设置。
图11是根据实施例的用于产生光图案的光学部件的替代设置的示例。
图12是根据实施例的添加到光图案的条纹特征中的示例符号的概念图。
图13是示出根据实施例的使用符号向光图案中的条纹提供签名的概念图。
图14A是根据实施例的针对在光图案的条纹上的一系列符号的示例强度图。
图14B是示出根据实施例的检测器移动以获得额外深度信息的概念图。
图15是根据实施例的在光图案的条纹上的一系列不规则间隔的符号的概念图。
图16是根据实施例的在光图案中的相邻条纹中变化亮度等级的概念图。
附图仅仅为了说明的目的描绘了各种实施例。本领域技术人员将从以下讨论中容易地认识到，在不脱离本文描述的原理的情况下，可以采用本文所示的结构和方法的替代实施例。
具体实施方式
各种实施例允许使用到体积中的光学投影对体积进行深度绘制，允许生成用户的骨架模型，实现用于控制装置(例如，计算机、虚拟现实***等)的用户界面。图案光投影到体积中，并用于获得体积的深度图，从中识别物体或物体的移动，允许识别姿势或手势。所公开的实施例可以由跟踪身体或物体的移动或手势的任何装置使用。
也称为“结构光”的光图案被投影到体积中。相机或其他检测器检测来自体积的光，包含原始结构光的由深度引起的位移和其他失真的失真版本。通过将所捕获的失真版本的结构光与原始结构光进行比较，或者通过识别结构光的部分并用于生成该体积的深度图，来识别位移或其他失真。因此，可以通过将失真版本的结构光与结构光相关联，获得深度图。包含在结构光中的特征可以被个性化，以帮助所捕获的失真版本的结构光与结构光之间的相关，允许一系列经调整的特征以确定捕获的失真版本的结构光与结构光之间的相关性。将失真版本的结构光与结构光相关联所获得的深度图允许针对体积中的物体确定深度。在各种实施例中，失真版本的结构光和结构光之间的相关性基于整体结构光，基于结构光的各个特征，或者基于各种实施例中的结构光的各个特征和部分。
在一个实施例中，结构光(或“光图案”)在正交方向上包括一个或多个不同的变化，允许更准确地识别结构光的特定特征，用于深度绘制。变化可以是强度变化，并且可以为结构光的特征的不同部分提供唯一签名。或者，变化可以是循环的，不同的变化具有不同的相位，以允许识别唯一特征，减少用于识别唯一特征的计算资源。如果在结构光中包括两个或更多个变化，则可以测量彼此不同的变化，以给出不同位置处的深度。
例如，结构光的特征是一维的条纹。唯一的或循环的唯一签名被施加到维度中(例如，沿垂直轴)的每个条纹中。基于捕获的失真版本的结构光中的每个条纹相对于原始结构光中的相应条纹的位置的位移，可以确定深度图。在一些实施例中，当确定深度图时，还使用条纹的强度与条纹的峰值强度之间的比率。为了确定条纹的位移，基于施加于不同条纹的签名，单独地识别结构光中的不同条纹。例如，基于施加于每个条纹的签名来识别每个条纹。例如，如果签名是沿着条纹的强度变化，则每个条纹可以具有来自弱强度、中等强度和强强度的不同强度；例如，检测到的条纹依次包括弱强度、强强度和中等强度，并且结构光中的特定位置包括具有弱强度、强强度和中等强度顺序的条纹，允许对检测到的条纹进行索引。然而，在其他实施例中，结构光中可以包括任何合适的特征。例如，在另一实施例中，结构光包括具有不同强度的正方形。
在一些实施例中，使用结构光的两个强度变化。这两个强度变化可以是循环的，例如，基于可以为各个像素设置的可用灰度级，以更有效地使用电子和光学部件。如果两个循环性变化异相，则可以提供变化的相对大的整体循环。因此，结构光的至少两个变化允许对结构光进行绝对索引。例如，结构光(或“光图案”)包括平行条纹，这可以在沿着方向(例如，在与条纹的取向正交的方向)的循环中以基础强度变化。另外，每个条纹可以包括沿条纹定向的方向的符号。在不同条纹上不同地设置符号，以允许识别和索引各个条纹或条纹簇。在一些实施例中，符号具有保持恒定的峰值强度。在不同条纹上的不同强度和不同符号分布允许识别各个条纹，并识别条纹的各个扇区，从而提高深度绘制精度。在一些实施例中，符号由高斯亮度分布构造。当光源和检测器之间的距离增加强度看起来变暗时，检测到的条纹强度的下降提供了深度的指示；然而，绝对亮度也取决于光从其反射的表面，使得在没有额外信息的情况下无法准确地确定深度。然而，条纹的基本强度和条纹的峰值强度之间的比率允许更精确的深度计算，特别是当与分割或三角测量结果相结合时。
投影具有一个或多个不同强度变化的光图案，每个强度变化在距离上具有唯一的强度变化函数。例如，光图案包括连续条纹，其强度沿着具有高斯距离的条纹。当光图案的源之间的距离增加时(例如，当光图案的源是水平定向时，当与光图案的源的水平距离增加时)，条纹的强度线性降低时，由检测器捕获的条纹的峰值强度保持恒定。因此，可以通过将条纹的峰值强度与条纹的强度进行比较来提取距将光图案反射至检测器(例如，相机)的物体的距离。
可以通过创建随着距离不同地传播的多个相位函数，来提供随着距离改变光图案的强度的多个强度函数，其在不同的范围上产生不同的强度比。例如，强度函数从输入光产生条纹特征，额外的强度函数产生沿条纹的强度的高斯分布。通常，当反射光球形扩散回检测器时，从物体反射的光的强度与物体和检测器之间的距离的平方成反比(即，作为1/z2，其中，z是物体和传感器之间的距离)。因为条纹沿着单个轴准直并且检测器中每个像素的物理覆盖是有角度的，所以准直条纹被检测器上较少的像素捕获，这增加了条纹的强度。因此，条纹的强度减小z/z2或1/z，其中，z是反射条纹的物体与检测器之间的距离。
使用衍射光学器件，可以使用独立的相位函数来产生沿着光图案中的条纹改变强度的额外强度函数，允许沿着条纹的强度是径向准直高斯。因此，检测器中采样高斯强度分布的像素沿着平行于和垂直于检测器的轴线(例如，如果检测器水平定向，则沿着水平轴和垂直轴)减小，导致在z2/z2的条纹的位置具有为常数的峰值强度，其中，z是反射该条纹的物体之间的距离。当条纹的强度基于1/z改变，而峰值强度保持恒定时，条纹的峰值强度的强度与条纹的亮度的比率随着反射条纹的物体与检测器之间的距离的变化而变化。由于反射条纹的物体的反射表面的性质同样影响条纹的强度和条纹的峰值强度，所以不同于绝对强度，该比率基本上不受影响。
现在参考附图，图1A是计算机用户1执行手势的概念图，其中，计算机用户1的手2在屏幕6上呈现的软键盘4上键入。为了检测手势，结构光(也称为“光图案”)可以投影到手2上，检测从手2反射的光。对检测到的结构光进行三角测量，可以允许产生包括手2的体积的深度图。图1B是虚拟现实***的用户8的概念图。在图1B的示例中，用户戴上虚拟现实眼镜，并通过手10在空中的姿势控制虚拟现实***。图1C示出了用于虚拟现实***(如上面结合图1B所述)中的头戴式设备200。设备200使用头带230安装在用户的头上，并将图像投影到用户的眼睛。
图2是可以检测体积中的结构光的虚拟现实设备的实施例的方框图。虚拟现实设备还可以为虚拟现实***(例如，结合图1B和1C描述的虚拟现实***)中的用户提供虚拟现实显示。在虚拟现实设备中，方框400使用照明器442提供IR光束。来自照明器442的光由IR相机406检测，并且检测到的光被预处理器404处理。同样，方框410提供由可见光相机412检测的可见光。处理器414处理由可见光相机412捕获的可见光，并且还处理来自预处理器404的信息，因此处理器414进一步处理来自IR相机406的由预处理器404处理之后的检测光。处理器414还执行存储在存储器中的指令416，以提供各种功能。此外，虚拟现实设备包括近眼显示器420，其被配置为向用户提供虚拟现实显示。
图3示出了光源，在图3中示出为激光器300，将光图案投影到体积305中。来自激光器300的光从体积305中的不同深度的物体反射，在图3的示例中示出为深度Z1、深度Z2和深度Z3。相机310或另一图像捕获装置检测来自从物体反射的光图案的光。从深度Z1和深度Z2以相同的角度到达相机310的光之间的差异是光图案的不同部分。因此，对图案的一部分的检测允许反射包括图案的该部分的光的物体的深度。
图4是发射器11和接收器12的方框图。在各种实施例中，发射器11是激光光源13，随后是一个或多个光学元件14.1、14.2(其从激光光源13发射的光形成光图案)。发射器11将所得到的光图案发射到体积15中，其中，由体积15中的各种物体(诸如物体16)反射光图案。反射光由接收器12检测，接收器可以是电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)检测器或其他合适类型的检测器。根据一个实施例，分析检测到的光图案的部分，以确定是否来自兴趣物体；例如，使用分割处理来确定反射光图案的一部分的物体是否是兴趣物体。例如，在识别命令手势的实施例中，兴趣物体是人体的一部分，尽管在各种实施例中，任何事物都可以是兴趣物体。然而，在其他实施例中，不分析光检测的光图案，以确定兴趣物体是否反射了光图案的部分。分析反射光图案的不同部分，以确定光图案从其反射的深度(例如，确定体积中的反射反射光图案的不同部分的物体的深度)。基于从反射光图案的不同部分确定的不同深度，生成包括体积15中的各种物体的深度信息的深度图，如下面进一步描述的。
图5A是用于检测人的二进制光图案(也称为“结构光”)的示例。在图5A的示例中，二进制光图案包括多个条纹，其可以通过将签名添加到不同条纹来增强。例如，添加到条纹的签名是图5B所示的一个或多个特征。在一个实施例中，二进制光图案中的不同条纹具有以不同图案(a)设置的不同强度；例如，相对于彼此具有不同强度的条纹的不同图案包括二进制光图案。在其他实施例中，方形(b)、三角形(c)、(d)或其他形状可以叠加在不同条纹上。叠加在条纹上的不同形状可以包括强度的内部变化或如不同的三角形(c)、(d)所示的其他特征。签名可以规则图案(e)或除了规则或不规则的强度变化(f)之外添加到条纹中。沿着条纹(g)的长度的不规则强度变化可以作为签名添加到条纹中。在一些实施例中，图5B所示的签名的任何组合可以添加到不同条纹，以允许不同的条纹彼此区分。
注意，签名或特征可以具有均匀的强度或者可以具有在条纹的不同部分中的强度变化。例如，二进制光图案中的不同位置中的特征可以具有不同的均匀强度或者可以具有不同的强度变化。图5C示出了在条纹的宽度上的方形强度变化、在条纹的宽度上的高斯强度变化、以及在条纹的宽度上的不规则强度变化的示例。
图5D是包括具有不同强度的多个条纹的光图案投影在手上的示例。不同的强度提供了图案内的参考。图6A示出了与图5D所示的示例相比，在不同条纹之间具有交替的强度变化的光图案的另一示例。另外，图6B示出了光图案中的条纹的宽度上的强度的交替变化。
图7是用于计算体积的深度的方法的一个实施例的流程图。在其他实施例中，该方法可以包括与结合图7描述的步骤的不同的或额外的步骤。另外，在一些实施例中，该方法的步骤可以以与结合图7描述的顺序不同的顺序执行。
首先，将光投影21到体积中。在一个实施例中，投影光包括具有在方向上彼此平行的多个条纹的光图案，不同条纹具有不同强度或不同亮度；不同条纹的强度或亮度可以根据沿着与多个条纹彼此平行的方向正交的方向重复的循环而变化，如上面结合图5B进一步描述的。然而，在其他实施例中，投影光的光图案包括可以包括在投影光的光图案中的一个或多个任何合适的特征。额外地或替代地，每个条纹可以包括在与条纹彼此平行的方向正交的方向上的条纹的宽度上的高斯强度分布，或者在与条纹平行的方向正交的方向上在条纹上的另一强度变化，如上图5B和5C所示。与条纹彼此平行的方向正交的方向上的强度变化在本文中称为“签名”或“符号”。不同条纹的不同强度允许识别各个条纹，并且包括在不同的条纹上的符号提供用于识别各个条纹的额外方法(或反之亦然)。不同条纹上的符号或签名的变化不是循环性的，或者遵循与不同条纹的强度的变化不同的循环，因此，条纹强度和条纹上的符号的组合允许识别每个单独的条纹。在一些实施例中，不同条纹上的符号可以是循环性的，因此每个条纹上的符号看起来不同。
相机或其他图像捕获装置获取从体积中的物体反射的光图案中的光22。当来自光图案的条纹被投影到兴趣物体上时，兴趣物体的边缘由条纹中的不连续性指示，如图5D所示。因此，分割所捕获的体积图像，允许快速识别体积中的物体并且选择体积中的兴趣物体，例如，手和手指。分割还可以允许条纹的相对索引。分割所捕获的体积图像消除背景物体，因此，随后确定兴趣物体而不是背景物体的深度信息。
出现在兴趣物体上的光图案的特征、光图案的条纹、以及光图案的特征的绝对索引用于分析24来自由相机获取22的光的光图案的各种(例如，每个)特征的深度。首先，对光图案的条纹进行的索引是相对的，其识别兴趣物体内的深度，而不是相对于体积的深度信息。然而，将特定条纹上的符号图案与参考图案进行比较，以基于符号识别不同的条纹。可以基于符号、条纹强度、或者符号和条纹强度的组合，来提供绝对指数。根据绝对指数，计算28体积中的兴趣物体的深度，如下面进一步描述的。
图8是用于产生投影到体积中的光图案的方法的流程图。在一些实施例中，该方法包括与结合图8描述的步骤不同的或额外的步骤。另外，在一些实施例中，该方法的步骤以与结合图8描述的顺序不同的顺序执行。
首先，从源(例如，激光器)获得光束30。在一些实施例中，源是半导体激光器阵列，例如，垂直腔表面发射激光器(VCSEL)阵列。该阵列中的激光器可以单独地或成行地操作，并且通过改变阵列的不同行中的激光器的强度来改变在维度中的光束的强度，以提供阵列的行之间的强度的循环变化。
沿额外维度提供34对光束的额外变化。额外变化可以是强度的变化。例如，额外变化是沿着额外维度的一系列符号，例如，高斯强度峰值。高斯强度分布可以沿维度变化。例如，如上面结合图2进一步描述的，随着与光束的源的距离增加，强度峰值之间的间隔可以增加或减小，高斯间隔可能是不规则的，或符号的位置位移。在一些实施例中，预先存储的图案用于基于包括在不同条纹或光图案的其他部分中的符号来识别从光束产生的光图案的各个条纹或其他部分。通过沿着维度改变光的强度32(图8中的“22”应为“32”)并且提供光的额外变化34所产生的光图案然后投影到体积中36。
在一个实施例中，产生沿着额外维度的高斯强度变化的光学部件具有规则形状，但是可以具有与该维度的角度偏移，因此每个条纹具有彼此稍微偏移的高斯强度变化。然而，在其他实施例中，可以使用任何合适的配置来在不同的条纹中相对于彼此移位高斯强度变化，从而允许单独识别每个条纹。
在各种实施例中，光束的强度在维度上变化32，并且也提供额外维度中的额外变化34。其他实施例改变光束在维度中的强度32或提供额外维度中的额外变化34。例如，光束的强度在维度上不变化32，但提供额外维度中的额外变化34，以包括额外维度中每个条纹的唯一签名。当每个条纹包括与额外维度中的额外变化不同的签名时，可以从每个条纹的唯一签名直接提供深度图。因此，为光图案中每个条纹提供唯一符号，允许精确地确定体积中物体的深度。下面结合图15进一步描述将符号唯一地分配到光图案中每个条纹的示例。
或者，光束的强度在方向上变化32，但额外维度中的额外变化不提供34给光束。例如，将强度循环施加于不同的条纹，以改变32方向上的强度。然而，在维度上改变32光束的强度，而不提供34额外维度中的额外变化，导致条纹强度的多个循环，从而允许每个条纹相对于包括条纹的强度循环而索引，而不是绝对索引。如图5C的示例所示，当将相对较少数量的条纹投影到兴趣物体上时，当使用二进制循环改变32条纹的强度时，对条纹进行索引是困难的。
在另一实施例中，光束的强度在方向上变化32，额外维度中的额外变化也提供给光束34。例如，将强度循环施加于不同的条纹，以改变32方向上的强度，而条纹中的符号在额外方向上位移。强度变化和符号位移可以均是循环的，但是具有不同的周期，这允许唯一识别每个条纹，至少在更大循环的精度上。如果索引循环不足，阻止了每个条纹的完整索引，则物体分割也用于限制对兴趣物体内的条纹的考虑。通过将条纹的峰值强度与不同条纹的强度进行比较，可以获得额外的精度，如下面进一步描述的。
因此，上面结合图8描述的方法产生光束，其中，光束的强度在一个方向上变化，并且还在额外方向上另外变化。可以在各种实施例中使用结合图4进一步描述的方法，以改变光束在方向上的强度，以允许对光图案中的每个条纹进行索引。
图9是从光图案获得兴趣物体的三维深度图的方法的实施例的流程图。在一些实施例中，该方法可以包括除了结合图9描述的步骤之外的额外步骤。另外，在一些实施例中，该方法可以以与结合图9描述的顺序不同的顺序执行步骤。
光传感器(诸如相机)检测38来自体积的光。在一些实施例中，多个相机或光传感器检测38来自该体积的光。或者，单个相机或光传感器检测38来自该体积的光。
在一些实施例中，对包括所检测的光的图像进行分割40，以从体积中的物体识别兴趣物体。进行分割40以识别兴趣物体，允许相对索引，其中，相对于兴趣物体的其他部分获得深度。在一些实施例中，光图案中的不同条纹之间的强度变化用于识别42每个条纹，作为一个强度循环的特定部分。然而，光图案中的条纹之间的强度变化不允许唯一识别条纹，因此，使用包括在不同条纹中的符号以及允许识别各个条纹的相对索引(即，每个条纹的绝对索引)，来识别44每个条纹。例如，每个条纹的绝对索引基于不同条纹中的符号强度。
条纹的绝对索引允许在检测到的来自该体积的光的图像中从每个条纹的实际位置确定深度。基于符号之间的间距或条纹强度和条纹中的符号的峰值亮度之间的强度比率，进一步确定46深度信息，以基于条纹位置更准确地确定深度信息。基于体积中各个点(例如，兴趣物体的各个点)的深度信息，确定48体积的深度绘制，允许将被追踪的体积内的兴趣物体(例如，手)的三维移动。因此，深度图可以用于识别体积内的手势；例如，部分地使用深度图识别的手势对应于与装置(诸如计算机或虚拟现实***)进行接口的命令。
图10是用于生成光图案以供投影的一系列示例元件的概念图。为了说明的目的，图10示出了元件的侧视图。光源50(诸如激光器阵列)向准直器52提供光束，该准直器准直该光束。准直的光束被引导到光学元件54，该光学元件可以是衍射光学元件或任何其他合适的光学元件，在准直光束中产生条纹。光从光学元件54引导到额外光学元件56，该额外光学元件也可以是衍射元件或任何其他合适的光学元件。额外光学元件56将高斯强度峰值叠加到条纹上。在各种实施例中，额外光学元件56相对于光学元件54略微偏移，因此在不同条纹的不同位置产生强度峰值。因此，额外光学元件54可以循环位移在不同条纹上的符号，如下面结合图13进一步描述的。复制器58使重复由光学元件54和额外光学元件56产生的图案。
在一些实施例中，光源50包括可以单独控制以产生不同强度的激光器行。如上进一步所述，条纹的强度随着与光源50的距离的增加而减小(即，强度与1/z成正比，其中，z是与光源50的距离)。然而，随着与光源50的距离增加，条纹内的峰值强度保持恒定，因此，条纹的峰值强度与条纹强度的平均强度之间的比率提供条纹深度的估计。
在各种实施例中，准直器52、光学元件54和额外光学元件56可以具有与图10所示的顺序不同的顺序。例如，准直器50的输出首先被引导到额外光学元件54，以提供高斯强度峰值，并且额外光学元件54的输出被引导到光学元件52以产生条纹。另外，在一些实施例中，可以使用包括准直器52、光学元件54和额外光学元件56的组合的元件，而非各个部件。
图11是用于产生光图案的元件的替代配置。为了说明的目的，图11示出了元件的配置的俯视图。在图11的示例中，元件60包括多发射器光源和被配置为在来自多发射器光源的光中产生条纹的光学元件。准直器62位于元件60之后，并且来自准直器62的准直光被引导到额外光学元件56，该额外光学元件将高斯强度峰值叠加到由元件60产生的条纹上，如上进一步所述。因此，在各种实施例中，光学元件可以组合或分离，或者可以具有相对于彼此的不同顺序。
图12是添加到光图案的条纹特征中的示例符号的概念图。图12所示的光图案可以经由如上面结合图10和11所述配置的元件来生成。为了说明的目的，图12示出了投影到手18上的光图案。光图案包括条纹19，每个条纹19包括间隔开的符号20。在图12的示例中，符号20在符号20之间以恒定的位移规则地定位，该恒定的位移可以由产生光图案的光学元件相对于彼此的角位移引起。例如，符号20是在分布的中心处具有峰值强度的高斯强度分布。在其他实施例中，符号20不规则地隔开。
使用结合图12描述的光图案，手18的边缘被识别为光图案中存在不连续性的位置。基于识别光图案中的不连续性，分割或找到物体的轮廓，并且在2010年9月19日提交的美国专利申请号13/497,589中进一步描述，其全部内容通过引用并入本文。
可以通过确定光图案中的各个条纹的位置来获得深度，允许对物体的三维形状的监控依赖于确定各个条纹的位置，并从中获得深度。确定来自光图案中的不同条纹的深度，允许生成深度图，这允许识别物体的移动，用于识别物体的一个或多个手势。例如，在物体的表面弯曲的位置处，条纹19也似乎弯曲。同样，在物体的表面后退的位置处，条纹19趋向于朝着消失点。条纹19的这些行为允许通过识别各个条纹19来生成深度图。如图12所示，当每个条纹19上的符号20相对于其他条纹19略微位移时，可以从符号20识别各个条纹19，从而允许朝向消失点位移的各个条纹19来确定不同位置处的深度。可以通过分割物体，生成相对深度图，并且可以通过对包括光图案和物体的图像中的每一行进行索引，从每个条纹的深度生成绝对深度。更详细地，光图案包括多个条纹19，每个条纹在维度中延伸，不同的条纹19在额外维度中具有不同的强度。条纹19的强度可以基于沿着条纹19的均匀峰值强度的分布变化，这可以叠加在条纹19上。条纹19的峰值强度可以是在条纹19上提供符号20的高斯强度分布的峰值，因此，提供沿着每个条纹的符号。
为了定位在体积内的物体，例如，图12中的手18，执行体积的一个或多个图像的分割，并用于识别兴趣物体。如上面进一步讨论的，可以获得兴趣物体内的相对深度。在一个实施例中，从符号20之间的距离获得进一步的深度计算。额外深度计算可以基于条纹19的强度的局部值与条纹19内的符号20的局部测量的峰值强度之间的比率来确定。进一步的深度计算可以基于条纹19之间的距离。
条纹19的强度变化和条纹19中的符号20的峰值强度均具有基于与光源的距离的强度变化的唯一函数。当条纹19的强度随与包括条纹19的光图案的源的距离的增加而线性地降低时，测量的条纹19中的每个符号20的峰值强度保持恒定。可以从符号20的峰值强度与包括符号20的条纹19的强度的比率，提取到将光图案反射到传感器(诸如相机)的物体的距离。尽管条纹19的绝对反射强度取决于反射条纹19的物体的表面，但是通常可以保留条纹中的符号20的峰值强度与条纹19的强度之间的比率。
随着与光源的距离不同地传播的多个相位函数导致随着与光源的距离而变化的多个强度函数，在与光源的距离的不同范围产生不同的强度比。以上讨论的实施例包括产生条纹特征的函数和沿条纹产生高斯强度峰值的额外函数。通常，从物体反射的光的强度以1/z2的速率降低，其中，z是从物体到发出光的光源的距离，因为反射光作为球体传播回传感器。然而，条纹特征在单个轴上准直，并且由于传感器中每个像素的物理覆盖是有角度的，所以准直条纹被传感器上较少的像素观察，从而增加条纹的亮度。因此，条纹的强度以z/z2或1/z的速率降低，其中，z是从物体到发射条纹的光源的距离。
使用衍射光学器件，可以使用独立的相位函数来产生沿条纹产生强度峰值的额外函数，允许强度峰值包括径向准直的高斯。由于径向准直，所以在水平轴和垂直轴中，减少在物体和光源之间的整个距离上采样高斯的多个像素，导致在z2/z2的强度峰值的位置处的强度，其中，z是从物体到发射条纹的光源的距离，其为常数。每个强度峰值的强度与包括强度峰值的条纹的总体强度的比率随着反射条纹的物体和发射条纹的光源的距离的变化而变化，因为条纹的总体强度根据因子1/z改变，其中，z是从物体到发射条纹的光源的距离，而强度峰值保持恒定。
现在参考图13，手70被示出具有水平坐标、垂直坐标和深度坐标。当手垂直或相对于光源的位置位移时，手70的边缘沿着或跨过在投影到手上的光图案中的条纹的纹理位移。光图案由光束源72传输并在相机74或另一传感器处接收。在图13中，图像76示出了光图案中的条纹，另一图像78示出了沿着后续线的符号的示例性未对准。因此，相机74遵循手的水平和垂直位移，并且条纹和符号之间的距离以及条纹中的符号的峰值强度与条纹强度的强度比保持不变。
图14A是从光图案中的符号80的移动获得深度信息的概念图。例如，手70与捕获由手70反射的光图案的光的传感器之间的距离使符号80的位置位移，如图14A中的箭头所示。如果手70远离传感器位移，则符号80朝向光图案中的条纹的消失点位移。然而，如果手70朝向传感器位移，则符号80远离光图案中的条纹的消失点位移。或者，如图14B所示，当手70保持静止时，符号80可以位移，并且发射光图案的光源或传感器相对于手70重新定位。例如，在图14B的示例中，源72相对于相机74沿着轴线75重新定位，而当手70保持静止时，使符号80位移，如图14A所示。
图15是示出条纹81中的符号82的不规则分布的概念图。在图15的示例中，靠近82条纹81的一端的符号很宽地隔开，并且符号82之间的间距随着与条纹81的端部的距离的增加而减小。
现在参考图16，图16是光图案中的相邻条纹中的变化的亮度等级的示例的概念图。在一些实施例中，图16中示出的示例由线发生器产生，随后放大器对某些条纹而不是对其他条纹操作。线发生器产生均匀分布并具有均匀强度的条纹90、92、94和96。随后，放大器元件将线94放大到增加的强度98，因此，线94相对于条纹90、92和96具有增加的强度，从而提供具有唯一签名的条纹图案。
概要
为了说明的目的，已经呈现了对实施例的前述描述；这并非旨在穷举，也不是将专利权限于所公开的精确形式。相关领域的技术人员可以理解，鉴于上述公开内容，许多修改和变化是可能的。
本说明书的一些部分根据关于信息的操作的算法和符号表示来描述实施例。这些算法描述和表示是数据处理领域的技术人员通常使用的，以便有效地将其工作的实质传达给本领域的其他技术人员。在功能上、计算上或逻辑上描述的这些操作被理解为由计算机程序或等效电路、微代码等实现。此外，有时也可以方便地将这些操作设置称为模块，而不会失去一般性。所描述的操作及其相关联的模块可以以软件、固件、硬件或其任何组合来体现。
本文描述的任何步骤、操作或过程可以单独地或与其他装置组合地用一个或多个硬件或软件模块执行或实现。在一个实施例中，使用计算机程序产品来实现软件模块，该计算机程序产品包括包含计算机程序代码的计算机可读介质，计算机程序代码可由计算机处理器执行，用于执行所描述的任何或全部步骤、操作或处理。
实施例还可以涉及一种用于执行本文操作的设备。该设备可以为所需目的而特别构造，和/或其可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算装置。这种计算机程序可以存储在非暂时的有形计算机可读存储介质或适合于存储电子指令的任何类型的介质中，这可以耦接到计算机***总线。此外，在本说明书中提到的任何计算***可以包括单个处理器，或者可以是采用多个处理器设计以提高计算能力的架构。
实施例还可以涉及一种通过本文所述的计算过程产生的产品。这种产品可以包括由计算过程产生的信息，其中，该信息存储在非暂时的有形计算机可读存储介质上，并且可以包括本文所述的计算机程序产品或其他数据组合的任何实施例。
最后，说明书中使用的语言主要是为了可读性和教学目的而选择的，并且可能并非被选择为描述或限定专利权。因此，其目的在于，专利权的范围不受该详细描述的限制，而是受到基于其发布申请的任何权利要求的限制。因此，实施例的公开内容旨在说明而不是限制在所附权利要求中阐述的专利权的范围。

Claims (24)

1.一种方法，包括：
将结构光图案投影到体积中，所述结构光图案包括具有多个特征的预定义结构，每个特征包括预定义变化；
检测从所述体积中的一个或多个物体反射的光，所检测到的光包括所述结构光图案的预定义结构的一个或多个所述特征；
将检测到的光中的一个或多个所述特征与所述预定义结构相关联；并且
基于所述相关联，确定与检测到的光中的一个或多个所述特征中的每一者相关的物体的深度信息。
2.根据权利要求1所述的方法，其中，基于所述相关联，确定与检测到的光中的一个或多个所述特征中的每一者相关的物体的深度信息包括：
将检测到的光中的至少一些所述特征与包括在所述体积中包含的物体的检测图像中的对应位置进行比较，以基于所述相关联，获得与检测到的光中的一个或多个所述特征相关的物体的深度信息。
3.根据权利要求1所述的方法，其中，物体的所述深度信息包括所述物体的三维深度信息。
4.根据权利要求1所述的方法，其中，正交地索引所述结构光图案的所述预定义结构的一个或多个所述特征。
5.根据权利要求1所述的方法，其中，所述结构光图案的所述预定义结构的一个或多个所述特征包括强度等级。
6.根据权利要求1所述的方法，其中，所述结构光图案的所述预定变化沿着维度，并且所述结构光图案还包括在额外维度上的额外变化，所述额外变化也沿着所述维度变化。
7.根据权利要求6所述的方法，其中，所述变化或第二变化包括循环强度变化。
8.根据权利要求7所述的方法，其中，所述循环强度选自由以下各项构成的组：二进制变化、三级变化、四级变化、五级变化、六级变化、七级变化、以及八级变化。
9.根据权利要求6所述的方法，其中，所述变化包括沿所述维度变化的均匀峰值强度的分布。
10.根据权利要求6所述的方法，其中，基于所述相关联，确定与检测到的光中的一个或多个所述特征中的每一者相关的物体的深度信息包括：
基于来自所述预定义特征的特征强度的值与所述特征内的所述额外第二变化的峰值强度之间的比率，计算与检测到的光中的特征相关的物体的深度信息。
11.根据权利要求1所述的方法，其中，所述结构光图案的所述预定义结构包括在维度上延伸的条纹。
12.根据权利要求11所述的方法，其中，所述变化包括在额外维度中的强度循环，循环中的一组条纹中的每个条纹以相应的强度投影。
13.根据权利要求12所述的方法，其中，所述预定义结构还包括沿着每个所述条纹的强度变化，使得不同条纹的峰值强度相对于彼此处于不同的位置。
14.根据权利要求13所述的方法，其中，基于所述相关联，确定与检测到的光中的一个或多个所述特征中的每一者相关的物体的深度信息包括：
基于不同条纹的峰值强度的位置，确定物体的所述深度信息。
15.根据权利要求12所述的方法，其中，基于所述相关联，确定与检测到的光中的一个或多个所述特征中的每一者相关联的物体的深度信息包括：
确定条纹相对于所述强度循环的相对指数；并且
基于所述相对指数，确定所述物体的深度信息。
16.根据权利要求12所述的方法，其中，基于所述相关联，确定与检测到的光中的一个或多个所述特征中的每一者相关的物体的深度信息包括：
确定所述条纹相对于所述强度循环的相对指数；并且
基于所述相对指数和不同条纹的峰值强度的位置，确定物体的所述深度信息。
17.一种方法，包括：
将光图案投影到体积中，所述光图案包括在维度中的循环强度变化和沿额外维度的均匀峰值强度的分布，沿所述额外维度的分布也随所述维度而变化；
找到所述体积中的反射所述光图案的位置；
确定在所述位置处的根据循环强度变化的强度与在所述位置处的根据均匀峰值强度的分布的强度之间的比率；
使用所确定的比率，确定在所述位置处的深度。
18.根据权利要求17所述的方法，其中，所述光图案包括在所述额外维度上延伸的条纹。
19.根据权利要求18所述的方法，其中，所述循环强度变化包括投影具有不同强度的一组条纹中的每个条纹，并针对至少额外一组条纹重复不同强度。
20.根据权利要求19所述的方法，其中，沿着所述额外维度的均匀峰值强度的分布包括沿着具有峰值强度的条纹的、在强度上的高斯变化。
21.根据权利要求19所述的方法，其中，使用所确定的比率确定所述位置处的深度包括：
使用物体分割确定条纹相对于循环强度变化的相对指数；并且
基于所述相对指数和一个或多个条纹中的峰值强度的位置以及所确定的比率，确定在所述位置处的深度。
22.一种设备，包括：
光源，被配置为在方向上改变强度以产生具有不同强度的特征的光束；以及
光学元件，被配置为在与所述光束的方向正交的方向上施加强度特征。
23.根据权利要求22所述的设备，还包括：
额外光学元件，被配置为向所述光束施加额外强度特征，所述额外强度特征覆盖由所述光学元件施加的强度特征，以网格布局施加所述额外强度特征，所述额外光学元件相对于所述方向偏移，使所述额外强度特征位于每个特征中的不同位置。
24.根据权利要求22所述的设备，其中，所述特征包括条纹。
CN201680023312.1A 2015-02-25 2016-02-24 光图案中的强度变化用于体积中的物体的深度绘制 Active CN107532885B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562120500P 2015-02-25 2015-02-25
US62/120,500 2015-02-25
PCT/US2016/019375 WO2016138143A1 (en) 2015-02-25 2016-02-24 Using intensity variations in a light pattern for depth mapping of objects in a volume

Publications (2)

Publication Number Publication Date
CN107532885A true CN107532885A (zh) 2018-01-02
CN107532885B CN107532885B (zh) 2020-03-03

Family

ID=56789621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680023312.1A Active CN107532885B (zh) 2015-02-25 2016-02-24 光图案中的强度变化用于体积中的物体的深度绘制

Country Status (6)

Country Link
US (1) US9934574B2 (zh)
EP (2) EP4141793A1 (zh)
JP (1) JP6621836B2 (zh)
KR (1) KR101954855B1 (zh)
CN (1) CN107532885B (zh)
WO (1) WO2016138143A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109712350A (zh) * 2019-01-31 2019-05-03 浙江云澎科技有限公司 一种智能识别的自助结算机及其识别方法
CN110045389A (zh) * 2018-01-17 2019-07-23 通用汽车环球科技运作有限责任公司 用于物体检测的结构化光照明***
CN112154352A (zh) * 2018-05-21 2020-12-29 脸谱科技有限责任公司 用于深度感测***的动态结构化光
CN112781520A (zh) * 2019-11-06 2021-05-11 奇景光电股份有限公司 结构光成像装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102656543A (zh) * 2009-09-22 2012-09-05 泊布欧斯技术有限公司 计算机装置的远程控制
EP3243188A4 (en) * 2015-01-06 2018-08-22 Facebook Inc. Method and system for providing depth mapping using patterned light
US10066933B2 (en) 2015-05-04 2018-09-04 Facebook, Inc. Camera depth mapping using structured light patterns
US10785393B2 (en) * 2015-05-22 2020-09-22 Facebook, Inc. Methods and devices for selective flash illumination
US9858672B2 (en) 2016-01-15 2018-01-02 Oculus Vr, Llc Depth mapping using structured light and time of flight
US10089738B2 (en) * 2016-08-30 2018-10-02 Microsoft Technology Licensing, Llc Temperature compensation for structured light depth imaging system
US10620316B2 (en) * 2017-05-05 2020-04-14 Qualcomm Incorporated Systems and methods for generating a structured light depth map with a non-uniform codeword pattern
CN110892450B (zh) * 2017-07-12 2023-08-04 金泰克斯公司 使用统一成像设备提取视觉、深度和微振动数据
TWI647661B (zh) * 2017-08-10 2019-01-11 緯創資通股份有限公司 影像深度感測方法與影像深度感測裝置
CN107450190B (zh) 2017-09-08 2019-12-13 深圳奥比中光科技有限公司 一种衍射光学元件及配制方法
CN107703641B (zh) * 2017-09-08 2019-12-13 深圳奥比中光科技有限公司 一种结构光投影模组和深度相机
CN108594454B (zh) 2018-03-23 2019-12-13 深圳奥比中光科技有限公司 一种结构光投影模组和深度相机
US10877622B2 (en) * 2018-08-29 2020-12-29 Facebook Technologies, Llc Detection of structured light for depth sensing
JP7251240B2 (ja) * 2019-03-20 2023-04-04 株式会社リコー 光学装置、検出装置及び電子機器

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6341016B1 (en) * 1999-08-06 2002-01-22 Michael Malione Method and apparatus for measuring three-dimensional shape of object
US20090189858A1 (en) * 2008-01-30 2009-07-30 Jeff Lev Gesture Identification Using A Structured Light Pattern
US20110025827A1 (en) * 2009-07-30 2011-02-03 Primesense Ltd. Depth Mapping Based on Pattern Matching and Stereoscopic Information
CN102679868A (zh) * 2011-03-15 2012-09-19 大立光电股份有限公司 位置及深度的检出装置及方法
CN103053167A (zh) * 2010-08-11 2013-04-17 普莱姆森斯有限公司 扫描投影机及用于3d映射的图像捕获模块
US20130131836A1 (en) * 2011-11-21 2013-05-23 Microsoft Corporation System for controlling light enabled devices
CN104050656A (zh) * 2013-03-12 2014-09-17 英特尔公司 用于确定图像中对象深度的设备和技术
CN104145276A (zh) * 2012-01-17 2014-11-12 厉动公司 用于通过光学成像进行的对象检测和表征的增强对比度
CN104169966A (zh) * 2012-03-05 2014-11-26 微软公司 基于光衰减来生成深度图像
CN104345802A (zh) * 2013-08-08 2015-02-11 派布勒斯有限公司 控制近眼式显示器的方法和设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3388684B2 (ja) * 1997-03-05 2003-03-24 株式会社オプトン ３次元形状測定方法
KR100544979B1 (ko) * 2003-11-28 2006-01-24 한국전자통신연구원 물체의 반사율 획득 시스템 및 물체 표현 방법
CN101501442B (zh) * 2006-03-14 2014-03-19 普莱姆传感有限公司 三维传感的深度变化光场
EP2799810A1 (de) * 2013-04-30 2014-11-05 Aimess Services GmbH Vorrichtung und Verfahren zum simultanen dreidimensionalen Vermessen von Oberflächen mit mehreren Wellenlängen

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6341016B1 (en) * 1999-08-06 2002-01-22 Michael Malione Method and apparatus for measuring three-dimensional shape of object
US20090189858A1 (en) * 2008-01-30 2009-07-30 Jeff Lev Gesture Identification Using A Structured Light Pattern
US20110025827A1 (en) * 2009-07-30 2011-02-03 Primesense Ltd. Depth Mapping Based on Pattern Matching and Stereoscopic Information
CN103053167A (zh) * 2010-08-11 2013-04-17 普莱姆森斯有限公司 扫描投影机及用于3d映射的图像捕获模块
CN102679868A (zh) * 2011-03-15 2012-09-19 大立光电股份有限公司 位置及深度的检出装置及方法
US20130131836A1 (en) * 2011-11-21 2013-05-23 Microsoft Corporation System for controlling light enabled devices
CN104145276A (zh) * 2012-01-17 2014-11-12 厉动公司 用于通过光学成像进行的对象检测和表征的增强对比度
CN104169966A (zh) * 2012-03-05 2014-11-26 微软公司 基于光衰减来生成深度图像
CN104050656A (zh) * 2013-03-12 2014-09-17 英特尔公司 用于确定图像中对象深度的设备和技术
CN104345802A (zh) * 2013-08-08 2015-02-11 派布勒斯有限公司 控制近眼式显示器的方法和设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110045389A (zh) * 2018-01-17 2019-07-23 通用汽车环球科技运作有限责任公司 用于物体检测的结构化光照明***
CN112154352A (zh) * 2018-05-21 2020-12-29 脸谱科技有限责任公司 用于深度感测***的动态结构化光
CN109712350A (zh) * 2019-01-31 2019-05-03 浙江云澎科技有限公司 一种智能识别的自助结算机及其识别方法
CN112781520A (zh) * 2019-11-06 2021-05-11 奇景光电股份有限公司 结构光成像装置

Also Published As

Publication number Publication date
WO2016138143A1 (en) 2016-09-01
EP3262439A1 (en) 2018-01-03
US20160253812A1 (en) 2016-09-01
EP3262439B1 (en) 2022-11-02
EP3262439A4 (en) 2019-02-27
KR101954855B1 (ko) 2019-03-06
JP6621836B2 (ja) 2019-12-18
CN107532885B (zh) 2020-03-03
US9934574B2 (en) 2018-04-03
JP2018508019A (ja) 2018-03-22
EP4141793A1 (en) 2023-03-01
KR20170120655A (ko) 2017-10-31

Similar Documents

Publication Publication Date Title
CN107532885A (zh) 光图案中的强度变化用于体积中的物体的深度绘制
JP5643645B2 (ja) 有形物の形状の３次元測定のためのシステム及び方法
CN107548502B (zh) 基于由对象反射的光的特性识别体元中的对象
Canessa et al. Calibrated depth and color cameras for accurate 3D interaction in a stereoscopic augmented reality environment
CN106052646A (zh) 信息处理装置及信息处理方法
CN102609942A (zh) 使用深度图进行移动相机定位
CN1380996A (zh) 用于通过图象处理而不用三维建模来指示目标的设备和方法
JP7182976B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20190114797A1 (en) Floor detection in virtual and augmented reality devices using stereo images
CN112001973B (zh) 基于数字散斑相关的快速三维人头测量方法
JP5693691B2 (ja) 情報処理装置、その処理方法及びプログラム
CN104516532A (zh) 使用光学感测阵列确定光源姿态的设备和方法
US10643341B2 (en) Replicated dot maps for simplified depth computation using machine learning
US11580662B2 (en) Associating three-dimensional coordinates with two-dimensional feature points
CN110313021B (zh) 增强现实提供方法、装置以及计算机可读记录介质
CN207600393U (zh) 图案投射模组、三维信息获取***及处理装置
JP6676785B2 (ja) バーチャル環境表示における視方向の設定方法
US11468580B2 (en) Calculation method, computer-readable recording medium recording calculation program, and information processing apparatus
JP2022128087A (ja) 計測システム及び計測プログラム
US20180274918A1 (en) Three-dimensional measurement apparatus, non-transitory computer readable medium, and three-dimensional measurement system
JP2019035708A (ja) 情報処理装置、情報処理方法およびプログラム
Gava et al. A Unifying Structure from Motion Framework for Central Projection Cameras
JP2017036999A (ja) 形状検出装置、形状検出方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190329

Address after: California, USA

Applicant after: Facebook Technologies, LLC

Address before: California, USA

Applicant before: Facebook, Inc.

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Patentee before: Facebook Technologies, LLC