CN107548502B - 基于由对象反射的光的特性识别体元中的对象 - Google Patents

基于由对象反射的光的特性识别体元中的对象 Download PDF

Info

Publication number
CN107548502B
CN107548502B CN201680023997.XA CN201680023997A CN107548502B CN 107548502 B CN107548502 B CN 107548502B CN 201680023997 A CN201680023997 A CN 201680023997A CN 107548502 B CN107548502 B CN 107548502B
Authority
CN
China
Prior art keywords
light
reflected
voxel
pattern
optical structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680023997.XA
Other languages
English (en)
Other versions
CN107548502A (zh
Inventor
尼他耶·罗曼诺
纳达夫·格罗辛格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN107548502A publication Critical patent/CN107548502A/zh
Application granted granted Critical
Publication of CN107548502B publication Critical patent/CN107548502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • User Interface Of Digital Computer (AREA)
  • Testing Of Coins (AREA)
  • Inspection Of Paper Currency And Valuable Securities (AREA)
  • Position Input By Displaying (AREA)

Abstract

通过将用一或多个预定义属性编码以具有预定义光学结构的光束投射到体元内，来识别或跟踪体元内的对象。检测器捕获来自从体元反射的预定义光学结构的光。通过分析来自从对象反射的预定义光学结构的光的一或多个特性，从体元分割对象。

Description

基于由对象反射的光的特性识别体元中的对象
技术领域
在本发明的一些实施方式中，本发明涉及对象识别，并且更具体地但非排他地，涉及使用到场景上的光学投射的***和方法，例如以三维(3D)方式检测和跟踪诸如用户手的对象。
背景技术
各种方法允许用户远程控制某些装置。例如，用户的身体部位(例如，手臂、腿)的预定义手势或姿势可以控制装置。在使用手势或姿势用于装置控制的方法中，当用户的身体部位与指定位置对准时，识别手势，并且计算机或其他装置执行功能或执行与所识别的手势相对应的动作。
在一些实施方式中，通过经由图像捕获装置捕获用户的图像或视频并分析图像或视频数据中的多个像素，来识别用户的手势。常规手势检测方法通过将像素的颜色值与邻近该像素的其他像素的颜色值进行比较来分析图像中的像素。因此，这些常规方法取决于用户的身体部位与图像背景中的对象之间的颜色值的显著差异。
用于手势检测的其他方法形成用户的一或多个身体部位(例如，用户的手的三维模型)的骨架模型，并分析该骨架模型以识别用户的手势。用于手势检测的替代方法使用三维深度图，在三维深度图中，每个像素包括深度相机与对象的对应于像素的一部分之间的距离。可使用各种方法计算深度图。例如，通过将已知的光图案(即，结构化的光图案)投射到景物上来进行景物的深度标测，并且当已知的光图案投射到景物上时，图像捕获装置捕获景物的图像。由于光图案是预先固定的并且已知的，因此可识别光图案的子部分或独特特征。基于由图像捕获装置捕获的图像中的光图案的已识别特征的偏移，来计算景物的部分与图像捕获装置之间的距离(即，景物的部分的“深度”)。然而，捕获投射到景物上的光图案的图像包括分析更大量的捕获图像，以识别捕获图像中的可以与已知光图案的特征相关联的光图案的特征。另外，图像捕获装置与投射已知光图案的投影仪之间的相对大的分离是必需的，以通过相对于景物中的对象的深度偏移创建已知光图案的图像的较大偏移，来提供更高分辨率的深度检测。
然而，这些确定深度图的常规方法在计算上是昂贵的，并且不产生允许精确确定某些对象的结果。例如，常规的深度标测方法不允许精确检测手指或身体部位来区分紧密相关的手势或姿势。另外，目前的姿势、骨架模型、手势、识别方法和***需要由***的相机识别的先前姿势或手势。例如，用户必须将他的手放在相机上以提供已被***良好定义和识别的“停止”标志姿势。这种先前的姿势检测步骤限制了用户的自然行为并使手势识别过程复杂化，这是因为它需要用户在与手势识别***进行每次交互之前执行预定义姿势。
发明内容
通过提供根据一或多个预定义属性编码的光束来将预定义光学结构编码到该光束上，从而跟踪体元内的对象。在一个实施方式中，光束是诸如多个条纹的结构化光。编码的光束被投射到体元中，并且从体元反射的光由检测器检测。编码到光束上的预定义光学结构的示例包括：光分布的准直角度、光束分布中的强度、光分布的均匀性以及光源的相干性。分析所检测的反射光并且根据对象的至少一个光反射特性对对象进行分割。基于该分割，对象可被识别为关注对象。在一些实施方式中，从所检测的反射光生成分割对象的深度图。
可根据所检测的反射光中的图案中的光的反射宽度来分割对象。可替换地，基于所检测的反射光的强度分布变化来分割对象。强度分布变化可以是所检测的反射光中的图案的局部均匀反射分布的变化，或者可以是所检测的反射光中的图案的散斑。作为另一示例，强度分布变化是所检测的反射光中的图案的漫射或杂散光分布的变化。
在实施方式中，光束被偏振成一偏振结构和附加偏振结构，使产生多个图像。从体元的附加偏振结构的附加图像中减去体元的偏振结构的图像，并通过从附加偏振结构的附加图像中减去偏振结构的图像来提取对象。对象可以是用户的身体的一部分(例如，手、手臂)、游戏工具或任何其他合适的对象。
可通过将从体元中的附加对象检测到的反射光的特性与所检测的从对象反射的光的特性进行比较，来识别体元内的附加对象。基于该比较，分割附加对象。例如，对象是用户的脸，并且附加对象是用户的手。
在各种实施方式中，设备包括：光源，被配置成产生可以是光图案的光束，以及光学元件，被配置成将预定义光学结构应用于光束，其中预定义光学结构被配置成根据对象的物理结构而变化。在应用预定义光学结构之后，光束被投射到体元中。检测器被配置成获得投射到体元中的光束的反射的多个图像，而处理器耦接到检测器并且被配置成基于由对象将投射到体元中的光束反射而得的光的分布的至少一个变化来从多个图像提取对象。例如，来自光束的反射的光的分布的变化是光图案宽度沿光束的反射的变化，或者是光束的反射的高斯截面强度分布的变化。在其他示例中，该变化是光束的反射的局部均匀性分布的变化，或者是光束的反射的散斑分布的变化。
在一些实施方式中，该设备可包括靠近检测器定位的偏振器。偏振器被配置成使从所述体元反射的光束根据至少两个预定义的偏振结构偏振。在一些实施方式中，处理器被配置成通过从对象的附加偏振结构的附加图像中减去对象的偏振结构的图像，而从由检测器捕获的图像中提取对象。
附图说明
图1A和图1B是示出根据实施方式的对象的光反射率的概念图。
图2是根据实施方式的用户使用手势与装置交互的概念图。
图3是根据实施方式的用于分割对象的***的框图。
图4是根据实施方式的被投射到用户的手上的光图案的概念图。
图5是根据实施方式的用于分割体元中的对象的方法的流程图。
图6是根据实施方式的用于操作光束的方法的流程图。
图7是根据实施方式的用于从投射到体元中的光束识别对象的方法的流程图。
图8A至图8C是根据实施方式的将光束投射到体元中的对象上的示例。
图9A至图9C是根据实施方式的通过将光束投射到体元中来分割体元中的对象的***的示例配置。
图10是根据实施方式的用于分割体元中的对象的方法的流程图。
图11示出了根据实施方式的所捕获的投射到手上的光束的偏振图像的示例。
图12是根据实施方式的用于使用光束来分割体元中的对象的***的框图。
图13是根据实施方式的用于虚拟现实***的示例头戴式设备。
图14是根据实施方式的使用手势与虚拟现实环境交互的概念图。
附图仅仅出于说明的目的绘示了各种实施方式。本领域技术人员将从以下讨论中容易地认识到，在不脱离本文描述的原理的情况下，可采用本文所示的结构和方法的替代实施方式。
具体实施方式
概述
在各种***(例如，骨架建模、手势识别***、VR(虚拟现实)、增强现实或远程控制感测应用)中使用体元(诸如场景或景物)的三维深度标测来提取体元中的对象。例如，深度标测用于从体元中提取用户的手或用户的脸。来自三维深度标测的数据允许从体中的背景景物分割用户的手、用户的脸或另一对象。常规方法计算完整体元的三维深度图，以允许从体元分割对象。然而，生成完整体元的三维深度图涉及显著的计算资源，并且往往使用指定的处理单元。另外，允许从背景景物中提取某些对象(例如，手指)的提取高分辨率三维深度图，可能受到环境光条件的限制，该条件将从场景中有效提取某些对象限制于对场景的预定义和准确的约束。
用于在体元或骨架建模中识别对象的手势的其他常规技术提供二维红、绿、蓝(RGB)数据，从该数据中提取身体部位或其他对象。例如，使用来自RGB数据的颜色分析或图像差异。另外，使用二维RGB数据的方法也可能消耗显著的计算能力并对体元中的光条件敏感。此外，使用二维RGB数据不允许提取复杂的姿势和三维数据。
另外，其他常规的手势识别***和方法依赖于检测对象(例如，用户的手)的预定姿势或形状来验证对象并且从捕获的图像中提取对象。然而，使用预定义的姿势或形状来提取对象限制了用户的自然行为，并且通过在用户与手势识别***交互之前指定用户的姿势或手势而使手势识别复杂化。如本文所使用的，“手势”是指对象(例如，用户的手、用户的身体)的预定义姿势或位置或是指对象在二维或三维中的预定义运动。
为了检测手势或对其建模，发射器包括光源(例如，激光二极管)和被配置成生成预定义光图案的一或多个光学元件。光学元件可以是衍射光学器件、折射光学器件或能够提供预定义光图案的其他光结构化元件。发射器被配置成通过将光图案投射到体元中来照亮在相机传感器的视场内的体元。投射的光图案可由体元的各种光学属性编码或限定。示例光学属性包括：准直角度、强度变化、偏振以及光的一或多个相干特性。如本文所使用的，“编码”被定义为操纵投射图案以包括一或多个属性，诸如强度变化、偏振以及光的一或多个相干特性。投射的光图案的属性受体元中的对象(例如身体)的表面影响，并且分析从对象反射的光以从背景(例如，体元中的其他对象)检测和/或分割对象。影响投射的光图案属性的对象表面的示例属性包括：对象的表面粗糙度(例如散射)、对象的透明度、对象的漫射属性、对象的吸光度和对象的镜面度。
在一些实施方式中，投射的光图案具有根据各种深度或视场的特定的预定义或已知属性。例如，诸如用户的手，包括特定的一组表面属性。用户的手的示例属性包括粗糙度(例如散射)、透明度、漫射属性、吸光度以及镜面度。由于用户的手的属性，由用户的手反射的光图案具有与体元中的其他对象反射的光图案的标记不同的特定且唯一的标记。基于由用户的手反射的光图案的标记，具有与用户的手相同或相似的表面属性的附加对象(例如，与用户的手上的皮肤匹配的皮肤的其他区域)也可能从体元中的其他对象分割出来。基于由对象反射的光图案来从体元分割对象，允许在不能分析完整的光图案或完整的景物的情况下局部地分割对象并且在具有复杂景物的体元中分割对象。
另外，使用反射光图案允许在没有关于对象的先前信息(例如，结构、形状)的情况下从包括场景(例如，各种对象)的体元分割一或多个对象。因此，基于反射光图案分割对象允许在没有识别对象的形状或姿势的存储信息的情况下从体元分割对象，从而允许从体元直接且立即识别对象。例如，如果“停止”标志或“轻扫”手势没有包括在识别形状或姿势的存储信息中，则使用预定义形状或姿势的对象分割方法无法通过体元中用户的手来识别“停止”标志或“轻扫”手势。然而，使用从用户的手反射的光图案允许在没有存储信息的情况下在体元中识别用户的手。基于从对象反射的光图案识别对象减少了用于扩展与***交互的姿势和手势的计算资源。
对象的反射
投射到体元中的光与体元中的各种对象以不同方式反射。对象的表面和包括对象的一或多种材料影响对象如何反射光。然而，对象的各种属性影响对象对光的反射。对象的影响对象如何反射光的示例属性包括：纹理、材料的类型、不透明度、粗糙度、漫射性和镜面度。
漫反射是使得入射光线由表面以许多角度反射的光从表面的反射。当照亮时，理想的漫反射表面从与表面相邻的半空间中的所有方向具有相同的亮度(朗伯反射率)。相反，光从表面的镜面反射是使得入射光线以单个角度反射的光从表面的反射。
例如，图1A示出了投射到包含光泽表面的对象20(例如，壁)的光10。光10被对象20反射为漫射光线15和镜面光线25。漫射光线15和镜面光线25根据用于理想漫反射器的朗伯余弦定律而变化。
由不完全透明的材料或对象(例如，人体皮肤最不透明)反射的光由在对象的表面下面的散射中心贡献。例如，图1B示出了包含皮肤表面102和皮肤的分段110、120和130的人体皮肤。入射到皮肤的光线115被皮肤表面102部分地反射，而光线115的一部分穿过皮肤表面102并被分段110部分地反射。光线115的另一部分穿过分段110并进入分段120，分段120反射光线115的一部分。类似地，光线115的一部分穿过分段120进入分段130，分段130也反射光线115的一部分。因此，由入射在皮肤上的光线115生成一系列“一次”散射光线，并且“一次”散射光线通过上述机制生成多个“二次”散射光线(如图1B中虚线所示)。二次散射光线类似地生成三次散射光线等。各种光线穿过皮肤，皮肤部分地吸收来自该各种光线的光，而该各种光线的一部分到达皮肤表面102，在皮肤表面102，该各种光线的一部分以随机方向离开。因此，由皮肤反射的光以基于皮肤表面102的独特结构在多个方向(例如，所有方向)上反射。
库贝尔卡-蒙克(Kubelka-Munk)反射理论提供了解释对象反射率的物理模型。使用库贝尔卡-蒙克理论，给出了弱吸收样品中吸收物质的反射率与浓度之间的相关性。库贝尔卡-蒙克函数由以下给出：
F(R)＝(1–R)2/2R＝k/s＝Ac/s
其中：
R＝反射率，
k＝吸收系数，
s＝散射系数；
c＝吸收物质的浓度；以及
A＝吸光度。
因此，投射到包括诸如人体皮肤的对象的体元中的光图案与体元的对象和背景以不同方式反射。
手势和姿势检测
图2是用户200使用手势(诸如用户的手210在空中的运动)与装置进行交互的概念图。在图2的示例中，用户的手210的运动允许用户200在显示于屏幕260上的虚拟键盘240上键入。为了检测手势，检测装置250将光图案照射到手210上并检测光图案从手210的反射。基于反射光图案的三角测量允许检测装置250生成包含手210的体元的深度图。
图3是用于分割对象的***的一个实施方式的框图。在图3的示例中，***包括发射器311和接收器312。在各种实施方式中，发射器311包括跟随有一或多个光学元件314.1、314.2的光源313(例如，激光源)，光学元件将图案编码到来自光源313的光上。发射器311将光图案编码到的光发射到体元315(例如，场景)中。由于体元315中的对象(例如，对象316)反射光图案，所以反射光图案获取了各种特性。反射光图案的示例特性包括：准直角度、强度变化、偏振以及一或多个相干特性。接收器312(例如，具有电荷耦合显示检测器、互补金属氧化物半导体检测器的相机)捕获来自体元315中的对象的反射光并分析反射光图案。通过使用从体元315中的对象反射的光图案的标记，接收器312确定体元315中的对象是否为关注对象。例如，接收器312对反射光图案执行分割处理，以确定体元315中的对象是否为关注对象。体元315中的任何合适的对象可以是各种实施方式中的关注对象。例如，网球拍是关注对象，或用户的身体的一部分(例如，手、手臂)是关注对象。在一些实施方式中，接收器312还获得体元315中反映光图案的各个点的深度信息。
图4是投射到用户的手410上的光图案的概念图。如下面进一步描述的，基于由用户的手410反射的光图案的特性，在没有关于手410的先前信息的情况下，可检测手410或者跟踪手410的运动。为了允许检测或跟踪手，投射到手410上的光图案被编码以允许跟踪。在各种实施方式中，投射到手410上的光图案允许跟踪二维视频数据中的运动，这增加了根据距离将手410与用户的身体的其他部分区分开的复杂性。根据一个实施方式，光图案被专门设计成跟踪二维视频数据(例如，来自常规摄像机的视频图像)中的手410的手指的运动。更具体地，如下面进一步描述的，光图案被设计成使能够根据检测到的由对象反射的光图案的预定义标记(诸如由对象反射的光图案的变形或大小)，来从二维视频数据检测和跟踪手410的手指(即手指和拇指)以及手410的掌。在图4所示的示例中，光图案包括彼此平行或几乎平行的多个条纹。
相机(例如，图3中的接收器312)与投影仪(例如，发射器311)一起定位，投影仪将光图案(例如，图4中的条纹)投射到手410上和包括手410的体元的背景420(诸如手410搁置的表面)上。在各种实施方式中，相机和发射器可在公共轴线上彼此平行定位、可彼此正交定位或者可相对于彼此定位在任何其他位置。可选择相机的位置，以在相机、光投影仪、以及来自从手410和背景420反射到相机的光投影仪的光之间创建三角测量效果。
体元中的对象(诸如手410)根据从各种对象的表面(例如，手410的皮肤)反射的独特的光特性来识别或分割。因此，由手410的皮肤散射的来自光图案的光在沿投射到手410上的图案的条纹的点处改变光图案的一或多个特性。基于由手410散射的光图案的一或多个特性的变化，处理器或其他装置识别手410。
所识别的反射光图案的分段的特性的变化将体元分割(例如，划分)为两个或更多个分段或区域。在图4的示例中，由手410反射的光图案的分段的变化将体元划分成包括手410的“皮肤”区和包括除手410之外的对象或材料的“背景”区。例如，图4中的区域431包括手410并且包括反射光图案的具有识别由皮肤反射的光图案的一部分的一或多个特定特性的一部分，而图4中的区域432包括由具有除皮肤之外的表面的对象(例如，体元的背景中的对象)反射的光图案的部分。
例如，图3中的发射器311包括多个光学元件，诸如DOE(衍射光学元件)或ROE(折射光学元件)，因此由发射器311发射的光被编码为具有不同的属性(例如，强度相干水平、准直角度)。发射光的属性在发射到手上的发射光(即，区域431中的发射光)的条纹内或周围形成噪声。因此，来自用户的手的皮肤反射的光图案的光的漫射，导致区域431中的发射光图案的条纹看起来干净、清晰和平滑，而从具有不同于皮肤的表面的对象反射的条纹看上去裂开且撕碎。
基于由手410反射的光图案(例如，条纹)中的光的一或多个特性，手410可被识别并且与体元中的其他对象分割开。反射光图案的示例特性包括：反射图案光宽度、反射光的强度分布变化(例如扩展)(例如，光图案的高斯横截面强度分布的变化)、局部均匀性(反射图案相对于投射的光图案的分布的变化，诸如反射光图案的一部分的图案强度的平滑度)、反射光图案的偏振变化、由于表面不透明度、粗糙度和相干水平而引起的反射光图案中的散斑、漫射光以及光图案的部分与在光图案的部分之间的背景的对比度的变化(例如，当光图案被发射到诸如人体皮肤的半透明介质上时，其中，光传播到介质中)。虽然图4示出了包括多个条纹(例如，线性图案)的示例光图案，但是在其他实施方式中可使用其他类型的光图案。替代光图案的示例包括：点、三角形、矩形和圆。在各种实施方式中，光图案大于单个像素(例如，光图案包含多个像素)。
图5是用于分割体元中的对象的方法的一个实施方式的流程图。在其他实施方式中，该方法包括与结合图5所描述的步骤不同或附加的步骤。另外，在各种实施方式中，可以以与结合图5所描述的顺序不同的顺序执行该方法的步骤。
如下面进一步描述的，光被投射510到体元中。在各种实施方式中，投射光包括光图案，诸如超散斑条纹。当光被投射510到体元中时，来自光图案的条纹落在关注对象上。如上面结合图4进一步描述的，关注对象的图案由噪声表示或由关注对象反射的光图案(例如，条纹)的一部分的一或多个其他特性(例如，图案宽度、形状和非相干性)表示。由计算机处理器分析520由关注对象反射(并被其他对象反射)的光图案(即，“反射光图案”)。例如，由基于每个像素中的一或多个反射光图案特性的检测算法，分析由包括关注对象的体元反射的光图案的图像的像素。基于对反射光图案的分析，从体元分割530关注对象，从而允许快速且直接找到体元中的对象并快速识别体元中的关注对象(例如，手、手指)。例如，扫描由体元反射的光的图像，并且图像中的每个像素被识别为“背景”或被识别为“对象”(例如，手)。在一些实施方式中，在从体元分割530关注对象之后，识别540关注对象。不同于基于对象的形状和描述对象的存储信息(例如，使用户举起用户的手并以特定图案张开用户的手以识别用户的手)从体元识别对象的常规方法，上述方法允许准确且直接识别关注对象，而不论对象的初始形状如何。在一些实施方式中，在分割530或识别540关注对象之后，确定关注对象的各个点的深度信息。
图6是用于操作光束的方法的一个实施方式的流程图。在其他实施方式中，该方法包括与结合图6所描述的步骤不同或附加的步骤。另外，在各种实施方式中，可以以与结合图6所描述的顺序不同的顺序执行该方法的步骤。
操作610光源以提供光束。在各种实施方式中，光源是半导体激光器阵列。例如，光源是垂直腔表面发射激光器(VCSEL)阵列。阵列中的激光器可单独地或成行地操作，从而允许通过改变不同行中的激光的强度来提供光束的变化，以提供行之间的强度的循环变化。
随后定义620光束的光学属性，当光源被体元中的对象(例如，体元中的手、体元中的壁)反射时，允许检测反射光的不同属性。在一些实施方式中，光束的附加光学属性也被定义630。在定义620光学特性(以及在一些实施方式中的附加光学特性)之后，具有该光学属性的光束被投射640到体元中。
比较反射率方法
基于各种条件的来自不同对象的光的反射率之间的差异增加了从对象反射的光的标记来识别对象的复杂性。例如，由皮肤反射的光随着皮肤老化而改变，导致年轻皮肤的光的反射率与年长皮肤不同。因此，一些实施方式通过将由体元中的对象反射的光的一或多个特性与体元中的附加对象的一个或多个特性进行比较，来从体元识别对象。这种比较可在没有描述对象的光的反射率的先前信息的情况下，提供关于从对象反射的光的信息。
图7示出了用于从投射到体元中的光束识别对象的方法的一个实施方式的流程图。在其他实施方式中，该方法可包括与结合图7所描述的步骤不同的或附加的步骤。另外，在各种实施方式中，可以以与结合图7所描述的顺序不同的顺序执行该方法的步骤。
发射器将光投射710到包括多个对象(诸如对象和附加对象)的体元中。检测器捕获从该对象和附加对象反射的光，并分析720反射光以识别由对象反射的光的一或多个特性。基于由对象反射的光的标记，校准730发射器以识别体元中反射具有与由对象反射的光相同标记的光的其他对象。在图7的示例中，由附加对象反射的光具有与由对象反射的光相匹配的标记，因此也基于由附加对象反射的光的标记来识别740附加对象。例如，对象是根据形状识别方法或图像处理方法识别的用户的脸；可替换地，如本文进一步描述的，基于用户的脸反射的光的特性来识别用户的脸。在识别用户的脸之后，校准730发射器以识别体元中反射与由用户的脸反射的光的特性具有共同特性的光的对象。这种校准允许识别体元中的具有皮肤表面的其他对象，诸如用户的手或手臂。
图8A是由手820和背景810反射的光图案的多个条纹的示例图像800。在图8A的示例中，可基于由手820和背景810反射的光图案的一或多个特性的变化，从背景810提取手820。由手820或背景810反射的光图案的示例特性包括：光图案中的条纹的强度变化、光图案中的条纹的宽度变化、散斑均匀性、局部均匀性以及沿轴的条纹分布中的漫射杂散光。例如，图8B示出了沿由背景810反射和由手820反射的条纹的轴的条纹分布的灰度(例如，强度对比像素)的变化。在图8B的示例中，表示手820的曲线示出强度821的变化、条纹宽度822的变化、以及杂散光823相对于表示背景810的曲线的变化。图8C示出了在图8C左侧的手820的光的反射率与在图8C右侧的背景810的光的反射率之间的变化。
偏振
偏振成像是由来自对象(例如，皮肤)的光的散射引起的去偏振的现象。偏振***和方法被广泛用于医学领域(例如，皮肤癌检测)。来自对象的去偏振反射包括从对象的表面反射的背散射光，而对象的表层保持照射对象的光的线偏振，来自对象的较深层的背散射光被去偏振。引导输出偏振器与输入偏振器平行或垂直允许选择背散射信号的深度。
偏振散斑图案由以下等式表示：
D(x，y)＝(I_||(x，y)-I_⊥(x，y))/(I_||(x，y)+I_⊥(x，y))
其中：I_||(x，y)和I_⊥(x，y)是对应的平行和垂直偏振的像素强度。
因此，在一些实施方式中，通过基于来自对象的去偏振背散射光反射从体元中的其他对象提取或分割对象，来识别体元中的对象。图9A是用于从体元提取对象(诸如用户的手910)并识别对象的***900的一个实施方式的框图。在图9A所示的示例中，***900包括将光投射到体元中的发射器920，诸如激光发射器。偏振器935(例如，线性偏振器)被定位成邻近相机930(诸如电荷耦合器件相机)。相机930捕获从发射器920投射到体元中的光的图像，并且偏振器935处于相机930的视场(例如，在相机930与体元之间)中。在一些实施方式中，偏振器935被耦接到旋转器，旋转器被配置成在由相机930捕获的连续帧之间使偏振器旋转90度。
因此，相机930捕获作为场景的图像的正交偏振的两个图像(例如，连续的帧)。根据上述偏振等式计算并分析每个图像的偏振散斑图案。通过使用滤波算法，从背景提取对象。
图9B示出了用于从体元识别诸如用户的手910的对象的***950的替代实施方式的框图。图9B所示的***950包括被配置成将光投射到体元中的发射器920(诸如上面结合图9A所述的)。另外，***950包括可以是电荷耦合器件相机的相机960和附加相机970。偏振器965位于相机960附近并且位于相机960与体元之间，而附加偏振器975位于附加相机970附近并且位于附加相机970与体元之间。偏振器965使相机960使用偏振取向对体元进行成像，而附加偏振器975使相机970使用另外的偏振取向对体元进行成像。例如，偏振取向相对于偏振器965的水平轴是+45度，而附加偏振取向相对于附加偏振器975的水平轴是-45度。
图9C是用于从体元识别诸如用户的手910的对象的***970的另一实施方式的框图。在图9C所示的实施方式中，偏振分束器980位于相机960与体元之间(例如，在相机960的视场中)并且位于附加相机970与体元之间(例如，在附加相机970的视场中)。偏振分束器980使从体元反射的光偏振，并且将从场景反射的光的一部分引导至相机960，并将从场景反射的光的另一部分引导至附加相机970。相机960和附加相机970可彼此正交并且分别附接到或邻近于偏振分束器980的不同侧981、982。
图10是用于提取体元中的对象的方法的一个实施方式的流程图。在其他实施方式中，该方法可包括与结合图10所描述的步骤不同的或附加的步骤。另外，在各种实施方式中，可以以与结合图10所描述的顺序不同的顺序执行该方法的步骤。
获取1010体元的至少两个图像，其中，不同图像具有不同的偏振取向。例如，图像具有一偏振取向，而附加图像具有不同于该偏振取向的替代偏振取向。在图11所示的示例中，包括用户的手的体元的偏振图像1110在+45度的取向上偏振，而包括用户的手的体元的另一图像1120在-45度的取向上偏振。
从所获取的图像中，根据以下等式计算1020两个获取图像偏振图像的多重对比度，诸如散斑偏振对比度：
C＝(A-B)/(A+B)
其中：A＝具有+45偏振取向的图像，以及
B＝具有-45偏振取向的图像。
执行1030滤波处理以从体元中的其他对象提取对象。例如，参考图11，图像1130示出了计算在彼此的阈值距离内的像素的标准偏差(例如，9×9网格的标准偏差)并去除高于指定阈值的像素的滤波处理的性能。在图11的示例中，图像1130示出了手1132相对于背景1133显眼，从而允许提取并识别手1132作为关注对象。
图12是用于使用光束分割体元中的对象的***1200的一个实施方式的框图。在图12所示的实施方式中，***1200包括如上面进一步描述的被配置成用光图案照亮体元的红外(IR)照明器1202。诸如IR相机1206的相机被配置成接收来自体元的图案化光的反射，而预处理器1204被配置成执行来自IR相机1206的数据的初始处理。
***1200还包括诸如智能电话的计算装置1210，计算装置1210包括处理器1214，处理器1214执行由计算装置1210存储或接收的指令1216。计算装置1210耦接到近眼显示器1220，近眼显示器1220被配置成向用户呈现内容，诸如合成场景或用户的身体的部分(例如，手)的图像。在其他实施方式中，计算装置1210可以是膝上型计算机、计算机、平板计算机或任何其他合适的计算装置。
IR相机1206捕获由IR照明器1202投射到体元中的IR图案的反射。预处理器1204初始处理所捕获的反射并将经处理的IR图案的反射传送到计算装置1210的处理器1214。执行指令1216使处理器1214从所接收的IR图案的反射中分割对象(例如，用户的身体部位)，或者从所接收的IR图案的反射生成识别体元中不同对象的深度的深度图。
在一些实施方式中，计算装置1210包括可见光相机1212，可见光相机被配置成捕获由光图案照亮的体元(例如，用户的身体部位)中的对象的二维彩色图像。因此，处理器1214可使用从IR图案的反射生成的深度图和体元中的对象的二维彩色图像，生成在体元中识别的对象(例如，用户的身体部位)的三维彩色图像。处理器1214被配置成处理所接收的体元的图像，并且使用反射光图案的特征和所确定的对象(例如，用户的身体部位)的反射标记从体元分割对象。另外，处理器1214可被配置成将所生成的识别对象的三维彩色图像叠加到由近眼显示器1220呈现的合成场景上，从而允许用户如他们在现实生活中一样地观看合成场景和从体元中识别出的定位且定向在合成场景中的对象(例如，用户的身体部位)。
图13是用于虚拟现实***的示例头戴式设备1310。在图13的示例中，头戴式设备1310包括被配置成与移动装置1320(例如，智能电话)一起使用的头戴式耳机1340。头戴式设备1310可包括照明器1312(例如，激光发射器、红外图案照明器)和相机1314(例如，IR相机1206)。包括在头戴式设备1310中的预处理器被配置成执行初始图像处理，诸如上面结合图12所描述的。头戴式设备1310被进一步配置成与移动装置1320和耳机1340物理地且电子地交互。在各种实施方式中，头戴式设备1310包括被配置成传输移动装置1320的显示的光学器件，被配置成保持移动装置1320的套筒1350，其中移动装置可包括相机1322。带件1330允许头戴式设备1310固定在用户的头部上。在各种实施方式中，头戴式设备1310可与近眼显示器交互。
头戴式设备1310通过允许在虚拟现实场景中观看在头戴式设备1310周围的环境的对象(例如，用户的身体部位)的三维图像来增强虚拟现实头戴式耳机。因此，头戴式设备1310提供用于耦接到近眼显示器的硬件，并且执行用于控制头戴式设备1310并分析所捕获的数据的指令。头戴式设备1310的一些实施方式允许在没有虚拟现实专用装置的情况下呈现虚拟现实场景。
图14是使用手势与虚拟现实环境交互的概念图。用户1410佩戴可安装装置1400的近眼显示器1430，如上面结合图13所说明的。装置1400可包括照明器(例如，激光发射器)1420和具有足够广的视场以捕获用户周围的体元的图像的捕获单元(例如，相机)1415。在操作时，近眼显示器1430被配置成将合成场景投射到用户1410的双眼上。照明器1410将光图案1424投射到用户1410周围的体元中。由捕获单元1415捕获光图案1410的反射，并且然后由可位于装置1400中、近眼显示器1430中或任何其他合适的部件中的计算机处理器对光图案的反射进行分析。装置1400的可见光相机被配置成捕获用户的手1412或由用户1410控制的另一对象的二维图像。装置1400的处理器被配置成计算并识别体元中的对象，诸如用户的手1412。在一些实施方式中，处理器被进一步配置成确定用户的手1412或作手势的对象的深度图，并且可将深度图与二维图像组合成用户的手1412的三维图像，该三维图像可以被呈现到呈现给用户1410的虚拟图像1460中的对应位置1462。因此，用户的手1410的三维图像被叠加到合成场景中，同时保留用户的手1410的三维属性。
总结
实施方式的前述描述已出于说明的目的而呈现；实施方式不是穷举的，也不是将专利权限于所公开的精确形式。相关领域的技术人员可以理解，在上述公开内容的指导下，许多修改和变化是可行的。
本描述的一些部分根据关于信息的操作的算法和符号表示来描述实施方式。这些算法描述和表示由数据处理领域的技术人员常常使用，以将其工作的实质有效地传达给本领域技术人员。在功能、计算或逻辑上描述的这些操作被理解为由计算机程序或等效电路、微代码等实现。此外，已证明有时可方便地将这些操作的布置称为模块，而不失一般性。所描述的操作及其相关联的模块可以以软件、固件、硬件或其任何组合来实施。
本文描述的任何步骤、操作或处理中的任一项可用一或多个硬件或软件模块单独地或与其他装置组合地执行或实现。在一个实施方式中，利用包括含有计算机程序代码的计算机可读介质的计算机程序产品来实现软件模块，该计算机程序代码可由计算机处理器执行以执行所描述的任何或全部步骤、操作或处理。
实施方式也可涉及用于执行本文的操作的设备。该设备可经专门构造以用于所需目的，和/或该设备可包括由存储在计算机中的计算机程序选择性激活或重新配置的通用计算装置。这种计算机程序可被存储在非瞬时性的有形计算机可读存储介质中、或适用于存储电子指令的任何类型的介质中，该介质可耦接到计算机***总线。此外，在本说明书中提到的任何计算***可包括单个处理器，或者可以是采用多个处理器设计以提高计算能力的架构。
实施方式也可涉及通过本文所述的计算处理产生的产品。这种产品可包括由计算处理产生的信息，其中，信息被存储在非瞬时性的有形计算机可读存储介质上，并且可包括本文所描述的计算机程序产品或其他数据组合的任何实施方式。
最后，本说明书中使用的语言主要为了可读性和教学目的而选择，并且不会被选择来描述或限制专利权。因此，本发明的范围不受该详细描述限制，而是由基于此的应用发布的任何权利要求限制。因此，实施方式的公开旨在说明而非限制在所附权利要求中阐述的专利权的范围。

Claims (17)

1.一种用于识别对象的方法，包括：
从光源提供光束以用于投射到体元中；
用一或多个预定义属性对所述光束进行编码，以将光图案应用于所述光束；
将编码有所述光图案的所述光束投射到所述体元中；
经由检测器检测来自从所述体元反射的所述光图案的光；
分析所检测的来自从所述体元反射的所述光图案的光；以及
根据来自由所述对象反射的所述光束的光的至少一个特性，分割所述体元中的对象，
其中，经由检测器检测来自从所述体元反射的所述光束的光包括使从所述体元反射的所述光束根据偏振结构和附加偏振结构偏振，以生成从所述体元反射的光的多个图像，并且根据来自由所述对象反射的所述光束的光的至少一个特性分割所述体元中的所述对象包括：
从由所述体元反射的具有所述附加偏振结构的光的附加图像中，减去从所述体元反射的具有所述偏振结构的光的图像；以及
从相减来提取所述对象，
将来自由所述体元中的附加对象反射的光束的光的特性与来自由所述对象反射的光束的光的特性进行比较；以及
基于所述比较从所述体元分割所述附加对象。
2.根据权利要求1所述的方法，其中，所述光图案包括多个条纹。
3.根据权利要求1所述的方法，进一步包括：
基于所检测的来自由所述对象反射的所述光图案的光，生成所述对象的深度信息。
4.根据权利要求1所述的方法，进一步包括：
将所述对象识别为关注对象。
5.根据权利要求1所述的方法，其中，所述光图案包括光属性，所述光属性选自以下项组成的组：光束分布的准直角度、光束分布中的强度、光束分布中的均匀性、光源的相干性及其任何组合。
6.根据权利要求1所述的方法，其中，基于所检测的来自由所述对象反射的所述光图案的光的宽度，分割所述体元中的所述对象。
7.根据权利要求1所述的方法，其中，基于所检测的来自由所述对象反射的所述光图案的光的强度分布的变化，分割所述体元中的所述对象。
8.根据权利要求7所述的方法，其中，所检测的光的所述强度分布的变化包括来自由所述对象反射的所述光图案的光的局部均匀性分布的变化。
9.根据权利要求7所述的方法，其中，所检测的光的所述强度分布的变化包括来自由所述对象反射的所述光图案的光的散斑的变化。
10.根据权利要求7所述的方法，其中，所检测的光的所述强度分布的变化包括来自由所述对象反射的所述光图案的光的漫射或杂散光分布的变化。
11.根据权利要求1所述的方法，其中，所述对象是用户的脸，并且所述附加对象是所述用户的手。
12.一种用于识别对象的设备，包括：
被配置成产生光束的光源；
至少一个光学元件，被配置成将预定义光学结构应用于所述光束，所述预定义光学结构被配置成根据对象的物理结构而变化；
检测器，被配置成获得从包括所述对象的体元反射的光束的多个图像；以及
处理器，被配置成基于来自从所述对象反射的光束的光相对于来自从所述体元反射的所述光束的光的分布的至少一个变化，从所述多个图像中提取所述对象，
位于所述检测器的视场中的偏振器，所述偏振器被配置成使来自从所述体元反射的所述光束的光根据至少两个预定义的偏振结构偏振；
其中，所述处理器被配置成通过将所述对象的具有偏振结构的图像从所述对象的具有不同的偏振结构的附加图像中减掉，而从所述多个图像中提取所述对象。
13.根据权利要求12所述的设备，其中，应用于光束的所述预定义光学结构包括光图案。
14.根据权利要求12所述的设备，其中，所述光束的所述预定义光学结构的相干特性的差异包括从所述对象反射的所述预定义光学结构的宽度相对于从包括所述对象的所述体元反射的所述预定义光学结构的宽度的变化。
15.根据权利要求12所述的设备，其中，所述光束的所述预定义光学结构的相干特性的差异包括从所述对象反射的所述预定义光学结构的高斯截面强度分布相对于从包括所述对象的所述体元反射的所述预定义光学结构的高斯截面强度分布的变化。
16.根据权利要求12所述的设备，其中，所述光束的所述预定义光学结构的相干特性的差异包括从所述对象反射的所述预定义光学结构的局部均匀性分布相对于从包括所述对象的所述体元反射的所述预定义光学结构的局部均匀性分布的变化。
17.根据权利要求12所述的设备，其中，所述光束的所述预定义光学结构的相干特性的差异包括从所述对象反射的所述预定义光学结构的散斑分布相对于从包括所述对象的所述体元反射的所述预定义光学结构的散斑分布的变化。
CN201680023997.XA 2015-02-25 2016-02-24 基于由对象反射的光的特性识别体元中的对象 Active CN107548502B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562120440P 2015-02-25 2015-02-25
US62/120,440 2015-02-25
PCT/US2016/019377 WO2016138145A1 (en) 2015-02-25 2016-02-24 Identifying an object in a volume based on characteristics of light reflected by the object

Publications (2)

Publication Number Publication Date
CN107548502A CN107548502A (zh) 2018-01-05
CN107548502B true CN107548502B (zh) 2021-02-09

Family

ID=56789817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680023997.XA Active CN107548502B (zh) 2015-02-25 2016-02-24 基于由对象反射的光的特性识别体元中的对象

Country Status (11)

Country Link
US (1) US10049460B2 (zh)
EP (1) EP3123288A4 (zh)
JP (1) JP6554638B2 (zh)
KR (2) KR20170124559A (zh)
CN (1) CN107548502B (zh)
AU (1) AU2016222716B2 (zh)
BR (1) BR112017018121A2 (zh)
CA (1) CA2977374C (zh)
IL (1) IL254022B (zh)
MX (1) MX364878B (zh)
WO (1) WO2016138145A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011036618A2 (en) * 2009-09-22 2011-03-31 Pebblestech Ltd. Remote control of computer devices
JP6782239B2 (ja) * 2015-01-06 2020-11-11 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ パターン光を用いた深さマップを提供するための方法およびシステム
CN108028022B (zh) * 2015-09-30 2021-06-15 索尼公司 图像处理装置、图像处理方法和车辆控制***
KR20180012057A (ko) * 2016-07-26 2018-02-05 삼성전자주식회사 투시형 디스플레이 장치
KR20180056174A (ko) * 2016-11-18 2018-05-28 삼성전자주식회사 콘텐츠 처리 방법 및 이를 지원하는 전자 장치
US10430647B2 (en) * 2017-01-13 2019-10-01 Microsoft Licensing Technology, LLC Tailored illumination profile for articulated hand tracking
US10586379B2 (en) 2017-03-08 2020-03-10 Ebay Inc. Integration of 3D models
US10620316B2 (en) * 2017-05-05 2020-04-14 Qualcomm Incorporated Systems and methods for generating a structured light depth map with a non-uniform codeword pattern
KR102287586B1 (ko) * 2017-05-31 2021-08-10 (주)아모레퍼시픽 화장료의 두께 측정 장치 및 방법
EP3652935B1 (en) * 2017-07-12 2023-10-18 Gentex Corporation Systems and methods for acquiring information from an environment
CN107515844B (zh) * 2017-07-31 2021-03-16 Oppo广东移动通信有限公司 字体设置方法、装置及移动设备
JP6970376B2 (ja) * 2017-12-01 2021-11-24 オムロン株式会社 画像処理システム、及び画像処理方法
US10527885B2 (en) * 2018-04-03 2020-01-07 Facebook Technologies, Llc Display device with optical reflecting layer for reduction of screen door effect
CN108846853A (zh) * 2018-04-26 2018-11-20 武汉幻视智能科技有限公司 一种基于目标跟踪和姿态检测的教学行为分析方法及装置
US11040452B2 (en) * 2018-05-29 2021-06-22 Abb Schweiz Ag Depth sensing robotic hand-eye camera using structured light
US11727656B2 (en) 2018-06-12 2023-08-15 Ebay Inc. Reconstruction of 3D model with immersive experience
KR20200018207A (ko) * 2018-08-10 2020-02-19 일렉트로닉 아트 아이엔씨. 반사들을 렌더링하는 시스템들 및 방법들
US10896516B1 (en) * 2018-10-02 2021-01-19 Facebook Technologies, Llc Low-power depth sensing using dynamic illumination
CN111198445B (zh) * 2018-11-16 2021-10-01 华为技术有限公司 一种分光偏振成像的设备和方法
US11004253B2 (en) * 2019-02-21 2021-05-11 Electronic Arts Inc. Systems and methods for texture-space ray tracing of transparent and translucent objects
CN109828315A (zh) 2019-03-14 2019-05-31 华域视觉科技(上海)有限公司 基于红外线的路面监控***及方法、汽车
CN114175629A (zh) * 2019-07-26 2022-03-11 惠普发展公司， 有限责任合伙企业 基于捕捉的图像内的被识别的点来修改投射的结构光
CN111275809B (zh) * 2020-01-14 2023-09-12 新疆初点信息科技有限公司 一种瓷砖的空间展示方法及***
WO2021170791A1 (en) 2020-02-28 2021-09-02 Trinamix Gmbh Gesture recognition
US20230239550A1 (en) * 2020-05-07 2023-07-27 Sony Interactive Entertainment Inc. Relay server and distribution image generation method
EP3944107A1 (en) * 2020-07-22 2022-01-26 Nokia Technologies Oy Apparatus, method and computer program for authenticating images
CN114527483B (zh) * 2022-01-06 2022-09-13 北京福通互联科技集团有限公司 一种主动式探测光电图像采集***
WO2023139254A1 (en) * 2022-01-24 2023-07-27 Trinamix Gmbh Enhanced material detection by stereo beam profile analysis
CN117197143B (zh) * 2023-11-08 2024-02-02 深圳市聪讯智能科技有限公司 基于图像特征的环境亮度智能检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102564589A (zh) * 2011-12-20 2012-07-11 华中科技大学 一种多波段动目标光谱特征探测识别方法和装置
CN102782720A (zh) * 2009-12-25 2012-11-14 株式会社理光 对象识别装置、移动主体控制装置及信息提供装置

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3531014B2 (ja) 1994-06-22 2004-05-24 株式会社トプコン レーザ照準装置
JP2000267800A (ja) 1999-01-12 2000-09-29 Takenaka Komuten Co Ltd 動作認識装置
US6765608B1 (en) * 1999-03-09 2004-07-20 Minolta Co., Ltd. Image processing apparatus and system executing predetermined image processing on image data shot by camera, and image recording medium recorded with image processing program
JP3714063B2 (ja) * 1999-10-19 2005-11-09 富士ゼロックス株式会社 ３次元形状計測装置
KR20030072591A (ko) 2001-01-08 2003-09-15 브이케이비 인코포레이티드 데이터 입력 디바이스
US7176440B2 (en) 2001-01-19 2007-02-13 Honeywell International Inc. Method and apparatus for detecting objects using structured light patterns
US6947575B2 (en) 2001-05-24 2005-09-20 Trw Inc. Apparatus and method for determining vehicle occupant characteristic utilizing imaging with provided light
US8300042B2 (en) 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US7440590B1 (en) 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
WO2003105289A2 (en) 2002-06-07 2003-12-18 University Of North Carolina At Chapel Hill Methods and systems for laser based real-time structured light depth extraction
US7227893B1 (en) * 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
US8224064B1 (en) * 2003-05-21 2012-07-17 University Of Kentucky Research Foundation, Inc. System and method for 3D imaging using structured light illumination
US20080312866A1 (en) * 2003-09-11 2008-12-18 Katsunori Shimomura Three-dimensional measuring equipment
US7834850B2 (en) 2005-11-29 2010-11-16 Navisense Method and system for object control
JP5201999B2 (ja) 2006-02-03 2013-06-05 パナソニック株式会社 入力装置、及びその方法
EP1980935A1 (en) 2006-02-03 2008-10-15 Matsushita Electric Industrial Co., Ltd. Information processing device
JP2007286737A (ja) * 2006-04-13 2007-11-01 Canon Inc 真偽判定装置、画像形成装置、真偽判定方法、及び画像形成方法
US9477310B2 (en) 2006-07-16 2016-10-25 Ibrahim Farid Cherradi El Fadili Free fingers typing technology
US8144121B2 (en) 2006-10-11 2012-03-27 Victor Company Of Japan, Limited Method and apparatus for controlling electronic appliance
WO2008087652A2 (en) 2007-01-21 2008-07-24 Prime Sense Ltd. Depth mapping using multi-beam illumination
EP2202688B1 (en) * 2007-02-13 2013-11-20 Panasonic Corporation System, method and apparatus for image processing and image format
US20080256494A1 (en) 2007-04-16 2008-10-16 Greenfield Mfg Co Inc Touchless hand gesture device controller
US7907781B2 (en) 2007-06-21 2011-03-15 Mitsubishi Electric Research Laboraties, Inc. System and method for determining geometries of scenes
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US20090189858A1 (en) 2008-01-30 2009-07-30 Jeff Lev Gesture Identification Using A Structured Light Pattern
US8319832B2 (en) 2008-01-31 2012-11-27 Denso Corporation Input apparatus and imaging apparatus
JP4384240B2 (ja) * 2008-05-28 2009-12-16 株式会社東芝 画像処理装置、画像処理方法、画像処理プログラム
KR20100084718A (ko) * 2009-01-19 2010-07-28 삼성전자주식회사 3차원 이미지를 생성하는 휴대 단말기
TWI409502B (zh) 2009-01-23 2013-09-21 Univ Nat Taipei Technology 相位資訊擷取方法及其三維形貌量測系統
US20100268069A1 (en) 2009-04-16 2010-10-21 Rongguang Liang Dental surface imaging using polarized fringe projection
US8654234B2 (en) 2009-07-26 2014-02-18 Massachusetts Institute Of Technology Bi-directional screen
US8264536B2 (en) 2009-08-25 2012-09-11 Microsoft Corporation Depth-sensitive imaging via polarization-state mapping
WO2011036618A2 (en) 2009-09-22 2011-03-31 Pebblestech Ltd. Remote control of computer devices
US20110080471A1 (en) * 2009-10-06 2011-04-07 Iowa State University Research Foundation, Inc. Hybrid method for 3D shape measurement
US8982182B2 (en) * 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
EP2378394A3 (en) 2010-04-15 2015-03-25 Electronics and Telecommunications Research Institute User interface device and method for recognizing user interaction using same
WO2012023256A2 (en) * 2010-08-19 2012-02-23 Canon Kabushiki Kaisha Three-dimensional measurement apparatus, method for three-dimensional measurement, and computer program
JP5867807B2 (ja) * 2010-12-08 2016-02-24 株式会社リコー 車両識別装置
KR20120071551A (ko) 2010-12-23 2012-07-03 한국전자통신연구원 구조 영상을 이용한 사용자 인터랙션 장치 및 방법
KR101423536B1 (ko) 2011-06-14 2014-08-01 한국전자통신연구원 인쇄매체 기반 혼합현실 구현 장치 및 방법
WO2013088442A1 (en) 2011-12-15 2013-06-20 Pebbles Ltd. Controllable optical sensing
JP5854815B2 (ja) * 2011-12-20 2016-02-09 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
KR20130099317A (ko) 2012-02-29 2013-09-06 한국전자통신연구원 인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법
JP2014137762A (ja) * 2013-01-18 2014-07-28 Sanyo Electric Co Ltd 物体検出装置
CN105580052A (zh) * 2013-07-02 2016-05-11 豪夫迈·罗氏有限公司 食物体积和碳水化合物的估计
US10019843B2 (en) * 2013-08-08 2018-07-10 Facebook, Inc. Controlling a near eye display
EP2869263A1 (en) * 2013-10-29 2015-05-06 Thomson Licensing Method and apparatus for generating depth map of a scene
US10003777B2 (en) * 2013-11-21 2018-06-19 Hewlett-Packard Development Company, L.P. Projection screen for specularly reflecting light
JP6510213B2 (ja) * 2014-02-18 2019-05-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 投影システム、半導体集積回路、および画像補正方法
US9749513B2 (en) 2014-04-29 2017-08-29 Facebook, Inc. System and method for generating a light pattern for object illumination
JP6417702B2 (ja) 2014-05-01 2018-11-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9552074B2 (en) 2014-05-21 2017-01-24 Facebook, Inc. Method and system for generating user feedback of a gesture capturing device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102782720A (zh) * 2009-12-25 2012-11-14 株式会社理光 对象识别装置、移动主体控制装置及信息提供装置
CN102564589A (zh) * 2011-12-20 2012-07-11 华中科技大学 一种多波段动目标光谱特征探测识别方法和装置

Also Published As

Publication number Publication date
CN107548502A (zh) 2018-01-05
IL254022B (en) 2020-01-30
MX364878B (es) 2019-05-09
KR20190083002A (ko) 2019-07-10
AU2016222716A1 (en) 2017-09-07
CA2977374A1 (en) 2016-09-01
MX2017011017A (es) 2017-10-20
KR102129376B1 (ko) 2020-07-02
IL254022A0 (en) 2017-10-31
WO2016138145A1 (en) 2016-09-01
EP3123288A1 (en) 2017-02-01
BR112017018121A2 (pt) 2018-04-10
CA2977374C (en) 2019-04-16
AU2016222716B2 (en) 2018-11-29
KR20170124559A (ko) 2017-11-10
US20160253821A1 (en) 2016-09-01
JP2018508074A (ja) 2018-03-22
US10049460B2 (en) 2018-08-14
EP3123288A4 (en) 2017-11-22
JP6554638B2 (ja) 2019-08-07

Similar Documents

Publication Publication Date Title
CN107548502B (zh) 基于由对象反射的光的特性识别体元中的对象
CN107532885B (zh) 光图案中的强度变化用于体积中的物体的深度绘制
CN107850782B (zh) 用反射率图表示增强深度图表示
US9041775B2 (en) Apparatus and system for interfacing with computers and other electronic devices through gestures by using depth sensing and methods of use
US9767613B1 (en) Systems and method of interacting with a virtual object
KR102322813B1 (ko) 3d 실루엣 감지 시스템
US8558873B2 (en) Use of wavefront coding to create a depth image
CN113574406A (zh) 用于识别至少一种材料特性的检测器
US20040008259A1 (en) Optical methods for remotely measuring objects
US20130127705A1 (en) Apparatus for touching projection of 3d images on infrared screen using single-infrared camera
US20140085625A1 (en) Skin and other surface classification using albedo
US20210389818A1 (en) System and method for human interaction with virtual objects
JP2023516032A (ja) ジェスチャ認識
Lei et al. Transparent object detection using color image and laser reflectance image for mobile manipulator
Diaz et al. Multimodal sensing interface for haptic interaction
Kim et al. Decoding figure-ground occlusions from contours and shading
WO2023156452A1 (en) System for identifying a subject
Niyonsaba et al. Distance measurement System from detected objects within Kinect depth sensor's field of view and its applications
Mbatha Model-based 3D hand tracking using the lighting information as a visual cue.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190329

Address after: California, USA

Applicant after: Facebook Technologies, LLC

Address before: American California

Applicant before: Facebook, Inc.

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Patentee before: Facebook Technologies, LLC