CN113916377B - 用于基于色度差的对象验证的被动图像深度感测 - Google Patents

用于基于色度差的对象验证的被动图像深度感测 Download PDF

Info

Publication number
CN113916377B
CN113916377B CN202111185550.1A CN202111185550A CN113916377B CN 113916377 B CN113916377 B CN 113916377B CN 202111185550 A CN202111185550 A CN 202111185550A CN 113916377 B CN113916377 B CN 113916377B
Authority
CN
China
Prior art keywords
feature
image
depth
data
chrominance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111185550.1A
Other languages
English (en)
Other versions
CN113916377A (zh
Inventor
何毅
皮波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Goodix Technology Co Ltd
Original Assignee
Shenzhen Goodix Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Goodix Technology Co Ltd filed Critical Shenzhen Goodix Technology Co Ltd
Publication of CN113916377A publication Critical patent/CN113916377A/zh
Application granted granted Critical
Publication of CN113916377B publication Critical patent/CN113916377B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

描述了用于对象验证的基于色度差的被动三维(3D)图像感测技术。例如，多个子图像对应于一个对象的3D特征区域。可以分析子图像，基于从对象捕获的原始图像传感器数据的多个差异化的色度分量，获得相应的特征深度测量值集合(例如，深度、纹理特征等)。验证信号可以作为将来自所述多个特性子图像的特征深度测量值的相应集合与先前存储的特征深度期望值进行比较的函数输出，使得验证信号指示是否验证了对象的身份和/或对象是否为欺骗。

Description

用于基于色度差的对象验证的被动图像深度感测
相关申请的交叉引用
本申请要求以下申请的优先权，其全部内容通过应用结合在本申请中：
2021年7月13日提交的优先权号为17/373,794、发明名称为“PASSIVE IMAGEDEPTH SENSING FOR OBJECT VERIFICATION BASED ON CHROMATIC DIFFERENTIATION”的美国专利申请；
2020年10月14日提交优先权号为63/091,315、发明名称为“PASSIVE IMAGE DEPTHSENSING FOR OBJECT VERIFICATION BASED ON CHROMATIC DIFFERENTIATION”的美国临时专利申请。
技术领域
本发明总体上涉及集成到个人电子设备中的光学器件。更具体地，实施例涉及用于基于色度差的对象验证的被动图像深度感测，例如，用于生物特征面部识别和/或其他图像深度感测以支持智能手机相机***的功能。
背景技术
过去，摄影是一门专供具有专业知识和装备的人使用的学科。在过去的几十年里，数字摄影硬件和软件的创新、以及配备集成数码相机的智能手机在全球范围内的普及让数以亿计的消费者触手可及数字摄影。在数字摄影和摄像无处不在的环境中，消费者越来越希望能够使用他们的智能手机来快速、轻松地捕获瞬间。数字摄影的进步包括为各种目的捕获三维信息的进步。例如，捕获深度等三维信息可以支持三维摄影和摄像，以及先进的对焦、稳定、像差校正等功能的自动化。
通常使用诸如飞行时间技术或三角测量技术之类的主动技术来捕获深度信息。例如，可以发送聚焦的光脉冲，并且随后可以接收它们的反射；各种参数(例如，光速)的知识可以用于将脉冲接收时间转换为深度测量值。传统上，很难将这种飞行时间和其他技术集成到便携式数字电子应用中，例如，集成到智能手机中。例如，某些常规方法依赖于不适合许多便携式数字电子应用的空间限制的单独的光学***、相对较大的光学器件和/或专用照明源；而其他传统方法往往不够可靠或不够准确，无法支持更高级的功能。
发明内容
实施例提供了基于色焦差的被动三维(3D)图像感测，诸如，用于3D图像空间的深度映射以支持智能手机相机***的功能。例如，可以通过使用光电检测器阵列检测从对象反射并通过透镜聚焦到所述阵列上的光来对所述对象进行成像。不同波长的光分量往往会通过所述透镜聚焦到不同的焦距，这往往会影响检测到的每个波长的亮度。例如，如果所述检测器阵列更靠近较短波长的焦平面，则将往往用比红光分量更高幅度的蓝光分量来检测白斑。不同波长的亮度幅度比值的变化方式与距离所述透镜的对象距离密切相关。实施例利用这种相关性来被动地检测对象距离。某些实施例进一步提供了各种类型的距离和/或色度校准以进一步促进这种检测。
根据一组实施例，提供了一种被动三维成像***。所述***包括：透镜组件，所述透镜组件用于接收从目标场景对象反射的光并聚焦接收到的光，使得所述接收到的光的较小波长的分量聚焦到目标较小波长的焦平面、以及所述接收到的光的较大波长的分量聚焦到目标较大波长的焦平面；图像传感器，所述图像传感器与所述透镜组件光学通信并包括多个光电检测器元件，所述光电检测器元件的第一子集被配置为对所述接收到的光的所述较小波长的分量产生第一组色度响应，以及所述光电检测器元件的第二子集被配置为对所述接收到的光的所述较大波长的分量产生第二组色度响应；以及，处理器。所述处理器被配置为：从所述图像传感器接收指示所述第一组色度响应和所述第二组色度响应的原始图像数据；从所述第一组色度响应中计算第一色度响应幅度(magnitude of chromaticresponse，MCR)和从所述第二组色度响应中计算第二MCR；以及，基于所述第一MCR与所述第二MCR的比值来确定所述目标场景对象距离所述透镜组件的目标对象距离。
根据另一组实施例，提供了一种用于被动三维成像的方法。所述方法包括：响应于从目标场景对象反射并由透镜聚焦到图像传感器上的接收到的光，从所述图像传感器接收指示第一组色度响应和第二组色度响应的原始图像数据，使得所述接收到的光的较小波长的分量根据目标较小波长的焦平面聚焦、以及所述接收到的光的较大波长的分量根据目标较大波长的焦平面聚焦，所述第一组色度响应通过所述图像传感器响应所述接收到的光的所述较小波长的分量而产生，所述第二组色度响应通过所述图像传感器响应所述接收到的光的所述较大波长的分量而产生；从所述第一组色度响应中计算第一色度响应幅度(MCR)；从所述第二组色度响应中计算第二MCR；计算所述第一MCR和所述第二MCR之间的MCR比值；以及，基于所述MCR比值来确定所述目标场景对象距离所述透镜的目标对象距离。
根据另一组实施例，提供了一种用于被动三维成像的***。所述***包括一个或多个处理器，以及其上存储有指令的非瞬态存储器，当由所述一个或多个处理器执行时，所述指令引起所述一个或多个处理器执行步骤。所述步骤包括：响应于从目标场景对象反射并由透镜聚焦到图像传感器上的接收到的光，从所述图像传感器接收指示第一组色度响应和第二组色度响应的原始图像数据，使得所述接收到的光的较小波长的分量根据目标较小波长的焦平面聚焦、以及所述接收到的光的较大波长的分量根据目标较大波长的焦平面聚焦，所述第一组色度响应通过所述图像传感器响应所述接收到的光的所述较小波长的分量而产生，所述第二组色度响应通过所述图像传感器响应所述接收到的光的所述较大波长的分量而产生；从所述第一组色度响应中计算第一色度响应幅度(MCR)；从所述第二组色度响应中计算第二MCR；计算所述第一MCR和所述第二MCR之间的MCR比值；以及，基于所述MCR比值来确定所述目标场景对象距离所述透镜的目标对象距离。
根据另一组实施例，提供了一种用于对象验证的被动图像深度感测的方法。所述方法包括：对于对应于对象的三维(3D)特征区域的多个特性子图像中的每一个，基于从所述对象捕获的原始图像传感器数据的多个差异化的色度分量来计算相应的一组特征深度测量值；以及，输出为将来自所述多个特性子图像的各组特征深度测量值与先前存储的特征深度期望值进行比较的函数的验证信号，使得所述验证信号指示是否验证了所述对象的身份和/或所述对象是否是欺骗。
根据另一组实施例，提供了一种用于对象验证的被动图像深度感测的方法。所述方法包括：使用图像传感器捕获由三维(3D)特征区域表征的对象的原始图像数据，每个3D特征区域与相应的预期深度和/或相应的预期纹理特征相关联；从所述原始图像数据中识别多个特性子图像，至少通过将3D特征区域中的对应的一个3D特征区域映射到所述原始图像数据来识别每个特性子图像；针对每个特性子图像，从所述原始图像数据中获得来自用所述图像传感器对所述对象进行成像的相应的第一色度响应、以及来自用所述图像传感器对所述对象进行成像的相应的第二色度响应；基于每个特性子图像的所述相应的第一色度响应和所述相应的第二色度响应，计算相应的计算深度和/或相应的计算的纹理特征；以及，基于将每个特性子图像的所述相应的计算深度与对应的3D特征区域的所述相应的预期深度进行比较、和/或将每个特性子图像的所述相应的计算的纹理特征与对应的3D特征区域的所述相应的预期纹理特征进行比较，输出针对所述对象的验证信号。
根据另一组实施例，提供了一种用于对象验证的被动图像深度感测***。所述***包括：透镜组件，所述透镜组件用于接收从对象反射的光并按照相应的焦距来聚焦接收到的光的色度分量，所述对象表征为三维(3D)特征区域，每个3D特征区域与相应的预期深度和/或相应的预期纹理特征相关联；图像传感器，所述图像传感器与所述透镜组件光学通信并包括多个光电检测器元件，所述光电检测器元件包括用于对所述接收到的光的第一色度分量产生第一色度响应的第一光电检测器元件，以及用于对所述接收到的光的第二色度分量产生第二色度响应的第二光电检测器元件；以及，处理器。所述处理器被配置为：通过将3D特征区域中对应的3D特征区域映射到原始图像数据，从由所述图像传感器捕获的所述对象的所述原始图像数据中识别多个特性子图像；针对每个特性子图像，从所述原始图像数据中获得相应的第一色度响应和相应的第二色度响应；基于每个特性子图像的所述相应的第一色度响应和所述相应的第二色度响应，计算相应的计算深度和/或相应的计算的纹理特征；以及，基于将每个特性子图像的所述相应的计算深度与对应的3D特征区域的所述相应的预期深度进行比较、和/或将每个特性子图像的所述相应的计算的纹理特征与对应的3D特征区域的所述相应的预期纹理特征进行比较，输出针对所述对象的验证信号。
根据另一组实施例，提供了一种用于对象验证的被动图像深度感测***。所述***包括：一个或多个处理器；以及，其上存储有指令的非瞬态存储器，当由所述一个或多个处理器执行时，所述执行引起所述一个或多个处理器执行步骤。所述步骤包括：对于对应于对象的三维(3D)特征区域的多个特性子图像中的每一个，基于从所述对象捕获的原始图像传感器数据的多个差异化的色度分量来计算相应的一组特征深度测量值；以及，输出为将来自所述多个特性子图像的各组特征深度测量值与先前存储的特征深度期望值进行比较的函数的验证信号，使得所述验证信号指示是否验证了所述对象的身份和/或所述对象是否是欺骗。
附图说明
本文提及并构成其一部分的附图示出了本公开内容的实施例。附图与描述一起用于解释本发明的原理。
本专利或申请文件包含至少一幅彩色图。带有一幅或多幅彩色附图的本专利或专利申请公开内容的副本将由专利局在收到请求和支付必要费用的基础上提供。
图1A和图1B分别示出了根据各种实施例的被动3D图像感测环境和说明性成像结果；
图2示出了根据各种实施例的图像传感器的光电检测器阵列的示例以及说明性光电检测器像素；
图3A示出了另一被动3D图像感测环境，类似于图1A中示出的环境；
图3B示出了图3A的边缘“P”处的白斑的示例原始检测器图像；
图3C示出了按照图3A的说明性场景对象和对象的示例原始检测器图像；
图4A示出了具有不同物距的多个场景对象的另一被动3D图像感测环境；
图4B示出了对应于图4A中的不同场景对象的代表性的原始检测器图像；
图5示出了根据各种实施例的具有不同对象距离处的多个场景对象以说明色度校准的另一被动3D图像感测环境；
图6提供了可以实施各种***部件和/或执行各种实施例提供的方法的各个步骤的计算机***的一个实施例的示意图；
图7A和图7B分别示出了根据各种实施例的说明性便携式个人电子设备(portablepersonal electronic device，PPED)的前视图和侧视图；以及
图8示出了根据各种实施例的用于被动三维成像的说明性方法的流程图；
图9示出了对成像对象轮廓的一组说明性色度响应特征；
图10示出了在不同实验色度条件下成像的条形图；
图11示出了根据各种实施例的用于对象验证的被动图像深度感测的说明性方法的流程图；
图12示出了作为本文描述的各种实施例的上下文的一组说明性成像数据；
图13A和图13B示出了两个特性子图像的说明性部分的说明性部分色度响应；
图14示出了根据各种实施例的用于访问控制的示例门控过程的流程图。
在附图中，相似的部件和/或特征可以具有相同的附图标记。进一步，相同类型的各种部件可以通过在附图标记后面加上区分相似部件的第二标记来区分。如果说明书中仅使用第一附图标记，则该描述适用于具有相同第一附图标记的任何一个相似部件，而与第二附图标记无关。
具体实施方式
在以下描述中，提供了大量具体细节以彻底理解本发明。然而，本领域技术人员应当意识到，可以在没有这些细节中的一个或多个的情况下实现本发明。在其他示例中，出于简洁的目的，将不描述本领域中已知的特征和技术。
数字成像越来越多地利用深度信息来支持各种功能。例如，在三维(3D)计算机图形中，深度图用于指示与场景对象的表面距离视点的距离相关的信息。类似地，在数字摄影中，深度映射等可以用于支持3D图像捕获功能、增强的自动对焦功能、以及其他功能。这种数字3D成像还被用于支持平台，诸如，3D相机、3D机器人视觉、3D车辆映射等。传统上，主动技术用于获取这种深度信息。例如，所谓的“飞行时间”(time-of-fly，TOF)技术通常通过向对象发射光束并测量发射光的反射时间来测量对象相对于参考点的距离。使用这种技术，可以通过将光速与发射光反射回***所需的时间进行比较来计算距离。作为另一个示例，多个结构光可以用于通过以多个光束在不同距离会聚和发散的方式传输所述多个光束来确定距离。使用这种技术，可以通过用每个光束分别对对象成像、并比较图像以确定重叠水平来测量距离，重叠水平可以与距离相关联。这种技术在发明名称为“3D SensingTechnology Based on Multiple Structured Illumination[基于多重结构照明的3D感测技术]”的美国专利第10,489,925号中有所描述。
这种用于3D图像感测的传统主动技术可能以各种方式受到限制。一个限制是这种传统技术使用的主动照明会消耗功率和空间，这在许多应用中可能受到限制，诸如，在智能手机和其他便携式电子设备中。另一个限制是，可能难以根据环境光的差异、检测到的对象对照明的响应方式的差异(例如，基于对象的颜色、形状、反射率等)和/或其他检测环境之间的差异来动态校准这种技术。另一个限制是，某些这种技术依赖于将额外的光学***集成到具有许多物理和技术限制的环境中。
首先转到图1A和图1B，分别示出了根据各种实施例的被动3D图像感测环境100和说明性成像结果150。环境100包括透镜组件110、图像传感器130、以及处理器140。虽然透镜组件110被示为单个凸透镜，但透镜组件110可以包括任何合适的离散透镜部件，诸如，凸面和/或凸透镜、镜子、光阑、滤光器等。出于上下文，代表性的场景对象105被示为在边缘“P”和“Q”之间延伸。场景对象105位于距离透镜组件110对象距离107处。虽然对象距离107被图示为在场景对象105和滤光器掩模120之间，但本文对对象距离107的引用通常可以指场景对象105和任何合适的部件之间的可检测距离。例如，对象距离107可以指示场景对象105与透镜组件110的特定透镜部件之间的距离、场景对象105与图像传感器130之间的距离等。
在典型的成像环境中，可以存在环境光和/或探测照明。
例如，场景对象105可以由环境阳光、人工环境光(例如，房间中的顶灯、有罩灯等)、由专用照明部件(例如，相机***的部件，包括透镜组件110、图像传感器130、处理器140)指向场景对象105的光等来照明。光从场景对象105的一个或多个表面反射，并且某些光在透镜组件110的方向上反射。例如，透镜组件110包括反射光穿过的光阑(例如，自然光阑和/或机械光阑等)。穿过透镜组件110的光可以被透镜组件110聚焦到图像传感器130上。
图像传感器130的实施例包括以任何合适的方式布置的大量光电检测器元件(例如，像素)。光电检测器元件可以位于检测平面132中。在某些实现中，光电检测器元件布置成阵列。光电检测器元件响应反射光的多个色度分量。例如，每个像素可以包括响应红光、绿光、以及蓝光的光电检测器元件。光电检测器元件可以被配置为响应任何合适的色度分量(例如，颜色)，诸如，光波段中的特定频率子波段、红外和/或紫外子波段等。当特定色度分量的光束与检测平面132(即，与光电检测器)相交时，相互作用可以在光电检测器中产生对应于该色度分量的响应幅度。例如，被配置为检测蓝光的光电检测器可以在图像传感器130上的相关联位置处产生与光电检测器相互作用的蓝光强度对应的光学响应的幅度。光电检测器元件的响应可以被解释为光学信息并用于生成场景对象105的图像。
图2示出了根据各种实施例的图像传感器的光电检测器阵列210的示例以及说明性光电检测器像素225。光电检测器阵列210可以包括任何合适的光电检测器元件的阵列，每个光电检测器元件用于检测光的一个或多个色度分量(例如，颜色)。每个光电检测器元件、或元件组响应于与色度分量的光的相互作用而产生电输出。例如，当特定频带内的光照射被配置为响应该频带的光电检测器元件时，光电检测器元件和相关联的电路输出电信号。电信号可以指示与光电检测器元件相互作用的光的强度(例如，信号强度可以与图像亮度相关联)。例如，每个光电检测器元件可以与检测平面132中的相应位置和/或特定色度分量相关联，并且图像传感器130的原始输出数据可以包括跨这些位置的色度分量的强度值。在一种实现中，图像传感器130为每个光电检测器元件生成对应于对应的颜色的4,096个可能检测到的强度水平之一的12比特数字值。
像素225可以是参考本文实施例描述的图像传感器130的一组光电检测器元件230的实现。说明性像素225包括四个光电检测器元件230(例如，光电二极管)。例如，光电检测器元件230被配置为检测可见光谱和/或其他光谱(例如，近红外)中的光分量。在一个实现中，光电检测器元件230根据拜耳像素图案布置以包括一个红色光电检测器元件230(即，被配置为检测色谱的红色带中的光分量的一个光电检测器)、一个蓝色光电检测器元件230、以及两个绿色光电检测器元件230。在其他实现中，光电检测器元件230的其他布置可以用于形成像素225。例如，可以使用修改的拜耳像素图案，其中绿色光电检测器元件230之一被替换为近红外光电检测器元件230。虽然所图示的像素225包括四个光电检测器元件，但是每个像素225可以包括任何合适类型的任何合适数量的光电检测器元件230。进一步，不同的像素225可以具有不同数量和/或类型的光电检测器元件230。
返回到图1A和图1B，虽然将透镜称为具有特定焦距可以是方便的，但是透镜往往将不同的色度分量聚焦到各自不同的焦距。例如，光学构件在较长波长下往往具有较低的折射率(refractive indices，RI)。因此，与较长波长相比，光学器件往往将较短波长弯曲更多，表现为对于较长波长而言为较长焦距。进一步，透镜的放大倍率往往与其焦距成正比，使得同一对象将往往在更长的波长下产生更大的图像。这种现象在许多成像***中是典型的，特别是在使用微透镜部件的情况下，因为这种部件典型地不补偿光学构件本身的色差。相反，在这种***中，色差是通过处理检测到的光学数据来校正的。例如，在数码相机和其他典型的数字成像环境中，可以在原始检测器数据中看到色焦差，但通常在将数据输出到其他部件之前在成像***的硬件和/或软件中校正那些色焦差。
在环境100中，多个焦平面被示出以说明透镜组件110的示例色焦差。作为参考，环境100包括标称焦平面115，其指示用于基本准直的光的说明性焦平面，所述基本准直的光诸如为当对象距离107距离透镜组件110无限远时从场景对象105反射的光。环境100还包括透镜组件110的较小波长(例如，蓝色)的焦平面120和较大波长(例如，红色)的焦平面125。例如，波长在约500纳米以下(例如，在450-485纳米的带内)的光分量往往聚焦在较小波长的焦平面120周围，而波长在约600纳米以上(例如，在625-740纳米的带内)的光分量往往聚焦在较大波长的焦平面125周围。取决于透镜组件110的配置，较小波长的焦平面120和较大波长的焦平面125可以靠得更近或离得更远，可以与标称焦平面115基本共面，等等。
成像***的实施例典型地提供透镜组件110相对于检测平面132的聚焦。聚焦可以寻求优化一个或多个参数，诸如，亮度、对比度、色平衡等。在某些实施例中，实现这种聚焦涉及机械地调整透镜组件110和/或图像传感器130的部件的相对位置。作为一个示例，图像传感器130的位置可以朝向或远离透镜组件110移动。作为另一个示例，透镜组件110的部件可以相对于彼此和/或相对于图像传感器130移动以调整一个或多个相关联的焦平面的位置。聚焦可以是手动和/或自动的。许多具有自动聚焦的典型成像***试图将图像传感器130的检测平面132定位在最大化色平衡的位置。这种色平衡的位置往往也可以对应于对比度优化的成像位置。因为较大波长的焦平面125与较小波长的焦平面120相比距离透镜组件110更远，所以在到达检测平面132之前，较大波长的光分量往往比较小波长的光分量扩散得更多。因此，色平衡的成像位置典型地与距离较大波长的焦平面125相比更靠近较小波长的焦平面120。例如，色平衡的成像位置可以位于从较小波长的焦平面120到较大波长的焦平面125的距离的大约三分之一处。如所图示的，将较小波长的光分量聚焦到较小波长的焦平面120上在较小波长的焦平面120处形成场景对象105的较小波长的图像111，并且将较大波长的光分量聚焦到较大波长的焦平面125上在较大波长的焦平面125处形成较大波长的图像113。因此，在检测平面132处形成和检测到的图像有效地包括较小波长的图像111和较大波长的图像113的平衡。
在场景对象105的边缘位置，透镜组件110的色焦差往往最明显，因此最可检测到。出于说明起见，图1B示出了说明性原始检测器图像150。第一原始检测器图像150a是场景对象105的边缘Q的图像(记为Q')，并且第二原始检测器图像150b是场景对象105的边缘P的图像(记为P')。在两个图像150中都可以看到，蓝色图像分量往往朝向每个图像150的中心聚焦，而红色分量往往聚焦在每个图像150的外侧周围。如上所提及的，这至少是由于对于较大(例如，红色)波长，焦距中的色度差表现为更高放大倍数。
色度差的影响通过图3A至图3C进一步阐明。图3A示出了另一个被动3D图像感测环境300，类似于图1A中所示的环境。如上所述，环境300包括透镜组件110和与图像传感器130(未示出)相关联的检测平面132。未明确示出处理器140和存储器145。代表性场景对象105再次被示为位于距离透镜组件110对象距离107处并且在边缘“P”和“Q”之间延伸。透镜组件110的位置和其他特性可以限定标称焦平面115、较小波长的焦平面120、以及较大波长的焦平面125的位置。对于检测平面132示出了三个不同的位置，全部都位于较小波长的焦平面120和较大波长的焦平面125之间。第一检测平面132a被示为非常靠近较小波长的焦平面120，第二检测平面132b被示为在从较小波长的焦平面120到较大波长的焦平面125的距离的大约三分之一的色平衡位置处，并且第三检测平面132c被示为非常靠近较大波长的焦平面125。
图3B示出了边缘“P”处的白斑的示例原始检测器图像350。第一原始检测器图像350a对应于按照检测平面132a定位的图像传感器130。随着检测平面132a靠近较小波长的焦平面120，可以看到较小波长的光分量朝向图像350a的中心聚焦，而较大波长的光分量朝向图像350a的外侧扩散。第三原始检测器图像350c对应于按照检测平面132c定位的图像传感器130。在检测平面132c靠近较大波长的焦平面125的情况下，可以看到较大波长的光分量朝向图像350c的中心聚焦，而较小波长的光分量朝向图像350c的外侧扩散。第二原始检测器图像350b对应于按照检测平面132b定位的图像传感器130。在检测平面132b处于色平衡位置的情况下，可以看到跨越图像350b中的大部分图像的色焦差被最小化(例如，甚至检测不到)，并且较大波长的光分量主要出现在围绕图像350b的外边缘的小带中。例如，某些自动色平衡技术往往有效地缩小(例如，将检测平面132移向较小波长的焦平面120)直到较大波长的光分量出现在图像的边缘。
图3C示出了说明性场景对象305和对象的示例原始检测器图像360。场景对象305是黑底白环。三个原始检测器图像360a、360b和360c分别对应于按照检测平面132a、132b和132c定位的图像传感器130。对于连续的对象表面，每个点的图像往往会受到附近所有点的子图像的影响，使得相邻点的子图像至少部分重叠。这种效果往往会自动对远离边缘的图像进行色校正，因此，这里讨论的色度差往往只能在对象的边缘或其他不均匀位置处检测到。在检测平面132a靠近图像360a中的较小波长的焦平面120的情况下，在图像360a的边缘看到较大波长的光分量，并且图像360a的其他部分往往偏向较小波长的光分量。随着检测平面132c靠近图像360c中较大波长的焦平面125，可以在图像360c的边缘处看到较小波长的光分量，并且图像360c的其他部分往往有利于较大波长的光分量(如果不使用硬件和/或软件，这些效果可能相对检测不到)。在检测平面132b处于色平衡位置的情况下，整个图像360b的色差保持在最小值。
返回至图1A和图1B，实施例提供用于基于被动光学技术的3D图像感测的新技术，特别是利用上述类型的色焦差。这种色焦差可以表现为不同色度分量的色度响应幅度(MCR)(例如，亮度)的差异。这里描述的实施例的发明人已经认识到，这些差异可以被检测为一个特定色度分量的MCR与另一个特定色度分量的MCR之间的比值，并且该比值可以与对象距离107密切相关。
处理器140的实施例可以利用这种相关性来基于检测到的MCR差异被动地检测对象距离。如上所述，图像传感器130与透镜组件110光学通信并且包括光电检测器元件。光电检测器元件的第一子集被配置为对接收到的光的较小波长的分量产生第一组色度响应，并且光电检测器元件的第二子集被配置为对接收到的光的较大波长的分量产生第二组色度响应。例如，某些光电检测器元件响应蓝光而其他光电检测器元件响应红光。处理器140可以从图像传感器130接收指示第一组色度响应和第二组色度响应的原始图像数据。例如，每个光电检测器元件(例如，每个像素中的每个颜色检测器)可以向处理器140输出12比特值，所述12比特值指示在其相应位置处针对其相应颜色检测到的4,096个亮度水平之一。处理器140可以包括中央处理单元CPU、专用集成电路(ASIC)、专用指令集处理器(ASIP)、图形处理单元(GPU)、物理处理单元(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑设备(PLD)、控制器、微控制器单元、精简指令集(RISC)处理器、复杂指令集处理器(CISC)、微处理器等，或其任何组合。在某些实现中，图像传感器130被配置为经由总线或以任何其他合适的方式将原始光学信息传递到处理器140。处理器140可以根据第一组色度响应计算第一响应幅度(MCR)和根据第二组色度响应计算第二MCR。例如，处理器140可以确定用于检测的边缘区域并且可以找到该区域中每个色度分量的最大值。处理器140然后可以基于第一MCR和第二MCR之间的比值来确定场景对象105的对象距离107。所述确定可以基于校准数据和/或存储在与处理器140通信的存储器145中的其他数据，和/或基于描述比值数据和对象距离107之间的数学相关性的一个或多个公式。
为简化起见，图1A和图3A仅示出了单个场景对象105。然而，场景典型地包括在相应对象距离107处的多个场景对象105，和/或场景对象105可以在不同对象距离107处具有多个特征。在某些实施例中，光学***(例如，透镜组件110和/或图像传感器130)聚焦在作为参考对象的第一场景对象上，并且针对该对象校准光学***。例如，如上所述(例如，分别如图3B和图3C中的图像350b和360b所图示的)，实施例可以聚焦透镜组件110和/或图像传感器130，使得检测平面132处于相对于场景中特定对象的色平衡位置。对于该对象，色差最小(例如，或相对较小)，并且场景中更靠近和/或远离透镜组件110的其他对象和/或表面可以根据这里的实施例进行成像以检测用于距离测量的色焦差。因而，实施例可以聚焦并根据场景中的一个对象进行校准，然后可以按照经校准的参考对象距离来确定场景中的其他对象距离。
图4A示出了具有不同对象距离107处的多个场景对象105的另一被动3D图像感测环境400；以及，图4B示出了对应于不同场景对象105的代表性原始检测器图像。如上所述，环境400包括透镜组件110和与图像传感器130相关联的检测平面132。未明确示出处理器140和存储器145。示出了三个场景对象105，每个在三个对象距离107中的相关联的一个对象距离处。第一场景对象105a被示为位于距离透镜组件110第一对象距离107a处并且在边缘“P”和“Q”之间延伸。该第一场景对象105a被图示为参考对象，通过所述参考对象来聚焦和校准透镜组件110和/或图像传感器130。例如，透镜组件110和图像传感器130的自动聚焦和色平衡引起检测平面132位于参考较小波长的焦平面120a和参考较大波长的焦平面125a之间(例如，之间的距离的大约三分之一)。因此，参考场景对象105a的成像在较小波长的光分量和较大波长的光分量之间产生最小化(或相对较小)的MCR比值。这可以在图4B中边缘“P”处的白斑的说明性原始检测器图像452的色平衡中看到。
第二场景对象105b被示为位于距离透镜组件110第二对象距离107b处，所述第二对象距离107b比经校准的对象距离107a更远。第二场景对象105b在边缘“S”和“T”之间延伸。第二场景对象105b从第二对象位置107b反射的光被透镜组件110聚焦，与从校准对象距离107a处反射的光聚焦不同。这样，第二场景对象105b与其自身的第二较小波长的焦平面120b和第二较大波长的焦平面125b相关联。因为第二场景对象105b比经校准的对象距离107a更远，所以较小波长的焦平面120b和较大波长的焦平面125b往往朝向标称焦平面115偏移。该色焦平面偏移有效地偏移了检测平面132的相对位置使其更靠近于第二场景对象105b的较大波长的焦平面125b。这样，第二场景对象105b的成像产生更高的MCR比值，更小波长的光分量分布在更宽的图像区域上。这可以在图4B中边缘“T”处的白斑的说明性原始检测器图像454的色平衡中看到。
第三场景对象105c被示为位于距离透镜组件110的第三对象距离107c处，所述第三对象距离107c比经校准的对象距离107a更近。第三场景对象105c在边缘“M”和“N”之间延伸。第三场景对象105c从第三对象位置107c反射的光被透镜组件110聚焦，与从校准对象距离107a处反射的光聚焦不同。这样，第三场景对象105c与其自身的第三较小波长的焦平面120c和第三较大波长的焦平面125b相关联。因为第三场景对象105c比经校准的对象距离107a更近，所以较小波长的焦平面120c和较大波长的焦平面125c往往偏离标称焦平面115。该色焦平面偏移有效地偏移了检测平面132的相对位置使得更接近第三场景对象105b的较小波长的焦平面125c。这样，第三场景对象105c的成像产生更高的MCR比值，较大波长的光分量分布在图像的更宽区域。这可以在图4B中的边缘“N”处的白斑的说明性原始检测器图像450的色平衡中看到。
为简化起见，以上的某些描述假设检测到黑色背景上的白色特征。然而，这里描述的新技术可以在具有适当色度校准的任何颜色上下文中实施。在某些情况下，这种色度校准涉及基于场景颜色来选择色度分量。例如，如果在蓝色背景上检测到特征，则技术可以计算和利用其他颜色光电检测器(例如，像素中的红色和绿色光电检测器)之间的MCR比值，使得对于检测***而言有效地将背景“蓝色”视为不存在颜色(即黑色)。尽管如此，如这里所述，特定场景中的颜色对于色度差的检测典型地不是最佳的。例如，如果场景中蓝色对象位于红色对象的前面，纯蓝红MCR比值可能无法产生准确的检测信息；无论相对对象距离如何，红色对象对于红色的MCR非常高，而蓝色对象对于蓝色的MCR非常高。因此，某些实施例将对象颜色作为MCR计算的一部分进行色度校准，以有效地校准对象颜色对检测的影响。
图5示出了根据各种实施例的具有不同对象距离107处的多个场景对象105的另一个被动3D图像感测环境500以图示色度校准。如上所述，环境500包括透镜组件110和与图像传感器130相关联的检测平面132。未明确示出处理器140和存储器145。第一场景对象105a被示为位于距离透镜组件110第一对象距离107a处并且在边缘“P”和“Q”之间延伸。该第一场景对象105a被图示为参考对象(例如，背景)，通过所述参考对象来聚焦和校准透镜组件110和/或图像传感器130。例如，透镜组件110和/或图像传感器130的自动聚焦和色平衡可以参照第一场景对象105a来执行，使得第一场景对象105a的成像在较小波长的光分量和较大波长的光分量之间产生最小化(或相对小)的MCR比值。第二场景对象105b被示为位于距离透镜组件110第二对象距离107b处并且在边缘“M”和“N”之间延伸。假设***正在寻求计算边缘“N”505的距离(其在图中对应于对象距离107b)，使得正在对边缘“N”505执行色度校准。
如上所述，这里的距离测量值是基于检测参考对象的色度差来校准的，这可以包括相对于参考对象对成像***进行色平衡。为简化起见，上面的某些描述假设正在测量距离的其他对象在色度上是可比的；每个检测到的特征都是相同的颜色，并且相对于相同的颜色背景进行成像。例如，图4A和图4B假设背景上多个距离处的白斑。然而，对于具有不同边缘颜色和/或背景颜色的两个对象，MCR比值可以不同，即使对象处于相同的对象距离。因此，在某些情况下，使用这里描述的技术来获得准确的距离测量值可以依赖于校准特征和/或背景颜色中的这种差异。在图5所图示的情况下，色度校准被应用于边缘“N”505以确定并校准出边缘“N”505的特征颜色和边缘“N”505后面的背景颜色。
为了找到相关的色度校准信息，实施例将背景颜色检测为场景对象105a的颜色(或至少场景对象105a的靠近特征成像区域的部分的颜色)，并将特征颜色检测为场景对象105b的颜色(或至少场景对象105a的靠近特征成像区域的部分的颜色)。为此，实施例确定检测平面132处的多个感兴趣区域，至少包括特征成像区域514，其中可以在其背景上看到期望的特征；背景颜色校准区域516；以及，特征颜色校准区域512。这些区域与光学部件的特性、场景对象105的相对距离、和/或其他因素有关。透镜组件110具有有效光阑直径509，并且在聚焦和/或色平衡之后，位于距离检测平面132透镜到检测器距离507处。如所图示的，有效光阑直径509和透镜到检测器距离507有效地将背景对象区域510(示为在“A”和“B”之间延伸)限定为边缘“N”505的背景，其将在特征成像区域514中的检测平面132处看到。因此，特征成像区域514被示为在A'和B'之间延伸，它们是“A”和“B”在检测平面132上的投影。场景对象105a的剩余图像的某些或全部(即，“A”和“P”之间的区域的任何部分)可以用作背景颜色校准区域516。因此，背景颜色校准区域516被示为在A'和P'之间延伸，它们是“A”和“P”在检测平面132上的投影(例如，尽管可以仅使用该区域的近似部分来校准，诸如颜色在区域内发生变化的地方)。场景对象105b的剩余图像的某些或全部(即，“B”和“M”之间的区域的任何部分)可以用作特征颜色校准区域512。因此，特征颜色校准区域512被示为在B'和M'之间延伸，它们是“B”和“M”在检测平面132上的投影(例如，尽管可以仅使用该区域的近似部分来校准，诸如颜色在区域内发生变化的地方)。根据上述内容限定的区域，边缘“N”505的特征颜色可以基于场景对象105b的颜色进行校准，边缘“N”505的背景颜色可以基于场景对象105a的颜色进行校准。
在一种实现中，图像传感器130是像素阵列，每个像素具有红色(R)、绿色(G)、蓝色(B)、以及近红外(IR)光电检测器。每个像素的每个光电检测器的输出信号对应于阵列中的特定物理位置(由“x”和“y”位置表示)及其各自色度分量的检测到的强度。每个输出信号还取决于以下各项中的一个或多个：场景对象105a的确定的颜色(C1)、场景对象105b的确定的颜色(C2)、有效光阑直径509(D)、透镜到检测器距离507(S')、场景对象105a的对象距离107a(S1)、以及场景对象105b的对象距离107b(S2)。例如，在背景颜色校准区域516中，特定像素的光电检测器输出信号可以定义为：
R1＝R1(x,y,C1,D,S1,S')；
G1＝G1(x,y,C1,D,S1,S')；
B1＝B1(x,y,C1,D,S1,S')；
IR1＝IR1(x,y,C1,D,S1,S')。
在特征颜色校准区域512中，特定像素的光电检测器输出信号可以定义为：
R2＝R2(x,y,C2,D,S2,S')；
G2＝G2(x,y,C2,D,S2,S')；
B2＝B2(x,y,C2,D,S2,S')；
IR2＝IR2(x,y,C2,D,S2,S')。
在特征成像区域514中，特定像素的光电检测器输出信号可以定义为：
R＝R(x,y,C1,C2,D,S1,S2,S')；G＝G(x,y,C1,C2,D,S1,S2,S')；B＝B(x,y,C1,C2,D,S1,S2,S')；IR＝IR(x,y,C1,C2,D,S1,S2,S')。
虽然图示将场景对象105a和场景对象105b示为具有不同的对象距离107，但情况可以不是这样。例如，在对象具有非均匀区域、标记、多个边缘等的情况下，场景对象105b可以指具有可检测边缘的场景对象105a上的特征。在这种情况下，对象距离107a和对象距离107b基本上相等(或精确相等)。在这种情况下，这里描述的技术仍然可以工作。例如，在上述说明性像素信号输出函数中，S1和S2可以相等，并且色度校准仍然可以工作。
在某些情况下，对象的大的区域可能没有足够的用于距离测量的特征。例如，对象的大的、相对光滑的表面可以跨越一定距离，但没有任何清晰可检测的边缘或可靠可检测的颜色变化。在这些和其他情况下，实施例可以将探测照明投射到场景中以向场景添加色度可差异化的特征。作为一个示例，在相对低光环境中的亮斑可以在色度上为场景添加边缘以用于检测。作为另一示例，场景中不存在或不常见的光频率的光斑照明(例如，近红外光)可以用于向场景添加色度边缘。探测照明的这种添加可以包括投射单个光斑、投射多个光斑(例如，阵列)、投射照明图案、在区域上扫描一个或多个照明特征等。
如这里所提及的，各种实现涉及一种或多种类型的校准。例如，不同色度分量之间的MCR比值与对象距离107之间的关系不是绝对和固定的。相反，这些关系在功能上至少与***配置参数相关。例如，相同的MCR值和/或比值可以对应于不同颜色的对象的不同的对象距离107，当校准为不同距离处的参考对象时，当光学部件不同地聚焦和/或色平衡时等。为说明起见，在典型的实现中，光学***可以首先相对于特定参考对象自动对焦和自动色平衡，由此以如下方式自动配置透镜组件110和图像传感器130：限定参考对象的至少标称焦平面115、较小波长的焦平面120、以及较大波长的焦平面125的位置。使用这里描述的色度差技术来寻找场景中的一个或多个其他对象的距离涉及应用一组特定的MCR比值和对象距离之间的关系，所述关系对应于光学***的自动聚焦和自动色平衡配置。
因而，处理器140可以在计算对象距离107时考虑这些情况。如上所述，处理器140的实施例可以从图像传感器130接收原始图像数据，其指示针对不同色度分量(例如，颜色)的色度响应、基于色度响应的MCR，并基于MCR之间的比值来确定一个或多个场景对象的对象距离。在某些实施例中，处理器140知晓当前的光学配置，诸如包括用于聚焦和色平衡的透镜组件110和/或图像传感器130的当前配置。例如，配置与在寄存器或其他合适的存储器中更新的一组参数值相关联；处理器140可以通过获取更新后的值来查询当前的光学配置。在某些这样的实施例中，处理器140被编程为实施对象距离107和MCR比值之间的预定数学相关性(例如，函数关系)。在某些这样的实施例中，一个或多个这样的数学相关性被存储在存储器145中。例如，不同的光学配置可以是明显不同、但仍然是确定性的数学相关性；并且按照本光学配置从存储器145检索适当的相关性(例如，多项式函数的特定标量值、特定函数等)。在其他实施例中，存储器145用于存储一个或多个光学配置的MCR比值和对象距离107之间的某些或所有关联。例如，处理器140根据存储在处理器140可访问的存储器145(例如，任何合适的板载或离板的、非瞬态、处理器可读的存储器)中的查找表等确定对象距离107。如这里所使用的，查找表通常是指任何关联数据结构，其中第一组值中的每一个可以与第二组值中的相应一个相关联。存储在存储器145中的数据(例如，查找表数据、数学相关性数据等)可以作为预校准的一部分存储到存储器145中。例如，可以使用已知距离处已知颜色的目标的预先校准来生成存储在存储器145中并由处理器140使用的数据。
上面图示和描述的各种光学***使用色度差来确定光学***场景中一个或多个对象的对象距离。在一些实现中，确定单个对象距离。在其他实现中，为场景中的多个离散位置确定多个离散的对象距离。在其他实现中，跨越场景的距离测量值用于生成场景的深度图。这些和/或其他实现中的任何一个都可以用于支持各种三维(3D)成像环境。例如，可以通过这里描述的实施例获得的多个类型的3D信息可以用于3D摄影、3D生物特征(例如，3D面部识别)、机器人的3D视觉、自主车辆的3D映射、测距等。在某些实施例中，用于实现这里描述的新颖的3D成像的***(例如，包括透镜组件110、图像传感器130、处理器140、存储器145等)可以集成到计算***中，诸如计算机的一部分、数码相机、智能手机、或其他设备。
图6提供了计算机***600的一个实施例的示意图，所述计算机***600可以实施各种***部件和/或执行由各种实施例提供的方法的各个步骤。应该注意的是，图6仅意在提供各种部件的概括说明，可以适当地利用其中的任何一个或所有部件。因此，图6宽泛地图示了可以如何以相对分离或相对更集成的方式来实施各个***元件。
计算机***600被示为包括硬件元件，所述硬件元件可以经由总线605电耦合(或者适当情况下可以以其他方式通信)。硬件元件可以包括一个或多个处理器610，包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(诸如数字信号处理芯片、图形加速处理器、视频解码器、和/或类似处理器)。例如，处理器610可以实施图1A中所示的处理器140。某些实施例包括一个或多个输入/输出(I/O)设备615。在某些实现中，I/O设备615包括人机接口设备，诸如按钮、开关、键盘、指示器、显示器等。在其他实现中，I/O设备615包括电路级设备，诸如引脚、拨码开关等。在某些实现中，计算机***600是配置为与附加计算机和/或设备接口的服务器计算机，使得I/O设备615包括各种物理和/或逻辑接口(例如，端口等)以促进硬件到硬件的耦合、交互、控制等。
计算机***600可以进一步包括(和/或与之通信)一个或多个非暂态存储设备625，其可以包括但不限于本地和/或网络可访问存贮器，和/或可以包括，非限制性地，磁盘驱动器、驱动器阵列、光学存储设备、固态存储设备，诸如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)，其可以是可编程的、闪速可更新的和/或类似物。这样的存储设备可以被配置为实施任何适当的数据仓库，包括但不限于各种文件***、数据库结构和/或类似物。在某些实施例中，存储设备625包括图1A的存储器145以用于存储校准信息和/或任何其他合适的信息和/或用于实施这里描述的特征的指令。
计算机***600还可以包括这里描述的任何其他部件或与这里描述的任何其他部件通信。在某些实施例中，计算机***600包括成像子***620。成像子***620可以包括图像传感器130和任何支持部件。在某些实施例中，计算机***600包括照明子***630。照明子***630可以包括用于将正常照明和/或参考照明投射到成像子***620的视场中的任何合适的照明源，以及任何支持部件。在某些这样的实施例中，照明子***630包括一个或多个照明源以提供参考照明泛光和/或提供一种或多种类型的探测照明。某些实施例可以包括附加子***，诸如通信子***(未示出)以与其他***、网络等通信地耦合。
如这里所述，计算机***600的实施例可以进一步包括工作存储器635，其可以包括RAM或ROM设备。如这里所述，计算机***600还可以包括软件元素，示为当前位于工作存储器635内，包括操作***640、设备驱动程序、可执行库、和/或其他代码，诸如一个或多个应用程序645，它们可以包括由各种实施例提供的计算机程序，和/或可以被设计成实施由其他实施例提供的方法和/或配置由其他实施例提供的***。仅作为示例，关于这里讨论的一个或多个方法所描述的一个或多个过程可以实施为可由计算机(和/或计算机内的处理器)执行的代码和/或指令；在一方面，则这样的代码和/或指令可以用于配置和/或适配通用计算机(或其他设备)以根据所描述的方法执行一个或多个操作。这些指令和/或代码集可以存储在非瞬态计算机可读存储介质上，诸如上述一个或多个非瞬态存储设备625。在某些情况下，存储介质可以并入计算机***中，诸如计算机***600中。在其他实施例中，存储介质可以与计算机***分离(例如，可移动介质，诸如光盘)、和/或在安装包中提供，使得存储介质可以用于对具有存储在其上的指令/代码的通用计算机进行编程、配置和/或适配。这些指令可以采用可执行代码的形式，其可由计算机***600执行和/或可以采用源代码和/或可安装代码的形式，在计算机***600上编译和/或安装时(例如，使用各种通用编译器、安装程序、压缩/解压缩实用程序等中的任何一种)，所述源代码和/或可安装代码然后采用可执行代码的形式。
对本领域技术人员来说显而易见的是，可以根据具体要求做出实质性的变化。例如，也可以使用定制的硬件，和/或可以在硬件、软件(包括便携式软件，诸如小应用程序等)或两者中实施特定元素。进一步，可以采用与其他计算设备(诸如网络输入/输出设备)的连接。
如上所提及的，一方面，某些实施例可以采用计算机***(诸如计算机***600)来执行按照本发明的各种实施例的方法。根据一组实施例，这些方法的某些或全部过程由计算机***600响应于处理器610执行包含在工作存储器635中的一个或多个指令的一个或多个序列(其可以并入操作***640和/或其他代码，诸如应用程序645)来执行。这些指令可以从另一个计算机可读介质(诸如一个或多个非瞬态存储设备625)读入工作存储器635。仅作为示例，包含在工作存储器635中的指令序列的执行可以引起一个或多个处理器610执行这里描述的方法的一个或多个过程。
如这里所使用的，术语“机器可读介质”、“计算机可读存储介质”和“计算机可读介质”是指参与提供引起机器以特定方式操作的数据的任何介质。这些介质可以是非暂态的。在使用计算机***600实施的实施例中，各种计算机可读介质可以参与向一个或多个处理器610提供指令/代码以供执行和/或可以用于存储和/或携带这样的指令/代码。在许多实现中，计算机可读介质是物理和/或有形存储介质。这种介质可以采用非易失性介质或易失性介质的形式。非易失性介质包括例如光盘和/或磁盘，诸如一个或多个非暂态存储设备625。易失性介质包括但不限于动态存储器，诸如工作存储器635。
物理和/或有形计算机可读介质的常见形式包括例如软盘、软磁盘、硬盘、磁带或任何其他磁介质、CD-ROM、任何其他光学介质、具有标记图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他存储芯片或盒式磁带、或计算机可以从中读取指令和/或代码的任何其他介质。在将一个或多个指令的一个或多个序列携带到一个或多个处理器610以供执行时可以涉及各种形式的计算机可读介质。仅作为示例，指令最初可以承载在远程计算机的磁盘和/或光盘上。远程计算机可以将指令加载到其动态存储器中并且将指令作为信号通过传输介质发射以被计算机***600接收和/或执行。
在某些实施例中，用于实现这里描述的新颖的3D成像的***(诸如图6的计算***600中的某些或全部)可以集成到具有相机的电子设备中，诸如便携式个人电子设备(PPED)。图7A和图7B分别示出了根据各种实施例的说明性便携式个人电子设备(PPED)700的前视图和侧视图。如这里所使用的，PPED可以包括智能手机、平板电脑、膝上型计算机、智能可穿戴设备(例如，智能手表)、或具有一个或多个集成数字成像***710的任何其他合适的设备。PPED 700的实施例还可以包括一个或多个显示器720。虽然没有明确示出，但是显示器720的某些实施例可以具有与其集成的电容触摸屏元件、另一数字成像***710、指纹传感器、和/或其他部件。用户接口部件还可以包括一个或多个物理按钮730。例如，物理按钮730可以包括电源按钮、音量按钮等。在某些实现中，一个或多个按钮专用于特定功能，并且一个或多个按钮可动态分配(例如，通过应用处理器和/或其他部件)各种功能。虽然未示出，但PPED 700可以包括额外的用户接口部件，诸如光学传感器、力传感器、生物特征识别传感器、加速度计等。
一个或多个(例如，所有)数字成像***710可以包括被动3D光学感测***。一个或多个被动3D光学感测***被配置为支持深度信息的捕获以支持一个或多个相机和/或其他部件的三维特征。例如，如所图示的，PPED 700可以包括前置(例如自拍)数字成像***710a、后置数字成像***710b(图7B中所示)、弹出式(pop-out)数字成像***710c、和/或任何其他合适的集成数字成像***710。例如，用户期望使用数字成像***710之一来捕获图像。PPED 700初始化各种硬件和软件元件以进入图像采集模式。作为该模式的一部分，被动3D光学感测***用于被动地从相机视场中的场景中收集光学信息，并确定一个或多个对象距离，和/或生成某些或所有的场景的深度图。如这里所述(例如，参照图1A、3A、4A和5)，光学信息经由各种光学器件和传感器(包括透镜组件110和图像传感器130)被动接收，并且可以由与存储器145耦合的处理器140处理。在某些实施例中，所述一个或多个被动3D光学感测***包括或利用一个或多个照明源，诸如探测光源。例如，探测光源可以提供或补充具有正常和/或参考光分量的照明。在某些实施例中，处理器140和/或存储器145是被动3D光学感测***的专用部件。在其他实施例中，处理器140由PPED的处理器(例如，中央处理器、图形处理器、或PPED的其他处理器，并非专用于被动3D光学感测***)实施。在其他实施例中，存储器145由PPED的存储器实施，诸如PPED的可移动或不可移动存贮器，并非专用于被动3D光学感测***。
上面的各种***可以用于执行各种方法，诸如下面描述的那些。图8示出了根据各种实施例的用于被动三维成像的说明性方法800的流程图。方法800的实施例开始于阶段804，响应于从目标场景对象反射并且由透镜聚焦到图像传感器的接收到的光，从图像传感器接收原始图像数据，所述原始图像数据指示第一组色度响应和第二组色度响应。接收到的光的较小波长的分量根据目标较小波长的焦平面聚焦，而接收到的光的较大波长的分量根据目标较大波长的焦平面聚焦。第一组色度响应由响应于接收到的光的较小波长的分量的图像传感器产生，而第二组色度响应由响应于接收到的光的较大波长的分量的图像传感器产生。在某些实施例中，图像传感器包括光电检测器阵列，光电检测器的第一部分响应于接收到的光(例如，蓝光)的较小波长的分量，而光电检测器的第二部分响应于接收到的光(例如，红光)的较大波长的分量。
在某些实施例中，在阶段804的接收之前，方法800可以在阶段803将照明投射到图像传感器的视场中。照明可以包括一个或多个光斑、图案、或任何合适的照明以在视场中产生一个或多个检测边缘特征。在这样的实施例中，目标场景对象可以是检测边缘特征之一。例如，如果场景中的对象具有广阔的表面、而没有用于色度差的合适的可检测特征，则照明可以提供所述特征。值得注意的是，这种照明不仅仅意图照亮检测区域；而是，照明是为了在场景中形成可检测的特征。
如这里所述的，接收到的原始图像数据可以用于根据至少阶段808-820生成3D信息，诸如产生一个或多个对象距离、深度图等。某些实施例，与生成3D信息并发地(例如，并行地)，可以在阶段806通过处理原始图像数据以校正原始图像数据中的颜色失准(例如，以及对数据进行色平衡)来生成二维(2D)输出图像。某些实施例使得能够非并发地生成3D和2D信息。例如，将原始图像数据的部分或全部存储到存储器；并且2D信息或3D信息是在存储的同时产生的，而另一个是在稍后时间产生的。
在阶段808，实施例可以根据第一组色度响应计算第一色度响应幅度(MCR)。在阶段812，实施例可以根据第二组色度响应计算第二MCR。在一个实现中，第一MCR被计算为对接收到的光的较小波长的分量的最大色度响应(例如，最大像素信号输出)，并且第二MCR被计算为对接收到的光的较大波长的分量的最大色度响应。在另一实现中，阶段808和/或812处的计算涉及去除异常值、平均或以其他方式确定优化的一个或多个响应(例如，像素)以用作对应的MCR。在阶段816，实施例可以计算第一MCR和第二MCR之间的MCR比值。在某些实现中，所述比值是第一MCR与第二MCR的比值。在其他实现中，所述比值是第二MCR与第一MCR的比值。
在某些实施例中，可以在方法800中接收和/或使用额外的色度响应。例如，像素可以生成三个或四个色度响应(例如，红色、绿色、蓝色、以及近红外)。某些实施例使用多于两个的色度响应来执行阶段808-816中的某些或全部。其他实施例使用多于两个的色度响应来确定对于阶段808-816哪两个色度响应最优。例如，如果确定场景对象的背景接近色度响应之一，则其他的色度响应可以用于阶段808-816，由此有效地将背景渲染为黑色。
在阶段820，实施例可以基于阶段816中计算的MCR比值来确定目标场景对象距离透镜的目标对象距离。在某些实施例中，阶段804中接收到的光包括从多个场景对象(包括目标场景对象)反射的光。对于所述多个场景对象中的每一个，接收到的光的较小波长的分量的相应部分被聚焦到对应于场景对象距离透镜相应对象距离的相应较小波长的焦平面，以及接收到的光的较大波长的分量的相应一部分被聚焦到对应于场景对象的相应对象距离的相应较大波长的焦平面。在这样的实施例中，阶段808和阶段812的计算可以包括为每个场景对象计算来自第一组色度响应的相应第一MCR和来自第二组色度响应的相应第二MCR；并且阶段816的确定可以包括基于相应的第一MCR和相应的第二MCR之间的相应比值来为每个场景对象确定场景对象的相应对象距离。在阶段822，某些这样的实施例可以为包括场景对象的场景生成深度图，深度图指示场景对象的各个对象距离。例如，阶段808-820可以针对多个场景对象迭代执行，直到没有更多对象剩余，之后可以在阶段822生成深度图。
在某些实施例中，方法800开始于阶段801(例如，在阶段804、808、812和/或816之前)响应于参考场景对象反射并且通过透镜聚焦的光而从图像传感器接收参考图像数据。参考场景对象与目标场景对象不同，可能与透镜的对象距离相同或不同。在这样的实施例中，在阶段802，实施例可以基于参考图像数据来引导图像传感器和透镜的自动配置以关于参考场景对象聚焦和色平衡，由此至少基于参考场景对象距离透镜的参考距离来限定参考较小波长的焦平面以及参考较大波长的焦平面。在某些这样的实施例中，在阶段814，方法800可以识别与阶段802中引导自动配置相关联的当前校准配置。在这样的实施例中，当前校准条件对应于多个预定校准条件之一。在这样的实施例中，在阶段820确定目标对象距离可以涉及按照与当前校准配置相关联的预校准的相关性来将MCR比值与目标对象距离相关联。在某些实现中，校准条件中的每一个都与共享参数集的相应预校准参数值集相关联，并且预校准相关性至少部分地被定义为共享参数集的函数。在这样的实现中，在阶段820确定目标对象距离可以涉及计算预校准相关性为与当前校准配置相关联的相应预校准参数值集的函数。在其他实现中，在阶段820确定目标对象距离可以涉及在查找表中检索与当前校准相关联的相应数量的映射之一。对于每个校准条件，查找表可以定义校准的MCR比值和校准的对象距离之间的相应数量的映射。这样的实现可以将校准的MCR比值之一识别为对应于MCR比值，并且可以根据查找表中与当前校准相关联的相应数量的映射之一将校准的MCR比值之一映射到校准的对象距离之一。
用于对象验证的被动图像深度感测
如上所述，可以基于色度差来实施被动三维图像感测技术。对象反射的光可以通过透镜聚焦到图像传感器上，反射光的不同色度分量可以根据不同的焦距聚焦。典型地，图像传感器可以根据特定的色度分量(例如，波长)进行预聚焦(例如，自动聚焦)。这样，图像传感器检测到的原始图像数据可以揭示其他色度分量(波长大于或小于聚焦分量)未聚焦，导致图像传感器的不同光电检测器检测到的图像签名之间的色度差。
例如，图9示出了对成像对象轮廓910的一组说明性色度响应签名。光从对象轮廓910反射并通过透镜110聚焦到对不同色度分量(诸如，不同波长)敏感的光电检测器上。典型地，图像传感器像素可以包括至少一个短波长光电检测器元件(例如，“蓝色”光电检测器)、一个中波长光电检测器元件(例如，“绿色”光电检测器)、以及一个长波长光电检测器元件(例如，“红色”光电检测器)。某些这样的像素包括额外的光电检测器元件，诸如额外的“绿色”光电检测器元件、和/或检测可见光谱之外的波长(例如，近红外)的光电检测器元件。
如上所述，当图像传感器捕获对象轮廓910的图像时，每个光电检测器元件生成相应的信号水平，使得对应的光电检测器元件的组(例如，图像传感器的光电检测器阵列中的短波长光电检测器元件中的全部或特定子集)一起产生相应的色度响应签名。相应的色度响应签名实际上是针对接收到的光的特定色度分量检测到的对象轮廓910的图像。图示的说明性一组色度响应签名示出了短波长色度响应签名922、中波长色度响应签名924、以及长波长色度响应签名926。
所述说明性一组色度响应签名指示***(例如，透镜110和/或图像传感器检测平面)已经根据中波长的色度分量被聚焦，因为可以看到中波长的色度响应签名924最接近地表示对象轮廓910。典型地，将成像***聚焦到可见光谱的中间，因为人眼往往对接近可见光谱中间的光更敏感。采用这种聚焦，可以进一步看到，短波长的色度响应签名922和长波长的色度响应签名926都失焦(即，与中波长的色度响应签名924相比，每个都是对象轮廓910的不太准确的表示)，并且短波长的色度响应签名922和长波长的色度响应签名926是差异化的。
这样的色度差的效果由图10进一步图示，图10示出了在不同色度条件下成像的条形图。条形图示出了一组精确间隔的高对比度线条。在第一和第二图像1010和1020所图示的第一实验设置中，成像***根据940纳米波长的照明聚焦。第一图像1010是放置在距离透镜400毫米处并在940纳米波长的照明下成像的条形图，第二图像1020是放置在距离透镜455毫米处并在相同的940纳米波长的照明下成像的条形图。即使第一图像1010和第二图像1020仅代表55毫米的距离差，即使用人眼也可以很容易地看出第二图像1020比第一图像1010明显更清晰(即，越远则图像越清楚)。
由第三和第四图像1030和1040图示的第二实验设置使用相同的焦距波长和相同的对象距离，并且仅改变照明波长。同样，成像***根据940纳米波长的照明进行聚焦。第三图像1030是像在第一图像1010中那样放置在距透镜400毫米处的条形图，但是条形图现在在850纳米波长的照明下成像。第四图像1040是像在第二图像1020中那样放置在距透镜455毫米处的条形图，但是条形图现在在850纳米波长的照明下成像。现在，即使第三图像1030和第四图像1040仅代表55毫米的距离差，即使用人眼也可以很容易地看出，第三图像1030比第四图像1040明显更清晰(即，越近则图像越清楚)。
图10中图示的实验结果表明了可以被这里描述的实施例利用的色度差的至少三个相关效果。首先，结果表明成像***可以根据特定的色度分量聚焦到特定的焦距，使得改变对象与透镜的距离(即对象深度)可以引起可检测的焦点变化。例如，在实验设置中，同一对象在相同波长下成像，但图像清晰度随着对象距离的变化而变化。其次，结果表明不同的色度分量往往根据不同的焦距聚焦。例如，在实验设置中，940纳米波长的照明与大约455毫米的焦距相关联，而850纳米波长的照明与大约400毫米的焦距相关联。这样，同一对象在不同照明波长下相同距离处的图像具有可检测到的不同的清晰度。第三，结果表明改变对象与透镜的距离会引起所成像的对象特征的大小发生变化。例如，根据不同的特定色度分量重新聚焦成像***似乎不会明显影响该结果。例如，在实验设置中，图像1010和图像1030(均表示400毫米的对象距离)示出的特征明显大于图像1020和图像1040(均表示455毫米的对象距离)的特征，即使照明波长从图像1010和图像1020到图像1030和图像1040变化。
如这里所述，实施例可以使用上述效果，包括图像清晰度和特征大小在不同焦波长和对象距离上的变化，以支持用于对象验证的被动图像深度感测的特征。如这里所使用的，“对象验证”可以包括对象是真实的验证和/或与对象相关联的身份的生物特征验证。例如，将这里描述的被动成像技术应用于用户的面部可以提供关于以下各项的信息：相对特征位置和/或大小(例如，毛孔、痣、眉毛、眼虹膜、眼角、睫毛、眼睑、鼻子特征、嘴巴特征、嘴唇特征等的位置和/或大小)、特征区域的相对深度(例如鼻尖、脸颊、下巴、前额等的相对深度)、一个或多个特征的绝对深度、皮肤区域的三维纹理特征(例如，脸颊上的皮肤纹理等)和/或其他信息。
在某些实施例中，用于对象验证的被动图像深度感测包括对于对应于对象的三维(3D)特征区域的多个特性子图像中的每一个，基于从对象捕获的原始图像传感器数据的多个差异化的色度分量来计算相应的一组特征深度测量值。然后可以生成和输出验证信号，作为将来自所述多个特性子图像的各组特征深度测量值与先前存储的特征深度期望值进行比较的函数。这样，验证信号可以指示是否验证了对象的身份和/或对象是否是欺骗。
图11示出了根据各种实施例的用于对象验证的被动图像深度感测的说明性方法1100的流程图。方法1100的实施例开始于阶段1104，使用图像传感器来捕获由3D特征区域表征的对象的原始图像数据。每个3D特征区域与相应的预期深度和/或相应的预期纹理特征相关联。例如，对象可以是人脸，一个特征区域可以对应脸颊的一部分，另一个特征区域可以对应鼻子的一部分。虽然这里的某些描述具体讨论了面部和相关特征，但这里描述的技术可以用于验证任何可适当区分的三维对象。例如，有价值的古代陶瓷花瓶可以包括特性特征，诸如把手、裂缝、凹坑、图像等；这里描述的技术可以用于验证花瓶的真实性。
在阶段1108，实施例可以从原始图像数据中识别多个特性子图像。至少可以通过将3D特征区域中的对应的一个3D特征区域映射到原始图像数据来识别每个特性子图像。例如，图像处理可以用于提供特性特征的近似位置以提供一组快速的预先判决，诸如成像的对象是否看起来是人脸、人脸的近似取向等。在某些实现中，成像***在对象的图像内寻找至少可追踪结构的子集。例如，可以从对象图像(例如，从在阶段1104中获得的作为整体的图像，和/或从阶段1108中识别的特性子图像)的一个或多个色度分量中提取各组特征。在某些情况下，某些或所有可追踪结构在配准阶段获得，例如，通过提示用户捕获和/或提供对象(例如，用户面部)的多个图像。附加地或可替代地，某些或所有可追踪结构可以从广义模型(例如，人脸的广义解剖模型)导出。无论是从实际对象的配准获得还是从模型获得，数据仓库都可以包括完整的3D模型、部分3D模型、测量值的查找表、和/或任何其他合适的信息。可追踪结构可以包括对象的任何合适的微观结构和/或宏观结构。例如，在人脸的上下文中，可追踪结构可以包括毛孔、痣、眉毛、眼睛虹膜、眼角、睫毛、眼睑、鼻子特征、嘴特征、唇特征等。
成像***成功识别对象的图像(和/或子图像)内的至少阈值数量的可追踪结构可以促进一些能力。一种这样的能力是对对象身份的快速验证。例如，如果可追踪结构与特定用户的先前配准相关联，则在当前对象成像中识别足够的可追踪结构可以提供当前成像的用户是否与注册用户匹配的快速生物特征验证。验证的强度可以取决于多个因素，诸如正面验证必须识别的可追踪结构的最少数量、所使用的可追踪结构的类型、这些特征的生物特征唯一性、这些特征随时间的一致性等。其他这样的能力包括对象类型的快速(例如，并且可能是粗略的)确定。如果存储了多个可追踪结构集(例如，基于不同的配准、不同的模型等)，则从对象成像中识别出的可追踪结构与某些存储的特征集的数学对应性比其他特征集高得多。例如，识别出的可追踪结构可以提供图像中似乎出现面部的快速指示。其他这样的能力包括对象距离的快速(例如，并且可能是粗略的)确定。例如，将可追踪的结构间隔(例如，眼睛虹膜之间的距离)与已知的中值距离或其他合适的信息进行比较，可以建议面部与透镜的近似距离，这可以提供校准的初始估计值、用于相对深度测量的基线距离等。类似地，所识别的可追踪结构的布置可以提供对象相对于成像***的取向的指示。例如，面部可能远离成像***倾斜、成角度等；由此引起可追踪结构的相对布置的对应变化。
在阶段1112，实施例可以从每个特性子图像的原始图像数据获得来自用图像传感器对对象成像的相应的第一色度响应，以及来自用图像传感器对对象成像的相应的第二色度响应。在某些实现中，每个相应的第一色度响应对应于从对象反射并由图像传感器检测到的光的第一波长，并且每个相应的第二色度响应对应于从对象反射并由图像传感器检测到的光的第二波长，其中第一波长能够通过图像传感器与第二波长区分开来。在某些这样的实现中，图像传感器的光电检测器元件的第一子集(例如，阵列的每个像素中的一个或多个光电检测器元件)被配置为检测光的第一波长，以及图像传感器的光电检测器元件(例如，阵列的每个像素中的一个或多个光电检测器元件)的第二(例如，不相交的)子集被配置为检测光的第二波长。在某些实现中，传感器***(例如，透镜、传感器阵列的检测平面等)根据特定聚焦波长被聚焦。聚焦波长可以是第一波长、第二波长、或不同于第一波长和第二波长的第三波长。例如，图像传感器可以根据绿色波长进行聚焦，并且第一和第二波长可以分别对应于红色波长和蓝色波长。
在阶段1116，实施例可以基于每个特性子图像的相应的第一色度响应和相应的第二色度响应来计算相应的计算深度和/或相应的计算的纹理特征。如上所述，某些实现可以计算从相应的第一色度响应导出的第一色度响应幅度(MCR)与从相应的第二色度响应导出的第二MCR之间的比值，并且至少相应的计算深度可以基于比值来计算。例如，当成像***被正确校准时，这样的计算可以产生绝对深度测量值；或者这样的计算至少可以产生相对深度测量值而无需校准。
在其他实现中，比较阶段1112中获得的(某些或全部)特性子图像中的每个的不同色度响应以确定清晰度的相对差异。例如，可以跨图像亮度曲线图计算每个色度响应的统计数据，以指示相对图像清晰度。不同的色度分量的清晰度差异可以表明哪些区域距离透镜更近或更远。例如，这样的计算可以产生跨不同特征区域的相对深度测量值(例如，指示鼻尖比眼角更近等)。
在其他这样的实现中，可以测量相对可追踪结构大小和/或结构间距离并将其与已知(或建模)值进行比较以确定深度。例如，可以从对象图像(例如，从整个图像、和/或从特性子图像)的一个或多个色度分量中提取各组可追踪结构，并且可以从提取的可追踪的结构中获得测量值。在某些实现中，可追踪结构位置和/或大小是基于色度分量签名的统计分析获得的。例如，可以在不同的色度图像上分析相同的纹理特征，以确定哪个色度分量产生对象区域中可追踪结构的最高对比度视图，并且该色度分量可以用于帮助确定可追踪结构边界和/或其他测量值。在某些实现中，色度分量可以用于导出特定可追踪结构的深度信息以帮助校正测量中的三维变化。例如，用户面部相对于成像***的角度会明显影响可追踪结构之间的测量值，而深度信息可以用于校正这些影响。
如上所述，参照阶段1108，从成像数据中提取可追踪结构集可以促进多种能力。在某些实施方式中，除了或替代参照阶段1108所描述的可追踪结构识别，可以使用基于色度差响应的可追踪结构的识别和/或提取以促进相同或不同的能力。例如，如果没有阶段1116的色度响应的益处，诸如皮肤纹理、毛孔、雀斑等的微观特征可能无法充分识别。无论哪种方式，所识别的可追踪结构都可以用于获得和/或计算特征测量值，然后可以将那些获得和/或计算出的特征测量值与先前获得或确定的测量值进行比较。在某些情况下，特定可追踪结构的大小可以是已知的和/或可追踪结构之间的一些距离可以基于对象在之前时间的图像的配准而获知。例如，在配准阶段，可以获得用户面部的图像，并且可以从这些图像中提取特征大小和/或距离并将其存储到数据仓库中。在其他情况下，特定可追踪结构的大小可以是已知的和/或可追踪结构之间的一些距离可以基于模型来近似，诸如人脸的广义模型。如上所提及的，存储的配准和/或模型数据可以包括任何合适的测量值和/或其他信息。
如这里所使用的，可追踪结构大小、距离、深度等旨在广泛地包括任何合适的测量数据以支持这里所描述的实现。例如，参照可追踪结构距离，可以单独地或相对于其他可追踪结构评估这样的距离。例如，可以单独使用特定距离，可以使用该距离与一个或多个其他距离之间的比值，可以使用跨距离的统计变化等。类似地，特定可追踪结构(例如，痣、虹膜等)的大小可以单独使用，也可以在比值、统计变化、或其他信息的上下文中使用。特定可追踪结构的大小还可以包括形状信息。例如，可追踪结构大小可以指示可追踪结构是否大体是圆形的(例如，具有相关联的测量值，诸如半径、直径等)，可以包括可追踪结构的形状的轮廓表示等。类似地，可追踪结构深度可以指与可追踪结构的近似深度相关联的单个测量值，具有指示纹理的一系列深度测量值，具有对应于纹理的图像亮度签名，具有绝对深度测量值，具有与其他可追踪结构相关的相对深度测量值(例如，比一个或多个其他可追踪结构更近或更远的近似距离；与绝对测量值相反)，具有相对深度位置(例如，指示可追踪结构大体上比另一个可追踪结构更近或更远；指示可追踪结构似乎比另一个可追踪结构略微更近或更远、明显比其更近或更远；等)，和/或任何其他合适的测量值。
在阶段1120，实施例可以基于将计算的响应值与预期的特征区域特性值进行比较来输出对象的验证信号。例如，可以将每个特性子图像的相应的计算深度与对应的3D特征区域的相应的预期深度进行比较，和/或可以将每个特性子图像的相应的计算的纹理特征与对应的3D特征区域的相应的预期纹理特征进行比较。验证信号可以包括任何合适的信息并且可以以任何合适的方式格式化以实现期望的响应。在一种实现中，响应于对象验证，输出验证信号触发指示器以将验证结果通知人类或计算代理。例如，验证信号可以触发指示器(例如，表示验证成功的绿色LED)的点亮、声音的播放、触觉反馈等。在另一个实现中，对象验证信号可以触发访问控制***以允许或拒绝访问物理或电子资源。例如，成功的验证可以导致物理门口或物理保险库的解锁、对计算***或数字文件的访问等。
对象验证可以用于任何合适类型的对象分类、对象欺骗检测、和/或生物特征识别。关于分类，验证信号可以指示验证对象是特定类型或类别的对象的特性。例如，在成像对象中识别的可追踪结构(例如，和/或它们各自的深度、测量值等)似乎大体上是人脸、特定昆虫物种、特定类型材料或表面光洁度等的特性。关于生物特征验证，验证信号可以指示所断言身份的对象与具有至少阈值生物特征置信水平的该身份相匹配。例如，验证信号指示成像对象是否似乎是预先注册的人类用户面部的一部分的特性。关于欺骗检测，验证信号可以指示成像对象是“真实的”还是“伪造的”。例如，传统的面部检测***经常可以使用面部的2D图像或面部的3D模型(例如，蜡模型)进行欺骗。2D欺骗和3D欺骗都不太可能包括使用这里描述的技术可验证的深度签名、纹理特征、微结构等类型。
图12示出了作为这里所描述的各种实施例的上下文的说明性成像数据集1200。如这里所述的，说明性成像数据集1200包括人脸的一部分的高清晰度图像1210和多个特性子图像1220，每个都与相应的特征区域相关联。说明性成像数据集1200仅旨在说明实施例的特征，并且不旨在限制这里所描述的图像类型。例如，虽然说明性成像数据集1200包括来自成像***的处理后的输出图像，但这里描述的某些实施例依赖于包括来自图像传感器的原始输出数据的成像数据(例如，未经颜色校正或以其他方式处理的)。
值得注意的是，如上所述，图像1210中所示的这种“对象”(即，人脸的成像的部分)包括多个不同类型的可追踪结构。例如，面部图像1210包括宏观结构，诸如皮肤区域、眉毛、眼睛、睫毛、眼睑、鼻子、鼻孔、嘴巴、嘴唇等。这些宏观结构中的每一个都可以包括微观结构。例如，皮肤区域可以包括雀斑、毛孔、疤痕、痣、和/或其他可追踪结构；并且每只眼睛可以包括角点、虹膜中心、静脉图案等。这些可追踪结构对于特定用户可以随时间具有不同的相关联的独特性和/或一致性。例如，用户面部雀斑的数量和位置可能会随着最近暴露在阳光下的量不同或其他原因而发生明显变化；但毛孔图案、眼静脉图案、眼角的相对位置、和/或其他可追踪结构可以随时间保持一致。为说明起见，在某些特性子图像1220中可以清楚地看到皮肤纹理和毛孔图案。
图13A和图13B示出了两个特性子图像的说明性部分的说明性部分色度响应1300。特别地，图13A示出了图12的特性子图像1220d的说明性部分的特定色度响应1300a和1300b，所述说明性部分对应于鼻尖周围的特征区域。这样，特性子图像1220d位于图像中最靠近成像***的部分。图13B示出了图12的特性子图像1220b的说明性部分的特定色度响应1300c和1300d，所述说明性部分对应于脸颊周围的特征区域。这样，特性子图像1220b在图像的距离成像***相对较远的部分中(与特性子图像1220d相比)。
对于色度响应1300，可以假设成像***使用中波长的色度分量聚焦，诸如使用“绿色”色度响应。色度响应1300a和1300c分别对应于特性子图像1220d和1220b的部分中的“红色”色度响应；以及，色度响应1300b和1300d分别对应于特性子图像1220d和1220b的相同部分中的“蓝色”色度响应。每个图示的色度响应1300是图像亮度曲线图，示为在图像传感器阵列的五十像素长的行上色度分量的亮度值(例如，对应光电检测器元件的信号水平)随位置变化的曲线图。
可以从色度响应1300获得多种类型的信息。为了获得这样的信息，各种实现可以计算统计数据以测量亮度斜率、亮度谷深度的标准偏差、轮廓谷宽度、和/或其他值的分布。可以从这样的计算中提取或导出的一种类型的信息是清晰度和/或深度。首先转到图13A，可以看出红色色度响应1300a的斜率变化明显大于蓝色色度响应1300b的斜率变化。这表明光谱红色部分中数据的清晰度更高，这也表明相对深度更接近(如上所述)。转到图13B，可以看出蓝色色度响应1300d的斜率变化明显大于红色色度响应1300c的斜率变化。这表明光谱蓝色部分的数据的清晰度更高，这也表明相对深度更远。即使获得粗略的相对深度的集合也可以用于各种能力。例如，在欺骗检测的上下文中，这样的相对深度可以指示成像对象是3D对象(例如，与2D照片相反)，或者甚至相对深度的集合是被成像对象的特性(例如，所述深度的集合与人脸的预期内容相匹配)。这里，色度响应数据清楚地证实了对应于鼻尖的特征区域比对应于脸颊的特征区域更近，正如非欺骗人脸所预期的那样。
可以从这样的计算中提取或导出的另一种类型的信息是纹理特征。色度响应1300中的波峰和波谷的图案可以对应于例如相应特性子图像1220的相应部分中皮肤的毛孔和/或其他纹理变化。可以看出，色度响应1300a的纹理特征与色度响应1300b的相似，色度响应1300c的纹理特征与色度响应1300d的相似；表明纹理特征可以与特定特征区域相关联，并且不取决于评估任何特定的色度分量。实际上，实施方式可以使用任何合适的一个或多个色度分量来获得纹理特征。这种纹理特征可以有用于各种能力。例如，在欺骗检测的上下文中，这样的纹理特征可以指示成像对象是3D对象、纹理特征是被成像对象的特性(例如，人类面部皮肤的特性)、和/或甚至指示纹理特征匹配对象的先前配准的纹理特征(例如，针对用户面部的先前注册提供生物特征验证)。
按照上文，多种不同类型的用例是可能的。图14示出了根据各种实施例的用于访问控制的示例门控过程的流程图1400。例如，示例使用可以涉及寻求访问具有集成图像传感器***的智能手机的用户，诸如这里描述的。对智能手机的访问将被锁定，直到用户基于先前注册的数据成功通过用户面部的生物特征验证。生物特征验证通常是指针对先前注册用户的对应的生物特征来验证候选用户(或其他对象)的生物特征。生物特征验证可以比所谓的生物特征识别简单得多。例如，生物特征识别可以寻求从一般用户群中确定候选用户的身份，诸如我确定指纹是否与大型指纹数据库中的任何一个指纹匹配到至少某个阈值置信水平；而生物特征验证可以从一组假定的(例如，一个或相对较少数量的)预先注册的用户开始，并且可以寻求确定当前候选用户是否似乎与假定的一组用户中的一个匹配到阈值置信水平。生物识别访问控制***，如示例智能手机的那些，典型地基于生物特征验证。例如，智能手机(或类似的身份卡、电子门锁等)可能只与单个授权用户相关联，***的功能是确定尝试访问的候选用户是否显现(例如,统计上)为授权用户。这样的功能不需要***搜索庞大的数据库来尝试识别候选用户。
在预生物特征触发阶段1410中，实施例可以等待检测一个或多个候选图像，这可以触发进一步的生物特征验证。例如，图像传感器可以连续地、周期性地、或以其他方式获得图像。图像可以被动态处理以检测一组图像数据，这些图像数据通常是面部的特性、或者是生物特征验证的候选对象的特性。例如，以特定图案(例如，在相对位置、大小等处)检测一些可追踪结构，所述可追踪结构向***指示所捕获的图像是用于生物特征处理的候选面部图像。在一些实现中，该阶段1410可以使用各种技术来改进这种可追踪结构的检测。例如，阶段1410可以包括基于一个或多个参数(诸如基于色度分量)对成像***进行聚焦；和/或阶段1410可以包括对原始图像数据的各个色度分量的分析(例如，包括计算图像亮度曲线图的统计分析等)；和/或阶段1410可以涉及针对参数(诸如对比度、光谱反射率、光谱照明不均、表面透射率等)校正成像数据。
在生物特征验证阶段1420，相同和/或不同的可追踪结构用于预先注册的用户的生物特征验证。在某些实现中，阶段1410中获得的成像数据足以用于阶段1420中的生物特征验证。在其他实现中，获得额外的和/或不同的成像数据，诸如具有多个色度分量的高清晰度数据。在某些实施例中，阶段1420可以涉及调整所获得的数据的大小和/或对其重新取向、和/或针对大小和/或取向校正数据。例如，如上所述，一些可追踪结构具有已知大小，可追踪结构之间的一些距离是已知的。将这样的已知信息与获得的信息进行比较可以提供关于以下各项的信息：关于成像对象距成像***的距离(例如，对象在远离成像***时显得更小)，和/或成像对象相对于成像***的取向(例如，当成像对象倾斜时，其可追踪结构集合以确定性方式倾斜)。在某些实现中，成像***的参数也是已知的并且可以在该阶段1420中使用。例如，大小和距离之间的相关性可以是一些透镜参数、聚焦数据等的函数。如上所述，生物特征验证可以基于确定可追踪结构(例如，大小、位置、间隔、形状等)是否显现为与注册对象的那些匹配。进一步如上所述的，阶段1420中的生物特征验证可以附加地或替代地基于作为注册用户特性的纹理特征。进一步如上所述的，阶段1420中的生物特征验证可以附加地或替代地基于从色度差计算的深度信息。例如，阶段1420可以包括以任何合适的精度水平计算相对和/或绝对深度测量值以用于确定深度是否是注册用户的特性。
某些实施例以成功通过生物特征验证阶段1420结束。例如，通过生物特征验证阶段1420触发验证信号的输出，其触发访问控制***以允许在阶段1440访问(例如，智能手机解锁)。其他实施例进一步包括欺骗检测阶段1430。例如，阶段1420中成功通过生物特征验证可以触发欺骗检测阶段1430的最后障碍，所述障碍也必须在阶段1440允许访问控制***访问之前通过。如上所述，这样的欺骗检测阶段1430可以使用在生物特征验证阶段1420中获得的信息、和/或可以获得任何合适的信息，以确定候选对象是否是欺骗。例如，图像亮度曲线图可以用于计算不同色度通道(例如，红/绿/蓝、红外等)的对比度；透镜焦距、色度差、和/或其他因素可以用于通过检查可追踪结构对应位置处的图像大小变化和/或图像对比度来计算面部深度信息。在某些实现中，欺骗检测阶段1430使用深度信息和/或纹理特征来确定候选对象是2D还是3D，和/或深度和/或纹理信息是否是被成像的对象类型的特性。例如，在用户面部的上下文中，深度和/或纹理信息可以指示各种可追踪结构似乎处于人脸的广义模型的可察觉范围内的深度，各种可追踪结构似乎是在统计上与用户面部的预先注册的值一致的深度处，纹理看起来与一般人类皮肤的纹理一致，纹理看起来与用户面部的预先注册的纹理一致，等等。
某些实施例可以仅包括流程图1400的一个或两个阶段，并且可以以任何顺序执行各个阶段。在某些实施例中，欺骗检测阶段1430和生物特征验证阶段1420顺序执行。例如，生物特征验证阶段1420的成功通过触发欺骗检测阶段1430的开始。在其他实施例中，生物特征验证阶段1420和欺骗检测阶段1430并发地执行(即，至少部分并行)。在某些实施例中，某些或所有阶段可以被独立触发。例如，用户可以明确地触发生物特征验证阶段1420，使得阶段1420不响应阶段1410中候选对象的成功识别。类似地，用户可以明确地触发欺骗检测阶段1430而没有相关联的生物特征验证阶段1420。例如，可能存在这样的实例，其中用户期望知道对象是否是欺骗而不用确定对象的任何类型的生物特征验证。
在各种实施例中可以包括各种类型的增强。在某些实现中，在没有进一步校正的情况下直接使用图像亮度曲线图和/或类似物会产生不正确的结果。例如，不同的皮肤色素沉着、材料类型、表面光洁等会明显影响亮度、对比度、和/或其他参数。作为一个示例，对象的颜色会影响色度分量通道的相关输出(例如，红色对象可以产生相对较高的红色分量亮度值，而不代表深度、可追踪结构、焦点等)。
根据一个这样的增强，实施例可以寻求高对比度标记以用作一个或多个阶段中的可追踪结构。在配准操作期间可以识别和存储相对高对比度的表面标记和相关联的标记位置。对于任何随后获得的清晰图像，对应标记的图像对比度基本上与在配准期间获得的那些标记的对比度成线性比例。因此，比较各种色度分量通道之间的对比比值(例如，在预生物特征触发阶段1410、生物特征验证阶段1420等)可以明显减少或消除配准数据中标记对比度的影响，尤其是在与已知高对比度标记相对应的位置。例如，如这里所述，可以通过图像亮度分布来描述一些可追踪结构信息，使得可以通过处理图像亮度数据统计来实现对一些可追踪结构的检测(例如，跟踪亮度斜率可以检测到可追踪结构的图像大小并且评估可追踪结构的对比度/模糊变化)。相关地，由于例如焦点公差，用于聚焦的任何色度分量在实践中可能不会产生理想的聚焦。例如，每个色度通道往往在任何特定焦点配置处表现出不同量的模糊。这里的实现可以计算多个通道之间的对比比值，例如，以计算可追踪结构的深度信息。例如，在绿色通道中准确成像标记区域时(假设成像***基于绿色通道聚焦)，绿色对比度最高；蓝色和红色通道的对比度都低于绿色通道的对比度。如果另一个对象(或另一个特征区域)距离成像***更远，则绿色和蓝色通道对比度往往降低，而红色通道对比度往往增加(即，更远的对象距离意味着更近的图像距离)。
根据另一个这样的增强，实施例可以寻求减少或消除对象色素沉着、照明不均和/或类似物的影响。例如，不同的皮肤色素沉着可以在不同波长和/或不相等的照明功率水平下表现出不同的反射率。在这种情况下，直接比较不同色度分量通道中的亮度可能会产生不正确的图像清晰度或模糊结果。因此，某些实施例至少部分地标准化这些影响。在某些这样的实施例中，评估M×N个像素的亮度以确定特定位置处的图像的清晰度，并且可以计算标准偏差作为参数。然后可以基于标准偏差和亮度值的平均值对数据进行归一化(例如，作为标准偏差除以平均值的函数)。这种归一化可以减少或消除对象色素沉着、照明不均和/或类似物的影响，但往往不受光谱反射或光谱照明不均的影响。
根据一种这样的增强，实施例可以寻求减少或消除对象材料光学透射率的影响。材料特性的类型可以明显影响透射到材料中的光量、材料散射的光量、从材料反射回来的光量等。例如，照在人脸的光往往部分透射到面部皮肤，但皮肤色素沉着和/或其他皮肤特性会影响透射量、穿透深度等。这样，透射的光功率被部分散射出去并贡献于图像亮度。例如，光的散射部分可以增加区域中的平均亮度，由此降低该区域中的图像亮度对比度。某些实施例可以减少这种影响。例如，当使用红-绿-蓝(RGB)色度分量对面部进行成像时，许多面部色素沉着将在蓝色色度分量中产生最弱的透射。当面部被白光照射时，实施例可以使用蓝色通道均值来代替上述归一化过程中的红色和绿色通道均值，同时保持相同的标准偏差。在某些实现中，在实施这种技术之前，使用其他技术来校正照明光与白光的偏差。
将理解到，当元件或部件在本文中被称为“连接到”或“耦合到”另一元件或部件时，它可以连接或耦合到另一元件或部件、或还可以存在中间元件或部件。相比之下，当元件或部件被称为“直接连接到”或“直接耦合到”另一个元件或部件时，它们之间不存在中间元件或部件。将理解到，尽管这里可以使用术语“第一”、“第二”、“第三”等来描述各种元件、部件，但是这些元件、部件、区域不应该受这些术语的限制。这些术语仅用于将一个元素、部件与另一个元素、部件区分开来。因而，在不脱离本发明的教导的情况下，下面讨论的第一元件、部件可以被称为第二元件、部件。如这里所使用的，术语“逻辑低”、“低状态”、“低电平”、“逻辑低电平”、“低”、或“0”可互换使用。术语“逻辑高”、“高状态”、“高电平”、“逻辑高电平”、“高”、或“1”可互换使用。
如这里所使用的，术语“a”、“an”和“所述(the)”可以包括单数和复数引用。将进一步理解到，术语“包括(comprising)”、“包括(including)”、“具有”及其变形在本说明书中使用时，指定所提及的特征、步骤、操作、元件、和/或部件的存在，但不排除一个或多个其他特征、步骤、操作、元件、部件、和/或它们的组的存在或添加。相比之下，当在本说明书中使用时，术语“由……组成”指定所提及的特征、步骤、操作、元件、和/或部件，并且排除附加特征、步骤、操作、元件和/或部件。此外，如这里所使用的，词语“和/或”可以指代并涵盖一个或多个相关联的所列项的任何可能的组合。
虽然这里参照说明性实施例描述了本发明，但是该描述并不旨在被解释为限制性的。相反，说明性实施例的目的是使本领域技术人员更好地理解本发明的精神。为了不模糊本发明的范围，省略了众所周知的工艺和制造技术的许多细节。在参照描述后，说明性实施例以及其他实施例的各种修改对于本领域技术人员来说将是显而易见的。因此，所附权利要求旨在涵盖任何这样的修改。
此外，本发明的优选实施例的某些特征可以在没有其他特征的对应使用的情况下被有利地使用。这样，上述描述应该被认为仅是对本发明原理的说明，而不是对其进行限制。本领域技术人员将意识到落入本发明范围内的上述实施例的变型。因此，本发明不限于以上讨论的特定实施例和说明，而是由以下权利要求及其等价物限制。

Claims (28)

1.一种用于对象验证的被动图像深度感测方法，所述方法包括：
使用图像传感器捕获由三维(3D)特征区域表征的对象的原始图像数据，每个3D特征区域与相应的预期深度和/或相应的预期纹理特征相关联；
从所述原始图像数据中识别多个特性子图像，至少通过将3D特征区域中的对应的一个3D特征区域映射到所述原始图像数据来识别每个特性子图像；
针对每个特性子图像，从所述原始图像数据中获得来自用所述图像传感器对对象进行成像的相应的第一色度响应、以及来自用所述图像传感器对所述对象进行成像的相应的第二色度响应；
基于每个特性子图像的所述相应的第一色度响应和所述相应的第二色度响应，计算相应的计算深度和/或相应的计算的纹理特征；以及，
基于将每个特性子图像的所述相应的计算深度与所述对应的3D特征区域的所述相应的预期深度进行比较、和/或将每个特性子图像的所述相应的计算的纹理特征与所述对应的3D特征区域的所述相应的预期纹理特征进行比较，输出针对所述对象的验证信号。
2.如权利要求1所述的方法，其中：
每个相应的第一色度响应对应于从所述对象反射并由所述图像传感器检测到的光的第一波长；
每个相应的第二色度响应对应于从所述对象反射并由所述图像传感器检测到的所述光的第二波长；以及
所述图像传感器能够将所述第一波长与所述第二波长区分开来。
3.如权利要求1所述的方法，其中对于每个特性子图像，所述计算包括：
计算从所述相应的第一色度响应导出的第一色度响应幅度(MCR)和从所述相应的第二色度响应导出的第二MCR之间的比值；以及
基于所述比值至少确定所述相应的计算深度。
4.如权利要求1所述的方法，其中：
所述对象与存储的通用对象模型相关联，所述存储的通用对象模型针对多个3D特征区域中的每个3D特征区域定义所述相应的预期深度和/或所述相应的预期纹理特征；并且
所述验证信号指示所述对象是否为欺骗。
5.如权利要求1所述的方法，其中：
每个3D特征区域与在所述捕获之前的操作的配准阶段期间从用户获得并存储的所述相应的预期深度和/或所述相应的预期纹理特征预先关联；以及
所述验证信号指示所述对象是否为欺骗。
6.如权利要求5所述的方法，其中所述验证信号还指示是否验证了所述用户的身份。
7.如权利要求1所述的方法，其中：
所述对象包括用户的多个解剖特征，每个解剖特征具有相应的存储的特征数据，所述特征数据至少指示所述解剖特征的位置、形状、和/或大小，所述存储的特征数据在所述捕获之前的配准阶段期间获得并存储；
所述计算包括针对所述多个解剖特征中的至少某些解剖特征提取与所述存储的特征数据的至少一部分相对应的特征测量值；并且
所述输出包括至少基于将所述特征测量值与所述存储的特征数据进行比较来计算所述用户的生物特征验证，使得所述验证信号进一步指示所述用户的身份是否基于所述生物特征验证而被验证。
8.如权利要求7所述的方法，其中：
所述提取所述特征测量值包括跟踪每个特性子图像的所述相应的第一色度响应和/或所述相应的第二色度响应的亮度分布特性；并且
所述计算所述生物特征验证包括基于所述亮度分布特性来计算所述相应的计算的纹理特征。
9.如权利要求7所述的方法，进一步包括：
至少基于将所述特征测量值与所述存储的特征数据进行比较来计算所述对象的估计的距离数据，
其中所述计算所述相应的计算深度和/或所述相应的计算的纹理特征至少部分地基于所述计算所述估计的距离数据。
10.如权利要求7所述的方法，其中所述计算所述生物特征验证至少部分地与所述计算所述相应的计算深度和/或所述相应的计算的纹理特征并行执行。
11.如权利要求1所述的方法，其中：
所述计算所述相应的计算深度和/或所述相应的计算的纹理特征基于图像亮度统计参数，并且所述计算包括对所述特性子图像中的至少一个特性子图像在所述相应的第一色度响应和所述相应的第二色度响应上对图像亮度统计参数进行归一化。
12.如权利要求1所述的方法，其中：
每个3D特征区域进一步与所述对象上的相应的预期位置相关联；并且
所述识别包括处理所述原始图像数据以基于所述相应的预期位置来识别至少两个3D特征区域的相应的估计位置，以及基于所述相应的估计位置来将所述至少两个3D特征区域中的每个3D特征对应的一个映射到所述原始图像数据。
13.如权利要求1所述的方法，其中：
每个3D特征区域与所述相应的预期深度和所述相应的预期纹理特征相关联；
所述计算包括基于每个特性子图像的所述相应的第一色度响应和所述相应的第二色度响应来计算所述相应的计算深度和所述相应的计算的纹理特征；并且
所述输出基于将每个特性子图像的所述相应的计算深度与对应的3D特征区域的所述相应的预期深度进行比较、以及将每个特性子图像的所述相应的计算的纹理特征与对应的3D特征区域的所述相应的预期纹理特征进行比较。
14.如权利要求1所述的方法，其中所述对象包括人脸的至少一部分。
15.一种用于对象验证的被动图像深度感测***，所述***包括：
透镜组件，所述透镜组件用于接收从对象反射的光并按照相应的焦距来聚焦接收到的光的色度分量，所述对象表征为三维(3D)特征区域，每个3D特征区域与相应的预期深度和/或相应的预期纹理特征相关联；
图像传感器，所述图像传感器与所述透镜组件光学通信并包括多个光电检测器元件，所述光电检测器元件包括用于对所述接收到的光的第一色度分量产生第一色度响应的第一光电检测器元件，以及用于对所述接收到的光的第二色度分量产生第二色度响应的第二光电检测器元件；以及，
处理器，所述处理器被配置为：
通过将所述3D特征区域中对应的3D特征区域映射到原始图像数据，从由所述图像传感器捕获的所述对象的所述原始图像数据中识别多个特性子图像；
针对每个特性子图像，从所述原始图像数据中获得相应的第一色度响应和相应的第二色度响应；
基于每个特性子图像的所述相应的第一色度响应和所述相应的第二色度响应，计算相应的计算深度和/或相应的计算的纹理特征；以及，
基于将每个特性子图像的所述相应的计算深度与对应的3D特征区域的所述相应的预期深度进行比较、和/或将每个特性子图像的所述相应的计算的纹理特征与对应的3D特征区域的所述相应的预期纹理特征进行比较，输出针对所述对象的验证信号。
16.如权利要求15所述的***，其中：
每个相应的第一色度响应对应于从所述对象反射并由所述图像传感器检测到的光的第一波长；
每个相应的第二色度响应对应于从所述对象反射并由所述图像传感器检测到的所述光的第二波长；以及
所述图像传感器能够将所述第一波长与所述第二波长区分开来。
17.如权利要求15所述的***，其中所述处理器被配置为针对每个特性子图像至少通过以下来执行所述计算：
计算从所述相应的第一色度响应导出的第一色度响应幅度(MCR)和从所述相应的第二色度响应导出的第二MCR之间的比值；以及
基于所述比值来至少确定所述相应的计算深度。
18.如权利要求15所述的***，进一步包括：
数据仓库，其上存储有通用对象模型，所述通用对象模型针对多个3D特征区域中的每个3D特征区域定义所述相应的预期深度和/或所述相应的预期纹理特征。
19.如权利要求15所述的***，进一步包括：
数据仓库，其上存储有在通过所述图像传感器捕获所述原始图像数据之前的操作的配准阶段期间从所述对象获得并存储的每个3D特征区域的所述相应的预期深度和/或所述相应的预期纹理特征。
20.如权利要求15所述的***，进一步包括：
数据仓库，其上存储有所述对象的多个确定性特征中的每个确定性特征的相应的特征数据，存储的特征数据至少指示所述确定性特征的位置、形状、和/或大小，存储的确定性特征在所述图像传感器捕获所述原始图像数据之前的操作的配准阶段期间获得并存储；
其中所述处理器被配置为至少通过针对所述多个确定性特征中的至少某些确定性特征提取与所述特征数据的至少一部分相对应的特征测量值来执行所述计算；并且
其中所述处理器被配置为至少通过计算与所述对象关联的用户的生物特征验证来执行所述输出，所述生物特征验证至少是基于所述特征测量值和所述特征数据的比较。
21.如权利要求20所述的***，其中：
所述提取所述特征测量值包括跟踪每个特性子图像的所述相应的第一色度响应和/或所述相应的第二色度响应的亮度分布特性；并且
所述计算所述生物特征验证包括基于所述亮度分布特性来计算所述相应的计算的纹理特征。
22.如权利要求20所述的***，其中所述处理器进一步被配置为：
至少基于将所述特征测量值与所述存储的特征数据进行比较来计算所述对象的估计距离数据，
其中所述计算所述相应的计算深度和/或所述相应的计算的纹理特征至少部分地基于所述计算所述估计的距离数据。
23.如权利要求20所述的***，其中所述处理器被配置为至少部分地与所述计算所述相应的计算深度和/或所述相应的计算的纹理特征并行地计算所述生物特征验证。
24.如权利要求20所述的***，进一步包括：
照明源，所述照明源将探测照明投射到包括所述对象的所述图像传感器的视场的一个或多个位置上以产生所述确定性特征中的一个或多个。
25.如权利要求15所述的***，其中：
所述计算所述相应的计算深度和/或所述相应的计算的纹理特征基于图像亮度统计参数，并且所述计算包括针对所述特性子图像中的至少一个特性子图像来跨所述相应的第一色度响应和所述相应的第二色度响应对所述图像亮度统计参数进行归一化。
26.如权利要求15所述的***，其中：
每个3D特征区域进一步与所述对象上的相应的预期位置相关联；并且
所述处理器被配置为至少通过以下来执行所述识别：处理所述原始图像数据以基于所述相应的预期位置来识别至少两个3D特征区域的相应的估计位置，以及基于所述相应的估计位置来将所述至少两个3D特征区域中的每个3D特征对应的一个映射到所述原始图像数据。
27.如权利要求15所述的***，其中所述被动图像深度感测***被配置为被集成在便携式电子设备中。
28.如权利要求15所述的***，其中所述被动图像深度感测***被配置为与访问控制功能耦合，所述访问控制功能被配置为基于所述验证信号来允许或拒绝对物理或电子资源的访问。
CN202111185550.1A 2020-10-14 2021-10-12 用于基于色度差的对象验证的被动图像深度感测 Active CN113916377B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063091315P 2020-10-14 2020-10-14
US63/091,315 2020-10-14
US17/373,794 US11741748B2 (en) 2020-10-14 2021-07-13 Passive image depth sensing for object verification based on chromatic differentiation
US17/373,794 2021-07-13

Publications (2)

Publication Number Publication Date
CN113916377A CN113916377A (zh) 2022-01-11
CN113916377B true CN113916377B (zh) 2023-05-16

Family

ID=79239399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111185550.1A Active CN113916377B (zh) 2020-10-14 2021-10-12 用于基于色度差的对象验证的被动图像深度感测

Country Status (2)

Country Link
US (1) US11741748B2 (zh)
CN (1) CN113916377B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000209598A (ja) * 1999-01-20 2000-07-28 Nikon Corp ホワイトバランス調整機能を備える電子カメラ
EP1343308A2 (en) * 2002-03-06 2003-09-10 Xerox Corporation Use of spectral sensors for automatic media identification and improved scanner correction
CN107257992A (zh) * 2015-03-09 2017-10-17 卡尔斯特里姆保健公司 用于牙科3d扫描仪的纹理映射的设备和方法
CN110766758A (zh) * 2019-09-12 2020-02-07 浙江大华技术股份有限公司 标定方法、装置、***及存储装置
CN111670576A (zh) * 2017-12-05 2020-09-15 艾瑞3D有限公司 用于深度获取的光场图像处理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9767586B2 (en) * 2014-07-11 2017-09-19 Microsoft Technology Licensing, Llc Camera system and method for hair segmentation
US10372974B2 (en) 2017-01-11 2019-08-06 Microsoft Technology Licensing, Llc 3D imaging recognition by stereo matching of RGB and infrared images
SG10201906721SA (en) * 2019-07-19 2021-02-25 Nec Corp Method and system for chrominance-based face liveness detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000209598A (ja) * 1999-01-20 2000-07-28 Nikon Corp ホワイトバランス調整機能を備える電子カメラ
EP1343308A2 (en) * 2002-03-06 2003-09-10 Xerox Corporation Use of spectral sensors for automatic media identification and improved scanner correction
CN107257992A (zh) * 2015-03-09 2017-10-17 卡尔斯特里姆保健公司 用于牙科3d扫描仪的纹理映射的设备和方法
CN111670576A (zh) * 2017-12-05 2020-09-15 艾瑞3D有限公司 用于深度获取的光场图像处理方法
CN110766758A (zh) * 2019-09-12 2020-02-07 浙江大华技术股份有限公司 标定方法、装置、***及存储装置

Also Published As

Publication number Publication date
CN113916377A (zh) 2022-01-11
US20220114359A1 (en) 2022-04-14
US11741748B2 (en) 2023-08-29

Similar Documents

Publication Publication Date Title
US10119806B2 (en) Information processing apparatus and information processing method
KR102667740B1 (ko) 영상 정합 방법 및 장치
US20050111705A1 (en) Passive stereo sensing for 3D facial shape biometrics
US20150302263A1 (en) Biometric identification, authentication and verification using near-infrared structured illumination combined with 3d imaging of the human ear
KR101276345B1 (ko) 다중 생체 인식 장치 및 방법
WO2021074034A1 (en) Systems and methods for using machine learning for image-based spoof detection
WO2019163065A1 (ja) なりすまし検知装置、なりすまし検知方法、及びコンピュータ読み取り可能な記録媒体
KR20180134280A (ko) 3차원 깊이정보 및 적외선정보에 기반하여 생체여부의 확인을 행하는 얼굴인식 장치 및 방법
US10445606B2 (en) Iris recognition
CN109661668B (zh) 用于虹膜识别的图像处理方法和***
KR101444538B1 (ko) 3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법
KR20140118837A (ko) 화상 보정 장치, 화상 보정 방법 및 생체 인증 장치
KR101919090B1 (ko) 3차원 깊이정보 및 적외선정보에 기반하여 생체여부의 확인을 행하는 얼굴인식 장치 및 방법
WO2019163066A1 (ja) なりすまし検知装置、なりすまし検知方法、及びコンピュータ読み取り可能な記録媒体
CN112668540A (zh) 生物特征采集识别***及方法、终端设备和存储介质
CN114387629A (zh) 生物体认证装置及生物体认证方法
WO2021166289A1 (ja) データ登録装置、生体認証装置、および記録媒体
CN113916377B (zh) 用于基于色度差的对象验证的被动图像深度感测
CN112668539A (zh) 生物特征采集识别***及方法、终端设备和存储介质
EP3312767B1 (en) Image capturing apparatus and biometric authentication apparatus
EP3724815B1 (en) Anti-spoofing face id sensing based on retro-reflection
CN114286951B (zh) 基于色焦差异的被动三维图像感测
JP7207506B2 (ja) なりすまし検知装置、なりすまし検知方法、及びプログラム
KR100572410B1 (ko) 홍채 인식을 위한 동공 영역 추정방법
JP7272418B2 (ja) なりすまし検知装置、なりすまし検知方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant