CN111598065A - 深度图像获取方法及活体识别方法、设备、电路和介质 - Google Patents

深度图像获取方法及活体识别方法、设备、电路和介质 Download PDF

Info

Publication number
CN111598065A
CN111598065A CN202010720275.8A CN202010720275A CN111598065A CN 111598065 A CN111598065 A CN 111598065A CN 202010720275 A CN202010720275 A CN 202010720275A CN 111598065 A CN111598065 A CN 111598065A
Authority
CN
China
Prior art keywords
image
infrared
recognized
living body
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010720275.8A
Other languages
English (en)
Other versions
CN111598065B (zh
Inventor
张晓琳
王欢
赵军
周骥
冯歆鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NextVPU Shanghai Co Ltd
Original Assignee
NextVPU Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NextVPU Shanghai Co Ltd filed Critical NextVPU Shanghai Co Ltd
Priority to CN202010720275.8A priority Critical patent/CN111598065B/zh
Publication of CN111598065A publication Critical patent/CN111598065A/zh
Application granted granted Critical
Publication of CN111598065B publication Critical patent/CN111598065B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开一种深度图像获取方法及活体识别方法、设备、电路和介质。所述深度图像获取方法包括：开启红外光源，以提供双目红外相机拍摄所需的光照，其中所述双目红外相机包括第一红外相机和第二红外相机；获取所述双目红外相机在所述光照下拍摄的红外目标图像，所述红外目标图像包括第一红外图像和第二红外图像，所述第一红外图像为所述第一红外相机拍摄的图像，所述第二红外图像为所述第二红外相机拍摄的图像，所述第一红外图像和第二红外图像均包括待识别对象；以及基于所述第一红外图像和第二红外图像，确定包括所述待识别对象的深度图像。

Description

深度图像获取方法及活体识别方法、设备、电路和介质
技术领域
本申请涉及人工智能技术领域，特别涉及一种深度图像获取方法及活体识别方法、设备、电路和介质。
背景技术
随着人工智能地不断发展，人脸识别作为一种生物识别技术，广泛地应用在安防、支付等领域。在人脸识别技术中，为了防止被人脸照片攻破，需要利用人脸的深度图像进行活体识别。根据相关公开，可以利用结构光技术和飞行时间（Time of flight，简称“TOF”）技术来获取人脸的深度图像。
结构光技术的基本原理是：通过近红外激光器，将具有一定结构特征（例如散斑图案）的光线投射到被拍摄物体上，再由专门的红外摄像头进行采集。这种具备一定结构的光线，会因被摄物体的不同深度区域反射，而采集不同的图像相位信息。然后通过运算单元将这种结构的变化换算成深度信息，以此来获得三维图像。再将获取到的信息进行更深入的应用。
TOF技术的基本原理是：激光源发射一定视野角激光，碰到物体以后会反射回来。收光器件为带电荷保持的光敏二极管阵列（CCD）。通过捕捉激光来回的时间，能快速准确计算出到距离信息（即深度信息），以此来获得三维结构。
上述两种技术都是通过光学手段来获取被拍摄物体的深度图像，对光学仪器要求较高。
在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。
发明内容
根据本公开的一方面，提供一种深度图像获取方法，包括：开启红外光源，以提供双目红外相机拍摄所需的光照，其中所述双目红外相机包括第一红外相机和第二红外相机；获取所述双目红外相机在所述光照下拍摄的红外目标图像，所述红外目标图像包括第一红外图像和第二红外图像，所述第一红外图像为所述第一红外相机拍摄的图像，所述第二红外图像为所述第二红外相机拍摄的图像，所述第一红外图像和第二红外图像均包括待识别对象；以及基于所述第一红外图像和第二红外图像，确定包括所述待识别对象的深度图像；其中，基于所述第一红外图像和第二红外图像，确定包括所述待识别对象的深度图像包括：获取包围所述第一红外图像中的所述待识别对象的第一边界框，以及包围所述第二红外图像中的所述待识别对象的第二边界框；以及基于所述第一红外图像、第二红外图像、所述第一边界框和第二边界框，确定包括所述待识别对象的深度图像。
根据本公开的另一方面，提供一种活体识别方法，包括：执行上述的深度图像获取方法；以及至少部分地基于所述深度图像，确定第三识别结果，所述第三识别结果指示所述待识别对象是否为活体。
根据本公开的另一方面，提供一种电子电路，包括被配置为执行上述的深度图像获取方法的步骤的电路。
根据本公开的另一方面，提供一种深度图像获取设备，包括：红外光源，被配置为提供双目红外相机拍摄所需的光照；双目红外相机，包括第一红外相机和第二红外相机，被配置为拍摄红外目标图像，所述红外目标图像包括第一红外图像和第二红外图像，所述第一红外图像为所述第一红外相机拍摄的图像，所述第二红外图像为所述第二红外相机拍摄的图像，所述第一红外图像和第二红外图像均包括待识别对象；以及上述的电子电路。
根据本公开的另一方面，提供一种电子电路，包括：被配置为执行上述的活体识别方法的步骤的电路。
根据本公开的另一方面，提供一种活体识别设备，包括：红外光源，被配置为提供双目红外相机拍摄所需的光照；双目红外相机，包括第一红外相机和第二红外相机，被配置为拍摄红外目标图像，所述红外目标图像包括第一红外图像和第二红外图像，所述第一红外图像为所述第一红外相机拍摄的图像，所述第二红外图像为所述第二红外相机拍摄的图像，所述第一红外图像和第二红外图像均包括待识别对象；以及上述的电子电路。
根据本公开的另一方面，提供一种电子设备，包括：处理器；以及存储程序的存储器，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行上述的深度图像获取方法或上述的活体识别方法。
根据本公开的另一方面，提供一种存储程序的非暂态计算机可读存储介质，所述程序包括指令，所述指令在由电子设备的处理器执行时，致使所述电子设备执行上述的深度图像获取方法或上述的活体识别方法。
附图说明
附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
图1是示出根据本公开示例性实施例的深度图像获取方法的流程图；
图2是示出根据示例性实施例的双目视觉的原理示意图；
图3和图4是示出根据本公开示例性实施例的深度图像获取方法的流程图；
图5是示出根据本公开示例性实施例的单步多框检测神经网络模型的检测原理示意图；
图6是示出根据本公开示例性实施例的深度图像获取方法的流程图；
图7-图9是示出根据本公开示例性实施例的活体识别方法的流程图；
图10-图14是示出根据示例性实施例的比对方法的流程图；
图15是示出能够应用于示例性实施例的示例性计算设备的结构框图。
具体实施方式
在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
在人脸识别技术中，基于深度图像可以实现活体识别，能够达到防攻击的目的。根据相关技术，获取深度图像的技术可以包括结构光技术和TOF技术。结构光技术和TOF技术都是采用主动向人脸投射具有一定结构的光线，通过采集的人脸反射的光线来获取深度信息，由此来获取人脸的深度图像。通过投射具有一定结构特征的光线来获取深度信息的方式，对光学仪器的要求较高，诸如结构光技术采用的散斑投射仪，导致成本较高。
为了解决上述技术问题，本公开提供一种深度图像获取方法，通过红外光源提供拍摄所需的光照，获取双目红外相机在所述光照下拍摄的两个包括待识别对象的红外图像。然后基于所述两个红外图像，可以利用双目视觉原理来获取包括待识别对象的深度图像。由此，不需要能够投射具有一定结构特征光线的光学仪器，仅用红外光源直接提供拍摄待识别对象所需的光照即可，成本较低。通过红外光源照射待识别对象能够保证双目红外相机拍摄得到清晰的红外图像，从而能够基于两个红外图像来获取深度图像，而且环境适应性强，适用于弱光和强光拍摄场景。
本公开的深度图像获取方法可以应用于智能识别领域（例如人脸识别）、机器视觉领域和自动驾驶领域等。
根据具体的应用领域，所述待识别对象可以不同。例如，在智能识别领域，所述待识别对象可以为人脸、动物等。在机器视觉领域，所述待识别对象可以为机器人所处场景中的任一对象。在自动驾驶领域，所述待识别对象可以为汽车、行人、自行车等。
以下将结合附图对根据本公开实施例的深度图像获取方法进行进一步描述。
图1是示出根据本公开示例性实施例的深度图像获取方法的流程图。如图1所示，所述深度图像获取方法可以包括：步骤S101、开启红外光源，以提供双目红外相机拍摄所需的光照，其中所述双目红外相机包括第一红外相机和第二红外相机；步骤S102、获取所述双目红外相机在所述光照下拍摄的红外目标图像，所述红外目标图像包括第一红外图像和第二红外图像，所述第一红外图像为所述第一红外相机拍摄的图像，所述第二红外图像为所述第二红外相机拍摄的图像，所述第一红外图像和第二红外图像均包括待识别对象；以及步骤S103、基于所述第一红外图像和第二红外图像，确定包括所述待识别对象的深度图像。
所述红外光源可以为近红外光源，发出的近红外光线的波长为0.75-1.4微米，例如可以为940纳米或850纳米。近红外光线对影像的增强非常敏锐，能够使得双目红外相机在晚上也能够获得清晰图像。
所述双目红外相机可以是独立装置（例如照相机、视频摄像机、摄像头等），也可以包括在各类电子设备（例如移动电话、计算机、个人数字助理、平板电脑、可穿戴设备等）中。
所述红外目标图像可以是通过双目红外相机获取的电子图像数据。所述红外目标图像也可以是经过了一些预处理的图像，所述预处理例如可以包括但不限于图像增强、去噪、模糊去除等等。
如图2所示，双目视觉的原理可以为：双目红外相机包括第一红外相机和第二红外相机，第一红外相机的第一光心O l 和第二红外相机的第二光心O r 在x轴上的间隔距离为T。图2中长为L的两条线段分别表示第一红外相机的像面和第二红外相机的像面，第一光心O l 和第二光心O r 到相应的像面的最短距离为焦距f。待识别对象上的一点P，其在第一红外相机上的成像点（可以对应一个像素）为PL，在第二红外相机上的成像点（可以对应一个像素）为PR。PL和PR与各自像面的左边缘的距离分别为x l 和x r 。可以定义点P在第一红外相机和第二红外相机中的成像视差为x l -x r 或者是x r -x l 。在双目红外相机标定和匹配后，f、T、x l 、x r 都能够直接得到。根据三角关系可以得到：
Figure 219077DEST_PATH_IMAGE001
根据上述公式可以计算得到点P与第一红外相机和第二红外相机之间的距离Z（即深度）。
以所述待识别对象为人脸为例，所述点P例如可以为眼睛的瞳孔中心、眼角、鼻尖、嘴角等特征点。通过获取瞳孔中心在第一红外目标图像中的第一像素坐标和在第二红外红标图像中的第二像素坐标，可以计算得到瞳孔中心在两个红外相机中的成像视差。然后可以利用上述公式计算得到瞳孔中心的深度Z。同样地，可以利用上述方法计算得到眼角、鼻尖、嘴角等特征点的深度。根据多个特征点的深度信息，能够获取人脸的深度图像。
根据一些实施例，如图3所示，所述深度图像获取方法还可以包括：步骤S104、将所述深度图像与所述第一红外图像或第二红外图像进行融合，得到融合图像。从而得到的融合图像既具有深度信息又具有红外图像的灰度、亮度等信息，基于融合图像能够提高后续控制或识别的准确性。例如，在机器视觉、自动驾驶等领域，基于融合图像能够提高控制的准确性。在智能识别等领域，基于融合图像能够提高识别的准确性。
根据一些实施例，结合图1和图4所示，步骤S103可以包括：步骤S1031、获取包围所述第一红外图像中的所述待识别对象的第一边界框，以及包围所述第二红外图像中的所述待识别对象的第二边界框；以及步骤S1032、基于所述第一红外图像、第二红外图像、所述第一边界框和第二边界框，确定包括所述待识别对象的深度图像。由此，能够实现待识别对象位于边界框限定的有效图像区域内，从而能够仅针对红外图像的有效图像区域来确定包括待识别对象的深度图像。由于第一红外图像和第二红外图像中待识别对象的视差可能存在大于设定的视差阈值（可以根据硬件的计算能力和存储空间来设定）的情况，这样会导致重建深度图像的计算量过大，计算过程中也会产生更多的中间数据，需要更大的存储空间，从而导致硬件上不能满足需求，影响深度图像的重建。上述技术方案通过仅针对第一红外图像和第二红外图像中相应的两个有效图像区域来重建深度图像，而两个有效图像区域中待识别对象的视差小于第一红外图像和第二红外图像中待识别对象的视差，从而能够解决视差过大会影响重建深度图像的问题。另外，仅基于红外图像的有效图像区域来重建深度图像，能够减少计算量，从而能够提高运算速度，缩短重建深度图像的时间。
根据一些实施例，所述第一边界框和第二边界框可以为包围所述待识别对象的最小矩形框，或将包围待识别对象的最小矩形框向上、下、左和/或右膨胀一定的倍数后得到的矩形框。当然，所述第一边界框和第二边界框也可以为其它形状的多边形框、圆形框或不规则的曲线框等，只要能够包围所述待识别对象并且限定的区域内除所述待识别对象以外不具有较复杂背景即可，在此不作限定。
根据一些实施例，包围所述初始图像中的所述待识别对象的边界框可以由用户标记，或采用其它可根据待识别对象的形状来获取边界框的方式获得，只要能够实现所述边界框包围所述初始图像中的所述待识别对象即可。例如：可以检测待识别对象的边界特征，然后根据所述边界特征确定包围待识别对象的最小矩形框为所述边界框，或将包围待识别对象的最小矩形框向上、下、左和/或右膨胀一定的倍数后得到所述边界框。
根据一些实施例，也可以通过将包括待识别对象的红外图像输入单步多框检测（英文全名为Single Shot Multi-Box Detector，简称为“SSD”）神经网络模型，来获取包围所述红外图像中的所述待识别对象的边界框。相应地，步骤S1031可以包括：将所述第一红外图像输入第一单步多框检测神经网络模型；获取所述第一单步多框检测神经网络模型输出的所述第一边界框；将所述第二红外图像输入所述第一单步多框检测神经网络模型；以及获取所述第一单步多框检测神经网络模型输出的所述第二边界框。由于SSD神经网络能够对多个不同尺度的特征图进行检测，错误率低。而且只需要一步即可完成对输入图像中的对象进行分类和位置检测，检测速度快。
下面对SSD神经网络的检测原理和训练过程进行描述。
SSD 神经网络的结构可以建立在VGG、mobileNet、ResNet等卷积神经网络的基础上，以实现特征提取。图5中示出的SSD 神经网络的结构是建立在 VGG-16 的基础上，VGG-16是一种经典的卷积神经网络结构，可以提供高质量的图像分类和迁移学习来改善输出结果。SSD 神经网络在 VGG-16 的基础上进行了如下修改：取消全连接层，替换为一系列辅助卷积层（Conv6~Conv11）。通过使用辅助卷积层，并逐步减小每个辅助卷积层的尺寸（像素数），可以提取图像多个尺度的特征图。不同特征图设置不同尺度的预检测框，同一特征图设置多个不同长宽比的预检测框，采用卷积对不同的特征图直接进行检测，输出预测的边界框。输出的预测的边界框包括其类别置信度和位置参数。大尺度（即大尺寸）特征图可以用来检测小物体，而小尺度特征图用来检测大物体。因此，SSD神经网络只需要一步即可完成分类和位置检测，检测速度快、错误率低。其中，类别置信度和边界框位置各采用一次卷积来检测。下面以一个示例性实施例来说明SSD神经网络的检测原理：假设一特征图100所采用的预检测框的数目为n，特征图中对象的类别数为c，那么类别置信度需要数量为n×c的卷积核来检测，而边界框的位置（可以由边界框的中心坐标、宽和高四个参数表示）需要数量为n×4的卷积核来检测。VGG-16 的卷积层Conv4输出的特征图可以作为用于检测的第一个特征图。新增的辅助卷积层中可以提取Conv7，Conv8，Conv9，Conv10，Conv11输出的特征图作为检测所用的特征图，加上Conv4，共提取了6个特征图，其大小分别是38×38、19×19、10×10、5×5、3×3、1×1。由于每个预检测框都会预测一个边界框， SSD神经网络一共可以预测（即输出）38×38×（4）+19×19×（6）+10×10×（6）+5×5×（6）+3×3×（4）+1×1×（4）=8732个边界框，其中，括号里的数字代表该特征图设置的预检测框的数目。然后，通过检测器200对预测的边界框进行分类和回归。最后通过非极大值抑制（英文全称为Non-maximum suppression，简称为NMS）算法过滤掉非极大值，输出每一对象对应的边界框，包括其类别（类别置信度最大）和位置参数。
根据一些实施例，所述边界框可以为矩形框。SSD神经网络模型输出的边界框可以包括边界框的特征点（可以为边界框的中心或顶点等）位置、宽和高。当然，所述边界框也可以包括其它能够表示位置信息的参数组合，在此不作限定。在抠图处理过程中，可以根据具体的需求来选择使用边界框的哪类位置参数。
根据一些实施例，所述单步多框检测神经网络模型的训练过程可以包括：获取包括所述待识别对象的样本图像，并在所述样本图像中标记包围所述待识别对象的目标框；将所述样本图像输入至单步多框检测神经网络，输出包括类别为所述待识别对象的边界框；利用损失函数计算所述边界框和对应的目标框之间的损失值；根据所述损失值调整所述单步多框检测神经网络的参数。训练的目的是调整SSD神经网络的参数使得边界框的位置逼近目标框，同时提高类别置信度。
根据一些实施例，所述损失函数可以为边界框的类别置信度误差和边界框位置误差的加权和。在训练过程中可以通过梯度下降法以及反向传播机制不断减少所述损失值，使得边界框的位置逼近目标框，同时提高类别置信度。通过多次优化，不断增强网络模型检测对象的效果，最终得到一个最优的对象检测模型。
根据一些实施例，所述目标框可以为包围所述待识别对象的最小矩形框。因此，所述边界框也相应为包围所述待识别对象的最小矩形框。
根据一些实施例，SSD神经网络模型的训练过程中采用的样本图像集例如可以包括在不同拍摄背景下调整摄像机和待识别对象之间的相对距离获取的包括待识别对象的多个样本图像，以及在不同拍摄背景下调整摄像机和待识别对象之间的相对角度获取的包括待识别对象的多个样本图像。
本公开的上述技术方案通过将包括待识别对象的红外图像输入SSD神经网络模型，能够快速、准确获取包围待识别对象的边界框。
根据一些实施例，步骤S1032、基于所述第一红外图像、第二红外图像、所述第一边界框和第二边界框，确定包括所述待识别对象的深度图像可以包括：基于所述第一红外图像和所述第一边界框，修改所述第一红外图像中的除所述第一边界框限定的第一有效图像区域以外的区域的像素值；基于所述第二红外图像和所述第二边界框，修改所述第二红外图像中除所述第二边界框限定的第二有效图像区域以外的区域的像素值；以及基于所述第一有效图像区域和所述第二有效图像区域，确定包括所述待识别对象的深度图像。由此，通过修改红外图像的除包括待识别对象的有效抠图像区域以外的区域的像素值，可以克服拍摄背景可能会影响获取包括待识别对象的深度图像的问题。
根据一些实施例，可以修改所述第一红外图像中除第一有效图像区域以外的区域的像素值以获得第一背景区域，以及修改所述第二红外图像中除第二有效图像区域以外的区域的像素值以获得第二背景区域。例如，可以将所述第一红外图像中除第一有效图像区域以外的区域的像素值修改为位于0~255之间的灰色像素值，以获得第一背景区域。可以将所述第二红外图像中除第二有效图像区域以外的区域的像素值修改为位于0~255之间的灰色像素值，以获得第二背景区域。还可以将所述第一红外图像中除第一有效图像区域以外的区域的像素值以及所述第二红外图像中除第二有效图像区域以外的区域的像素值修改为“0”或“255”，以获得全黑或全白的背景区域。还可以通过对所述第一红外图像中除第一有效图像区域以外的区域以及所述第二红外图像中除第二有效图像区域以外的区域进行透明化或模糊化等处理以获得背景区域。
根据另一些实施例，也可以直接将包括待识别对象的有效图像区域从拍摄得到的红外图像中提取出来，并基于提取出来的图像来包括待识别对象的深度图像，也能够解决视差过大会影响重建深度图像的问题，并缩短重建深度图像的时间。
根据一些实施例，步骤S1032、基于所述第一红外图像、第二红外图像、所述第一边界框和第二边界框，确定包括所述待识别对象的深度图像可以包括：基于所述第一红外图像和所述第一边界框，确定所述第一红外图像中的与所述待识别对象相关联的多个第一关键点；基于所述第二红外图像和所述第二边界框，确定所述第二红外图像中的与所述多个第一关键点中的每一个第一关键点对应的第二关键点；根据所述多个第一关键点中的每一个第一关键点与多个第二关键点中的与该第一关键点对应的第二关键点之间的视差，确定所述待识别对象的多个特征点的深度信息；以及基于所述多个特征点的深度信息，确定包括所述待识别对象的深度图像。由此，能够基于包围所述待识别对象的边界框来提高获取的与待识别对象相关联的多个关键点的准确性，克服拍摄背景可能会影响准确获取与待识别对象相关联的多个关键点的问题，从而能够提高获取的深度图像的质量。
所述第一关键点和第二关键点可以为所述待识别对象的同一特征点分别在所述第一红外图像和第二红外图像中对应的一个像素。以所述待识别对象为人脸为例，所述多个第一关键点和多个第二关键点可以包括眼睛的瞳孔中心、眼角、鼻尖或嘴角分别在所述第一红外图像和第二红外图像中对应的像素。需要说明的是，在此仅是举例说明关键点的含义，并不限定所述待识别对象只能为人脸。
根据一些实施例，步骤S104中可以基于相应的所述多个第一关键点（或多个第二关键点），将所述深度图像与所述第一红外图像（或第二红外图像）进行融合，得到融合图像。从而能够提高融合效率和准确性。
在双目红外相机执行拍摄时，所述待识别对象可能存在被遮挡的问题，这可能会影响后续准确获取包括待识别对象的深度图像。基于此，根据一些实施例，如图6所示，所述深度图像获取方法还可以包括：步骤S201、确定所述第一红外图像和第二红外图像中的所述待识别对象是否被遮挡；以及步骤S202、响应于确定第一红外图像或第二红外图像中的所述待识别对象被遮挡，提示重新获取红外目标图像。可以响应于确定所述第一红外图像和第二红外图像中的所述待识别对象均未被遮挡，执行步骤S103、基于所述第一红外图像和第二红外图像，确定包括待识别对象的深度图像。当然，也可以先确定第一红外图像中的所述待识别对象是否被遮挡，可以响应于确定第一红外图像中的所述待识别对象被遮挡，提示重新获取红外目标图像，而响应于确定第一红外图像中的所述待识别对象未被遮挡，再确定第二红外图像中的所述待识别对象是否被遮挡。或者，可以仅基于所述第一红外图像来确定所述待识别对象是否被遮挡，即，响应于确定所述第一红外图像中的所述待识别对象被遮挡，提示重新获取红外目标图像，而响应于确定所述第一红外图像中的所述待识别对象未被遮挡，执行步骤S103。
根据一些示例性实施例，步骤S201中可以并行执行确定所述第一红外图像中的所述待识别对象是否被遮挡，以及确定所述第二红外图像中的所述待识别对象是否被遮挡。
根据另一些示例性实施例，步骤S201中也可以依次确定所述第一红外图像和所述第二红外图像中的所述待识别对象是否被遮挡。例如，先确定所述第一红外图像中的所述待识别对象是否被遮挡，然后确定所述第二红外图像中的所述待识别对象是否被遮挡。
根据一些实施例，可以通过训练得到第二单步多框检测神经网络模型。通过将红外图像输入第二单步多框检测神经网络模型，能够同时输出包围红外图像中的待识别对象的边界框和指示所述待识别对象是否被遮挡的识别结果。
在一个示例性实施例中，可以依次确定第一红外相机拍摄的第一红外图像和第二红外相机拍摄的第二红外图像中的所述待识别对象是否被遮挡，并且可以响应于确定第一红外图像或第二红外图像中的所述待识别对象被遮挡，确定所述待识别对象是否被遮挡。以先确定第一红外相机拍摄的第一红外图像中的所述待识别对象是否被遮挡为例，相应地，步骤S1031中获取所述第一边界框可以包括：将所述第一红外图像输入所述第二单步多框检测神经网络模型；以及获取所述第二单步多框检测神经网络模型输出的所述第一边界框和第一识别结果，所述第一识别结果指示所述待识别对象是否被遮挡。所述深度图像获取方法还可以包括：响应于所述第一识别结果指示所述待识别对象被遮挡，确定所述待识别对象被遮挡；响应于确定所述待识别对象被遮挡，提示重新获取红外目标图像。可以响应于所述第一识别结果指示所述待识别对象未被遮挡，再确定第二红外相机拍摄的第二红外图像中的所述待识别对象是否被遮挡，具体的实现方式可以与上述相同。从而能够在基于第一红外图像确定所述待识别对象被遮挡的情况下，不需要再确定所述第二红外图像中的所述待识别对象是否被遮挡，提高检测效率。
在另一个示例性实施例中，可以在获取指示所述第一红外图像和第二红外图像中的待识别对象是否被遮挡的指示结果之后，基于所述第一红外图像和第二红外图像相应的两个指示结果来确定所述待识别对象是否被遮挡。相应地，步骤S1031、获取所述第一边界框和第二边界框可以包括：将所述第一红外图像输入第二单步多框检测神经网络模型；获取所述第二单步多框检测神经网络模型输出的所述第一边界框和第一识别结果，所述第一识别结果指示所述待识别对象是否被遮挡；将所述第二红外图像输入所述第二单步多框检测神经网络模型；以及获取所述第二单步多框检测神经网络模型输出的所述第二边界框和第二识别结果，所述第二识别结果指示所述待识别对象是否被遮挡。所述深度图像获取方法还可以包括：响应于所述第一识别结果和/或第二识别结果指示所述待识别对象被遮挡，确定所述待识别对象被遮挡；响应于确定所述待识别对象被遮挡，提示重新获取红外目标图像。根据一些实施例，可以将所述第一红外图像和第二红外图像同时输入第二单步多框检测神经网络模型，以获取所述第一识别结果和第二识别结果，能够提高检测效率。
根据本公开的另一方面还提供一种电子电路，包括被配置为执行上述的深度图像获取方法的步骤的电路。
根据本公开的另一方面还提供一种深度图像获取设备，包括：红外光源，被配置为提供双目红外相机拍摄所需的光照；双目红外相机，包括第一红外相机和第二红外相机，被配置为拍摄红外目标图像，所述红外目标图像包括第一红外图像和第二红外图像，所述第一红外图像为所述第一红外相机拍摄的图像，所述第二红外图像为所述第二红外相机拍摄的图像，所述第一红外图像和第二红外图像均包括待识别对象；如上所述的电子电路。
下面以基于人脸图像的活体识别为例来对根据本公开实施例的深度图像获取方法的具体应用进行进一步描述。需要说明的是，在此仅是以人脸识别为例来进行说明，并不是限定本公开的活体识别方法仅能适用于人脸活体识别。
图7是示出根据本公开示例性实施例的活体识别方法的流程图。如图7所示，所述活体识别方法可以包括：执行上述的深度图像获取方法；以及步骤S105、至少部分地基于所述深度图像，确定第三识别结果，所述第三识别结果指示所述待识别对象是否为活体。由此，不需要能够投射具有一定结构特征光线的光学仪器，仅用普通的红外光源直接提供拍摄待识别对象所需的光照即可，成本较低，并且利用双目视觉原理来获取包括待识别对象的深度图像，用于活体识别，环境适应性强，适用于弱光和强光拍摄场景。
根据一些实施例，结合图7和图8所示，当所述深度图像获取方法包括：将所述深度图像与所述第一红外图像或第二红外图像进行融合，得到融合图像时，步骤S105可以包括：步骤S1051、至少部分地基于所述深度图像与所述第一红外图像或第二红外图像融合得到的融合图像，确定所述第三识别结果。由于所述融合图像既具有深度信息又具有红外图像的灰度、亮度等信息，能够提高活体识别的准确性。
根据一些示例性实施例，步骤S105中至少部分地基于所述融合图像，确定所述第三识别结果可以包括：基于所述融合图像以及所述第一红外图像中的与所述待识别对象相关联的多个第一关键点，确定所述第三识别结果。从而活体识别过程与待识别对象的关键点相关，能够提高识别的准确性和效率。在一个示例性实施例中，基于所述融合图像以及所述多个第一关键点，确定所述第三识别结果可以包括：将所述融合图像以及所述多个第一关键点输入第一卷积神经网络模型；以及获取所述第一卷积神经网络模型输出的所述第三识别结果。通过神经网络模型能够快速得到识别结果，并且提高识别准确性。所述第一卷积神经网络模型可以为：LeNet-5、AlexNet、ZFNet、VGG-16、GoogLeNet、ResNet、MobileNet等等。例如，MobileNet具有更小的体积，更少的计算量，更快的速度，更高的精度。因此，MobileNet网络在轻量级神经网络中拥有优势，可适用于终端设备。可以理解的是，并不局限于利用神经网络模型来对融合图像中的待识别对象进行活体识别，利用还可以基于传统的分类器（如支持向量机SVM)来进行活体识别，在此不作限定。
根据一些实施例，可以基于所述第一红外图像和包围所述第一红外图像中的待识别对象的第一边界框，来确定所述第一红外图像中的与所述待识别对象相关联的多个第一关键点。其中，所述第一边界框的获取方法已经在上面内容中描述。所述多个第一关键点可以包括人脸的瞳孔中心、眼角、鼻尖、嘴角等特征点对应的像素。
根据另一些实施例，步骤S105也可以包括：基于深度图像以及所述第一红外图像中的与所述待识别对象相关联的多个第一关键点，确定所述第三识别结果。与上述实施例不同的是，不再将所述深度图像与第一红外图像或第二红外图像进行融合，同样也能够实现活体识别过程与待识别对象的关键点相关，能够提高识别的准确性和效率。在一个示例性实施例中，基于深度图像以及所述第一红外图像中的与所述待识别对象相关联的多个第一关键点，确定所述第三识别结果可以包括：将所述深度图像以及所述多个第一关键点输入第二卷积神经网络模型；以及获取所述第二卷积神经网络模型输出的所述第三识别结果。通过神经网络模型能够快速得到识别结果，并且提高识别准确性。所述第二卷积神经网络模型可以为：LeNet-5、AlexNet、ZFNet、VGG-16、GoogLeNet、ResNet、MobileNet等等。例如，MobileNet具有更小的体积，更少的计算量，更快的速度，更高的精度。因此，MobileNet网络在轻量级神经网络中拥有优势，可适用于终端设备。可以理解的是，并不局限于利用神经网络模型来对深度图像中的待识别对象进行活体识别，利用还可以基于传统的分类器（如支持向量机SVM)来进行活体识别，在此不作限定。
根据一些实施例，在执行步骤S105以基于深度图像进行活体识别的同时，还可以基于双目红外相机拍摄得到的两个红外图像中的至少其中之一，来进行活体识别，并基于两个识别结果进行决策来判定待识别对象是否为活体。从而能够提高活体识别的准确性。相应地，如图9所示，所述活体识别方法还可以包括：步骤S106、至少部分地基于所述第一红外图像，确定第四识别结果，所述第四识别结果指示所述待识别对象是否为活体；步骤S107、至少部分地基于所述第二红外图像，确定第五识别结果，所述第五识别结果指示所述待识别对象是否为活体；以及步骤S108、根据所述第四识别结果和第五识别结果中的至少其中之一以及所述第三识别结果进行决策，判定所述待识别对象是否为活体。
需要说明的是，在此并不限定步骤S103和步骤S105（基于深度图像进行活体识别）与步骤S106-步骤S107（基于红外图像进行活体识别）的执行顺序，例如，步骤S103和步骤S105可以与步骤S106-步骤S107并行执行，或者，也可以先执行步骤S106和S107，然后再执行步骤S103和步骤S105。
可以理解的是，若只根据所述第四识别结果（或所述第五识别结果）以及所述第三识别结果进行决策，也可以只确定所述第四识别结果（或所述五识别结果），并不限定必须要同时确定所述第四识别结果和所述五识别结果。也就是说，图9中也可以不同时包括步骤S106和步骤S107，而仅包括步骤S106和步骤S107中的其中之一。
根据一些实施例，在根据所述第四识别结果和第五识别结果以及所述第三识别结果进行决策的情况下，可以在所述第四识别结果和第五识别结果以及所述第三识别结果均指示所述待识别对象为活体时，才判定所述待识别对象为活体，只要所述第四识别结果、第五识别结果和所述第三识别结果中的至少其中一个指示所述待识别对象不为活体，则判定所述待识别对象不为活体。当然，根据所述第四识别结果和第五识别结果以及所述第三识别结果进行决策的策略并不局限于上述一种，例如：还可以在所述第四识别结果、第五识别结果和所述第三识别结果中的至少其中两个指示所述待识别对象为活体时，判定所述待识别对象为活体。或者，为所述第四识别结果、第五识别结果和所述第三识别结果设定不同的权重，可以将所述第四识别结果、第五识别结果和所述第三识别结果与相应的权重相乘之后，再进行求和得到加权和。当计算得到的所述加权和不小于设定阈值时，判定所述待识别对象为活体。否则，当计算得到的所述加权和小于所述设定阈值时，判定所述待识别对象不为活体。
根据一些示例性实施例，确定所述第四识别结果和第五识别结果可以包括：将所述第一红外图像输入第三单步多框检测神经网络模型；获取所述第三单步多框检测神经网络模型输出的第四识别结果；将所述第二红外图像输入所述第三单步多框检测神经网络模型；以及获取所述第三单步多框检测神经网络模型输出的第五识别结果。从而能够通过神经网络模型能够快速得到识别结果，并且提高识别准确性。当然，也可以利用其它类型的卷积神经网络来对输入的红外图像中的待识别对象进行活体识别，并不局限于利用SSD神经网络模型。可以理解的是，并不局限于利用神经网络模型来进行活体识别，利用还可以基于传统的分类器（如支持向量机SVM)来进行活体识别，在此不作限定。
根据一些实施例，所述第三单步多框检测神经网络模型可以与所述第二单步多框检测神经网络模型为同一神经网络模型。也就是说，在通过将包括待识别对象的红外图像输入单步多框检测神经网络模型，来获取包围所述红外图像中的所述待识别对象的边界框以及指示所述待识别对象是否被遮挡的识别结果的同时，还可以获取指示所述待识别对象是否为活体的识别结果。相应地，获取所述第一边界框和第二边界框以及确定所述第四识别结果和第五识别结果可以包括：将所述第一红外图像输入第二单步多框检测神经网络模型；获取所述第一单步多框检测神经网络模型输出的所述第一边界框、第一识别结果和第四识别结果；将所述第二红外图像输入所述第二单步多框检测神经网络模型；以及获取所述第一单步多框检测神经网络模型输出的所述第二边界框、第二识别结果和第五识别结果。由于SSD神经网络能够对多个不同尺度的特征图进行检测，错误率低。而且只需要一步即可完成对输入图像中的对象进行识别和位置检测，检测速度快。
可以理解的是，所述第三单步多框检测神经网络模型也可以与所述第一单步多框检测神经网络模型为同一神经网络模型。也就是说，在通过将包括待识别对象的红外图像输入单步多框检测神经网络模型，来获取包围所述红外图像中的所述待识别对象的边界框的同时，还可以获取指示所述待识别对象是否为活体的识别结果。相应地，获取所述第一边界框和第二边界框以及确定所述第四识别结果和第五识别结果可以包括：将所述第一红外图像输入第一单步多框检测神经网络模型；获取所述第一单步多框检测神经网络模型输出的所述第一边界框和第四识别结果；将所述第二红外图像输入所述第一单步多框检测神经网络模型；以及获取所述第一单步多框检测神经网络模型输出的所述第二边界框和第五识别结果。
在对待识别对象进行活体识别的一些应用场景中，还需要将待识别对象与一个或多个目标对象进行比对，只有当所述待识别对象为活体并且比对结果表明所述待识别对象与其中一个目标对象匹配，才能完成整个识别过程。也就是说，活体识别可以包括确定待识别对象是否为活体的活体判定过程和确定待识别对象是否为目标对象的比对过程。例如，在人脸识别门禁应用场景中，需要针对获取的待识别人脸的图像进行活体判定，还需要通过比对确定待识别人脸是否为目标对象，才能够完成识别过程。只有在待识别人脸判定为活体并且待识别人脸为目标对象时，才打开门禁。在人脸识别支付应用场景中，也需要针对获取的待识别人脸的图像进行活体判定，还需要通过比对确定待识别人脸是否为目标对象，才能够完成识别过程。只有在判定待识别人脸为活体并且待识别人脸为目标对象时，才执行支付。在身份认证应用场景中，也需要针对获取的待识别人脸的图像进行活体判定，还需要通过比对确定待识别人脸是否为目标对象，才能够完成识别过程。只有在判定待识别人脸为活体并且待识别人脸为目标对象时，才认证成功。
基于此，根据一些实施例，如图10所示，所述活体识别方法还可以包括：步骤S301、获取比对目标图像，所述比对目标图像包括所述待识别对象；步骤S302、获取所述比对目标图像中的所述待识别对象的第一图像信息；步骤S303、将所述第一图像信息和至少一个第二图像信息进行比对；以及步骤S304、基于比对结果确定所述待识别对象是否为目标对象。
所述比对目标图像可以为上述双目红外相机拍摄得到的第一红外图像或第二红外图像，也可以为独立设置的彩色相机拍摄得到的彩色图像。
在获取待识别对象的第一图像信息之前，还可以对比对目标图像进行预处理。所述预处理可以包括人脸检测、人脸对齐等。所述第一图像信息可以但不局限于为整个待识别对象的图像编码信息（例如人脸编码信息）。
根据一些实施例，如图10所示，在将所述第一图像信息和第二图像信息进行比对之前还可以包括：步骤S401、确定所述比对目标图像的图像质量是否符合预设标准。其中，将所述第一图像信息和第二图像信息进行比对可以为响应于确定比对目标图像的图像质量符合预设标准而执行。从而能够保证比对目标图像的质量，提高比对结果的准确性。所述活体识别方法还可以包括：步骤S402、响应于比对目标图像的图像质量不符合预设标准，提示重新获取比对目标图像。
以人脸识别为例，确定所述比对目标图像的图像质量是否符合预设标准包括以下各项中的至少一个：确定所述比对目标图像中的所述待识别对象是否被遮挡；确定所述比对目标图像的分辨率是否高于预设分辨率；确定所述比对目标图像中的所述待识别对象的瞳间距是否大于预设距离；确定所述比对目标图像是否曝光不足或过曝；确定所述比对目标图像是否清晰；确定所述比对目标图像中的所述待识别对象是否具有预设表情；以及确定所述比对目标图像中的所述待识别对象的转角是否不大于预设角度。
根据一些实施例，在所述比对目标图像为第一红外图像（或第二红外图像）的情况下，可以根据上述内容中描述的，通过将所述第一红外图像（或第二红外图像）输入所述第二单步多框检测神经网络模型，来获取所述第二单步多框检测神经网络模型输出的所述第一边界框（或第二边界框，即人脸框）和指示所述待识别对象是否被遮挡的第一识别结果（或第二识别结果）。从而能够在确定人脸框的同时，并确定人脸是否被遮挡。还可以基于所述比对目标图像和人脸框，确定与人脸相关联的多个第一关键点（或第二关键点）。所述多个第一关键点（或第二关键点）可以包括瞳孔中心，从而能够确定瞳间距是否大于预设距离，以使得所述比对目标图像中的人脸足够大，能够保证后续比对结果的准确性。
根据一些实施例，在所述比对目标图像为彩色图像的情况下，确定所述比对目标图像的图像质量是否符合预设标准可以包括：将所述彩色图像输入第四单步多框检测神经网络模型；以及获取所述第四单步多框检测神经网络模型输出的第四边界框（即人脸框）和第六识别结果。所述第四边界框能够包围所述彩色图像中的人脸。所述第六识别结果指示所述彩色图像中的人脸是否被遮挡。由于SSD神经网络能够对多个不同尺度的特征图进行检测，错误率低。而且只需要一步即可完成对输入图像中的对象进行分类和位置检测，检测速度快。还可以基于所述彩色图像和人脸框（第四边界框）确定与人脸相关联的多个第四关键点，所述多个第四关键点可以包括瞳孔中心，从而能够确定瞳间距是否大于预设距离，以使得所述比对目标图像中的人脸足够大，能够保证后续比对结果的准确性。
针对所述比对目标图像的分辨率是否高于预设分辨率、是否曝光不出或过曝、是否清晰，可以根据所述比对目标图像来直接确定。如果所述比对目标图像的分辨率不高于预设分辨率，则可以提示重新获取比对目标图像。如果所述比对目标图像欠曝或过曝，则可以提示重新获取比对目标图像。如果所述比对目标图像不清晰，则可以提示重新获取比对目标图像。
所述预设表情例如可以包括大笑、歪嘴、歪脸、闭眼等。如果所述比对目标图像中的待识别对象具有上述预设表情，则可以提示重新获取比对目标图像。
可以基于模型的方法、基于表观的方法或基于分类的方法来获取人脸的转角。如果人脸的转角大于预设角度，则可以提示重新获取比对目标图像。
当确定所述比对目标图像的图像质量符合预设标准，执行将所述第一图像信息和第二图像信息进行比对，能够保证比对结果的准确性。
上述比对过程可以与活体判定过程并行执行。也可以先进行比对，可以响应于确定所述待识别对象为目标对象，执行步骤S101-S105，以进行活体判定。也可以先执行步骤S101-步骤S105进行活体判定，响应于确定所述待识别对象为活体，执行所述步骤S301-步骤S304进行比对。当上述比对过程与活体判定过程并行执行时，可以设置两个数据处理器进行并行数据处理，更加高效。当上述比对过程与活体判定过程为串行执行时，可以仅设置一个数据处理器进行串行数据处理，能够降低功耗。可以根据具体的应用场景来选择上述比对过程与活体判定过程的执行顺序，在此不作限定。
以下内容中将结合几种示例性应用场景来具体描述如何选择上述比对过程与活体判定过程的执行顺序。
当上述比对过程中待比对的所述至少一个第二图像信息的数量不大于预设数值时，可以先进行比对，响应于确定所述待识别对象为目标对象，执行步骤S101-S105，以进行活体判定。当上述比对过程中待比对的所述至少一个第二图像信息的数量大于预设数值时，可以先执行步骤S101- S105进行活体判定，响应于确定所述待识别对象为活体，执行所述步骤S301-步骤S304进行比对。所述预设数值可以根据实际需求设定，在此不作限定。
在人脸识别技术领域中，根据待比对的所述至少一个第二图像信息的数量N，可以划分为N=1、N不大于预设数值和N大于预设数值三种应用场景。N=1的应用场景例如可以但不局限于为身份认证应用场景；N不大于预设数值的应用场景例如可以但不局限于为门禁应用场景或公司考勤应用场景；N大于预设数值的应用场景例如可以但不局限于为支付应用场景或监控应用场景。
根据一些示例性实施例，在N=1的情况下，如图11所示，步骤S303、将所述第一图像信息和至少一个第二图像信息进行比对之前还可以包括：步骤S501、获取包括所述目标对象的采集图像；以及步骤S502、从所述采集图像中确定所述目标对象的所述第二图像信息。从而能够验证所述待识别对象是否为采集图像中的目标对象，能够实现身份认证。所述采集图像可以为包括目标对象的人脸图像的身份证、驾照等的图像。在这种情况下，可以在实现身份认证后，再进行活体判定。因为所述第一图像信息仅需与一个第二图像信息进行比对，可以快速完成比对过程。
根据一些示例性实施例，在N不大于预设数值的情况下，如图12所示，步骤S303、将所述第一图像信息和至少一个第二图像信息进行比对之前还可以包括：步骤S601、获取所述待识别对象的标识码；以及步骤S602、从预先建立的第一数据库中获取与所述标识码对应的第二图像信息。可以将所述将第一图像信息和该第二图像信息进行比对。其中，基于比对结果确定所述待识别对象是否为目标对象可以包括：响应于比对结果表明所述第一图像信息和该第二图像信息匹配，确定所述待识别对象为该第二图像信息对应的目标对象。从而能够根据唯一标识码来验证所述待识别对象是否为数据库中相应的目标对象，能够快速完成比对过程。在这种情况下，可以先进行比对，再执行步骤S101-S105进行活体判定。因为数据库中存储的第二图像信息的数量不大于预设数值，可以快速完成比对过程。该示例性实施例可以适用于N较大的应用场景，例如公司考勤应用场景，具有更高的比对效率。
所述标识码例如可以为条形码、二维码等。所述第一数据库可以存储在本地。
根据另一些示例性实施例，在N不大于预设数值的情况下，如图13所示，在步骤S303、将所述第一图像信息和至少一个第二图像信息进行比对之前还可以包括：步骤S701、建立第二数据库，所述第二数据库包括至少一个第二图像信息。步骤S303可以将所述第一图像信息与预先建立的第二数据库中的至少一个第二图像信息进行比对。其中，基于比对结果确定所述待识别对象是否为目标对象可以包括：响应于比对结果表明所述第一图像信息与所述至少一个第二图像信息中的其中一个第二图像信息匹配，确定所述待识别对象为该第二图像信息对应的目标对象。与上述实施例不同的是，该示例性实施例直接将待识别对象的第一图像信息与数据库中的至少一个第二图像信息进行比对。根据一些实施例，可以将所述第一图像信息依次与数据库中的至少一个第二图像信息进行比对，直至所述第一图像信息与其中一个第二图像信息的比对结果表明所述第一图像信息与该第二图像信息匹配，结束比对。也可以将所述第一图像信息依次与数据库中的至少一个第二图像信息进行比对，获取所述至少一个第二图像信息对应的比对结果，并根据所有比对结果来确定所述第一图像信息与其中一个第二图像信息匹配。例如，可以根据所述第一图像信息与所述至少一个第二图像信息中的每一个第二图像的比对结果进行打分，获取所述至少一个第二图像信息对应的多个比对评分，并确定对应的比对评分最高的第二图像信息与所述第一图像信息匹配。与上述示例性实施例相同的是，在这种情况下，可以先进行比对，再执行步骤S101-S105进行活体判定。该示例性实施例可以适用于N较小的应用场景，例如家用门禁应用场景，待比对的第二图像信息数量较少，能够快速完成比对过程。
所述第二数据库可以存储在本地。
根据一些示例性实施例，在N大于预设数值的情况下，如图14所示，所述活体识别方法还可以包括：步骤S801、获取比对目标图像，所述比对目标图像包括所述待识别对象；步骤S802、将包括所述比对目标图像的比对数据发送至远程服务器，以确定所述待识别对象是否为所述目标对象；以及步骤S803、接收所述远程服务器发送的比对结果。从而能够利用远程服务器来实现比对过程，一方面可以降低对本地资源的要求，另一方面通过将数据库存储在远程服务器，可以保证数据的安全性。在这种情况下，可以先执行步骤S101-S105进行活体判定，可以响应于确定所述待识别对象为活体，执行将包括所述比对目标图像的比对数据发送至远程服务器。
所述比对数据还可以包括所述比对目标图像中的与所述待识别对象相关联的多个第三关键点，和/或，包围所述比对目标图像中的所述待识别对象的第三边界框。可以根据远程服务器的比对需求，将所需的比对数据发送至远程服务器，在此不作限定。
根据一些实施例，在将包括所述比对目标图像的比对数据发送至远程服务器之前还可以执行步骤S401、确定所述比对目标图像的图像质量是否符合预设标准。其中，将包括所述比对目标图像的比对数据发送至远程服务器可以为响应于确定所述比对目标图像的图像质量符合预设标准而执行。可以响应于确定所述比对目标图像的图像质量不符合预设标准，执行步骤S402、提示重新获取比对目标图像。从而能够保证发送至远程服务器的比对目标图像的质量，能够保证比对结果的准确性。其中确定所述比对目标图像的图像质量是否符合预设标准的方法已经在上面内容中描述。
需要说明的是，在N不大于预设数值的情况下，也可以将数据库（上述的第一数据库和第二数据库）存储在远程服务器，以保证数据的安全性。同样也可以将所述待识别对象的第一图像信息发送至远程服务器，以确定所述待识别对象是否为所述目标对象，并接收所述远程服务器发送的比对结果。
根据本公开的另一方面，还提供一种电子电路，包括：被配置为执行上述的活体识别方法的步骤的电路。
根据本公开的另一方面，还提供一种活体识别设备，包括：红外光源，被配置为提供双目红外相机拍摄所需的光照；双目红外相机，包括第一红外相机和第二红外相机，被配置为拍摄红外目标图像，所述红外目标图像包括第一红外图像和第二红外图像，所述第一红外图像为所述第一红外相机拍摄的图像，所述第二红外图像为所述第二红外相机拍摄的图像，所述第一红外图像和第二红外图像均包括待识别对象；以及上述的电子电路。
根据本公开的另一方面，还提供一种电子设备，包括：处理器；以及存储程序的存储器，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行上述的深度图像获取方法或上述的活体识别方法。
根据本公开的另一方面，还提供一种存储程序的非暂态计算机可读存储介质，所述程序包括指令，所述指令在由电子设备的处理器执行时，致使所述电子设备执行上述的深度图像获取方法或上述的活体识别方法。
参见图15所示，现将描述计算设备2000，其是可以应用于本公开的各方面的硬件设备（电子设备）的示例。计算设备2000可以是被配置为执行处理和/或计算的任何机器，可以是但不限于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数字助理、机器人、智能电话、车载计算机或其任何组合。上述深度图像获取方法和活体识别方法可以全部或至少部分地由计算设备2000或类似设备或***实现。
计算设备2000可以包括（可能经由一个或多个接口）与总线2002连接或与总线2002通信的元件。例如，计算设备2000可以包括总线2002、一个或多个处理器2004、一个或多个输入设备2006以及一个或多个输出设备2008。一个或多个处理器2004可以是任何类型的处理器，并且可以包括但不限于一个或多个通用处理器和/或一个或多个专用处理器（例如特殊处理芯片）。输入设备2006可以是能向计算设备2000输入信息的任何类型的设备，并且可以包括但不限于鼠标、键盘、触摸屏、麦克风和/或遥控器。输出设备2008可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。计算设备2000还可以包括非暂时性存储设备2010或者与非暂时性存储设备2010连接，非暂时性存储设备可以是非暂时性的并且可以实现数据存储的任何存储设备，并且可以包括但不限于磁盘驱动器、光学存储设备、固态存储器、软盘、柔性盘、硬盘、磁带或任何其他磁介质，光盘或任何其他光学介质、ROM（只读存储器）、RAM（随机存取存储器）、高速缓冲存储器和/或任何其他存储器芯片或盒、和/或计算机可从其读取数据、指令和/或代码的任何其他介质。非暂时性存储设备2010可以从接口拆卸。非暂时性存储设备2010可以具有用于实现上述方法和步骤的数据/程序（包括指令）/代码。计算设备2000还可以包括通信设备2012。通信设备2012可以是使得能够与外部设备和/或与网络通信的任何类型的设备或***，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信设备和/或芯片组，例如蓝牙TM设备、1302.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
计算设备2000还可以包括工作存储器2014，其可以是可以存储对处理器2004的工作有用的程序（包括指令）和/或数据的任何类型的工作存储器，并且可以包括但不限于随机存取存储器和/或只读存储器设备。
软件要素（程序）可以位于工作存储器2014中，包括但不限于操作***2016、一个或多个应用程序2018、驱动程序和/或其他数据和代码。用于执行上述方法和步骤的指令可以被包括在一个或多个应用程序2018中，并且上述深度获取方法和活体识别方法可以通过由处理器2004读取和执行一个或多个应用程序2018的指令来实现。更具体地，上述深度获取方法和活体识别方法中，步骤S101-步骤S108以及步骤S301-步骤S304可以例如通过处理器2004执行具有步骤S101-步骤S108以及步骤S301-步骤S304的指令的应用程序2018而实现。此外，上述深度获取方法和活体识别方法中的其它步骤可以例如通过处理器2004执行具有执行相应步骤中的指令的应用程序2018而实现。软件要素（程序）的指令的可执行代码或源代码可以存储在非暂时性计算机可读存储介质（例如上述存储设备2010）中，并且在执行时可以被存入工作存储器2014中（可能被编译和/或安装）。软件要素（程序）的指令的可执行代码或源代码也可以从远程位置下载。
还应该理解，可以根据具体要求而进行各种变型。 例如，也可以使用定制硬件，和/或可以用硬件、软件、固件、中间件、微代码，硬件描述语言或其任何组合来实现特定元件。例如，所公开的方法和设备中的一些或全部可以通过使用根据本公开的逻辑和算法，用汇编语言或硬件编程语言（诸如VERILOG，VHDL，C ++）对硬件（例如，包括现场可编程门阵列（FPGA）和/或可编程逻辑阵列（PLA）的可编程逻辑电路）进行编程来实现。
还应该理解，前述方法可以通过服务器-客户端模式来实现。例如，客户端可以接收用户输入的数据并将所述数据发送到服务器。客户端也可以接收用户输入的数据，进行前述方法中的一部分处理，并将处理所得到的数据发送到服务器。服务器可以接收来自客户端的数据，并且执行前述方法或前述方法中的另一部分，并将执行结果返回给客户端。客户端可以从服务器接收到方法的执行结果，并例如可以通过输出设备呈现给用户。
还应该理解，计算设备2000的组件可以分布在网络上。 例如，可以使用一个处理器执行一些处理，而同时可以由远离该一个处理器的另一个处理器执行其他处理。计算***2000的其他组件也可以类似地分布。这样，计算设备2000可以被解释为在多个位置执行处理的分布式计算***。
虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、***和设备仅仅是示例性的实施例或示例，本发明的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。

Claims (31)

1.一种深度图像获取方法，包括：
开启红外光源，以提供双目红外相机拍摄所需的光照，其中所述双目红外相机包括第一红外相机和第二红外相机；
获取所述双目红外相机在所述光照下拍摄的红外目标图像，所述红外目标图像包括第一红外图像和第二红外图像，所述第一红外图像为所述第一红外相机拍摄的图像，所述第二红外图像为所述第二红外相机拍摄的图像，所述第一红外图像和第二红外图像均包括待识别对象；以及
基于所述第一红外图像和第二红外图像，确定包括所述待识别对象的深度图像；
其中，基于所述第一红外图像和第二红外图像，确定包括所述待识别对象的深度图像包括：
获取包围所述第一红外图像中的所述待识别对象的第一边界框，以及包围所述第二红外图像中的所述待识别对象的第二边界框；以及
基于所述第一红外图像、第二红外图像、所述第一边界框和第二边界框，确定包括所述待识别对象的深度图像。
2.如权利要求1所述的深度图像获取方法，还包括：
将所述深度图像与所述第一红外图像或第二红外图像进行融合，得到融合图像。
3.如权利要求1所述的深度图像获取方法，其中，基于所述第一红外图像、第二红外图像、第一边界框和第二边界框，确定包括所述待识别对象的深度图像包括：
基于所述第一红外图像和所述第一边界框，确定所述第一红外图像中的与所述待识别对象相关联的多个第一关键点；
基于所述第二红外图像和所述第二边界框，确定所述第二红外图像中的与所述多个第一关键点中的每一个第一关键点对应的第二关键点；
根据所述多个第一关键点中的每一个第一关键点与多个第二关键点中的与该第一关键点对应的第二关键点之间的视差，确定所述待识别对象的多个特征点的深度信息；以及
基于所述多个特征点的深度信息，确定包括所述待识别对象的深度图像。
4.如权利要求1所述的深度图像获取方法，其中，获取所述第一边界框以及所述第二边界框包括：
将所述第一红外图像输入第一单步多框检测神经网络模型；
获取所述第一单步多框检测神经网络模型输出的所述第一边界框；
将所述第二红外图像输入所述第一单步多框检测神经网络模型；以及
获取所述第一单步多框检测神经网络模型输出的所述第二边界框。
5. 如权利要求1所述的深度图像获取方法，其中，获取所述第一边界框包括：
将所述第一红外图像输入第二单步多框检测神经网络模型；以及
获取所述第二单步多框检测神经网络模型输出的所述第一边界框和第一识别结果，所述第一识别结果指示所述待识别对象是否被遮挡；
所述深度图像获取方法还包括：
响应于所述第一识别结果指示所述待识别对象被遮挡，确定所述待识别对象被遮挡；
响应于确定所述待识别对象被遮挡，提示重新获取红外目标图像。
6.如权利要求1所述的深度图像获取方法，其中，获取所述第一边界框和第二边界框包括：
将所述第一红外图像输入第二单步多框检测神经网络模型；
获取所述第二单步多框检测神经网络模型输出的所述第一边界框和第一识别结果，所述第一识别结果指示所述待识别对象是否被遮挡；
将所述第二红外图像输入所述第二单步多框检测神经网络模型；以及
获取所述第二单步多框检测神经网络模型输出的所述第二边界框和第二识别结果，所述第二识别结果指示所述待识别对象是否被遮挡；
所述深度图像获取方法还包括：
响应于所述第一识别结果和/或第二识别结果指示所述待识别对象被遮挡，确定所述待识别对象被遮挡；以及
响应于确定所述待识别对象被遮挡，提示重新获取红外目标图像。
7.一种活体识别方法，包括：
执行权利要求1-6中任意一项所述的深度图像获取方法；以及
至少部分地基于所述深度图像，确定第三识别结果，所述第三识别结果指示所述待识别对象是否为活体。
8.如权利要求7所述的活体识别方法，其中，当所述深度图像获取方法包括：将所述深度图像与所述第一红外图像或第二红外图像进行融合，得到融合图像时，至少部分地基于所述深度图像，确定第三识别结果包括：
至少部分地基于所述融合图像，确定所述第三识别结果。
9.如权利要求8所述的活体识别方法，其中，至少部分地基于所述融合图像，确定所述第三识别结果包括：
基于所述融合图像以及所述第一红外图像中的与所述待识别对象相关联的多个第一关键点，确定所述第三识别结果。
10.如权利要求9所述的活体识别方法，其中，基于所述融合图像以及所述多个第一关键点，确定所述第三识别结果包括：
将所述融合图像以及所述多个第一关键点输入第一卷积神经网络模型；以及
获取所述第一卷积神经网络模型输出的所述第三识别结果。
11.如权利要求7所述的活体识别方法，还包括：
至少部分地基于所述第一红外图像，确定第四识别结果，所述第四识别结果指示所述待识别对象是否为活体；
至少部分地基于所述第二红外图像，确定第五识别结果，所述第五识别结果指示所述待识别对象是否为活体；以及
根据所述第四识别结果和第五识别结果中的至少其中之一以及所述第三识别结果进行决策，判定所述待识别对象是否为活体。
12.如权利要求11所述的活体识别方法，其中，确定所述第四识别结果和第五识别结果包括：
将所述第一红外图像输入第三单步多框检测神经网络模型；
获取所述第三单步多框检测神经网络模型输出的第四识别结果；
将所述第二红外图像输入所述第三单步多框检测神经网络模型；以及
获取所述第三单步多框检测神经网络模型输出的第五识别结果。
13.如权利要求7所述的活体识别方法，其中，至少部分地基于所述深度图像，确定第三识别结果包括：
基于所述深度图像以及所述第一红外图像中的与所述待识别对象相关联的多个第一关键点，确定所述第三识别结果。
14.如权利要求13所述的活体识别方法，其中，基于所述深度图像以及所述多个第一关键点，确定所述第三识别结果包括：
将所述深度图像以及所述多个第一关键点输入第二卷积神经网络模型；以及
获取所述第二卷积神经网络模型输出的所述第三识别结果。
15.如权利要求7所述的活体识别方法，还包括：
获取比对目标图像，所述比对目标图像包括所述待识别对象；
获取所述比对目标图像中的所述待识别对象的第一图像信息；
将所述第一图像信息和至少一个第二图像信息进行比对；以及
基于比对结果确定所述待识别对象是否为目标对象。
16.如权利要求15所述的活体识别方法，在将所述第一图像信息和至少一个第二图像信息进行比对之前还包括：
获取包括所述目标对象的采集图像；以及
从所述采集图像中确定所述目标对象的所述第二图像信息。
17.如权利要求15所述的活体识别方法，在将所述第一图像信息和至少一个第二图像信息进行比对之前还包括：
获取所述待识别对象的标识码；以及
从预先建立的第一数据库中获取与所述标识码对应的第二图像信息。
18.如权利要求15所述的活体识别方法，其中，将所述第一图像信息和至少一个第二图像信息进行比对包括：
将所述第一图像信息与预先建立的第二数据库中的至少一个第二图像信息进行比对；
其中，基于比对结果确定所述待识别对象是否为目标对象包括：
响应于比对结果表明所述第一图像信息与所述至少一个第二图像信息中的其中一个第二图像信息匹配，确定所述待识别对象为该第二图像信息对应的目标对象。
19.如权利要求15-18中任一项所述的活体识别方法，其中，获取所述双目红外相机在所述光照下拍摄的红外目标图像为响应于确定所述待识别对象为所述目标对象而执行。
20.如权利要求15-18中任一项所述的活体识别方法，在将所述第一图像信息和至少一个第二图像信息进行比对之前还包括：
确定所述比对目标图像的图像质量是否符合预设标准；
其中，将所述第一图像信息和至少一个第二图像信息进行比对为响应于确定比对目标图像的图像质量符合预设标准而执行。
21.如权利要求20所述的活体识别方法，其中，所述待识别对象为人脸，确定所述比对目标图像的图像质量是否符合预设标准包括以下各项中的至少一个：
确定所述比对目标图像中的所述待识别对象是否被遮挡；
确定所述比对目标图像的分辨率是否高于预设分辨率；
确定所述比对目标图像中的所述待识别对象的瞳间距是否大于预设距离；
确定所述比对目标图像是否曝光不足或过曝；
确定所述比对目标图像是否清晰；
确定所述比对目标图像中的所述待识别对象是否具有预设表情；以及
确定所述比对目标图像中的所述待识别对象的转角是否不大于预设角度。
22.如权利要求7所述的活体识别方法，还包括：
获取比对目标图像，所述比对目标图像包括所述待识别对象；
将包括所述比对目标图像的比对数据发送至远程服务器，以确定所述待识别对象是否为目标对象；以及
接收所述远程服务器发送的比对结果。
23.如权利要求22所述的活体识别方法，其中，将包括所述比对目标图像的比对数据发送至远程服务器为响应于确定所述待识别对象为活体而执行。
24.如权利要求22所述的活体识别方法，在将包括所述比对目标图像的比对数据发送至远程服务器之前还包括：
确定所述比对目标图像的图像质量是否符合预设标准；
其中，将包括所述比对目标图像的比对数据发送至远程服务器为响应于确定所述比对目标图像的图像质量符合预设标准而执行。
25.如权利要求22所述的活体识别方法，其中，所述比对数据还包括所述比对目标图像中的与所述待识别对象相关联的多个第三关键点，和/或，包围所述比对目标图像中的所述待识别对象的第三边界框。
26.一种电子电路，包括被配置为执行根据权利要求1-6中任一项所述的深度图像获取方法的步骤的电路。
27.一种深度图像获取设备，包括：
红外光源，被配置为提供双目红外相机拍摄所需的光照；
双目红外相机，包括第一红外相机和第二红外相机，被配置为拍摄红外目标图像，所述红外目标图像包括第一红外图像和第二红外图像，所述第一红外图像为所述第一红外相机拍摄的图像，所述第二红外图像为所述第二红外相机拍摄的图像，所述第一红外图像和第二红外图像均包括待识别对象；以及
如权利要求26所述的电子电路。
28.一种电子电路，包括：
被配置为执行根据权利要求7-25中任一项所述的活体识别方法的步骤的电路。
29.一种活体识别设备，包括：
红外光源，被配置为提供双目红外相机拍摄所需的光照；
双目红外相机，包括第一红外相机和第二红外相机，被配置为拍摄红外目标图像，所述红外目标图像包括第一红外图像和第二红外图像，所述第一红外图像为所述第一红外相机拍摄的图像，所述第二红外图像为所述第二红外相机拍摄的图像，所述第一红外图像和第二红外图像均包括待识别对象；以及
如权利要求28所述的电子电路。
30.一种电子设备，包括：
处理器；以及
存储程序的存储器，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-6中任一项所述的深度图像获取方法或权利要求7-25中任一项所述的活体识别方法。
31.一种存储程序的非暂态计算机可读存储介质，所述程序包括指令，所述指令在由电子设备的处理器执行时，致使所述电子设备执行根据权利要求1-6中任一项所述的深度图像获取方法或权利要求7-25中任一项所述的活体识别方法。
CN202010720275.8A 2020-07-24 2020-07-24 深度图像获取方法及活体识别方法、设备、电路和介质 Active CN111598065B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010720275.8A CN111598065B (zh) 2020-07-24 2020-07-24 深度图像获取方法及活体识别方法、设备、电路和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010720275.8A CN111598065B (zh) 2020-07-24 2020-07-24 深度图像获取方法及活体识别方法、设备、电路和介质

Publications (2)

Publication Number Publication Date
CN111598065A true CN111598065A (zh) 2020-08-28
CN111598065B CN111598065B (zh) 2024-06-18

Family

ID=72190277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010720275.8A Active CN111598065B (zh) 2020-07-24 2020-07-24 深度图像获取方法及活体识别方法、设备、电路和介质

Country Status (1)

Country Link
CN (1) CN111598065B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115886A (zh) * 2020-09-22 2020-12-22 北京市商汤科技开发有限公司 图像检测方法和相关装置、设备、存储介质
CN112883791A (zh) * 2021-01-15 2021-06-01 北京小米移动软件有限公司 对象识别方法、对象识别装置及存储介质
CN112926489A (zh) * 2021-03-17 2021-06-08 北京市商汤科技开发有限公司 活体检测方法、装置、设备、介质、***及交通工具
CN113128429A (zh) * 2021-04-24 2021-07-16 新疆爱华盈通信息技术有限公司 基于立体视觉的活体检测方法和相关设备
CN113160210A (zh) * 2021-05-10 2021-07-23 深圳市水务工程检测有限公司 基于深度相机的排水管道缺陷检测方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673395A (zh) * 2008-09-10 2010-03-17 深圳华为通信技术有限公司 图像拼接方法及装置
KR20130107981A (ko) * 2012-03-23 2013-10-02 경북대학교 산학협력단 시선 추적 장치 및 방법
CN103679699A (zh) * 2013-10-16 2014-03-26 南京理工大学 一种基于显著图平移和联合测度的立体匹配方法
CN106529502A (zh) * 2016-08-01 2017-03-22 深圳奥比中光科技有限公司 唇语识别方法以及装置
CN106934394A (zh) * 2017-03-09 2017-07-07 深圳奥比中光科技有限公司 双波长图像采集***及方法
CN107609383A (zh) * 2017-10-26 2018-01-19 深圳奥比中光科技有限公司 3d人脸身份认证方法与装置
CN107798694A (zh) * 2017-11-23 2018-03-13 海信集团有限公司 一种像素点视差值计算方法、装置及终端
CN108830819A (zh) * 2018-05-23 2018-11-16 青柠优视科技（北京）有限公司 一种深度图像与红外图像的图像融合方法及装置
CN109034102A (zh) * 2018-08-14 2018-12-18 腾讯科技（深圳）有限公司 人脸活体检测方法、装置、设备及存储介质
CN109101871A (zh) * 2018-08-07 2018-12-28 北京华捷艾米科技有限公司 一种基于深度和近红外信息的活体检测装置、检测方法及其应用
CN109120861A (zh) * 2018-09-29 2019-01-01 成都臻识科技发展有限公司 一种极低照度下的高质量成像方法及***
CN110278356A (zh) * 2019-06-10 2019-09-24 北京迈格威科技有限公司 智能相机设备和信息处理方法、信息处理设备及介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673395A (zh) * 2008-09-10 2010-03-17 深圳华为通信技术有限公司 图像拼接方法及装置
KR20130107981A (ko) * 2012-03-23 2013-10-02 경북대학교 산학협력단 시선 추적 장치 및 방법
CN103679699A (zh) * 2013-10-16 2014-03-26 南京理工大学 一种基于显著图平移和联合测度的立体匹配方法
CN106529502A (zh) * 2016-08-01 2017-03-22 深圳奥比中光科技有限公司 唇语识别方法以及装置
CN106934394A (zh) * 2017-03-09 2017-07-07 深圳奥比中光科技有限公司 双波长图像采集***及方法
CN107609383A (zh) * 2017-10-26 2018-01-19 深圳奥比中光科技有限公司 3d人脸身份认证方法与装置
CN107798694A (zh) * 2017-11-23 2018-03-13 海信集团有限公司 一种像素点视差值计算方法、装置及终端
CN108830819A (zh) * 2018-05-23 2018-11-16 青柠优视科技（北京）有限公司 一种深度图像与红外图像的图像融合方法及装置
CN109101871A (zh) * 2018-08-07 2018-12-28 北京华捷艾米科技有限公司 一种基于深度和近红外信息的活体检测装置、检测方法及其应用
CN109034102A (zh) * 2018-08-14 2018-12-18 腾讯科技（深圳）有限公司 人脸活体检测方法、装置、设备及存储介质
CN109120861A (zh) * 2018-09-29 2019-01-01 成都臻识科技发展有限公司 一种极低照度下的高质量成像方法及***
CN110278356A (zh) * 2019-06-10 2019-09-24 北京迈格威科技有限公司 智能相机设备和信息处理方法、信息处理设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
IN LU: "实时目标检测之SSD（单步多框检测）", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/40273459》 *
孙水发等: "《3D打印逆向建模技术及应用》", 31 May 2016, 南京师范大学出版社 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115886A (zh) * 2020-09-22 2020-12-22 北京市商汤科技开发有限公司 图像检测方法和相关装置、设备、存储介质
JP2022552754A (ja) * 2020-09-22 2022-12-20 ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド 画像検出方法及び関連装置、機器、記憶媒体、並びにコンピュータプログラム
CN112883791A (zh) * 2021-01-15 2021-06-01 北京小米移动软件有限公司 对象识别方法、对象识别装置及存储介质
CN112883791B (zh) * 2021-01-15 2024-04-16 北京小米移动软件有限公司 对象识别方法、对象识别装置及存储介质
CN112926489A (zh) * 2021-03-17 2021-06-08 北京市商汤科技开发有限公司 活体检测方法、装置、设备、介质、***及交通工具
CN113128429A (zh) * 2021-04-24 2021-07-16 新疆爱华盈通信息技术有限公司 基于立体视觉的活体检测方法和相关设备
CN113160210A (zh) * 2021-05-10 2021-07-23 深圳市水务工程检测有限公司 基于深度相机的排水管道缺陷检测方法及装置

Also Published As

Publication number Publication date
CN111598065B (zh) 2024-06-18

Similar Documents

Publication Publication Date Title
JP6844038B2 (ja) 生体検出方法及び装置、電子機器並びに記憶媒体
CN111598065B (zh) 深度图像获取方法及活体识别方法、设备、电路和介质
US10872420B2 (en) Electronic device and method for automatic human segmentation in image
US11457138B2 (en) Method and device for image processing, method for training object detection model
CN105933589B (zh) 一种图像处理方法及终端
US10621729B2 (en) Adaptive focus sweep techniques for foreground/background separation
US11393256B2 (en) Method and device for liveness detection, and storage medium
KR101848019B1 (ko) 차량 영역 검출을 통한 차량 번호판 검출 방법 및 장치
US8879847B2 (en) Image processing device, method of controlling image processing device, and program for enabling computer to execute same method
US8605955B2 (en) Methods and apparatuses for half-face detection
JPWO2020121973A1 (ja) 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法
US11106903B1 (en) Object detection in image data
US8971628B2 (en) Face detection using division-generated haar-like features for illumination invariance
CN116324878A (zh) 针对图像效果的分割
CN112926461B (zh) 神经网络训练、行驶控制方法及装置
CN109800682A (zh) 驾驶员属性识别方法及相关产品
CN112052830B (zh) 人脸检测的方法、装置和计算机存储介质
CN114267041A (zh) 场景中对象的识别方法及装置
CN113128428B (zh) 基于深度图预测的活体检测方法和相关设备
KR101592087B1 (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체
CN116343143A (zh) 目标检测方法、存储介质、路侧设备及自动驾驶***
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
KR20220127188A (ko) 맞춤형 객체 검출 모델을 가진 객체 검출 장치
JP4789526B2 (ja) 画像処理装置、画像処理方法
CN113095347A (zh) 基于深度学习的标记识别方法和训练方法及其***和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant