CN108876835A - 深度信息检测方法、装置和***及存储介质 - Google Patents

深度信息检测方法、装置和***及存储介质 Download PDF

Info

Publication number
CN108876835A
CN108876835A CN201810262054.3A CN201810262054A CN108876835A CN 108876835 A CN108876835 A CN 108876835A CN 201810262054 A CN201810262054 A CN 201810262054A CN 108876835 A CN108876835 A CN 108876835A
Authority
CN
China
Prior art keywords
images
depth information
target
measured
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810262054.3A
Other languages
English (en)
Inventor
梁喆
周舒畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201810262054.3A priority Critical patent/CN108876835A/zh
Publication of CN108876835A publication Critical patent/CN108876835A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种深度信息检测方法、装置和***以及存储介质。该方法包括：获取由两个图像采集装置分别采集的两个图像；分别对两个图像进行目标检测，以确定两个图像中的每个图像包含的目标对象；将两个图像中包含的目标对象进行匹配，以确定两个图像中相匹配的同一待测目标对象；以及基于待测目标对象在两个图像中的位置信息，确定待测目标对象的深度信息。根据本发明实施例的深度信息检测方法、装置和***以及存储介质，基于内容理解进行对象匹配，能够提高在各种环境下的对象匹配正确性。上述方法不要求两个摄像头的成像画面接近一致，这有利于检测深度范围的增大。由于是基于内容进行匹配，使得两个摄像头可以采用任意角度大间距安装。

Description

深度信息检测方法、装置和***及存储介质
技术领域
本发明涉及图像处理领域，更具体地涉及一种深度信息检测方法、装置和***以及存储介质。
背景技术
在安防监控领域，除了需要识别采集到的图像中的人物身份之外，多人之间的空间关系信息(比如是否并排同行或前后紧邻等)也很重要。这就要求摄像机(或摄像头)的相关图像处理***不但能够检测出人脸，还要能够确定各人脸的空间位置信息。由于摄像机成像结果为一个平面图像，所以为了获得人脸的空间位置信息，必须想方法测算出人脸与摄像机的距离(即深度)信息。因此，需要提供一种深度信息检测方法。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种深度信息检测方法、装置和***以及存储介质。
根据本发明一方面，提供了一种深度信息检测方法。该方法包括：获取由两个图像采集装置分别采集的两个图像；分别对两个图像进行目标检测，以确定两个图像中的每个图像包含的目标对象；将两个图像中包含的目标对象进行匹配，以确定两个图像中相匹配的同一待测目标对象；以及基于待测目标对象在两个图像中的位置信息，确定待测目标对象的深度信息。
示例性地，在基于待测目标对象在两个图像中的位置信息，确定待测目标对象的深度信息之前，方法还包括：分别对两个图像中的待测目标对象进行关键点检测，以确定待测目标对象的一个或多个关键点在两个图像中的位置；基于待测目标对象在两个图像中的位置信息，确定待测目标对象的深度信息包括：基于一个或多个关键点在两个图像中的位置，确定待测目标对象的深度信息。
示例性地，基于一个或多个关键点在两个图像中的位置，确定待测目标对象的深度信息包括：对于一个或多个关键点中的每一个，基于该关键点在两个图像中的位置，确定该关键点在两个图像采集装置中的视差；对于一个或多个关键点中的每一个，基于该关键点在两个图像采集装置中的视差计算该关键点的深度信息；以及基于一个或多个关键点的深度信息确定待测目标对象的深度信息。
示例性地，一个或多个关键点的数目为一个，基于一个或多个关键点的深度信息确定待测目标对象的深度信息包括：确定关键点的深度信息为待测目标对象的深度信息。
示例性地，一个或多个关键点的数目为多个，基于一个或多个关键点的深度信息确定待测目标对象的深度信息包括：结合多个关键点的深度信息，以获得结合后的深度信息；确定结合后的深度信息为待测目标对象的深度信息。
示例性地，对于一个或多个关键点中的每一个，基于该关键点在两个图像采集装置中的视差计算该关键点的深度信息包括：
基于以下公式计算一个或多个关键点中的每个关键点的深度信息：
其中，Zi为第i个关键点的深度信息，f为两个图像采集装置的焦距，B为两个图像采集装置的中心距离，XRi和XTi分别为第i个关键点在两个图像上的成像点到对应图像的预定边缘的距离，其中，XRi-XTi为第i个关键点在两个图像采集装置中的视差。
示例性地，将两个图像中包含的目标对象进行匹配，以确定两个图像中相匹配的同一待测目标对象包括：计算两个图像分别包含的任意两个目标对象在各自图像中的位置之间的差，如果差小于预设阈值，则确定该两个目标对象是同一目标对象；从两个图像包含的目标对象中选择相匹配的待测目标对象。
示例性地，将两个图像中包含的目标对象进行匹配，以确定两个图像中相匹配的同一待测目标对象包括：利用对象匹配网络将两个图像中包含的目标对象进行匹配，以获得对象匹配网络输出的、用于指示两个图像中的同一目标对象的对象匹配信息；基于对象匹配信息，从两个图像包含的目标对象中选择相匹配的待测目标对象。
根据本发明另一方面，提供了一种深度信息检测装置，包括：图像获取模块，用于获取由两个图像采集装置分别采集的两个图像；目标检测模块，用于分别对两个图像进行目标检测，以确定两个图像中的每个图像包含的目标对象；对象匹配模块，用于将两个图像中包含的目标对象进行匹配，以确定两个图像中相匹配的同一待测目标对象；以及深度确定模块，用于基于待测目标对象在两个图像中的位置信息，确定待测目标对象的深度信息。
根据本发明另一方面，提供了一种深度信息检测***，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行上述深度信息检测方法。
示例性地，深度信息检测***包括相机，相机包括两个图像传感器，两个图像传感器为两个图像采集装置。
根据本发明另一方面，提供了一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行上述深度信息检测方法。
根据本发明实施例的深度信息检测方法、装置和***以及存储介质，首先对图像实际包含的内容(例如人脸)进行检测，基于检测结果对目标对象进行匹配，随后基于检测出的目标对象确定待测目标对象的深度信息。这样的流程基本模拟人眼深度感知的过程，能够提高在各种环境下的对象匹配正确性。同时由于是基于内容理解的对象匹配，因而并不要求两个摄像头的成像画面接近一致，所以即使将两个摄像头的间距扩得比较大，也不影响对目标对象的深度信息进行测算，这样有利于检测深度范围的增大。进一步地，由于是基于内容进行匹配，两个摄像头甚至还可以打破并排安装的限制，可以采用任意角度大间距安装。只要两个摄像头安装的空间几何关系和朝向关系已知，再获得同一目标对象在两个摄像头采集的图像中的位置，即可以根据立体几何关系求出此目标对象的深度信息。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1示出用于实现根据本发明实施例的深度信息检测方法和装置的示例电子设备的示意性框图；
图2示出根据本发明一个实施例的深度信息检测方法的示意性流程图；
图3示出根据本发明另一个实施例的深度信息检测方法的示意性流程图；
图4示出双目测距的原理示意图；
图5示出根据本发明一个实施例的深度信息检测装置的示意性框图；以及
图6示出根据本发明一个实施例的深度信息检测***的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
传统的深度摄像头方案有激光雷达方案、结构光方案、以及双目摄像头方案等。激光雷达和结构光等方案属于异构方案，需要在原有的智能摄像头***中增加一套异构硬件，比较难于集成。双目摄像头方案在硬件上只需要增加一个并排的摄像头(或图像传感器)即可，方便于在智能摄像头设备上扩展实现。
然而，由于传统双目摄像头并不能理解图像的内容，因而无法真正识别出同一对象在两个摄像头中各自成像的具***置。因此传统双目摄像头一般采用传统数字图像处理的方法，例如小范围区域相关函数匹配等方法，来推断两个图像中同一对象的成像位置。
这些传统方法在实际应用中受环境影响很大，完全取决于被拍摄对象本身的特点是否鲜明，对表面颜色和纹理特征不明显的对象会失效。这些传统方法匹配的精度和正确性很难保证，例如，如果一个图像中的某个区域与另一图像中的另一区域颜色、纹理相似，即使两个区域中包含完全不同的内容(其中的一者或两者甚至可能并不包含期望类别的对象，例如人脸)，也容易被误认为是同一对象。另外，这些传统方法往往都基于两个图像的采集环境相近的假设，要求两个图像包含的内容(即两个画面)基本一致，这决定了两个摄像头的间距不能太大，从而限制了其检测深度的范围。
本发明实施例提供了一种深度信息检测方法、装置和***以及存储介质。根据本发明实施例，对如何获得同一对象在两个摄像头中的成像位置的方法进行了改进，直接使用基于内容理解的方式来匹配两个图像中的对象，确定同一对象在两个图像中的位置。根据本发明实施例的深度信息检测方法和装置可以应用于任何需要对对象进行识别的领域，例如人脸识别等。
首先，参照图1来描述用于实现根据本发明实施例的深度信息检测方法和装置的示例电子设备100。
如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104。可选地，电子设备100还可以包括输入装置106、输出装置108、以及图像采集装置110，这些组件通过总线***112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理器102可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、微处理器中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU)、图像处理器(GPU)、专用的集成电路(ASIC)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像和/或声音)，并且可以包括显示器、扬声器等中的一个或多个。可选地，所述输入装置106和所述输出装置108可以集成在一起，采用同一交互装置(例如触摸屏)实现。
所述图像采集装置110可以采集图像，并且将所采集的图像存储在所述存储装置104中以供其它组件使用。图像采集装置110可以是摄像头或图像传感器。图像采集装置110的数目可以是两个，包含两个图像采集装置110的电子设备100可以是双目摄像头。应当理解，图像采集装置110仅是示例，电子设备100可以不包括图像采集装置110。在这种情况下，可以利用其他具有图像采集能力的器件采集图像，并将采集的图像发送给电子设备100。
示例性地，用于实现根据本发明实施例的深度信息检测方法和装置的示例电子设备可以在诸如个人计算机或远程服务器等的设备上实现。
下面，将参考图2描述根据本发明实施例的深度信息检测方法。图2示出根据本发明一个实施例的深度信息检测方法200的示意性流程图。如图2所示，深度信息检测方法200包括以下步骤S210、S220、S230和S240。
在步骤S210，获取由两个图像采集装置分别采集的两个图像。
本文所述的图像可以是任何包含对象的图像。本文所述的对象可以是任何物体，包括但不限于：人或人体的一部分(诸如人脸)、动物、车辆、建筑物等。
本文所述的图像可以是静态图像，也可以是视频中的视频帧。本文所述的图像可以是图像采集装置采集到的原始图像，也可以是对原始图像进行预处理(诸如数字化、归一化、平滑等)之后获得的图像。
比较可取的是，两个图像是两个图像采集装置同时采集的图像。可以理解，所谓同时可以是两个图像的采集时间之间的时间差在预设范围[0,t]内，t可以是预设的时间阈值，例如10毫秒。示例性地，两个图像采集装置可以是两个图像传感器。可选地，两个图像采集装置可以在水平方向上并排放置，二者之间相隔一定距离。
在步骤S220，分别对两个图像进行目标检测，以确定两个图像中的每个图像包含的目标对象。
目标对象是指某种预定类型的对象，例如人脸。可以采用任何合适的现有或将来可能出现的目标检测算法检测每个图像包含的目标对象。检测目标对象也就是检测目标对象所在的位置。每个目标对象的位置可以用一个边界框(bounding box)表示。目标检测的结果可以是若干边界框的位置信息，每个边界框的位置信息可以为边界框的位置坐标。例如，边界框可以为矩形框，边界框的位置坐标可以为边界框的四个坐标数值，例如，该边界框的左上角横坐标x、左上角纵坐标y、边界框的宽度w、边界框的高度h。
示例性地，目标检测可以采用任何合适的神经网络模型实现，例如卷积神经网络。例如，可以将任一图像输入神经网络模型，神经网络模型可以输出该图像中的每个目标对象的对象位置信息(例如目标对象的边界框的位置坐标)。示例性地，可以将包含目标对象的图像提取为张量的形式，获得图像张量，该图像张量可以代表原始的包含目标对象的图像。将图像输入神经网络模型，可以是将上述图像张量输入神经网络模型。
在步骤S230，将两个图像中包含的目标对象进行匹配，以确定两个图像中相匹配的同一待测目标对象。
示例性地，可以将两个图像中包含的任意两个目标对象进行对比，判断该两个目标对象是否是同一目标对象。可以将两个图像中包含的所有目标对象一一匹配。随后，可以选择一待测目标对象。由于先前已经检测出两个图像中包含的各目标对象的位置，因此待测目标对象确定之后，该待测目标对象在两个图像中的位置即可获知。
示例性地，可以首先从两个图像中的任一图像(第一图像)包含的目标对象中选择一待测目标对象，随后，可以将待测目标对象与另一图像(第二图像)包含的目标对象一一进行对比，找出与该待测目标对象匹配的目标对象。由于先前已经检测出两个图像中包含的各目标对象的位置，因此两个图像中的待测目标对象确定之后，该待测目标对象在两个图像中的位置即可获知。
在一个示例中，步骤S230可以包括：计算两个图像分别包含的任意两个目标对象在各自图像中的位置之间的差，如果差小于预设阈值，则确定该两个目标对象是同一目标对象；从两个图像包含的目标对象中选择相匹配的待测目标对象。
如上文所述，示例性地，可以采用目标检测算法检测图像中的目标对象，检测结果可以是与每个目标对象相关的、用于指示每个目标对象所在位置的边界框的位置坐标。在这种情况下，可以将图像I1中的目标对象X的边界框与图像I2中的目标对象Y的边界框进行对比，计算二者的坐标之间的差。例如，可以计算目标对象X的边界框的中心点坐标与目标对象Y的边界框的中心点坐标之间的差，如果该差小于某一预设阈值，则可以认为目标对象X和目标对象Y是同一目标对象。通过这种方式，可以确定图像I1和图像I2中的相同的目标对象。随后，可以从两个图像中选择某一相同的目标对象作为待测目标对象。
一般情况下，用于检测深度信息的两个图像采集装置相距较近，例如双目摄像头中的两个图像传感器，因此同一目标对象在两个图像采集装置分别采集的两个图像中的位置之间的差距也比较小，因此可以基于目标对象的位置判断是否是同一目标对象。这种对象匹配方式的计算量小，运算速度快，有利于实现快速的深度信息检测。
在另一个示例中，步骤S230可以包括：利用对象匹配网络将两个图像中包含的目标对象进行匹配，以获得对象匹配网络输出的、用于指示两个图像中的同一目标对象的对象匹配信息；基于对象匹配信息，从两个图像包含的目标对象中选择相匹配的待测目标对象。
对象匹配网络可以是任何合适的网络，例如卷积神经网络等。在一个示例中，可以将两个图像以及两个图像中的目标对象的对象位置信息(例如目标对象的边界框的位置坐标)输入对象匹配网络，对象匹配网络输出对象匹配信息，对象匹配信息可以指示两个图像中的所有相匹配的目标对象。在另一个示例中，可以将分别自两个图像中提取的两个包含目标对象的图像块输入对象匹配网络，对象匹配网络输出该两个图像块包含的目标对象是否是同一目标对象的判断结果，即对象匹配信息。基于对象匹配信息可以确定两个图像中的哪些目标对象是同一目标对象，随后可以从中选择待测目标对象。
采用对象匹配网络进行对象匹配的方式用到了对象本身的特征信息，这种匹配方式不受图像采集装置的距离、布置方向等的限制，无论图像如何采集，均可以实现高准确率的对象匹配。因此，采用这种对象匹配方式有利于提高深度信息检测的准确率。
在步骤S240，基于待测目标对象在两个图像中的位置信息，确定待测目标对象的深度信息。
待测目标对象的位置信息可以包括待测目标对象的对象位置信息，例如待测目标对象的边界框的位置坐标。待测目标对象的位置信息还可以包括待测目标对象的关键点的关键点位置信息。示例性地，可以检测待测目标对象的关键点在两个图像中的位置，并基于待测目标对象的关键点在两个图像中的位置计算视差，进而计算待测目标对象的关键点的深度信息。随后，可以基于待测目标对象的关键点的深度信息确定待测目标对象的深度信息。
如上文所述，传统双目摄像头没有真正理解图像的内容，也没有真正识别每个对象的位置，仅采用简单的数字图像处理方法，来推断两个图像中同一对象的成像位置。而根据本发明实施例的深度信息检测方法，首先进行目标检测，真正确定图像中每个对象的位置。通过目标检测，可以真正对图像包含的内容进行理解，可以提取图像中的高语义信息。与传统双目摄像头的检测方式相比，根据本发明实施例的深度信息检测方法对图像的理解更深刻更准确，因此深度信息的检测结果也更准确。
根据本发明实施例的深度信息检测方法，首先对图像实际包含的内容(例如人脸)进行检测，基于检测结果对目标对象进行匹配，随后进一步基于检测出的目标对象确定待测目标对象的深度信息。这样的流程基本模拟人眼深度感知的过程，能够提高在各种环境下的对象匹配正确性。同时由于是基于内容理解的对象匹配，因而并不要求两个摄像头的成像画面接近一致，所以即使将两个摄像头的间距扩得比较大，也不影响对目标对象的深度信息进行测算，这样有利于检测深度范围的增大。进一步地，由于是基于内容进行匹配，两个摄像头甚至还可以打破并排安装的限制，可以采用任意角度大间距安装。只要两个摄像头安装的空间几何关系和朝向关系已知，再获得同一目标对象在两个摄像头采集的图像中的位置，即可以根据立体几何关系求出此目标对象的深度信息。
示例性地，根据本发明实施例的深度信息检测方法可以在具有存储器和处理器的设备、装置或者***中实现。
根据本发明实施例的深度信息检测方法可以部署在图像采集端处，例如，在安防应用领域，可以部署在门禁***的图像采集端；在金融应用领域，可以部署在个人终端处，诸如智能电话、平板电脑、个人计算机等。
替代地，根据本发明实施例的深度信息检测方法还可以分布地部署在服务器端(或云端)和个人终端处。例如，可以在客户端获取图像，客户端将获取的图像传送给服务器端(或云端)，由服务器端(或云端)进行深度信息检测。
图3示出根据本发明另一个实施例的深度信息检测方法300的示意性流程图。图3所示的深度信息检测方法300的步骤S310-S330和S350分别与图2所示的深度信息检测方法200的步骤S210-S240相对应，本领域技术人员可以参考上文关于深度信息检测方法200的描述理解步骤S310-S330和S350，此处不再赘述。
如图3所示，在步骤S350之前，深度信息检测方法300还可以包括步骤S340。在步骤S340，分别对两个图像中的待测目标对象进行关键点检测，以确定待测目标对象的一个或多个关键点在两个图像中的位置。此外，步骤S350可以包括：基于一个或多个关键点在两个图像中的位置，确定待测目标对象的深度信息。
本文所述的关键点可以是目标对象上的任何特征点，其可以根据需要设定。比较可取的是，本文所述的关键点是预先定义的，包含一定高语义信息的特征点。例如，目标对象为人脸，关键点可以包括人脸轮廓上的点、左右眉毛上的点、左右瞳孔的中心点、鼻尖、嘴唇上的点，等等。与基础的图像像素点相比，目标对象的关键点包含更高层次的语义信息，因此能够更加准确地标识目标对象。因此，计算关键点的深度信息并由此确定目标对象的深度信息的方式的计算量小，对深度信息的计算精度较高。
在本文中，主要以目标对象为人脸作为示例进行描述，然而其仅是示例，目标对象可以是其他类型的对象。例如，在行人监控场景下，目标对象可以是行人，目标对象的关键点可以是行人身上的某些关节点，例如肘关节、膝关节等。又例如，在车辆监控场景下，目标对象可以是车辆，目标对象的关键点可以是车辆上面的某些特征点，例如车辆边缘的角点等。
可以采用任何合适的现有或将来可能出现的关键点检测方法检测每个图像包含的每个目标对象的关键点。检测目标对象的关键点也就是检测各关键点所在的位置。每个关键点的关键点位置信息可以包括该关键点在图像上的坐标。
示例性地，关键点检测可以采用任何合适的神经网络模型实现，例如卷积神经网络。例如，可以将包含目标对象的图像块或将原图像及图像中的每个目标对象的对象位置信息输入神经网络模型，神经网络模型可以输出该图像中的每个目标对象的关键点的关键点位置信息。
示例性地，步骤S350可以包括：对于一个或多个关键点中的每一个，基于该关键点在两个图像中的位置，确定该关键点在两个图像采集装置中的视差；对于一个或多个关键点中的每一个，基于该关键点在两个图像采集装置中的视差计算该关键点的深度信息；以及基于一个或多个关键点的深度信息确定待测目标对象的深度信息。
例如，可根据两个图像中同一人脸的同一关键点(例如鼻尖)的位置差来获得视差，再通过视差和两个图像采集装置的距离，就能反算出此关键点(例如鼻尖)与两个图像采集装置的中心之间的距离，即此关键点的深度信息。每个人脸的深度信息可以用该人脸上的某一关键点的深度信息表示，或者可以用结合人脸上的多个关键点的深度信息计算获得的深度信息表示。
在一个实施例中，一个或多个关键点的数目为一个，基于一个或多个关键点的深度信息确定待测目标对象的深度信息可以包括：确定关键点的深度信息为待测目标对象的深度信息。
在待测目标对象距离两个图像采集装置比较远的情况下，待测目标对象的不同关键点的深度之间的差距不大，并且各关键点的深度与待测目标对象整体的深度(例如待测目标对象的重心的深度)之间的差距也不大，因此可以采用任一关键点的深度信息来表示待测目标对象的深度信息。这种方式检测速度快，检测获得的待测目标对象的深度信息也比较准确。
在另一个实施例中，一个或多个关键点的数目为多个，基于一个或多个关键点的深度信息确定待测目标对象的深度信息可以包括：结合多个关键点的深度信息，以获得结合后的深度信息；确定结合后的深度信息为待测目标对象的深度信息。
在待测目标对象距离两个图像采集装置比较近的情况下，待测目标对象的不同关键点的深度之间的差距比较明显，这样，如果直接采用某一关键点的深度信息来表示待测目标对象的深度信息，可能会有较大误差。在这种情况下，可以综合多个关键点的深度信息来确定待测目标对象的深度信息。综合多个关键点的深度信息的方式可以是任意的，例如，可以采用对多个关键点的深度信息进行加权平均的方式来计算一平均值，将该平均值作为待测目标对象的深度信息。这种方式可以提高深度信息检测的准确性。
根据本发明实施例，对于一个或多个关键点中的每一个，基于该关键点在两个图像采集装置中的视差计算该关键点的深度信息可以包括：
基于以下公式计算一个或多个关键点中的每个关键点的深度信息：
其中，Zi为第i个关键点的深度信息，f为两个图像采集装置的焦距，B为两个图像采集装置的中心距离，XRi和XTi分别为第i个关键点在两个图像上的成像点到对应图像的预定边缘的距离，其中，XRi-XTi为第i个关键点在两个图像采集装置中的视差。
示例性地，可以采用三角测量原理计算关键点的深度信息，即通过比较两个图像之间相同关键点成像的坐标差异(即视差)来反算出关键点的距离。图4示出双目测距的原理示意图。如图4所示，P是待测目标对象上的某一关键点，OR与OT分别是两个图像采集装置的光心，点P在两个图像采集装置的感光器上的成像点分别为PR和PT(图像采集装置的成像平面经过旋转后放在了镜头前方)，XR和XT分别为PR和PT到各自图像的左侧边缘的距离，f为两个图像采集装置的焦距，B为两个图像采集装置的中心距离，Z为关键点P的深度信息。假设点PR到点PT的距离为dis，则：
dis＝B-(XR-XT)
根据相似三角形原理，可得：
随后，可得：
在以上公式中，图像采集装置的焦距f和图像采集装置的中心距离B可通过标定得到，因此，只要获得了XR-XT(即，视差d)的值即可求得关键点P的深度信息。
在上述实施例中，两个图像采集装置具有相同的参数配置，即二者具有相等的焦距f。然而这仅是示例而非对本发明的限制，两个图像采集装置可以具有不同的参数配置，在这种情况下，关键点的深度信息的计算公式可能发生变化。
在采用神经网络模型进行目标检测、关键点检测和对象匹配中的一项或多项的情况下，可以预先对所采用的神经网络模型进行训练，本领域技术人员可以理解这些网络的训练方式，本文不对此进行赘述。
根据本发明另一方面，提供一种深度信息检测装置。图5示出了根据本发明一个实施例的深度信息检测装置500的示意性框图。
如图5所示，根据本发明实施例的深度信息检测装置500包括图像获取模块510、目标检测模块520、对象匹配模块530和深度确定模块540。所述各个模块可分别执行上文中结合图2-4描述的深度信息检测方法的各个步骤/功能。以下仅对该深度信息检测装置500的各部件的主要功能进行描述，而省略以上已经描述过的细节内容。
图像获取模块510用于获取由两个图像采集装置分别采集的两个图像。图像获取模块510可以由图1所示的电子设备中的处理器102运行存储装置105中存储的程序指令来实现。
目标检测模块520用于分别对所述两个图像进行目标检测，以确定所述两个图像中的每个图像包含的目标对象。目标检测模块520可以由图1所示的电子设备中的处理器102运行存储装置105中存储的程序指令来实现。
对象匹配模块530用于将所述两个图像中包含的目标对象进行匹配，以确定所述两个图像中相匹配的同一待测目标对象。对象匹配模块530可以由图1所示的电子设备中的处理器102运行存储装置105中存储的程序指令来实现。
深度确定模块540用于基于所述待测目标对象在所述两个图像中的位置信息，确定所述待测目标对象的深度信息。深度确定模块540可以由图1所示的电子设备中的处理器102运行存储装置105中存储的程序指令来实现。
示例性地，深度信息检测装置500还包括：关键点检测模块(未示出)，用于在深度确定模块540基于待测目标对象在两个图像中的位置信息，确定待测目标对象的深度信息之前，分别对两个图像中的待测目标对象进行关键点检测，以确定待测目标对象的一个或多个关键点在两个图像中的位置；深度确定模块540包括：深度确定子模块，用于基于一个或多个关键点在两个图像中的位置，确定待测目标对象的深度信息。
示例性地，深度确定子模块包括：视差确定单元，用于对于一个或多个关键点中的每一个，基于该关键点在两个图像中的位置，确定该关键点在两个图像采集装置中的视差；深度计算单元，用于对于一个或多个关键点中的每一个，基于该关键点在两个图像采集装置中的视差计算该关键点的深度信息；以及深度确定单元，用于基于一个或多个关键点的深度信息确定待测目标对象的深度信息。
示例性地，一个或多个关键点的数目为一个，深度确定单元包括：第一确定子单元，用于确定关键点的深度信息为待测目标对象的深度信息。
示例性地，一个或多个关键点的数目为多个，深度确定单元包括：结合子单元，用于结合多个关键点的深度信息，以获得结合后的深度信息；第二确定子单元，用于确定结合后的深度信息为待测目标对象的深度信息。
示例性地，深度计算单元具体用于：
基于以下公式计算一个或多个关键点中的每个关键点的深度信息：
其中，Zi为第i个关键点的深度信息，f为两个图像采集装置的焦距，B为两个图像采集装置的中心距离，XRi和XTi分别为第i个关键点在两个图像上的成像点到对应图像的预定边缘的距离，其中，XRi-XTi为第i个关键点在两个图像采集装置中的视差。
示例性地，对象匹配模块530包括：计算子模块，用于计算两个图像分别包含的任意两个目标对象在各自图像中的位置之间的差，如果差小于预设阈值，则确定该两个目标对象是同一目标对象；第一选择子模块，用于从两个图像包含的目标对象中选择相匹配的待测目标对象。
示例性地，对象匹配模块530包括：匹配子模块，用于利用对象匹配网络将两个图像中包含的目标对象进行匹配，以获得对象匹配网络输出的、用于指示两个图像中的同一目标对象的对象匹配信息；第二选择子模块，用于基于对象匹配信息，从两个图像包含的目标对象中选择相匹配的待测目标对象。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
图6示出了根据本发明一个实施例的深度信息检测***600的示意性框图。深度信息检测***600包括图像采集装置610、存储装置(即存储器)620、以及处理器630。
所述图像采集装置610用于采集图像。图像采集装置610是可选的，深度信息检测***600可以不包括图像采集装置610。在这种情况下，可以利用其他图像采集装置采集人脸图像，并将采集的图像发送给深度信息检测***600。
所述存储装置620存储用于实现根据本发明实施例的深度信息检测方法中的相应步骤的计算机程序指令。
所述处理器630用于运行所述存储装置620中存储的计算机程序指令，以执行根据本发明实施例的深度信息检测方法的相应步骤。
在一个实施例中，所述计算机程序指令被所述处理器630运行时用于执行以下步骤：获取由两个图像采集装置分别采集的两个图像；分别对两个图像进行目标检测，以确定两个图像中的每个图像包含的目标对象；将两个图像中包含的目标对象进行匹配，以确定两个图像中相匹配的同一待测目标对象；以及基于待测目标对象在两个图像中的位置信息，确定待测目标对象的深度信息。
示例性地，深度信息检测***600包括相机，相机包括两个图像传感器，两个图像传感器为两个图像采集装置。在本实施例中，图像采集装置610即为图像传感器。
示例性地，在所述计算机程序指令被所述处理器630运行时所用于执行的基于待测目标对象在两个图像中的位置信息，确定待测目标对象的深度信息的步骤之前，所述计算机程序指令被所述处理器630运行时还用于执行以下步骤：分别对两个图像中的待测目标对象进行关键点检测，以确定待测目标对象的一个或多个关键点在两个图像中的位置；所述计算机程序指令被所述处理器630运行时所用于执行的基于待测目标对象在两个图像中的位置信息，确定待测目标对象的深度信息的步骤包括：基于一个或多个关键点在两个图像中的位置，确定待测目标对象的深度信息。
示例性地，所述计算机程序指令被所述处理器630运行时所用于执行的基于一个或多个关键点在两个图像中的位置，确定待测目标对象的深度信息的步骤包括：对于一个或多个关键点中的每一个，基于该关键点在两个图像中的位置，确定该关键点在两个图像采集装置中的视差；对于一个或多个关键点中的每一个，基于该关键点在两个图像采集装置中的视差计算该关键点的深度信息；以及基于一个或多个关键点的深度信息确定待测目标对象的深度信息。
示例性地，一个或多个关键点的数目为一个，所述计算机程序指令被所述处理器630运行时所用于执行的基于一个或多个关键点的深度信息确定待测目标对象的深度信息的步骤包括：确定关键点的深度信息为待测目标对象的深度信息。
示例性地，一个或多个关键点的数目为多个，所述计算机程序指令被所述处理器630运行时所用于执行的基于一个或多个关键点的深度信息确定待测目标对象的深度信息的步骤包括：结合多个关键点的深度信息，以获得结合后的深度信息；确定结合后的深度信息为待测目标对象的深度信息。
示例性地，对于一个或多个关键点中的每一个，所述计算机程序指令被所述处理器630运行时所用于执行的基于该关键点在两个图像采集装置中的视差计算该关键点的深度信息的步骤包括：
基于以下公式计算一个或多个关键点中的每个关键点的深度信息：
其中，Zi为第i个关键点的深度信息，f为两个图像采集装置的焦距，B为两个图像采集装置的中心距离，XRi和XTi分别为第i个关键点在两个图像上的成像点到对应图像的预定边缘的距离，其中，XRi-XTi为第i个关键点在两个图像采集装置中的视差。
示例性地，所述计算机程序指令被所述处理器630运行时所用于执行的将两个图像中包含的目标对象进行匹配，以确定两个图像中相匹配的同一待测目标对象的步骤包括：计算两个图像分别包含的任意两个目标对象在各自图像中的位置之间的差，如果差小于预设阈值，则确定该两个目标对象是同一目标对象；从两个图像包含的目标对象中选择相匹配的待测目标对象。
示例性地，所述计算机程序指令被所述处理器630运行时所用于执行的将两个图像中包含的目标对象进行匹配，以确定两个图像中相匹配的同一待测目标对象的步骤包括：利用对象匹配网络将两个图像中包含的目标对象进行匹配，以获得对象匹配网络输出的、用于指示两个图像中的同一目标对象的对象匹配信息；基于对象匹配信息，从两个图像包含的目标对象中选择相匹配的待测目标对象。
此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的深度信息检测方法的相应步骤，并且用于实现根据本发明实施例的深度信息检测装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。
在一个实施例中，所述程序指令在被计算机或处理器运行时可以使得计算机或处理器实现根据本发明实施例的深度信息检测装置的各个功能模块，并和/或者可以执行根据本发明实施例的深度信息检测方法。
在一个实施例中，所述程序指令在运行时用于执行以下步骤：获取由两个图像采集装置分别采集的两个图像；分别对两个图像进行目标检测，以确定两个图像中的每个图像包含的目标对象；将两个图像中包含的目标对象进行匹配，以确定两个图像中相匹配的同一待测目标对象；以及基于待测目标对象在两个图像中的位置信息，确定待测目标对象的深度信息。
示例性地，在所述程序指令在运行时所用于执行的基于待测目标对象在两个图像中的位置信息，确定待测目标对象的深度信息的步骤之前，所述程序指令在运行时还用于执行以下步骤：分别对两个图像中的待测目标对象进行关键点检测，以确定待测目标对象的一个或多个关键点在两个图像中的位置；所述程序指令在运行时所用于执行的基于待测目标对象在两个图像中的位置信息，确定待测目标对象的深度信息的步骤包括：基于一个或多个关键点在两个图像中的位置，确定待测目标对象的深度信息。
示例性地，所述程序指令在运行时所用于执行的基于一个或多个关键点在两个图像中的位置，确定待测目标对象的深度信息的步骤包括：对于一个或多个关键点中的每一个，基于该关键点在两个图像中的位置，确定该关键点在两个图像采集装置中的视差；对于一个或多个关键点中的每一个，基于该关键点在两个图像采集装置中的视差计算该关键点的深度信息；以及基于一个或多个关键点的深度信息确定待测目标对象的深度信息。
示例性地，一个或多个关键点的数目为一个，所述程序指令在运行时所用于执行的基于一个或多个关键点的深度信息确定待测目标对象的深度信息的步骤包括：确定关键点的深度信息为待测目标对象的深度信息。
示例性地，一个或多个关键点的数目为多个，所述程序指令在运行时所用于执行的基于一个或多个关键点的深度信息确定待测目标对象的深度信息的步骤包括：结合多个关键点的深度信息，以获得结合后的深度信息；确定结合后的深度信息为待测目标对象的深度信息。
示例性地，对于一个或多个关键点中的每一个，所述程序指令在运行时所用于执行的基于该关键点在两个图像采集装置中的视差计算该关键点的深度信息的步骤包括：
基于以下公式计算一个或多个关键点中的每个关键点的深度信息：
其中，Zi为第i个关键点的深度信息，f为两个图像采集装置的焦距，B为两个图像采集装置的中心距离，XRi和XTi分别为第i个关键点在两个图像上的成像点到对应图像的预定边缘的距离，其中，XRi-XTi为第i个关键点在两个图像采集装置中的视差。
示例性地，所述程序指令在运行时所用于执行的将两个图像中包含的目标对象进行匹配，以确定两个图像中相匹配的同一待测目标对象的步骤包括：计算两个图像分别包含的任意两个目标对象在各自图像中的位置之间的差，如果差小于预设阈值，则确定该两个目标对象是同一目标对象；从两个图像包含的目标对象中选择相匹配的待测目标对象。
示例性地，所述程序指令在运行时所用于执行的将两个图像中包含的目标对象进行匹配，以确定两个图像中相匹配的同一待测目标对象的步骤包括：利用对象匹配网络将两个图像中包含的目标对象进行匹配，以获得对象匹配网络输出的、用于指示两个图像中的同一目标对象的对象匹配信息；基于对象匹配信息，从两个图像包含的目标对象中选择相匹配的待测目标对象。
根据本发明实施例的深度信息检测***中的各模块可以通过根据本发明实施例的实施深度信息检测的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的深度信息检测装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种深度信息检测方法，包括：
获取由两个图像采集装置分别采集的两个图像；
分别对所述两个图像进行目标检测，以确定所述两个图像中的每个图像包含的目标对象；
将所述两个图像中包含的目标对象进行匹配，以确定所述两个图像中相匹配的同一待测目标对象；以及
基于所述待测目标对象在所述两个图像中的位置信息，确定所述待测目标对象的深度信息。
2.如权利要求1所述的方法，其中，
在所述基于所述待测目标对象在所述两个图像中的位置信息，确定所述待测目标对象的深度信息之前，所述方法还包括：
分别对所述两个图像中的所述待测目标对象进行关键点检测，以确定所述待测目标对象的一个或多个关键点在所述两个图像中的位置；
所述基于所述待测目标对象在所述两个图像中的位置信息，确定所述待测目标对象的深度信息包括：
基于所述一个或多个关键点在所述两个图像中的位置，确定所述待测目标对象的深度信息。
3.如权利要求2所述的方法，其中，所述基于所述一个或多个关键点在所述两个图像中的位置，确定所述待测目标对象的深度信息包括：
对于所述一个或多个关键点中的每一个，
基于该关键点在所述两个图像中的位置，确定该关键点在所述两个图像采集装置中的视差；
基于该关键点在所述两个图像采集装置中的视差计算该关键点的深度信息；以及
基于所述一个或多个关键点的深度信息确定所述待测目标对象的深度信息。
4.如权利要求3所述的方法，其中，所述一个或多个关键点的数目为一个，所述基于所述一个或多个关键点的深度信息确定所述待测目标对象的深度信息包括：
确定所述关键点的深度信息为所述待测目标对象的深度信息。
5.如权利要求3所述的方法，其中，所述一个或多个关键点的数目为多个，所述基于所述一个或多个关键点的深度信息确定所述待测目标对象的深度信息包括：
结合所述多个关键点的深度信息，以获得结合后的深度信息；
确定所述结合后的深度信息为所述待测目标对象的深度信息。
6.如权利要求3所述的方法，其中，所述对于所述一个或多个关键点中的每一个，基于该关键点在所述两个图像采集装置中的视差计算该关键点的深度信息包括：
基于以下公式计算所述一个或多个关键点中的每个关键点的深度信息：
其中，Zi为第i个关键点的深度信息，f为所述两个图像采集装置的焦距，B为所述两个图像采集装置的中心距离，XRi和XTi分别为第i个关键点在所述两个图像上的成像点到对应图像的预定边缘的距离，其中，XRi-XTi为第i个关键点在所述两个图像采集装置中的视差。
7.如权利要求1所述的方法，其中，所述将所述两个图像中包含的目标对象进行匹配，以确定所述两个图像中相匹配的同一待测目标对象包括：
计算所述两个图像分别包含的任意两个目标对象在各自图像中的位置之间的差，如果所述差小于预设阈值，则确定该两个目标对象是同一目标对象；
从所述两个图像包含的目标对象中选择相匹配的所述待测目标对象。
8.如权利要求1所述的方法，其中，所述将所述两个图像中包含的目标对象进行匹配，以确定所述两个图像中相匹配的同一待测目标对象包括：
利用对象匹配网络将所述两个图像中包含的目标对象进行匹配，以获得所述对象匹配网络输出的、用于指示所述两个图像中的同一目标对象的对象匹配信息；
基于所述对象匹配信息，从所述两个图像包含的目标对象中选择相匹配的所述待测目标对象。
9.一种深度信息检测装置，包括：
图像获取模块，用于获取由两个图像采集装置分别采集的两个图像；
目标检测模块，用于分别对所述两个图像进行目标检测，以确定所述两个图像中的每个图像包含的目标对象；
对象匹配模块，用于将所述两个图像中包含的目标对象进行匹配，以确定所述两个图像中相匹配的同一待测目标对象；以及
深度确定模块，用于基于所述待测目标对象在所述两个图像中的位置信息，确定所述待测目标对象的深度信息。
10.一种深度信息检测***，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行如权利要求1至8任一项所述的深度信息检测方法。
11.如权利要求10所述的***，其中，所述深度信息检测***包括相机，所述相机包括两个图像传感器，所述两个图像传感器为所述两个图像采集装置。
12.一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行如权利要求1至8任一项所述的深度信息检测方法。
CN201810262054.3A 2018-03-28 2018-03-28 深度信息检测方法、装置和***及存储介质 Pending CN108876835A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810262054.3A CN108876835A (zh) 2018-03-28 2018-03-28 深度信息检测方法、装置和***及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810262054.3A CN108876835A (zh) 2018-03-28 2018-03-28 深度信息检测方法、装置和***及存储介质

Publications (1)

Publication Number Publication Date
CN108876835A true CN108876835A (zh) 2018-11-23

Family

ID=64326155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810262054.3A Pending CN108876835A (zh) 2018-03-28 2018-03-28 深度信息检测方法、装置和***及存储介质

Country Status (1)

Country Link
CN (1) CN108876835A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109300154A (zh) * 2018-11-27 2019-02-01 郑州云海信息技术有限公司 一种基于双目立体的测距方法及装置
CN110505403A (zh) * 2019-08-20 2019-11-26 维沃移动通信有限公司 一种录像处理方法及装置
CN111457886A (zh) * 2020-04-01 2020-07-28 北京迈格威科技有限公司 距离确定方法、装置及***
WO2020199563A1 (zh) * 2019-04-01 2020-10-08 四川深瑞视科技有限公司 深度信息检测方法、装置及***
CN111753611A (zh) * 2019-08-30 2020-10-09 北京市商汤科技开发有限公司 图像检测方法及装置和***、电子设备和存储介质
CN112153306A (zh) * 2020-09-30 2020-12-29 深圳市商汤科技有限公司 图像采集***、方法、装置、电子设备及可穿戴设备
CN113159161A (zh) * 2021-04-16 2021-07-23 深圳市商汤科技有限公司 目标匹配方法和装置、设备及存储介质
CN113345000A (zh) * 2021-06-28 2021-09-03 北京市商汤科技开发有限公司 深度检测方法及装置、电子设备和存储介质
CN113673569A (zh) * 2021-07-21 2021-11-19 浙江大华技术股份有限公司 目标检测方法、装置、电子设备、存储介质
WO2022110877A1 (zh) * 2020-11-24 2022-06-02 深圳市商汤科技有限公司 深度检测方法、装置、电子设备、存储介质及程序
CN116958931A (zh) * 2023-07-20 2023-10-27 山东产研鲲云人工智能研究院有限公司 用于仓储中车辆碰撞预警的方法及计算设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102316307A (zh) * 2011-08-22 2012-01-11 安防科技（中国）有限公司 一种道路交通视频检测方法及装置
CN105023010A (zh) * 2015-08-17 2015-11-04 中国科学院半导体研究所 一种人脸活体检测方法及***
US20150381972A1 (en) * 2014-06-30 2015-12-31 Microsoft Corporation Depth estimation using multi-view stereo and a calibrated projector
CN105814401A (zh) * 2013-12-16 2016-07-27 索尼公司 图像处理装置、图像处理方法和成像装置
CN106033621A (zh) * 2015-03-17 2016-10-19 阿里巴巴集团控股有限公司 一种三维建模的方法及装置
CN106780590A (zh) * 2017-01-03 2017-05-31 成都通甲优博科技有限责任公司 一种深度图的获取方法及***
CN106952304A (zh) * 2017-03-22 2017-07-14 南京大学 一种利用视频序列帧间相关性的深度图像计算方法
CN107316326A (zh) * 2017-06-29 2017-11-03 海信集团有限公司 应用于双目立体视觉的基于边的视差图计算方法和装置
US20180041747A1 (en) * 2016-08-03 2018-02-08 Samsung Electronics Co., Ltd. Apparatus and method for processing image pair obtained from stereo camera

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102316307A (zh) * 2011-08-22 2012-01-11 安防科技（中国）有限公司 一种道路交通视频检测方法及装置
CN105814401A (zh) * 2013-12-16 2016-07-27 索尼公司 图像处理装置、图像处理方法和成像装置
US20150381972A1 (en) * 2014-06-30 2015-12-31 Microsoft Corporation Depth estimation using multi-view stereo and a calibrated projector
CN106033621A (zh) * 2015-03-17 2016-10-19 阿里巴巴集团控股有限公司 一种三维建模的方法及装置
CN105023010A (zh) * 2015-08-17 2015-11-04 中国科学院半导体研究所 一种人脸活体检测方法及***
US20180041747A1 (en) * 2016-08-03 2018-02-08 Samsung Electronics Co., Ltd. Apparatus and method for processing image pair obtained from stereo camera
CN106780590A (zh) * 2017-01-03 2017-05-31 成都通甲优博科技有限责任公司 一种深度图的获取方法及***
CN106952304A (zh) * 2017-03-22 2017-07-14 南京大学 一种利用视频序列帧间相关性的深度图像计算方法
CN107316326A (zh) * 2017-06-29 2017-11-03 海信集团有限公司 应用于双目立体视觉的基于边的视差图计算方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
邹建成 等: "《数学及其在图像处理中的应用》", 31 July 2015, 北京：北京邮电大学出版社 *
马晓路 等: "《MATLAB图像处理从入门到精通》", 28 February 2013, 北京：中国铁道出版社 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109300154A (zh) * 2018-11-27 2019-02-01 郑州云海信息技术有限公司 一种基于双目立体的测距方法及装置
WO2020199563A1 (zh) * 2019-04-01 2020-10-08 四川深瑞视科技有限公司 深度信息检测方法、装置及***
CN110505403A (zh) * 2019-08-20 2019-11-26 维沃移动通信有限公司 一种录像处理方法及装置
CN111753611A (zh) * 2019-08-30 2020-10-09 北京市商汤科技开发有限公司 图像检测方法及装置和***、电子设备和存储介质
CN111457886A (zh) * 2020-04-01 2020-07-28 北京迈格威科技有限公司 距离确定方法、装置及***
CN111457886B (zh) * 2020-04-01 2022-06-21 北京迈格威科技有限公司 距离确定方法、装置及***
CN112153306B (zh) * 2020-09-30 2022-02-25 深圳市商汤科技有限公司 图像采集***、方法、装置、电子设备及可穿戴设备
CN112153306A (zh) * 2020-09-30 2020-12-29 深圳市商汤科技有限公司 图像采集***、方法、装置、电子设备及可穿戴设备
WO2022110877A1 (zh) * 2020-11-24 2022-06-02 深圳市商汤科技有限公司 深度检测方法、装置、电子设备、存储介质及程序
CN113159161A (zh) * 2021-04-16 2021-07-23 深圳市商汤科技有限公司 目标匹配方法和装置、设备及存储介质
WO2022218161A1 (zh) * 2021-04-16 2022-10-20 上海商汤智能科技有限公司 用于目标匹配的方法、装置、设备及存储介质
CN113345000A (zh) * 2021-06-28 2021-09-03 北京市商汤科技开发有限公司 深度检测方法及装置、电子设备和存储介质
WO2023273499A1 (zh) * 2021-06-28 2023-01-05 上海商汤智能科技有限公司 深度检测方法及装置、电子设备和存储介质
CN113673569A (zh) * 2021-07-21 2021-11-19 浙江大华技术股份有限公司 目标检测方法、装置、电子设备、存储介质
CN116958931A (zh) * 2023-07-20 2023-10-27 山东产研鲲云人工智能研究院有限公司 用于仓储中车辆碰撞预警的方法及计算设备

Similar Documents

Publication Publication Date Title
CN108876835A (zh) 深度信息检测方法、装置和***及存储介质
CN109711243B (zh) 一种基于深度学习的静态三维人脸活体检测方法
US10198623B2 (en) Three-dimensional facial recognition method and system
CN108875524B (zh) 视线估计方法、装置、***和存储介质
CN109740491B (zh) 一种人眼视线识别方法、装置、***及存储介质
CN107256377B (zh) 用于检测视频中的对象的方法、设备和***
US9589177B2 (en) Enhanced face detection using depth information
JP5024067B2 (ja) 顔認証システム、方法及びプログラム
JP6544900B2 (ja) オブジェクト識別装置、オブジェクト識別方法及びプログラム
KR101362631B1 (ko) 머리 인식 방법
CN114140867A (zh) 使用眼睛特征的眼睛姿态识别
US20210041945A1 (en) Machine learning based gaze estimation with confidence
KR20160029629A (ko) 얼굴 인식 방법 및 장치
EP3241151A1 (en) An image face processing method and apparatus
JP2020529685A5 (zh)
CN111008935B (zh) 一种人脸图像增强方法、装置、***及存储介质
CN105574525A (zh) 一种复杂场景多模态生物特征图像获取方法及其装置
US10915739B2 (en) Face recognition device, face recognition method, and computer readable storage medium
KR102362470B1 (ko) 족부 정보 처리 방법 및 장치
KR20150065445A (ko) 얼굴 포즈를 이용한 정면 얼굴 검출 장치 및 방법
CN108875509A (zh) 活体检测方法、装置和***及存储介质
KR20150128510A (ko) 라이브니스 검사 방법과 장치，및 영상 처리 방법과 장치
JP2014178969A (ja) 情報処理装置及び判定方法
CN112801038B (zh) 一种多视点的人脸活体检测方法及***
CN113111743A (zh) 人员距离探测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181123