CN108195305B - 一种双目检测***及其深度检测方法 - Google Patents

Abstract

本发明公开了一种双目检测***及其深度检测方法，包括：两个图像采集装置，光发射器，位于光发射器发射光路上的光学元件，以及与各图像采集装置相连的处理器；其中，两个图像采集装置间隔设定距离，且两个图像采集装置的图像采集范围存在交叠区域；光发射器配合光学元件可以向被测物体投射出多个图形互不相同的光斑。当图像采集装置拍摄被测物体的图像特征不明显时，可以拍摄的各图形的光斑作为图像特征，通过两个图像采集装置对光斑相同位置处的相匹配的特征点的位置信息，可以确定出该相匹配的特征点的深度，相当于确定出了该相匹配的特征点位置处被测物体的深度。

Description

一种双目检测***及其深度检测方法

技术领域

本发明涉及检测技术领域，尤指一种双目检测***及其深度检测方法。

背景技术

双目立体视觉(Binocular Stereo Vision)是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。双目立体视觉检测方法具有效率高、精度合适、***结构简单、成本低等优点。由于图像获取是在瞬间完成的，因此双目立体视觉检测是一种更有效的深度测量方法。但是在实际应用中也存在一些问题，如果被检测物体成像后的图像特征不明显，则无法获取合适的特征点进行匹配，容易造成特征点的匹配错位，影响检测的准确度。

发明内容

本发明实施例提供一种双目检测***及其深度检测方法，用以对图像特征不明显时进行高准确度的深度检测。

第一方面，本发明实施例提供一种双目检测***，包括：两个图像采集装置，光发射器，位于所述光发射器发射光路上的光学元件，以及与各所述图像采集装置相连的处理器；其中，

两个所述图像采集装置间隔设定距离，且两个所述图像采集装置的图像采集范围存在交叠区域；

所述光发射器，用于向被测物体发射所述图像采集装置可检测的设定波长的光束；

所述光学元件，用于使经过该光学元件的所述设定波长的光束向所述被测物体投射出多个光斑，各所述光斑的图形互不相同；

所述图像采集装置，用于拍摄所述被测物体以及投射在所述被测物体上的各图形的光斑；

所述处理器，用于将各所述图像采集装置拍摄的相同图形的光斑在相同位置处的点确定为相匹配的特征点；根据所述相匹配的特征点在各自所述图像采集装置的图像坐标系中的位置信息以及两个所述图像采集装置之间的已知距离，确定所述相匹配的特征点对应的物点的深度。

在一种可能的实现方式中，在本发明实施例提供的上述双目检测***中，所述光发射器为红外发射器；所述图像采集装置包括：分别与所述处理器相连的图像传感器以及红外传感器；

所述图像传感器的图像坐标系与所述红外传感器的图像坐标系之间存在已知的映射关系；所述红外传感器的图像采集范围大于或等于所述图像传感器的图像采集范围；

所述图像传感器，用于拍摄所述被测物体；

所述红外传感器，用于拍摄投射在所述被测物体上的各图形的红外光斑；

所述处理器，用于将各所述红外传感器拍摄的相同图形的红外光斑在相同位置处的点确定为相匹配的特征点；根据所述相匹配的特征点在各自所述图像传感器的图像坐标系中的位置信息以及两个所述图像传感器之间的已知距离，确定所述相匹配的特征点对应的物点的深度。

在一种可能的实现方式中，在本发明实施例提供的上述双目检测***中，所述双目检测***还包括：位于所述红外传感器镜头前的红外滤波片。

在一种可能的实现方式中，在本发明实施例提供的上述双目检测***中，所述图像采集装置还包括：分光镜；

所述分光镜，用于将所述图像采集装置的采集光束分成两束，其中一束向所述图像传感器入射，另一束向所述红外传感器入射。

第二方面，本发明实施例还提供一种基于上述任一双目检测***的深度检测方法，包括：

将各所述图像采集装置拍摄的相同图形的光斑在相同位置处的点确定为相匹配的特征点；

根据所述相匹配的特征点在各自图像坐标系中的位置信息以及两个所述图像采集装置之间的已知距离，确定所述相匹配的特征点对应的物点的深度。

在一种可能的实施方式中，在本发明实施例提供的上述深度检测方法中，两个所述图像采集装置分别为第一图像采集装置和第二图像采集装置；

所述将各所述图像采集装置拍摄的相同图形的光斑在相同位置处的点确定为相匹配的特征点，包括：

在所述第一图像采集装置拍摄的设定图形的第一光斑上选取第一特征点；

获取所述第一特征点在所述第一图像采集装置的图像坐标系中的第一位置信息；

在所述第二图像采集装置拍摄的图像中查找图形为所述设定图形的第二光斑，并确定所述第二光斑上的第二特征点；其中，所述第一特征点在所述第一光斑上的位置与所述第二特征点在所述第二光斑上的位置相同，所述第一特征点与所述第二特征点互为相匹配的特征点；

获取所述第二特征点在所述第二图像采集装置的图像坐标系中的第二位置信息；

所述根据所述相匹配的特征点在各自图像坐标系中的位置信息以及两个所述图像采集装置之间的已知距离，确定所述相匹配的特征点对应的特点的深度，包括：

根据所述第一位置信息、所述第二位置信息以及两个所述图像采集装置之间的已知距离，确定所拍摄图像中的相匹配的特征点对应的物点的深度。

在一种可能的实施方式中，在本发明实施例提供的上述深度检测方法中，所述双目检测***中光发射器为红外发射器，所述图像采集装置包括：图像传感器和红外传感器；

所述将各所述图像采集装置拍摄的相同图形的光斑在相同位置处的点确定为相匹配的特征点，包括：

将各所述红外传感器拍摄的相同图形的红外光斑在相同位置处的点确定为相匹配的特征点；

所述根据所述相匹配的特征点在各自图像坐标系中的位置信息以及两个所述图像采集装置之间的已知距离，确定所述相匹配的特征点对应的物点的深度，包括：

根据所述相匹配的特征点在各自红外传感器的图像坐标系中的位置信息，以及各红外传感器的图像坐标系与各图像传感器的图像坐标系之间的已知映射关系，确定所述相匹配的特征点对应于各自图像传感器的图像坐标系中的位置信息；

根据所述相匹配的特征点对应于各自图像传感器的图像坐标系中的位置信息，以及两个所述图像传感器之间的已知距离，确定所述相匹配的特征点对应的物点的深度。

在一种可能的实施方式中，在本发明实施例提供的上述深度检测方法中，两个所述图像采集装置分别为第一图像采集装置和第二图像采集装置；所述第一图像采集装置包括：第一图像传感器和第一红外传感器；所述第二图像采集装置包括：第二图像传感器和第二红外传感器；

所述将各所述红外传感器拍摄的相同图形的红外光斑在相同位置处的点确定为相匹配的特征点，包括：

在所述第一红外传感器拍摄的设定图形的第一红外光斑上选取第一特征点；

获取第一特征点在所述第一红外传感器的图像坐标系中的第一位置信息；

根据所述第一位置信息，以及所述第一红外传感器的图像坐标系与所述第一图像传感器的图像坐标系之间已知的映射关系，确定所述第一特征点对应于所述第一图像传感器的图像坐标系中的第二位置信息；

在所述第二红外传感器拍摄的图像中查找图形为所述设定图形的第二光斑，并确定所述第二光斑上的第二特征点；其中，所述第一特征点在所述第一光斑上的位置与所述第二特征点在所述第二光斑上的位置相同，所述第一特征点与所述第二特征点互为相匹配的特征点；

获取所述第二特征点在所述第二红外传感器的图像坐标系中的第三位置信息；

根据所述第三位置信息，以及所述第二红外传感器的图像坐标系与所述第二图像传感器的图像坐标系之间已知的映射关系，确定所述第二特征点对应于所述第二图像传感器的图像坐标系中的第四位置信息；

所述根据所述相匹配的特征点对应于各自图像坐标系中的位置信息，以及两个所述图像传感器之间的已知距离，确定所述相匹配的特征点对应的物点的深度，包括：

根据所述第二位置信息、所述第四位置信息以及两个所述图像传感器之间的已和距离，确定所拍摄图像中的相匹配的特征点对应的物点的深度。

在一种可能的实施方式中，在本发明实施例提供的上述深度检测方法中，所述特征点的匹配采用以下方式：

分别对所述第一红外传感器的图像坐标系以及所述第二红外传感器的图像坐标系进行分区，其中，每个分区内包含一种图形的光斑；

在所述第一图像传感器所拍摄的图像中提取待匹配的第一特征点，并确定所述第一特征点在所述第一图像传感器的图像坐标系中的第一坐标；

根据所述第一坐标，所述第一图像传感器的图像坐标系与所述第一红外传感器的图像坐标系的已知映射关系，确定所述第一坐标对应于所述第一红外传感器的图像坐标系中的第二坐标，以及所述第二坐标与所述第二坐标所属分区内的光斑的相对位置关系；

在所述第二红外传感器的分区中查找相同图形的光斑，并在相同图形的光斑所在分区中确定与相同图形的光斑具有同样相对位置关系的第三坐标；

根据所述第三坐标，所述第二图像传感器的图像坐标系与所述第二红外传感器的图像坐标系的已知映射关系，确定所述第三坐标对应于所述第二图像传感器的图像坐标系中的第四坐标，并将所述第四坐标处的点作为与所述第一特征点相匹配的第二特征点；

其中，相匹配的两个特征点用于确定对应物点的深度。

在一种可能的实施方式中，在本发明实施例提供的上述深度检测方法中，所述分别对所述第一红外传感器的图像坐标系以及所述第二红外传感器的图像坐标系进行分区，包括：

分别对所述第一红外传感器的图像坐标系以及所述第二红外传感器的图像坐标系进行分区，并对所述第一红外传感器的各分区以及所述第二红外传感器的各分区按照相同的顺序以及相同的编号形式进行编号；

所述在所述第二红外传感器的分区中查找相同图形的光斑，包括：

根据相同图形的光斑在所述第一红外传感器分区的编号，在所述第二红外传感器的相同编号的分区开始以与所述编号顺序相反的顺序查找相同图形的光斑。

本发明有益效果如下：

本发明实施例提供的双目检测***及其深度检测方法，包括：两个图像采集装置，光发射器，位于光发射器发射光路上的光学元件，以及与各图像采集装置相连的处理器；其中，两个图像采集装置间隔设定距离，且两个图像采集装置的图像采集范围存在交叠区域；光发射器，用于向被测物体发射图像采集装置可检测的设定波长的光束；光学元件，用于使经过该光学元件的设定波长的光束向被测物体投射出多个光斑，各光斑的图形互不相同；图像采集装置，用于拍摄被测物体以及投射在被测物体上的各图形的光斑；处理器，用于将各图像采集装置拍摄的相同图形的光斑在相同位置处的点确定为相匹配的特征点；根据相匹配的特征点在各自图像采集装置的图像坐标系中的位置信息以及两个图像采集装置之间的已知距离，确定相匹配的特征点对应的物点的深度。由于光发射器可以通过光学元件向被测物体上投射各图形的光斑，因此当图像采集装置拍摄被测物体的图像特征不明显时，可以拍摄的各图形的光斑作为图像特征，通过两个图像采集装置对光斑相同位置处的相匹配的特征点的位置信息，可以确定出该相匹配的特征点的深度，相当于确定出了该相匹配的特征点位置处被测物体的深度。

附图说明

图1为本发明实施例提供的双目视觉***的原理图；

图2为本发明实施例提供的双目检测***的结构示意图之一；

图3为本发明实施例提供的双目检测***的结构示意图之二；

图4为本发明实施例提供的双目检测***的结构示意图之三；

图5为本发明实施例提供的基于双目检测***的深度检测方法的流程示意图之一；

图6为本发明实施例提供的基于双目检测***的深度检测方法的流程示意图之二；

图7为本发明实施例提供的基于双目检测***的深度检测方法的流程示意图之三；

图8为本发明实施例提供的基于双目检测***的深度检测方法的流程示意图之四；

图9为本发明实施例提供的分区编号示意图。

具体实施方式

首先，对双目视觉***的原理进行简要说明。如图1所示为典型的双目视觉***，包括两个设置位置不相同的摄像头C1和C2，摄像头C1的主光轴为O1O1’，摄像头C2的主光轴为O2O2’，两摄像头的主光轴相互平行，间距为d。两摄像头在同一时刻观看空间上的同一点P(x,y,z)，两个摄像头分别获取了该特征点P的图像，且在两个摄像头的图像坐标获取到两个特征点分别为P1(x1,y1,z1)以及P2(x2,y2,z2)。如果定两摄像头的图像在同一平面上，则两个特征点的Y坐标一定是相同的，即y1＝y2＝Y。由三角几何关系可以得到如下关系式：

x1＝fx/z；

x2＝f(x-d)/z；

Y＝fy/z；

如果将视差设为D＝x1-x2，则可得到P点的三维坐标为：

x＝dx1/D；

y＝dY/D；

z＝df/D；

由此可见，在一个摄像头的像面上的任意一点，只要能在另一个摄像头的像面上找到对应的匹配点，就可以确定这两个匹配的像点所对应的物点的三维坐标。由此可以得到该物点的深度以及三维信息。然而在实际应用中，摄像装置所拍摄的图像可能并不能找到较为明显的图像特征点，例如，如果被测物体为一白色的曲面时，在摄像装置的图像上几乎不能找到图像特征，即使确定了一个摄像装置的图像上一点为特征点，对两个摄像装置的图像特征点的匹配也很容易出错。

有鉴于此，本发明实施例提供一种双目检测***，可以主动标记特征点，从而可以图像特征不明显时进行高准确度的深度检测。

下面结合附图，对本发明实施例提供的。其中，附图中各部件的形状和尺寸不反映显示装置的真实比例，目的只是示意说明本发明内容。

如图2所示，本发明实施例提供的双目检测***，包括：两个图像采集装置21，光发射器22，位于光发射器22发射光路上的光学元件23，以及与各图像采集装置21相连的处理器24；其中，两个图像采集装置21间隔设定距离，且两个图像采集装置21的图像采集范围存在交叠区域。

具体地，光发射器22，用于向被测物体发射图像采集装置可检测的设定波长的光束；

光学元件23，用于使经过该光学元件的设定波长的光束向被测物体投射出多个光斑，各光斑的图形互不相同；

图像采集装置21，用于拍摄被测物体以及投射在被测物体上的各图形的光斑；

处理器24，用于将各图像采集装置21拍摄的相同图形的光斑在相同位置处的点确定为相匹配的特征点；根据相匹配的特征点在各自图像采集装置的图像坐标系中的位置信息以及两个图像采集装置之间的已知距离，确定相匹配的特征点对应的物点的深度。

如上述原理所述，只有在两个图像采集装置所拍摄的图像中找到相同的图像特征点才能确定出该相同的图像特征所对应的物点，因此，在本发明实施例中，两个图像采集装置21的图像采集范围存在交叠区域，具体可参见图2，如果图像采集装置21a的图像采集范围为AA，图像采集装置21b的图像采集范围为BB，则至少存在交叠区域AB，才可以实现AB范围内的深度检测。另外，在本发明实施例中，如图2所示，光发射器22所出射的光线在通过光学元件23之后，可在被测物体上投射出多个不同图形光斑，图像采集装置21不仅可以拍摄到被测物体的图像，也可以拍摄到投射在被测物体上的各图形的光斑，那么在被测物体本身的图像特征不明显时，可以通过投射在被测物体上的各图形的光斑进行特征点的选取和匹配。如上所述，可选取相同图形的光斑在相同位置处的点作为相匹配的特征点。例如，如图2所示的各图形的光斑，可将图像采集装置21a拍摄的圆形光斑的中心点，以及图像采集装置21b拍摄的圆形光斑的中心点作为相匹配的特征点，由此可通过上述双目视觉***的检测原理通过光斑的检测得到对应的物点的深度。

在具体实施时，上述的光学元件23可为具有各种图形通孔的遮光板，也可以为光栅，如衍射光栅等，只要能够在光照条件下产生变化图形的光学元件都可采用，本发明实施例在此不做具体限定。另外，光发射器22的发射光波长可为设定的波长，例如，可为红外光、紫外光，也可为可见光。而在实际应用中，由于人眼所观察的图像信息通常为被测物体反射的可见光，为不影响人眼的正常观看，可以采用红外波段的光发射器。

当光发射器22为红外发射器时，如图3所示的双目检测***的俯视图，图像采集装置21包括：分别与处理器24相连的图像传感器211以及红外传感器212。

其中，图像传感器211的图像坐标系与红外传感器212的图像坐标系之间存在已知的映射关系；红外传感器212的图像采集范围大于或等于图像传感器211的图像采集范围。

具体地，图像传感器211，用于拍摄被测物体；

红外传感器212，用于拍摄投射在被测物体上的各图形的红外光斑；

处理器24，用于将各红外传感器拍摄的相同图形的红外光斑在相同位置处的点确定为相匹配特征点；根据特征点在各自图像传感器的图像坐标系中的位置信息以及两个图像传感器之间的已知距离，确定特征点对应的物点的深度。

在本发明实施例中，红外发射器可采用红外发光二极管或红外激光二极管等，在此不做限定。对于拍摄物体S以及拍摄物体上的红外光斑可分别设置两种图像传感器用于不同的图像拍摄，图像传感器211用于拍摄被测物体，红外传感器212用于拍摄投射在被测物体上的各种图形的光斑。那么在实际应用时，可以根据图像特征是否明显来决定是否打开红外发射器。例如，当被测物体的图像特征很明显，在两个图像传感器的图像坐标系中很容易可以找到相匹配的特征点，从而不需要通过红外光斑的协助定位，即可准确确定相匹配的特征点，此时可以关闭红外发射器以及红外传感器，采用双目视觉***的原理确定相匹配的图像特征点所对应的物点的深度。然而，当图像传感器所拍摄的被测物体的图像特征并不明显时，此时可以打开红外发射器以及红外传感器，借助红外传感器所拍摄的投射在被测物体上的光斑的特征作为图像特征，从而确定被测物体的深度。

需要说明的是，在正常使用两种图像传感器时，如图3所示需要保证红外传感器的图像采集范围大于或等于图像传感器的图像采集范围，由此才能保证被测物体的图像采集范围内均能够进行光斑图像的采集。当图像传感器与红外传感器的设置位置固定时，就可以确定两者的图像坐标系之间的转换关系。例如，如果将图像传感器和红外传感器设置在相同的高度，距离被测物体相同的距离时，那么图像传感器的图像坐标系与红外传感器的图像坐标系仅在像面中心连线的方向存在坐标差别，因此两者的图像坐标系之间的映射关系为已知。当确定了像点在一个传感器的图像坐标，就可以通过映射关系确定像点在另一个传感器的图像坐标。由此，当借助相同图形的光斑在相同位置处的点作为相匹配的特征点，则可以将这两个特征点转换为图像传感器的图像坐标，从而确定该相匹配的特征点对应物点的深度。

进一步地，如图3所示，在本发明实施例提供的上述双目检测***中，还包括：位于红外传感器212镜头前的红外滤波片25。红外滤波片25为窄带滤波片，其带宽与红外发射器的红外波长相匹配，通过设置红外滤波片25可将对红外传感器不需要检测的可见光等波段的光滤掉，从而提高红外传感器的拍摄图像质量。

在另一种可实施的方式中，如图4所示，图像采集装置21还包括：分光镜213；分光镜213，用于将图像采集装置的采集光束分成两束，其中一束向图像传感器211入射，另一束向红外传感器212入射。当采用分光镜时，图像传感器镜头、红外传感器镜头以及分光镜可构成一个共轴光学***，因此，图像传感器与红外传感器具有统一的图像坐标***，因此在具体实施时，可以省去两个坐标系之间的转换计算，效率更高。在实际应用中，上述的分光镜213可采用半透半反镜等光学部件，在此不做限定。

基于同一发明构思，本发明实施例还提供一种基于上述任一双目检测***的深度检测方法，如图5所示，本发明实施例提供的深度检测方法，可以包括如下步骤：

S501、将各图像采集装置拍摄的相同图形的光斑在相同位置处的点确定为相匹配的特征点；

S502、根据相匹配的特征点在各自图像坐标系中的位置信息以及两个图像采集装置之间的已知距离，确定相匹配的特征点对应的物点的深度。

本发明实施例通过光发射器以及光学元件向被测物体上投射各图形的光斑，使得图像采集装置拍摄被测物体的图像特征不明显时，可以将拍摄的各图形的光斑作为图像特征，通过两个图像采集装置对光斑相同位置处的相匹配的特征点的位置信息之间的视差，可以确定出该相匹配的特征点的深度，从而也就确定出了该相匹配的特征点位置处被测物体的深度。

具体地，若将两个图像采集装置分别为第一图像采集装置和第二图像采集装置；则在上述的S501中，将各图像采集装置拍摄的相同图形的光斑在相同位置处的点确定为相匹配的特征点，具体可以包括如图6所示的以下步骤：

S5011、在第一图像采集装置拍摄的设定图形的第一光斑上选取第一特征点；

S5012、获取第一特征点在第一图像采集装置的图像坐标系中的第一位置信息；

S5013、在第二图像采集装置拍摄的图像中查找图形为设定图形的第二光斑，并确定第二光斑上的第二特征点；

其中，第一特征点在第一光斑上的位置与第二特征点在第二光斑上的位置相同，第一特征点与第二特征点互为相匹配的特征点；

S5014、获取第二特征点在第二图像采集装置的图像坐标系中的第二位置信息。

如上所述，当得到同一个特征在两个图像采集装置的像点在图像坐标系中的位置信息，以及两个图像采集装置之间的距离，则可以通过视差计算出该物点的深度，从而得到该物点的三维坐标。而在图像采集装置不能够采集到明显的图像特征时，就可以借助投射到被测特征上的光斑的图像特征的位置信息进而确定光斑位置处物点的深度。在具体实施时，可在两个图像采集装置拍摄的各光斑中查找相同图形的光斑，并将相同图形的光斑在相同位置处的点分别作为相匹配的两个特征点，如上述第一图像采集装置对应的第一特征点，以及第二图像采集装置对应的第二特征点，所提取的特征点可为相同图形的光斑上的相同位置处的点，也可以是与相同图形的光斑具有相同位置关系的点。由此，通过主动在被测特征上投射的光斑帮助定位相同物点在两个图像采集装置的图像坐标系中的位置，从而确定该物点的深度。

相应地，在上述的步骤S502中，根据相匹配的特征点在各自图像坐标系中的位置信息以及两个图像采集装置之间的已知距离，确定相匹配的特征点对应的特点的深度，具体可以包括：

根据第一位置信息、第二位置信息以及两个图像采集装置之间的已知距离，确定所拍摄图像中的相匹配的特征点对应的物点的深度。

当双目检测***中的光发射器为红外发射器时，图像采集装置可包括：图像传感器和红外传感器；其中，图像传感器用于拍摄被测物体，红外传感器用于拍摄投射在被测物体上的红外光斑。

则在上述的步骤S501中，将各图像采集装置拍摄的相同图形的光斑在相同位置处的点确定为相匹配的特征点，具体可以包括：

将各红外传感器拍摄的相同图形的红外光斑在相同位置处的点确定为相匹配的特征点；

相应地，在上述的步骤S502中，根据相匹配的特征点在各自图像坐标系中的位置信息以及两个图像采集装置之间的已知距离，确定相匹配的特征点对应的物点的深度，具体可以包括：

根据相匹配的特征点在各自红外传感器的图像坐标系中的位置信息，以及各红外传感器的图像坐标系与各图像传感器的图像坐标系之间的已知映射关系，确定相匹配的特征点对应于各自图像传感器的图像坐标系中的位置信息；

根据相匹配的特征点对应于各自图像传感器的图像坐标系中的位置信息，以及两个图像传感器之间的已知距离，确定相匹配的特征点对应的物点的深度。

采用红外发射器向被测特征投射光斑时，不会影响图像传感器的正常拍摄，且观看者并不能识别红外波段，因此在观看图像传感器拍摄的画面时与普通拍摄的画面观看效果一致。当确定好各图像传感器与红外传感器的设置位置之后，两者之间的图像坐标系的映射关系就可以确定出来。因此，在提取了红外传感器的图像坐标第中的特征点之后可以向图像传感器的图像坐标系映射，从而根据特征点的位置信息可以确定出特征点所对应的物点的深度。

在本发明实施例中，将两个红外传感器所拍摄的相同图形的光斑在相同位置处的点作为两个相匹配的特征点，例如，将两个红外传感器所拍摄的圆形光斑的圆心作为特征点，之后再将两个圆心在位置向各自对应的图像传感器的图像坐标系映射，从而可以确定出在图像传感器的图像坐标系中圆心的位置信息，由此可以确定出投射在被测物体上圆形光斑的圆心处的深度。

具体地，若将两个图像采集装置分为第一图像采集装置和第二图像采集装置；第一图像采集装置包括：第一图像传感器和第一红外传感器；第二图像采集装置包括：第二图像传感器和第二红外传感器；

则在上述的步骤中，将各红外传感器拍摄的相同图形的红外光斑在相同位置处的点确定为相匹配的特征点，具体可以包括如图7所示的以下步骤：

S701、在第一红外传感器拍摄的设定图形的第一红外光斑上选取第一特征点；

S702、获取第一特征点在第一红外传感器的图像坐标系中的第一位置信息；

S703、根据第一位置信息，以及第一红外传感器的图像坐标系与第一图像传感器的图像坐标系之间已知的映射关系，确定第一特征点对应于第一图像传感器的图像坐标系中的第二位置信息；

S704、在第二红外传感器拍摄的图像中查找图形为设定图形的第二光斑，并确定第二光斑上的第二特征点；

其中，第一特征点在第一光斑上的位置与第二特征点在第二光斑上的位置相同，第一特征点与第二特征点互为相匹配的特征点；

S705、获取第二特征点在第二红外传感器的图像坐标系中的第三位置信息；

S706、根据第三位置信息，以及第二红外传感器的图像坐标系与第二图像传感器的图像坐标系之间已知的映射关系，确定第二特征点对应于第二图像传感器的图像坐标系中的第四位置信息。

相应地，在上述的步骤中，根据相匹配的特征点对应于各自图像传感器的图像坐标系中的位置信息，以及两个图像传感器之间的已知距离，确定相匹配的特征点对应的物点的深度，具体可以包括：

根据第二位置信息、第四位置信息以及两个图像传感器之间的已和距离，确定所拍摄图像中的相匹配的特征点对应的物点的深度。

其中，第一特征点为在第一红外传感器的图像坐标系中设定图形光斑上的一点；第二特征点为在第二红外传感器的图像坐标系中图形为设定图形的光斑上相同位置处的一点。例如，第一特征点可为第一红外传感器拍摄的圆形光斑的圆心，第二特征点为第二红外传感器拍摄的圆形光斑的圆心。

进一步地，根据第一特征点在第一红外传感器的图像坐标系的第一位置信息，可以通过映射得到第一特征点对应于第一图像传感器的图像坐标系的第二位置信息；同样的，根据第二特征点在第二红外传感器的图像坐标系的第三位置信息，可以通过映射得到第二特征点对应于第二图像传感器的图像坐标系的第四位置信息；从而可以根据两个图像传感器对于相同物点的特征点的位置信息(第二位置信息和第四位置信息)，以及两个图像传感器之间的距离，计算出该物点的深度。

在具体实施时，如果图像传感器所拍摄物体的图像特征重复出现时，两个图像传感器很容易出现特征点匹配错误的问题，从而造成深度检测错误。例如，如果被测物体表面具有重复排布的花纹，那么在进行深度检测时，即使均锁定了花纹的相同位置，仍然可能未能够提取到相同位置的花纹，从而造成深度信息计算错误。而本发明实施例提采用的双目检测***可以克服上述问题。

在本发明实施例提供的上述深度检测方法中，关于特征点的匹配可以采用以下方式，具体如图8所示：

S801、分别对第一红外传感器的图像坐标系以及第二红外传感器的图像坐标系进行分区；

其中，每个分区内包含一种图形的光斑；

S802、在第一图像传感器所拍摄的图像中提取待匹配的第一特征点，并确定第一特征点在第一图像传感器的图像坐标系中的第一坐标；

S803、根据第一坐标，第一图像传感器的图像坐标系与第一红外传感器的图像坐标系的已知映射关系，确定第一坐标对应于第一红外传感器的图像坐标系中的第二坐标，以及第二坐标与第二坐标所属分区内的光斑的相对位置关系；

S804、在第二红外传感器的分区中查找相同图形的光斑，并在相同图形的光斑所在分区中确定与相同图形的光斑具有同样相对位置关系的第三坐标；

S805、根据第三坐标，第二图像传感器的图像坐标系与第二红外传感器的图像坐标系的已知映射关系，确定第三坐标对应于第二图像传感器的图像坐标系中的第四坐标，并将第四坐标处的点作为与第一特征点相匹配的第二特征点。

其中，相匹配的两个特征点用于确定对应物点的深度。

在本发明实施例中，帮助与图像传感器的图像坐标系中的特征点具有相同位置关系的光斑对特征点定位，由此可以避免特征点匹配错误的问题。具体地，首先根据红外光斑的分布将两个红外传感器的拍摄图像进行分区，使分区与不同图形的光斑一一对应。这样在确定了在红外传感器的图像坐标系中的一点，即可确定该点所属分区，以及在这个分区内的光斑图形。而在具体实施时，第一图像传感器与第一红外传感器的图像坐标系之间，以及第二图像传感器与第二红外传感器的图像坐标系之间均已知映射关系；当确定了第一图像传感器的图像坐标系中的第一特征点之后，可以映射到第一红外传感器的图像坐标系中，从而就可以确定这一点与所属分区内的红外光斑相对位置关系；那么在第二红外传感器中查找与相同的红外光斑具有相同位置关系的点，再将其映射到第二图像传感器的图像坐标系中，即可找到与上述第一特征点相匹配的第二特征点，由此根据两个匹配的特征点的在不同图像传感器的图像坐标系中的位置坐标，以及图像传感器之间的距离，可以确定出特征点对应物点的深度。

进一步地，在上述的步骤801中，分别对第一红外传感器的图像坐标系以及第二红外传感器的图像坐标系进行分区，具体可以包括：

分别对第一红外传感器的图像坐标系以及第二红外传感器的图像坐标系进行分区，并对第一红外传感器的各分区以及第二红外传感器的各分区按照相同的顺序以及相同的编号形式进行编号。

具体可参见图9所示的例子，假如第一红外传感器的图像坐标系为X₁Y₁，第二红外传感器的图像坐标系为X₂Y₂，且第一红外传感器与第二红外传感器的图像采集范围具有交叠区域。那么对第一红外传感器的图像坐标系进行分区后部分分区的编号可为a1，b1，c1，d1，e1，f1；对第二红外传感器的图像坐标系进行分区后部分分区的编号可为a2，b2，c2，d2，e2，f2；在图9所示的举例中，仅以第一行分区进行说明，其它位置的分区以及编号与其类似。

进一步地，在上述的步骤804中，在第二红外传感器的分区中查找相同图形的光斑，具体可以包括：

根据相同图形的光斑在第一红外传感器分区的编号，在第二红外传感器的相同编号的分区开始以与编号顺序相反的顺序查找相同图形的光斑。

仍以图9所示的分区编号举例，在实际应用中，两个红外传感器的图像采集范围一般具有较大范围的交叠区域，这也是双目***的必然要求，因此只有在交叠区域内的被测物体才能够检测深度信息。那么相同的字母为各分区进行编号，且两个图像坐标系中相同字母编号的分区距离较近。因此，假如确定了第一红外传感器的图像坐标系中的某一图形的光斑所在的分区以及分区的编号，那么在第二红外传感器的图像坐标系中以相同的分区编号为起点逆向查找则可以快速地定位到相同图形光斑所在的分区。

例如，上述的第一特征点在映射到第一红外传感器的图像坐标系后位于e1分区的五角星形光斑的中心点；那么需要在第二红外传感器的图像坐标系中查找五角星形的光斑，此时，可以在第二红外传感器的e2分区逆向查找，则查找到d2分区时，即找到五角星形的光斑。由此可将光斑的中心点映射到第二图像传感器的图像坐标系中，即可找到与第一特征点匹配的第二特征点。由此可以加快特征点匹配的速度，提高检测效率。

本发明实施例提供的双目检测***及其深度检测方法，包括：两个图像采集装置，光发射器，位于光发射器发射光路上的光学元件，以及与各图像采集装置相连的处理器；其中，两个图像采集装置间隔设定距离，且两个图像采集装置的图像采集范围存在交叠区域；光发射器，用于向被测物体发射图像采集装置可检测的设定波长的光束；光学元件，用于使经过该光学元件的设定波长的光束向被测物体投射出多个光斑，各光斑的图形互不相同；图像采集装置，用于拍摄被测物体以及投射在被测物体上的各图形的光斑；处理器，用于将各图像采集装置拍摄的相同图形的光斑在相同位置处的点确定为相匹配的特征点；根据相匹配的特征点在各自图像采集装置的图像坐标系中的位置信息以及两个图像采集装置之间的已知距离，确定相匹配的特征点对应的物点的深度。由于光发射器可以通过光学元件向被测物体上投射各图形的光斑，因此当图像采集装置拍摄被测物体的图像特征不明显时，可以拍摄的各图形的光斑作为图像特征，通过两个图像采集装置对光斑相同位置处的相匹配的特征点的位置信息，可以确定出该相匹配的特征点的深度，相当于确定出了该相匹配的特征点位置处被测物体的深度。尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种双目检测***，其特征在于，包括：两个图像采集装置，光发射器，位于所述光发射器发射光路上的光学元件，以及与各所述图像采集装置相连的处理器；其中，

两个所述图像采集装置间隔设定距离，且两个所述图像采集装置的图像采集范围存在交叠区域；

所述光发射器，用于向被测物体发射所述图像采集装置可检测的设定波长的光束；

所述光学元件，用于使经过该光学元件的所述设定波长的光束向所述被测物体投射出多个光斑，各所述光斑的图形互不相同；

所述图像采集装置，用于拍摄所述被测物体以及投射在所述被测物体上的各图形的光斑；

所述处理器，用于将各所述图像采集装置拍摄的相同图形的光斑在相同位置处的点确定为相匹配的特征点；根据所述相匹配的特征点在各自所述图像采集装置的图像坐标系中的位置信息以及两个所述图像采集装置之间的已知距离，确定所述相匹配的特征点对应的物点的深度；

所述光发射器为红外发射器；所述图像采集装置包括：分别与所述处理器相连的图像传感器以及红外传感器；

所述图像传感器的图像坐标系与所述红外传感器的图像坐标系之间存在已知的映射关系；所述红外传感器的图像采集范围大于或等于所述图像传感器的图像采集范围；

所述图像传感器，用于拍摄所述被测物体；

所述红外传感器，用于拍摄投射在所述被测物体上的各图形的红外光斑；

所述处理器，用于将各所述红外传感器拍摄的相同图形的红外光斑在相同位置处的点确定为相匹配的特征点；根据所述相匹配的特征点在各自所述图像传感器的图像坐标系中的位置信息以及两个所述图像传感器之间的已知距离，确定所述相匹配的特征点对应的物点的深度；

两个所述图像采集装置分别为第一图像采集装置和第二图像采集装置；所述第一图像采集装置包括：第一图像传感器和第一红外传感器；所述第二图像采集装置包括：第二图像传感器和第二红外传感器；

所述特征点的匹配采用以下方式：

分别对所述第一红外传感器的图像坐标系以及所述第二红外传感器的图像坐标系进行分区，其中，每个分区内包含一种图形的光斑；

在所述第一图像传感器所拍摄的图像中提取待匹配的第一特征点，并确定所述第一特征点在所述第一图像传感器的图像坐标系中的第一坐标；

根据所述第一坐标，所述第一图像传感器的图像坐标系与所述第一红外传感器的图像坐标系的已知映射关系，确定所述第一坐标对应于所述第一红外传感器的图像坐标系中的第二坐标，以及所述第二坐标与所述第二坐标所属分区内的光斑的相对位置关系；

在所述第二红外传感器的分区中查找相同图形的光斑，并在相同图形的光斑所在分区中确定与相同图形的光斑具有同样相对位置关系的第三坐标；

根据所述第三坐标，所述第二图像传感器的图像坐标系与所述第二红外传感器的图像坐标系的已知映射关系，确定所述第三坐标对应于所述第二图像传感器的图像坐标系中的第四坐标，并将所述第四坐标处的点作为与所述第一特征点相匹配的第二特征点；

其中，相匹配的两个特征点用于确定对应物点的深度。

2.如权利要求1所述的双目检测***，其特征在于，所述双目检测***还包括：位于所述红外传感器镜头前的红外滤波片。

3.如权利要求1所述的双目检测***，其特征在于，所述图像采集装置还包括：分光镜；

所述分光镜，用于将所述图像采集装置的采集光束分成两束，其中一束向所述图像传感器入射，另一束向所述红外传感器入射。

4.一种基于权利要求1-3任一项所述的双目检测***的深度检测方法，其特征在于，包括：

将各所述图像采集装置拍摄的相同图形的光斑在相同位置处的点确定为相匹配的特征点；

根据所述相匹配的特征点在各自图像坐标系中的位置信息以及两个所述图像采集装置之间的已知距离，确定所述相匹配的特征点对应的物点的深度；

所述双目检测***中光发射器为红外发射器，所述图像采集装置包括：图像传感器和红外传感器；两个所述图像采集装置分别为第一图像采集装置和第二图像采集装置；所述第一图像采集装置包括：第一图像传感器和第一红外传感器；所述第二图像采集装置包括：第二图像传感器和第二红外传感器；

所述特征点的匹配采用以下方式：

分别对所述第一红外传感器的图像坐标系以及所述第二红外传感器的图像坐标系进行分区，其中，每个分区内包含一种图形的光斑；

在所述第一图像传感器所拍摄的图像中提取待匹配的第一特征点，并确定所述第一特征点在所述第一图像传感器的图像坐标系中的第一坐标；

根据所述第一坐标，所述第一图像传感器的图像坐标系与所述第一红外传感器的图像坐标系的已知映射关系，确定所述第一坐标对应于所述第一红外传感器的图像坐标系中的第二坐标，以及所述第二坐标与所述第二坐标所属分区内的光斑的相对位置关系；

在所述第二红外传感器的分区中查找相同图形的光斑，并在相同图形的光斑所在分区中确定与相同图形的光斑具有同样相对位置关系的第三坐标；

根据所述第三坐标，所述第二图像传感器的图像坐标系与所述第二红外传感器的图像坐标系的已知映射关系，确定所述第三坐标对应于所述第二图像传感器的图像坐标系中的第四坐标，并将所述第四坐标处的点作为与所述第一特征点相匹配的第二特征点；

其中，相匹配的两个特征点用于确定对应物点的深度。

5.如权利要求4所述的深度检测方法，其特征在于，所述将各所述图像采集装置拍摄的相同图形的光斑在相同位置处的点确定为相匹配的特征点，包括：

在所述第一图像采集装置拍摄的设定图形的第一光斑上选取第一特征点；

获取所述第一特征点在所述第一图像采集装置的图像坐标系中的第一位置信息；

在所述第二图像采集装置拍摄的图像中查找图形为所述设定图形的第二光斑，并确定所述第二光斑上的第二特征点；其中，所述第一特征点在所述第一光斑上的位置与所述第二特征点在所述第二光斑上的位置相同，所述第一特征点与所述第二特征点互为相匹配的特征点；

获取所述第二特征点在所述第二图像采集装置的图像坐标系中的第二位置信息；

所述根据所述相匹配的特征点在各自图像坐标系中的位置信息以及两个所述图像采集装置之间的已知距离，确定所述相匹配的特征点对应的特点的深度，包括：

根据所述第一位置信息、所述第二位置信息以及两个所述图像采集装置之间的已知距离，确定所拍摄图像中的相匹配的特征点对应的物点的深度。

6.如权利要求4所述的深度检测方法，其特征在于，所述将各所述图像采集装置拍摄的相同图形的光斑在相同位置处的点确定为相匹配的特征点，包括：

将各所述红外传感器拍摄的相同图形的红外光斑在相同位置处的点确定为相匹配的特征点；

所述根据所述相匹配的特征点在各自图像坐标系中的位置信息以及两个所述图像采集装置之间的已知距离，确定所述相匹配的特征点对应的物点的深度，包括：

根据所述相匹配的特征点在各自红外传感器的图像坐标系中的位置信息，以及各红外传感器的图像坐标系与各图像传感器的图像坐标系之间的已知映射关系，确定所述相匹配的特征点对应于各自图像传感器的图像坐标系中的位置信息；

根据所述相匹配的特征点对应于各自图像传感器的图像坐标系中的位置信息，以及两个所述图像传感器之间的已知距离，确定所述相匹配的特征点对应的物点的深度。

7.如权利要求6所述的深度检测方法，其特征在于，所述将各所述红外传感器拍摄的相同图形的红外光斑在相同位置处的点确定为相匹配的特征点，包括：

在所述第一红外传感器拍摄的设定图形的第一光斑上选取第一特征点；

获取第一特征点在所述第一红外传感器的图像坐标系中的第一位置信息；

根据所述第一位置信息，以及所述第一红外传感器的图像坐标系与所述第一图像传感器的图像坐标系之间已知的映射关系，确定所述第一特征点对应于所述第一图像传感器的图像坐标系中的第二位置信息；

在所述第二红外传感器拍摄的图像中查找图形为所述设定图形的第二光斑，并确定所述第二光斑上的第二特征点；其中，所述第一特征点在所述第一光斑上的位置与所述第二特征点在所述第二光斑上的位置相同，所述第一特征点与所述第二特征点互为相匹配的特征点；

获取所述第二特征点在所述第二红外传感器的图像坐标系中的第三位置信息；

根据所述第三位置信息，以及所述第二红外传感器的图像坐标系与所述第二图像传感器的图像坐标系之间已知的映射关系，确定所述第二特征点对应于所述第二图像传感器的图像坐标系中的第四位置信息；

所述根据所述相匹配的特征点对应于各自图像坐标系中的位置信息，以及两个所述图像传感器之间的已知距离，确定所述相匹配的特征点对应的物点的深度，包括：

根据所述第二位置信息、所述第四位置信息以及两个所述图像传感器之间的已和距离，确定所拍摄图像中的相匹配的特征点对应的物点的深度。

8.如权利要求4所述的深度检测方法，其特征在于，所述分别对所述第一红外传感器的图像坐标系以及所述第二红外传感器的图像坐标系进行分区，包括：

分别对所述第一红外传感器的图像坐标系以及所述第二红外传感器的图像坐标系进行分区，并对所述第一红外传感器的各分区以及所述第二红外传感器的各分区按照相同的顺序以及相同的编号形式进行编号；

所述在所述第二红外传感器的分区中查找相同图形的光斑，包括：

根据相同图形的光斑在所述第一红外传感器分区的编号，在所述第二红外传感器的相同编号的分区开始以与所述编号顺序相反的顺序查找相同图形的光斑。

Images