CN101498889B - 一种多目立体摄像方法及装置 - Google Patents

Abstract

本发明实施例公开了一种多目立体摄像方法及装置，属于图像处理领域。所述方法包括：对第一图像获取设备获取的图像中的每一个像素点，在与第一图像获取设备基线距离最短的第二图像获取设备获取的相同图像中，寻找对应点；根据所述对应点，预测所述像素点在其他图像获取设备获取的相同图像中的位置；根据所述预测的位置，在其他图像获取设备获取的相同图像中探索所述像素点的对应点；计算所述像素点在各图像获取设备获取的相同图像中对应点之间的视差，根据所述视差得到立体图像。所述装置包括：查找模块，预测模块，探索模块和计算模块。本发明实施例通过至少三台以上图像获取设备测量空间距离，可以同时进行远距和近距的测量。

Description

一种多目立体摄像方法及装置

技术领域

本发明涉及图像处理领域，特别涉及一种多目立体摄像方法及装置。

背景技术

当今社会，汽车已成为一种必不可少的交通工具。人们在享受汽车带来的方便和快捷的同时，汽车交通事故也已成为日益严峻的全球性社会问题。车载环境感知***利用各种传感器对车辆自身、周围环境及驾驶员状态等信息进行探测，通过与预先设定的标准进行比较，判别车辆是否处于危险状态及危险程度，必要时能够通过声、光等方式向驾驶员进行预警。

现有技术中车载立体环境感知的摄像机***主要用双目立体摄像头测量三维空间坐标，障碍物位置等信息。最简单和常用的双目立体摄像头***结构图如图1所示，由两台光轴相互平行，摄像面在同一平面的摄像头构成。三维空间任意一点P(X，Y，Z)，在左右摄像头的投影平面位置为x1和xr。根据三角测量原理，左右投影坐标的差异，即视差，同三维空间的距离Z成如下关系。

$\mathrm{\Δ}=x_l-x_r=f\frac{b}{Z}$

其中f为摄像头的焦距，b是两个摄像头的光学中心的间距，也称基线长。

因为f和b是已知量或者可以通过校正得到，因此只要从左右图像中找到对应点的位置，就可以通过计算视差来得到三维空间的距离Z。

现有技术中还有一种L型三眼立体摄像头进行车辆行走环境监测的技术。该技术根据探索对应点的匹配过程中需要有足够的特征信息(比如水平或垂直边缘)这一原理，通过左右的两台摄像头获得垂直方向的特征点的立体信息，通过上下的两台摄像头获得水平方向的立体信息，然后综合两组立体信息得到最后结果。该技术可以避免水平立体摄像头***对水平特征信息(比如车辆的顶部或底部)的不敏感性。

在对上述现有技术进行分析后，发明人发现：

现有技术一中由于安装的需要，车载双目立体摄像头的摄像头焦距和基线长是固定的，也就是视差和三维空间的距离Z的关系是固定的，因此无法同时满足同时进行远方测距(如高速行驶中前方100到200米车辆检测)和近距检测(比如前方2米的障碍物检测)的需要；

现有技术二中虽然可以避免水平立体摄像头***对水平特征信息(比如车辆的顶部或底部)的不敏感性，但L型的配置方案通常无法装配到车辆的前端或顶部，而且现有技术二无法解决同时进行远距和近距测量的问题。

发明内容

为了能够同时进行远距和近距的测量，本发明实施例提供了一种多目立体摄像方法及装置。所述技术方案如下：

一种多目立体摄像方法，所述方法包括：

对第一图像获取设备获取的图像中的每一个像素点，在与第一图像获取设备基线距离最短的第二图像获取设备获取的相同图像中，寻找对应点；

根据所述对应点，预测所述像素点在其他图像获取设备获取的相同图像中的位置；

根据所述预测的位置，在其他图像获取设备获取的相同图像中探索所述像素点的对应点；

计算所述像素点在各图像获取设备获取的相同图像中对应点之间的视差，根据所述视差得到三维空间的距离，所述各图像获取设备的光轴平行、成像方向相同，并且所述各图像获取设备的图像平面在一个平面上。

其中，在所述寻找对应点之前，所述方法还包括：

对采集的图像进行校正。

计算所述像素点在各图像获取设备获取的相同图像中对应点之间的视差，根据所述视差得到三维空间的距离，具体包括：

计算基线距离最长的两个图像获取设备获取的相同图像的像素点的对应点之间的视差，根据所述视差得到三维空间的距离。

计算所述像素点在各图像获取设备获取的相同图像中对应点之间的视差，根据所述视差得到三维空间的距离，具体包括：

根据所述像素点的对应点的灰度匹配值进行线形平均，得到平均视差，根据所述平均视差得到三维空间的距离。

一种多目立体摄像装置，所述装置包括：

查找模块，用于对第一图像获取设备获取的图像中的每一个像素点，在与第一图像获取设备基线距离最短的第二图像获取设备获取的相同图像中，寻找对应点；

预测模块，用于根据所述查找模块得到的对应点，预测所述像素点在其他图像获取设备获取的相同图像中的位置；

探索模块，用于根据所述预测模块预测的位置，在其他图像获取设备获取的相同图像中探索所述像素点的对应点；

计算模块，用于计算所述像素点在各图像获取设备获取的相同图像中对应点之间的视差，根据所述视差得到三维空间的距离，所述各图像获取设备的光轴平行、成像方向相同，并且所述各图像获取设备的图像平面在一个平面上。

所述装置还包括：

校正模块，用于对采集的图像进行校正。

其中，所述计算模块，具体用于计算基线距离最长的两个图像获取设备获取的相同图像的像素点的对应点之间的视差，根据所述视差得到三维空间的距离。

其中，所述计算模块，具体用于根据所述像素点的对应点的灰度匹配值进行线形平均，得到平均视差，根据所述平均视差得到三维空间的距离。

本发明实施例提供的技术方案的有益效果是：通过至少三个以上图像获取设备测量空间距离，可以同时进行远距和近距的测量。

附图说明

图1是现有技术中双目立体摄像头***结构示意图；

图2是本发明实施例1提供的多目立体摄像方法流程示意图；

图3是本发明实施例1提供的对应点的寻找示意图；

图4是本发明实施例1提供的现有技术和本发明测量视野范围对比示意图；

图5是本发明实施例2提供的多目立体摄像装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例1

参见图2，本发明实施例提供了一种多目立体摄像方法，本发明实施例以三台图像获取设备为例进行说明，不排除三台以上图像获取设备，该方法包括：

101：对第一图像获取设备获取的图像中的每一个像素，在与第一图像获取设备基线距离最小的第二图像获取设备获取的相同图像中，寻找对应点；

具体的，设三台图像获取设备分为1，2和3，对该三台图像获取设备获取的相同图像也称为三目立体摄取的图像，参见图3，设三维空间点P在图像获取设备1获取的图像I1中的像素点为(x 1，y1)，图像获取设备1和图像获取设备2之间的基线距离最短，则在图像获取设备2获取的图像I2中的同一纵坐标y1的像素行中，从x1开始向左寻找对应点。通常为达到实时处理的目的，对应点搜索会限制在一定像素范围之内(比如说N个像素)，即在I2的(x1-N，y1)到(x1，y1)像素范围之内通过灰度匹配等方法寻找最合适的对应点，这里假定I2中的像素点(x1-d，y1)为与I1中的像素点(x1，y1)对应的对应点。

102：根据得到的该对应点，预测该像素点在其他图像获取设备获取的相同图像中的位置；

例如，预设图像获取设备1获取的图像I1的像素点(x1，y1)在图像获取设备3中获取的图像I3中的位置为(xr，y1)，根据三角测量原理，xr应满足以下条件：

$Z=f\frac{b_{12}}{x_l-(x_l-d)}=f\frac{b_{12}}{d}=f\frac{b_{13}}{x_l-x_r}$

即可以根据I1和I2之间对应点的视差来计算I1和I3之间对应点的视差。为简单说明，假设三台图像获取设备之间的间距相等，b12＝b23，也就是说b13＝b12*2。那么上式就可以转换为：

x_l-x_r＝2*d

即I1和I3之间对应点的视差是I1和I2之间对应点的视差的2倍。因此可以预测像素点(x1，y1)在图像I3中对应点的位置应该在(x1-2*d，y1)附近，通过在第三个图像获取设备获取的相同图像中，预测与I1图像中像素点(x1，y1)的对应点位置，可以极大地减低对应点探索的计算量。

103：根据预测的位置在其他图像获取设备获取的相同图像中探索该像素点的对应点；

预测像素点(x1，y1)在图像I3中对应点的位置在(x1-2*d，y1)附近，因此，在I3中探索像素点(x1，y1)的对应点时，就可以在(x1-2*d，y1)附近进行探索，极大地降低了对应点探索的计算量。其中，在预测点附近进行探索，寻找对应点是现有技术，此处不在赘述。

104：计算该像素点在各图像获取设备获取的相同图像中的对应点之间的视差，根据视差得到三维空间的距离。

例如，根据三角测量原理，左右投影坐标的视差同三维空间的距离Z的关系如下：

$\mathrm{\Δ}=x_l-x_r=f\frac{b}{Z}---\left(1\right)$

其中，Δ表示视差，f为摄像头的焦距，b是基线，因此得到了视差，就可以通过式(1)得到三维空间的距离Z。

其中，各台图像获取设备之间的基线长也可以不相同，各台图像获取设备的镜头采用同一焦距的镜头。

同样，如果整体基线长不变，那么三目立体摄像可以在保持远距测量距离的同时，在近距增大1倍的有效范围。参见图4，图4(a)中A为双目立体摄像所测量的范围，图4(b)中A+B+C是本发明实施例提供的三目立体摄像所测量的范围，从图4中可以明显看出A+B+C远远大于A，即三目立体摄像所测量的范围远远大于双目立体摄像所测量的范围。

其中，在计算基线较短的两台图像获取设备之间的对应点之前，该方法还包括：

对采集的图像进行校正。

其中，根据该像素点在各图像获取设备获取的相同图像中的对应点之间的视差，得到三维空间的距离，具体包括：

计算基线距离最长的两台图像获取设备获取的相同图像的像素点的对应点之间的视差，根据该视差得到三维空间的距离。

继续上述的例子，图像获取设备1和图像获取设备3的基线距离最长，则计算图像获取设备1和3获取的相同图像的像素点的对应点之间的视差，根据该视差得到三维空间的距离。

或者，根据该像素点在各图像获取设备获取的相同图像中的对应点之间的视差，得到三维空间的距离，具体包括：

根据该像素点的对应点的灰度匹配值进行线形平均，得到平均视差，该平均视差检测精度将远远大于传统双目立体摄像的精度，根据该平均视差得到三维空间的距离。

本发明实施例的有益效果是：通过至少三台以上图像获取设备测量空间距离，增大了有效测量距离，解决对远距和近距同时测量的问题；也增大了立体摄像的视野范围；通过用对应点的灰度匹配值为尺度的线性平均值，提高了立体摄像的视差检测精度；通过对对应点进行预测，提高的对应点探索速度；而且双目立体摄像方法中由于遮挡而无法检测的区域，本发明实施例通过长短不同基线的图像获取设备组进行相互参照，从而极大地减低了因为遮挡或杂音带来的误差。

实施例2

参见图5，本发明实施例提供了一种多目立体摄像装置，本发明实施例以三台图像获取设备为例进行说明，不排除三台以上图像获取设备，该装置包括：

查找模块501，用于对第一图像获取设备获取的图像中的每一个像素，在与第一图像获取设备基线距离最短的第二图像获取设备获取的相同图像中，寻找对应点；

具体的，设三台图像获取设备分为1，2和3，对该三台图像获取设备获取的相同图像也称为三目立体摄取的图像，参见图3，设三维空间点P在图像获取设备1获取的图像I1中的像素点为(xl，y1)，图像获取设备1和图像获取设备2之间的基线距离最短，则在图像获取设备2获取的图像I2中的同一纵坐标yl的像素行中，从xl开始向左寻找对应点。通常为达到实时处理的目的，对应点搜索会限制在一定像素范围之内(比如说N个像素)，即在I2的(xl-N，y1)到(xl，y1)像素范围之内通过灰度匹配等方法寻找最合适的对应点，这里假定I2中的像素点(xl-d，y1)为与I1中的像素点(xl，y1)对应的对应点。

预测模块502，用于根据查找模块501得到的对应点，预测该像素点在其他图像获取设备获取的相同图像中的位置；

例如，预设图像获取设备1获取的图像I1的像素点(xl，y1)在图像获取设备3中获取的图像I3中的位置为(xr，y1)，根据三角测量原理，xr应满足以下条件：

$Z=f\frac{b_{12}}{x_l-(x_l-d)}=f\frac{b_{12}}{d}=f\frac{b_{13}}{x_l-x_r}$

即可以根据I1和I2之间对应点的视差来计算I1和I3之间对应点的视差。为简单说明，假设三台图像获取设备之间的间距相等，b12＝b23，也就是说b13＝b12*2。那么上式就可以转换为：

x_l-x_r＝2*d

即I1和I3之间对应点的视差是I1和I2之间对应点的视差的2倍。因此可以预测像素点(xl，y1)在图像I3中对应点的位置应该在(xl-2*d，y1)附近，通过在第三台图像获取设备获取的相同图像中，预测与I1图像中像素点(x1，y1)的对应点位置，可以极大地减低对应点探索的计算量。

探索模块503，用于根据预测模块502预测的位置在其他图像获取设备获取的相同图像中探索该像素点的对应点；

预测像素点(xl，y1)在图像I3中对应点的位置在(xl-2*d，y1)附近，因此，在I3中探索像素点(xl，y1)的对应点时，就可以在(xl-2*d，y1)附近进行探索，极大地降低了对应点探索的计算量。其中，在预测点附近进行探索，寻找对应点是现有技术，此处不在赘述。

计算模块504，用于计算该像素点在各图像获取设备获取的相同图像中的对应点之间的视差，根据视差得到三维空间距离。

例如，根据三角测量原理，左右投影坐标的视差同三维空间的距离Z的关系如下：

$\mathrm{\Δ}=x_l-x_r=f\frac{b}{Z}---\left(2\right)$

其中，Δ表示视差，f为摄像头的焦距，b是基线，因此得到了视差，就可以通过式(2)得到三维空间的距离Z。

其中，各台图像获取设备之间的基线长也可以不相同，各台图像获取设备的镜头采用同一焦距的镜头。

同样，如果整体基线长不变，那么三目立体摄像头***可以在保持远距测量距离的同时，在近距增大1倍的有效范围。参见图4，图4(a)中A为双目立体摄像所测量的范围，图4(b)中A+B+C是本发明实施例提供的三目立体摄像所测量的范围，从图4中可以明显看出A+B+C远远大于A，即三目立体摄像所测量的范围远远大于双目立体摄像所测量的范围。

其中，该装置还包括：

校正模块，用于对采集的图像进行校正。

其中，计算模块，具体用于计算基线距离最长的两台图像获取设备获取的相同图像的像素点的对应点之间的视差，根据该视差得到三维空间距离。

继续上述的例子，图像获取设备1和图像获取设备3的基线距离最长，则计算图像获取设备1和3获取的相同图像的像素点的对应点之间的视差，根据该视差得到三维空间的距离。

或者，计算模块，具体用于根据该像素点的对应点的灰度匹配值进行线形平均，得到平均视差，该平均视差检测精度将远远大于传统双目立体摄像的精度，根据该平均视差得到三维空间距离。

本发明实施例的有益效果是：通过至少三台以上图像获取设备测量空间距离，增大了有效测量距离，解决对远距和近距同时测量的问题；也增大了立体摄像的视野范围；通过用对应点的灰度匹配值为尺度的线性平均值，提高了立体摄像的视差检测精度；通过对对应点进行预测，提高的对应点探索速度；而且双目立体摄像***中由于遮挡而无法检测的区域，本发明实施例提供的装置通过长短不同基线的图像获取设备组进行相互参照，从而极大地减低了因为遮挡或杂音带来的误差。

本发明实施例可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，例如，计算机的硬盘、缓存或光盘中。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种多目立体摄像方法，其特征在于，所述方法包括：

对第一图像获取设备获取的图像中的每一个像素点，在与第一图像获取设备基线距离最短的第二图像获取设备获取的相同图像中，寻找对应点；

根据所述对应点，预测所述像素点在其他图像获取设备获取的相同图像中的位置；

根据所述预测的位置，在其他图像获取设备获取的相同图像中探索所述像素点的对应点；

计算所述像素点在各图像获取设备获取的相同图像中对应点之间的视差，根据所述视差得到三维空间的距离，所述各图像获取设备的光轴平行、成像方向相同，并且所述各图像获取设备的图像平面在一个平面上。

2.根据权利要求1所述的方法，其特征在于，在所述寻找对应点之前，所述方法还包括：

对采集的图像进行校正。

3.根据权利要求1所述的方法，其特征在于，计算所述像素点在各图像获取设备获取的相同图像中对应点之间的视差，根据所述视差得到三维空间的距离，具体包括：

计算基线距离大于预设阈值的两个图像获取设备获取的相同图像的像素点的对应点之间的视差，根据所述视差得到三维空间的距离。

4.根据权利要求1所述的方法，其特征在于，计算所述像素点在各图像获取设备获取的相同图像中对应点之间的视差，根据所述视差得到三维空间的距离，具体包括：

根据所述像素点的对应点的灰度匹配值进行线形平均，得到平均视差，根据所述平均视差得到三维空间的距离。

5.一种多目立体摄像装置，其特征在于，所述装置包括：

查找模块，用于对第一图像获取设备获取的图像中的每一个像素点，在与第一图像获取设备基线距离最短的第二图像获取设备获取的相同图像中，寻找对应点；

预测模块，用于根据所述查找模块得到的对应点，预测所述像素点在其他图像获取设备获取的相同图像中的位置；

探索模块，用于根据所述预测模块预测的位置，在其他图像获取设备获取的相同图像中探索所述像素点的对应点；

计算模块，用于计算所述像素点在各图像获取设备获取的相同图像中对应点之间的视差，根据所述视差得到三维空间的距离，所述各图像获取设备的光轴平行、成像方向相同，并且所述各图像获取设备的图像平面在一个平面上。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

校正模块，用于对采集的图像进行校正。

7.根据权利要求5所述的装置，其特征在于，所述计算模块，具体用于计算基线距离最长的两台图像获取设备获取的相同图像的像素点的对应点之间的视差，根据所述视差得到三维空间的距离。

8.根据权利要求5所述的装置，其特征在于，所述计算模块，具体用于根据所述像素点的对应点的灰度匹配值进行线形平均，得到平均视差，根据所述平均视差得到三维空间的距离。

Images