CN105894499A - 一种基于双目视觉的空间物体三维信息快速检测方法 - Google Patents

Abstract

本发明公开一种基于是双目视觉的空间物体三维信息快速检测方法，包括以下步骤：(1)对两个摄像机进行标定，得到内参数矩阵和外参数矩阵；(2)两个摄像机同时采集被测物体的图像；(3)根据标定结果算出重投影矩阵，并对图像对进行立体校正；(4)对校正后的图像进行滤波平滑处理，然后对滤波后的图像对进行边缘提取；(5)用改进的基于边缘特征的快速匹配算法对图像对进行立体匹配，得到若干匹配点对；(6)根据摄像机标定得到的内外参数和重投影矩阵及视差原理恢复出被测物体的三维信息。本发明对传统的基于特征点的匹配算法进行了改进，在保持原有精度的同时提高了匹配的速度，能够实现实时的三维信息检测。

Description

一种基于双目视觉的空间物体三维信息快速检测方法

技术领域

本发明涉及机器视觉领域，具体涉及一种基于双目视觉的空间物体三维信息快速检测方法。

背景技术

目前三维测量中常用的是激光、雷达、声纳等传感器，但是由于上述传感器的检测原理都是基于脉冲测距，所以对外界噪声较为敏感，容易受到磁场干扰而出现错误检测，且价格比较高。同超声波、雷达等传感器比较，视觉传感器之间不易产生干扰，可以迅速获得大量的图像信息，甚至目标的细节特征，在价格上也相对较低，所以采用视觉技术进行三维测量时目前研究的一个热点。

双目视觉是机器视觉的一大分支，由于其可以模拟人眼，对三维世界有立体感知的功能，随着对双目视觉研究的不断深入，近些年其发展迅速，越来越广泛的应用于各个领域，如机器人避障、工件定位、视觉测距以及虚拟现实等。

立体匹配是双目视觉技术的重点和难点。目前很多匹配算法能得到稠密的匹配点对，可以得到很好的三维重建效果，但这些算法普遍存在实时性不高的问题，这也导致整个三维测量要耗费大量时间，对于很多实时性要求比较高的场合难以满足要求；而有些匹配算法单纯为了追求实时性只对少量特征点进行匹配，难以恢复出被测物体的现状尺寸等信息。

发明内容

针对上述技术问题，本发明提供一种基于双目视觉的空间物体三维信息快速检测方法，可以克服目前三维测量存在的设备价格昂贵以及实时性和匹配精度无法同时满足的问题，可以应用于工业机器人作业环境的三维信息检测以及工件的尺寸测量等领域。

为实现上述目的，本发明的技术方案是：

一种基于是双目视觉的空间物体三维信息快速检测方法，采用两个以前向平行方式放置在云台上的摄像机与一台PC机构成双目视觉***，包括以下步骤：

(1)对两个摄像机进行标定，得到内参数矩阵和外参数矩阵；

(2)两个摄像机同时采集被测物体的图像，并将图像对传送至PC机；

(3)根据标定结果算出重投影矩阵，并对图像对进行立体校正，使图像对实现共面和行对准；

(4)对校正后的图像进行滤波平滑处理，以去除噪声的干扰，然后对滤波后的图像对进行边缘提取，得到分别对应于左图和右图的左边缘图和右边缘图；

(5)用改进的基于边缘特征的快速匹配算法对图像对进行立体匹配，得到若干匹配点对；

(6)根据摄像机标定得到的内外参数和重投影矩阵及视差原理恢复出被测物体的三维信息。

所述步骤(1)对两个摄像机进行标定前需要先建立双目视觉立体成像模型，并由模型得到空间点在世界坐标系与在摄像机坐标中关系。目前双目视觉立体成像模型一般分为不考虑畸变的线性模型和考虑畸变的非线性模型。

进一步地，所述步骤(3)采用Bouguet算法对图像对进行立体校正。由于完美的对准结构在真实的双目***中几乎不存在，两台摄像机几乎不可能有准确的共面和行对准的成像平面，因此需要立体校正来使图像对实现共面及行对准。目前有很多算法可以实现立体校正，常用的是Hartley算法和Bouguet算法，虽然Hartley算法可以通过单个摄像机记录的运动推导出立体结构，但会产生更多的图像畸变，因此本发明采用Bouguet算法进行立体校正。

进一步地，所述步骤(4)中的滤波为二维高斯滤波。所述步骤(4)中的滤波的目的是去除噪声的干扰，目前常用的滤波方法有高斯滤波、均值滤波以及中值滤波等，本发明采用二维高斯滤波，以获得良好的降噪效果。

进一步地，所述步骤(4)中的边缘提取算法为Canny算法。边缘提取是立体匹配的基础，目前边缘提取算法有很多，考虑到实时性和准确性，故选择Canny算法。

进一步地，所述步骤(5)中的改进的基于边缘特征的快速匹配算法包括以下步骤：

(51)以图像对中左图为匹配的源图像，右图为匹配的目标图像，将左图边缘上的点进行分类，得到若干待匹配点；

(52)找到被测物体边缘线的最小包围矩形，缩小对边缘点的搜索查找范围；

(53)根据工作距离范围得出初始视差范围，采用极线约束并根据匹配代价函数在缩放图像上对待匹配点进行粗匹配，得到进一步缩小的视差范围；

(54)由缩小的视差范围在原始图像对上采用极线约束并根据变窗口的匹配代价函数对边缘上的待匹配点进行匹配。

进一步地，所述步骤(51)中边缘上点的分类依据为该点八邻域上的像素点的值的分布情况，包括步骤：先将左边缘图图像二值化，若边缘上某点的八邻域有且只有竖直上方和竖直下方的点的值为1，则将该点定义为纵向点；若边缘上某点的八邻域有且只有水平左侧和水平右侧的点的值为1，则将该点定义为横向点；将其他情况的点定义为特征点。

进一步地，所述步骤(52)中找到被测物体边缘线的最小包围矩形的步骤具体包括：采用图像金字塔并进行隔行扫描，从而快速得到边缘轮廓的最上最下最左最右四个点；考虑到采用图像金字塔和隔行扫描可能出现漏检的情况，将得到的四个点加上或减去一个设定值便可得到最小包围矩形，缩小对边缘点的搜索查找范围。

进一步地，所述步骤(53)和步骤(54)中的匹配代价函数分别为Census算法和变窗口的SAD算法，选择处理速度较快的Census算法并采用极线约束在缩放图像上对特征点进行粗匹配，可得到进一步缩小的视差范围；选择绝对误差和算法SAD作为匹配代价函数，支持窗口的大小随待匹配点的不同而改变。

进一步地，所述步骤(53)中将特征点全部作为待匹配点，对于连续的纵向点和横向点则只取首末两点及中间若干点作为待匹配点。

进一步地，步骤(54)中匹配代价函数的计算窗口大小随待匹配点类型的不同而改变：当待匹配点为纵向点和特征点时，采用较小的窗口进行匹配代价计算，而当待匹配点为横向点时，采用较大的窗口进行匹配代价计算，降低由于出现误匹配概率较高所造成的影响，在原始图像对上采用极线约束按照WTA(winner-takes-all)策略对边缘上的待匹配点进行匹配。

相比现有技术，本发明对传统的基于特征点的匹配算法进行了改进，在保持原有精度的同时提高了匹配的速度，能够实现实时的三维信息检测。

附图说明

图1为本发明所需的硬件组成示意图。

图2为本发明具体实施流程图。

图3为本发明匹配算法流程图。

图中所示：1-左摄像机；2-右摄像机；3-云台；4-PC机。

具体实施方式

下面通过具体实施例对本发明的目的作进一步详细地描述，实施例不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施例。

如图2所示，一种基于双目视觉的空间物体三维信息快速检测方法，采用两个以前向平行方式放置在云台3上的摄像机与一台PC机4构成双目视觉***，所述的左摄像机1、右摄像机2以前向平行方式固定在云台3上，两个摄像机与装有所需编程和处理软件的PC机4相连，共同构成双目视觉检测***(见图1)。包括以下步骤：

S1、摄像机标定：目前双目视觉立体成像模型一般分为不考虑畸变的线性模型和考虑畸变的非线性模型，由于大多数相机均存在镜头畸变情况，为得到更准确的结果，本发明采用畸变模型，并按以下步骤标定：

S11、建立双目视觉畸变模型，得到被测物在世界坐标系中坐标值的计算公式；

S12、采用300mm×300mm的棋盘格标定板并借助Matlab的标定工具箱对两个摄像机分别进行标定，得到两个摄像机的内参数矩阵和外参数矩阵，然后以左摄像机坐标系为世界坐标系进行立体标定，得到两个摄像机之间的旋转和平移矩阵；

S13、将标定结果保存；

S2、图像采集：图像采集就是通过摄像机获取被测物的图像的过程，当左、右摄像机安装完毕并连接上PC机4后，就可以进行图像采集，左、右摄像机同时拍摄被测物在同一位置的图像，得到了一对图像对，然后将图像对传递给PC机4进行下一步处理；

S3、图像的立体校正：由于在放置两个摄像机时存在安装位置误差等原因，无法保证两个相机完全实现前向平时放置，得到图像对也无法实现共面及行对准，因此当PC机接收到摄像机传递来的图像对后，需要对图像对进行立体校正，具体步骤如下：

S31、根据标定结果并借助开源计算机视觉处理库OpenCV用Bouguet算法得到左右校正旋转矩阵、左右投影矩阵以及重投影矩阵Q；

S32、根据步骤S31得到的左右校正旋转矩阵和左右投影矩阵对图像对进行校正映射，使图像对实现共面和行对准；

S4、滤波去噪及边缘提取：由于采集图像时存在各种噪声的干扰，因此在提取被测物的边缘时要先进行滤波平滑处理，图像对经过校正之后，采用二维高斯滤波对图像对进行去噪处理，然后再用Canny边缘提取算法对滤波后的图像对进行边缘提取；

S5、立体匹配：如图3所示，本实施例的立体匹配算法是以边缘点作为匹配基元的，即用改进的基于边缘特征的快速匹配算法对图像对进行立体匹配，得到若干匹配点对，通过多种优化方法提高了匹配的速度，具体步骤如下：

S51、以图像对中左图为匹配的源图像，右图为匹配的目标图像。将左边缘图二值化，若边缘上某点的八邻域有且只有竖直上方和竖直下方的点的值为1，则将该点定义为纵向点；若边缘上某点的八邻域有且只有水平左侧和水平右侧的点的值为1，则将该点定义为横向点；将其他情况的点定义为特征点；

S52、采用图像金字塔及隔行扫描的方式，快速得到边缘轮廓的最上最下最左最右四个点；考虑到采用图像金字塔和隔行扫描可能出现漏检的情况，得到的四个点加上或减去一个设定值便可得到最小包围矩形找到被测物体边缘线的最小包围矩形，缩小对边缘点的搜索查找范围；

S53、根据工作距离范围得出初始视差范围，采用极线约束并根据Census算法在缩放图像上对S51中的特征点进行粗匹配，得到进一步缩小的视差范围；

S54、得到缩小的视差范围后，选取边缘上部分点作为待匹配点：将S51中特征点全部作为待匹配点，对于连续的纵向点和横向点则只取首末两点及中间若干点作为待匹配点。选择绝对误差和算法SAD作为匹配代价函数，支持窗口的大小随待匹配点的不同而改变：当待匹配点为纵向点和特征点时，采用较小的窗口进行匹配代价计算，而当待匹配点为横向点时，由于出现误匹配概率较高，故采用较大的窗口进行匹配代价计算，在原始图像对上采用极线约束按照WTA(winner-takes-all)策略对边缘上的待匹配点进行匹配；

S6、三维信息提取：根据摄像机标定得到的内外参数和重投影矩阵及视差原理恢复出被测物体的三维信息，若某一匹配点对中的左匹配点在左图像坐标中的坐标为(x,y)，左右匹配点之间的视差为d，再由立体校正得到的重投影矩阵Q可得：

$Q\left[\begin{array}{c}x\\ y\\ d\\ 1\end{array}\right]=\left[\begin{array}{c}X\\ Y\\ Z\\ W\end{array}\right],$

该点的三维坐标即为(X/W，Y/W，Z/W)，这样即可得到边缘上若干点的三维坐标，从而可以对被测物的三维信息进行提取。

本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于双目视觉的空间物体三维信息快速检测方法，其特征在于：采用两个以前向平行方式放置在云台上的摄像机与一台PC机构成双目视觉***，包括以下步骤：

(1)采用畸变模型对两个摄像机进行标定，得到内参数矩阵和外参数矩阵；

(2)两个摄像机同时采集被测物体的图像，并将图像对传送至PC机；

(3)根据标定结果算出重投影矩阵，并对图像对进行立体校正，使图像对实现共面和行对准；

(4)对校正后的图像对进行滤波平滑处理，然后对滤波后的图像对进行边缘提取，得到分别对应于左图和右图的左边缘图和右边缘图；

(5)用改进的基于边缘特征的快速匹配算法对图像对进行立体匹配，得到若干匹配点对；

(6)根据摄像机标定得到的内外参数和重投影矩阵及视差原理恢复出被测物体的三维信息。

2.根据权利要求1所述的基于双目视觉的空间物体三维信息快速检测方法，其特征在于：所述步骤(3)采用Bouguet算法对图像对进行立体校正。

3.根据权利要求1所述的基于双目视觉的空间物体三维信息快速检测方法，其特征在于：所述步骤(4)中的滤波为二维高斯滤波。

4.根据权利要求1所述的基于双目视觉的空间物体三维信息快速检测方法，其特征在于：所述步骤(4)中的边缘提取算法为Canny算法。

5.根据权利要求1所述的基于双目视觉的空间物体三维信息快速检测方法，其特征在于：所述步骤(5)中改进的基于边缘特征的快速匹配算法包括以下步骤：

(51)以图像对中左图为匹配的源图像，右图为匹配的目标图像，将左图边缘上的点进行分类，得到若干待匹配点；

(52)找到被测物体边缘线的最小包围矩形，缩小对边缘点的搜索查找范围；

(53)根据工作距离范围得出初始视差范围，采用极线约束并根据匹配代价函数在缩放图像上对待匹配点进行粗匹配，得到进一步缩小的视差范围；

(54)由缩小的视差范围在原始图像对上采用极线约束并根据变窗口的匹配代价函数对边缘上的待匹配点进行匹配。

6.根据权利要求5所述的基于双目视觉的空间物体三维信息快速检测方法，其特征在于：所述步骤(51)中边缘上点的分类依据为该点八邻域上的像素点的值的分布情况，包括步骤：先将左边缘图图像二值化，若边缘上某点的八邻域有且只有竖直上方和竖直下方的点的值为1，则将该点定义为纵向点；若边缘上某点的八邻域有且只有水平左侧和水平右侧的点的值为1，则将该点定义为横向点；将其他情况的点定义为特征点。

7.根据权利要求5所述的基于双目视觉的空间物体三维信息快速检测方法，其特征在于：所述步骤(52)中找到被测物体边缘线的最小包围矩形的步骤具体包括：采用图像金字塔并进行隔行扫描，从而快速得到边缘轮廓的最上最下最左最右四个点；考虑到采用图像金字塔和隔行扫描可能出现漏检的情况，将得到的四个点加上或减去一个设定值便可得到最小包围矩形。

8.根据权利要求5所述的基于双目视觉的空间物体三维信息快速检测方法，其特征在于：所述步骤(53)和步骤(54)中的匹配代价函数分别为Census算法和变窗口的SAD算法。

9.根据权利要求6所述的基于双目视觉的空间物体三维信息快速检测方法，其特征在于：所述步骤(53)中将特征点全部作为待匹配点，对于连续的纵向点和横向点则只取首末两点及中间若干点作为待匹配点。

10.根据权利要求6所述的基于双目视觉的空间物体三维信息快速检测方法，其特征在于：步骤(54)中匹配代价函数的计算窗口大小随待匹配点类型的不同而改变：当待匹配点为纵向点和特征点时，采用较小的窗口进行匹配代价计算，而当待匹配点为横向点时，由于出现误匹配概率较高，故采用较大的窗口进行匹配代价计算。