CN102221331A - 一种基于不对称双目立体视觉技术的测量方法 - Google Patents

Abstract

本发明公开了一种基于不对称双目立体视觉技术的测量方法，包括：(1)构建视觉测量***，标定摄像机和视觉测量***的相关参数；(2)求取待测物体所在的平面；(3)求取待测物体中需测量区域的几何尺寸参数。本发明针对平面测量对象，使用两台焦距不等的摄像机构成视觉测量***，扩大了测量的范围，能够实现对较小和较大尺寸物体同样的测量精度，在测量环境比较恶劣的场合下具有很高的利用价值，测量范围广、精度高、速度快，且测量、安装方便，价格低廉，适用于单晶制备、电子器材检测、流水线检测以及机械制造业等领域的测量。

Description

一种基于不对称双目立体视觉技术的测量方法

技术领域

本发明属于测量技术领域，具体涉及一种基于不对称双目立体视觉技术的测量方法。

背景技术

随着先进制造业自动化生产技术的迅猛发展和产品质量控制体系的不断完善，人们对加工对象的几何尺寸和形状位置的检测的精度、效率以及自动化程度的要求越来越高，尤其是零件形状的复杂性以及测量的现场性、实时性都对传统的精密测量技术提出了新的挑战。在某些特定的场合，如对曲面轮廓、微小尺寸和复杂零件特征等实时在线检测，成为传统检测方法所面临的难题。

在计算机视觉理论基础上发展起来的视觉测量技术，把图像当作检测和传递信息的手段或载体加以利用，从图像中提取有用的信息，通过处理被测图像而获得所需的各种参数，其以高精度、自动化程度高、动态范围大和成本相对低廉等优点，在一定程度上能够满足现代先进制造业对检测的要求；另外因为视觉测量不与被测物体接触，没有测量力，所以可以测量柔软容易变形划伤的物体，也可以对测量端不易进入的细节部位进行测量，所以现在越来越得到广泛的应用，成为测量技术发展的一个重要趋势。

传统的针对二维几何尺寸的视觉测量方法，主要是基于单幅图像的单目视觉测量技术，通过对单幅图像的处理分析，得到待测物体的尺寸。但是该种方法当摄像机与测量对象间相对位置发生变动后，需对摄像机进行重新标定，非常麻烦。并且对于一定距离处，运用单目视觉测量方法，测量的范围有限，不能同时兼顾大尺寸物体和小尺寸物体测量的精度。在某些特定的场合，测量对象的相对位置会发生变化，此时运用传统的单目视觉测量***是无法实现自动准确地测量的。

双目立体视觉技术是计算机视觉技术的一个重要分支，它模拟人类获取信息的原理，利用两台摄像机从不同位置拍摄物体，通过对采集到的图像进行特征提取和匹配，求出特征点在两个图像平面的坐标，然后利用成像公式恢复测量点的三维空间坐标信息，其三维测量结合了计算机技术和光学手段，模拟生物视觉的立体感知功能，从摄像机获取的图像信息出发，计算三维空间中物体的几何信息，并由此重建和识别物体。双目立体视觉技术具有精度高、效率高、自动化程度高等特点。

运用双目视觉测量技术，当视觉***的位置发生变化时，不需要对***进行重新的标定，解决了单目测量时摄像机与测量对象相对位置发生变化需重新标定的繁琐工作。但常用的双目立体视觉技术的测量方法基本上是采用两台焦距相等的摄像机来完成图像的采集，同样存在对于一定距离处，测量的范围有限，不能同时兼顾大尺寸物体和小尺寸物体测量的精度的问题。

发明内容

本发明提供了一种基于不对称双目立体视觉技术的测量方法，解决了传统双目立体视觉技术测量方法所面临的技术难题，针对平面测量对象，使用两台焦距不等的摄像机构成视觉测量***，扩大了测量的范围，能够实现对较小和较大尺寸物体同样的测量精度。

一种基于不对称双目立体视觉技术的测量方法，包括以下步骤：

(1)构建由两台焦距不等的摄像机构成的视觉测量***，设定焦距较长的摄像机为左摄像机，焦距较短的摄像机为右摄像机，左摄像机坐标系为世界坐标系；获取左右摄像机的非线性模型，利用图像特征提取法结合单摄像机标定法分别求得左右摄像机的内参数和畸变参数，利用图像特征提取法结合双目立体视觉标定法求得视觉测量***的结构参数，进而求得左右摄像机在世界坐标系下的外参数；

(2)利用右摄像机采集待测物体的整体图像作为右摄像机图像，利用左摄像机采集待测物体中的需测量区域图像作为左摄像机图像，利用图像特征提取法提取需测量区域分别在左右摄像机图像中N个特征点的亚像素坐标，并根据左右摄像机的内外参数和畸变参数分别对需测量区域在左右摄像机图像中的特征点亚像素坐标一一进行畸变校正，得到左右摄像机的线性模型；利用左右摄像机的线性模型，根据N对校正后的特征点亚像素坐标确定N个特征点对应的N个空间点的三维坐标，进而求取待测物体所在的平面，N为大于等于3的自然数；

(3)获取左右摄像机的内参数、畸变参数和非线性模型以及视觉测量***的结构参数，根据待测物体所在的平面，进行如下步骤：

a.根据待测物体中需测量区域的大小，选择视觉测量***中的一台摄像机作为测量摄像机；当待测物体中需测量区域都在左右摄像机的测量范围内，选择左摄像机作为测量摄像机；当待测物体中需测量区域在右摄像机的测量范围内但超出左摄像机的测量范围时，选择右摄像机作为测量摄像机；

b.利用测量摄像机采集待测物体中的需测量区域图像作为测量图像，利用图像特征提取法提取需测量区域在测量图像中N个特征点的坐标，并根据测量摄像机的内外参数和畸变参数对需测量区域在测量图像中的特征点亚像素坐标一一进行畸变校正，得到测量摄像机的线性模型；

c.利用测量摄像机的线性模型，根据N个校正后的特征点亚像素坐标得到对应的N条三维空间射线，利用待测物体所在的平面截取N个特征点在该平面上对应的N个空间点的三维坐标；

d.利用N个空间点的三维坐标，计算得到待测物体中需测量区域的几何尺寸参数。

所述的图像特征提取法为：若所需提取的图像特征点为角点，首先，利用Sobel算子对图像中需测量区域进行边缘检测，得到并记录需测量区域的边缘像素坐标；然后，利用SUSAN算子对需测量区域的边缘像素进行角点检测，得到需测量区域的若干特征点像素坐标；最后，将所有特征点像素坐标转换为特征点亚像素坐标；若所需提取的图像特征点非角点，首先，利用Canny算法对图像中需测量区域进行边缘检测，得到并记录需测量区域的边缘像素坐标；然后，从边缘处提取若干点作为特征点，得到需测量区域的若干特征点像素坐标；最后，将所有特征点像素坐标转换为特征点亚像素坐标。该方法能在保证高精度的前提下大大提高检测的速度。

优选的技术方案中，所述的摄像机为CCD(电荷耦合器件)摄像机，抗强光、抗震动、灵敏度高、畸变小、体积小、寿命长。

本发明基于不对称双目立体视觉技术的测量方法，针对平面测量对象，使用两台焦距不等的摄像机构成视觉测量***，扩大了测量的范围，能够实现对较小和较大尺寸物体同样的测量精度；同时本发明具有非接触性的特点，在测量环境比较恶劣的场合下具有很高的利用价值，测量范围广、精度高、速度快，且测量、安装方便，价格低廉。

附图说明

图1为本发明基于不对称双目立体视觉技术的测量方法的步骤流程示意图。

图2为不对称双目立体视觉测量***的结构示意图。

图3为本发明基于不对称双目立体视觉技术的测量方法的测量示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明基于不对称双目立体视觉技术的测量方法进行详细说明。

如图1所示，一种基于不对称双目立体视觉技术的测量方法，包括以下步骤：

(1)构建视觉测量***，标定摄像机和视觉测量***的相关参数。

构建由两台焦距不等的摄像机构成的视觉测量***，设定焦距较长的摄像机为左摄像机，焦距较短的摄像机为右摄像机，左摄像机坐标系为世界坐标系。图2为一不对称双目立体视觉测量***，其组成部分包括导轨1，左摄像机2、右摄像机3和图像处理器，左右摄像机置于导轨1上可以自由的移动及转动，其中左摄像机2的焦距较长，右摄像机3的焦距较短。待测物体4置于视觉测量***前方，调整摄像机的位置，以获得最佳测量状态，并在测量过程中保持不变。

先运用2D平面靶标——棋盘格对左右摄像机和视觉测量***进行标定，所选取的靶标应尽量占满摄像机画面。获取左右摄像机的非线性模型，利用图像特征提取法结合单摄像机标定法分别求得左右摄像机的内参数和畸变参数，利用图像特征提取法结合双目立体视觉标定法求得视觉测量***的结构参数，进而求得左右摄像机在世界坐标系下的外参数。

对单台摄像机进行标定的具体步骤如下：

1)将靶标置于摄像机前，移动靶标，从不同角度拍摄靶标，获取足够多的棋盘格图像。

2)利用图像特征提取法提取棋盘格在图像中的若干特征点作为标定点。

图像特征提取法：若所需提取的图像特征点为角点，首先，利用Sobel算子对图像中需测量区域进行边缘检测，得到并记录需测量区域的边缘像素坐标；然后，利用SUSAN算子对需测量区域的边缘像素进行角点检测，得到需测量区域的若干特征点像素坐标；最后，将所有特征点像素坐标转换为特征点亚像素坐标；若所需提取的图像特征点非角点，首先，利用Canny算法对图像中需测量区域进行边缘检测，得到并记录需测量区域的边缘像素坐标；然后，从边缘处提取若干点作为特征点，得到需测量区域的若干特征点像素坐标；最后，将所有特征点像素坐标转换为特征点亚像素坐标。一般采用二元二次多项式：f＝a₀+a₁x+a₂y+a₃x²+a₄xy+a₅y²，来拟合特征点区域的解析曲面函数，取曲面极值点：

为特征点的亚像素坐标。

3)利用摄像机的非线性模型以及标定点的亚像素坐标和三维世界坐标，根据基于平面方格点的单摄像机标定方法，求解摄像机的模型参数，求得摄像机的内参数：

$A_i=\left[\begin{array}{ccc}{\mathrm{\α}}_i& r_i& u_{i0}\\ 0& {\mathrm{\β}}_i& v_{i0}\\ 0& 0& 1\end{array}\right]$

其中：(u₀，v₀)为主点坐标，α_i、β_i分别是u轴和v轴的尺度因子，r_i是u轴和v轴不垂直因子。

并根据求得摄像机的一阶、二阶非线性径向畸变参数k₁、k₂。

其中，

为由摄像机小孔线性模型计算出来的图像点坐标的理想值，(x，y)为实际图像点的坐标。

对视觉测量***进行标定的具体步骤如下：

1)将靶标置于视觉测量***前，移动靶标，用左右摄像机从不同角度拍摄同一靶标，获取足够多的棋盘格的左右摄像机图像。

2)利用图像特征提取法提取棋盘格在左右摄像机图像中的若干特征点作为标定点。

3)利用左右摄像机的内参数和畸变参数以及左右摄像机图像中标定点的亚像素坐标和三维世界坐标，求解左右摄像机在以标靶坐标系为世界坐标系下的外参数：旋转矩阵R_l、R_r和平移向量t_l、t_r，并根据两台摄像机之间的几何关系：

求得视觉测量***的结构参数：旋转矩阵R和平移向量t。

4)根据视觉测量***的结构参数，可求得左右摄像机在以左摄像机坐标系为世界坐标系下的外参数：R_l＝1，t_l＝0，R_r＝R，t_r＝t。

(2)求取待测物体所在的平面。

1)将待测物体置于视觉测量***前，利用右摄像机采集待测物体的整体图像作为右摄像机图像I_r，利用左摄像机采集待测物体中的需测量区域图像作为左摄像机图像I_l；如图3所示，O_lX_lY_lZ_l和O_rX_rY_rZ_r分别为左右摄像机坐标系，设定左摄像机坐标系为世界坐标系，o_lu_lv_l和o_lu_lv_l分别为以像素为单位的左右摄像机图像坐标系。

2)利用图像特征提取法提取需测量区域分别在左右摄像机图像中N个特征点的亚像素坐标，并根据左右摄像机的内外参数和畸变参数分别对需测量区域在左右摄像机图像中的特征点亚像素坐标一一进行畸变校正，得到左右摄像机的线性模型。

3)利用左右摄像机的线性模型，根据N对校正后的特征点亚像素坐标确定N个特征点对应的N个空间点的三维坐标：右摄像机图像I_r上的特征点p_r(u_r，v_r)与其在左摄像机图像I_l上对应的特征点p_l(u_l，v_l)是空间同一点P(X，Y，Z)的图像点，则点P的空间位置由O_rp_r和O_lp_l两直线的交点唯一确定，O_r、O_l分别为左右摄像机的光心，但由于误差的存在，常选取两直线的公垂线的中点为空间点的位置，所求公垂线中点为：

$(C_l+k_l\·R_l^T{A}_l^{-1}{p}_l+C_r+k_r\·R_r^T{A}_r^{-1}{p}_r)/2$

其中：S_l、A_r分别为左、右摄像机的内参数，R_l、R_r分别为左、右摄像机相对世界坐标系的旋转矩阵(R_l＝1，R_r＝R)，C_l、C_r分别为摄像机光心在世界坐标系中的坐标，K_l、k_r可根据方程：

求得。

根据求得的N个空间点的三维坐标(X_i，Y_i，Z_i)(i＝1，2，…，N)，因为这些点都在一个平面上，所以根据平面方程：aX+bY+cZ+d＝0，可以拟合出待测物体所在平面I的方程。

(3)求取待测物体中需测量区域的几何尺寸参数。

1)根据待测物体中需测量区域的大小，选择视觉测量***中的一台摄像机作为测量摄像机；当待测物体中需测量区域都在左右摄像机的测量范围内，选择左摄像机作为测量摄像机；当待测物体中需测量区域在右摄像机的测量范围内但超出左摄像机的测量范围时，选择右摄像机作为测量摄像机；测量过程中，可以移动待测物体，以确保获取最佳图像，但移动不能使待测物体所在平面发生改变，否则测量将失去意义。

2)利用测量摄像机采集待测物体中的需测量区域图像作为测量图像，利用图像特征提取法提取需测量区域在测量图像中N个特征点的坐标，并根据测量摄像机的内外参数和畸变参数对需测量区域在测量图像中的特征点亚像素坐标一一进行畸变校正，得到左右摄像机的线性模型。

3)利用测量摄像机的线性模型，根据N个校正后的特征点亚像素坐标得到对应的N条三维空间射线：特征点p的亚像素坐标(u，v)与其在世界坐标系下对应的所有空间点的三维坐标(X，Y，Z)之间的关系为：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\left[\begin{array}{cc}R& t\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$

其中，s为比例因子，一个空间点对应一个比例因子。

利用待测物体所在的平面I截取N个特征点在该平面I上对应的N个空间点的三维坐标。

4)利用N个空间点的三维坐标，计算得到待测物体中需测量区域的几何尺寸参数。

Claims (3)

1.一种基于不对称双目立体视觉技术的测量方法，包括以下步骤：

(1)构建由两台焦距不等的摄像机构成的视觉测量***，设定焦距较长的摄像机为左摄像机，焦距较短的摄像机为右摄像机，左摄像机坐标系为世界坐标系；获取左右摄像机的非线性模型，利用图像特征提取法结合单摄像机标定法分别求得左右摄像机的内参数和畸变参数，利用图像特征提取法结合双目立体视觉标定法求得视觉测量***的结构参数，进而求得左右摄像机在世界坐标系下的外参数；

(2)利用右摄像机采集待测物体的整体图像作为右摄像机图像，利用左摄像机采集待测物体中的需测量区域图像作为左摄像机图像，利用图像特征提取法提取需测量区域分别在左右摄像机图像中N个特征点的亚像素坐标，并根据左右摄像机的内外参数和畸变参数分别对需测量区域在左右摄像机图像中的特征点亚像素坐标一一进行畸变校正，得到左右摄像机的线性模型；利用左右摄像机的线性模型，根据N对校正后的特征点亚像素坐标确定N个特征点对应的N个空间点的三维坐标，进而求取待测物体所在的平面，N为大于等于3的自然数；

(3)获取左右摄像机的内参数、畸变参数和非线性模型以及视觉测量***的结构参数，根据待测物体所在的平面，进行如下步骤：

a.根据待测物体中需测量区域的大小，选择视觉测量***中的一台摄像机作为测量摄像机；当待测物体中需测量区域都在左右摄像机的测量范围内，选择左摄像机作为测量摄像机；当待测物体中需测量区域在右摄像机的测量范围内但超出左摄像机的测量范围时，选择右摄像机作为测量摄像机；

b.利用测量摄像机采集待测物体中的需测量区域图像作为测量图像，利用图像特征提取法提取需测量区域在测量图像中N个特征点的坐标，并根据测量摄像机的内外参数和畸变参数对需测量区域在测量图像中的特征点亚像素坐标一一进行畸变校正，得到测量摄像机的线性模型；

c.利用测量摄像机的线性模型，根据N个校正后的特征点亚像素坐标得到对应的N条三维空间射线，利用待测物体所在的平面截取N个特征点在该平面上对应的N个空间点的三维坐标；

d.利用N个空间点的三维坐标，计算得到待测物体中需测量区域的几何尺寸参数。

2.根据权利要求1所述的基于不对称双目立体视觉技术的测量方法，其特征在于：所述的图像特征提取法为：

若所需提取的图像特征点为角点，首先，利用Sobel算子对图像中需测量区域进行边缘检测，得到并记录需测量区域的边缘像素坐标；然后，利用SUSAN算子对需测量区域的边缘像素进行角点检测，得到需测量区域的若干特征点像素坐标；最后，将所有特征点像素坐标转换为特征点亚像素坐标；

若所需提取的图像特征点非角点，首先，利用Canny算法对图像中需测量区域进行边缘检测，得到并记录需测量区域的边缘像素坐标；然后，从边缘处提取若干点作为特征点，得到需测量区域的若干特征点像素坐标；最后，将所有特征点像素坐标转换为特征点亚像素坐标。

3.根据权利要求1所述的基于不对称双目立体视觉技术的测量方法，其特征在于：所述的摄像机为CCD摄像机。

Images