CN110766669B - 一种基于多目视觉的管线测量方法 - Google Patents

Abstract

本发明公开了一种基于多目视觉的管线测量方法，该方法由图像采集和预处理，中心线及外径提取，相机标定以及相机矩阵转换，管道中心线匹配和外径扩展四部分组成。***将相机放置于搭建好的测量框架上，进行图像采集和预处理，得到管道灰度图片。运用距离变换和最小路径方法获取管道中心线，提取管道中心线特征点并对特征点进行离散化操作；对相对应的双目相机(前侧相机，后侧相机)进行标定，并获取从后侧相机坐标系至前侧相机坐标系的转换矩阵；根据获取的中心线特征点和相机标定参数，采用一种动态匹配方法，恢复管路中心线的三维信息，并将之前不同视角拍摄图片处理获得的外径信息在三维管路中心线上扩展，最终得到管路中心线的空间位置以及对应的外径信息。

Description

一种基于多目视觉的管线测量方法

技术领域

本发明涉及视觉测量技术领域，主要涉及一种基于多目视觉的管线测量方法。

背景技术

管路***大量应用于核堆、航空、航天、船舶和汽车工业中，负责气体、液体等介质的传输和测量，是高端机电产品的重要组成部分，管路零件的精确加工对产品的性能和安全性有着重要的影响。因此高精度的管路加工是当前的热门问题。

管路加工后的空间几何形态测量主要采用靠模法、三坐标测量测量仪和基于激光CCD器件的测量方法等。靠模法只能对管路的形状粗略的检验，而无法精确测量管路端点的位置以及端点之间的距离。三坐标测量仪测量精度虽然较高，但对测量环境要求比较严格，且测量范围有限。基于激光CCD器件的测量方法在测量端点时要求工人小心地移动测量光叉，操作较为困难。

学术界方面，张天的论文《基于多目视觉的管路数字化测量方法研究》提出了一种基于中心线匹配和机器学习的管线重建技术。采用机器视觉算法计算管路控制点坐标，并利用管路控制点坐标拟合管路中心线，进而重构出管路的三维模型。

综合以上分析，管道测量领域现有技术存着在以下缺点：传统的管路空间几何形态测量方法要么精准度不够，要么对测量环境有比较严格的要求，要么需要使用一些高成本的仪器，或是采用人工交互的方法，成本高，效率低。与张天提出的方法不同之处在于：一、张天的论文中在中心线提取环节使用的是图像学的方法，但这种方法并不能保证提取的是精准的中心线，本发明提出了更高效的距离变换及最小路径方法；二、在中心线匹配环节，张天的论文采取了NURBS曲线拟合方法，本发明提出了一种动态匹配的直接计算方法，更为简洁；此外，本发明提出了基于形心变换的边缘检测方法计算了管线外径。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于多目视觉的管线测量方法与***，用以解决当前管线测量技术中存在的流程复杂，成本高，精度低的问题。本方法使用基于中心线匹配的管路重建技术可以高精度的识别管线路径，外径大小，配合建模软件可以获得管路完整的3D模型。

技术方案：为实现上述目的，本发明采用的技术方案为：

1、一种基于多目视觉的管线测量方法，包括以下步骤：

(1)图像采集和预处理

步骤1、搭建图像采集***，通过分布在管道前后两侧的双目相机进行图片抓取，获得拍摄的管道灰度图；对所述灰度图进行二值化处理，使背景与所述管线互相区分；采用轮廓对比技术，对二值化图片进行目标区域ROI提取，获取管道轮廓信息；

(2)中心线及外径提取

步骤2.1、根据管道轮廓信息，采用欧式距离变换法计算管道内每点到管道轮廓的欧氏距离，获取管路的距离变换图，记录管线轮廓内部每个点到管线边界的欧式距离；

步骤2.2、通过图像处理搜索管道边界，获取管道两侧端点的像素坐标，采用Dijkstra最小路径算法，以中心线一侧端点为起点，另一侧端点为终点，得到两点之间的最小路径，即管道的中心线；

步骤2.3、采用局部特征点离散方法来减少特征值，将中心线视为函数，所求特征点即是函数的一部分驻点，对所有的驻点进行优化，得到中心线特征点点集；

步骤2.4、采用基于形体质心的边缘检测方法，获取中心线特征点点集中每个特征点对应的外径大小并存储；

(3)相机标定及多相机矩阵转换

步骤3.1、通过相机标定得到由旋转矩阵和平移矩阵组成的外参数以及相机的内参数，根据内外参数获得世界坐标系下管道坐标向相机窗口像素坐标转换的矩阵；

步骤3.2、根据相机外参信息进行相机坐标系转换，对后侧相机与前侧相机采用同一个标定板同时标定，求出后侧相机坐标系向前侧相机坐标系转换所需的旋转矩阵以及平移矩阵；

(4)管道中心线匹配和外径扩展

步骤4.1、对前侧、后侧相机所得的中心线特征点分别进行视口变换恢复，透视投影变换恢复，视图变换恢复，模型变换恢复，得到前、后侧相机中心指向前，后侧相机成像平面的两组射线族；

步骤4.2、根据步骤3.2获得的旋转矩阵和平移矩阵将后侧相机中心指向后侧相机成像平面的射线族转化为在前侧相机坐标系下的射线族；

步骤4.3、采用动态匹配法，根据步骤2.2得出的中心线端点，从一侧端点开始进行匹配，根据此动态方法依次匹配直到另一侧端点，得到管道中心线的空间位置，由一组折线段表示；

步骤4.4、将每个视图下中心线特征点处的外径进行扩展，获取待测管线全部方位的外径信息；采用基于最小二乘法的曲线拟合方法，将特征点处外径大小视为函数值，特征点距离端点距离视为自变量，对这一系列点进行多项式曲线拟合，按照偏差平方和最小的原则选择拟合曲线，最终得到的函数即为距离端点不同距离下的外径长度；

根据待测管线中心线在前侧相机坐标系下的空间坐标和外径信息即可重建待测管线。

进一步地，所述步骤2.4中所述基于形体质心的边缘检测方法如下：

不考虑噪声情况下，图像信息的一维数学模型简单表示为：

f(x)＝u(x)*g(x)

其中：u(x)为原始理想信号,f(x)为一维图像信息；g(x)为点扩散函数，一般近似为高斯函数:

将u(x)分别设置为理想阶跃边缘，理想脉冲边缘，理想屋脊边缘，经过点扩散函数作用后，尖锐的边缘被平滑成模糊边缘，对导数进行对称性分析，得出边界的计算公式为：

对公式进行离散化，f_i为f(x)在x_i处的采样值，x_i处的微分值利用此处的前向差分和后向差分的均值代替如下：

可将公式改为：

计算差分矩阵，使用行差分模板和列差分模板分别与管线灰度图片做卷积，记录所得的矩阵D₁,D₂；根据管线矩阵的统计特性选取差分阈值T；算选取计算区间，对矩阵D₁,D₂中的元素小于T者置0，两个矩阵的非零连续区间就是边缘过渡区间；利用离散化的公式计算边源点值，存入灰度图像边缘；根据中心线特征点点集，外径大小就是在距离变换中得到的像素数加上前面计算出来的边缘点值。

进一步地，所述步骤4.3中的动态匹配策略如下：

根据图像处理环节得出的端点信息，从一侧端点开始进行匹配，记录此端点所对应的射线，以此为基准射线；

根据双目成像原理，选择在前侧相机坐标系下前侧相机中心指向前侧相机成像平面投影点的基准射线和下条射线，组成一个平面，选择该坐标系下后侧相机中心指向后侧相机成像平面投影点的基准射线和下条射线组成另一个平面，两个平面求交线；交线与四条射线形成四个交点，根据此前记录的基准射线，选择这两射线与交线的交点为基准点，远离此交点的第一个点就是这次匹配获得的待测管线中心线特征点，将此点作为下次匹配时的基准点，此点对应的射线族下次匹配中向后选择一个射线；经过匹配，得到待测管线中心线的空间特征点，连接即可得到待测管线中心线

有益效果：本方法针对广泛应用的管路零件精加工与测量提出了一种基于路径变换的管路中心线提取方法以及基于管路中心线匹配的管路中心重建测量方法。同时，针对管路外径的测量提出了一种基于形心变换的亚像素级检测方法。本方法可以有效地解决当前管路测量应用中出现的测量流程复杂、测量成本高、测量精度低、管路模型重建困难的问题，获得管路中心线折线族以及对应的外径信息，可以完整的表示管路的全部信息。

附图说明

图1是本发明***各结构关系示意图

图2是本发明***框架搭建示意图；

图3是待测管线到拍摄所得图片经过的转化过程示意图；

图4是透视投影原理示意图；

图5是本发明双目成像原理示意图；

图6是本发明动态匹配策略流程图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

本发明提供的基于多目视觉的管线测量方法，主要包括(1)图像采集和预处理；(2)中心线及外径提取；(3)相机标定以及相机矩阵转换；(4)管道中心线匹配和外径扩展。

下面给出一种具体实施例

(1)图像采集和预处理

首先搭建图像采集***，使用长度在1.5m左右的钢架台作为图像采集系框架，在框架底部铺设发光板，用以消除高处光源照明所带来的阴影，简化图像处理中对管道背景的操作。如果采用桌面作为载物台，桌面上的纹理信息会带来很大困扰，铺设发光板的强光可以使管道图片的背景接近白色。

根据对理想折线段的三维重建模拟进行的精度分析，图像采集模块需要使用至少500万像素的摄像头。将摄像头放置于***框架中，如图1-2所示，前后各放置一个相机，形成一对相机组。对放置在发光板上的待测量管线进行拍摄。相机使用python和opencv来进行图片抓取。因后续图像处理不需要颜色信息，因此需要对摄像头参数进行调节，目标是尽量获取接近灰度图的原始图片。

将拍摄的管道图像转化为灰度图，对灰度图进行二值化处理，选择合适的阈值，使得背景和管线及一些其他边界能够区分出来。对二至图片进行进行ROI区域提取，采用轮廓比对技术，由于摄像头在放置时是对准管道的，所拍摄的图片中最大的轮廓就是管线的轮廓。运用opencv提取图片所包含的所有图形轮廓，消除小的轮廓，保留最大的轮廓，即完成ROI区域提取。

(2)中心线及外径提取

距离变换是指计算物体内部每个点到物体边界的最短距离。管道的中心线就是距离管道边界最远的点的集合。距离变换有欧氏距离变换与非欧氏距离变换，非欧氏距离变换具有低复杂度与高效的特点，可以得到相似的结果，而欧氏距离变换有着较高复杂度，可以得到精确结果，本发明使用欧氏距离变换。通过欧式距离变换，可以得到一个标量场，记录管线轮廓内部每个点到管线边界的欧式距离。

由于管线中心线是管线内部距离边界最远的点的集合，得到管线内部每个点到边界的欧氏距离之后，中心线提取问题就变成了从管线一侧端点到另一侧端点的最小路径选择问题。通过图形学的方法得到管线两侧端点，具体操作是不断细化管道，对管线最外侧的轮廓进行识别并去除，直到管线只剩单像素，这是此单像素曲线的端点就是管线两侧的端点。需要说明的是此单像素曲线和管线中心线有一定误差，因为细化轮廓时是环绕轮廓操作，因此与真实中心线会有一到两个像素的误差。

获取管道两侧端点的坐标后。选择一侧端点作为路径起点，要注意的是，由于两个相机是相对放置的，所拍摄的图片是对称的。因此若前侧相机选择一侧端点作为路径起点，那后侧相机就要选择另一侧端点。区分端点可以用像素横纵坐标相加值的大小来区分。选好起点之后另一侧端点就是终点。

管道中心线就是起点和终点之间的最小路径。本发明采用Dijkstra最小路径算法。具体流程为：寻找起点开始，相邻的最短路径；选另一条路径，比较同样前往此节点的，更新开销最小的，并更新路径；重复此步骤，直到最后一个节点；计算最终路径。

获取中心线之后，进行特征点的离散。将中心线视为函数，中心线的特征点就是函数的某些驻点，驻点筛选策略是：计算某特征点到曲线两端点的距离，与该点和两个端点练成的两条线距离之和进行比对，达到某种程度便舍弃，否则保留。得到离散化的中心线特征点点集。

其中，针对管线外径，本发明采用一种基于形体质心的边缘检测方法。对阶跃型边缘、脉冲型边缘、屋脊型边缘3种基本类型边缘的特点进行详细分析后发现，这3种基本边缘类型的一阶导数是关于边缘点的对称函数，它们的绝对值则是一个关于边缘点的偶对称函数.而从图形的角度考虑，此对称点恰是图形的质心.因此亚像素级边缘检测问题就可以转化为求解图形质心问题。一般认为图像是原始理想信息在点扩散函数的卷积作用下形成的.在不考虑噪声影响的情况下，其一维数学模型简单表示为：

f(x)＝u(x)*g(x)

其中：u(x)为原始理想信号,f(x)为一维图像信息；g(x)为点扩散函数，一般近似为高斯函数:

将u(x)分别设置为理想阶跃边缘，理想脉冲边缘，理想屋脊边缘，经过点扩散函数作用后，尖锐的边缘呗平滑成模糊边缘，经过对导数的对称性分析，得出边界的计算公式为：

为了便于计算机实现此算法，需要对公式进行离散化，设f_i为f(x)在x_i处的采样值，x_i处的微分值利用此处的前向差分和后向差分的均值代替，记为：

可将公式改为：

实现这个算法的具体过程是：计算差分矩阵，使用行差分模板和列差分模板分别与管线灰度图片做卷积，记录所得的矩阵D₁,D₂；根据管线矩阵的统计特性选取差分阈值T；算选取计算区间，对矩阵D₁,D₂中的元素小于T者置0，两个矩阵的非零连续区间就是边缘过渡区间；利用离散化的公式计算边源点值，存入灰度图像边缘；根据中心线特征点点集，外径大小就是在距离变换中得到的像素数加上前面计算出来的边缘点值。

(3)相机标定及多相机矩阵转换

对两个相机进行标定。相机标定是计算机视觉的基本问题之一，是由二维图像获取三维信息的前提。标定是利用待标定相机所拍摄的二维图像中的已知信息，求取相机成像模型中的所有未知参数，包括表示相机内部结构的内部参数和相机空间位姿的外部参数。

相机标定方法分为以下四类：①利用三维标定物体的标定方法；②利用二维标定物体的标定方法；③利用一维标定物的标定方法；④自标定方法。利用二维标定物的标定方法精度高、操作简便，逐渐成为实际应用中普遍使用的标定方法。相机标定的过程即通过解投影方程优化求解相机内、外参数的过程。基于二维平面标定方法的思想，在多目相机分组后，双目立体相机同时进行标定。

二维平面标定的方法需要使用标定板，标定板的形式和制作质量将影响相机标定精度，标定板主要有棋盘格标定板和圆形标定板，本发明采用棋盘格标定板。棋盘格标定板将网格直角点作为标定点，采用python进行图片抓取，两个相机各抓取15-20张图片，尽量使棋盘格覆盖尽可能大的面积，每张图片棋盘格都要有不同的角度。图像处理包的标定工具，比如Matlab内置的标定工具，进行相机标定，可以得到如下参数：相机的旋转矩阵，平移矩阵，内参矩阵。

根据相机外参信息进行相机之间的矩阵转换，要对两个相机使用同一个标定板同时标定，这样两个相机标定时就有相同的世界坐标系。对标定盘上的某个点P(世界坐标系下)来说，它经过后侧相机的外参矩阵转化为后侧相机坐标系下的P_t,经过前侧相机的外参矩阵转化为前侧相机坐标系下的P_r。P_t,P_r可以通过一个旋转矩阵R,平移矩阵T来进行转换：

P_r＝RP_t+T

其中旋转矩阵表达式为：

R_r为前侧相机单独标定时得到的旋转矩阵，

为后侧相机单独标定时得到的旋转矩阵求逆

平移矩阵表达式为：

T＝T_r-RT_t

T_r为前侧相机单独标定的平移矩阵，T_t为后侧相机单独标定时的平移矩阵。

(4)管道中心线匹配和外径扩展

经过图像采集和预处理，中心线提取及离散化，得到了相机视图下的特征点像素位置信息。经过相机标定，获得了世界坐标系向相机坐标系转换的矩阵参数以及透视投影矩阵信息。根据相机参数，获得成像平面一点到图片像素点的转化关系。如图3所示，对于待测管线上的每个点，经历了图3所示的变换，成为相机成像图片中的一个像素点。本模块的目的就是利用立体成像的原理由像素点恢复世界坐标系中的点的位置信息。

对后侧相机所得管线图片的特征点点集中的每个点，进行反向视图变换，根据图片大小和起始位置，将像素信息还原为相机坐标系下相机成像面上的二维点坐标。由于透视投影时舍弃了深度信息，如图4所示，在透过相机中心eye和成像面上点P的直线上任意一点(例如点M,点N)都会投影到成像平面上的P点，之后经过视图变换就会得到相同的一个像素点。因此还原透视投影无法恢复原来的点的信息，只能由相机中心eye指向成像面上点P的一条射线，记为L_i。以后侧相机坐标系中两点(eye,P)表示。

对前侧相机的每个特征点同样可以得到由相机中心指向成像面上一点(反向视图变换得到的点)的射线，但是这条射线是在前侧相机坐标系下表示的，要运用相机标定模块得到的相机坐标系转化关系，将上步骤得到的后侧相机坐标系下的射线，转化为前侧相机坐标系下的一条射线。将此操作应用于两个相机拍摄图片所得中心线上的所有特征点，得到在前侧相机坐标系下的两组射线，分别是前侧相机中心指向前侧相机成像平面投影点的射线族和后侧相机中心指向后侧相机成像平面投影点的射线族。

利用双目成像原理，如图5所示，两条射线可以确定一个平面，管线中心线就位于两个平面的交线中。具体来说是四条射线所与该交线产生的四个交点中某两点之间部分。确定是哪两点的方案与匹配策略有关。采用一种动态匹配的方法，根据图像处理环节得出的端点信息，从一侧端点开始进行匹配，记录此端点所对应的射线，以此为基准射线。匹配方法是根据双目成像原理，选择在前侧相机坐标系下前侧相机中心指向前侧相机成像平面投影点的基准射线和下条射线，组成一个平面，选择该坐标系下后侧相机中心指向后侧相机成像平面投影点的基准射线和下条射线组成另一个平面，两个平面求交线。交线与四条射线形成四个交点，根据此前记录的基准射线，选择这两射线与交线的交点为基准点，远离此交点的第一个点就是这次匹配获得的待测管线中心线特征点。将此点作为下次匹配时的基准点，此点对应的射线族下次匹配中向后选择一个射线，如图6所示。经过匹配，得到待测管线中心线的空间特征点，连接即可得到待测管线中心线。

将每个视图下中心线特征点处的外径进行扩展，得到待测管线全部方位的外径信息。采用基于最小二乘法的曲线拟合方法。将特征点处外径大小视为函数值，特征点距离端点距离视为自变量，对这一系列点进行多项式曲线拟合。按照偏差平方和最小的原则选择拟合曲线，最终得到的函数就代表了距离端点不同距离下的外径长度。

根据待测管线中心线空间坐标(前侧相机坐标系下)和外径信息即可重建待测管线。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种基于多目视觉的管线测量方法，其特征在于：包括以下步骤：

(1)图像采集和预处理

步骤1、搭建图像采集***，通过分布在管道前后两侧的双目相机进行图片抓取，获得拍摄的管道灰度图；对所述灰度图进行二值化处理，使背景与所述管道互相区分；采用轮廓对比技术，对二值化图片进行目标区域ROI提取，获取管道轮廓信息；

(2)中心线及外径提取

步骤2.1、根据管道轮廓信息，采用欧式距离变换法计算管道内每点到管道轮廓的欧氏距离，获取管道的距离变换图，记录管道轮廓内部每个点到管道边界的欧式距离；

步骤2.2、通过图像处理搜索管道边界，获取管道两侧端点的像素坐标，采用Dijkstra最小路径算法，以中心线一侧端点为起点，另一侧端点为终点，得到两点之间的最小路径，即管道的中心线，记为管线；

步骤2.3、采用局部特征点离散方法来减少特征值，将中心线视为函数，所求特征点即是函数的一部分驻点，对所有的驻点进行优化，得到中心线特征点点集；

步骤2.4、采用基于形体质心的边缘检测方法，获取中心线特征点点集中每个特征点对应的外径大小并存储；

(3)相机标定及多相机矩阵转换

步骤3.1、通过相机标定得到由旋转矩阵和平移矩阵组成的外参数以及相机的内参数，根据内外参数获得世界坐标系下管道坐标向相机窗口像素坐标转换的矩阵；

步骤3.2、根据相机外参信息进行相机坐标系转换，对后侧相机与前侧相机采用同一个标定板同时标定，求出后侧相机坐标系向前侧相机坐标系转换所需的旋转矩阵以及平移矩阵；

(4)管道中心线匹配和外径扩展

步骤4.1、对前侧、后侧相机所得的中心线特征点分别进行视口变换恢复，透视投影变换恢复，视图变换恢复，模型变换恢复，得到前、后侧相机中心指向前，后侧相机成像平面的两组射线族；

步骤4.2、根据步骤3.2获得的旋转矩阵和平移矩阵将后侧相机中心指向后侧相机成像平面的射线族转化为在前侧相机坐标系下的射线族；

步骤4.3、采用动态匹配法，根据步骤2.2得出的中心线端点，从一侧端点开始进行匹配，根据此动态方法依次匹配直到另一侧端点，得到管道中心线的空间位置，由一组折线段表示；具体地，

根据图像处理环节得出的端点信息，从一侧端点开始进行匹配，记录此端点所对应的射线，以此为基准射线；

根据双目成像原理，选择在前侧相机坐标系下前侧相机中心指向前侧相机成像平面投影点的基准射线和下条射线，组成一个平面，选择该坐标系下后侧相机中心指向后侧相机成像平面投影点的基准射线和下条射线组成另一个平面，两个平面求交线；交线与四条射线形成四个交点，根据此前记录的基准射线，选择这两射线与交线的交点为基准点，远离此交点的第一个点就是这次匹配获得的待测管道中心线特征点，将此点作为下次匹配时的基准点，此点对应的射线族下次匹配中向后选择一个射线；经过匹配，得到待测管道中心线的空间特征点，连接即可得到待测管道中心线；

步骤4.4、将每个视图下中心线特征点处的外径进行扩展，获取待测管线全部方位的外径信息；采用基于最小二乘法的曲线拟合方法，将特征点处外径大小视为函数值，特征点距离端点距离视为自变量，对这一系列点进行多项式曲线拟合，按照偏差平方和最小的原则选择拟合曲线，最终得到的函数即为距离端点不同距离下的外径长度；

根据待测管道中心线在前侧相机坐标系下的空间坐标和外径信息即可重建待测管道。

2.根据权利要求1所述的一种基于多目视觉的管线测量方法，其特征在于：所述步骤2.4中所述基于形体质心的边缘检测方法如下：

不考虑噪声情况下，图像信息的一维数学模型简单表示为：

f(x)＝u(x)*g(x)

其中：u(x)为原始理想信号,f(x)为一维图像信息；g(x)为点扩散函数，一般近似为高斯函数:

将u(x)分别设置为理想阶跃边缘，理想脉冲边缘，理想屋脊边缘，经过点扩散函数作用后，尖锐的边缘被平滑成模糊边缘，对导数进行对称性分析，得出边界的计算公式为：

对公式进行离散化，f_i为f(x)在x_i处的采样值，x_i处的微分值利用此处的前向差分和后向差分的均值代替如下：

可将公式改为：

计算差分矩阵，使用行差分模板和列差分模板分别与管线灰度图片做卷积，记录所得的矩阵D₁,D₂；根据管线矩阵的统计特性选取差分阈值T；算选取计算区间，对矩阵D₁,D₂中的元素小于T者置0，两个矩阵的非零连续区间就是边缘过渡区间；利用离散化的公式计算边源点值，存入灰度图像边缘；根据中心线特征点点集，外径大小就是在距离变换中得到的像素数加上前面计算出来的边缘点值。

Images