CN105783726A - 一种基于线结构光视觉检测的曲线焊缝三维重建方法 - Google Patents

Abstract

本发明提供了一种基于线结构光视觉检测的曲线焊缝三维重建方法，其可有效检测各种焊缝，可靠性高，方法简单，检测效率高；其包括机械臂、线结构光视觉***，控制器控制连接所述机械臂，所述线结构光视觉***包括摄像机、线结构光投射器，所述摄像机固定于所述机械臂末端，所述线结构光投射器固定于所述摄像机一侧，且投射于待焊工件表面，所述曲线焊缝三维重建方法的步骤包括***标定、焊缝检测、焊缝重建，从而重建出完整的三维曲线焊缝。

Description

一种基于线结构光视觉检测的曲线焊缝三维重建方法

技术领域

本发明涉及计算机视觉测量技术领域，尤其是用于实现视觉引导下的焊缝检测与三维重建，为机器人自动焊接提供基础，具体为一种基于线结构光视觉检测的曲线焊缝三维重建方法。

背景技术

在智能制造领域，常常需要获取工业制造对象的三维信息，现有的三维检测装置，分为接触式和非接触式两类，而接触式检测装置效率不高，且容易在物体表面产生划痕，因此，近年来以机器视觉为代表的非接触式三维检测装置得到了较多的研究与应用，而通过研究，将焊接机器人配上机器视觉，可以对焊缝进行自动检测，且在视觉标定的基础上，可以实现焊缝的三维检测，为机器人自动焊接提供基础。

随着焊接机器人应用的越来越广泛，研究曲线焊缝的视觉检测与三维重建，以实现机器人自动焊接，在实际生产中具有重要意义，其中单目视觉通常只能得到二维平面信息，而要获得焊缝的三维信息需要采用立体视觉，常用的立体视觉***有双目视觉和结构光视觉，其对焊缝的检测方法主要是：(1)、采用单目和结构光视觉检测焊缝，其将结构光投射到焊缝上，用单目摄像机拍摄焊缝图像，实现视觉引导的焊接；(2)、采用双目视觉，在自然光照的情况下检测焊缝信息，针对小曲率焊缝，将曲线分成若干段，每段以直线近似，得到焊缝的轨迹；(3)、采用线结构光和两台摄像机构成立体视觉，利用三维重建算法计算焊缝特征点的三维坐标；但上述这些方法大多是针对直线焊缝或小曲率焊缝，而对于曲率较大的复杂焊缝，尚未得到充分研究，如果采用双目视觉，就需要对两幅图像进行匹配，增加了焊缝检测算法的复杂性；或者通过视觉引导的实时焊接，但由于存在弧光、飞溅、电磁干扰等，给焊缝的可靠检测带来了影响，因而焊缝效率也不高。

发明内容

针对上述问题，本发明提供了一种基于线结构光视觉检测的曲线焊缝三维重建方法，其可有效检测各种焊缝，可靠性高，方法简单，检测效率高。

其技术方案是这样的：一种基于线结构光视觉检测的曲线焊缝三维重建方法，其包括机械臂、线结构光视觉***，控制器控制连接所述机械臂，所述线结构光视觉***包括摄像机、线结构光投射器，所述摄像机固定于所述机械臂末端，所述线结构光投射器固定于所述摄像机一侧，且投射于待焊工件表面，其特征在于：所述曲线焊缝三维重建方法的步骤如下：

(1)、***标定：先采用基于靶标的方法标定所述摄像机内外参数，以及采用改进的Steger方法提取光条中心线，然后采用交比不变性原理或Plucker矩阵的方法标定线结构光平面方程，再采用求解CX＝XD的方法实现手眼矩阵标定，即机械臂末端与摄像机间的矩阵标定；

(2)、焊缝检测：对所述摄像机采集的焊缝图像进行预处理，随后采用所述改进的Steger方法提取光条中心线，再结合所述待焊工件表面几何特征提取焊缝中心点，获得所述焊缝中心点在图像中的坐标；

(3)、焊缝重建：采用所述控制器操纵所述机械臂末端运动，***实时读取所述机械臂末端的位姿信息，所述线结构光视觉***在所述机械臂的带动下沿焊缝进行扫描，获得一组焊缝图像，根据所述步骤(2)中提取这组扫描图像的焊缝中心点，根据所述步骤(1)中标定的结果计算出这组焊缝中心点在所述机械臂基坐标系中的三维坐标，通过这组焊缝中心点的三维坐标，采用最小二乘法进行三维曲线拟合，从而重建出完整的三维曲线焊缝。

其进一步特征在于：

所述步骤(1)中的标定方法步骤是：

(1.1)、打开所述线结构光投射器，用所述控制器操纵并调整所述机械臂的位姿，将线结构光投射到标定靶标上，拍摄一幅带结构光的标定靶标图像；

(1.2)、关闭所述线结构光发射器，保持所述机械臂位姿不变，拍摄一幅不带结构光的标定靶标图像；

(1.3)、重复所述步骤(1.1)和(1.2)，在至少3个不同位姿上，获得至少三组标定靶标图像，并从所述控制器上读取所述机械臂末端位姿；

(1.4)、对不带结构光的标定靶标图像，提取亚像素级靶标特征点，由至少3幅图像标定所述摄像机内部参数矩阵并获得每幅图像所对应的所述摄像机外部参数矩阵Rt，其中f_u、f_v分别为u轴和v轴的尺度因子，f_s是u轴和v轴的不垂直因子，(u₀,v₀)为主点坐标，旋转矩阵R与平移向量t构成所述摄像机外部参数矩阵；

(1.5)、由同组的两幅图像相减，利用改进的Steger方法提取光条中心线，并获得光条方程，再求解光条在所述摄像机坐标系下的Plücker矩阵，由多条光条空间直线的Plücker矩阵，求解光平面在所述摄像机坐标系的平面方程，并通过非线性优化方法得到光平面方程在最大似然准则下的最优解；

(1.6)、在所述步骤(1.4)的基础上，结合手眼关系即所述摄像机与机械臂末端之间的位姿关系以及在所述摄像机坐标系中的结构光平面方程ax+by+cz＝0，其中，R_m为旋转矩阵，p_m为平移矩阵，a、b、c为结构光平面方程的参数，随后采用求解CX＝XD的方法实现手眼矩阵标定,其中X即为T_m，C为所述摄像机在两个不同位姿处的外参数相对矩阵，D为所述机械臂末端在两个不同位姿处的位姿变换矩阵；

所述步骤(2)中焊缝检测的步骤是：

(2.1)、对线结构光投射到待焊工件表面形成的结构光条纹，采用改进的Steger方法提取光条中心线，并获得光条方程；

(2.2)、所述待焊工件包括两块金属板，所述金属板之间的位置关系为对接焊或者搭接焊或者T型焊，在光条中心线提取之后，结合所述金属板之间焊缝类型，从而确定焊缝中心点；

所述步骤(3)的焊缝重建步骤是：

(3.1)、设所述焊缝中心点的图像坐标为m＝[u，v]^T，在所述摄像机坐标系中的坐标为M_c＝[x_c，y_c，z_c]^T,则该点在所述摄像机归一化成像平面上的坐标为M_c1＝[x_c1，y_c1，1]^T，有所述摄像机光轴中心与M_c1点的连线为由于所述焊缝中心点既在结构光平面上，又在所述摄像机光轴中心与成像平面上的成像点的连线上，联立直线方程和结构光平面方程ax+by+cz+1＝0，即可求得所述焊缝特征点在所述摄像机坐标系中的三维坐标,即

(3.2)、由所述控制器读取所述机械臂末端的位姿，计算得机器人基坐标系与末端坐标系之间变换关系T₆，从而计算得所述焊缝特征点在所述机器人基坐标系下的三维坐标M_b＝[x_b，y_b，z_b]^T，即由得出机器人基坐标系下的一组焊缝特征点，通过采用最小二乘法进行三维曲线拟合，即可重建出完整的三维曲线焊缝。

本发明的有益效果是，通过将线结构光视觉***刚性固定在机械臂末端，作为检测与测量的机器视觉装置，首先根据所采用的线结构光视觉***的有关参数，以及其与机械臂末端之间的位姿关系预先标定，实现手眼矩阵标定；随之对焊缝图像处理后，提取光条中心线，可结合待焊工件表面不同的几何特征相应提取焊缝中心点，获得焊缝中心点在图像中的坐标；最后在线结构光视觉***标定和机械臂末端的位姿信息的基础上，获得焊缝中心点在机械臂基坐标系中的三维坐标，通过该焊缝中心点的三维坐标，采用最小二乘法进行拟合，从而有效重建出完整的三维焊缝。

附图说明

图1是基于线结构光视觉的焊接机械臂结构示意图；

图2是待焊工件的焊缝接头类型示意图；

图3是线结构光在不同类型焊缝上的投影示意图；

图4是本发明的曲线焊缝三维重建的流程图。

具体实施方式

如图1～图4所示，一种基于线结构光视觉检测的曲线焊缝三维重建方法，其包括机械臂1、线结构光视觉***，控制器2控制连接机械臂1，计算机3连接控制器2，线结构光视觉***包括摄像机4、线结构光投射器5，摄像机4固定于机械臂1末端，线结构光投射器5固定于摄像机4一侧，且投射于待焊工件6表面，构成一种眼在手(Eye-in-Hand)***，作为检测与测量的机器视觉装置，线结构光投射器5可以将单线或多线结构光投射到待焊工件表面，摄像机4是用于采集结构光投射图像，并将图像传送给由计算机3软硬件构成的图像处理***；

曲线焊缝三维重建方法的步骤如下：

(1)、***标定：根据线结构光视觉***的有关参数，以及其与机械臂末端之间的位姿关系，采用基于靶标的方法标定摄像机内外参数后，采用交比不变性原理或Plucker矩阵的方法标定线结构光平面方程，最后采用求解CX＝XD的方法实现手眼矩阵标定，即机械臂末端与摄像机间的矩阵标定；

其标定方法具体为：

设平面上的三维点为M＝[x，y，z]^T，其图像平面图上的二维点记为m＝[u，v]^T，相应的齐次坐标为与空间点M与图像点m之间的射影关系为:其中，s为比例因子，旋转矩阵R与平移向量t构成摄像机外部参数矩阵，A为摄像机内部参数矩阵，其中f_u、f_v分别为u轴和v轴的尺度因子，f_s是u轴和v轴的不垂直因子，(u₀,v₀)为主点坐标；x,y,z是空间上三维点的坐标，u,v是平面上二维点的坐标；

(1.1)、打开线结构光投射器，用控制器操纵并调整机械臂的位姿，将线结构光投射到标定靶标上，拍摄一幅带结构光的标定靶标图像；

(1.2)、关闭线结构光发射器，保持机械臂位姿不变，拍摄一幅不带结构光的标定靶标图像；

(1.3)、重复步骤(1.1)和(1.2)，在至少3个不同位姿上，获得至少三组标定靶标图像，并从控制器上读取机械臂末端位姿；

(1.4)、对不带结构光的标定靶标图像，提取亚像素级靶标特征点(也就是对于棋盘格靶标时提取角点，对于圆点阵靶标时提取圆点中心点)，由至少3幅图像标定摄像机内部参数矩阵A，并获得每幅图像所对应的摄像机外部参数矩阵Rt；

(1.5)、由同组的两幅图像相减，利用改进的Steger方法提取光条中心线，并获得光条方程，再求解光条在摄像机坐标系下的Plücker矩阵，由多条光条空间直线的Plücker矩阵，求解光平面在摄像机坐标系的平面方程，并通过非线性优化方法得到光平面方程在最大似然准则下的最优解；

(1.6)、在步骤(1.4)的基础上，结合手眼关系即摄像机与机械臂末端之间的位姿关系以及在摄像机坐标系中的结构光平面方程ax+by+cz+1＝0，其中，R_m为旋转矩阵，p_m为平移矩阵，a、b、c为结构光平面方程的参数，随后采用求解CX＝XD的方法实现手眼矩阵标定，其中X即为T_m，C为摄像机在两个不同位姿处的外参数相对矩阵，D为机械臂末端在两个不同位姿处的位姿变换矩阵。

(2)、焊缝检测：对摄像机采集的焊缝图像进行滤波、兴趣区提取等预处理，图像滤波主要是为了消除噪声，应根据噪声的选择合适的滤波方法，常用的方法有中值滤波、小波滤波等；兴趣区提取的目的是为了减少图像处理的计算量，通常先提取可能包含图像特征的区域，即兴趣区，这样可以大大提高后续图像处理的效率，常用兴趣区提取的方法是计算行或列方向上的灰度累加和最大值；随后采用Steger方法提取光条中心线，最后结合待焊工件表面几何特征提取焊缝中心点，获得焊缝中心点在图像中的坐标；

其焊缝检测具体为：

(2.1)、对线结构光投射到待焊工件表面形成的结构光条纹，其中光条的横截面上的光强呈抛物线或高斯分布，其灰度模型为根据改进的Steger方法用二维高斯函数的各阶导数作为模板卷积图像得到各阶微分，从而求得光条中心点f(0)，光条中心点f(0)也就是光条截面上的灰度极大值点同时也是一阶导数过零点和二阶导数极小值点，其中二维高斯函数的各核函数如式：

(2.2)、待焊工件包括两块金属板，金属板之间的位置关系为对接焊或者搭接焊或者T型焊，如附图2中，(a)为对接焊，(b)为搭接焊,(c)为T型焊，根据焊缝种类的不同，线结构光光条在待焊工件表面投射形成了不同的位置及夹角关系的两条光条线段，如附图3(a)，对于对接焊，两条光条线段在一条直线上，直线中部的间断处或“V”型区域为焊缝位置；如附图3(b)，对于搭接焊，两条光条线段相互平行，焊缝位于两条平行线段距离最近的端点区域；如附图3(c)，对于T型焊，两条光条线段相交，焊缝位于交点区域；如附图1，本实施例中的待焊工件焊接类型为对接焊，则在光条中心线提取之后，结合金属板之间焊缝类型，从而确定焊缝中心点。

(3)、焊缝重建：操纵控制器控制机械臂末端运动，通过计算机显示器观察，保持焊缝中心点处于图像中心区域，并实时读取机械臂末端的位姿信息，线结构光视觉***在机械臂的带动下沿焊缝进行扫描，获得一组焊缝图像，根据步骤(2)提取这组扫描图像的焊缝中心点，根据所述步骤(1)中标定的结果计算出这组焊缝中心点在机械臂基坐标系中的三维坐标，以及为了提高曲线焊缝重建的精度，在焊缝曲率变化较大的位置，需要较为密集地采集图像；

其焊缝重建具体为：

焊缝中心点的图像坐标为m＝[u，v]^T，在摄像机坐标系中的坐标为M_c＝[x_c，y_c，z_c]^T,则

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\left[\begin{array}{c}{x}_c/z_c\\ y_c/z_c\\ 1\end{array}\right]---\left(\mathrm{3.1.1}\right)$

该点在摄像机归一化成像平面上的坐标为M_c1＝[x_c1，y_c1，1]^T，有

$\left[\begin{array}{c}{x}_{c1}\\ y_{c1}\\ 1\end{array}\right]=A^{-1}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]---\left(\mathrm{3.1.2}\right)$

摄像机光轴中心与M_c1点的连线为

$\left\{\begin{array}{c}x=x_{c1}{t}_1\\ y=y_{c1}{t}_1\\ z=t_1\end{array}\right.---\left(\mathrm{3.1.3}\right)$

由于焊缝中心点既在结构光平面上，又在摄像机光轴中心与成像平面上的成像点的连线上，联立直线方程(3.1.3)和结构光平面方程ax+by+cz+1＝0，即求得焊缝特征点在摄像机坐标系中的三维坐标,如式(3.1.4)

$\left\{\begin{array}{c}{x}_c=(-x_{c1})/({\mathrm{ax}}_{c1}+{\mathrm{by}}_{c1}+c)\\ y_c=(-y_{c1})/({\mathrm{ax}}_{c1}+{\mathrm{by}}_{c1}+c)\\ z_c=-1/({\mathrm{ax}}_{c1}+{\mathrm{by}}_{c1}+c)\end{array}\right.---\left(\mathrm{3.1.4}\right)$

由控制器读取机械臂末端的位姿，计算得机器人基坐标系与末端坐标系之间变换关系T₆，进一步计算得焊缝特征点在机器人基坐标系下的三维坐标M_b＝[x_b，y_b，z_b]^T

$\left[\begin{array}{c}{x}_b\\ y_b\\ z_b\\ 1\end{array}\right]={T_m}^{-1}{T_6}^{-1}\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\\ 1\end{array}\right]---\left(\mathrm{3.1.5}\right)$

其中T₆是机械臂末端第6个轴相对于机械臂基坐标系之间的变换矩阵；

最后由机器人基坐标系下的一组焊缝特征点，采用最小二乘法进行三维曲线拟合，从而重建出完整的三维曲线焊缝。

Claims (4)

1.一种基于线结构光视觉检测的曲线焊缝三维重建方法，其包括机械臂、线结构光视觉***，控制器控制连接所述机械臂，所述线结构光视觉***包括摄像机、线结构光投射器，所述摄像机固定于所述机械臂末端，所述线结构光投射器固定于所述摄像机一侧，且投射于待焊工件表面，其特征在于：所述曲线焊缝三维重建方法的步骤如下：

(1)、***标定：先采用基于靶标的方法标定所述摄像机内外参数，以及采用改进的Steger方法提取光条中心线，然后采用交比不变性原理或Plucker矩阵的方法标定线结构光平面方程，再采用求解CX＝XD的方法实现手眼矩阵标定，即机械臂末端与摄像机间的矩阵标定；

(2)、焊缝检测：对所述摄像机采集的焊缝图像进行预处理，随后采用所述改进的Steger方法提取光条中心线，再结合所述待焊工件表面几何特征提取焊缝中心点，获得所述焊缝中心点在图像中的坐标；

(3)、焊缝重建：采用所述控制器操纵所述机械臂末端运动，***实时读取所述机械臂末端的位姿信息，所述线结构光视觉***在所述机械臂的带动下沿焊缝进行扫描，获得一组焊缝图像，根据所述步骤(2)中提取这组扫描图像的焊缝中心点，根据所述步骤(1)中标定的结果计算出这组焊缝中心点在所述机械臂基坐标系中的三维坐标，通过这组焊缝中心点的三维坐标，采用最小二乘法进行三维曲线拟合，从而重建出完整的三维曲线焊缝。

2.根据权利要求1所述的一种基于线结构光视觉检测的曲线焊缝三维重建方法，其特征在于：所述步骤(1)中的标定方法步骤是：

(1.1)、打开所述线结构光投射器，用所述控制器操纵并调整所述机械臂的位姿，将线结构光投射到标定靶标上，拍摄一幅带结构光的标定靶标图像；

(1.2)、关闭所述线结构光发射器，保持所述机械臂位姿不变，拍摄一幅不带结构光的标定靶标图像；

(1.3)、重复所述步骤(1.1)和(1.2)，在至少3个不同位姿上，获得至少三组标定靶标图像，并从所述控制器上读取所述机械臂末端位姿；

(1.4)、对不带结构光的标定靶标图像，提取亚像素级靶标特征点，由至少3幅图像标定所述摄像机内部参数矩阵并获得每幅图像所对应的所述摄像机外部参数矩阵Rt，其中f_u、f_v分别为u轴和v轴的尺度因子，f_s是u轴和v轴的不垂直因子，(u₀,v₀)为主点坐标，旋转矩阵R与平移向量t构成所述摄像机外部参数矩阵；

(1.5)、由同组的两幅图像相减，利用所述改进的Steger方法提取光条中心线，并获得光条方程，再求解光条在所述摄像机坐标系下的Plücker矩阵，由多条光条空间直线的Plücker矩阵，求解光平面在所述摄像机坐标系的平面方程，并通过非线性优化方法得到光平面方程在最大似然准则下的最优解；

(1.6)、在所述步骤(1.4)的基础上，结合手眼关系即所述摄像机与机械臂末端之间的位姿关系以及在所述摄像机坐标系中的结构光平面方程ax+by+cz＝0，其中，R_m为旋转矩阵，p_m为平移矩阵，a、b、c为结构光平面方程的参数，随后采用求解CX＝XD的方法实现手眼矩阵标定,其中X即为T_m，C为所述摄像机在两个不同位姿处的外参数相对矩阵，D为所述机械臂末端在两个不同位姿处的位姿变换矩阵。

3.根据权利要求1所述的一种基于线结构光视觉检测的曲线焊缝三维重建方法，其特征在于：所述步骤(2)中焊缝检测的步骤是：

(2.1)、对线结构光投射到所述待焊工件表面形成的结构光条纹，采用所述改进的Steger方法提取光条中心线，并获得光条方程；

(2.2)、所述待焊工件包括两块金属板，所述金属板之间的位置关系为对接焊或者搭接焊或者T型焊，在光条中心线提取之后，结合所述金属板之间焊缝类型，从而确定焊缝中心点。

4.根据权利要求2所述的一种基于线结构光视觉检测的曲线焊缝三维重建方法，其特征在于：所述步骤(3)的焊缝重建步骤是：

(3.1)、设所述焊缝中心点的图像坐标为m＝[u，v]^T，在所述摄像机坐标系中的坐标为M_c＝[x_c，y_c，z_c]^T,则该点在所述摄像机归一化成像平面上的坐标为M_c1＝[x_c1，y_c1，1]^T，有所述摄像机光轴中心与M_c1点的连线为由于所述焊缝中心点既在结构光平面上，又在所述摄像机光轴中心与成像平面上的成像点的连线上，联立直线方程和结构光平面方程ax+by+cz+1＝0，即可求得所述焊缝特征点在所述摄像机坐标系中的三维坐标,即

(3.2)、由所述控制器读取所述机械臂末端的位姿，计算得机器人基坐标系与末端坐标系之间变换关系T₆，从而计算得所述焊缝特征点在所述机器人基坐标系下的三维坐标M_b＝[x_b，y_b，z_b]^T，即由得出机器人基坐标系下的一组焊缝特征点，通过采用最小二乘法进行三维曲线拟合，即可重建出完整的三维曲线焊缝。