CN113042863A - 一种基于激光视觉传感器的焊缝实时跟踪方法 - Google Patents

Abstract

本发明公开了一种基于激光视觉传感器的焊缝实时跟踪方法，解决了现有技术中非机械加工坡口处焊缝自动跟踪效果差的问题，具有有效减小焊缝轨迹点的误差，相应提高焊缝实时跟踪的准确性的有益效果，具体方案如下：一种基于激光视觉传感器的焊缝实时跟踪方法，采用激光视觉传感器拍摄包含激光线的焊缝图像，通过焊缝图像获取特征点，通过特征点位置的确定，可确定坡口区域进而获得坡口面积进而，从而确定焊缝轨迹点，根据识别到的轨迹点与焊枪位置的偏差进行焊缝跟踪。

Description

一种基于激光视觉传感器的焊缝实时跟踪方法

技术领域

本发明涉及焊接领域，尤其是一种基于激光视觉传感器的焊缝实时跟踪方法。

背景技术

国际制造业竞争日益加剧，德国、美国相继推出了“工业4.0”、“工业互联网”等制造业发展战略，新一轮工业革命即将到来，我国制造业面临着严峻的挑战。在机遇与挑战面前，中国加强统筹规划，由“制造”向“智造”转型升级，完成中国制造由大变强的战略目标。

焊接作为制造业中非常重要的一种制造工艺，在制造业中有着举足轻重的地位，被誉为制造业的裁缝，实现中国制造业的升级换代，焊接过程的自动化和智能化是不可或缺的关键一步。

由于装配误差、加工尺寸误差以及焊接过程中存在焊接变形，焊缝跟踪成为获得高质量焊缝的关键技术，焊缝跟踪技术的进步对于推动焊接自动化推广应用至关重要。视觉测量传感器具有非接触、高速度、高精度优点，因而在焊缝跟踪***中应用广泛，激光焊缝跟踪***已进入生产应用。但基于视觉传感的焊缝跟踪***跟踪效果的好坏取决于工件坡口质量以及图像处理算法。

传统的激光焊缝跟踪***，利用有限的特征点，计算焊缝坡口中心或焊接轨迹线，如果坡口为机械加工的或者坡口质量较好的场合，跟踪效果较好，但发明人发现，对于非机械加工坡口，坡口质量不佳或者多层多道焊中打底焊的后续焊道，特征点的提取会出现较大的误差，进而使得现有的视觉传感器跟踪效果不佳。因此在坡口质量不佳或者多层多道焊的后续焊道实现焊缝跟踪，成为推动焊接自动化亟待解决的问题。

发明内容

针对现有技术存在的不足，本发明的目的是提供一种基于激光视觉传感器的焊缝实时跟踪方法，通过计算特征点之间坡口面积，进而获取焊缝轨迹点，能够有效减小焊缝轨迹点的误差，相应提高焊缝实时跟踪的准确性。

为了实现上述目的，本发明是通过如下的技术方案来实现：

本发明提供了一种基于激光视觉传感器的焊缝实时跟踪方法，采用激光视觉传感器拍摄包含激光线的焊缝图像，通过焊缝图像获取特征点，通过特征点位置的确定，可确定坡口区域进而获得坡口面积，从而确定焊缝轨迹点，根据识别到的轨迹点与焊枪位置的偏差进行焊缝跟踪。

上述的焊缝跟踪方法中，针对坡口质量不佳或多层多道焊中后续焊道难以进行焊缝跟踪的问题，通过对特征点位置的确定，可获得坡口面积，有利于焊缝轨迹点的确定，根据识别到的轨迹点与焊枪位置的偏差进行焊缝跟踪能够有效减小焊缝轨迹点的误差，提高焊缝实时跟踪的准确性。

如上所述的一种基于激光视觉传感器的焊缝实时跟踪方法，所述激光线获取特征点的方法为：将所获取的激光线进行拟合获得拟合后的激光线中心线，与该拟合后的激光线中心线的距离大于设定值的点为特征点，通过拟合，以提高轨迹点识别的准确度。

如上所述的一种基于激光视觉传感器的焊缝实时跟踪方法，所述激光线包含焊缝坡口的三维几何信息，并建立坐标系。

如上所述的一种基于激光视觉传感器的焊缝实时跟踪方法，进一步对焊缝图像进行处理，对所述焊缝图像进行滤波、边缘锐化，获得图像。

如上所述的一种基于激光视觉传感器的焊缝实时跟踪方法，考虑到激光线具有一定的宽度，为了对激光线中心线位置的准确定位，对所述焊缝图像进行激光线中心点的提取，通过提取的激光线中心点进行激光线中心线的拟合。

如上所述的一种基于激光视觉传感器的焊缝实时跟踪方法，为了提高特征点获取的精度，所述激光线中心点的提取包括如下内容：

针对每一列，从上侧向下搜索，寻找梯度超过阈值的局部极大值，得到局部极大值的位置A；

在位置A向下设定像素的范围内，搜索该范围内最大的局部极大值和超过局部极小值，其纵坐标分别记作B和C；

如果在该范围内，存在局部极大值和局部极小值，则该列上纵坐标为(B+C)/2，为激光中心点，从C+2位置重新开始进行搜索；

若局部极大值和局部极小值不同时存在，则从A+2位置重新开始进行搜索。

如上所述的一种基于激光视觉传感器的焊缝实时跟踪方法，通过所述激光视觉传感器获得多幅所述的焊缝图像，每幅焊缝图像均包含各自对应的所述激光线。

本发明还公开了一种基于激光视觉传感器的焊缝实时跟踪方法，包括如下内容：

通过激光视觉传感器拍摄焊缝图像，焊缝图像包含经过工件调制的激光线，该激光线包含焊缝坡口三维几何信息，建立相应的坐标系；

对焊缝图像进行滤波，去除噪声点；

对滤波后的焊缝图像进行边缘锐化处理，获得图像；

根据对多个图像的分析，进行激光线中心点的提取；

通过激光线中心点进行激光线中心线的拟合，获得拟合后的激光线中心线，与该拟合后的激光线的中心线距离大于设定值的激光线中心点为特征点；

通过特征点位置的确定，可确定坡口区域进而获得坡口面积，从而确定焊缝轨迹点，根据识别到的轨迹点与焊枪位置的偏差进行焊缝跟踪。

通过上述的跟踪方法，给出了基于激光视觉传感器来获取焊缝图像，逐步进行处理，通过激光线，获取特征点和焊缝轨迹点，大大降低了所获取轨迹点的误差，最后再进行焊缝跟踪，有利于获取较好的焊缝跟踪效果。

如上所述的一种基于激光视觉传感器的焊缝实时跟踪方法，所述轨迹点的确定方法包括如下内容：

设特征点之间的连线上的任一点为F，通过该点做垂直于特征点之间连线的线段，线段与拟合的激光线中心线相交，使得剖口区域两侧面积相等的两特征点之间连线上的点为轨迹点。

上述本发明的有益效果如下：

1)本发明通过计算特征点之间坡口面积，进而获取焊缝轨迹点，轨迹点的精度得到明显提高，具有较强的容错性，有效降低所获取轨迹点的误差，进而提高焊缝实时跟踪的准确性，在坡口质量不佳情况下及多层多道焊后续焊道中获取较好的焊缝跟踪效果。

2)本发明通过激光线中心点的获取算法，在有、无弧光干扰情况下，均有效保证了激光线中心点获取的准确度，而且保证后续激光线中心线拟合的效果，进而有利于后续特征点的精确获取。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明根据一个或多个实施方式的一种基于激光视觉传感器的焊缝实时跟踪方法的流程图。

图2是本发明根据一个或多个实施方式的原始焊缝图像。

图3是本发明根据一个或多个实施方式的激光线中心点位置示意图。

图4是本发明根据一个或多个实施方式的获得的特征点示意图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非本发明另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合；

为了方便叙述，本发明中如果出现“上”、“下”、“左”“右”字样，仅表示与附图本身的上、下、左、右方向一致，并不对结构起限定作用,仅仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位，以特定的方位构造和操作，因此不能理解为对本发明的限制。

正如背景技术所介绍的，现有技术中存在非机械加工坡口处焊缝自动跟踪效果差的问题，为了解决如上的技术问题，本发明提出了一种基于激光视觉传感器的焊缝实时跟踪方法。

一种基于激光视觉传感器的焊缝实时跟踪方法，采用激光视觉传感器拍摄包含激光线的焊缝图像，通过焊缝图像获取特征点，通过特征点位置的确定，可确定坡口区域进而获得坡口面积，从而确定焊缝轨迹点，根据识别到的轨迹点与焊枪位置的偏差进行焊缝跟踪。

其中，根据特征点之间连线、特征点之间的激光线中心线(拟合的)确定坡口位置，若特征点连线与特征点之间激光线中心线所确定的区域为半封闭区域，则通过将激光线中心线封闭(根据激光线中心线的延长线进行封闭)，进而可确定坡口区域，通过坡口区域确定坡口面积。

具体地，坡口区域确定后，可通过积分法或其他方法获得坡口面积。

参考图1所示，具体包括如下内容：

1)获取焊缝图像：经激光视觉传感器拍摄到焊缝图像，焊缝图像包含经过工件调制的激光线，该激光线包含焊缝坡口三维几何信息，图2为拍摄的原始图像，建立坐标系ouv；

2)滤波：对焊缝图像进行3×3窗口的均值滤波处理，去除噪声点；

3)边缘锐化：突出或者增强焊缝图像中的边缘细节，对焊缝图像进行锐化处理，采用简单的梯度算子，采用的梯度算子如下：

h(u，v)＝128+g(u，v)-g(u，v-1) (1)

式中，h(u,v)是边缘锐化后的(u，v)像素的灰度值，常数128的目的是为了将锐化后的结果用图像显示出来。

4)激光线中心点的提取：根据对多个焊缝图像的分析，本文将阈值设定为5，即，梯度的绝对值大于5的局部极值才予以考虑；梯度局部最大值位置和局部最小值的搜索步骤如下：

4-1)针对每一列，从上侧向下搜索，寻找梯度超过阈值的局部极大值，得到局部极大值的位置A；

4-2)在位置A向下设定像素(可为50像素)的范围内，搜索该范围内最大的局部极大值和超过局部极小值，其纵坐标分别记作B和C；

4-3)如果在该范围内，存在局部极大值和局部极小值，则该列上纵坐标为(B+C)/2，为激光中心点，从C+2位置重新开始进行搜索；

4-4)若局部极大值和局部极小值不同时存在，则从A+2位置重新开始进行搜索。

参考图3所示，为通过上述方法提取的激光线中心点，这里激光线中心点指的是激光线宽度方向的中心点。

5)激光线拟合：将所获取的激光线中心点进行拟合获得拟合后的激光线中心线，与该拟合后的激光线中心线的距离大于设定值的点为特征点。

6)轨迹点计算：据此方法获取的特征点为图4中的D、E两点，将D、E两点用直线连接，DE以及DE两点之间的激光中心线组成曲线，如果该曲线不封闭，则将相邻两点用直线连线，进行封闭，封闭后的曲线记作Φ。

设DE之间的激光中心线用公式(1)表示：

v＝f(u) (1)

设DE之间的线段用公式(2)表示：

v＝h(u) (2)

参考图4所示，平行于坐标轴v的直线/将Φ分为面积a、b两部分，直线/与线段DE交于F点。

设D、E、F点坐标分别为(u₁，v₁)，(u₂，v₂)，(u₃，v₃)

使a、b两部分面积相等：

则F点为轨迹点，针对V型坡口，设两特征点之间的连线上的任一点为F，通过该点做垂直于特征点之间连线的线段，线段与激光线中心线相交，这样使得剖口区域两侧面积相等的两特征点之间连线上的点为轨迹点。

当焊接坡口质量较差时，由于D、E两点的判断可能会出现较大的误差，取其中值作为焊缝轨迹点，则轨迹点会出现较大的误差。

例如由于E点出现较大的误差，变为E′，其坐标为(u₄，v₄)，

则横向误差为：u₄-u₃

则取DE′取中值的误差为：(u₄-u₃)/2。

采用上述的方法，由于E E′以及E E′两点之间的激光中心线所围成的面积很小，由公式3可知，由该公式获得的F点的误差很小，远远小于(u₄-u₃)/2，轨迹点的精度明显提高，具有很强的容错性，进而可以获取较好的焊缝跟踪效果。

7)焊缝跟踪：根据识别到的轨迹点与焊枪位置的偏差进行焊缝跟踪，焊枪位置可由摄像头或其他设备获取，控制器如工控机或其他类型的控制器通过焊枪位置与确定的轨迹点对焊缝进行跟踪。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于激光视觉传感器的焊缝实时跟踪方法，其特征在于，采用激光视觉传感器拍摄包含激光线的焊缝图像，通过焊缝图像获取特征点，通过特征点位置的确定，可确定坡口区域进而获得坡口面积进而，从而确定焊缝轨迹点，根据识别到的轨迹点与焊枪位置的偏差进行焊缝跟踪。

2.根据权利要求1所述的一种基于激光视觉传感器的焊缝实时跟踪方法，其特征在于，所述激光线获取特征点的方法为：将所获取的激光线进行拟合获得拟合后的激光线中心线，与该拟合后的激光线中心线的距离大于设定值的点为特征点。

3.根据权利要求1或2所述的一种基于激光视觉传感器的焊缝实时跟踪方法，其特征在于，所述激光线包含焊缝坡口的三维几何信息，并建立坐标系。

4.根据权利要求1所述的一种基于激光视觉传感器的焊缝实时跟踪方法，其特征在于，对所述焊缝图像进行滤波、边缘锐化，获得图像。

5.根据权利要求1所述的一种基于激光视觉传感器的焊缝实时跟踪方法，其特征在于，对所述焊缝图像进行激光线中心点的提取，通过提取的激光线中心点进行激光线中心线的拟合。

6.根据权利要求5所述的一种基于激光视觉传感器的焊缝实时跟踪方法，其特征在于，所述激光线中心点的提取包括如下内容：

针对每一列，从上侧向下搜索，寻找梯度超过阈值的局部极大值，得到局部极大值的位置A；

在位置A向下设定像素的范围内，搜索该范围内最大的局部极大值和超过局部极小值，其纵坐标分别记作B和C；

如果在该范围内，存在局部极大值和局部极小值，则该列上纵坐标为(B+C)/2，为激光中心点，从C+2位置重新开始进行搜索；

若局部极大值和局部极小值不同时存在，则从A+2位置重新开始进行搜索。

7.根据权利要求1所述的一种基于激光视觉传感器的焊缝实时跟踪方法，其特征在于，通过所述激光视觉传感器获得多幅所述的焊缝图像，每幅焊缝图像均包含各自对应的所述激光线。

8.一种基于激光视觉传感器的焊缝实时跟踪方法，其特征在于，包括如下内容：

通过激光视觉传感器拍摄焊缝图像，焊缝图像包含经过工件调制的激光线，该激光线包含焊缝坡口三维几何信息，建立相应的坐标系；

对焊缝图像进行滤波，去除噪声点；

对滤波后的焊缝图像进行边缘锐化处理，获得图像；

根据对多个图像的分析，进行激光线中心点的提取；

通过激光线中心点进行激光线中心线的拟合，获得拟合后的激光线中心线，与该拟合后的激光线中心线的距离大于设定值的点为特征点；

通过特征点位置的确定，可确定坡口区域进而获得坡口面积，从而确定焊缝轨迹点，根据识别到的轨迹点与焊枪位置的偏差进行焊缝跟踪。

9.根据权利要求1或8所述的一种基于激光视觉传感器的焊缝实时跟踪方法，其特征在于，所述轨迹点的确定方法包括如下内容：

设特征点之间的连线上的任一点为F，通过该点做垂直于特征点之间连线的线段，线段与拟合的激光线中心线相交，使得剖口区域两侧面积相等的两特征点之间连线上的点为轨迹点。

Images