CN114211164A - 一种水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法 - Google Patents

Abstract

本发明提供了一种水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法，首先搭建水下焊接跟踪***，采用的激光器发射线结构光，水下摄像机采集线结构光图像，并通过Laplace算子和线性模板匹配方法获得激光条纹线结构光中心线，采用结构光扫描方法对焊接起始点进行识别和定位；最后采用循环队列的顺序存储线结构光焊缝中线点坐标，实现焊缝的跟踪。本发明的有益效果为：利用激光条纹绿色的特征从绿色通道进行目标区域的划分，提高了目标区域划分的准确性；利用数字图像处理技术，包括暗通道方法、二值化过程以及线性模板匹配方法等，在保证识别准确率的条件下，提高了训练结果的准确性，检测原理简单，检测速度较快，跟踪效果较准确。

Description

一种水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法

技术领域

本发明涉及水下焊缝跟踪控制技术领域，尤其涉及一种水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法。

背景技术

随着当前我国对外跨洋经济贸易活动日益频繁及我国土地上海洋资源的不断严重流失，人们更加重视海洋资源综合利用和海底可再生利用能源综合研究与开发，用于推进这些研究的大型远洋邮轮、海底石油管道、钻井施工平台等也越来越多，它们的规划设计与施工建造均非常离不开水下焊接制造技术。实现焊接自动化的技术基础和重要性关键在于焊缝自动追溯技术，其前提必须获得水下焊缝的世界坐标，同时这也是焊接自动化的难点。视觉识别作为非接触式传感器中的典型代表，具有作业环境适应性强，识别灵活性高等优点，水下焊缝识别面临水下光线衰减严重，对焊缝识别以及追踪带来很大影响。

如何解决上述技术问题为本发明面临的课题。

发明内容

本发明的目的在于提供一种水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法，水下焊接机器人由激光传感器构成的水下焊缝跟踪控制方法，适用于水下焊接机器人。

本发明是通过如下措施实现的：一种水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法，其中，包括以下步骤：

步骤一、搭建水下焊接跟踪***；

步骤二、激光条纹线结构光中心线提取；

步骤三、焊接起始点定位；

步骤四、焊缝跟踪轨迹的确认。

进一步地，所述步骤一中，整个水下焊接跟踪***主要由焊枪、CCD相机、线形激光器、焊缝4四个部分组成，其中焊枪主要用来完成对焊缝的焊接工作，CCD相机用来对水下线结构光进行拍照，线形激光器主要用来产生线结构光。

进一步地，所述步骤二中，采用的激光器发射线结构光，通过水下摄像机采集线结构光图像，提取焊缝中心线，具体包含如下步骤：

2-1)、首先通过微分算子：

▽²f(x,y)＝f(x+1,y)+(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y)增加领域间像素的差值，得到Laplace变换后的图像，其中f(x,y)为原始图片，▽²f(x,y)为Laplace处理后的图片；

2-2)、采用公式：I(x,y)＝f(x,y)+α▽²f(x,y)，把原图像和Laplace图像进行叠加，凸显原始图像的边缘信息，其中I(x,y)为最终保持原图像并且增强边缘的图像，α为叠加系数；

2-3)、制作一定数量的焊缝模板，建立焊缝模板板库，存储每个模板对应的像素矩阵T_i，利用公式

计算原始图像I中位置(x,y)对应的匹配度值,其中x',y'为模板图像各个像素的位置，T_i(x',y')为模板i在x',y'位置处的像素值，I(x+x',y+y')为图像I中位置(x+x',y+y')对应的像素值，R(x,y)越大，则表明图像I在(x,y)处与模板匹配度越好，而最大的模板匹配度值对应的像素矩阵[I(x+x',y+y')]_{x',y'}的中心位置即为焊缝中心点，以此完成焊缝识别。

进一步地，所述步骤三中，采用结构光扫描方法对焊接起始点进行识别和定位，具体包含如下步骤：

3-1)、初始化硬件设备，包括相机和激光器，确保其正常工作；

3-2)、利用笛卡尔坐标系下焊缝坐标和焊枪坐标计算焊缝与焊枪之间的距离偏差，通过机器人逆运动学理论解算机械臂运动参数，得到各关节运动变量，控制各关节移动改变机械臂末端姿态，确保焊缝图像处于相机中央位置；

3-3)、识别视野中焊缝走向，计算焊缝空间坐标，控制机械臂使得激光沿着焊缝垂直方向移动，直至扫描完成整个焊缝，确定焊缝起始点坐标位置。

进一步地，所述步骤四中，循环队列的顺序存储线结构光焊缝中线点坐标，并且循环队列的大小满足

其中，F为当前激光中心点到焊枪末端的视距，v为焊接速度，t为每一帧图像处理的时间，通过更新前视距的队列信息控制焊枪前进的方向和速度，实现焊缝的跟踪。

与现有技术相比，本发明的有益效果为：(1)本发明涉及的方法利用激光条纹绿色的特征从绿色通道进行目标区域的划分，提高了目标区域划分的准确性；(2)利用数字图像处理技术，包括暗通道方法、二值化过程以及线性模板匹配方法等，在保证识别准确率的条件下，提高了训练结果的准确性，检测原理简单，检测速度较快，跟踪效果较准确。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明提供的水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法整体流程图。

图2为本发明提供的水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法的水下焊接跟踪***示意图。

图3为本发明提供的水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法中线激光条纹中心提取流程图。

图4为本发明提供的水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法中激光条纹照射在焊缝上的原始图像。

图5为本发明提供的水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法中的中心线提取结果流程图。

图6为本发明提供的水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法中焊接起始点定位流程图。

图7为本发明提供的水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法中焊缝跟踪循环队列示意图。

其中，附图标记为：1、焊枪；2、CCD相机；3、线形激光器；4、焊缝。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。当然，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

参见图1至图7，本发明提供其技术方案为，本发明提供一种水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法，包括以下四个步骤：

步骤1、搭建水下焊接跟踪***；

步骤2、激光条纹线结构光中心线提取；

步骤3、焊接起始点定位；

步骤4、焊缝跟踪轨迹的确认。

如图2所示，整个水下焊接跟踪***主要由焊枪1、CCD相机2、线形激光器3、焊缝4四个部分组成，其中焊枪1主要用来完成对焊缝的焊接工作，CCD相机2用来对水下线结构光进行拍照，线形激光器2主要用来产生线结构光。

如图3所示，采用的激光器发射线结构光，通过水下摄像机采集线结构光图像，如图4所示，并通过如下步骤完成焊缝中心线提取，结果如图5所示：

1)、首先通过微分算子：

▽²f(x,y)＝f(x+1,y)+(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y)增加领域间像素的差值，得到Laplace变换后的图像，其中f(x,y)为原始图片，▽²f(x,y)为Laplace处理后的图片；

2)、采用公式：I(x,y)＝f(x,y)+α▽²f(x,y)，把原图像和Laplace图像进行叠加，凸显原始图像的边缘信息，其中I(x,y)为最终保持原图像并且增强边缘的图像，α为叠加系数；

3)、制作一定数量的焊缝模板，建立焊缝模板板库，存储每个模板对应的像素矩阵T_i，利用公式

计算原始图像I中位置(x,y)对应的匹配度值,其中x',y'为模板图像各个像素的位置，T_i(x',y')为模板i在x',y'位置处的像素值，I(x+x',y+y')为图像I中位置(x+x',y+y')对应的像素值，R(x,y)越大，则表明图像I在(x,y)处与模板匹配度越好，而最大的模板匹配度值对应的像素矩阵[I(x+x',y+y')]_{x',y'}的中心位置即为焊缝中心点，以此完成焊缝识别。

采用的激光器发射线结构光，水下摄像机采集线结构光图像如图4所示，并通过Laplace算子进行锐化处理，加强图像边缘信息，最后通过线性模板匹配方法获得激光条纹线结构光中心线，如图5所示。

如图6所示，采用结构光扫描方法对焊接起始点进行识别和定位，具体包含如下步骤：

1)、初始化硬件设备，包括相机和激光器，确保其正常工作；

2)、利用笛卡尔坐标系下焊缝坐标和焊枪坐标计算焊缝与焊枪之间的距离偏差，通过机器人逆运动学理论解算机械臂运动参数，得到各关节运动变量，控制各关节移动改变机械臂末端姿态，确保焊缝图像处于相机中央位置；

3)、识别视野中焊缝走向，计算焊缝空间坐标，控制机械臂使得激光沿着焊缝垂直方向移动，直至扫描完成整个焊缝，确定焊缝起始点坐标位置。

由于光视觉传感器投射的结构光与焊枪末端具有一定的前视距离，在跟踪过程中，传感器获取到的轨迹点坐标是无法立刻被使用，因此本发明采用循环队列的顺序存储线结构光焊缝中线点坐标，并且循环队列的大小满足

其中F为当前激光中心点到焊枪末端的视距，v为焊接速度，t为每一帧图像处理的时间，通过更新前视距的队列信息来控制焊枪前进的方向和速度，进而实现焊缝的跟踪。

如图7所示，S为焊缝，点p为当前焊枪所在点，l为结构光投射到焊板上形成的直线，与S相交于点p’，该点将被采集进入到焊接跟踪队列的末端，v的方向是机械手末端当前的移动方向，该方向指向跟踪队列中的下一个点。在焊接过程中，机械手末端将沿着v的方向移动，此时焊缝已经离开了视野中心，继续沿着v方向移动将导致p’离开结构光的测量空间。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法，其特征在于，包括以下步骤：

S1、搭建水下焊接跟踪***；

S2、激光条纹线结构光中心线提取；

S3、焊接起始点定位；

S4、焊缝跟踪轨迹的确认。

2.根据权利要求1所述的水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法，其特征在于，所述步骤S1中，整个水下焊接跟踪***主要由焊枪、CCD相机、线形激光器、焊缝四个部分组成，焊枪用于完成对焊缝的焊接工作，CCD相机用于对水下线结构光进行拍照，线形激光器用来产生线结构光。

3.根据权利要求1所述的水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法，其特征在于，所述步骤S2中，采用的激光器发射线结构光，通过水下摄像机采集线结构光图像，提取焊缝中心线，具体包含如下步骤：

S2-1)、首先通过微分算子：

增加领域间像素的差值，得到Laplace变换后的图像，其中f(x,y)为原始图片，

为Laplace处理后的图片；

S2-2)、采用公式：

把原图像和Laplace图像进行叠加，凸显原始图像的边缘信息，其中I(x,y)为最终保持原图像并且增强边缘的图像，α为叠加系数；

S2-3)、制作一定数量的焊缝模板，建立焊缝模板板库，存储每个模板对应的像素矩阵T_i，利用公式

计算原始图像I中位置(x,y)对应的匹配度值,其中x',y'为模板图像各个像素的位置，T_i(x',y')为模板i在x',y'位置处的像素值，I(x+x',y+y')为图像I中位置(x+x',y+y')对应的像素值，R(x,y)越大，则表明图像I在(x,y)处与模板匹配度越好，最大的模板匹配度值对应的像素矩阵[I(x+x',y+y')]_{x',y'}的中心位置为焊缝中心点，以此完成焊缝识别。

4.根据权利要求1所述的水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法，其特征在于，所述步骤S3中，采用结构光扫描方法对焊接起始点进行识别和定位，具体包含如下步骤：

S3-1)、初始化硬件设备，包括相机和激光器，确保其正常工作；

S3-2)、利用笛卡尔坐标系下焊缝坐标和焊枪坐标计算焊缝与焊枪之间的距离偏差，通过机器人逆运动学理论解算机械臂运动参数，得到各关节运动变量，控制各关节移动改变机械臂末端姿态，确保焊缝图像处于相机中央位置；

S3-3)、识别视野中焊缝走向，计算焊缝空间坐标，控制机械臂使得激光沿着焊缝垂直方向移动，直至扫描完成整个焊缝，确定焊缝起始点坐标位置。

5.根据权利要求1所述的水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法，其特征在于，所述步骤S4中，循环队列的顺序存储线结构光焊缝中线点坐标，并且循环队列的大小满足

其中，F为当前激光中心点到焊枪末端的视距，v为焊接速度，t为每一帧图像处理的时间，通过更新前视距的队列信息控制焊枪前进的方向和速度，实现焊缝的跟踪。

Images