CN114211164A - 一种水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法 - Google Patents
一种水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法 Download PDFInfo
- Publication number
- CN114211164A CN114211164A CN202111598415.XA CN202111598415A CN114211164A CN 114211164 A CN114211164 A CN 114211164A CN 202111598415 A CN202111598415 A CN 202111598415A CN 114211164 A CN114211164 A CN 114211164A
- Authority
- CN
- China
- Prior art keywords
- welding
- line
- seam
- underwater
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003466 welding Methods 0.000 title claims abstract description 142
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 abstract description 5
- 238000001514 detection method Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000012549 training Methods 0.000 abstract description 2
- 238000010276 construction Methods 0.000 description 3
- 238000005553 drilling Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000003208 petroleum Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Laser Beam Processing (AREA)
Abstract
本发明提供了一种水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法,首先搭建水下焊接跟踪***,采用的激光器发射线结构光,水下摄像机采集线结构光图像,并通过Laplace算子和线性模板匹配方法获得激光条纹线结构光中心线,采用结构光扫描方法对焊接起始点进行识别和定位;最后采用循环队列的顺序存储线结构光焊缝中线点坐标,实现焊缝的跟踪。本发明的有益效果为:利用激光条纹绿色的特征从绿色通道进行目标区域的划分,提高了目标区域划分的准确性;利用数字图像处理技术,包括暗通道方法、二值化过程以及线性模板匹配方法等,在保证识别准确率的条件下,提高了训练结果的准确性,检测原理简单,检测速度较快,跟踪效果较准确。
Description
技术领域
本发明涉及水下焊缝跟踪控制技术领域,尤其涉及一种水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法。
背景技术
随着当前我国对外跨洋经济贸易活动日益频繁及我国土地上海洋资源的不断严重流失,人们更加重视海洋资源综合利用和海底可再生利用能源综合研究与开发,用于推进这些研究的大型远洋邮轮、海底石油管道、钻井施工平台等也越来越多,它们的规划设计与施工建造均非常离不开水下焊接制造技术。实现焊接自动化的技术基础和重要性关键在于焊缝自动追溯技术,其前提必须获得水下焊缝的世界坐标,同时这也是焊接自动化的难点。视觉识别作为非接触式传感器中的典型代表,具有作业环境适应性强,识别灵活性高等优点,水下焊缝识别面临水下光线衰减严重,对焊缝识别以及追踪带来很大影响。
如何解决上述技术问题为本发明面临的课题。
发明内容
本发明的目的在于提供一种水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法,水下焊接机器人由激光传感器构成的水下焊缝跟踪控制方法,适用于水下焊接机器人。
本发明是通过如下措施实现的:一种水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法,其中,包括以下步骤:
步骤一、搭建水下焊接跟踪***;
步骤二、激光条纹线结构光中心线提取;
步骤三、焊接起始点定位;
步骤四、焊缝跟踪轨迹的确认。
进一步地,所述步骤一中,整个水下焊接跟踪***主要由焊枪、CCD相机、线形激光器、焊缝4四个部分组成,其中焊枪主要用来完成对焊缝的焊接工作,CCD相机用来对水下线结构光进行拍照,线形激光器主要用来产生线结构光。
进一步地,所述步骤二中,采用的激光器发射线结构光,通过水下摄像机采集线结构光图像,提取焊缝中心线,具体包含如下步骤:
2-1)、首先通过微分算子:
▽2f(x,y)=f(x+1,y)+(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y)增加领域间像素的差值,得到Laplace变换后的图像,其中f(x,y)为原始图片,▽2f(x,y)为Laplace处理后的图片;
2-2)、采用公式:I(x,y)=f(x,y)+α▽2f(x,y),把原图像和Laplace图像进行叠加,凸显原始图像的边缘信息,其中I(x,y)为最终保持原图像并且增强边缘的图像,α为叠加系数;
2-3)、制作一定数量的焊缝模板,建立焊缝模板板库,存储每个模板对应的像素矩阵Ti,利用公式计算原始图像I中位置(x,y)对应的匹配度值,其中x',y'为模板图像各个像素的位置,Ti(x',y')为模板i在x',y'位置处的像素值,I(x+x',y+y')为图像I中位置(x+x',y+y')对应的像素值,R(x,y)越大,则表明图像I在(x,y)处与模板匹配度越好,而最大的模板匹配度值对应的像素矩阵[I(x+x',y+y')]{x',y'}的中心位置即为焊缝中心点,以此完成焊缝识别。
进一步地,所述步骤三中,采用结构光扫描方法对焊接起始点进行识别和定位,具体包含如下步骤:
3-1)、初始化硬件设备,包括相机和激光器,确保其正常工作;
3-2)、利用笛卡尔坐标系下焊缝坐标和焊枪坐标计算焊缝与焊枪之间的距离偏差,通过机器人逆运动学理论解算机械臂运动参数,得到各关节运动变量,控制各关节移动改变机械臂末端姿态,确保焊缝图像处于相机中央位置;
3-3)、识别视野中焊缝走向,计算焊缝空间坐标,控制机械臂使得激光沿着焊缝垂直方向移动,直至扫描完成整个焊缝,确定焊缝起始点坐标位置。
进一步地,所述步骤四中,循环队列的顺序存储线结构光焊缝中线点坐标,并且循环队列的大小满足其中,F为当前激光中心点到焊枪末端的视距,v为焊接速度,t为每一帧图像处理的时间,通过更新前视距的队列信息控制焊枪前进的方向和速度,实现焊缝的跟踪。
与现有技术相比,本发明的有益效果为:(1)本发明涉及的方法利用激光条纹绿色的特征从绿色通道进行目标区域的划分,提高了目标区域划分的准确性;(2)利用数字图像处理技术,包括暗通道方法、二值化过程以及线性模板匹配方法等,在保证识别准确率的条件下,提高了训练结果的准确性,检测原理简单,检测速度较快,跟踪效果较准确。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。
图1为本发明提供的水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法整体流程图。
图2为本发明提供的水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法的水下焊接跟踪***示意图。
图3为本发明提供的水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法中线激光条纹中心提取流程图。
图4为本发明提供的水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法中激光条纹照射在焊缝上的原始图像。
图5为本发明提供的水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法中的中心线提取结果流程图。
图6为本发明提供的水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法中焊接起始点定位流程图。
图7为本发明提供的水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法中焊缝跟踪循环队列示意图。
其中,附图标记为:1、焊枪;2、CCD相机;3、线形激光器;4、焊缝。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。当然,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
实施例1
参见图1至图7,本发明提供其技术方案为,本发明提供一种水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法,包括以下四个步骤:
步骤1、搭建水下焊接跟踪***;
步骤2、激光条纹线结构光中心线提取;
步骤3、焊接起始点定位;
步骤4、焊缝跟踪轨迹的确认。
如图2所示,整个水下焊接跟踪***主要由焊枪1、CCD相机2、线形激光器3、焊缝4四个部分组成,其中焊枪1主要用来完成对焊缝的焊接工作,CCD相机2用来对水下线结构光进行拍照,线形激光器2主要用来产生线结构光。
如图3所示,采用的激光器发射线结构光,通过水下摄像机采集线结构光图像,如图4所示,并通过如下步骤完成焊缝中心线提取,结果如图5所示:
1)、首先通过微分算子:
▽2f(x,y)=f(x+1,y)+(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y)增加领域间像素的差值,得到Laplace变换后的图像,其中f(x,y)为原始图片,▽2f(x,y)为Laplace处理后的图片;
2)、采用公式:I(x,y)=f(x,y)+α▽2f(x,y),把原图像和Laplace图像进行叠加,凸显原始图像的边缘信息,其中I(x,y)为最终保持原图像并且增强边缘的图像,α为叠加系数;
3)、制作一定数量的焊缝模板,建立焊缝模板板库,存储每个模板对应的像素矩阵Ti,利用公式计算原始图像I中位置(x,y)对应的匹配度值,其中x',y'为模板图像各个像素的位置,Ti(x',y')为模板i在x',y'位置处的像素值,I(x+x',y+y')为图像I中位置(x+x',y+y')对应的像素值,R(x,y)越大,则表明图像I在(x,y)处与模板匹配度越好,而最大的模板匹配度值对应的像素矩阵[I(x+x',y+y')]{x',y'}的中心位置即为焊缝中心点,以此完成焊缝识别。
采用的激光器发射线结构光,水下摄像机采集线结构光图像如图4所示,并通过Laplace算子进行锐化处理,加强图像边缘信息,最后通过线性模板匹配方法获得激光条纹线结构光中心线,如图5所示。
如图6所示,采用结构光扫描方法对焊接起始点进行识别和定位,具体包含如下步骤:
1)、初始化硬件设备,包括相机和激光器,确保其正常工作;
2)、利用笛卡尔坐标系下焊缝坐标和焊枪坐标计算焊缝与焊枪之间的距离偏差,通过机器人逆运动学理论解算机械臂运动参数,得到各关节运动变量,控制各关节移动改变机械臂末端姿态,确保焊缝图像处于相机中央位置;
3)、识别视野中焊缝走向,计算焊缝空间坐标,控制机械臂使得激光沿着焊缝垂直方向移动,直至扫描完成整个焊缝,确定焊缝起始点坐标位置。
由于光视觉传感器投射的结构光与焊枪末端具有一定的前视距离,在跟踪过程中,传感器获取到的轨迹点坐标是无法立刻被使用,因此本发明采用循环队列的顺序存储线结构光焊缝中线点坐标,并且循环队列的大小满足其中F为当前激光中心点到焊枪末端的视距,v为焊接速度,t为每一帧图像处理的时间,通过更新前视距的队列信息来控制焊枪前进的方向和速度,进而实现焊缝的跟踪。
如图7所示,S为焊缝,点p为当前焊枪所在点,l为结构光投射到焊板上形成的直线,与S相交于点p’,该点将被采集进入到焊接跟踪队列的末端,v的方向是机械手末端当前的移动方向,该方向指向跟踪队列中的下一个点。在焊接过程中,机械手末端将沿着v的方向移动,此时焊缝已经离开了视野中心,继续沿着v方向移动将导致p’离开结构光的测量空间。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法,其特征在于,包括以下步骤:
S1、搭建水下焊接跟踪***;
S2、激光条纹线结构光中心线提取;
S3、焊接起始点定位;
S4、焊缝跟踪轨迹的确认。
2.根据权利要求1所述的水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法,其特征在于,所述步骤S1中,整个水下焊接跟踪***主要由焊枪、CCD相机、线形激光器、焊缝四个部分组成,焊枪用于完成对焊缝的焊接工作,CCD相机用于对水下线结构光进行拍照,线形激光器用来产生线结构光。
3.根据权利要求1所述的水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法,其特征在于,所述步骤S2中,采用的激光器发射线结构光,通过水下摄像机采集线结构光图像,提取焊缝中心线,具体包含如下步骤:
S2-1)、首先通过微分算子:
4.根据权利要求1所述的水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法,其特征在于,所述步骤S3中,采用结构光扫描方法对焊接起始点进行识别和定位,具体包含如下步骤:
S3-1)、初始化硬件设备,包括相机和激光器,确保其正常工作;
S3-2)、利用笛卡尔坐标系下焊缝坐标和焊枪坐标计算焊缝与焊枪之间的距离偏差,通过机器人逆运动学理论解算机械臂运动参数,得到各关节运动变量,控制各关节移动改变机械臂末端姿态,确保焊缝图像处于相机中央位置;
S3-3)、识别视野中焊缝走向,计算焊缝空间坐标,控制机械臂使得激光沿着焊缝垂直方向移动,直至扫描完成整个焊缝,确定焊缝起始点坐标位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111598415.XA CN114211164A (zh) | 2021-12-24 | 2021-12-24 | 一种水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111598415.XA CN114211164A (zh) | 2021-12-24 | 2021-12-24 | 一种水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114211164A true CN114211164A (zh) | 2022-03-22 |
Family
ID=80705633
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111598415.XA Pending CN114211164A (zh) | 2021-12-24 | 2021-12-24 | 一种水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114211164A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102059435A (zh) * | 2010-12-14 | 2011-05-18 | 东南大学 | 带有线结构光型视觉传感器的纵缝焊接专机及其控制方法 |
US20120188365A1 (en) * | 2009-07-20 | 2012-07-26 | Precitec Kg | Laser processing head and method for compensating for the change in focus position in a laser processing head |
CN104384765A (zh) * | 2014-10-14 | 2015-03-04 | 江苏湃锐自动化科技有限公司 | 基于三维模型与机器视觉的自动焊接方法及焊接装置 |
CN108568624A (zh) * | 2018-03-29 | 2018-09-25 | 东风贝洱热***有限公司 | 一种基于图像处理的机械臂焊接***及焊接方法 |
CN109604777A (zh) * | 2017-12-07 | 2019-04-12 | 淮安信息职业技术学院 | 基于激光结构光的焊缝视觉跟踪***及方法 |
EP3594676A1 (en) * | 2018-07-09 | 2020-01-15 | Westerton Access Limited | Subsea weld inspection system and method |
-
2021
- 2021-12-24 CN CN202111598415.XA patent/CN114211164A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120188365A1 (en) * | 2009-07-20 | 2012-07-26 | Precitec Kg | Laser processing head and method for compensating for the change in focus position in a laser processing head |
CN102059435A (zh) * | 2010-12-14 | 2011-05-18 | 东南大学 | 带有线结构光型视觉传感器的纵缝焊接专机及其控制方法 |
CN104384765A (zh) * | 2014-10-14 | 2015-03-04 | 江苏湃锐自动化科技有限公司 | 基于三维模型与机器视觉的自动焊接方法及焊接装置 |
CN109604777A (zh) * | 2017-12-07 | 2019-04-12 | 淮安信息职业技术学院 | 基于激光结构光的焊缝视觉跟踪***及方法 |
CN108568624A (zh) * | 2018-03-29 | 2018-09-25 | 东风贝洱热***有限公司 | 一种基于图像处理的机械臂焊接***及焊接方法 |
EP3594676A1 (en) * | 2018-07-09 | 2020-01-15 | Westerton Access Limited | Subsea weld inspection system and method |
Non-Patent Citations (3)
Title |
---|
徐鹏飞: "水下焊接机器人视觉传感焊缝跟踪方法研究" * |
谢光;熊禾根;陶永;刘辉;高进;陈友东;: "基于模糊自适应PID焊缝轨迹跟踪的机器人焊接前瞻控制方法" * |
黎志刚;段锁林;赵建英;毕友明;: "机器人视觉伺服控制及应用研究的现状" * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN210046133U (zh) | 基于激光结构光的焊缝视觉跟踪*** | |
CN103759648B (zh) | 一种基于激光双目视觉的复杂角焊缝位置检测方法 | |
CN110227876A (zh) | 基于3d点云数据的机器人焊接路径自主规划方法 | |
CN104400265B (zh) | 一种激光视觉引导的焊接机器人角接焊缝特征的提取方法 | |
CN109903279B (zh) | 焊缝运动轨迹的自动示教方法和装置 | |
CN114782626B (zh) | 基于激光与视觉融合的变电站场景建图及定位优化方法 | |
CN102699534A (zh) | 基于扫描式激光视觉传感的厚板窄间隙深坡口激光自动化多层焊焊接方法 | |
CN103558850A (zh) | 一种激光视觉引导的焊接机器人全自动运动自标定方法 | |
CN109470149B (zh) | 一种管路位姿的测量方法及装置 | |
CN108907526A (zh) | 一种具有高鲁棒性的焊缝图像特征识别方法 | |
Zou et al. | Research on a real-time pose estimation method for a seam tracking system | |
CN103500321A (zh) | 基于双动态窗的视觉引导焊接机器人焊缝快速识别技术 | |
CN114140439A (zh) | 基于深度学习的激光焊接焊缝特征点识别方法及装置 | |
CN115619738A (zh) | 一种模组侧缝焊焊后检测方法 | |
CN115131268A (zh) | 一种基于图像特征提取与三维模型匹配的自动化焊接*** | |
CN114283139A (zh) | 一种基于面阵结构光3d视觉的焊缝检测分割方法及装置 | |
CN114473309A (zh) | 用于自动焊接***的焊接位置识别方法及自动焊接*** | |
Ma et al. | WeldNet: A deep learning based method for weld seam type identification and initial point guidance | |
CN113909689B (zh) | 一种激光光条的管道焊接坡口特征提取方法 | |
CN113848892B (zh) | 一种机器人清扫区域划分方法、路径规划方法及装置 | |
Li et al. | A mobile robotic arm grasping system with autonomous navigation and object detection | |
Porrill et al. | TINA: The Sheffeild AIVRU Vision System. | |
CN117506931A (zh) | 一种基于机器视觉的坡口切割路径规划及校正设备与方法 | |
Ye et al. | Weld seam tracking based on laser imaging binary image preprocessing | |
CN114211164A (zh) | 一种水下焊接机器人焊缝跟踪***的焊缝跟踪控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220322 |