CN210046133U

CN210046133U - 基于激光结构光的焊缝视觉跟踪***

Info

Publication number: CN210046133U
Application number: CN201822049263.8U
Authority: CN
Inventors: 李明金; 吴晶华; 黄银花; 刘业亮
Original assignee: Huaian Vocational College of Information Technology
Current assignee: Huaian Vocational College of Information Technology
Priority date: 2017-12-07
Filing date: 2018-12-07
Publication date: 2020-02-11
Anticipated expiration: 2028-12-07
Also published as: CN109604777A

Abstract

本实用新型提供一种基于激光结构光的焊缝视觉跟踪***，包括视觉跟踪模块、机器人模块、焊***块、通讯模块；视觉跟踪模块包括CCD相机、结构光激光器、图像采集卡和处理激光焊缝图像的控制器，视觉跟踪模块中的CCD相机和结构光激光器通过三维运动测量***安装在机器人模块上，控制器通过通讯模块向机器人模块、焊***块进行数据传输；所述机器人模块内设置有坐标标识装置，用于确定作为参考的标识点。***所用方法通过一系列图像处理控制焊枪的使用。本实用新型能够实现焊接机器人在焊接过程中实时自动纠偏，提高焊缝质量，扩大焊接机器人的应用范围，焊缝视觉传感跟踪技术的应用能够提高焊接件的质量和精度，缩短产品生产周期，提高产品的生产效率。

Description

基于激光结构光的焊缝视觉跟踪***

技术领域

本实用新型涉及一种视觉传感装置，尤其是涉及一种基于激光结构光的焊缝视觉跟踪***。

背景技术

目前国内外本项目领域科技创新发展概况和最新发展趋势：

经过许多研究学者的不断研究和实践，视觉传感技术得到了快速的发展。激光视觉焊缝跟踪***的搭建包括视觉焊缝跟踪传感器的设计、采集的焊缝图像的处理、计算机和机器人之间的通讯和控制***的设计。关于这几个方面的研究，国内外许多研究机构和学者做出了大量的工作。

(1)国内研究状况

2005年，中国科学院李原等学者经过多年的研究，设计了一种基于激光结构光的视觉传感器。并开发出了激光焊缝图像处理模块库，这种图像处理库可以对不同类型的焊缝的图像(如U形、V形、对接、搭接焊缝等)进行处理，因此，这种传感器在焊缝跟踪中有着一定的普遍适用性。该视觉跟踪***在图像处理过程中的循环周期为125ms，图像处理效率有待提高。

2007年，东南大学金振扬等人设计了一套基于结构光的焊缝跟踪***。重点是将***进行了标定，取得了较高的跟踪精度。同时，采用焊缝特征类型库提高了图像处理的速度，并引入可变窗口提高了焊缝图像处理的稳定性，解决了焊接时各种杂光、烟尘等对图像特征提取的干扰。

2008年，中国科学院自动化研究所的邹媛媛等学者对激光焊缝跟踪中的结构光视觉传感器(包括传感器的硬件、镜头等)进行了一系列的误差分析。然后，对不同结构的视觉传感器建立了不一样的数学模型，详细分析各参数对传感器的影响，并提出了对视觉传感器的优化，且提供了优化的参数。最后，通过实验验证了优化方法的可行性。

2011年，湘潭大学刘习文等学者根据激光在坡口图像中的特点，首先对激光焊缝图像进行了Radon变换，计算出激光条纹所在的位置。然后再对变换后的激光焊缝图像进行了去噪处理，将激光光束中有用的信息保留了下来。最后，再利用Radon逆变换复原图像，达到很好的去噪效果。接下来，对激光图像进行了分割处理，找出了焊缝的中心点。最后，进行了实验。这种方法具有较强的抗干扰性，处理周期短，实验效果较好。

2013年，广西自动焊接技术中心李宁等学者设计了一套激光视觉传感焊缝跟踪***，描述了焊缝图像处理方法。对不同的焊缝形状，采取了不同的特征提取方法。并利用模糊控制方法来控制和调整焊枪。最后，对***进行了实验，焊接精度和运行稳定性能够满足要求,有着较高的使用价值。

(2)国外研究现状

国外的焊缝跟踪***的研究起步较早，尤其是自动化程度很高的加拿大、英国、美国和日本，对激光结构光焊缝跟踪***的工业用品已经商业化，广泛应用于全球范围内。

加拿大Servo-Robot公司是世界公认的在焊接自动化智能传感及控制领域的领先者，在该领域的研究已经长达30年。该公司主要开发及生产3D激光传感***和智能控制模块，尤其是赛融公司的Power-Trac(智能焊缝实时跟踪系列)和Robot-Find(离线寻位系列)两种智能焊缝***。可以实现对焊缝的自动识别，并对焊枪的运动轨迹实时控制，结构紧凑，高集成、非常紧凑的控制单元，广泛应用于航空航天，火车制造，船舶制造等。

英国的Meta也是世界领先的激光焊缝跟踪***的制造商，以及日本的FANUC等知名的焊缝跟踪***制造商，大多数采用激光发射结构光，CCD相机拍摄图像的这种结构，该结构设计紧凑，工作性能稳定，效率高。

日本的欧姆龙集团和美国邦纳公司的光电传感器应用也比较广泛。

综合国内外的研究状况可知，虽然国内许多学者及研究机构在激光视觉焊缝跟踪***方面取得了很多成就，但是，他们的研究成果大多处于理论和试验阶段，实际的应用效果还不太理想，在工业上的应用范围还是有一定的局限性，还需要进一步的研究和完善。

实用新型内容

本实用新型提供了一种基于激光结构光的焊缝视觉跟踪***及方法，解决了在焊接自动化智能传感及控制领域的焊缝视觉跟踪问题，其技术方案如下所述：

一种基于激光结构光的焊缝视觉跟踪***，包括视觉跟踪模块、机器人模块、焊***块、通讯模块；视觉跟踪模块包括CCD相机、结构光激光器、图像采集卡和处理激光焊缝图像的控制器，结构光激光器发射的激光照射到被测物体，并由CCD相机用于采集被测物体的图像，所述图像通过图像采集卡传送到控制器，控制器控制焊***块的焊接动作；视觉跟踪模块中的CCD相机和结构光激光器通过三维运动测量***安装在机器人模块上，控制器通过通讯模块向机器人模块、焊***块进行数据传输。

所述结构光激光器采用一字线激光器，位于焊***块前方，向焊***块下方的被测物体倾斜发射激光，倾斜角度为30度，CCD相机位于被测物体正上方采集图像，正对结构光激光器照射的部位。

三维运动测量***包括支架和设置其上面的X轴运动器、Y轴运动器，Y轴运动器带动CCD相机和结构光激光器前后移动，X轴运动器根据图像的实时偏差值左右调节焊缝的跟踪位置，X轴运动器的两端位于Y轴运动器上，X轴运动器上设置有焊缝***封装盒，用于放置CCD相机和结构光激光器；支架固定在机器人模块上。

焊缝***封装盒设置有防护装置，防护装置包括滤光片、挡光板、冷却装置。

所述基于激光结构光的焊缝视觉跟踪***及方法能够实现焊接机器人在焊接过程中实时自动纠偏，提高焊缝质量，扩大焊接机器人的应用范围，焊缝视觉传感跟踪技术的应用能够提高焊接件的质量和精度，缩短产品生产周期，提高产品的生产效率，避免了人为因素对焊接件质量的影响。另外，该应用还能降低焊接工人的劳动强度，避免了焊接中有害物质对焊接工人的伤害，将焊接工人从恶劣的焊接环境中脱离出来，强烈体现了科技的发展为人类服务的思想。

附图说明

图1是所述基于激光结构光的焊缝视觉跟踪***的结构示意图；

图2是所述三维运动测量***的结构示意图；

图3是本实用新型的电连接示意图；

图4是所述CCD相机和结构光激光器位置参考图；

图5是图4的主视图；

图6是倾斜角的示意图；

图7是实施例中焊缝位置提取处理的示意图；

图8是实施例中焊缝图像平滑处理的示意图；

图9是实施例中焊缝图像二值化处理的示意图；

图10是实施例中图像的骨架提取的示意图；

图11是利用开运算进行图像的处理的示意图；

图12是实现焊缝定位模型的示意图；

图13是本实用新型视觉跟踪方法的示意图。

具体实施方式

本实用新型通过机械夹具设计、相机选择、焊缝***结构设计，并深入研究视觉图像的干扰滤波算法，分析变基面图像重构的理论基础，通过平面、空间的算法设计，达到焊缝空间特征重构的目的；利用本实用新型构成的实验平台，设计多种复杂情况下焊缝识别实验，并进一步改进所设计的算法，能够使焊缝的识别达到实用化阶段。

在机器人焊接的过程中，为了保证焊枪能够实时处于焊缝中心上方，如图1、图2和图3所示，所述基于激光结构光的焊缝视觉跟踪***包括视觉跟踪模块2、机器人模块1、焊***块3、通讯模块4，实现在被测物体5上进行焊缝51的焊接工作。

所述视觉跟踪模块包括CCD相机22、结构光激光器21、图像采集卡和处理激光焊缝图像的控制器，图像采集卡的主要用途是将工业像机输出的图像信号转换成便于计算机处理的数字信号。所述结构光激光器21发射的激光照射到被测物体，并由CCD相机22用于采集被测物体的图像，所述图像通过图像采集卡传送到控制器，控制器控制焊***块的焊接动作。同时，控制器通过通讯模块4向机器人模块1、焊***块3进行数据传输，所述控制器采用计算机即可，用于将图像进行计算以及坐标切换等数据处理工作。

数据传输主要是在计算机中基于VC++开发平台利用OpenCV来实现焊缝图像的处理，并利用串口编程来实现焊接机器人与计算机之间的数据通讯。

机器人模块1设置有上方框架11，用于承载其他各装置。在上方框架11前端设置有支架12，用于承载视觉跟踪模块2。

视觉跟踪模块2在整个视觉跟踪***中十分重要，起到导航的作用，是体现跟踪***智能的重要组成部分。图2中，视觉跟踪模块2中的CCD相机22和结构光激光器21通过三维运动测量***安装在机器人模块上，三维运动测量***包括支架12和设置其上面的X轴运动器122、Y轴运动器121，Y轴运动器121带动CCD相机和结构光激光器移动，X轴运动器122根据图像的实时偏差值左右调节焊缝的跟踪位置，X轴运动器122的两端位于Y轴运动器121上，X轴运动器122上设置有焊缝***封装盒123，用于放置CCD相机和结构光激光器。而支架固定在机器人模块上。

此外，在焊接的过程中，视觉传感器会受到来自烟雾、弧光、飞溅、高温和其他杂光等因素的干扰，因此，传感器的寿命和精度受到威胁。为减小焊接现场对视觉传感器的影响，可以在焊缝***封装盒123添加防护装置，比如滤光片，挡光板，冷却装置等。

所述机器人模块1内设置有定时装置，所述定时装置与焊***块相连接，用于控制焊***块的开启与停止，具体来说，就是设定可以定时开启或定时停止焊***块，所述定时装置通过对应的控制器发送到机器人模块1进行设定控制，进而控制焊***块的运行。

所述机器人模块设置有位移传感器，用于记录焊接时***移动的距离。

进一步的，所述机器人模块内设置有坐标标识装置，用于确定作为参考的标识点。所述坐标标识装置是根据视觉跟踪模块的坐标进行判断的，主要通过存储当前坐标，并以当前坐标作为原点，建立新的坐标系，进而进行新的坐标系的内的数据处理和焊接工作。

设定坐标标识装置的好处在于，当焊接工作在进行中或者暂停时，通过坐标标识装置确定新的坐标，开始新的坐标系的工作，而不用将应处理的焊接路径导入到原坐标系中。尤其是在分岔焊接工作时，比如确定了焊接路线，在主要的焊接路径上有分岔焊接路径，此时以分岔焊接的点作为新的坐标系的原点，然后分岔焊接路径就用新的坐标系进行处理，而不用代入到原坐标系中。

所述机器人模块1设置有前置框架，所述视觉跟踪模块安装在前置框架上，所述前置框架通过伸缩装置安装在机器人模块上，所述位移传感器安装在伸缩装置上。所述伸缩装置包括两根并行设置且相对固定的的支撑杆，防止前置框架移动时角度出现偏差。

所述伸缩装置还设置有步进电机和传动装置，步进电机的运行通过控制器进行控制。所述步进电机和传动装置相连接，所述传动装置与支撑杆相连接，支撑杆表面设置有螺纹，传动装置通过相配合的齿轮带动支撑杆前进或者后退，为常用机械传动技术，不再赘述。

所述焊***块3设置有两组焊枪，包括使用焊枪和备用焊枪，所述使用焊枪和备用焊枪通过转轮安装在机器人模块上。

如图4所示，视觉跟踪模块2是基于光学三角测量法的原理应用的，结构光激光器21发射一束激光A，该光束投射到被测物体5的表面形成一条光带，其中一部分光带在被测物体的表面发生了反射，另一部分被CCD相机22接收成像。如果被测量物体5上下或左右移动，那么CCD相机22上成的像也会随之移动。因此，物体的三维信息便可以在二维的图像中获取。所述结构光激光器21采用一字线激光器，向被测物体倾斜发射激光，倾斜角度为30度，CCD相机22位于被测物体5正上方采集图像。此种方式的相机能够采集被测物体5表面的正反射光，即使被测物体的表面是镜面，测量依然可以继续进行。视觉跟踪模块有两部分组成：基于相机的视觉坐标***标定和基于机器人的手眼***标定。

如图5所示，基于相机的视觉坐标***标定采用CCD相机获取焊缝图像，在图像上定义直角坐标系，以图像左上点为坐标系的原点，像素坐标代表该像素在图像中的行数和列数。建立一个以像素个数为物理单位的图像坐标系，则图像中任意一个像素在图像坐标系下都有一个固定的坐标值，该坐标值以图像像素为单位。CCD相机的内参数已知，CCD相机的坐标系建立在光轴中心位置，根据公式可以计算出空间点和图像坐标点的转换关系。

其中，空间点坐标为x、y，图像坐标点为u、v。

如图6所示，手眼标定是指求取摄像机坐标系与机器人坐标系之间的矩阵变换关系。由于焊接***结构的特殊性，机器人采用摄像机固定安装手眼***。对于固定视觉手眼***的标定，两坐标系之间的齐次坐标变换关系可写为：

式中：T＝(t_x,t_y,t_z)^T是机器人坐标系的原点在摄像机坐标系中的坐标。R是机器人坐标系相对摄像机坐标系旋转的3×3正交矩阵。它们描述了机器人坐标系在摄像机坐标系中的位置和姿态。x_r,y_r,z_r为点在机器人坐标系中的坐标，x_c,y_c,z_c为点在摄像机坐标系中的坐标。

要得到焊缝的偏差信息，首先就是找到拍摄的激光图像的焊缝中心坐标，然后将该坐标与之前示教好的坐标点进行比较，算出偏差信息，才能实现机器人对焊枪的纠偏。而焊缝图像处理的精度是决定焊缝跟踪精度的因素之一。因此，合适的算法对于焊缝图像的处理精度是十分重要的。

一种基于激光结构光的焊缝视觉跟踪***的焊缝视觉跟踪方法，根据拍摄的焊缝图像的环境不同，激光焊缝图像使用的处理算法也不相同。因此，根据设计的视觉传感器所拍摄的焊缝图像，按照图像预处理、图像分割和图像后处理的流程。包括下列步骤：

(1)在焊枪未焊接的情况下，控制器对CCD相机拍摄的激光焊缝图像进行预先处理，所述CCD相机和结构光激光器是通过基于线结构光三角测量原理及基于“距离－深度关系”3D原理实现焊缝的计算，通过对角接焊缝、斜坡焊缝、搭接焊缝的特征聚类建模，获得曲面、曲线的拓扑构造特征值，继而识别、重构正确的焊缝3D模型，并采用小波去噪声的处理，利用小波变换对正常信号中反常信息的灵敏捕捉能力，将视频图像中的信息不利因素去除。包括焊缝位置提取处理、焊缝图像平滑处理。

具体，包括以下处理：

1)图像预处理方法

预先处理的激光焊缝图像是在焊枪未焊接的情况下拍摄的，因此，此时采集的图片并没有没有焊渣、弧光和飞溅等因素的干扰，因此，在获取焊缝的中心点坐标之前首先进行激光焊缝图像的预处理。

2)焊缝位置提取

由于焊缝采集的彩色焊缝图像的像素大小是752x480，若对整幅图像进行处理，必将增加处理的时间。因此，为了缩短图像处理时间和提高处理速度，有必要对焊缝图像的有用的区域进行提取。经分析，如图7所示，在原始图像中提取200×150像素的图像进行处理，基本上满足了提取焊缝中心点坐标所需信息的要求，而且节约处理时间，处理速度也明显提升。

3)焊缝图像平滑

原始焊缝图像在采集的过程中都会有一定的噪声干扰，为抑制图像中噪声的干扰，利用图像平滑操作对焊缝图像进行处理。采用高斯滤波器的***函数就是平滑的，这样可以避免震荡现象。本实用新型前期工作中经过平滑处理前后的激光焊缝图像如图8所示。

(2)然后进行焊缝图像增强处理，包括对采集的彩色焊缝图像进行灰度直方图处理，再进行直方图均衡化处理，用于修正图像，通过拉伸像素强度分布范围来增强图像的对比度；

焊缝图像增强处理可以采用的如下：

a)灰度直方图

在分析和处理焊缝图像中，直方图反映的是焊缝图像的灰度级，它是一个简单而又有效地工具。本实用新型可以采集的彩色焊缝图像的三个通道的直方图。

b)直方图均衡化

直方图的均衡化是实现图像增强的一种有效的方法，它是利用直方图来修正图像，通过拉伸像素强度分布范围来增强图像的对比度。

(3)对焊缝图像分割处理，采用基于灰度阈值的分割处理方法。所谓图像分割处理就是将拍摄到的焊缝图像经过一系列的算法处理，如图9所示的二值化、腐蚀和膨胀、平滑处理、图10所示的骨架提取等，来获取焊缝图像中有用的信息。

a)图像分割的方法很多，最普遍的是基于灰度阈值的分割。灰度图像的二值化处理就是将图像中像素点的灰度值转换成0或者是255，激光图像二值化常用的公式是：

上式中f(x,y)表示变换前某点像素的灰度值，T表示二值化分割阈值，如果阈值选择的较高，则很多像素值的信息会丢失或边缘破碎；如果阈值选择的太低，那么在图像的边缘会产生虚假信息，导致定位不准确。因此，二值化处理的关键就是阈值T的合适的选择。二值化分割处理后的激光焊缝图像如图9所示。

b)骨架提取

提取图像的骨架，将图像中有用的信息提取出来。本课题前期实验的骨架提取结果如图10所示。

(4)焊缝图像后处理，包括利用开运算进行图像的处理，如图11所示，把图像中不平滑的部分消除掉，让图像中离的较近的像素连接起来，形成较为平滑的图像；以及图像的骨架提取，将图像中有用的信息提取出来。

(5)再对图像进行直线拟合与特征点坐标的提取，找到拍摄的激光图像的焊缝中心坐标，然后将该坐标与之前示教好的坐标点进行比较，算出偏差信息，实现机器人模块对焊枪的纠偏。特征点坐标提取时，是建立激光坐标系与机器人模块本体坐标系中的相对位置计算矩阵，实现焊缝定位模型。

如图12所示，在***的标定过程中，常用到的三个坐标系有：世界坐标系：Xw、Yw、Zw；摄像机坐标系：Xc、Yc、Zc；图像坐标系：[x、y]、[a、b]。

通常用Xw、Yw、Zw、Ow来表示世界坐标系，摄像机坐标系：Xc、Yc、Zc，通常用Xc、Yc、Zc表示。它们之间的关系如图所示。

如图13所示，是本实用新型的流程示意图。安装于传输带正上方的相机对焊缝进行图像采集后，焊缝在图像中的状态基本上呈现为一条断裂的红色的直线，只要通过图像的预处理和分析识别出断裂的直线的中心点坐标即可计算出焊缝位置同中心点坐标直接的偏差，从而传输给控制***进行实时跟踪。其中，Y轴运动机构带动光源相机一直往前移动，X轴电机则根据图像的实时偏差值左右调节焊缝的跟踪位置。

此外，在焊接过程中，所述***能够设定悬停控制，对***设定固定焊接距离或者焊接时间，在焊接时中止焊接工作，然后调整视觉跟踪模块和焊***块，并重新开始焊接。

操作时，可以根据目前的焊接进展，设定再焊接的距离或者再焊接某段时间，通过位移传感器或者定时器进行控制，这样，可以停下来，发现偏差，从而减少错误。

此外，在焊接前，所述***能够设定预测控制，对***设定固定焊接距离或者焊接时间，模拟焊接工作，然后回到初始位置，调整视觉跟踪模块和焊***块，开始焊接，并在焊接过程中与模拟焊接的数值进行比对，进行微调。

也就是说，可以先停用焊***块，而整个***向前推进设定距离或者设定时间，然后将采集到的图像进行分析，并设定一条最佳的焊接路径，形成模拟焊接，减少了边采集图像边进行焊接的错误弊端。

所述机器人模块设定有定时模块、位移传感器，以支持上述应用。

所述基于激光结构光的焊缝视觉跟踪***能够实现焊接机器人在焊接过程中实时自动纠偏，提高焊缝质量，扩大焊接机器人的应用范围，焊缝视觉传感跟踪技术的应用能够提高焊接件的质量和精度，缩短产品生产周期，提高产品的生产效率，避免了人为因素对焊接件质量的影响。另外，该应用还能降低焊接工人的劳动强度，避免了焊接中有害物质对焊接工人的伤害，将焊接工人从恶劣的焊接环境中脱离出来，强烈体现了科技的发展为人类服务的思想。

本实用新型的特点如下：

1)基于线结构光三角测量原理及基于“距离－深度关系”3D原理来实现焊缝的计算，通过对角接焊缝、斜坡焊缝、搭接焊缝的特征聚类建模，获得曲面、曲线的拓扑构造特征值，继而能快速识别、重构正确的焊缝3D模型。

2)由于接缝坡口的非均匀的，且存在着锈迹、划痕、焊渣等不利因素，因此3D的重构算法中采用小波去噪声的处理，利用小波变换对正常信号中反常信息的灵敏捕捉能力，将视频图像中的信息不利因素去除。

3)在国产焊接机器人上应用开发焊缝跟踪***，可以从底层进行开发，不受国外机器人对底层控制***封闭的限制，从而加快国产焊缝跟踪技术的研究与开发，缩短与进口产品的差距，降低国内用户的使用成本。

Claims

1.一种基于激光结构光的焊缝视觉跟踪***，其特征在于：包括视觉跟踪模块、机器人模块、焊***块、通讯模块；视觉跟踪模块包括CCD相机、结构光激光器、图像采集卡和处理激光焊缝图像的控制器，结构光激光器发射的激光照射到被测物体，并由CCD相机用于采集被测物体的图像，所述图像通过图像采集卡传送到控制器，控制器控制焊***块的焊接动作；视觉跟踪模块中的CCD相机和结构光激光器通过三维运动测量***安装在机器人模块上，控制器通过通讯模块向机器人模块、焊***块进行数据传输；机器人模块内设置有与焊***块相连接的定时装置，用于控制焊***块的开启与停止；机器人模块设置有位移传感器，用于记录焊接时三维运动测量***移动的距离。

2.根据权利要求1所述的基于激光结构光的焊缝视觉跟踪***，其特征在于：所述结构光激光器采用一字线激光器，位于焊***块前方，向焊***块下方的被测物体倾斜发射激光，倾斜角度为30度，CCD相机位于被测物体正上方采集图像，正对结构光激光器照射的部位。

3.根据权利要求1所述的基于激光结构光的焊缝视觉跟踪***，其特征在于：三维运动测量***包括支架和设置其上面的X轴运动器、Y轴运动器，Y轴运动器带动CCD相机和结构光激光器前后移动，X轴运动器根据图像的实时偏差值左右调节焊缝的跟踪位置，X轴运动器的两端位于Y轴运动器上，X轴运动器上设置有焊缝***封装盒，用于放置CCD相机和结构光激光器；支架固定在机器人模块上。

4.根据权利要求3所述的基于激光结构光的焊缝视觉跟踪***，其特征在于：焊缝***封装盒设置有防护装置，防护装置包括滤光片、挡光板、冷却装置。