CN108747132A - 自主移动焊接机器人视觉控制*** - Google Patents

Abstract

本发明属于焊接领域，具体涉及一种自主移动焊接机器人视觉控制***。在焊接机器人的基础上，将核心的图像采集、处理与焊接自动控制功能，用基于ARM Cortex‑A8的控制***来实现。控制***能获取激光视觉传感器的焊缝图像信息，再根据图像信息实时测量焊缝位置和尺寸信息，通过控制***来控制移动机器人的爬行、横摆、进行焊接自动控制和实时纠偏。嵌入式***可以大幅减少***的整体复杂程度和设备体积，提高自主移动焊接机器人在工业现场焊接的适应性。

Description

自主移动焊接机器人视觉控制***

技术领域

本发明属于焊接领域，具体涉及一种自主移动焊接机器人视觉控制***。

背景技术

焊接技术在制造业中占有重要地位，它在机械制造、石油化工、航天航空等众多行业应用广泛。随着制造业的高速发展，焊接产品多样化，焊接结构也越来越复杂，对焊接产品质量和可靠性提出了更高的要求，依靠人工经验的焊接越来越不能适应目前高质量的焊接要求。焊接过程中的飞溅、烟尘、电弧光以及辐射等，会对长期从事焊接工作的工人造成较大的健康威胁，且手工焊接难以保持焊接质量的稳定性和一致性。

针对复杂环境下人工焊接劳动强度大、焊接效率低、作业困难和作业危险的问题，比如船舱或大型化工设备管道的焊接，尤其是狭小空间或高空中的焊接段，焊接工人进行焊接既不安全又很困难，可利用体积较小、移动方便的自主移动机器人来焊接这些复杂空间的焊接段。自主移动焊接机器人的焊接方法具有高效率、高质量、低成本等特点，能避免焊接过程可能给操作者带来危险，也能保证焊接的标准的统一，提高焊接精度、焊接质量和焊接效率。自主移动焊接机器人的研究应用于机械制造、石油化工、航天航空甚至其它工业领域的焊接中，具有重要的科学意义和工程应用前景。

为避免焊接过程中高温引起的焊件变形和焊接机器人运动偏离等对焊接位置的影响，实现焊接过程的精确控制，保证焊接质量，焊接时需对焊缝尺寸信息进行实时采集处理。基于激光视觉传感器能利用激光视觉精度高、抗干扰能力强等优点，能方便准确地获取焊缝尺寸信息。因此搭建自主移动焊接机器人嵌入式视觉控制***，实现焊接过程中焊缝图像的采集与处理，完成焊接的自动控制，对移动焊接机器人实现自主焊接具有重要意义。

发明内容

本发明所要解决的技术问题是提供一种自主移动焊接机器人视觉控制***。该***适应大型焊接工业复杂的焊接要求，减少人工在焊接操作中的劳动强度，保证焊接质量、焊接效率和焊接一致性。

本发明提供一种自主移动焊接机器人视觉控制***，所述焊接机器人包括移动小车、横摆导轨、安装在横摆导轨末端的焊枪，以及焊机；分别地通过步进电机，移动小车实现沿着焊件爬行，横摆导轨实现水平移动，焊枪实现上下移动；所述视觉控制***，包括安装于移动小车上的处理器，工业相机和线激光器，所述工业相机和线激光器安装在横摆导轨的末端，工业相机的光学轴心与焊枪的中心所在平面与***爬行方向平行，与横摆导轨方向垂直，相机的光轴与线激光器的光平面存在一定夹角；所述处理器通过GigE千兆网连通工业相机，采集焊缝图像，通过图像处理算法获取焊缝中心位置和焊缝尺寸，并驱动步进电机实现焊接机器人在三个方向的运动；处理器同时与焊机通过485总线以Modbus协议通信控制焊机设定焊接电流、焊接电压、送丝、送气和起弧动作。

所述的处理器为ARM Cortex-A8。

本发明上述的控制***，具有三个方面的功能：通过视觉传感定位焊缝、焊缝跟踪和实时纠偏、焊接控制。或者可以说，本发明提供了一种基于上述控制***的控制方法，包括通过视觉传感定位焊缝、焊缝跟踪和实时纠偏、焊接控制三个方面。

通过视觉传感定位焊缝时，通过工业相机采集线激光投射到焊缝的激光条纹图像，被搜索的焊缝条纹图T(W,H)，W，H为焊缝条纹图的宽度和高度，将焊缝左右坡口因深度变化产生的倾斜激光条纹设计成两个偏折条纹模板图T(M,N)，M,N为模板图的大小，为100x100，模板图在被搜索图上平移，模板覆盖被搜索图的那块区域叫子图S_ij，i,j为子图左下角在被搜索图S上的横坐标和纵坐标，由于焊缝宽度方向是焊枪的横摆运动，只需要提取偏折位置横坐标即可，只沿着横坐标方向进行搜索，搜索范围是：1≤i≤W，搜索时纵坐标的位置j为激光条纹纵向位置的中值；

搜索结果利用公式(1)相似度D(i,j)衡量子图和模板图T和S_ij的相似性：

通过找到相似度最大的位置处即为焊缝偏折点，根据两个模板图，可以定位处焊缝的左右两端的边缘ileft和iright，焊缝中心位置icenter＝(ileft+iright)/2，焊缝宽度为nwidth＝iright–ileft。

焊缝跟踪和实时纠偏时，根据获得的焊缝位置和尺寸信息，处理器通过驱动步进电机实现爬行和横摆的两轴联动运动，使得焊枪底部按Z字形的运动轨迹追踪焊缝，焊接运动过程中可设定和改变爬行行程和爬行的速度，可设定和改变横摆的幅度和速度以及运动到焊缝边缘时的延迟时间，根据焊接工艺调整焊枪和焊缝起弧点的高度位置；

由于焊接高温引起的焊件变形和焊接机器人运动偏离对焊接位置的影响，需根据获取的焊缝的位置和缝宽进行实时纠偏，具体地，焊接前，先对焊缝初始位置进行原点拍照，获取焊缝中心初始位置icenter0和焊缝初始宽度nwidth0，焊接时，根据实际获取的焊缝中心位置icenter，计算纠偏量DeltaCenter＝icenter-icenter0，驱动横摆运动步进电机按纠偏量值的正负确定纠偏方向，按照纠偏量DeltaCenter进行移动纠偏，同时横摆运动摆幅修正为获取的焊缝当前缝宽nwidth。

焊接控制时，处理器与焊机通过485总线以Modbus协议通信，控制焊机动作，实现设定焊接电流和电压、送气与送丝、起弧焊接。

本发明设计了一种自主移动焊接机器人嵌入式视觉控制***，在自主移动焊接机器人的基础上，将核心的图像采集、处理与焊接自动控制功能，用基于ARMCortex-A8的***来实现。控制***能获取激光视觉传感器的焊缝图像信息，再根据图像信息实时测量焊缝位置和尺寸信息，通过控制***来控制移动机器人的爬行、横摆、进行焊接自动控制和实时纠偏。嵌入式***可以大幅减少***的整体复杂程度和设备体积，提高自主移动焊接机器人在工业现场焊接的适应性。适应大型焊接工业复杂的焊接要求，减少人工在焊接操作中的劳动强度，保证焊接质量、焊接效率和焊接一致性。

附图说明

图1自主移动焊接机器人视觉控制***结构示意图，1-移动小车，2-处理器，3-工业相机，4-线激光器，5-焊枪，6-横摆导轨，7-焊缝，8-焊机，9-焊件。

图2，视觉传感原理与焊缝特征提取示意图。

图3，焊缝跟踪原理图。

图4，焊缝实时纠偏示意图。

具体实施方式

本发明建立的自主移动焊接机器人嵌入式视觉控制***结构如图1所示。所述焊接机器人包括移动小车、横摆导轨、安装在横摆导轨末端的焊枪，以及焊机；分别地通过步进电机，移动小车实现沿着焊件爬行，横摆导轨实现水平移动，焊枪实现上下移动；所述视觉控制***，包括安装于移动小车上的ARM Cortex-A8处理器，工业相机和线激光器，所述工业相机和线激光器安装在横摆导轨的末端，工业相机的光学轴心与焊枪的中心所在平面与***爬行方向平行，与横摆导轨方向垂直，相机的光轴与线激光器的光平面存在一定夹角；所述处理器通过GigE千兆网连通工业相机，采集焊缝图像，通过图像处理算法获取焊缝中心位置和焊缝尺寸，并驱动步进电机实现焊接机器人在三个方向的运动；处理器同时与焊机通过485总线以Modbus协议通信控制焊机设定焊接电流、焊接电压、送丝、送气和起弧动作。

移动小车为磁吸附式四轮小车。焊接机器人具有如图1中双箭头所示的***爬行(x)、焊枪横摆(y)、焊枪上下移动(z)三个方向的运动自由度，在内部通过步进电机驱动运动。工业相机和线激光器组成的视觉传感器和焊枪安装在横摆导轨6末端，用于获取焊缝的尺寸和位置信息，定位焊接过程中焊枪5和焊缝7的相对位置。工业相机的光学轴心与焊枪的中心所在的平面与***爬行方向(x)平行，与焊枪横摆方向(y)垂直，保证移动小车的爬行和焊枪的横摆能实现对焊缝的扫描。视觉传感器和焊枪距离和相对角度可以调整，保证焊枪尖部与视觉传感器获取的焊缝位置特征尽可能地接近，保证焊接控制的准确性。焊接过程中，处理器根据获取的焊缝图像信息，处理得到焊缝的位置、尺寸信息，控制焊枪移动，并能根据焊缝位置偏离值实现焊接过程的手动和自动纠偏。控制***核心为ARMCortex-A8，通过GigE千兆网来实现对视觉传感器的焊缝图像的采集，通过焊缝图像处理算法获取焊缝位置和尺寸信息，并通过驱动步进电机控制焊接机器人三个方向的运动。运动同时处理器可以通过485串口总线与焊机8通信，控制焊枪起弧，达到自主焊接的目的。

工业相机和线激光器组成视觉传感器。根据激光三角法原理，当相机的光轴与线激光器的光平面存在一定夹角时，相机采集的线激光投射到焊缝的激光条纹图像会由于焊缝坡口深度的变化而发生偏移，如图2(a)所示。因此通过焊缝图像处理算法提取激光条纹图像的左右两端的偏折点位置即可定位焊缝的中心位置和缝宽尺寸，如图2(b)所示。

焊接时产生的弧光和飞溅会对激光条纹产生干扰，为准确定位焊缝激光条纹图像发生偏折的左右两端，根据条纹偏折特点，采用模板匹配的算法进行定位。因为模板匹配算法是对条纹一定区域范围内整体特征的统计结果，可以抑制噪声，提高抗干扰的能力。具体的，被搜索的焊缝条纹图T(W,H)，W，H为焊缝条纹图的宽度和高度。根据焊缝左右坡口因深度变化产生的倾斜激光条纹设计的偏折条纹模板图T(M,N)，M,N为模板图的大小，为100x100，如图2(c,d)所示。模板图在被搜索图上平移，模板覆盖被搜索图的那块区域叫子图S_ij，i,j为子图左下角在被搜索图S上的横坐标和纵坐标。由于焊接时焊缝宽度方向是横摆运动，因此只需要提取偏折位置横坐标即可，因此可以只沿着横坐标方向进行搜索，搜索范围是：1≤i≤W。搜索时纵坐标的位置j为激光条纹纵向位置的中值。搜索结果利用下面公式(1)相似度D(i,j)衡量子图和模板图T和S_ij的相似性：

通过找到相似度最大的位置处即为焊缝偏折点。根据两个模板图，可以定位处焊缝的左右两端的边缘ileft和iright。焊缝中心位置icenter＝(ileft+iright)/2，焊缝宽度为nwidth＝iright–ileft。

由于相似度技术有大量累加运算，为保证焊接过程中对焊缝特征提取的实时性，需尽可能地减少图像处理时间。因此采用多尺度匹配算法，通过大尺度移动搜索进行粗定位，然后在粗定位基础上进行单像素移动搜索进行精确定位。

实现过程中，图像采集是在ARM处理器上搭建linux操作***，通过配置好工业相机图像采集库实现对GigE相机的图像采集，利用Opencv实现模板匹配算法，利用QT显示图像处理结果。

ARM处理器通过驱动步进电机能实现爬行(x)、焊枪横摆(y)、焊枪上下移动(z)三个方向的运动。ARM处理器与焊机通过485总线以Modbus协议通信控制焊机设定焊接电流、焊接电压、送丝、送气和起弧动作。

焊缝跟踪控制示意如图3所示，根据焊缝提取算法获取焊缝尺寸和位置信息，焊接时通过爬行和横摆的两轴联动运动，使得焊枪底部按照图所示Z字形的运动轨迹追踪焊缝。焊接同时通过焊接运动过程中可设定和改变爬行行程和爬行的速度，可设定和改变横摆的幅度和速度以及运动到焊缝边缘时的延迟时间。焊枪的上下移动，可以根据焊接工艺调整焊枪和焊缝起弧点的高度位置。为避免弧光干扰，在视觉传感器和焊枪中间增加金属挡板，减少焊接时弧光和飞溅的液滴进入视觉传感器照相范围。同时在视觉传感器内添加激光器波长范围的通带滤光片，滤除其他波段的弧光影响。

实际焊接时，由于焊接高温引起的焊件变形和焊接机器人运动偏离等对焊接位置的影响，需根据视觉传感器获取的焊缝的位置和缝宽进行实时纠偏。具体地纠偏过程如图4所示，焊接前，先对焊缝初始位置进行原点拍照，获取焊缝中心初始位置icenter0和焊缝初始宽度nwidth0。焊接时，根据实际获取的焊缝中心位置icenter，计算纠偏量DeltaCenter＝icenter-icenter0，驱动横摆运动步进电机按纠偏量值得正负确定纠偏方向，按照纠偏量DeltaCenter进行移动纠偏，同时横摆运动摆幅修正为获取的焊缝当前缝宽nwidth。据此，完成焊接时的焊缝自动跟踪。焊接机器人预留有手动纠偏的功能，以弥补焊缝自主焊接时实际使用时若出现大幅偏离时具有人工调整的功能，提升焊接机器人在工业现场使用操作的方便性和可靠性。

本实现过程中，焊接机器人三个方向的运动，通过对ARM的GPIO口进行PWM调制实现步进电机的位移、速度的运动控制，通过ARM对485串口进行通信控制控制电机进行动作。

本发明的控制***的功能有：

1)视觉传感功能：

a)***采用嵌入式linux***，完成Pylon图像采集库和Opencv图像处理库的编译和移植；

b)焊缝图像的实时采集和处理，实现焊缝图像的实时采集与焊缝信息的实时处里，具有实时视觉纠偏功能。

c)焊缝图像的定位算法。控制***采用基于模板匹配的焊缝定位算法，减少焊缝定位算法受弧光的干扰，保证焊缝提取准确，并预留算法接口，可供移植其他算法。

2)运动控制功能：

a)爬行运动控制。实现机器人的手动和自动的前向和后向爬行运动，能实现行程和速度的设定。

b)焊枪横摆运动控制。焊枪横摆运动实现手动和自动移动和回摆控制，可根据焊接工艺设定横摆幅度、速度和焊缝边缘滞留时间。

c)焊枪上下移动控制。实现焊枪上下移动。

d)焊接的爬行和横摆的联动控制。根据实际焊接需要，可实现焊接在焊接机器人爬行和焊枪横摆的两轴同时运动的控制，实现自主焊接。

e)焊接控制的手动纠偏和视觉纠偏。焊机机器人焊接运动时可根据人工观察焊接偏移量进行手动纠偏控制，也可以根据视觉传感器图像处理对焊缝定位结果相对初始原点位置偏移值自动视觉纠偏，提高焊接工艺质量。

3)焊接控制功能：

控制***与焊机通过485总线以Modbus协议通信控制焊机动作，能实现以下功能：

a)设定焊接电流和电压；

b)送气与送丝；

c)起弧焊接。

本发明所述的自主移动焊接机器人在焊接前，首先测试控制***图像采集、焊缝特征处理、三个方向运动控制无故障，将焊枪对准焊缝中心起弧位置。然后根据焊缝坡口尺寸设定焊缝缝宽，进行原点拍照确定焊缝初始中心位置和焊缝在图像坐标系下的缝宽。启动控制***的自主焊接功能，在爬行和横摆两轴联动运动同时启动焊机进行自动焊接。采用视觉纠偏，控制***根据视觉传感图像实时提取的焊缝中心位置和缝宽进行自动纠偏。人工对焊接过程进行监控，若自动纠偏出现偏离，可通过人工纠偏，保证焊接可靠。通过焊接实验优化焊接时的爬速、横摆速度、横摆幅度、焊接电流、焊接电压等焊接工艺参数，提升焊接质量。

本发明设计了一种自主移动焊接机器人嵌入式视觉控制***，在焊接机器人的基础上，将核心的图像采集、处理与焊接自动控制功能，用基于ARM Cortex-A8的***来实现。控制***能获取激光视觉传感器的焊缝图像信息，再根据图像信息实时测量焊缝位置和尺寸信息，来控制移动机器人的爬行、横摆、进行焊接自动控制和实时纠偏。嵌入式***可以大幅减少***的整体复杂程度和设备体积，提高自主移动焊接机器人在工业现场焊接的适应性。

Claims (5)

1.一种自主移动焊接机器人视觉控制***，所述焊接机器人包括移动小车、横摆导轨、安装在横摆导轨末端的焊枪，以及焊机；分别地通过步进电机，移动小车实现沿着焊件爬行，横摆导轨实现水平移动，焊枪实现上下移动；其特征在于，所述视觉控制***，包括安装于移动小车上的处理器，工业相机和线激光器，所述工业相机和线激光器安装在横摆导轨的末端，工业相机的光学轴心与焊枪的中心所在平面与***爬行方向平行，与横摆导轨方向垂直，相机的光轴与线激光器的光平面存在一定夹角；所述处理器通过GigE千兆网连通工业相机，采集焊缝图像，通过图像处理算法获取焊缝中心位置和焊缝尺寸，并驱动步进电机实现焊接机器人在三个方向的运动；处理器同时与焊机通过485总线以Modbus协议通信控制焊机设定焊接电流、焊接电压、送丝、送气和起弧动作。

2.根据权利要求1所述的自主移动焊接机器人视觉控制***，其特征在于，所述的处理器为ARM Cortex-A8。

3.基于权利要求1所述的自主移动焊接机器人视觉控制***的控制方法，其特征在于，包括通过视觉传感定位焊缝、焊缝跟踪和实时纠偏、焊接控制三个方面；

通过视觉传感定位焊缝时，通过工业相机采集线激光投射到焊缝的激光条纹图像，被搜索的焊缝条纹图T(W,H)，W，H为焊缝条纹图的宽度和高度，将焊缝左右坡口因深度变化产生的倾斜激光条纹图设计成两个偏折条纹模板图T(M,N)，M,N为模板图的大小，为100x100，模板图在被搜索图上平移，模板覆盖被搜索图的那块区域叫子图S_ij，i,j为子图左下角在被搜索图S上的横坐标和纵坐标，由于焊缝宽度方向是焊枪的横摆运动，只需要提取偏折位置横坐标即可，只沿着横坐标方向进行搜索，搜索范围是：1≤i≤W，搜索时纵坐标的位置j为激光条纹纵向位置的中值；

搜索结果利用公式(1)相似度D(i,j)衡量子图和模板图T和S_ij的相似性：

通过找到相似度最大的位置处即为焊缝偏折点，根据两个模板图，可以定位处焊缝的左右两端的边缘ileft和iright，焊缝中心位置icenter＝(ileft+iright)/2，焊缝宽度为nwidth＝iright–ileft。

4.基于权利要求1所述的自主移动焊接机器人视觉控制***的控制方法，其特征在于，包括通过视觉传感定位焊缝、焊缝跟踪和实时纠偏、焊接控制三个方面；

焊缝跟踪和实时纠偏时，根据获得的焊缝位置和尺寸信息，处理器通过驱动步进电机实现爬行和横摆的两轴联动运动，使得焊枪底部按Z字形的运动轨迹追踪焊缝，焊接运动过程中可设定和改变爬行行程和爬行的速度，可设定和改变横摆的幅度和速度以及运动到焊缝边缘时的延迟时间，根据焊接工艺调整焊枪和焊缝起弧点的高度位置；

由于焊接高温引起的焊件变形和焊接机器人运动偏离对焊接位置的影响，需根据获取的焊缝的位置和缝宽进行实时纠偏，具体地，焊接前，先对焊缝初始位置进行原点拍照，获取焊缝中心初始位置icenter0和焊缝初始宽度nwidth0，焊接时，根据实际获取的焊缝中心位置icenter，计算纠偏量DeltaCenter＝icenter-icenter0，驱动横摆运动步进电机按纠偏量值的正负确定纠偏方向，按照纠偏量DeltaCenter进行移动纠偏，同时横摆运动摆幅修正为获取的焊缝当前缝宽nwidth。

5.基于权利要求1所述的自主移动焊接机器人视觉控制***的控制方法，其特征在于，包括通过视觉传感定位焊缝、焊缝跟踪和实时纠偏、焊接控制三个方面；焊接控制时，处理器与焊机通过485总线以Modbus协议通信，控制焊机动作，实现设定焊接电流和电压、送气与送丝、起弧焊接。