CN117340391A - 一种基于激光视觉的实时自适应的焊缝跟踪装置及方法 - Google Patents

Abstract

本发明涉及机器人焊接技术领域，尤其涉及一种基于激光视觉的实时自适应的焊缝跟踪装置及方法。所述焊缝跟踪装置，包括焊枪，通过转接装置固定安装于机械臂末端；二维激光视觉传感器，通过转接支架固定于所述焊枪前方，与工控机连接通讯并在所述工控机上完成运算；标定板，固定置于平面上，本发明具备强大的实时自适应焊缝跟踪能力，无需事先进行离线编程，可以根据现场环境的实时反馈，即时调整焊接路径和焊枪姿态，以实现焊接任务，而无需依赖预先规划的结果，可以平稳持续扫描到具有一定曲率的焊缝即空间曲线焊缝；适用于各种焊缝类型，包括直线、平面曲线和空间曲线焊缝，且能够确保焊接质量和精确性，并且能够保持焊缝跟踪的可靠性。

Description

一种基于激光视觉的实时自适应的焊缝跟踪装置及方法

技术领域

本发明涉及机器人焊接技术领域，尤其涉及一种基于激光视觉的实时自适应的焊缝跟踪装置及方法。

背景技术

焊接机器人在现代制造业中发挥着越来越重要的作用，随着焊接机器人自动化程度的提高，基于视觉***和控制技术，根据工件的形状、大小和材料自动调整焊接参数，从而能够实现更高水平的自主操作和决策。但在实际应用时，焊接机器人对于实际环境及工件的自主适应性始终是一个重要问题，虽然如今的焊接机器人越来越灵活，但它们仍然相对固定于特定焊接任务和工件类型，更改焊接任务可能需要重新编程和调整，这可能需要时间和专业知识；同时对于使用焊接机器人需要专业的培训和技术知识，包括编程、维护和故障排除。这可能对一些制造企业的工作人员构成挑战；另外在焊接过程中焊缝会因为受热而产生位置或形状的动态变化，焊接对象也可能因为加工的误差而产生与理论模型的误差，导致焊缝产生位置和形状的静态变化。因此需要一种可以实时检测动态调整的自适应焊缝跟踪方法，从而实现更精确、高效和可靠的焊接过程。

ABB的WeldGuide***是一种全面的焊缝跟踪和监测解决方案，能够在不断变化的工件上实现高质量的焊接；WeldGuide***配备了先进的视觉***和传感器，可以自适应地处理不同尺寸和形状的工件，从而增加了柔性制造能力。但为了能适应不同的环境及工件，需要示教与编程相结合，这需要较强的专业技能和经验。Meta Vision的MTR焊缝跟踪***，要求工程师在现场先对焊缝进行分段示教，因此对于一些复杂的焊缝呈现出示教难度大，示教工作量大等缺点；而一些可以实现自主跟踪的焊缝跟踪产品，需要操作人员根据现场焊缝的特点进行简单地设置后，即可由传感器头引导焊枪完成对焊缝的跟踪，虽然该种方式能够在很大程度上提升了焊缝跟踪的智能化程度，但是当遇到存在一定曲率的工件时，无法调整焊枪即传感器的姿势，从而在传感器的视野中丧失了焊缝，无法把握焊缝的宏观走向，因此对于焊枪的位置和姿势的自适应调整都十分重要。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何实时检测并跟踪焊缝，以克服焊接过程中焊缝因受热而变形与模型中的静态焊缝参数产生误差的问题。

为解决上述技术问题，本发明提供了一种基于激光视觉的实时自适应的焊缝跟踪装置，包括焊枪，通过转接装置固定安装于机械臂末端；二维激光视觉传感器，通过转接支架固定于所述焊枪前方，与工控机连接通讯并在所述工控机上完成运算；标定板，固定置于平面上。

本发明还提供了一种基于激光视觉的实时自适应的焊缝跟踪方法，采用如上所述的焊缝跟踪装置，包括如下步骤：

在所述标定板上标记三个点，所述二维激光视觉传感器采集到的三个点的坐标分别标记为同时读取所述二维激光传感器采集到这三个点时的所述机械臂末端位姿记为/>将焊枪末端分别对准这三个点，读取此时机械臂末端位姿其中，M表示所述二维激光视觉传感器测量坐标系，B表示：所述机械臂基座坐标系，得到正交矩阵T_M ^E，其中，E表示焊枪末端焊丝尖端的工具坐标系。

将所述焊枪移动至焊缝起点附近，使得所述二维激光视觉传感器可以扫描到焊缝起点，且保证所述焊枪姿势相对于焊缝起点为标准的焊接角度；

同步所述二维激光传感器和机械臂控制***的时钟，得到各自的起始时间戳T_s ^m、T_s ^R，其中，m表示二维激光传感器，R表示机械臂控制***，s表示开始时刻，T_s ^m为二位激光传感器开始采集时的时间戳，T_s ^R表示机械臂控制***开始采集时的时间戳；

所述二维激光视觉传感器开始采集点云数据，通过点云数据计算得到焊缝的参数，并得到质心其中，C表示质心，X_C表示质心的横坐标，Y_C表示质心的纵坐标；

读取机械臂末端位姿，比较得到位姿时的时间戳变化值Δt_m及得到质心时的时间戳变化值Δt_r，获得在读取到质心时刻T_t时的机械臂位姿

计算同步时间T_t下的焊缝追踪点及所述焊枪末端在机械臂基座坐标系B下的机械臂位姿/>

计算所述焊缝起点在机械臂基座坐标系下的位姿；

将得到的焊缝起点坐标发送给机械臂控制器***，使得机械臂末端移动到该位置，移动过程中所述二维激光传感器持续采集计算焊缝质心且读取机械臂末端位姿，并计算得到同步后的t_i时刻的焊缝质心在机械臂基座坐标系下的值，并写入集合记为W’＝{P^B _proceas|tl，i＝1...N}，其中，N表示一条轨迹中采集到的点的个数；

计算t0、t1、t2时刻的焊缝质心的偏差角，利用偏差角修正P^B _target|t2，计算对应的RPY形式的姿势值；

利用旋转向量R_tool|t2和P^B _target|t2组成新的轨迹路径点以此类推生成最终的轨迹路径点合集/>

使用所述轨迹路径点合集W中的数据驱动机器人跟踪焊缝运动并在运动中重复上述步骤实时生成后续轨迹。

在本发明的一个优选实施例中，当所述位姿时的时间戳变化值Δt_m及得到所述质心时的时间戳变化值Δt_r差值较大时进行差值处理，对机械臂的位置坐标及样条插值，姿态进行圆弧插补后获得在读取到质心时刻T_t时的机械臂位姿

在本发明的一个优选实施例中，所述焊缝的参数包括几何参数，面积、宽度、深度和形状。

优选的，所述点云数据计算包括数据预处理、边缘检测、曲线拟合、焊缝检测。

在本发明的一个优选实施例中，所述标准的焊接角度为垂直方向焊枪的垂直角度在10-45°之间，水平角度与焊缝平行。

在本发明的一个优选实施例中，所述正交矩阵T_M ^E通过下式计算获得：

其中为正交矩阵，因此：

在本发明的一个优选实施例中，所述质心中：

其中，a表示焊缝的总面积，x_i表示焊缝点云中点的x坐标，y_i表示焊缝点云中点的y坐标，a_i表示焊缝的密度函数。

优选的，所述机械臂位姿T_tool|s ^B＝(R_tool|s ^B，P^B _tool|s)，其中，R_tool|s ^B，P^B _tool|s为在机械臂基座坐标系B下组成机械臂位姿的旋转矩阵及位置矩阵，

优选的，所述焊缝起点在机械臂基座坐标系下的位姿为

本发明的有益效果：

(1)本发明具备强大的实时自适应焊缝跟踪能力，无需事先进行离线编程，可以根据现场环境的实时反馈，即时调整焊接路径和焊枪姿态，以实现焊接任务，而无需依赖预先规划的结果；

(2)本发明根据检测出的焊缝跟踪点分布特性实时调整焊枪及二维激光视觉传感器姿势，可以平稳持续扫描到具有一定曲率的焊缝即空间曲线焊缝；

(3)本发明适用于各种焊缝类型，包括直线、平面曲线和空间曲线焊缝，且能够确保焊接质量和精确性，并且能够保持焊缝跟踪的可靠性。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的实施例的相关坐标系间关系示意图；

图2是本发明的实施例姿态角偏差值计算示意图。

其中：1、焊枪；2、二维激光视觉传感器；3、标定板；4、机械臂

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

如图1～图2所示，在本发明的一个较佳实施例中，提供了一种基于激光视觉的实时自适应的焊缝跟踪装置，包括焊枪1，通过转接装置固定安装于机械臂末端；二维激光视觉传感器2，通过转接支架固定于所述焊枪前方，与工控机连接通讯并在所述工控机上完成运算；标定板3，固定置于平面上。所述装置建立的坐标系及安装关系示意图如图1所示，所述二维激光视觉传感器及机器人控制器连接工控机，通过TCP/IP通讯并在工控机上完成运算。

在本发明的另一个实施例中，还提供了一种基于激光视觉的实时自适应的焊缝跟踪方法，在标定板3上标记三个点，将焊枪1作为机械臂的末端工具，这三个点通过二维激光视觉传感器2采集到的点坐标分别为同时读取二维激光传感器2采集到这三个点时的机械臂4工具末端位姿记为/>将焊枪1末端分别对准这三个点，读取此时机械臂4工具末端位姿/>

根据以下式子联立计算得到

其中为正交矩阵，因此：

将机械臂4末端焊枪1移动至焊缝起点附近，使得所述二维激光视觉传感器2可以扫描到焊缝起点，且保证焊枪1姿势相对于焊缝起点为标准的焊接角度，所述标准的焊接角度定义为垂直方向焊枪的垂直角度在10-45°之间，水平角度与焊缝平行。

同步所述二维激光传感器2和机械臂4控制***的时钟，得到各自的起始时间戳T_s ^m、T_s ^R；其中，m表示二维激光传感器，R表示机械臂控制***，s表示开始时刻，T_s ^m为二位激光传感器2开始采集时的时间戳，T_s ^R表示机械臂4控制***开始采集时的时间戳，所述二维激光视觉传感器2开始采集点云数据，所述点云数据通过包括但不限于数据预处理、边缘检测、曲线拟合、焊缝检测得到焊缝的参数，所述焊缝的参数包括但不限于几何参数，面积、宽度、深度和形状，并根据下式得到质心其中/>其中，a表示焊缝的总面积，x_i表示焊缝点云中点的x坐标，y_i表示焊缝点云中点的y坐标，a_i表示焊缝的密度函数。

本发明实施例根据点云数据进行轮廓拟合，提取当前焊缝特征参数，提取焊缝质心及底部追踪点，并与所述二维激光视觉传感器2数据同步，同步所述焊缝提取的追踪点结果和与之所对应当时的机械臂4发出的焊枪1位姿点，并转为机械臂4基座坐标系B下的焊缝路径点。

同时读取机械臂工具末端位姿，比较得到位姿时的时间戳变化值Δt_m及得到质心时的时间戳变化值Δt_r，当两者存在较大差异时进行插值处理，对机械臂的位置坐标及样条插值，姿态进行圆弧插补后获得在读取到质心时刻Tt时的机械臂位姿由此获得同步时间下的焊缝质心追踪点/>及机械臂位姿/>

当二维传感器采集到在传感器坐标系下有效的焊缝起点坐标同时通过上述的插值处理得到同步时间下的机械臂位姿T_tool|s ^B，根据/>T_tool|s ^B＝(R_tool|s ^B，P^B _tool|s)，其中R_tool|s ^B，P^B _tool|s为在基座坐标系下组成机械臂位姿的旋转矩阵及位置矩阵，最终得到的焊缝起始点在机械臂基座坐标系下的位姿/>

将得到的焊缝起点坐标通过TCP/IP发送给机械臂4控制器，使得机械臂4移动到该位置，移动过程中二维激光传感器2持续采集计算焊缝质心且读取机械臂4工具末端位姿，并计算得到同步后的某一时刻的焊缝质心在机械臂基座坐标系下的值，并写入集合记为W′＝{P^B _process|ti，i＝1...N}。

当所述轨迹路径集合中存在三组数据，如图2所示，图中P^B _process|t0、P^B _process|t1，PB_process|t2为t0、t1、t2时刻的所述焊缝质心在机械臂基座坐标系下的值，以计算图中绕z轴的偏差角θ为例，由图可知θ＝θ′，图中先将三个点投影到xy平面上：

其中，O即为P^B _target|t2相对于P^B _target|t0的偏差角，v1表示t0时的点和t1时的点投影到xy平面上的点P^B _{target|t0|z＝0}、P^B _{target|t1z＝0}组成的向量，v2表示t1时的点和t2时的点投影到xy平面上的点P^B _{target|t1|z＝0}、P^B _{target|t2z＝0}组成的向量，下标z＝0表示将点投影到xy平面上，上标B表示在基座坐标系下，process|t0表示为采集过程中t0时刻的坐标。同理将三个点投影到xz平面计算得到偏差角α；投影到yz平面得到β。且T_toolt0＝(R_toolt0，P_tool|t0)，将表示为RPY形式：

利用偏差角修正后的P^B _target|t2所对应的RPY形式的姿势值为：

pitch_t2＝pitch_t0+α

roll_t2＝roll_t0+β

yaw_t2＝yaw_t0+θ

由旋转向量R_tool|t2和PB_targe|_t2组成新的轨迹路径点：

以此类推生成最终的轨迹路径点合集使用此集合中的数据驱动机器人跟踪焊缝运动并在运动中重复以上过程实时生成后续轨迹。

本发明具备实时自适应焊缝跟踪能力，无需事先进行离线编程，可以根据现场环境的实时反馈，即时调整焊接路径和焊枪姿态，以实现焊接任务，而无需依赖预先规划的结果。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于激光视觉的实时自适应的焊缝跟踪装置，其特征在于，包括

焊枪，通过转接装置固定安装于机械臂末端；

二维激光视觉传感器，通过转接支架固定于所述焊枪前方，与工控机连接通讯并在所述工控机上完成运算；

标定板，固定置于平面上。

2.一种基于激光视觉的实时自适应的焊缝跟踪方法，其特征在于，采用如权利要求1所述的焊缝跟踪装置，包括如下步骤：

在所述标定板上标记三个点，所述二维激光视觉传感器采集到的三个点的坐标分别标记为同时读取所述二维激光传感器采集到这三个点时的所述机械臂末端位姿记为/>将焊枪末端分别对准这三个点，读取此时机械臂末端位姿其中，M表示所述二维激光视觉传感器测量坐标系，B表示：所述机械臂基座坐标系，得到正交矩阵T_M ^E，其中，E表示焊枪末端焊丝尖端的工具坐标系；

将所述焊枪移动至焊缝起点附近，使得所述二维激光视觉传感器可以扫描到焊缝起点，且保证所述焊枪姿势相对于焊缝起点为标准的焊接角度；

同步所述二维激光传感器和机械臂控制***的时钟，得到各自的起始时间戳T_s ^m、T_s ^R，m表示二维激光传感器，R表示机械臂控制***，s表示开始时刻，T_s ^m为二位激光传感器开始采集时的时间戳，T_s ^R表示机械臂控制***开始采集时的时间戳；

所述二维激光视觉传感器开始采集点云数据，通过点云数据计算得到焊缝的参数，并得到质心其中，C表示质心，X_C表示质心的横坐标，Y_C表示质心的纵坐标；

读取机械臂末端位姿，比较得到位姿时的时间戳变化值Δt_m及得到质心时的时间戳变化值Δt_r，获得在读取到质心时刻T_t时的机械臂位姿

计算同步时间T_t下的焊缝追踪点及在机械臂基座坐标系B下的机械臂位姿/>

计算所述焊缝起点在机械臂基座坐标系B下的位姿；

将得到的焊缝起点坐标发送给机械臂控制器***，使得机械臂末端移动到该位置，移动过程中所述二维激光传感器持续采集计算焊缝质心且读取机械臂末端位姿，并计算得到同步后的t_i时刻的焊缝质心在机械臂基座坐标系下的值，并写入集合记为W′＝{P^B _process|ti，i＝1...N}，其中，N表示一条轨迹中采集到的点的个数；

计算t0、t1、t2时刻的焊缝质心的偏差角，利用偏差角修正P^B _target|t2，计算对应的RPY形式的姿势值；

利用旋转向量R_tool|t2和P^B _target|t2组成新的轨迹路径点以此类推生成最终的轨迹路径点合集/>

使用所述轨迹路径点合集W中的数据驱动机器人跟踪焊缝运动并在运动中重复上述步骤实时生成后续轨迹。

3.如权利要求2所述的基于激光视觉的实时自适应的焊缝跟踪方法，其特征在于，当所述位姿时的时间戳变化值Δt_m及得到所述质心时的时间戳变化值Δt_r差值较大时进行差值处理，对机械臂的位置坐标及样条插值，姿态进行圆弧插补后获得在读取到质心时刻T_t时的机械臂位姿

4.如权利要求2所述的基于激光视觉的实时自适应的焊缝跟踪方法，其特征在于，所述焊缝的参数包括几何参数，面积、宽度、深度和形状。

5.如权利要求4所述的基于激光视觉的实时自适应的焊缝跟踪方法，其特征在于，所述点云数据计算包括数据预处理、边缘检测、曲线拟合、焊缝检测。

6.如权利要求2所述的基于激光视觉的实时自适应的焊缝跟踪方法，其特征在于，所述标准的焊接角度为垂直方向焊枪的垂直角度在10-45°之间，水平角度与焊缝平行。

7.如权利要求2所述的基于激光视觉的实时自适应的焊缝跟踪方法，其特征在于，所述正交矩阵T_M ^E通过下式计算获得：

其中为正交矩阵。

8.如权利要求7所述的基于激光视觉的实时自适应的焊缝跟踪方法，其特征在于，所述质心中：

其中，a表示焊缝的总面积，x_i表示焊缝点云中点的x坐标，y_i表示焊缝点云中点的y坐标，a_i表示焊缝的密度函数。

9.如权利要求8所述的基于激光视觉的实时自适应的焊缝跟踪方法，其特征在于，所述机械臂位姿T_tool|s ^B＝(R_tool|s ^B，P^B _tool|s)，其中，R_tool|s ^B，P^B _tool|s为在机械臂基座坐标系B下组成机械臂位姿的旋转矩阵及位置矩阵。

10.如权利要求9所述的基于激光视觉的实时自适应的焊缝跟踪方法，其特征在于，所述焊缝起点在机械臂基座坐标系下的位姿