CN112935650B - 一种焊接机器人激光视觉***标定优化方法 - Google Patents

Abstract

本发明公开了一种焊接机器人激光视觉***标定优化方法，包括以下步骤：S1、建立结构光标定模型，确定结构光标定中待优化的参数；S2、建立手眼标定模型，确定手眼标定中待优化的参数；S3、建立腕关节坐标系和机器人基坐标的转换关系；S4、采集大量的非标签标定数据和少量的标签标定数据；S5、采用生成对抗网络对待优化的参数进行优化，得到精确的标定关系。

Description

一种焊接机器人激光视觉***标定优化方法

技术领域

本发明属于机器人标定领域，特别涉及一种焊接机器人激光视觉***标定优化方法。

背景技术

现在的焊接机器人基本上都是在焊接之前先进行示教，让机器人每次都走一个固定的轨迹，这种方式有一个好处就是重复精度高，运动轨迹不需要修正，但是，该方法的致命缺陷就是不够随机应变，不够灵活，当需要焊接的工件加工精度比较差，不能满足现代工厂对于焊接加工的要求。

随着机器视觉技术的发展,焊接机器人广泛使用视觉检测技术校正再现轨迹,实现焊缝跟踪。焊缝跟踪***通常将视觉***安装在机械手末端,当机器人作业时,视觉***与焊枪同步工作,实时检测工件在焊接过程中由高温引起的热变形,并调整焊枪与焊缝间的位置。

采用激光视觉***获取焊缝的三维坐标之前，结构光标定和手眼标定必须被完成。国内外的很多学者围绕标定算法进行了深入细致的研究，提出了一系列在鲁棒性较好的标定算法。然而，由于标定数据采集时间长且采集过程复杂繁琐、标定过程中存在误差的累积，导致标定效率和标定精度不高的问题。

Merz等人提出了半监督学习(SSL)，解决了需要大量精确的标签数据这一问题。半监督学习使用大量的未标签数据，以及同时使用少量标签数据来进行学习，取得了优异的效果。半监督学习方法众多，而近年来Goodfellow等人新提出的生成对抗网络(GAN)以其独特的博弈思想，在半监督学习领域取得了极佳的效果。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种焊接机器人激光视觉***标定优化方法，解决了现有的焊接机器人标定精度和效率不高的问题。

本发明至少通过如下技术方案之一实现。

一种焊接机器人激光视觉***标定优化方法，该方法基于的焊缝跟踪***包括焊接机器人、铁板、焊枪、激光传感器外连接件、激光视觉传感器、工作台、嵌入式工控机、控制柜、标准标定板，所述方法包括以下步骤：

S1、建立结构光标定模型，确定结构光标定模型中待优化的参数；

S2、建立手眼标定模型，确定手眼标定模型中待优化的参数；

S3、建立腕关节坐标系和机器人基坐标的转换关系；

S4、采集标定数据，获取真实向量和采集激光线上的像素坐标(c,r)、机器人腕关节坐标系与机器人基坐标系之间的转换关系

S5、采用步骤S4采集的标定数据训练生成向量生成网络，对待优化的参数进行优化，得到标定关系。

优选的，所述步骤S1具体包括：

S11、建立像素坐标系与相机坐标系的转换关系；

S12、建立相机坐标系与激光平面坐标系的转换关系。

优选的，所述步骤S11具体包括：

S111、采用36mm×36mm标准标定板，采用张正友标定法标定工业相机,获取工业相机的内参数(S_x,S_y,f,K,C_x,C_y)并保存，其中，S_x和S_y分别表示CMOS芯片上水平相邻和垂直相邻的两个感光源的距离，f表示相机的焦距，K表示相机的扭曲系数，(C_x,C_y)表示光轴和感光芯片交点的像素坐标；

S112、通过结构光标定算法获取激光线上一点P的像素坐标下的坐标(c,r)到相机三维坐标系下的坐标(x_c,y_c,z_c)，公式为：

其中，

(S_x,S_y,f,K,C_x,C_y)是工业相机的内部参数,是固定值；(A_l,B_l,C_l,D_l)为激光平面参数，为结构光标定模型中待优化的参数。

优选的，所述步骤S12具体包括以下步骤：

S121、任意取相机坐标系下Z_C轴正方向上两点O_c、J_c，将点J_c和点O_c投影到激光平面上，得到投影点J'_C(x_jp,y_jp,z_jp)和O'_C(x_op,y_op,z_op)，点到平面的投影公式如下：

其中，t＝A_lx₀+B_ly₀+C_lz₀+1/A_l ²+B_l ²+C_l ²，(x₀,y₀,z₀)表示投影前的点的坐标，(x_p,y_p,z_p)表示投影后的点的坐标，(x_p,y_p,z_p)表示投影点O'_C的坐标；

S122、令投影点O'_C与激光平面坐标系的原点O_L重合，由投影点J'_C和O'_C两点建立Z_L轴正方向上的一个向量Z(x_jp-x_op,y_jp-y_op,z_jp-z_op)，并对其单位化得到单位向量Z_L；

S123、Y_L轴正方向上的一个向量为平面法向量Y(A,B,C),对其单位化得到单位向量Y_L；

S124、将向量Z_L和Y_L正交，得到向量X_L，由X_L、Y_L、Z_L构建出激光平面坐标系；

S125、将相机坐标系三个单位向量X_C(1,0,0)、Y_C(0,1,0)、Z_C(0,0,1)分别对应投影到激光平面坐标系的三个单位向量，求得相机坐标系到激光平面坐标系的旋转矩阵

其计算如下：

S126、点O_C平移(x_op,y_op,z_op)变换得到点O_L，故引入平移向量

S127、综合

和

得到相机坐标系转换到激光平面坐标系的转换矩阵

公式为：

S128、相机坐标系下点P坐标(x_c,y_c,z_c)转换到激光坐标系下的坐标(x_l,0,z_l)的公式为：

优选的，所述步骤S2具体包括：

S21、用

表示激光平面坐标系到腕关节坐标系的转换关系，该矩阵分解为：

其中，

为激光平面坐标系到机器人腕关节坐标系的旋转矩阵，

为激光平面坐标系到机器人腕关节坐标系的平移向量，

的展开式用r₁₁,r₁₂,...,r₃₃表示，

的展开式用平移向量系数d_x,d_y,d_z表示，其中r₁₁～r₃₃表示旋转矩阵

的元素值；

S22、激光坐标系下的坐标下点P(x_l,0,z_l)转换到腕关节坐标系坐标(x_w,y_w,z_w)的公式为：

其中y_l＝0，故简化为：

S23、在X-Y-Z固定角坐标系下，通过旋转角R_x、R_y、R_z求取转换矩阵中的

具体公式如下：

S24、通过旋转角度R_x,R_y,R_z和平移向量系数d_x,d_y,d_z，建立机器人腕关节与激光平面之间的转换关系，即建立手眼标定模型，其中，旋转角度R_x,R_y,R_z和平移向量系数d_x,d_y,d_z为手眼标定模型中待优化的参数。

优选的，所述步骤S3具体包括：

S31、腕关节坐标系下点P坐标(x_w,y_w,z_w)转换到机器人基坐标下的坐标(x_b,y_b,z_b)的公式为：

其中，在焊接机器人***中，机器人腕关节坐标系与机器人基坐标系之间的转换关系

通过机器人内部的控制器标定算法得到的，Δx,Δy,Δz为模型修正项，将Δx,Δy,Δz作为待优化的标定参数，通过数据优化得到模型修正项Δx,Δy,Δz。

优选的，所述步骤S4具体包括：

S41、在焊接机器人的示教模式下用焊枪尖定位铁板上的三个点：示教起点(x₁,y₁,z₁)、示教终点(x₂,y₂,z₂)和第三个点(x₃,y₃,z₃)，存储这三个点的数据；

S42、示教焊接机器人从示教起点运动到示教终点，同时在运动过程中，激光视觉传感器的工业相机将连续采集的每一帧图像发送至所述嵌入式工控机进行像素提取，存储提取到的激光线上的像素坐标(c,r)，控制柜传回机器人腕关节坐标系与机器人基坐标系之间的转换关系

到嵌入式工控机；

S43、由步骤S41采集的三个点得到铁板平面的法向量G(A_g,B_g,C_g)，将该向量作为真实向量，公式为：

S43、重复步骤41和步骤42，采集n组标定数据，分别将铁板不同的位置和姿态放置于工作台上，使得这些位姿覆盖机器人运动范围。

优选的，所述步骤S5具体包括：

S51、构建基于生成对抗网络的生成向量生成网络；

S52、对步骤S51所构建的生成向量生成网络进行训练，并保存训练好的网络模型参数；

S53、将步骤S4采集到的标定数据像素坐标值(c,r)和转换矩阵

输入到步骤S52所训练好的网络模型进行生成向量的生成。

优选的，所述生成向量生成网络包括生成器网络和判别器网络；所述生成器网络获得生成向量与对应的真实向量之间的映射关系，从而生成生成向量；所述判别器网络的输入为真实向量或所述生成器生成的生成向量，用于判别向量来源于训练数据还是合成数据的；生成器和判别器形成对抗关系，从而使得生成器生成的生成向量与之对应的真实向量越来越接近；

所述生成器网络输入步骤S4采集到的标定数据像素坐标值(c,r)和转换矩阵

经过步骤S1的结构光标定模型、步骤S2的手眼标定模型和步骤S3的腕关节坐标系和机器人基坐标的转换关系，得到生成的基坐标值(x'_b,y'_b,z'_b)，获取该点与其对应的组的示教起点(x₁,y₁,z₁)、示教终点(x₂,y₂,z₂)构成的平面的法向量P(A_p,B_p,C_p)，得到生成向量；

所述判别器网络包括a个一维卷积层和b个全连接层，具体结构如下：

对于a个卷积层，采用卷积—批归一化—LReLU激活的结构搭建，其卷积核的大小为1×2，滑动步长设置为1；对于前2个全连接层，采用全连接-批归一化-LReLU激活的形式构建，最后一个全连接层采用全连接-Sigmoid激活的形式构建；

根据生成器生成结果和真实结果，计算损失，定义生成向量生成网络的损失如下：

其中：x表示真实向量，z表示判别器网络的输入量，即像素坐标(c,r)和矩阵

G表示生成器的映射，G(z)表示生成的生成向量，D表示判别器的映射，D(x)表示判别器对真实向量的判别结果，D(G(z))表示判别器对生成向量的判别结果，两个判别结果均为向量的真实性概率，E_x和E_y则分别表示这两个判别结果的均值；

在生成向量生成网络中额外定义L1损失，用以表示生成器网络生成的向量起点(x'_b,y'_b,z'_b)到铁板的距离如下：

其中，A_g、B_g、C_g、D_g为真实平面方程的系数；

整个生成向量生成网络的总损失函数为：

其中λ表示L1损失的权重；

生成向量生成网络最终的优化目标表示为：

其中arg表示使

优化后的标定参数，即(A_l,B_l,C_l,D_l,Rx,Ry,Rz,dx,dy,dz)，G^*即为生成向量生成网络训练后得到的优化的生成器网络模型。

优选的，步骤S51具体如下：

训练开始前，通过步骤S4采集标定数据，并将其作为训练数据；

训练时，对构建好的生成向量生成网络设置训练的超参数和训练条件如下：

设置初始学习率为H，批处理的样本量为s对；

设置所述L1损失的权重λ为f；

训练所用的优化方法为梯度下降法，借助Pytorch库中的AdamOptimizer优化器对网络模型参数和待优化的标定参数(A_l,B_l,C_l,D_l,Rx,Ry,Rz,dx,dy,dz)进行优化，并保存优化后的生成器网络模型。

本发明相对于现有技术具有如下的优点及效果：

(1)本发明通过建立精确的标定模型，并将结构光标定和手眼标定进行整合，将标定问题转化为标定参数的优化问题，避免了标定过程中误差的累积。通过采集标定数据，采用半监督学习式的对抗生成网络对标定参数进行优化，得到了精确的像素坐标系到机器人腕关节坐标系的转换关系；

(2)本发明通过嵌入式工业控制器进行后续的通讯、计算和处理，装置结构简单，***易于维护，通过嵌入式工业控制器实现数据的自动采集和处理，能有效提高数据处理的效率；

(3)解决了焊接机器人标定精度和效率低下的问题，节省了大量时间，并且提高了标定精度。

附图说明

图1是本发明实施例的焊接机器人的焊缝跟踪***总体结构示意图；

图2是本发明实施例的焊接机器人的焊缝跟踪***中的激光视觉传感器的结构示意图；

图3是本发明实施例的标准标定板结构图；

图4是本发明实施例的焊接机器人的各个坐标系示意图；

图5是本发明实施例的相机坐标系与激光平面坐标系的转换示意图；

图6是本发明实施例的生成对抗网络的优化示意图；

图中：1-焊接机器人；2-铁板；3-焊枪；4-激光传感器外连接件；5-激光视觉传感器；51-传感器外壳；52-相机；53-透光性隔板；54-激光发生器；6-工作台；7-嵌入式工控机；8-控制柜；9-标准标定板。

具体实施方式

下面结合实施例及附图对本发明作进一步的详细描述，但本发明的实施方式不限于此。

如图1、图2所示，本实施的一种焊接机器人激光视觉***标定优化方法，该方法基于的焊缝跟踪***包括焊接机器人1、焊枪3、激光视觉传感器5、激光视觉传感器外连接件4、工作台6、嵌入式工控机7、控制柜8、铁板2、标准标定板9；外连接件4是螺栓螺母连接件，所述铁板2和标准标定板9放置在工作台6上；激光视觉传感器5固定安装在焊枪3末端，所述焊枪3通过焊枪夹持装置，该装置包括夹具固定座、螺栓螺母，将焊枪3放置于夹具固定座中，采用螺栓螺母紧固连接，安装在焊接机器人1末端上，嵌入式工控机7通过以太网线与激光视觉传感器5相连，嵌入式工控机7通过以太网线与控制柜8相连，控制柜8和焊接机器人1。激光视觉传感器5和焊枪3通过焊接机器人1的运动而改变空间位置；所述激光视觉传感器5包括黑色氧化处理的传感器外壳51、工业相机52、透光性隔板53、激光发生器54；所述工业相机52和激光发生器54固定在传感器外壳51内；所述透光性隔板53固定在传感器外壳51上且位于所述工业相机52和激光发生器54(激光发生器54通过螺栓螺母与传感器外壳51紧固连接，与工业相机52之间成30°的夹角。

如图4所示，一种焊接机器人激光视觉***标定优化方法，包括以下步骤：

S1、建立结构光标定模型，确定结构光标定模型中待优化的参数，具体包括以下步骤：

S11、建立像素坐标系与相机坐标系的转换关系，具体包括以下步骤：

S111、如图3所示，采用36mm×36mm标准标定板，采用张正友标定法标定工业相机,获取工业相机的内参数(S_x,S_y,f,K,C_x,C_y)并保存。其中，S_x和S_y分别表示CMOS芯片上水平相邻和垂直相邻的两个感光源的距离，f表示相机的焦距，K表示相机的扭曲系数，(C_x,C_y)表示光轴和感光芯片交点的像素坐标。

S112、通过激光线上一点P的像素坐标下的坐标(c,r)到相机三维坐标系下的坐标(x_c,y_c,z_c)，公式为：

其中，

(S_x,S_y,f,K,C_x,C_y)是是工业相机的内部参数,是固定值。(A_l,B_l,C_l,D_l)为激光平面参数，为结构光标定模型中待优化的参数。

S12、如图5所示，建立相机坐标系与激光平面坐标系的转换关系，具体包括以下步骤：

S121、任意取相机坐标系下Z_C轴正方向上两点(此处取相机原点O_c(0,0,0)，J_c(0,0,100))。将点J_c和点O_c投影到激光平面上，得到投影点J'_C(x_jp,y_jp,z_jp)和O'_C(x_op,y_op,z_op)，点到平面的投影公式如下：

其中，t＝A_lx₀+B_ly₀+C_lz₀+1/A_l ²+B_l ²+C_l ²，(x₀,y₀,z₀)表示投影前的点的坐标，(x_p,y_p,z_p)表示投影后的点的坐标；

S122、令投影点O'_C与激光平面坐标系的原点O_L重合。由J'_C和O'_C两点建立Z_L轴正方向上的一个向量Z(x_jp-x_op,y_jp-y_op,z_jp-z_op)，并对其单位化得到单位向量Z_L；

S123、Y_L轴正方向上的一个向量为平面法向量Y(A,B,C),对其单位化得到单位向量Y_L；

S124、将向量Z_L和Y_L正交，得到向量X_L。由X_L,Y_L,Z_L构建出激光平面坐标系；

S125、将相机坐标系三个单位向量X_C(1,0,0),Y_C(0,1,0),Z_C(0,0,1)分别对应投影到激光平面坐标系的三个单位向量，求得相机坐标系到激光平面坐标系的旋转矩阵

S126、点O_C平移(x_op,y_op,z_op)变换得到点O_L，故引入平移向量

S127、综合

和

得到相机坐标系转换到激光平面坐标系的转换矩阵

公式为：

S128、因此，相机坐标系到激光平面坐标系的转换关系被建立。相机坐标系下点P坐标(x_c,y_c,z_c)转换到激光坐标系下的坐标(x_l,0,z_l)的公式为：

S2、建立手眼标定模型，确定手眼标定模型中待优化的参数，具体包括以下步骤：

S21、用

表示激光平面坐标系到腕关节坐标系的转换关系，该矩阵可以分解为：

其中，

为激光平面坐标系到机器人腕关节坐标系的旋转矩阵，

为激光平面坐标系到机器人腕关节坐标系的平移向量，

的展开式用r₁₁,r₁₂,...,r₃₃表示，

的展开式用d_x,d_y,d_z表示，其中r₁₁～r₃₃表示旋转矩阵

的元素值。

S22、激光坐标系下的坐标下点P(x_l,0,z_l)转换到腕关节坐标系坐标(x_w,y_w,z_w)的公式为：

其中y_l＝0，故可以简化为：

S23、在X-Y-Z固定角坐标系下，可通过旋转角R_x,R_y,R_z求取转换矩阵中的

具体公式如下：

S24、若求得精确的旋转角度R_x,R_y,R_z和平移向量系数d_x,d_y,d_z，即可建立机器人腕关节与激光平面之间的转换关系，即建立了手眼标定模型。因此，旋转角度R_x,R_y,R_z和平移向量系数d_x,d_y,d_z为手眼标定模型中待优化的参数。

S3、建立腕关节坐标系和机器人基坐标的转换关系，具体包括以下步骤：

S31、腕关节坐标系下点P坐标(x_w,y_w,z_w)转换到机器人基坐标下的坐标(x_b,y_b,z_b)的公式为：

其中，在焊接机器人***中，机器人腕关节坐标系与机器人基坐标系之间的转换关系

是通过机器人内部的控制器标定算法得到的，Δx,Δy,Δz为模型修正项。由于机器人运动学中的参数的不确定性，造成了机器人末端存在着位姿误差。因此，需要添加模型修正项进行修正和补偿，以使得机器人的运动更为准确。模型修正项往往是根据经验人工设计的，可信度和准确率较低。因此将Δx,Δy,Δz作为待优化的标定参数。通过海量的数据优化得到模型修正项Δx,Δy,Δz，大大提高其可信度和准确率。

S4、获取真实向量和采集激光线上的像素坐标(c,r)、机器人腕关节坐标系与机器人基坐标系之间的转换关系

具体包括以下步骤：

S41、在焊接机器人的示教模式下用焊枪尖定位铁板上的三个点：示教起点(x₁,y₁,z₁)、示教终点(x₂,y₂,z₂)和第三个点(x₃,y₃,z₃)，存储这三个点的数据；

S42、示教焊接机器人从示教起点运动到示教终点，同时在运动过程中，激光视觉传感器的工业相机将连续采集的每一帧图像发送至所述嵌入式工控机进行像素提取，存储提取到的激光线上的像素坐标(c,r)，控制柜传回机器人腕关节坐标系与机器人基坐标系之间的转换关系

到嵌入式工控机；

S43、由步骤S41采集的三个点得到铁板平面的法向量G(A_g,B_g,C_g)，将该向量作为真实向量，公式为：

S43、重复步骤41和步骤42，采集10组标定数据，分别将铁板不同的位置和姿态放置于工作台上，使得这些位姿覆盖了机器人运动范围的大部分。

S5、采用步骤S4采集的标定数据训练生成对抗网络，对待优化的参数进行优化，得到精确的标定关系，具体包括以下步骤：

S51、如图6所示，构建基于生成对抗网络的生成向量生成网络；

S52、对步骤S51所构建的网络进行训练，并保存训练好的网络模型参数；

S53、将步骤S4采集到的标定数据像素坐标值(c,r)和转换矩阵

输入到步骤S52所训练好的网络模型进行生成向量的生成。

具体而言，步骤S51中，所述的生成向量生成网络主要由两部分组成，分别是生成器网络和判别器网络；生成器网络目的是获得生成向量与对应的真实向量之间的映射关系，从而生成生成向量；判别器网络的输入为真实向量或所述生成器生成的生成向量，用于判别向量来源于训练数据还是合成数据的；生成器和判别器形成对抗关系，从而使得生成器生成的生成向量与之对应的真实向量越来越接近；

所述生成器网络采用步骤S1-步骤S3的标定模型，即输入步骤S4采集到的标定数据像素坐标值(c,r)和转换矩阵

经过步骤S1的结构光标定模型、步骤S2的手眼标定模型和步骤S3的腕关节坐标系和机器人基坐标的转换关系，得到生成的基坐标值(x'_b,y'_b,z'_b)，该点与其对应的组的示教起点(x₁,y₁,z₁)、示教终点(x₂,y₂,z₂)构成的平面的法向量P(A_p,B_p,C_p)，即得到生成向量；

所述判别器网络主要由2个一维卷积层和3个全连接层组成，具体结构如下：

对于2个卷积层，采用卷积—批归一化—LReLU激活的结构搭建，其卷积核的大小为1×2，滑动步长设置为1；对于前2个全连接层，采用全连接-批归一化-LReLU激活的形式构建。最后1个全连接层采用全连接-Sigmoid激活的形式构建；

根据生成器生成结果和真实结果，计算损失，定义对抗网络的损失如下：

其中：x表示真实向量，z表示判别器网络的输入量，即像素坐标(c,r)和矩阵

G表示生成器的映射，G(z)表示生成的生成向量，D表示判别器的映射，D(x)表示判别器对真实向量的判别结果，D(G(z))表示判别器对生成向量的判别结果，两个判别结果均为向量的真实性概率，E_x和E_y则分别表示这两个判别结果的均值；

在生成向量生成网络中额外定义L1损失，用以表示生成器网络生成的向量起点(x'_b,y'_b,z'_b)到铁板的距离如下：

其中，A_g,B_g,C_g,D_g为真实平面方程的系数。

得到整个网络的总损失函数为：

其中λ表示L1损失的权重；

网络最终的优化目标表示为：

其中arg表示使

优化后的标定参数，即(A_l,B_l,C_l,D_l,Rx,Ry,Rz,dx,dy,dz)，G^*即为网络训练后得到的优化的生成器网络模型。

具体而言，步骤S52中，所述的对步骤S51所构建的网络进行训练，并保存训练好的网络模型参数具体如下：

训练开始前，通过步骤S4获得标定数据，并将其作为训练数据；

训练时，对构建好的生成向量生成网络设置训练的超参数和训练条件如下：

设置初始学习率为0.001，批处理的样本量为200对；

设置所述L1损失的权重λ为0.01；

训练所用的优化方法为梯度下降法，借助Pytorch库中的AdamOptimizer优化器对网络模型参数和待优化的标定参数(A_l,B_l,C_l,D_l,Rx,Ry,Rz,dx,dy,dz)进行优化，并保存优化后的生成器网络模型。

本实施例通过建立精确的标定模型，并将结构光标定和手眼标定进行整合，将标定问题转化为标定参数的优化问题，避免了标定过程中误差的累积。通过采集标定数据，采用半监督学习式的对抗生成网络对标定参数进行优化，得到了精确的像素坐标系到机器人腕关节坐标系的转换关系。

上述实施例为本发明较佳的实施方式，但本方明的实施方式并不受上述实施例的限制，其他的任何背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种焊接机器人激光视觉***标定优化方法，该方法基于的焊缝跟踪***包括焊接机器人、铁板、焊枪、激光传感器外连接件、激光视觉传感器、工作台、嵌入式工控机、控制柜、标准标定板，其特征在于，所述方法包括以下步骤：

S1、建立结构光标定模型，确定结构光标定模型中待优化的参数；

S2、建立手眼标定模型，确定手眼标定模型中待优化的参数；

S3、建立腕关节坐标系和机器人基坐标的转换关系；

S4、采集标定数据，获取真实向量和采集激光线上的像素坐标(c,r)、机器人腕关节坐标系与机器人基坐标系之间的转换关系

具体包括：

S41、在焊接机器人的示教模式下用焊枪尖定位铁板上的三个点：示教起点(x₁,y₁,z₁)、示教终点(x₂,y₂,z₂)和第三个点(x₃,y₃,z₃)，存储这三个点的数据；

S42、示教焊接机器人从示教起点运动到示教终点，同时在运动过程中，激光视觉传感器的工业相机将连续采集的每一帧图像发送至所述嵌入式工控机进行像素提取，存储提取到的激光线上的像素坐标(c,r)，控制柜传回机器人腕关节坐标系与机器人基坐标系之间的转换关系

到嵌入式工控机；

S43、由步骤S41采集的三个点得到铁板平面的法向量G(A_g,B_g,C_g)，将该向量作为真实向量，公式为：

S44、重复步骤41和步骤42，采集n组标定数据，分别将铁板不同的位置和姿态放置于工作台上，使得这些位姿覆盖机器人运动范围；

S5、采用步骤S4采集的标定数据训练生成向量生成网络，对待优化的参数进行优化，得到标定关系。

2.根据权利要求1所述的焊接机器人激光视觉***标定优化方法，其特征在于，所述步骤S1具体包括：

S11、建立像素坐标系与相机坐标系的转换关系；

S12、建立相机坐标系与激光平面坐标系的转换关系。

3.根据权利要求2所述的焊接机器人激光视觉***标定优化方法，其特征在于，所述步骤S11具体包括：

S111、采用36mm×36mm标准标定板，采用张正友标定法标定工业相机,获取工业相机的内参数(S_x,S_y,f,K,C_x,C_y)并保存，其中，S_x和S_y分别表示CMOS芯片上水平相邻和垂直相邻的两个感光源的距离，f表示相机的焦距，K表示相机的扭曲系数，(C_x,C_y)表示光轴和感光芯片交点的像素坐标；

S112、通过结构光标定算法获得激光线上一点P的像素坐标下的坐标(c,r)到相机三维坐标系下的坐标(x_c,y_c,z_c)，公式为：

其中，

(S_x,S_y,f,K,C_x,C_y)是工业相机的内部参数,是固定值；(A_l,B_l,C_l,D_l)为激光平面参数，为结构光标定模型中待优化的参数。

4.根据权利要求3所述的焊接机器人激光视觉***标定优化方法，其特征在于，所述步骤S12具体包括以下步骤：

S121、任意取相机坐标系下Z_C轴正方向上两点O_c、J_c，将点J_c和点O_c投影到激光平面上，得到投影点J'_C(x_jp,y_jp,z_jp)和O'_C(x_op,y_op,z_op)，点到平面的投影公式如下：

其中，t＝A_lx₀+B_ly₀+C_lz₀+1/(A_l ²+B_l ²+C_l ²)，(x₀,y₀,z₀)表示投影前的点的坐标，(x_p,y_p,z_p)表示投影后的点的坐标；

S122、令投影点O'_C与激光平面坐标系的原点O_L重合，由投影点J'_C和O'_C两点建立Z_L轴正方向上的一个向量Z(x_jp-x_op,y_jp-y_op,z_jp-z_op)，并对其单位化得到单位向量Z_L；

S123、Y_L轴正方向上的一个向量为平面法向量Y(A,B,C),对其单位化得到单位向量Y_L；

S124、将向量Z_L和Y_L正交，得到向量X_L，由X_L、Y_L、Z_L构建出激光平面坐标系；

S125、将相机坐标系三个单位向量X_C(1,0,0)、Y_C(0,1,0)、Z_C(0,0,1)分别对应投影到激光平面坐标系的三个单位向量，求得相机坐标系到激光平面坐标系的旋转矩阵

其计算如下：

S126、点O_C平移(x_op,y_op,z_op)变换得到点O_L，故引入平移向量

S127、综合

和

得到相机坐标系转换到激光平面坐标系的转换矩阵

公式为：

S128、相机坐标系下点P坐标(x_c,y_c,z_c)转换到激光坐标系下的坐标(x_l,0,z_l)的公式为：

5.根据权利要求4所述的焊接机器人激光视觉***标定优化方法，其特征在于，所述步骤S2具体包括：

S21、用

表示激光平面坐标系到腕关节坐标系的转换关系，该矩阵分解为：

其中，

为激光平面坐标系到机器人腕关节坐标系的旋转矩阵，

为激光平面坐标系到机器人腕关节坐标系的平移向量，

的展开式用r₁₁,r₁₂,...,r₃₃表示，

的展开式用平移向量系数dx,dy,dz表示，其中r₁₁～r₃₃表示旋转矩阵

的元素值；

S22、激光坐标系下的坐标下点P(x_l,0,z_l)转换到腕关节坐标系坐标(x_w,y_w,z_w)的公式为：

其中y_l＝0，故简化为：

S23、在X-Y-Z固定角坐标系下，通过旋转角R_x、R_y、R_z求取转换矩阵中的

具体公式如下：

S24、通过旋转角度R_x,R_y,R_z和平移向量系数dx,dy,dz，建立机器人腕关节与激光平面之间的转换关系，即建立手眼标定模型，其中，旋转角度R_x,R_y,R_z和平移向量系数dx,dy,dz为手眼标定模型中待优化的参数。

6.根据权利要求5所述的焊接机器人激光视觉***标定优化方法，其特征在于，所述步骤S3具体包括：

S31、腕关节坐标系下点P坐标(x_w,y_w,z_w)转换到机器人基坐标下的坐标(x_b,y_b,z_b)的公式为：

其中，在焊接机器人***中，机器人腕关节坐标系与机器人基坐标系之间的转换关系

通过机器人内部的控制器标定算法得到的，Δx,Δy,Δz为模型修正项，将Δx,Δy,Δz作为待优化的标定参数，通过数据优化得到模型修正项Δx,Δy,Δz。

7.根据权利要求6所述的焊接机器人激光视觉***标定优化方法，其特征在于，所述步骤S5具体包括：

S51、构建基于生成对抗网络的生成向量生成网络；

S52、对步骤S51所构建的生成向量生成网络进行训练，并保存训练好的网络模型参数；

S53、将步骤S4采集到的标定数据像素坐标值(c,r)和转换矩阵

输入到步骤S52所训练好的网络模型进行生成向量的生成。

8.根据权利要求7所述的焊接机器人激光视觉***标定优化方法，其特征在于：所述生成向量生成网络包括生成器网络和判别器网络；所述生成器网络获得生成向量与对应的真实向量之间的映射关系，从而生成生成向量；所述判别器网络的输入为真实向量或所述生成器网络生成的生成向量，用于判别向量来源于训练数据还是合成数据的；生成器和判别器形成对抗关系，从而使得生成器生成的生成向量与之对应的真实向量越来越接近；

所述生成器网络输入步骤S4采集到的标定数据像素坐标值(c,r)和转换矩阵

经过步骤S1的结构光标定模型、步骤S2的手眼标定模型和步骤S3的腕关节坐标系和机器人基坐标的转换关系，得到生成的基坐标值(x'_b,y'_b,z'_b)，获取该点与其对应的组的示教起点(x₁,y₁,z₁)、示教终点(x₂,y₂,z₂)构成的平面的法向量P(A_p,B_p,C_p)，得到生成向量；

所述判别器网络包括a个一维卷积层和b个全连接层，具体结构如下：

对于a个卷积层，采用卷积—批归一化—LReLU激活的结构搭建，其卷积核的大小为1×2，滑动步长设置为1；对于前2个全连接层，采用全连接-批归一化-LReLU激活的形式构建，最后一个全连接层采用全连接-Sigmoid激活的形式构建；

根据生成器生成结果和真实结果，计算损失，定义生成向量生成网络的损失如下：

其中：x表示真实向量，z表示判别器网络的输入量，即像素坐标(c,r)和矩阵

G表示生成器的映射，G(z)表示生成的生成向量，D表示判别器的映射，D(x)表示判别器对真实向量的判别结果，D(G(z))表示判别器对生成向量的判别结果，两个判别结果均为向量的真实性概率，E_x和E_z则分别表示这两个判别结果的均值；

在生成向量生成网络中额外定义L₁损失，用以表示生成器网络生成的向量起点(x'_b,y'_b,z'_b)到铁板的距离如下：

其中，A_g、B_g、C_g、D_g为真实平面方程的系数；

整个生成向量生成网络的总损失函数为：

其中λ表示L₁损失的权重；

生成向量生成网络最终的优化目标表示为：

其中arg表示使

优化后的标定参数，即(A_l,B_l,C_l,D_l,R_x,R_y,R_z,dx,dy,dz)，G^*即为生成向量生成网络训练后得到的优化的生成器网络模型。

9.根据权利要求8所述的焊接机器人激光视觉***标定优化方法，其特征在于：步骤S51具体如下：

训练开始前，通过步骤S4采集标定数据，并将其作为训练数据；

训练时，对构建好的生成向量生成网络设置训练的超参数和训练条件如下：

设置初始学习率为H，批处理的样本量为s对；

设置所述L₁损失的权重λ为f；

训练所用的优化方法为梯度下降法，借助Pytorch库中的AdamOptimizer优化器对网络模型参数和待优化的标定参数(A_l,B_l,C_l,D_l,R_x,R_y,R_z,dx,dy,dz)进行优化，并保存优化后的生成器网络模型。

Images