CN112935650B - 一种焊接机器人激光视觉***标定优化方法 - Google Patents
一种焊接机器人激光视觉***标定优化方法 Download PDFInfo
- Publication number
- CN112935650B CN112935650B CN202110130499.8A CN202110130499A CN112935650B CN 112935650 B CN112935650 B CN 112935650B CN 202110130499 A CN202110130499 A CN 202110130499A CN 112935650 B CN112935650 B CN 112935650B
- Authority
- CN
- China
- Prior art keywords
- vector
- coordinate system
- calibration
- laser
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003466 welding Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000005457 optimization Methods 0.000 title claims abstract description 30
- 238000006243 chemical reaction Methods 0.000 claims abstract description 38
- 210000003857 wrist joint Anatomy 0.000 claims abstract description 32
- 239000013598 vector Substances 0.000 claims description 131
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 25
- 229910052742 iron Inorganic materials 0.000 claims description 17
- 238000013519 translation Methods 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 230000036544 posture Effects 0.000 claims description 6
- 210000000707 wrist Anatomy 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
- B23K37/02—Carriages for supporting the welding or cutting element
- B23K37/0252—Steering means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
Landscapes
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
- Laser Beam Processing (AREA)
- Numerical Control (AREA)
Abstract
本发明公开了一种焊接机器人激光视觉***标定优化方法,包括以下步骤:S1、建立结构光标定模型,确定结构光标定中待优化的参数;S2、建立手眼标定模型,确定手眼标定中待优化的参数;S3、建立腕关节坐标系和机器人基坐标的转换关系;S4、采集大量的非标签标定数据和少量的标签标定数据;S5、采用生成对抗网络对待优化的参数进行优化,得到精确的标定关系。
Description
技术领域
本发明属于机器人标定领域,特别涉及一种焊接机器人激光视觉***标定优化方法。
背景技术
现在的焊接机器人基本上都是在焊接之前先进行示教,让机器人每次都走一个固定的轨迹,这种方式有一个好处就是重复精度高,运动轨迹不需要修正,但是,该方法的致命缺陷就是不够随机应变,不够灵活,当需要焊接的工件加工精度比较差,不能满足现代工厂对于焊接加工的要求。
随着机器视觉技术的发展,焊接机器人广泛使用视觉检测技术校正再现轨迹,实现焊缝跟踪。焊缝跟踪***通常将视觉***安装在机械手末端,当机器人作业时,视觉***与焊枪同步工作,实时检测工件在焊接过程中由高温引起的热变形,并调整焊枪与焊缝间的位置。
采用激光视觉***获取焊缝的三维坐标之前,结构光标定和手眼标定必须被完成。国内外的很多学者围绕标定算法进行了深入细致的研究,提出了一系列在鲁棒性较好的标定算法。然而,由于标定数据采集时间长且采集过程复杂繁琐、标定过程中存在误差的累积,导致标定效率和标定精度不高的问题。
Merz等人提出了半监督学习(SSL),解决了需要大量精确的标签数据这一问题。半监督学习使用大量的未标签数据,以及同时使用少量标签数据来进行学习,取得了优异的效果。半监督学习方法众多,而近年来Goodfellow等人新提出的生成对抗网络(GAN)以其独特的博弈思想,在半监督学习领域取得了极佳的效果。
发明内容
本发明的目的在于克服现有技术的缺点与不足,提供一种焊接机器人激光视觉***标定优化方法,解决了现有的焊接机器人标定精度和效率不高的问题。
本发明至少通过如下技术方案之一实现。
一种焊接机器人激光视觉***标定优化方法,该方法基于的焊缝跟踪***包括焊接机器人、铁板、焊枪、激光传感器外连接件、激光视觉传感器、工作台、嵌入式工控机、控制柜、标准标定板,所述方法包括以下步骤:
S1、建立结构光标定模型,确定结构光标定模型中待优化的参数;
S2、建立手眼标定模型,确定手眼标定模型中待优化的参数;
S3、建立腕关节坐标系和机器人基坐标的转换关系;
S5、采用步骤S4采集的标定数据训练生成向量生成网络,对待优化的参数进行优化,得到标定关系。
优选的,所述步骤S1具体包括:
S11、建立像素坐标系与相机坐标系的转换关系;
S12、建立相机坐标系与激光平面坐标系的转换关系。
优选的,所述步骤S11具体包括:
S111、采用36mm×36mm标准标定板,采用张正友标定法标定工业相机,获取工业相机的内参数(Sx,Sy,f,K,Cx,Cy)并保存,其中,Sx和Sy分别表示CMOS芯片上水平相邻和垂直相邻的两个感光源的距离,f表示相机的焦距,K表示相机的扭曲系数,(Cx,Cy)表示光轴和感光芯片交点的像素坐标;
S112、通过结构光标定算法获取激光线上一点P的像素坐标下的坐标(c,r)到相机三维坐标系下的坐标(xc,yc,zc),公式为:
优选的,所述步骤S12具体包括以下步骤:
S121、任意取相机坐标系下ZC轴正方向上两点Oc、Jc,将点Jc和点Oc投影到激光平面上,得到投影点J'C(xjp,yjp,zjp)和O'C(xop,yop,zop),点到平面的投影公式如下:
其中,t=Alx0+Bly0+Clz0+1/Al 2+Bl 2+Cl 2,(x0,y0,z0)表示投影前的点的坐标,(xp,yp,zp)表示投影后的点的坐标,(xp,yp,zp)表示投影点O'C的坐标;
S122、令投影点O'C与激光平面坐标系的原点OL重合,由投影点J'C和O'C两点建立ZL轴正方向上的一个向量Z(xjp-xop,yjp-yop,zjp-zop),并对其单位化得到单位向量ZL;
S123、YL轴正方向上的一个向量为平面法向量Y(A,B,C),对其单位化得到单位向量YL;
S124、将向量ZL和YL正交,得到向量XL,由XL、YL、ZL构建出激光平面坐标系;
S128、相机坐标系下点P坐标(xc,yc,zc)转换到激光坐标系下的坐标(xl,0,zl)的公式为:
优选的,所述步骤S2具体包括:
其中,为激光平面坐标系到机器人腕关节坐标系的旋转矩阵,为激光平面坐标系到机器人腕关节坐标系的平移向量,的展开式用r11,r12,...,r33表示,的展开式用平移向量系数dx,dy,dz表示,其中r11~r33表示旋转矩阵的元素值;
S22、激光坐标系下的坐标下点P(xl,0,zl)转换到腕关节坐标系坐标(xw,yw,zw)的公式为:
其中yl=0,故简化为:
S24、通过旋转角度Rx,Ry,Rz和平移向量系数dx,dy,dz,建立机器人腕关节与激光平面之间的转换关系,即建立手眼标定模型,其中,旋转角度Rx,Ry,Rz和平移向量系数dx,dy,dz为手眼标定模型中待优化的参数。
优选的,所述步骤S3具体包括:
S31、腕关节坐标系下点P坐标(xw,yw,zw)转换到机器人基坐标下的坐标(xb,yb,zb)的公式为:
其中,在焊接机器人***中,机器人腕关节坐标系与机器人基坐标系之间的转换关系通过机器人内部的控制器标定算法得到的,Δx,Δy,Δz为模型修正项,将Δx,Δy,Δz作为待优化的标定参数,通过数据优化得到模型修正项Δx,Δy,Δz。
优选的,所述步骤S4具体包括:
S41、在焊接机器人的示教模式下用焊枪尖定位铁板上的三个点:示教起点(x1,y1,z1)、示教终点(x2,y2,z2)和第三个点(x3,y3,z3),存储这三个点的数据;
S42、示教焊接机器人从示教起点运动到示教终点,同时在运动过程中,激光视觉传感器的工业相机将连续采集的每一帧图像发送至所述嵌入式工控机进行像素提取,存储提取到的激光线上的像素坐标(c,r),控制柜传回机器人腕关节坐标系与机器人基坐标系之间的转换关系到嵌入式工控机;
S43、由步骤S41采集的三个点得到铁板平面的法向量G(Ag,Bg,Cg),将该向量作为真实向量,公式为:
S43、重复步骤41和步骤42,采集n组标定数据,分别将铁板不同的位置和姿态放置于工作台上,使得这些位姿覆盖机器人运动范围。
优选的,所述步骤S5具体包括:
S51、构建基于生成对抗网络的生成向量生成网络;
S52、对步骤S51所构建的生成向量生成网络进行训练,并保存训练好的网络模型参数;
优选的,所述生成向量生成网络包括生成器网络和判别器网络;所述生成器网络获得生成向量与对应的真实向量之间的映射关系,从而生成生成向量;所述判别器网络的输入为真实向量或所述生成器生成的生成向量,用于判别向量来源于训练数据还是合成数据的;生成器和判别器形成对抗关系,从而使得生成器生成的生成向量与之对应的真实向量越来越接近;
所述生成器网络输入步骤S4采集到的标定数据像素坐标值(c,r)和转换矩阵经过步骤S1的结构光标定模型、步骤S2的手眼标定模型和步骤S3的腕关节坐标系和机器人基坐标的转换关系,得到生成的基坐标值(x'b,y'b,z'b),获取该点与其对应的组的示教起点(x1,y1,z1)、示教终点(x2,y2,z2)构成的平面的法向量P(Ap,Bp,Cp),得到生成向量;
所述判别器网络包括a个一维卷积层和b个全连接层,具体结构如下:
对于a个卷积层,采用卷积—批归一化—LReLU激活的结构搭建,其卷积核的大小为1×2,滑动步长设置为1;对于前2个全连接层,采用全连接-批归一化-LReLU激活的形式构建,最后一个全连接层采用全连接-Sigmoid激活的形式构建;
根据生成器生成结果和真实结果,计算损失,定义生成向量生成网络的损失如下:
其中:x表示真实向量,z表示判别器网络的输入量,即像素坐标(c,r)和矩阵G表示生成器的映射,G(z)表示生成的生成向量,D表示判别器的映射,D(x)表示判别器对真实向量的判别结果,D(G(z))表示判别器对生成向量的判别结果,两个判别结果均为向量的真实性概率,Ex和Ey则分别表示这两个判别结果的均值;
在生成向量生成网络中额外定义L1损失,用以表示生成器网络生成的向量起点(x'b,y'b,z'b)到铁板的距离如下:
其中,Ag、Bg、Cg、Dg为真实平面方程的系数;
整个生成向量生成网络的总损失函数为:
其中λ表示L1损失的权重;
生成向量生成网络最终的优化目标表示为:
优选的,步骤S51具体如下:
训练开始前,通过步骤S4采集标定数据,并将其作为训练数据;
训练时,对构建好的生成向量生成网络设置训练的超参数和训练条件如下:
设置初始学习率为H,批处理的样本量为s对;
设置所述L1损失的权重λ为f;
训练所用的优化方法为梯度下降法,借助Pytorch库中的AdamOptimizer优化器对网络模型参数和待优化的标定参数(Al,Bl,Cl,Dl,Rx,Ry,Rz,dx,dy,dz)进行优化,并保存优化后的生成器网络模型。
本发明相对于现有技术具有如下的优点及效果:
(1)本发明通过建立精确的标定模型,并将结构光标定和手眼标定进行整合,将标定问题转化为标定参数的优化问题,避免了标定过程中误差的累积。通过采集标定数据,采用半监督学习式的对抗生成网络对标定参数进行优化,得到了精确的像素坐标系到机器人腕关节坐标系的转换关系;
(2)本发明通过嵌入式工业控制器进行后续的通讯、计算和处理,装置结构简单,***易于维护,通过嵌入式工业控制器实现数据的自动采集和处理,能有效提高数据处理的效率;
(3)解决了焊接机器人标定精度和效率低下的问题,节省了大量时间,并且提高了标定精度。
附图说明
图1是本发明实施例的焊接机器人的焊缝跟踪***总体结构示意图;
图2是本发明实施例的焊接机器人的焊缝跟踪***中的激光视觉传感器的结构示意图;
图3是本发明实施例的标准标定板结构图;
图4是本发明实施例的焊接机器人的各个坐标系示意图;
图5是本发明实施例的相机坐标系与激光平面坐标系的转换示意图;
图6是本发明实施例的生成对抗网络的优化示意图;
图中:1-焊接机器人;2-铁板;3-焊枪;4-激光传感器外连接件;5-激光视觉传感器;51-传感器外壳;52-相机;53-透光性隔板;54-激光发生器;6-工作台;7-嵌入式工控机;8-控制柜;9-标准标定板。
具体实施方式
下面结合实施例及附图对本发明作进一步的详细描述,但本发明的实施方式不限于此。
如图1、图2所示,本实施的一种焊接机器人激光视觉***标定优化方法,该方法基于的焊缝跟踪***包括焊接机器人1、焊枪3、激光视觉传感器5、激光视觉传感器外连接件4、工作台6、嵌入式工控机7、控制柜8、铁板2、标准标定板9;外连接件4是螺栓螺母连接件,所述铁板2和标准标定板9放置在工作台6上;激光视觉传感器5固定安装在焊枪3末端,所述焊枪3通过焊枪夹持装置,该装置包括夹具固定座、螺栓螺母,将焊枪3放置于夹具固定座中,采用螺栓螺母紧固连接,安装在焊接机器人1末端上,嵌入式工控机7通过以太网线与激光视觉传感器5相连,嵌入式工控机7通过以太网线与控制柜8相连,控制柜8和焊接机器人1。激光视觉传感器5和焊枪3通过焊接机器人1的运动而改变空间位置;所述激光视觉传感器5包括黑色氧化处理的传感器外壳51、工业相机52、透光性隔板53、激光发生器54;所述工业相机52和激光发生器54固定在传感器外壳51内;所述透光性隔板53固定在传感器外壳51上且位于所述工业相机52和激光发生器54(激光发生器54通过螺栓螺母与传感器外壳51紧固连接,与工业相机52之间成30°的夹角。
如图4所示,一种焊接机器人激光视觉***标定优化方法,包括以下步骤:
S1、建立结构光标定模型,确定结构光标定模型中待优化的参数,具体包括以下步骤:
S11、建立像素坐标系与相机坐标系的转换关系,具体包括以下步骤:
S111、如图3所示,采用36mm×36mm标准标定板,采用张正友标定法标定工业相机,获取工业相机的内参数(Sx,Sy,f,K,Cx,Cy)并保存。其中,Sx和Sy分别表示CMOS芯片上水平相邻和垂直相邻的两个感光源的距离,f表示相机的焦距,K表示相机的扭曲系数,(Cx,Cy)表示光轴和感光芯片交点的像素坐标。
S112、通过激光线上一点P的像素坐标下的坐标(c,r)到相机三维坐标系下的坐标(xc,yc,zc),公式为:
S12、如图5所示,建立相机坐标系与激光平面坐标系的转换关系,具体包括以下步骤:
S121、任意取相机坐标系下ZC轴正方向上两点(此处取相机原点Oc(0,0,0),Jc(0,0,100))。将点Jc和点Oc投影到激光平面上,得到投影点J'C(xjp,yjp,zjp)和O'C(xop,yop,zop),点到平面的投影公式如下:
其中,t=Alx0+Bly0+Clz0+1/Al 2+Bl 2+Cl 2,(x0,y0,z0)表示投影前的点的坐标,(xp,yp,zp)表示投影后的点的坐标;
S122、令投影点O'C与激光平面坐标系的原点OL重合。由J'C和O'C两点建立ZL轴正方向上的一个向量Z(xjp-xop,yjp-yop,zjp-zop),并对其单位化得到单位向量ZL;
S123、YL轴正方向上的一个向量为平面法向量Y(A,B,C),对其单位化得到单位向量YL;
S124、将向量ZL和YL正交,得到向量XL。由XL,YL,ZL构建出激光平面坐标系;
S128、因此,相机坐标系到激光平面坐标系的转换关系被建立。相机坐标系下点P坐标(xc,yc,zc)转换到激光坐标系下的坐标(xl,0,zl)的公式为:
S2、建立手眼标定模型,确定手眼标定模型中待优化的参数,具体包括以下步骤:
其中,为激光平面坐标系到机器人腕关节坐标系的旋转矩阵,为激光平面坐标系到机器人腕关节坐标系的平移向量,的展开式用r11,r12,...,r33表示,的展开式用dx,dy,dz表示,其中r11~r33表示旋转矩阵的元素值。
S22、激光坐标系下的坐标下点P(xl,0,zl)转换到腕关节坐标系坐标(xw,yw,zw)的公式为:
其中yl=0,故可以简化为:
S24、若求得精确的旋转角度Rx,Ry,Rz和平移向量系数dx,dy,dz,即可建立机器人腕关节与激光平面之间的转换关系,即建立了手眼标定模型。因此,旋转角度Rx,Ry,Rz和平移向量系数dx,dy,dz为手眼标定模型中待优化的参数。
S3、建立腕关节坐标系和机器人基坐标的转换关系,具体包括以下步骤:
S31、腕关节坐标系下点P坐标(xw,yw,zw)转换到机器人基坐标下的坐标(xb,yb,zb)的公式为:
其中,在焊接机器人***中,机器人腕关节坐标系与机器人基坐标系之间的转换关系是通过机器人内部的控制器标定算法得到的,Δx,Δy,Δz为模型修正项。由于机器人运动学中的参数的不确定性,造成了机器人末端存在着位姿误差。因此,需要添加模型修正项进行修正和补偿,以使得机器人的运动更为准确。模型修正项往往是根据经验人工设计的,可信度和准确率较低。因此将Δx,Δy,Δz作为待优化的标定参数。通过海量的数据优化得到模型修正项Δx,Δy,Δz,大大提高其可信度和准确率。
S41、在焊接机器人的示教模式下用焊枪尖定位铁板上的三个点:示教起点(x1,y1,z1)、示教终点(x2,y2,z2)和第三个点(x3,y3,z3),存储这三个点的数据;
S42、示教焊接机器人从示教起点运动到示教终点,同时在运动过程中,激光视觉传感器的工业相机将连续采集的每一帧图像发送至所述嵌入式工控机进行像素提取,存储提取到的激光线上的像素坐标(c,r),控制柜传回机器人腕关节坐标系与机器人基坐标系之间的转换关系到嵌入式工控机;
S43、由步骤S41采集的三个点得到铁板平面的法向量G(Ag,Bg,Cg),将该向量作为真实向量,公式为:
S43、重复步骤41和步骤42,采集10组标定数据,分别将铁板不同的位置和姿态放置于工作台上,使得这些位姿覆盖了机器人运动范围的大部分。
S5、采用步骤S4采集的标定数据训练生成对抗网络,对待优化的参数进行优化,得到精确的标定关系,具体包括以下步骤:
S51、如图6所示,构建基于生成对抗网络的生成向量生成网络;
S52、对步骤S51所构建的网络进行训练,并保存训练好的网络模型参数;
具体而言,步骤S51中,所述的生成向量生成网络主要由两部分组成,分别是生成器网络和判别器网络;生成器网络目的是获得生成向量与对应的真实向量之间的映射关系,从而生成生成向量;判别器网络的输入为真实向量或所述生成器生成的生成向量,用于判别向量来源于训练数据还是合成数据的;生成器和判别器形成对抗关系,从而使得生成器生成的生成向量与之对应的真实向量越来越接近;
所述生成器网络采用步骤S1-步骤S3的标定模型,即输入步骤S4采集到的标定数据像素坐标值(c,r)和转换矩阵经过步骤S1的结构光标定模型、步骤S2的手眼标定模型和步骤S3的腕关节坐标系和机器人基坐标的转换关系,得到生成的基坐标值(x'b,y'b,z'b),该点与其对应的组的示教起点(x1,y1,z1)、示教终点(x2,y2,z2)构成的平面的法向量P(Ap,Bp,Cp),即得到生成向量;
所述判别器网络主要由2个一维卷积层和3个全连接层组成,具体结构如下:
对于2个卷积层,采用卷积—批归一化—LReLU激活的结构搭建,其卷积核的大小为1×2,滑动步长设置为1;对于前2个全连接层,采用全连接-批归一化-LReLU激活的形式构建。最后1个全连接层采用全连接-Sigmoid激活的形式构建;
根据生成器生成结果和真实结果,计算损失,定义对抗网络的损失如下:
其中:x表示真实向量,z表示判别器网络的输入量,即像素坐标(c,r)和矩阵G表示生成器的映射,G(z)表示生成的生成向量,D表示判别器的映射,D(x)表示判别器对真实向量的判别结果,D(G(z))表示判别器对生成向量的判别结果,两个判别结果均为向量的真实性概率,Ex和Ey则分别表示这两个判别结果的均值;
在生成向量生成网络中额外定义L1损失,用以表示生成器网络生成的向量起点(x'b,y'b,z'b)到铁板的距离如下:
其中,Ag,Bg,Cg,Dg为真实平面方程的系数。
得到整个网络的总损失函数为:
其中λ表示L1损失的权重;
网络最终的优化目标表示为:
具体而言,步骤S52中,所述的对步骤S51所构建的网络进行训练,并保存训练好的网络模型参数具体如下:
训练开始前,通过步骤S4获得标定数据,并将其作为训练数据;
训练时,对构建好的生成向量生成网络设置训练的超参数和训练条件如下:
设置初始学习率为0.001,批处理的样本量为200对;
设置所述L1损失的权重λ为0.01;
训练所用的优化方法为梯度下降法,借助Pytorch库中的AdamOptimizer优化器对网络模型参数和待优化的标定参数(Al,Bl,Cl,Dl,Rx,Ry,Rz,dx,dy,dz)进行优化,并保存优化后的生成器网络模型。
本实施例通过建立精确的标定模型,并将结构光标定和手眼标定进行整合,将标定问题转化为标定参数的优化问题,避免了标定过程中误差的累积。通过采集标定数据,采用半监督学习式的对抗生成网络对标定参数进行优化,得到了精确的像素坐标系到机器人腕关节坐标系的转换关系。
上述实施例为本发明较佳的实施方式,但本方明的实施方式并不受上述实施例的限制,其他的任何背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (9)
1.一种焊接机器人激光视觉***标定优化方法,该方法基于的焊缝跟踪***包括焊接机器人、铁板、焊枪、激光传感器外连接件、激光视觉传感器、工作台、嵌入式工控机、控制柜、标准标定板,其特征在于,所述方法包括以下步骤:
S1、建立结构光标定模型,确定结构光标定模型中待优化的参数;
S2、建立手眼标定模型,确定手眼标定模型中待优化的参数;
S3、建立腕关节坐标系和机器人基坐标的转换关系;
S41、在焊接机器人的示教模式下用焊枪尖定位铁板上的三个点:示教起点(x1,y1,z1)、示教终点(x2,y2,z2)和第三个点(x3,y3,z3),存储这三个点的数据;
S42、示教焊接机器人从示教起点运动到示教终点,同时在运动过程中,激光视觉传感器的工业相机将连续采集的每一帧图像发送至所述嵌入式工控机进行像素提取,存储提取到的激光线上的像素坐标(c,r),控制柜传回机器人腕关节坐标系与机器人基坐标系之间的转换关系到嵌入式工控机;
S43、由步骤S41采集的三个点得到铁板平面的法向量G(Ag,Bg,Cg),将该向量作为真实向量,公式为:
S44、重复步骤41和步骤42,采集n组标定数据,分别将铁板不同的位置和姿态放置于工作台上,使得这些位姿覆盖机器人运动范围;
S5、采用步骤S4采集的标定数据训练生成向量生成网络,对待优化的参数进行优化,得到标定关系。
2.根据权利要求1所述的焊接机器人激光视觉***标定优化方法,其特征在于,所述步骤S1具体包括:
S11、建立像素坐标系与相机坐标系的转换关系;
S12、建立相机坐标系与激光平面坐标系的转换关系。
3.根据权利要求2所述的焊接机器人激光视觉***标定优化方法,其特征在于,所述步骤S11具体包括:
S111、采用36mm×36mm标准标定板,采用张正友标定法标定工业相机,获取工业相机的内参数(Sx,Sy,f,K,Cx,Cy)并保存,其中,Sx和Sy分别表示CMOS芯片上水平相邻和垂直相邻的两个感光源的距离,f表示相机的焦距,K表示相机的扭曲系数,(Cx,Cy)表示光轴和感光芯片交点的像素坐标;
S112、通过结构光标定算法获得激光线上一点P的像素坐标下的坐标(c,r)到相机三维坐标系下的坐标(xc,yc,zc),公式为:
4.根据权利要求3所述的焊接机器人激光视觉***标定优化方法,其特征在于,所述步骤S12具体包括以下步骤:
S121、任意取相机坐标系下ZC轴正方向上两点Oc、Jc,将点Jc和点Oc投影到激光平面上,得到投影点J'C(xjp,yjp,zjp)和O'C(xop,yop,zop),点到平面的投影公式如下:
其中,t=Alx0+Bly0+Clz0+1/(Al 2+Bl 2+Cl 2),(x0,y0,z0)表示投影前的点的坐标,(xp,yp,zp)表示投影后的点的坐标;
S122、令投影点O'C与激光平面坐标系的原点OL重合,由投影点J'C和O'C两点建立ZL轴正方向上的一个向量Z(xjp-xop,yjp-yop,zjp-zop),并对其单位化得到单位向量ZL;
S123、YL轴正方向上的一个向量为平面法向量Y(A,B,C),对其单位化得到单位向量YL;
S124、将向量ZL和YL正交,得到向量XL,由XL、YL、ZL构建出激光平面坐标系;
S128、相机坐标系下点P坐标(xc,yc,zc)转换到激光坐标系下的坐标(xl,0,zl)的公式为:
5.根据权利要求4所述的焊接机器人激光视觉***标定优化方法,其特征在于,所述步骤S2具体包括:
其中,为激光平面坐标系到机器人腕关节坐标系的旋转矩阵,为激光平面坐标系到机器人腕关节坐标系的平移向量,的展开式用r11,r12,...,r33表示,的展开式用平移向量系数dx,dy,dz表示,其中r11~r33表示旋转矩阵的元素值;
S22、激光坐标系下的坐标下点P(xl,0,zl)转换到腕关节坐标系坐标(xw,yw,zw)的公式为:
其中yl=0,故简化为:
S24、通过旋转角度Rx,Ry,Rz和平移向量系数dx,dy,dz,建立机器人腕关节与激光平面之间的转换关系,即建立手眼标定模型,其中,旋转角度Rx,Ry,Rz和平移向量系数dx,dy,dz为手眼标定模型中待优化的参数。
8.根据权利要求7所述的焊接机器人激光视觉***标定优化方法,其特征在于:所述生成向量生成网络包括生成器网络和判别器网络;所述生成器网络获得生成向量与对应的真实向量之间的映射关系,从而生成生成向量;所述判别器网络的输入为真实向量或所述生成器网络生成的生成向量,用于判别向量来源于训练数据还是合成数据的;生成器和判别器形成对抗关系,从而使得生成器生成的生成向量与之对应的真实向量越来越接近;
所述生成器网络输入步骤S4采集到的标定数据像素坐标值(c,r)和转换矩阵经过步骤S1的结构光标定模型、步骤S2的手眼标定模型和步骤S3的腕关节坐标系和机器人基坐标的转换关系,得到生成的基坐标值(x'b,y'b,z'b),获取该点与其对应的组的示教起点(x1,y1,z1)、示教终点(x2,y2,z2)构成的平面的法向量P(Ap,Bp,Cp),得到生成向量;
所述判别器网络包括a个一维卷积层和b个全连接层,具体结构如下:
对于a个卷积层,采用卷积—批归一化—LReLU激活的结构搭建,其卷积核的大小为1×2,滑动步长设置为1;对于前2个全连接层,采用全连接-批归一化-LReLU激活的形式构建,最后一个全连接层采用全连接-Sigmoid激活的形式构建;
根据生成器生成结果和真实结果,计算损失,定义生成向量生成网络的损失如下:
其中:x表示真实向量,z表示判别器网络的输入量,即像素坐标(c,r)和矩阵G表示生成器的映射,G(z)表示生成的生成向量,D表示判别器的映射,D(x)表示判别器对真实向量的判别结果,D(G(z))表示判别器对生成向量的判别结果,两个判别结果均为向量的真实性概率,Ex和Ez则分别表示这两个判别结果的均值;
在生成向量生成网络中额外定义L1损失,用以表示生成器网络生成的向量起点(x'b,y'b,z'b)到铁板的距离如下:
其中,Ag、Bg、Cg、Dg为真实平面方程的系数;
整个生成向量生成网络的总损失函数为:
其中λ表示L1损失的权重;
生成向量生成网络最终的优化目标表示为:
9.根据权利要求8所述的焊接机器人激光视觉***标定优化方法,其特征在于:步骤S51具体如下:
训练开始前,通过步骤S4采集标定数据,并将其作为训练数据;
训练时,对构建好的生成向量生成网络设置训练的超参数和训练条件如下:
设置初始学习率为H,批处理的样本量为s对;
设置所述L1损失的权重λ为f;
训练所用的优化方法为梯度下降法,借助Pytorch库中的AdamOptimizer优化器对网络模型参数和待优化的标定参数(Al,Bl,Cl,Dl,Rx,Ry,Rz,dx,dy,dz)进行优化,并保存优化后的生成器网络模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110130499.8A CN112935650B (zh) | 2021-01-29 | 2021-01-29 | 一种焊接机器人激光视觉***标定优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110130499.8A CN112935650B (zh) | 2021-01-29 | 2021-01-29 | 一种焊接机器人激光视觉***标定优化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112935650A CN112935650A (zh) | 2021-06-11 |
CN112935650B true CN112935650B (zh) | 2023-01-06 |
Family
ID=76240193
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110130499.8A Active CN112935650B (zh) | 2021-01-29 | 2021-01-29 | 一种焊接机器人激光视觉***标定优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112935650B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114952168A (zh) * | 2022-05-27 | 2022-08-30 | 沪东中华造船(集团)有限公司 | 一种液货舱围护***复合穹ap5连接件装焊方法 |
CN114769800B (zh) * | 2022-06-20 | 2022-09-27 | 中建五洲工程装备有限公司 | 一种用于焊接过程的智能运行控制***与方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103177442A (zh) * | 2013-03-04 | 2013-06-26 | 北京邮电大学 | 一种无重叠视场的相机与二维激光的标定方法 |
CN106066185B (zh) * | 2016-05-24 | 2018-05-15 | 华南理工大学 | 一种面向焊缝跟踪的线激光传感器自动标定装置及方法 |
CN108098762A (zh) * | 2016-11-24 | 2018-06-01 | 广州映博智能科技有限公司 | 一种基于新型视觉引导的机器人定位装置及方法 |
CN106839979B (zh) * | 2016-12-30 | 2019-08-23 | 上海交通大学 | 激光线结构光传感器的手眼标定方法 |
CN108088390B (zh) * | 2017-12-13 | 2019-12-03 | 浙江工业大学 | 一种焊接检测中基于双目线结构光的光条中心三维坐标获取方法 |
CN108972544A (zh) * | 2018-06-21 | 2018-12-11 | 华南理工大学 | 一种视觉激光传感器固定于机器人的手眼标定方法 |
CN109658457B (zh) * | 2018-11-02 | 2021-09-17 | 浙江大学 | 一种激光与相机任意相对位姿关系的标定方法 |
CN110000785B (zh) * | 2019-04-11 | 2021-12-14 | 上海交通大学 | 农业场景无标定机器人运动视觉协同伺服控制方法与设备 |
CN110136208B (zh) * | 2019-05-20 | 2020-03-17 | 北京无远弗届科技有限公司 | 一种机器人视觉伺服***的联合自动标定方法及装置 |
CN111299763B (zh) * | 2020-02-28 | 2021-09-21 | 华南理工大学 | 一种抗噪声干扰的激光视觉焊缝自动跟踪方法及*** |
CN111336948B (zh) * | 2020-03-02 | 2021-11-02 | 武汉理工大学 | 基于成像平面转换的非标定手持式廓形检测方法及装置 |
-
2021
- 2021-01-29 CN CN202110130499.8A patent/CN112935650B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112935650A (zh) | 2021-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112935650B (zh) | 一种焊接机器人激光视觉***标定优化方法 | |
CN108818535B (zh) | 机器人3d视觉手眼标定方法 | |
US10974393B2 (en) | Automation apparatus | |
CN111745267A (zh) | 一种基于激光位移传感器的坡口焊缝实时跟踪***及方法 | |
TWI408486B (zh) | 具動態校正的攝影機及其動態校正方法 | |
CN114571153B (zh) | 一种基于3d点云的焊缝识别与机器人焊缝跟踪方法 | |
CN110253574B (zh) | 一种多任务机械臂位姿检测和误差补偿方法 | |
CN206561226U (zh) | 一种激光视觉引导的焊接轨迹自动跟踪*** | |
CN111299762B (zh) | 一种分离强噪声干扰的激光实时焊缝跟踪方法 | |
CN114519738A (zh) | 一种基于icp算法的手眼标定误差修正方法 | |
CN111299763B (zh) | 一种抗噪声干扰的激光视觉焊缝自动跟踪方法及*** | |
JP2007319938A (ja) | ロボット装置及び物体の三次元形状の取得方法 | |
CN102818524A (zh) | 一种基于视觉测量的在线机器人参数校准方法 | |
CN112907679A (zh) | 基于视觉的机器人重复定位精度测量方法 | |
CN114571160A (zh) | 一种离线的曲面焊缝提取和姿态估计方法 | |
CN114536346B (zh) | 一种基于人机协作和视觉检测的机械臂精确路径规划方法 | |
CN111986267A (zh) | 一种多相机视觉***的坐标***标定方法 | |
JP4572497B2 (ja) | ロボット制御装置 | |
JP2007533963A (ja) | 物体の3d位置の非接触式光学的測定方法及び測定装置 | |
KR101972432B1 (ko) | 레이저비전 센서 및 그 보정방법 | |
CN114627166A (zh) | 基于点云配准icp算法的机器人云台伺服控制方法 | |
CN113103238A (zh) | 一种基于数据优化的手眼标定方法 | |
JP2019126705A (ja) | 3次元画像処理の装置及び方法 | |
Behera et al. | A hybrid neural control scheme for visual-motor coordination | |
CN116652934A (zh) | 一种基于双目视觉的火箭贮箱检测双机器人路径规划方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |