CN111299761A - 一种焊缝跟踪***的实时姿态估计方法 - Google Patents
一种焊缝跟踪***的实时姿态估计方法 Download PDFInfo
- Publication number
- CN111299761A CN111299761A CN202010131645.4A CN202010131645A CN111299761A CN 111299761 A CN111299761 A CN 111299761A CN 202010131645 A CN202010131645 A CN 202010131645A CN 111299761 A CN111299761 A CN 111299761A
- Authority
- CN
- China
- Prior art keywords
- welding
- weld
- real
- workpiece
- coordinate values
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003466 welding Methods 0.000 title claims abstract description 207
- 238000000034 method Methods 0.000 title claims abstract description 55
- 239000013598 vector Substances 0.000 claims description 70
- 230000006870 function Effects 0.000 claims description 36
- 230000036544 posture Effects 0.000 claims description 32
- 230000000877 morphologic effect Effects 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 31
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000004260 weight control Methods 0.000 claims description 3
- BULVZWIRKLYCBC-UHFFFAOYSA-N phorate Chemical compound CCOP(=S)(OCC)SCSCC BULVZWIRKLYCBC-UHFFFAOYSA-N 0.000 description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000007789 gas Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000001681 protective effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- FPIGOBKNDYAZTP-UHFFFAOYSA-N 1,2-epoxy-3-(4-nitrophenoxy)propane Chemical compound C1=CC([N+](=O)[O-])=CC=C1OCC1OC1 FPIGOBKNDYAZTP-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/12—Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
- B23K9/127—Means for tracking lines during arc welding or cutting
- B23K9/1272—Geometry oriented, e.g. beam optical trading
- B23K9/1274—Using non-contact, optical means, e.g. laser means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Robotics (AREA)
- Optics & Photonics (AREA)
- Geometry (AREA)
- Plasma & Fusion (AREA)
- Manipulator (AREA)
- Numerical Control (AREA)
Abstract
本发明公开了一种焊缝跟踪***的实时姿态估计方法,包括以下步骤:S1、激光视觉传感器中的工业相机先采集焊缝图像并发送到嵌入式工控机,将两像素坐标值转换为焊接机器人基坐标系下的三维坐标值;S2、工业相机将连续采集的图像发送至所述嵌入式工控机,采集图像中焊缝特征点和焊缝两侧交叉点的像素坐标值,利用点云数据计算得到焊接机器人的位置和姿态;S3、将位置和姿态与当前焊接机器人的位置和姿态作差,并发送给机器人控制柜,控制柜输出控制信号传输给焊接机器人。本发明能使得焊接机器人较好地适应于各种焊接工况,在强烈弧光、飞溅等强噪声的干扰下依然能实现精确的焊缝姿态估计,进而提高了焊缝质量。
Description
技术领域
本发明属于焊接机器人焊缝跟踪领域,特别涉及一种焊缝跟踪***的实时姿态估计方法。
背景技术
现在的焊接机器人基本上都是在焊接之前先进行示教,让机器人每次都走一个固定的轨迹,这种方式有一个好处就是重复精度高,运动轨迹不需要修正,但是,该方法有一个致命的缺陷就是不够随机应变,不够灵活,当需要焊接的工件加工精度比较差。
实时的焊缝跟踪***以及从图像处理得到的坐标转换成机器人相应的运动是当前焊接机器人焊接过程中亟待解决的问题,国内外的很多学者围绕目标跟踪算法、相应的图像处理、标定算法和机器人实时通讯***进行了深入细致的研究。经过学者们细致地研究,目前在一定程度上能够实现自动焊接焊缝。但是,在如上研究中,很多学者仅仅考虑到将焊接工件平放装夹这一单一的焊接工况,在焊接过程中机器人姿态并无改变。然而在实际焊接中,焊接工件存在着各种复杂的焊接工况,机器人的姿态也应实时做出调整,故对焊接工件进行实时姿态估计至关重要。
N点透视(PNP)问题是姿态估计领域的经典问题。为解决此问题,Lepetit提出了一种N点透视问题的精确解(EPNP),世界坐标系下的三维点由4个控制点线性组合,联立三维点求解3D姿态。Dementhon提出了比例正交投影迭代变换算法(POSIT),通过输入非共面四点的三维坐标和对应图像的二维坐标,进行透视投影变换并进行迭代求得旋转矩阵和平移向量,进而估算出物体的3D姿态。如上姿态估计算法虽然实现了对物体的实时姿态估计,但是均是在无噪声环境下实现的。在焊接过程中,存在着强弧光飞溅等强噪声的干扰,导致了焊接工件的实时姿态估计难度大大提升。在如上算法的启发下,提出了一种焊缝跟踪***的实时姿态估计方法,通过实时获取焊接工件的点云数据进而实现焊缝的实时姿态估计。为了在强噪声的焊接环境下实时准确地获取点云数据,采用高效卷积操作滤波器跟踪算法(ECO)和形态学交叉法。
Martin Danelljan等人提出了连续型卷积操作滤波器算法(CCOT)跟踪算法,使用深度神经网络VGG-net提取特征,通过立方插值,将不同分辨率的特征图插值到连续空间域,再应用黑塞(Hessian)矩阵可以求得亚像素精度的目标位置。考虑到更新参数众多影响实时性,且大多滤波器贡献都不大,原作者提出了高效卷积操作滤波器跟踪算法,并作了改进:通过引入因式分解的卷积算子减少模型的训练参数,只保留贡献较大的滤波器参数。此外,通过每隔Ns帧更新一次模型,节约时间且避免了模型的漂移。高效卷积操作滤波器跟踪算法能在维持原有精度的情况下,准确定位焊缝特征点,大大提高跟踪速度,满足焊缝跟踪***实时焊接的需求。
形态学交叉法通过阈值分割、形态学处理、区域选择、骨架提取、提取交叉点等一系列操作提取交叉点。该方法稳定且速度较快,满足焊缝跟踪***实时焊接的需求。
因此,为了解决在强噪声干扰的焊接环境下对焊接工件进行实时姿态估计的问题,研究了点云姿态估计算法并结合了高效卷积操作滤波器跟踪算法、形态学交叉法,并设计了焊接机器人进行焊缝姿态估计实验,本发明依此提出。
发明内容
本发明的目的在于克服现有技术的缺点与不足,提供一种焊缝跟踪***的实时姿态估计方法,解决了现有的焊接机器人不能适应于各种焊接工况以及焊接质量、精度不高的问题。
本发明至少通过如下技术方案之一实现。
一种焊缝跟踪***的实时姿态估计方法,该方法基于的焊缝跟踪***包括焊接机器人、焊枪、激光视觉传感器、激光视觉传感器外连接件、工作台、支撑垫块、配套焊接设备、嵌入式工控机、控制柜、工件,该方法包括步骤:
S1、焊接开始前,将工件放置于支撑垫块上,在执行每次焊接前,调节支撑垫块的角度,使得工件具有不同的初始姿态,并采用G型夹具装夹固定,保证焊接机器人能在不同的焊接工况下进行焊接;激光视觉传感器中的工业相机先采集焊缝图像并发送到嵌入式工控机,所述嵌入式工控机对采集的图像进行初始化处理得到初始焊缝特征点的像素坐标值,采用形态学交叉法得到焊缝两侧交叉点的像素坐标值,将两像素坐标值转换为焊接机器人基坐标系下的三维坐标值;
S2、焊接开始后,所述激光视觉传感器的工业相机将连续采集的每一帧图像发送至所述嵌入式工控机,采集图像中焊缝特征点和焊缝两侧交叉点的像素坐标值,将两像素坐标值转换成焊接机器人基坐标系下的三维坐标值并保存为点云数据,利用保存的点云数据计算得到焊接机器人的位置和姿态;
S3、将步骤S2得到的焊接机器人的位置和姿态与当前焊接机器人的位置和姿态作差,将得到的偏差实时发送给机器人控制柜,控制柜输出控制信号传输给焊接机器人,使焊枪末端的焊丝沿着工件的焊缝运动,完成焊缝跟踪***的实时姿态估计。
进一步地,所述步骤S1具体包括:
S11、焊接开始前,在每种焊接工况下,调整焊接机器人机械臂的位置,使得固定在焊枪上的激光视觉传感器处于最佳工作位置,即在焊接过程中既能捕捉到清晰的图像,又不会使得激光视觉传感器和工件发生干涉;
S12、激光视觉传感器中的工业相机采集图像并发送到嵌入式工控机,嵌入式工控机通过调用Halcon软件的库函数进行阈值处理、形态学修正的初始化处理,得到初始的焊缝特征点的像素坐标值,将此初始焊缝特征点作为高效卷积操作滤波器跟踪算法的初始目标;同时,嵌入式工控机通过调用Halcon软件的库函数进行形态学交叉,即通过阈值分割、形态学处理、区域选择、骨架提取、提取交叉点的一系列操作得到焊缝两侧交叉点的像素坐标值;
S13、通过标定算法,将得到的初始焊缝特征点和焊缝两侧交叉点的像素坐标值转换成焊接机器人基坐标系下的三维坐标值。
进一步地,所述步骤S2具体包括:
S21、焊接开始后激光视觉传感器的相机以60fps的采样频率连续采集图像,并发送至嵌入式工控机进行处理;
S22、将采集图像中焊缝特征点和焊缝两侧交叉点的像素坐标值为对当前帧图像采用高效卷积操作滤波器跟踪算法处理,进行目标跟踪定位确定图像中焊缝特征点的像素坐标值,同时进行形态学交叉确定图像中焊缝两侧交叉点的像素坐标值;
S23、通过标定算法,将得到的初始焊缝特征点和焊缝两侧交叉点的像素坐标值转换成焊接机器人基坐标系下的三维坐标值;
S24、将采集的数据保存为点云,通过构建点云数据、实时构建工件坐标系、获取旋转角度,得到焊接机器人的位置和姿态。
进一步地,步骤S22中的高效卷积操作滤波器跟踪算法处理具体包括以下步骤:
S221、以步骤S1提取的初始焊缝特征点为中心的跟踪目标作为第一个训练样本来训练高效卷积操作滤波器跟踪算法的滤波器;
S222、将每一个特征通道通过插值法转换到连续域上:
其中xd即代表特征通道,Nd表示该特征通道里所采样的像素点数,bd表示插值函数,T代表插值后的连续域的范围;Jd{xd}代表插值样本的特征、t表示时间、n表示离散空间变量,n∈{0,…,Nd}、d是每一个特征通道;
S223、高效卷积操作滤波器跟踪算法采用提取插值样本的特征Jd{xd}的子集,从D维的特征中选其中的C维,只使用一组基础滤波器f1,…fC,其中C<D,然后使用一组学习系数pd,c将层数为d的P特征的滤波器构造为滤波器fC的一个线性组合这些系数用维度为D×C的矩阵P=pd,c来表示;新的多通道滤波器写成矩阵向量乘积Pf,此时检测函数为:
其中,J{x}表示整体插值特性映射,J{x}∈RD,符号*表示卷积运算;SPf{x}表示线性卷积算子、f代表滤波器、RD代表实数域、x表示训练样本;
其中,代表对应样本中跟踪算法跟踪到的目标位置,代表正则化参数,||P||F为P的弗罗贝尼乌斯规范正规化,λ为权重控制的参数;E(f,P)代表跟踪的目标函数、代表插值后的特征图、代表滤波器、l代表范数名称,此处采用的是欧式距离、代表每一个滤波器、代表权重系数、
S225、通过古斯-牛顿法解最优化问题,而后对每一帧图像进行滤波器参数的更新。
进一步地,步骤S22中,所述的形态学交叉同步骤S12所述,即嵌入式工控机通过调用Halcon软件的库函数进行形态学交叉,即通过阈值分割、形态学处理、区域选择、骨架提取、提取交叉点的一系列操作得到焊缝两侧交叉点的像素坐标值。
进一步地,所述构建点云数据是采用点、线、面方法,获取焊接工件的点云数据;点、线、面方法是通过高效卷积操作滤波器跟踪算法确定特征点的像素坐标值,形成点;进而采用形态学交叉法确定焊缝两侧交叉点的像素坐标值,形成线;随着焊缝长度的增加,点和线横向扩展形成面,最终构建出了点云数据;
所述实时构建工件坐标系是选取最新的M帧点云数据实时计算单位向量XT、YT、ZT,实时构建工件坐标系;
所述获取旋转角度是通过计算工件坐标系与机器人基坐标的转换矩阵,进而反求出绕x、y、z轴旋转的角度,对应的角度以Rx、Ry、Rz表示,用以实时更新机器人姿态。
进一步地,所述构建工件坐标系包括以下步骤:
S2421、建立单位向量ZT,为了使ZT能够较好地反映在当前焊接工件平面倾斜情况,确保姿态的实时性,在每次建立单位向量ZT时,选取焊缝两侧交叉点点云数据的最新M帧作为数据源,拟合数据源得到点云平面,得到点云平面法向量Z,单位化求得单位向量ZT;使用鲁棒性最小二乘法拟合点云平面,得到点云平面方程,其方程公式如下:
Apx+Bpy+Cpz+Dp=0
其中,Ap、Bp、Cp、Dp代表点云平面方程的系数、x、y、z表示点的三维坐标;
S2422、该点云平面的法向量为Z{Ap,Bp,Cp},为了方便获取机器人基坐标系与工件坐标系之间的转换矩阵,此处将法向量Z单位化,得到单位向量ZT{Apc,Bpc,Cpc},随着跟踪焊缝长度的增加,实时建立一系列的单位向量ZT;
S2423、建立单位向量XT,在每次建立单位向量XT时,选取特征点点云数据的最新M帧作为数据源,将数据源投影到Apx+Bpy+Cpz+Dp=0平面上,得到投影数据源;对投影数据源进行曲线拟合,因工件为圆弧型,故此处采用圆函数对数据进行拟合,得到圆函数方程:
(x-a)2+(y-b)2=R2
其中,a,b分别为圆心的坐标,R为圆的半径;x,y为特征点的坐标;
S2424、选取投影数据源的第末15帧,获取该点坐标处的切向量X,令Apx+Bpy+Cpz+Dp=0、(x-a)2+(y-b)2=R2的数据移至一侧,这两个数据分别设为F(x,y,z)、G(x,y,z),采用隐函数,得切向量X{Dp,Ep,Fp},并进行单位化得到单位向量XT{Dpc,Epc,Fpc}:
x0、y0表示为跟踪的特征点在机器人基坐标系下横坐标和纵坐标;
S2425、随着跟踪焊缝长度的增加,实时建立一系列的单位向量XT;
S2426、通过正交单位向量ZT和单位向量XT,得到向量YT,实时构建出工件坐标系。
进一步地,所述获取旋转角度包括以下步骤:
S2431、已知机器人基坐标系和工件坐标系,将工件坐标系的三个单位向量XT、YT、ZT分别对应投影到机器人基坐标系的三个单位向量XB、YB、ZB,转换矩阵的如下:
其中,XB、YB、ZB分别对应XB{1,0,0},YB{0,1,0},ZB{0,0,1}为机器人基坐标单位向量;
S2432、在X-Y-Z固定角坐标系下,通过转换矩阵得到旋转角Rx,Ry,Rz,即得到焊接机器人姿态,具体如下:
其中,Atan2表示反函数、r11、r21、r31、r32、r33分别表示转换矩阵的参数。
本发明相对于现有技术具有如下的优点及效果:
(1)本发明通过激光视觉传感器自动识别焊缝的特征点和焊缝两侧的交叉点,并通过嵌入式工控机进行后续的通讯、计算和处理,装置结构简单,***易于维护,通过嵌入式工控机实现数据的自动采集和处理,能有效提高数据处理的效率;
(2)本发明自动化程度比较高,能够实现焊缝图像自动实时采集,自动焊接,在各种复杂工况下实现焊缝自动实时姿态估计,大大提高了生产效率。
附图说明
图1是本实施例的焊接机器人的焊缝跟踪***总体结构示示意图;
图2是本实施例的焊接机器人的焊缝跟踪***中的激光视觉传感器的结构示意图;
图3是本实施例的焊缝跟踪***的实时姿态估计方法流程示意图;
图4是本实施例焊缝跟踪***的实时姿态估计方法中的焊接实验典型噪声示意图;
图中:1-配套焊接设备;2-焊接机器人;3-支撑垫块;4-工件;5-焊枪;6-激光传感器外连接件;7-激光视觉传感器;71-传感器外壳;72-相机;73-透光性隔板;74-激光发生器;8-工作台;9-嵌入式工控机;10-控制柜;11-焊缝特征点;12-飞溅;13-焊缝两侧交叉点;14-弧光。
具体实施方式
下面结合实施例及附图对本发明作进一步的详细描述,但本发明的实施方式不限于此。
如图1、图2所示,一种焊缝跟踪***的实时姿态估计方法,该方法基于的焊缝跟踪***,该***包括焊接机器人2、焊枪5、激光视觉传感器7、激光视觉传感器外连接件6(外连接件6是螺栓螺母连接件,将激光视觉传感器7与传感器外壳71相连与固定)、工作台8、支撑垫块3、配套焊接设备1、嵌入式工控机9、控制柜10和工件4;工件4放置在支撑垫块3上,支撑垫块3放置在工作台8上,工件4的倾斜角度可以通过支撑垫块3调节,使得工件4具有不同的姿态,亦使得焊接机器人2焊接时具有不同的焊接工况;激光视觉传感器7固定安装在焊枪5末端,所述焊枪5通过焊枪夹持装置(该装置主要由夹具固定座、螺栓螺母组成,将焊枪5放置于夹具固定座中,采用螺栓螺母紧固连接)安装在焊接机器人2末端上,嵌入式工控机9通过以太网线与激光视觉传感器7相连,焊枪5和配套焊接设备1(焊接设备为焊机和保护气瓶。采用的焊机为安川的MOTOWELD-RD350,用于机器人的送丝和退丝。采用的保护气瓶装着二氧化碳(20%)与氮气(80%),以在焊接过程中起到保护的作用)通过电缆线与焊接电源相连接,嵌入式工控机9通过以太网线与控制柜10相连,控制柜10和焊接机器人2、配套焊接设备1通过电缆线相连;激光视觉传感器7和焊枪5通过焊接机器人2的运动而改变空间位置;所述激光视觉传感器7包括黑色氧化处理的传感器外壳71、工业相机72、透光性隔板73、激光发生器74;所述工业相机72和激光发生器74固定在传感器外壳71内;所述透光性隔板73固定在传感器外壳71上且位于所述工业相机72和激光发生器74(激光发生器74通过螺栓螺母与传感器外壳71紧固连接,与工业相机72之间成30°的夹角)前端;所述的工作台上设置有G型夹具,所述工件4放置于支撑垫块3上,由两个及以上G型夹具进行装夹定位。
如图3所示,一种焊缝跟踪***的实时姿态估计方法,包括以下步骤:
S1、焊接开始前,将工件4放置于支撑垫块上,在执行每次焊接前,调节支撑垫块3的角度,使得工件4具有不同的初始姿态,并采用G型夹具装夹固定,保证焊接机器人2能在不同的焊接工况下进行焊接;激光视觉传感器7中的工业相机72先采集图像并发送到嵌入式工控机9,所述嵌入式工控机9对采集的图像进行初始化处理得到初始焊缝特征点11的像素坐标值,采用形态学交叉法得到焊缝两侧交叉点13的像素坐标值,将两像素坐标值转换为焊接机器人基坐标系下的三维坐标值;
具体而言,所述步骤S1具体包括:
S11、焊接开始前,在每种焊接工况下,调整焊接机器人2机械臂的位置,使得固定在焊枪5上的激光视觉传感器7处于最佳工作位置,即在焊接过程中既能捕捉到清晰地图像(能分辨出图像线条间的区别的图像才是清晰的图像),又不会使得激光视觉传感器7和工件4发生干涉;
S12、激光视觉传感器7中的工业相机72采集图像并发送到嵌入式工控机9,嵌入式工控机9通过调用Halcon软件的库函数进行阈值处理、形态学修正的初始化处理,得到初始的焊缝特征点11的像素坐标值,将此初始焊缝特征点11作为高效卷积操作滤波器跟踪算法的初始目标;同时,嵌入式工控机9通过调用Halcon软件的库函数进行形态学交叉,即通过阈值分割、形态学处理、区域选择、骨架提取、提取交叉点等一系列操作得到焊缝两侧交叉点13的像素坐标值;
S13、通过标定算法,将得到的初始焊缝特征点11和焊缝两侧交叉点13的像素坐标值转换成焊接机器人基坐标系下的三维坐标值。
S2、焊接开始后,所述激光视觉传感器7的工业相机72将连续采集的每一帧图像发送至所述嵌入式工控机9,采集图像中焊缝特征点11和焊缝两侧交叉点13的像素坐标值,将两像素坐标值转换成焊接机器人基坐标系下的三维坐标值并保存为点云数据,利用保存的点云数据得到焊接机器人2的位置和姿态;
具体而言,所述步骤S2具体包括:
S21、焊接开始后激光视觉传感器7的相机72以60fps的采样频率连续采集图像,并发送至嵌入式工控机9进行处理;
S22、所述的采集图像中焊缝特征点11和焊缝两侧交叉点13的像素坐标值为对当前帧图像采用高效卷积操作滤波器跟踪算法处理,进行目标跟踪定位确定图像中焊缝特征点11的像素坐标值,同时进行形态学交叉确定图像中焊缝两侧交叉点13的像素坐标值;
S23、同S13,即通过标定算法,将得到的初始焊缝特征点11和焊缝两侧交叉点13的像素坐标值转换成焊接机器人基坐标系下的三维坐标值;
S24、所述的将采集的数据保存为点云,通过构建点云数据、实时构建工件坐标系、获取旋转角度得到焊接机器人2的位置和姿态。
具体而言,步骤S22中,所述的将特征提取处理后的图像进行高效卷积操作滤波器跟踪算法处理,确定跟踪目标即图像中焊缝特征点11的位置的步骤具体包括:
S221、以S1提取的初始焊缝特征点11为中心的跟踪目标作为第一个训练样本来训练高效卷积操作滤波器跟踪算法的滤波器;
S222、将每一个特征通道通过插值的方法转换到连续域上:
其中xd即代表特征通道,Nd表示该特征通道里所采样的像素点数,bd表示插值函数,T代表插值后的连续域的范围;Jd{xd}代表插值样本的特征、t表示时间、n表示离散空间变量,n∈{0,…,Nd}、d是每一个特征通道;
S223、高效卷积操作滤波器跟踪算法采用了提取插值样本的特征Jd{xd}的子集,从D维的特征中选了其中的C维;高效卷积操作滤波器跟踪算法只使用一组较小的基础滤波器f1,…fC,其中C<D。然后使用一组学习系数pd,c将层数为d的P特征的滤波器构造为滤波器fC的一个线性组合这些系数可以用维度为D×C的矩阵P=pd,c来简明地表示;新的多通道滤波器可以写成矩阵向量乘积Pf,此时检测函数为:
其中,J{x}表示整体插值特性映射,J{x}∈RD,符号*表示卷积运算;SPf{x}表示线性卷积算子、f代表滤波器、RD代表实数域、x表示训练样本;
其中,y代表对应样本中跟踪算法跟踪到的目标位置,代表正则化参数,||P||F为P的弗罗贝尼乌斯规范正规化,λ为权重控制的参数;E(f,P)代表跟踪的目标函数、代表插值后的特征图、代表滤波器、l代表范数名称,此处采用的是欧式距离、代表每一个滤波器、代表权重系数、
S225、通过古斯-牛顿法解最优化问题,而后对每一帧图像进行滤波器参数的更新;
具体而言,步骤S22中,所述的形态学交叉同步骤S12所述,即嵌入式工控机9通过调用Halcon软件的库函数进行形态学交叉,即通过阈值分割、形态学处理、区域选择、骨架提取、提取交叉点等一系列操作得到焊缝两侧交叉点的像素坐标值。
具体而言,所述步骤S24具体包括:
S241、所述的构建点云数据是采用点、线、面方法,获取焊接工件4的点云数据;点、线、面方法是通过高效卷积操作滤波器跟踪算法确定特征点11的像素坐标值,形成点;进而采用形态学交叉法确定焊缝两侧交叉点13的像素坐标值,形成线;随着焊缝长度的增加,点和线横向扩展形成面,最终构建出了点云数据;
S242、所述的实时构建工件坐标系是选取最新30帧点云数据实时计算向量XT、YT、ZT,实时构建工件坐标系;
S243、所述的获取旋转角度是通过计算工件坐标系与机器人基坐标的转换矩阵,进而反求出绕x、y、z轴旋转的角度,下文以Rx,Ry,Rz表示,用以实时更新机器人姿态。
所述步骤S242具体包括:
S2421、建立向量ZT,为了使ZT能够较好地反映在当前焊接工件平面倾斜情况,确保姿态的实时性,在每次建立单位向量ZT时,选取焊缝两侧交叉点点云数据的最新30帧作为数据源,拟合数据源得到点云平面,得到点云平面法向量Z,单位化求得单位向量ZT;使用鲁棒性最小二乘法拟合点云平面,得到点云平面方程,其方程公式如下:
Apx+Bpy+Cpz+Dp=0
其中,Ap、Bp、Cp、Dp代表点云平面方程的系数、x、y、z表示点的三维坐标;
S2422、该点云平面的法向量Z{Ap,Bp,Cp}。为了方便获取机器人基坐标系与工件坐标系之间的转换矩阵,此处将法向量Z单位化,得到单位向量ZT{Apc,Bpc,Cpc};随着跟踪焊缝长度的增加,实时建立了一系列的单位向量ZT;
S2423、建立单位向量XT,在每次建立单位向量XT时,选取特征点点云数据的最新30帧作为数据源,将数据源投影到Apc+Bpy+Cpz+Dp=0平面上,得到投影数据源;对投影数据源进行曲线拟合,因工件为圆弧型,故此处采用圆函数对数据进行拟合,得到圆函数方程:
(x-a)2+(y-b)2=R2
其中,a,b分别为圆心的x,y坐标,R为圆的半径;
S2424、选取投影数据源的第末15帧,获取该点坐标处的切向量X,令Apx+Bpy+Cpz+Dp=0、(x-a)2+(y-b)2=R2的数据移至一侧,分别设为F(x,y,z)、G(x,y,z),采用隐函数的方法,可得切向量X{Dp,Ep,Fp},并进行单位化得到单位向量XT{Dpc,Epc,Fpc}:
x0、y0表示为跟踪的特征点在机器人基坐标系下横坐标和纵坐标;
S2425、随着跟踪焊缝长度的增加,实时建立了一系列的单位向量XT;
S2426、通过正交单位向量ZT和单位向量XT,得到向量YT,实时构建出工件坐标系。
具体而言,所述步骤S243具体包括:
S2431、已知机器人基坐标系和工件坐标系,将工件坐标系的三个单位向量XT、YT、ZT分别对应投影到机器人基坐标系的三个单位向量XB、YB、ZB,转换矩阵的计算如下:
其中,XB{1,0,0},YB{0,1,0},ZB{0,0,1}为机器人基坐标单位向量;
S2432、在X-Y-Z固定角坐标系下,可通过转换矩阵求得到旋转角Rx,Ry,Rz,即求得焊接机器人2姿态,具体如下:
其中,Atan2表示反函数、r11、r21、r31、r32、r33分别表示转换矩阵的参数。
S3、将步骤S2得到的焊接机器人2的位置和姿态与当前焊接机器人2的位置和姿态作差,将得到的偏差实时发送给机器人控制柜10,控制柜10输出控制信号传输给焊接机器人2,使焊枪5末端的焊丝沿着工件的焊缝运动,完成焊缝跟踪***的实时姿态估计。
本实施例能使得焊接机器人较好地适应于各种焊接工况,如图4所示,在强烈弧光14、飞溅12等强噪声的干扰下依然能实现精确的焊缝姿态估计,具有完全自动化,焊接精度高,焊接质量高,实时性好,抗干扰能力强等优点。
上述实施例为本发明较佳的实施方式,但本方明的实施方式并不受上述实施例的限制,其他的任何背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (8)
1.一种焊缝跟踪***的实时姿态估计方法,该方法基于的焊缝跟踪***包括焊接机器人、焊枪、激光视觉传感器、激光视觉传感器外连接件、工作台、支撑垫块、配套焊接设备、嵌入式工控机、控制柜、工件,其特征在于:该方法包括步骤:
S1、焊接开始前,将工件放置于支撑垫块上,在执行每次焊接前,调节支撑垫块的角度,使得工件具有不同的初始姿态,并采用G型夹具装夹固定,保证焊接机器人能在不同的焊接工况下进行焊接;激光视觉传感器中的工业相机先采集焊缝图像并发送到嵌入式工控机,所述嵌入式工控机对采集的图像进行初始化处理得到初始焊缝特征点的像素坐标值,采用形态学交叉法得到焊缝两侧交叉点的像素坐标值,将两像素坐标值转换为焊接机器人基坐标系下的三维坐标值;
S2、焊接开始后,所述激光视觉传感器的工业相机将连续采集的每一帧图像发送至所述嵌入式工控机,采集图像中焊缝特征点和焊缝两侧交叉点的像素坐标值,将两像素坐标值转换成焊接机器人基坐标系下的三维坐标值并保存为点云数据,利用保存的点云数据计算得到焊接机器人的位置和姿态;
S3、将步骤S2得到的焊接机器人的位置和姿态与当前焊接机器人的位置和姿态作差,将得到的偏差实时发送给机器人控制柜,控制柜输出控制信号传输给焊接机器人,使焊枪末端的焊丝沿着工件的焊缝运动,完成焊缝跟踪***的实时姿态估计。
2.根据权利要求1所述的焊缝跟踪***的实时姿态估计方法,其特征在于:所述步骤S1具体包括:
S11、焊接开始前,在每种焊接工况下,调整焊接机器人机械臂的位置,使得固定在焊枪上的激光视觉传感器处于最佳工作位置,即在焊接过程中既能捕捉到清晰的图像,又不会使得激光视觉传感器和工件发生干涉;
S12、激光视觉传感器中的工业相机采集图像并发送到嵌入式工控机,嵌入式工控机通过调用Halcon软件的库函数进行阈值处理、形态学修正的初始化处理,得到初始的焊缝特征点的像素坐标值,将此初始焊缝特征点作为高效卷积操作滤波器跟踪算法的初始目标;同时,嵌入式工控机通过调用Halcon软件的库函数进行形态学交叉,即通过阈值分割、形态学处理、区域选择、骨架提取、提取交叉点的一系列操作得到焊缝两侧交叉点的像素坐标值;
S13、通过标定算法,将得到的初始焊缝特征点和焊缝两侧交叉点的像素坐标值转换成焊接机器人基坐标系下的三维坐标值。
3.根据权利要求1所述的焊缝跟踪***的实时姿态估计方法,其特征在于:所述步骤S2具体包括:
S21、焊接开始后激光视觉传感器的相机以60fps的采样频率连续采集图像,并发送至嵌入式工控机进行处理;
S22、将采集图像中焊缝特征点和焊缝两侧交叉点的像素坐标值为对当前帧图像采用高效卷积操作滤波器跟踪算法处理,进行目标跟踪定位确定图像中焊缝特征点的像素坐标值,同时进行形态学交叉确定图像中焊缝两侧交叉点的像素坐标值;
S23、通过标定算法,将得到的初始焊缝特征点和焊缝两侧交叉点的像素坐标值转换成焊接机器人基坐标系下的三维坐标值;
S24、将采集的数据保存为点云,通过构建点云数据、实时构建工件坐标系、获取旋转角度,得到焊接机器人的位置和姿态。
4.根据权利要求3所述的焊缝跟踪***的实时姿态估计方法,其特征在于:步骤S22中的高效卷积操作滤波器跟踪算法处理具体包括以下步骤:
S221、以步骤S1提取的初始焊缝特征点为中心的跟踪目标作为第一个训练样本来训练高效卷积操作滤波器跟踪算法的滤波器;
S222、将每一个特征通道通过插值法转换到连续域上:
其中xd即代表特征通道,Nd表示该特征通道里所采样的像素点数,bd表示插值函数,T代表插值后的连续域的范围;Jd{xd}代表插值样本的特征、t表示时间、n表示离散空间变量,n∈{0,...,Nd}、d是每一个特征通道;
S223、高效卷积操作滤波器跟踪算法采用提取插值样本的特征Jd{xd}的子集,从D维的特征中选其中的C维,只使用一组基础滤波器f1,...fc,其中C<D,然后使用一组学习系数pd,c将层数为d的P特征的滤波器构造为滤波器fC的一个线性组合这些系数用维度为D×C的矩阵P=pd,c来表示;新的多通道滤波器写成矩阵向量乘积Pf,此时检测函数为:
其中,J{x}表示整体插值特性映射,J{x}∈RD,符号*表示卷积运算;SPf{x}表示线性卷积算子、f代表滤波器、RD代表实数域、x表示训练样本;
其中,代表对应样本中跟踪算法跟踪到的目标位置,代表正则化参数,||P||F为P的弗罗贝尼乌斯规范正规化,λ为权重控制的参数;E(f,P)代表跟踪的目标函数、代表插值后的特征图、代表滤波器、l代表范数名称,此处采用的是欧式距离、代表每一个滤波器、代表权重系数、
S225、通过古斯-牛顿法解最优化问题,而后对每一帧图像进行滤波器参数的更新。
5.根据权利要求3所述的焊缝跟踪***的实时姿态估计方法,其特征在于:步骤S22中,所述的形态学交叉同步骤S12所述,即嵌入式工控机通过调用Halcon软件的库函数进行形态学交叉,即通过阈值分割、形态学处理、区域选择、骨架提取、提取交叉点的一系列操作得到焊缝两侧交叉点的像素坐标值。
6.根据权利要求3所述的焊缝跟踪***的实时姿态估计方法,其特征在于,所述构建点云数据是采用点、线、面方法,获取焊接工件的点云数据;点、线、面方法是通过高效卷积操作滤波器跟踪算法确定特征点的像素坐标值,形成点;进而采用形态学交叉法确定焊缝两侧交叉点的像素坐标值,形成线;随着焊缝长度的增加,点和线横向扩展形成面,最终构建出了点云数据;
所述实时构建工件坐标系是选取最新的M帧点云数据实时计算单位向量XT、YT、ZT,实时构建工件坐标系;
所述获取旋转角度是通过计算工件坐标系与机器人基坐标的转换矩阵,进而反求出绕x、y、z轴旋转的角度,对应的角度以Rx、Ry、Rz表示,用以实时史新机器人姿态。
7.根据权利要求3所述的焊缝跟踪***的实时姿态估计方法,其特征在于,所述构建工件坐标系包括以下步骤:
S2421、建立单位向量ZT,为了使ZT能够较好地反映在当前焊接工件平面倾斜情况,确保姿态的实时性,在每次建立单位向量ZT时,选取焊缝两侧交叉点点云数据的最新M帧作为数据源,拟合数据源得到点云平面,得到点云平面法向量Z,单位化求得单位向量ZT;使用鲁棒性最小二乘法拟合点云平面,得到点云平面方程,其方程公式如下:
Apx+Bpy+Cpz+Dp=0
其中,Ap、Bp、Cp、Dp代表点云平面方程的系数、x、y、z表示点的三维坐标;
S2422、该点云平面的法向量为Z{Ap,Bp,Cp},为了方便获取机器人基坐标系与工件坐标系之间的转换矩阵,此处将法向量Z单位化,得到单位向量ZT{Apc,Bpc,Cpc},随着跟踪焊缝长度的增加,实时建立一系列的单位向量ZT;
S2423、建立单位向量XT,在每次建立单位向量XT时,选取特征点点云数据的最新M帧作为数据源,将数据源投影到Apx+Bpy+Cpz+Dp=0平面上,得到投影数据源;对投影数据源进行曲线拟合,因工件为圆弧型,故此处采用圆函数对数据进行拟合,得到圆函数方程:
(x-a)2+(y-b)2=R2
其中,a,b分别为圆心的坐标,R为圆的半径;x,y为特征点的坐标;
S2424、选取投影数据源的第末15帧,获取该点坐标处的切向量X,令Apx+Bpy+Cpz+Dp=0、(x-a)2+(y-b)2=R2的数据移至一侧,这两个数据分别设为F(x,y,z)、G(x,y,z),采用隐函数,得切向量X{Dp,Ep,Fp},并进行单位化得到单位向量XT{Dpc,Epc,Fpc}:
x0、y0表示为跟踪的特征点在机器人基坐标系下横坐标和纵坐标;
S2425、随着跟踪焊缝长度的增加,实时建立一系列的单位向量XT;
S2426、通过正交单位向量ZT和单位向量XT,得到向量YT,实时构建出工件坐标系。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010131645.4A CN111299761B (zh) | 2020-02-28 | 2020-02-28 | 一种焊缝跟踪***的实时姿态估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010131645.4A CN111299761B (zh) | 2020-02-28 | 2020-02-28 | 一种焊缝跟踪***的实时姿态估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111299761A true CN111299761A (zh) | 2020-06-19 |
CN111299761B CN111299761B (zh) | 2021-09-21 |
Family
ID=71155041
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010131645.4A Expired - Fee Related CN111299761B (zh) | 2020-02-28 | 2020-02-28 | 一种焊缝跟踪***的实时姿态估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111299761B (zh) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111745267A (zh) * | 2020-08-14 | 2020-10-09 | 湘潭大学 | 一种基于激光位移传感器的坡口焊缝实时跟踪***及方法 |
CN112122840A (zh) * | 2020-09-23 | 2020-12-25 | 西安知象光电科技有限公司 | 一种基于机器人焊接的视觉定位焊接***及焊接方法 |
CN112318000A (zh) * | 2020-10-23 | 2021-02-05 | 成都卡诺普自动化控制技术有限公司 | 一种变压器油箱的自适应跟踪焊接方法 |
CN112658520A (zh) * | 2021-01-07 | 2021-04-16 | 成都卡诺普自动化控制技术有限公司 | 用于铁塔脚的船形焊接实现方法、计算机设备、存储介质 |
CN112705886A (zh) * | 2020-12-15 | 2021-04-27 | 广州瑞松智能科技股份有限公司 | 一种在线实时引导的机器人自适应焊接***及方法 |
CN112809130A (zh) * | 2020-12-31 | 2021-05-18 | 鹏城实验室 | 一种智能焊缝检测和轨迹规划方法及*** |
CN113369686A (zh) * | 2021-06-11 | 2021-09-10 | 杭州国辰机器人科技有限公司 | 一种基于二维码视觉示教技术的智能焊接***及方法 |
CN113370213A (zh) * | 2021-06-25 | 2021-09-10 | 成都飞机工业(集团)有限责任公司 | 一种机器人末端执行器的姿态计算方法 |
CN113427168A (zh) * | 2021-05-12 | 2021-09-24 | 广州中国科学院先进技术研究所 | 一种焊接机器人实时焊缝跟踪装置及方法 |
CN113814953A (zh) * | 2021-10-13 | 2021-12-21 | 国网山西省电力公司输电检修分公司 | 一种巡检机器人的履带自动找平方法、***及电子设备 |
CN113814528A (zh) * | 2021-10-11 | 2021-12-21 | 湖北忠和冶金机械制造股份有限公司 | 基于交互式的焊缝曲线提取与自动轨迹生成方法 |
CN113894481A (zh) * | 2021-09-09 | 2022-01-07 | 中国科学院自动化研究所 | 复杂空间曲线焊缝的焊接位姿调整方法及装置 |
CN114571160A (zh) * | 2022-03-09 | 2022-06-03 | 华南理工大学 | 一种离线的曲面焊缝提取和姿态估计方法 |
CN114669835A (zh) * | 2022-01-10 | 2022-06-28 | 湘潭大学 | 基于喷粉式视觉传感的表面强反光工件焊缝位姿提取方法 |
CN114682879A (zh) * | 2022-03-14 | 2022-07-01 | 南京理工大学 | 一种基于目标跟踪的焊缝跟踪方法 |
CN115041771A (zh) * | 2022-07-04 | 2022-09-13 | 华威焊割科技(浙江)有限公司 | 自动行进管道焊接和切割一体式加工设备及其控制方法 |
CN117260100A (zh) * | 2023-11-23 | 2023-12-22 | 江苏恒康电力科技有限公司 | 一种变电站电力设备铁附件智能定位焊接*** |
CN117681205A (zh) * | 2024-01-18 | 2024-03-12 | 武汉孚锐利自动化设备有限公司 | 一种机械臂的感知与校准方法 |
CN117798522A (zh) * | 2024-03-01 | 2024-04-02 | 深圳欧斯普瑞智能科技有限公司 | 基于机器视觉的激光切割头精确定位方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100011585A (ko) * | 2008-07-25 | 2010-02-03 | 삼성중공업 주식회사 | 용접선 추적 장치 |
CN106312397A (zh) * | 2016-10-12 | 2017-01-11 | 华南理工大学 | 一种激光视觉引导的焊接轨迹自动跟踪***及方法 |
CN106392267A (zh) * | 2016-11-28 | 2017-02-15 | 华南理工大学 | 一种六自由度焊接机器人线激光实时焊缝跟踪方法 |
CN107127755A (zh) * | 2017-05-12 | 2017-09-05 | 华南理工大学 | 一种三维点云的实时采集装置及机器人打磨轨迹规划方法 |
CN107649802A (zh) * | 2017-09-28 | 2018-02-02 | 中国东方电气集团有限公司 | 一种激光视觉焊缝跟踪***及标定方法 |
CN107999955A (zh) * | 2017-12-29 | 2018-05-08 | 华南理工大学 | 一种六轴工业机器人线激光焊缝自动跟踪***及方法 |
CN109483018A (zh) * | 2018-11-06 | 2019-03-19 | 湖北书豪智能科技有限公司 | 管道自动焊接中焊缝的主动视觉引导方法 |
CN109993103A (zh) * | 2019-03-29 | 2019-07-09 | 华南理工大学 | 一种基于点云数据的人体行为识别方法 |
-
2020
- 2020-02-28 CN CN202010131645.4A patent/CN111299761B/zh not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100011585A (ko) * | 2008-07-25 | 2010-02-03 | 삼성중공업 주식회사 | 용접선 추적 장치 |
CN106312397A (zh) * | 2016-10-12 | 2017-01-11 | 华南理工大学 | 一种激光视觉引导的焊接轨迹自动跟踪***及方法 |
CN106392267A (zh) * | 2016-11-28 | 2017-02-15 | 华南理工大学 | 一种六自由度焊接机器人线激光实时焊缝跟踪方法 |
CN107127755A (zh) * | 2017-05-12 | 2017-09-05 | 华南理工大学 | 一种三维点云的实时采集装置及机器人打磨轨迹规划方法 |
CN107649802A (zh) * | 2017-09-28 | 2018-02-02 | 中国东方电气集团有限公司 | 一种激光视觉焊缝跟踪***及标定方法 |
CN107999955A (zh) * | 2017-12-29 | 2018-05-08 | 华南理工大学 | 一种六轴工业机器人线激光焊缝自动跟踪***及方法 |
CN109483018A (zh) * | 2018-11-06 | 2019-03-19 | 湖北书豪智能科技有限公司 | 管道自动焊接中焊缝的主动视觉引导方法 |
CN109993103A (zh) * | 2019-03-29 | 2019-07-09 | 华南理工大学 | 一种基于点云数据的人体行为识别方法 |
Non-Patent Citations (2)
Title |
---|
周卫林: "基于深度分层特征的激光视觉焊缝检测与跟踪***的研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》 * |
石小东: "基于结构光视觉传感的弧焊机器人焊缝纠偏***的设计与研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111745267A (zh) * | 2020-08-14 | 2020-10-09 | 湘潭大学 | 一种基于激光位移传感器的坡口焊缝实时跟踪***及方法 |
CN112122840A (zh) * | 2020-09-23 | 2020-12-25 | 西安知象光电科技有限公司 | 一种基于机器人焊接的视觉定位焊接***及焊接方法 |
CN112318000A (zh) * | 2020-10-23 | 2021-02-05 | 成都卡诺普自动化控制技术有限公司 | 一种变压器油箱的自适应跟踪焊接方法 |
CN112705886A (zh) * | 2020-12-15 | 2021-04-27 | 广州瑞松智能科技股份有限公司 | 一种在线实时引导的机器人自适应焊接***及方法 |
CN112809130B (zh) * | 2020-12-31 | 2022-04-19 | 鹏城实验室 | 一种智能焊缝检测和轨迹规划方法及*** |
CN112809130A (zh) * | 2020-12-31 | 2021-05-18 | 鹏城实验室 | 一种智能焊缝检测和轨迹规划方法及*** |
CN112658520A (zh) * | 2021-01-07 | 2021-04-16 | 成都卡诺普自动化控制技术有限公司 | 用于铁塔脚的船形焊接实现方法、计算机设备、存储介质 |
CN112658520B (zh) * | 2021-01-07 | 2022-04-29 | 成都卡诺普机器人技术股份有限公司 | 用于铁塔脚的船形焊接实现方法、计算机设备、存储介质 |
CN113427168A (zh) * | 2021-05-12 | 2021-09-24 | 广州中国科学院先进技术研究所 | 一种焊接机器人实时焊缝跟踪装置及方法 |
CN113369686A (zh) * | 2021-06-11 | 2021-09-10 | 杭州国辰机器人科技有限公司 | 一种基于二维码视觉示教技术的智能焊接***及方法 |
CN113370213A (zh) * | 2021-06-25 | 2021-09-10 | 成都飞机工业(集团)有限责任公司 | 一种机器人末端执行器的姿态计算方法 |
CN113894481A (zh) * | 2021-09-09 | 2022-01-07 | 中国科学院自动化研究所 | 复杂空间曲线焊缝的焊接位姿调整方法及装置 |
CN113814528A (zh) * | 2021-10-11 | 2021-12-21 | 湖北忠和冶金机械制造股份有限公司 | 基于交互式的焊缝曲线提取与自动轨迹生成方法 |
CN113814528B (zh) * | 2021-10-11 | 2022-12-27 | 湖北忠和冶金机械制造股份有限公司 | 基于交互式的焊缝曲线提取与自动轨迹生成方法 |
CN113814953A (zh) * | 2021-10-13 | 2021-12-21 | 国网山西省电力公司输电检修分公司 | 一种巡检机器人的履带自动找平方法、***及电子设备 |
CN113814953B (zh) * | 2021-10-13 | 2024-03-19 | 国网山西省电力公司超高压变电分公司 | 一种巡检机器人的履带自动找平方法、***及电子设备 |
CN114669835A (zh) * | 2022-01-10 | 2022-06-28 | 湘潭大学 | 基于喷粉式视觉传感的表面强反光工件焊缝位姿提取方法 |
CN114669835B (zh) * | 2022-01-10 | 2023-07-21 | 湘潭大学 | 基于喷粉式视觉传感的表面强反光工件焊缝位姿提取方法 |
CN114571160A (zh) * | 2022-03-09 | 2022-06-03 | 华南理工大学 | 一种离线的曲面焊缝提取和姿态估计方法 |
CN114682879A (zh) * | 2022-03-14 | 2022-07-01 | 南京理工大学 | 一种基于目标跟踪的焊缝跟踪方法 |
CN115041771B (zh) * | 2022-07-04 | 2023-03-31 | 华威焊割科技(浙江)有限公司 | 自动行进管道焊接和切割一体式加工设备及其控制方法 |
CN115041771A (zh) * | 2022-07-04 | 2022-09-13 | 华威焊割科技(浙江)有限公司 | 自动行进管道焊接和切割一体式加工设备及其控制方法 |
CN117260100A (zh) * | 2023-11-23 | 2023-12-22 | 江苏恒康电力科技有限公司 | 一种变电站电力设备铁附件智能定位焊接*** |
CN117260100B (zh) * | 2023-11-23 | 2024-03-08 | 江苏恒康电力科技有限公司 | 一种变电站电力设备铁附件智能定位焊接*** |
CN117681205A (zh) * | 2024-01-18 | 2024-03-12 | 武汉孚锐利自动化设备有限公司 | 一种机械臂的感知与校准方法 |
CN117681205B (zh) * | 2024-01-18 | 2024-04-26 | 武汉孚锐利自动化设备有限公司 | 一种机械臂的感知与校准方法 |
CN117798522A (zh) * | 2024-03-01 | 2024-04-02 | 深圳欧斯普瑞智能科技有限公司 | 基于机器视觉的激光切割头精确定位方法 |
CN117798522B (zh) * | 2024-03-01 | 2024-05-17 | 深圳欧斯普瑞智能科技有限公司 | 基于机器视觉的激光切割头精确定位方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111299761B (zh) | 2021-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111299761B (zh) | 一种焊缝跟踪***的实时姿态估计方法 | |
CN111299762B (zh) | 一种分离强噪声干扰的激光实时焊缝跟踪方法 | |
CN109202912B (zh) | 一种基于单目深度传感器和机械臂配准目标轮廓点云的方法 | |
CN110524580B (zh) | 一种焊接机器人视觉组件及其测量方法 | |
CN107127755B (zh) | 一种三维点云的实时采集装置及机器人打磨轨迹规划方法 | |
CN110728715B (zh) | 一种智能巡检机器人摄像机角度自适应调整方法 | |
CN114571153B (zh) | 一种基于3d点云的焊缝识别与机器人焊缝跟踪方法 | |
CN109767416B (zh) | 机械设备的定位***及方法 | |
CN102059435B (zh) | 带有线结构光型视觉传感器的纵缝焊接专机及其控制方法 | |
CN102353340B (zh) | 缸盖毛坯加工尺寸识别方法及装置 | |
CN111897349A (zh) | 一种基于双目视觉的水下机器人自主避障方法 | |
CN114571160B (zh) | 一种离线的曲面焊缝提取和姿态估计方法 | |
CN111644935A (zh) | 一种机器人三维扫描测量装置及工作方法 | |
CN111299763B (zh) | 一种抗噪声干扰的激光视觉焊缝自动跟踪方法及*** | |
CN112743270B (zh) | 基于2d/3d视觉定位的机器人焊接装配方法及*** | |
CN113920060A (zh) | 焊接机器人自主作业方法、装置、电子设备及存储介质 | |
CN116749198A (zh) | 一种基于双目立体视觉引导机械臂抓取方法 | |
CN115661862A (zh) | 一种基于压力视觉卷积模型的坐姿样本集自动标注方法 | |
CN114851209A (zh) | 一种基于视觉的工业机器人工作路径规划优化方法及*** | |
CN117047237B (zh) | 一种异形件智能柔性焊接***与方法 | |
Cheng et al. | An integrated approach to 3D face model reconstruction from video | |
CN111145267B (zh) | 基于imu辅助的360度全景视图多相机标定方法 | |
Ma et al. | Intelligent welding robot system based on deep learning | |
Dinham et al. | A low cost hand-eye calibration method for arc welding robots | |
CN201945293U (zh) | 一种目标空间坐标的柔性立体视觉测量装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210921 |
|
CF01 | Termination of patent right due to non-payment of annual fee |