CN106056603A - 基于立体视觉的焊接执行参数在线检测方法 - Google Patents

基于立体视觉的焊接执行参数在线检测方法 Download PDF

Info

Publication number
CN106056603A
CN106056603A CN201610367047.0A CN201610367047A CN106056603A CN 106056603 A CN106056603 A CN 106056603A CN 201610367047 A CN201610367047 A CN 201610367047A CN 106056603 A CN106056603 A CN 106056603A
Authority
CN
China
Prior art keywords
welding
image
solder joint
coordinate
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610367047.0A
Other languages
English (en)
Inventor
崔岸
杨宇佳
骆亚微
张晗
张士展
李彬
张世广
戴文硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201610367047.0A priority Critical patent/CN106056603A/zh
Publication of CN106056603A publication Critical patent/CN106056603A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30152Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明属于焊接检测技术领域,涉及一种基于立体视觉的焊接执行参数在线检测方法;克服了现有技术存在的无法准确预判焊接程序是否可达到理想焊接效果的问题;包括以下步骤:1、搭建基于立体视觉的焊接路径检测***;2、进行摄像机标定;3、利用摄像机获取焊点图像;4、预处理焊点图像;5、获取焊点空间坐标;6、将焊点空间坐标拟合成图像并分析图像;本发明准确获得焊接轨迹、焊接方向、各方向焊接进量和焊接速度参数,获取以上参数不受焊接人员经验水平主观因素限制,提高了准确率;在结构上采用双目立体视觉技术,提高了焊接执行参数的检测效率;本发明所获取的实验曲线直观准确,便于分析得出是否可达到理想焊接效果的结论。

Description

基于立体视觉的焊接执行参数在线检测方法
技术领域
本发明属于焊接检测技术领域,涉及一种针对点焊机器人焊接执行参数的在线检测方法,更具体地说,本发明涉及一种基于立体视觉的焊接执行参数在线检测方法。
背景技术
传统的汽车点焊机器人,焊枪的焊接路径在程序的控制下运动,路径是固定不变的,即使焊接件存在一定缺陷时,焊枪的焊接位置也不能够及时有效的进行校正,从而在最终焊接完成之后,使实际的焊接位置偏离了理想焊接位置,从而造成各种点焊质量问题,达不到理想的焊接效果。资料显示有是焊接误差可达到5mm-10mm,从而导致最终的焊点出现各种各样的缺陷,使焊接的强度和刚度达不到要求,影响白车身的刚度和强度,对汽车的正常行驶影响可能不大,但是却在汽车发生紧急情况时留下安全隐患;还将影响轿车白车身的造型美观以及误差、装配精度等,进而影响汽车整车的质量安全和使用性能。
目前,对车身零部件大多采用人工目测的方法进行焊接缺陷检测,但是由于焊接缺陷多种类别以及检测技术员的技术水平差异都决定了焊接缺陷检测不仅受客观因素的影响,同时也会受主观因素的影响;为了达到理想的焊接效果,需要在焊接时同步检测焊接执行参数,包括焊接方向、焊接各方向进量以及焊接速度,预估是否可以达到预定效果,从而选择继续焊接还是停止焊接,便可以实施对焊接执行过程的监控,保证焊接质量。
随着计算机技术、传感器技术及图像处理技术的发展,计算机视觉检测在工业生产中的应用范围逐渐扩大,而且其检测精度也有了大幅度的提高。所谓视觉检测即把图像当作检测和传递信息的手段或载体加以利用的检测方法。由于视觉检测主要采用智能化、数字化的处理技术,在检测过程中需要人为控制的部分很少,能够满足在线检测的要求,具有非接触、测量速度快、自动化程度高等优点,为在线检测提供了新的途径。
针对点焊接执行参数的检测,没有文献报导采用计算机视觉技术进行非接触检测。
发明内容
本发明所要解决的技术问题是克服了现有技术存在的无法准确预判焊接程序是否可达到理想焊接效果的问题,提供了一种基于立体视觉的焊接执行参数在线检测方法。
为解决上述技术问题,本发明是采用如下技术方案实现的:
一种基于立体视觉的焊接执行参数在线检测方法,包括以下步骤:
步骤1:搭建基于立体视觉的焊接路径检测***;
步骤2:进行摄像机标定;
步骤3:利用摄像机获取焊点图像;
步骤4:预处理焊点图像;
步骤5:获取焊点空间坐标;
步骤6:将焊点空间坐标拟合成图像并分析图像。
技术方案步骤1中所述的搭建基于立体视觉的焊接路径检测***是指:
设置位于焊接件正上方的两部摄像机,摄像机内部存在固定坐标系,摄像机位置需满足如下条件:摄像机相对世界坐标系y轴旋转角Φ;两台摄像机内部坐标系y轴保持与世界坐标系y轴平行对齐。
技术方案步骤2中所述的进行摄像机标定包括以下步骤:
1)采用CAD软件绘制标定模版:
标定模板是一个9×9的棋盘格,其规格尺寸是270mm×270mm;
2)获取特征角点图像坐标:
将两部摄像机固定保持不动,不断变换标定模版与成像平面之间的角度与方位,两部摄像机对标定模版采集16幅图像;
将拍摄得到的16幅图像中左下角的摄像机棋盘格标靶图像进行特征角点提取,每个摄像机棋盘格标靶图像能够提取100个角点,16幅图像总共得到1600个特征角点图像坐标;
3)利用matalab标定工具箱完成摄像机标定:
在得到标定平面上棋盘格标靶图像特征角点坐标以及对应点的空间坐标以后,利用matalab工具箱完成标定,计算得到两部摄像机的内外部参数。
所述摄像机的内部参数有八个,分别为摄像机光轴与图像的交点(cx,cy),摄像机镜头在x轴y轴方向的焦距(fx,fy),摄像机镜头的径向畸变(k1,k2),摄像机镜头的切向畸变(p1,p2),两台摄像机共16个内部参数;
所述摄像机的外部参数有三个,分别为摄像机绕世界坐标系y轴的旋转角Φ,摄像机在世界坐标系中x、z方向的位移为Tx,Tz
技术方案步骤3中所述利用摄像机获取焊点图像是指:
利用两台摄像机同时获取焊点图像,利用左摄像机获取的图像称之为左图像,利用右摄像机获取的图像称之为右图像。
技术方案步骤4中所述的预处理焊点图像包括以下步骤:
1)调整所获每副图像的灰度阈值,去除图像中除亮点以外的图像背景;
2)移除金属镕滴,通过计算区域内的亮点,只保留与焊接有关的最大亮点,移除其他全部亮点。
技术方案步骤5中所述的获取焊点空间坐标包括以下步骤:
1)获取左右图像中焊点二维坐标(x,y):
利用重心算法计算出经预处理后图像中焊点的坐标,左图像中的焊点坐标表示为(x,y)L,右图像中焊点坐标表示为(x,y)R
2)对于步骤1)中的焊点二维坐标进行校正,得到校正坐标(xn,yn):
利用镜头光轴与坐标轴的关系,将获取的图像的二维坐标(x,y)带入等式(1)进行计算,获得(xn,yn)为校正过的坐标
( x n , y n ) = ( x - c x f x , y - c y f y ) - - - ( 1 )
其中(cx,cy)为摄像机光轴与图像相交的点,(fx,fy)是镜头分别在x轴y轴的焦距;
3)对步骤2)中经过校正的二维坐标(xn,yn)进行畸变修正,得到畸变修正(xc、yc):
将上一步所获得(xn,yn)代入以下迭代程序(2),进行畸变修正:
r = x n 2 + y n 2 k r = 1 + k 1 &CenterDot; r 2 + k 2 &CenterDot; r 4 &Delta;x t = 2 &CenterDot; p 1 &CenterDot; x n &CenterDot; y n + p 2 &CenterDot; ( r 2 + 2 &CenterDot; x n ) &Delta;y t = p 1 &CenterDot; ( r 2 + 2 &CenterDot; y n ) + 2 &CenterDot; p 2 &CenterDot; x n &CenterDot; y n ( x c , y c ) = 1 k r ( x n - &Delta;x t , y n - &Delta;y t ) I F ( x c - x n < t o l ) a n d ( y c - y n < t o l ) T H E N x c , y c a r e d i s t o r t i o n f r e e E L S E x n = x c ; y n = y c ; - - - ( 2 )
其中,程序(2)中的(xc、yc)是进行畸变修正过的焊点坐标;kr是与k1、k2有关的径向畸变;Δxt和Δyt是与p1、p2相关的分别在x轴、y轴的切向畸变量;工差tol=10-6
经迭代程序运算,所获得的经过畸变修正的焊点二维坐标为(xc、yc);
4)计算焊点空间坐标P:
焊点的空间坐标是通过左右图像焊点的二维坐标(xc,yc)L、(xc,yc)R并结合摄像机的相对位置计算得到;
空间坐标计算方法采用P=ZR·(xc,yc,1)R方法计算;
求得焊点空间坐标P只需求得右摄像机坐标系Z轴系数ZR
将(xc,yc)L、(xc,yc)R带入等式(3)中,求得ZR,求得焊点空间坐标P;
其中,Φ为摄像机绕y轴的旋转角,T=(Tx,Tz)T表示摄像机在x-z平面的位移。
技术方案步骤6中所述将焊点空间坐标拟合成图像并分析图像是指:
1)在获取焊点三维坐标后,由x,z坐标生成X-Z图,X-Z图与摄像机有相同视角,通过X-Z图能够清楚地了解焊接是如何执行的,能够知道焊接电极的移动路径;
2)在获取焊点三维坐标后,由y,z坐标生成的Y-Z图,通过Y-Z图显示了电极的垂直移动,能够知道电极头在垂直方向进量;
3)在获取焊点三维坐标后,由δ(i)与Z(i)生成的δ(Z)图,δ(Z)图显示一段垂直线段波动,通过这段垂直线段的形状和斜率,能够判断出焊接是否匀速和焊接方向:
如果垂直线段的形状是线性的,表明焊接是匀速进行的,反之则是变速的;
斜率表明焊接方向;
Z(i)表示第i个焊点的Z坐标,δ(i)表示当前焊接长度所占焊接总长度的百分比;
δ(i)的计算如公式(4)所示:
&delta; ( i ) = d ( i ) L &CenterDot; 100 = &Sigma; j = 0 i ( x j + 1 - x j ) 2 + ( y j + 1 - y j ) 2 + ( z j + 1 - z j ) 2 &Sigma; j = 0 n ( x j + 1 - x j ) 2 + ( y j + 1 - y j ) 2 + ( z j + 1 - z j ) 2 &CenterDot; 100 &lsqb; % &rsqb; - - - ( 4 )
其中n表示所有的焊点数量,参数i和j分别从0遍历到n、从0遍历到指定位置。
与现有技术相比本发明的有益效果是:
1、本发明所述的基于立体视觉焊接执行参数检测方法可实现在线检测,可在焊接执行的同时准确获得焊接轨迹、焊接方向、各方向焊接进量和焊接速度,这些参数的获取不受焊接人员经验水平等主观因素限制,提高了准确率。
2、本发明所述的基于立体视觉焊接执行参数检测方法在结构上采用双目立体视觉技术,提高了焊接执行参数的检测效率。
3、本发明所述的基于立体视觉焊接执行参数检测方法所获取的实验曲线直观准确,便于分析得出是否可达到理想焊接效果的结论。
附图说明
下面结合附图对本发明作进一步的说明:
图1是本发明所述的基于立体视觉焊接执行参数检测方法的总体流程图;
图2是本发明所述的基于立体视觉焊接执行参数检测方法获取焊点图像装置的示意图;
图3-a为本发明所做试验所获得的焊接图像的X(Z)图;
图3-b为本发明所做试验所获得的焊接图像的Y(Z)图;
图3-c为本发明所做试验所获得的焊接图像的δ(Z)图。
具体实施方式
下面结合实例并结合附图,对本发明的技术方案说明如下:
现有一块开槽的钢板,但槽型附近有两个孔,且两个孔的直径大于槽的宽度,在利用焊接机器人自动焊接时,由于这个缺陷的存在,且在焊接过程中没有及时调整焊接执行参数,极其容易出现如裂纹,熔渣,小气泡等焊接缺陷。现在以此钢板为例进行试验。
参阅图1,一种基于立体视觉的焊接执行参数在线检测方法,整个检测过程主要分成4个阶段:1.搭建基于立体视觉的焊接路径检测***;2.进行摄像机标定;3.利用摄像机获取焊点图像;4.预处理焊点图像;5.获取焊点空间坐标;6.将焊点空间坐标拟合成图像并分析图像。
具体内容如下:
1、搭建基于立体视觉的焊接路径检测***
参阅图2是本发明设计的一种基于立体视觉的焊接执行参数在线检测***的简化示意图,6为焊接件的焊缝示意图,焊接电极5正在实施焊接工序,利用对称设置的一号摄像机1和二号摄像机2分别采集焊点3的左右两幅图像。
检测时,一号摄像机1和二号摄像机2均位于焊接件正上方1.5米处,两者间的水平距离为0.5m。一号摄像机1和二号摄像机2采用的是北京大恒图像设备公司生产的型号为DH-HV1302UM-T,分辨率为1248*1024和焦距为12.5-75mm的CCTV&VIDEO摄像机镜头。
世界坐标系如图2中所示,摄像机内部存在固定坐标系,摄像机位置需满足如下条件:摄像机相对世界坐标系y轴旋转角Φ;两台摄像机内部坐标系y轴保持与世界坐标系y轴平行对齐。为了避免电火花和过多的热量损伤镜头,要求将中性密度片安装在镜头前。
2、进行摄像机标定;
必须首先对一号摄像机1和二号摄像机2进行标定,获取摄像机的相关内外参数,才能建立起实际待测物空间位置和图像坐标之间的对应的非线性关系,利用这种非线性关系,才能计算检测图像特征点对应的空间坐标。
对于每部摄像机有八个内部参数要确定,摄像机光轴与图像的交点(cx,cy),摄像机镜头在x轴y轴方向的焦距(fx,fy),摄像机镜头的径向畸变(k1,k2),摄像机镜头的切向畸变(p1,p2),两台摄像机共16个内部参数。
对于每部摄像机有三个外部参数要确定,摄像机绕世界坐标系y轴的旋转角Φ,摄像机在世界坐标系中x、z方向的位移为Tx,Tz
标定步骤如下所示;
1)采用CAD软件绘制标定模版:
标定模板是一个9×9的棋盘格,其规格尺寸是270mm×270mm。
2)获取特征角点图像坐标:
将两摄像机1、2固定在适当位置并保持不动,之后不断变换标定模版与成像平面之间的角度与方位,两摄像机对标定模版采集16幅图像。
将拍摄得到的16幅图像中左下角的摄像机棋盘格标靶图像进行特征角点提取,每个摄像机棋盘格标靶图像可以提取100个角点,16幅图像总共得到1600个特征角点图像坐标。
3)利用matalab标定工具箱完成摄像机标定
在得到标定平面上棋盘格标靶图像特征角点坐标以及对应点的空间坐标以后,即可利用matalab工具箱完成标定,计算得到摄像机1、2的内外部参数。
3、利用摄像机获取焊点图像
利用两台摄像机同时获取焊点图像,利用左摄像机获取的图像称之为左图像,利用右摄像机获取的图像称之为右图像。
4.、预处理焊点图像
焊点图像预处理的具体步骤包括:
1)调整所获每副图像的灰度阈值,目的是为了去除图像中除亮点以外的图像背景;
2)移除金属镕滴:移除金属镕滴的具体方法为通过计算区域内的亮点,只保留与焊接有关的最大亮点,移除其他全部亮点。
5、获取焊点空间坐标
1)获取左右图像中焊点二维坐标(x,y)
利用重心算法计算出经预处理后图像中焊点的坐标,左图像中的焊点坐标表示为(x,y)L,右图像中焊点坐标表示为(x,y)R
2)对于步骤1)中的焊点二维坐标进行校正,得到校正坐标(xn,yn)
利用镜头光轴与坐标轴的关系,将获取的图像的二维坐标(x,y)带入等式(1)进行计算,获得(xn,yn)为校正过的坐标,
( x n , y n ) = ( x - c x f x , y - c y f y ) - - - ( 1 )
其中(cx,cy)为摄像机光轴与图像相交的点,(fx,fy)是镜头分别在x轴y轴的焦距。
3)对步骤2)中经过校正的二维坐标(xn,yn)进行畸变修正,得到畸变修正(xc、yc)将上一步所获得(xn,yn)代入以下迭代程序(2),进行畸变修正
r = x n 2 + y n 2 k r = 1 + k 1 &CenterDot; r 2 + k 2 &CenterDot; r 4 &Delta;x t = 2 &CenterDot; p 1 &CenterDot; x n &CenterDot; y n + p 2 &CenterDot; ( r 2 + 2 &CenterDot; x n ) &Delta;y t = p 1 &CenterDot; ( r 2 + 2 &CenterDot; y n ) + 2 &CenterDot; p 2 &CenterDot; x n &CenterDot; y n ( x c , y c ) = 1 k r ( x n - &Delta;x t , y n - &Delta;y t ) I F ( x c - x n < t o l ) a n d ( y c - y n < t o l ) T H E N x c , y c a r e d i s t o r t i o n f r e e E L S E x n = x c ; y n = y c ; - - - ( 2 )
其中,程序(2)中的(xc、yc)是进行畸变修正过的焊点坐标;kr是与k1、k2有关的径向畸变;Δxt和Δyt是与p1、p2相关的分别在x轴、y轴的切向畸变量;工差tol=10-6;经迭代程序运算,我们所获得的经过畸变修正的焊点二维坐标为(xc、yc)。
4)计算焊点空间坐标P;
焊点的空间坐标是通过左右图像焊点的二维坐标(xc,yc)L、(xc,yc)R并结合摄像机的相对位置计算得来的,
空间坐标计算方法为P=ZR·(xc,yc,1)R亦可用P=ZL·(xc,yc,1)L,以下采用P=ZR·(xc,yc,1)R方法计算。
故可知求得焊点空间坐标P只需求得右摄像机坐标系Z轴系数ZR
将(xc,yc)L、(xc,yc)R带入等式(3)中,求得ZR,即求得焊点空间坐标P。
其中,Φ为摄像机绕y轴的旋转角,T=(Tx,Tz)T表示摄像机在x-z平面的位移。
6、将焊点空间坐标拟合成图像并分析图像
1)在获取焊点三维坐标后,由x,z坐标生成X-Z图,X-Z图与摄像机有相同视角,通过X-Z图可以清楚地了解焊接是如何执行的,即能够知道焊接电极的移动路径;
2)在获取焊点三维坐标后,由y,z坐标生成的Y-Z图,通过Y-Z图显示了电极的垂直移动,能够知道电极头在垂直方向进量;
3)在获取焊点三维坐标后,由δ(i)与Z(i)生成的δ(Z)图,δ(Z)图会显示一段垂直线段波动,通过这段垂直线段的形状和斜率,可以判断出焊接是否匀速和方向。
如果垂直线段的形状是线性的,那么表明焊接是匀速进行的,反之则是变速的。
斜率表明焊接方向。
Z(i)表示第i个焊点的Z坐标,δ(i)表示当前焊接长度所占焊接总长度的百分比。δ(i)的计算如公式(4)所示,
&delta; ( i ) = d ( i ) L &CenterDot; 100 = &Sigma; j = 0 i ( x j + 1 - x j ) 2 + ( y j + 1 - y j ) 2 + ( z j + 1 - z j ) 2 &Sigma; j = 0 n ( x j + 1 - x j ) 2 + ( y j + 1 - y j ) 2 + ( z j + 1 - z j ) 2 &CenterDot; 100 &lsqb; % &rsqb; - - - ( 4 )
其中n表示所有的焊点数量,参数i和j分别从0遍历到n,从0遍历到指定位置。

Claims (8)

1.一种基于立体视觉的焊接执行参数在线检测方法,其特征在于,包括以下步骤:
步骤1:搭建基于立体视觉的焊接路径检测***;
步骤2:进行摄像机标定;
步骤3:利用摄像机获取焊点图像;
步骤4:预处理焊点图像;
步骤5:获取焊点空间坐标;
步骤6:将焊点空间坐标拟合成图像并分析图像。
2.根据权利要求1所述的一种基于立体视觉的焊接执行参数在线检测方法,其特征在于:
步骤1中所述的搭建基于立体视觉的焊接路径检测***是指:
设置位于焊接件正上方的两部摄像机,摄像机内部存在固定坐标系,摄像机位置需满足如下条件:摄像机相对世界坐标系y轴旋转角Φ;两台摄像机内部坐标系y轴保持与世界坐标系y轴平行对齐。
3.根据权利要求1所述的一种基于立体视觉的焊接执行参数在线检测方法,其特征在于:
步骤2中所述的进行摄像机标定包括以下步骤:
1)采用CAD软件绘制标定模版:
标定模板是一个9×9的棋盘格,其规格尺寸是270mm×270mm;
2)获取特征角点图像坐标:
将两部摄像机固定保持不动,不断变换标定模版与成像平面之间的角度与方位,两部摄像机对标定模版采集16幅图像;
将拍摄得到的16幅图像中左下角的摄像机棋盘格标靶图像进行特征角点提取,每个摄像机棋盘格标靶图像能够提取100个角点,16幅图像总共得到1600个特征角点图像坐标;
3)利用matalab标定工具箱完成摄像机标定:
在得到标定平面上棋盘格标靶图像特征角点坐标以及对应点的空间坐标以后,利用matalab工具箱完成标定,计算得到两部摄像机的内外部参数。
4.根据权利要求3所述的一种基于立体视觉的焊接执行参数在线检测方法,其特征在于:
所述摄像机的内部参数有八个,分别为摄像机光轴与图像的交点(cx,cy),摄像机镜头在x轴y轴方向的焦距(fx,fy),摄像机镜头的径向畸变(k1,k2),摄像机镜头的切向畸变(p1,p2),两台摄像机共16个内部参数;
所述摄像机的外部参数有三个,分别为摄像机绕世界坐标系y轴的旋转角Φ,摄像机在世界坐标系中x、z方向的位移为Tx,Tz
5.根据权利要求1所述的一种基于立体视觉的焊接执行参数在线检测方法,其特征在于:
步骤3中所述利用摄像机获取焊点图像是指:
利用两台摄像机同时获取焊点图像,利用左摄像机获取的图像称之为左图像,利用右摄像机获取的图像称之为右图像。
6.根据权利要求1所述的一种基于立体视觉的焊接执行参数在线检测方法,其特征在于:
步骤4中所述的预处理焊点图像包括以下步骤:
1)调整所获每副图像的灰度阈值,去除图像中除亮点以外的图像背景;
2)移除金属镕滴,通过计算区域内的亮点,只保留与焊接有关的最大亮点,移除其他全部亮点。
7.根据权利要求1所述的一种基于立体视觉的焊接执行参数在线检测方法,其特征在于:
步骤5中所述的获取焊点空间坐标包括以下步骤:
1)获取左右图像中焊点二维坐标(x,y):
利用重心算法计算出经预处理后图像中焊点的坐标,左图像中的焊点坐标表示为(x,y)L,右图像中焊点坐标表示为(x,y)R
2)对于步骤1)中的焊点二维坐标进行校正,得到校正坐标(xn,yn):
利用镜头光轴与坐标轴的关系,将获取的图像的二维坐标(x,y)带入等式(1)进行计算,获得(xn,yn)为校正过的坐标
( x n , y n ) = ( x - c x f x , y - c y f y ) - - - ( 1 )
其中(cx,cy)为摄像机光轴与图像相交的点,(fx,fy)是镜头分别在x轴y轴的焦距;
3)对步骤2)中经过校正的二维坐标(xn,yn)进行畸变修正,得到畸变修正(xc、yc):
将上一步所获得(xn,yn)代入以下迭代程序(2),进行畸变修正:
r = x n 2 + y n 2 k r = 1 + k 1 &CenterDot; r 2 + k 2 &CenterDot; r 4 &Delta;x t = 2 &CenterDot; p 1 &CenterDot; x n &CenterDot; y n + p 2 &CenterDot; ( r 2 + 2 &CenterDot; x n ) &Delta;y t = p 1 &CenterDot; ( r 2 + 2 &CenterDot; y n ) + 2 &CenterDot; p 2 &CenterDot; x n &CenterDot; y n ( x c , y c ) = 1 k r ( x n - &Delta;x t , y n - &Delta;y t ) I F ( x c - x n < t o l ) a n d ( y c - y n < t o l ) T H E N x c , y c a r e d i s t o r t i o n f r e e E L S E x n = x c ; y n = y c ; - - - ( 2 )
其中,程序(2)中的(xc、yc)是进行畸变修正过的焊点坐标;kr是与k1、k2有关的径向畸变;Δxt和Δyt是与p1、p2相关的分别在x轴、y轴的切向畸变量;工差tol=10-6
经迭代程序运算,所获得的经过畸变修正的焊点二维坐标为(xc、yc);
4)计算焊点空间坐标P:
焊点的空间坐标是通过左右图像焊点的二维坐标(xc,yc)L、(xc,yc)R并结合摄像机的相对位置计算得到;
空间坐标计算方法采用P=ZR·(xc,yc,1)R方法计算;
求得焊点空间坐标P只需求得右摄像机坐标系Z轴系数ZR
将(xc,yc)L、(xc,yc)R带入等式(3)中,求得ZR,求得焊点空间坐标P;
其中,Φ为摄像机绕y轴的旋转角,T=(Tx,Tz)T表示摄像机在x-z平面的位移。
8.根据权利要求1所述的一种基于立体视觉的焊接执行参数在线检测方法,其特征在于:
步骤6中所述将焊点空间坐标拟合成图像并分析图像是指:
1)在获取焊点三维坐标后,由x,z坐标生成X-Z图,X-Z图与摄像机有相同视角,通过X-Z图能够清楚地了解焊接是如何执行的,能够知道焊接电极的移动路径;
2)在获取焊点三维坐标后,由y,z坐标生成的Y-Z图,通过Y-Z图显示了电极的垂直移动,能够知道电极头在垂直方向进量;
3)在获取焊点三维坐标后,由δ(i)与Z(i)生成的δ(Z)图,δ(Z)图显示一段垂直线段波动,通过这段垂直线段的形状和斜率,能够判断出焊接是否匀速和焊接方向:
如果垂直线段的形状是线性的,表明焊接是匀速进行的,反之则是变速的;
斜率表明焊接方向;
Z(i)表示第i个焊点的Z坐标,δ(i)表示当前焊接长度所占焊接总长度的百分比;
δ(i)的计算如公式(4)所示:
&delta; ( i ) = d ( i ) L &CenterDot; 100 = &Sigma; j = 0 i ( x j + 1 - x j ) 2 + ( y j + 1 - y j ) 2 + ( z j + 1 - z j ) 2 &Sigma; j = 0 n ( x j + 1 - x j ) 2 + ( y j + 1 - y j ) 2 + ( z j + 1 - z j ) 2 &CenterDot; 100 &lsqb; % &rsqb; - - - ( 4 )
其中n表示所有的焊点数量,参数i和j分别从0遍历到n、从0遍历到指定位置。
CN201610367047.0A 2016-05-30 2016-05-30 基于立体视觉的焊接执行参数在线检测方法 Pending CN106056603A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610367047.0A CN106056603A (zh) 2016-05-30 2016-05-30 基于立体视觉的焊接执行参数在线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610367047.0A CN106056603A (zh) 2016-05-30 2016-05-30 基于立体视觉的焊接执行参数在线检测方法

Publications (1)

Publication Number Publication Date
CN106056603A true CN106056603A (zh) 2016-10-26

Family

ID=57175430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610367047.0A Pending CN106056603A (zh) 2016-05-30 2016-05-30 基于立体视觉的焊接执行参数在线检测方法

Country Status (1)

Country Link
CN (1) CN106056603A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451991A (zh) * 2017-06-27 2017-12-08 武汉逸飞激光设备有限公司 一种立焊焊接轨迹计算方法及***
CN107598367A (zh) * 2017-09-28 2018-01-19 惠州市洛玛科技有限公司 焊接设备及其焊接方法
CN109001230A (zh) * 2018-05-28 2018-12-14 中兵国铁(广东)科技有限公司 基于机器视觉的焊点缺陷检测方法
CN110636715A (zh) * 2019-08-27 2019-12-31 杭州电子科技大学 一种基于自学习的自动焊接及缺陷检测方法
CN111862193A (zh) * 2020-07-21 2020-10-30 太仓光电技术研究所 一种基于形状描述子的电焊焊点双目视觉定位方法及装置
CN112365466A (zh) * 2020-11-10 2021-02-12 嘉兴凡视智能科技有限公司 一种基于ai的焊点外观检测方法
CN113441809A (zh) * 2021-09-01 2021-09-28 深圳市泰科盛自动化***有限公司 一种ccd对位脉冲热压焊***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996322A (zh) * 2014-05-21 2014-08-20 武汉湾流新技术有限公司 一种基于增强现实的焊接操作训练模拟方法及***
CN104006757A (zh) * 2014-06-13 2014-08-27 苏州西博三维科技有限公司 焊接变形实时检测***及其检测方法
US20150035948A1 (en) * 2013-08-05 2015-02-05 C.R.F. Societa Consortile Per Azioni Method for the localization of a tool in a workplace, corresponding system and computer program product
CN104766333A (zh) * 2015-04-20 2015-07-08 吉林大学 基于立体视觉的车门点焊机器人路径校正方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150035948A1 (en) * 2013-08-05 2015-02-05 C.R.F. Societa Consortile Per Azioni Method for the localization of a tool in a workplace, corresponding system and computer program product
CN103996322A (zh) * 2014-05-21 2014-08-20 武汉湾流新技术有限公司 一种基于增强现实的焊接操作训练模拟方法及***
CN104006757A (zh) * 2014-06-13 2014-08-27 苏州西博三维科技有限公司 焊接变形实时检测***及其检测方法
CN104766333A (zh) * 2015-04-20 2015-07-08 吉林大学 基于立体视觉的车门点焊机器人路径校正方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DRAGO BRACUN, ALOJZIJ SLUGA: "Stereo vision based measuring system for online welding path inspection", 《JOURNAL OF MATERIALS PROCESSING TECHNOLOGY》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451991A (zh) * 2017-06-27 2017-12-08 武汉逸飞激光设备有限公司 一种立焊焊接轨迹计算方法及***
CN107598367A (zh) * 2017-09-28 2018-01-19 惠州市洛玛科技有限公司 焊接设备及其焊接方法
CN109001230A (zh) * 2018-05-28 2018-12-14 中兵国铁(广东)科技有限公司 基于机器视觉的焊点缺陷检测方法
CN110636715A (zh) * 2019-08-27 2019-12-31 杭州电子科技大学 一种基于自学习的自动焊接及缺陷检测方法
CN110636715B (zh) * 2019-08-27 2021-07-13 杭州电子科技大学 一种基于自学习的自动焊接及缺陷检测方法
CN111862193A (zh) * 2020-07-21 2020-10-30 太仓光电技术研究所 一种基于形状描述子的电焊焊点双目视觉定位方法及装置
CN112365466A (zh) * 2020-11-10 2021-02-12 嘉兴凡视智能科技有限公司 一种基于ai的焊点外观检测方法
CN113441809A (zh) * 2021-09-01 2021-09-28 深圳市泰科盛自动化***有限公司 一种ccd对位脉冲热压焊***
CN113441809B (zh) * 2021-09-01 2021-11-26 深圳市泰科盛自动化***有限公司 一种ccd对位脉冲热压焊***

Similar Documents

Publication Publication Date Title
CN106056603A (zh) 基于立体视觉的焊接执行参数在线检测方法
JP4347386B2 (ja) 加工用ロボットプラグラムの作成装置
JP5981143B2 (ja) ロボットツールの制御方法
CN106041296B (zh) 一种在线式动态视觉激光精密加工方法
CN110773840B (zh) 焊接偏差测定方法、装置和自动焊接***
JP5142775B2 (ja) 溶接品質検査方法および装置
CN114792337B (zh) 一种焊接坡口尺寸和焊枪相对位姿高精度检测方法和装置
CN107649802B (zh) 一种激光视觉焊缝跟踪***及标定方法
CN107378246A (zh) 一种修正激光焊接轨迹的方法及***
CN103231162A (zh) 机器人焊接质量视觉检测装置及其检测方法
Hou et al. A teaching-free welding method based on laser visual sensing system in robotic GMAW
CN106271081A (zh) 三坐标直角机器人线激光焊缝自动跟踪***及其跟踪方法
KR20190124452A (ko) 용접비드 비전 검사 장치 및 용접 불량 검사방법
CN108032011A (zh) 基于激光结构光焊缝初始点导引装置及方法
WO2015093434A1 (ja) 車両前方電柱位置検査装置
CN113634954B (zh) 多传感器融合的焊缝轨迹跟踪方法及***
CN114654465A (zh) 一种基于线激光结构光视觉传感的焊缝跟踪提取方法
CN107363424A (zh) 一种用于激光切割头定位的随动式扫描定位装置及方法
CN114119456A (zh) 一种基于机器视觉的管道自动对中方法
CN117161644A (zh) 一种基于3d点云的焊缝跟踪方法及***
CN115464263A (zh) 一种激光焊接焊缝自动寻迹方法、检测方法及装置
CN115546125A (zh) 一种基于点云信息的增材制造熔敷层的误差检测并对轨迹纠偏的方法
CN111397529A (zh) 一种基于双目视觉结构光的复杂表面形状检测方法
CN109530984A (zh) 视觉定位焊装方法
Guo et al. Progress, challenges and trends on vision sensing technologies in automatic/intelligent robotic welding: State-of-the-art review

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161026

WD01 Invention patent application deemed withdrawn after publication