CN108788550A - 检测装置、采用检测装置检测细隙焊道的控制方法及装置 - Google Patents

检测装置、采用检测装置检测细隙焊道的控制方法及装置 Download PDF

Info

Publication number
CN108788550A
CN108788550A CN201810678759.3A CN201810678759A CN108788550A CN 108788550 A CN108788550 A CN 108788550A CN 201810678759 A CN201810678759 A CN 201810678759A CN 108788550 A CN108788550 A CN 108788550A
Authority
CN
China
Prior art keywords
pose
coordinate
areola
image
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810678759.3A
Other languages
English (en)
Other versions
CN108788550B (zh
Inventor
都东
薛博策
彭国栋
洪宇翔
王力
常保华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201810678759.3A priority Critical patent/CN108788550B/zh
Publication of CN108788550A publication Critical patent/CN108788550A/zh
Application granted granted Critical
Publication of CN108788550B publication Critical patent/CN108788550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • B23K37/02—Carriages for supporting the welding or cutting element
    • B23K37/0252—Steering means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates

Landscapes

  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明实施例提供检测装置、采用检测装置检测细隙焊道的控制方法及装置，其中检测装置包括传感器，用于检测细隙焊道，传感器包括壳体以及固定在壳体上的成像元件、十字激光光源和均匀漫射光源；位姿调节机构，与壳体和焊枪连接，位姿调节机构用于调整传感器与焊枪的相对位置；其中，十字激光光源用于发出十字激光投射在待焊工件的表面；均匀漫射光源用于发出亮度均匀的漫射光投射在待焊工件的表面；待焊工件表面的反射光进入成像元件成像。本发明实施例保证焊道始终在成像元件的视野范围中，另外，本发明实施例通过用十字激光光源代替现有的激光阵列，更容易判断激光投影中心点的位置，以便判断进而控制激光投影中心与焊缝的相对位置。

Description

检测装置、采用检测装置检测细隙焊道的控制方法及装置
技术领域
本发明涉及焊接自动化技术领域，更具体地，涉及检测装置、采用检测装置检测细隙焊道的控制方法及装置。
背景技术
在焊接领域，机器人智能焊接已经成为一种重要趋势。在面对复杂空间曲线轨迹焊道时，与机器人连接的焊枪本身可以适应焊道的位姿变化，而如何通过视觉方式实时检测焊道位姿进而进行焊道跟踪仍是一个有待解决的问题。目前的焊道视觉检测装置往往与焊枪固接，检测装置与焊枪的偏移使得对复杂空间曲线轨迹焊道进行实时的视觉检测与跟踪存在困难。
此外，在一些领域(如航天领域)中，待焊工件的焊道坡口一般为间隙极小的I型对接坡口，且待焊工件表面反射率高，在对焊道进行视觉检测的过程中，强烈的镜面反射容易掩盖细隙焊道的主要特征信息，造成检测失败。
现有技术提供一种基于球面光源的强镜面反射工件细隙坡口检测装置及方法，该检测装置将激光阵列和球面光源交替点亮投射在工件表面上，并用成像元件同步拍摄不同光源点亮时的图像，通过激光阵列点亮时的图像获取激光阵列投影点附近工件表面的位姿，再通过球面光源点亮时的亮度均匀的图像获取焊道的二维信息，将二者结合以确定焊道的三维位姿。在该装置中，焊枪与成像元件的相对位置固定不变，在进行焊道的实时检测时，若焊道轨迹为复杂空间曲线，激光阵列在工件表面的投影点或焊道可能无法进入成像元件的视野范围，造成检测失败。
此外，该方法将激光阵列投影点所在的工件表面区域视为焊道所在的平面，在进行复杂空间曲线轨迹焊道实时检测时，若激光阵列在工件表面上的投影区域与焊道位置之间的偏差较大，则激光阵列投影点所在的工件表面区域可能无法准确代表焊道所在的工件表面区域，导致检测误差增大。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的检测装置、采用检测装置检测细隙焊道的控制方法及装置。
根据本发明的第一个方面，提供一种细隙焊道的检测装置，与焊枪连接，所述检测装置包括：
传感器，用于检测细隙焊道，所述传感器包括壳体以及固定在所述壳体上的成像元件、十字激光光源和均匀漫射光源；
位姿调节机构，与所述壳体和焊枪连接，所述位姿调节机构用于调整所述传感器与所述焊枪的相对位置；
其中，所述十字激光光源用于发出十字激光投射在待焊工件的表面；所述均匀漫射光源用于发出亮度均匀的漫射光投射在待焊工件的表面；所述待焊工件表面的反射光进入成像元件成像。
根据本发明的第二个方面，还提供一种采用上述检测装置检测装置检测细隙焊道的控制方法，包括：
在所述成像元件采集的图像上建立像素二维坐标系{P}；
获取当前周期内位姿调节机构的位姿V1，计算当前周期内，位姿调节机构在任意位姿V时，细隙焊道的中心点Q在所述{P}中的坐标 xQ(V)以及十字激光光源的两个激光平面交线J在待焊工件表面的投影点L在所述{P}中的坐标xL(V)；
将所述坐标xQ(V)以及坐标xL(V)代入预先构建的评价函数Y中，获得Y关于V的函数关系Y(V)；
计算所述评价函数在V1点的梯度；
控制所述位姿调节机构的位姿沿所述梯度的负方向变化，当变化结束时进入下一周期。
根据本发明的第三个方面，还提供一种采用上述检测装置检测细隙焊道的控制装置，包括：
坐标系建立模块，用于在所述成像元件采集的图像上建立像素二维坐标系{P}；
关键点计算模块，用于获取当前周期内位姿调节机构的位姿V1，计算当前周期内，位姿调节机构在任意位姿V时，细隙焊道的中心点Q 在所述{P}中的坐标xQ(V)以及十字激光光源的两个激光平面交线J在待焊工件表面的投影点L在所述{P}中的坐标xL(V)；
评价函数模块，用于将所述坐标xQ(V)以及坐标xL(V)代入预先构建的评价函数Y中，获得Y关于V的函数关系Y(V)；
梯度计算模块，用于计算所述评价函数在V1点的梯度；
位姿控制模块，用于控制所述位姿调节机构的位姿沿所述梯度的负方向变化，当变化结束时进入下一周期。
根据本发明的第四个方面，还提供一种检测细隙焊道的***，包括上述检测装置以及上述控制装置。
根据本发明的第五个方面，还提供一种电子设备，至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的控制方法。
根据本发明的第六个方面，还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的控制方法。
本发明提出的检测装置、采用检测装置检测细隙焊道的控制方法及装置，其中检测装置在焊枪和成像单元之间增设位姿调节机构，位姿调节结构用于调节成像单元和焊枪间的相对位置，这样就使得，即使焊道轨迹为复杂空间曲线，通过调整成像单元的位置，也能够保证焊道始终在成像元件的视野范围中，另外，本发明实施例通过用十字激光光源代替现有的激光阵列，能够更容易判断激光投影中心点的位置，以便判断进而控制激光投影中心与焊缝的相对位置。
附图说明
图1为根据本发明实施例的检测装置的结构示意图；
图2为根据本发明实施例的采用检测装置检测细隙焊道的控制方法的流程示意图；
图3为根据本发明实施例的位姿调节机构的结构示意图；
图4为根据本发明实施例的坐标系变换的示意图；
图5为根据本发明实施例的计算坐标xQ(V)以及坐标xL(V)的流程示意图；
图6为根据本发明实施例的控制装置的功能框图；
图7为根据本发明实施例的检测细隙焊道的***的功能框图；
图8为根据本发明实施例的电子设备的结构示意图；
图9为根据本发明实施例中检测装置在位姿调整前，成像单元拍摄的细隙焊缝图像和十字激光投影图像结合的示意图；
图10为根据本发明实施例中检测装置在位姿调整后，成像单元拍摄的细隙焊缝图像和十字激光投影图像结合的示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
现有的细隙焊道的检测装置，由于焊枪和成像单元的相对位置固定不变，在进行焊道的实时检测时，若焊道轨迹为复杂空间曲线，激光阵列在工件表面的投影点或焊道可能无法进入成像元件的视野范围，造成检测失败。此外，现有的检测装置根据激光阵列投影到待焊工件上的点拟合出一个平面，并假定焊缝就在这个平面上，但如果工件表面是复杂曲面，那么当激光阵列投影到的区域和焊缝距离较远时，平面就不能准确代表焊缝所在的面。
为了克服现有技术的上述缺陷，本发明实施例的发明构思为：在焊枪和成像单元之间增设位姿调节机构，位姿调节结构用于调节成像单元和焊枪间的相对位置，这样就使得，即使焊道轨迹为复杂空间曲线，通过调整成像单元的位置，也能够保证焊道始终在成像元件的视野范围中，另外，本发明实施例通过用十字激光光源代替现有的激光阵列，能够更容易判断激光投影中心点的位置，以便判断进而控制激光投影中心与焊缝的相对位置。
本发明实施例的细隙焊道的检测装置，与焊枪连接，检测装置包括：
传感器，用于检测细隙焊道，传感器包括壳体以及固定在壳体上的成像元件、十字激光光源和均匀漫射光源；
位姿调节机构，与壳体和焊枪连接，位姿调节机构用于调整传感器与焊枪的相对位置；
其中，十字激光光源用于发出十字激光投射在待焊工件的表面；均匀漫射光源用于发出亮度均匀的漫射光投射在待焊工件的表面；待焊工件表面的反射光进入成像元件成像。
需要说明的是，本发明实施例通过在传感器和焊枪间正是位姿调节机构，通过位姿调节机构调整传感器的位置，使得即使焊道轨迹为复杂空间曲线，十字激光在工件表面的投影点也能够进入成像元件的视野范围，同时通过十字激光光源代替激光阵列光源，能够更容易判断激光投影中心点的位置，以便判断进而控制激光投影中心与焊缝的相对位置。。
图1示出了本发明实施例的检测装置的结构示意图，如图所示，包括：位姿调节机构1、传感器的壳体2，以及固定于壳体2内的成像元件3、滤光元件4、十字激光光源5以及均匀漫射光源6；位姿调节机构1的一端通过焊枪连接件7与焊枪8相连，调节机构1的另一端与壳体2相连；焊枪8能够改变空间位姿；十字激光光源5能发出十字激光投射在待焊工件9的表面；均匀漫射光源6能发出亮度均匀的漫射光投射在待焊工件9的表面；待焊工件9表面的反射光经过滤光元件4后进入成像元件3成像。
基于上述实施例提供的检测装置，本发明实施例还提供一种检测方法，该检测方法用于利用上述能够调节传感器和焊枪间相对位置的检测装置，实现对复杂空间曲线焊道进行实时检测。
本发明实施例的检测方法为了克服现有技术的缺陷，实际上需要达到两个目的：1、传感器能实时拍摄到焊缝，2、激光投影尽可能接近焊缝。由于位姿调节机构的自由度不局限于1，因此当位姿调节机构的自由度为多个时，位姿调节机构的位姿转换问题就变为了一个多目标优化的问题，但由于同时达到上述两个目的较为困难，因此，本发明实施例的发明构思为：建立同时考虑上述目的的评价函数，通过求出评价函数关于位姿调节机构的自由度的偏导数，即获得评价函数的梯度，由梯度的概念可知，梯度的方向意味着上升最快，那么通过控制位姿调节机构沿梯度的反方向移动，即实现了评价函数下降最快，即相当于间接同时达到了上述两个目的。而为了求出评价函数关于位姿调节机构的自由度的偏导数，就需要求出评价函数关于位姿调节机构的自由度的表达式，因此，在每一周期假定检测到的焊缝中心点周围的工件表面全都可以用目前检测到的平面代表，将焊缝中心点周围的一段焊缝都可以用该中心点所在的焊缝切线代替，在这种假定下推导出评价函数关于位姿调节机构的自由度的表达式。
图2示出了本发明实施例的采用上述实施例的检测装置检测细隙焊道的控制方法的流程示意图，如图所示，包括：
S201、在成像元件采集的图像上建立像素二维坐标系{P}。
具体地，{P}的原点建立在图像的左上角，x轴沿图像纵向，y轴沿图像横向，像素坐标系的分辨率为HP×WP。
S202、获取当前周期内位姿调节机构的位姿V1，计算当前周期内，位姿调节机构在任意位姿V时，细隙焊道的中心点Q在{P}中的坐标 xQ(V)以及十字激光光源的两个激光平面交线J在待焊工件表面的投影点L在{P}中的坐标xL(V)。
需要说明的是，由于本发明实施例中位姿调节机构处于间歇性的调制状态，因此，将位姿调节机构从结束一次移动开始，至下一次结束一次移动期间称之为一个周期，在每一周期的计算过程中，认为该周期内位姿调节机构的位姿以及检测装置与待焊工件的相对位置均保持恒定。
由于位姿调节机构的位姿发生变化时，传感器与焊枪、待焊工件的相对位置会发生变化，因此，细隙焊道的中心点在{P}中的坐标会随着位姿调节机构的位姿而改变，同理，十字激光光源的两个激光平面交线J在待焊工件表面的投影点L在{P}中的坐标也会随着位姿调节机构的位姿而改变。
S203、将坐标xQ(V)以及坐标xL(V)代入预先构建的评价函数Y中，获得Y关于V的函数关系Y(V)。
在本发明实施例中，决定检测质量有以下几个因素：
1、中心点Q在{P}中的x轴坐标与图像中心点间的距离，若该距离过大，则中心点Q容易脱离成像元件的视野范围，因此该值越小越好。
2、投影点L在{P}中的y轴坐标与图像中心点间的距离，若该距离过大，则投影点L容易脱离程序单元的视野范围，因此该值同样越小越好。
3、中心点Q在{P}中的x轴坐标与投影点L在{P}中的x轴坐标间的距离，该值反映了投影点L距中心点Q在{P}的x方向上的距离，若该距离过大，则根据十字激光在待焊工件表面上的投影点拟合出的平面不能准确代表细隙焊道所在的面，因此该值越小越好。
综上，第1、2个距离越小则检测越不容易失败、可靠性越高，第三个距离越小则检测精度越高，希望能同时使这三个距离取得较小的值，由此建立评价函数。
S204、计算评价函数在V1点的梯度。
具体地，首先对Y(V)求梯度，然后将获取的确定量位姿V1代入求得的梯度中，即获得了具体的梯度值。
S205、控制位姿调节机构的位姿沿梯度的负方向变化，当变化结束时进入下一周期。
需要说明的是，本发明实施例通过建立与细隙焊道的中心点在图像中的坐标和十字激光光源对应的投影点在图像中的坐标相关的评价函数，通过计算评价函数的梯度，并结合位姿调节机构当前的位姿，获得使评价函数最优的位姿调整方向，使得检测装置即使面对复杂空间曲线的情况也能够保证焊缝位置保持在成像元件的视野范围中。
基于上述实施例的内容，作为一种可选实施例，计算坐标xQ(V)以及坐标xL(V)之前还包括：
建立焊枪的三维直角坐标系{W}，{W}的原点为焊枪上的一点，建立成像元件的三维直角坐标系{C}，{C}的原点为成像元件的光心，{C} 的z轴方向与成像元件的光轴方向相同。
通过标定，确定位姿调节机构在任意位姿状态V时{C}与{W}之间的转换关系，以及{P}与{C}之间的转换关系、两个激光平面在{C}中的方程以及两个激光平面的交线J在{C}中的方程。
为了更清楚地说明本发明实施例的检测方法，以两个自由度的位姿调节机构为例进行说明。图3示出了本发明实施例中的位姿调节机构的结构示意图，如图所示，位姿调节机构包括电机连接件12、第一电机11及第二电机13，第一电机11及第二电机13均装有旋转编码器，第一电机11固定在焊枪连接件7上，第一电机11的输出轴通过电机连接件12与第二电机13相连，第二电机13的输出轴与壳体2相连。
图4示出了本发明实施例的坐标系变换的示意图。如图所示，{W} 的原点为焊枪的轴线上的一点，z轴为焊枪轴线所在直线，x轴与第一电机的轴线平行。{C}的原点为成像元件的光心，z轴与成像元件的光轴平行。建立固连于第一电机的输出轴的第一电机三维直角坐标系 {A1}，其x轴与{W}的x轴平行，其y轴和z轴相对于{W}的y轴和z 轴转过α角；建立固连于第二电机的输出轴的第二电机三维直角坐标系{A2}，其y轴与{A1}的y轴平行，其x轴和z轴相对于{A1}的x轴和z轴转过β角；位姿调节机构的位姿表示为V＝[αβ]T。
当位姿调节机构的位姿为V＝[αβ]T时，{P}中细隙焊道的中心点 Q的坐标为xQ(α,β)＝(xQ(α,β),yQ(α,β))，取{P}中细隙焊道上满足的一点作为Q点，十字激光光源的两个激光平面交线J在待焊工件的表面投影点L的坐标为xL(α,β)＝(xL(α,β),yL(α,β))。相应地，评价函数表示为：
且P点和L点均需落在成像元件的视野范围内，即需满足：
0<xQ(α,β),xL(α,β)<HP
0<yQ(α,β),yL(α,β)<WP
当V＝V0＝[0 0]T时，对各坐标系之间的位姿关系进行标定，进而确定位姿调节机构3的位姿状态为任意V＝[αβ]T时，{C}到{A2}的齐次变换矩阵为{A2}到{A1}的齐次变换矩阵为{A1}到 {W}的齐次变换矩阵为则位姿调节机构的位姿状态为任意 V＝[αβ]T时{C}到{W}的齐次坐标变换矩阵为：
对成像元件进行标定，获得{P}中的点x＝[x,y]T与{C}中的点 XC＝[XC,YC,ZC]T之间的转换关系：
[XC/ZC,YC/ZC]T＝[f1(x),f2(x)]T
再标定成像元件坐标系{C}中十字激光的两个光平面的方程，由十字激光的两个光平面的方程联立解得{C}中十字激光的两个激光平面交线J的方程。
由上述内容可知，本发明实施例中{C}与{W}之间的转换关系受位姿调节机构的位姿状态V影响，而{P}与{C}之间的转换关系只与相机本身的性质有关，与位姿状态无关。
基于上述实施例的内容，作为一种可选实施例，计算坐标xQ(V)以及坐标xL(V)具体如图5所示，包括：
S501、确定位姿调节结构在当前周期的位姿V1。
S502、点亮十字激光光源同时熄灭均匀漫射光源，结合两个激光平面在{C}中的方程以及{P}与{C}之间的转换关系，对成像单元采集的十字激光投影的图像(也称作十字激光投影图像)进行坐标变换和拟合，计算位姿V1时待焊工件表面的平面M在{C}中的方程。
需要说明的是，由于{P}是二维坐标系，{C}是三维坐标系，因此根据{C}中的坐标可以唯一确定{P}中的坐标，而根据{P}中点的坐标无法唯一确定该点在{C}中的坐标，因此必须结合其他信息(例如该点落在{C}中的某个已知平面上)才能唯一确定{C}中的坐标，才能进行平面拟合。
S503、熄灭十字激光光源同时点亮均匀漫射光源，结合{P}与{C} 之间的转换关系以及当前位姿V1时平面M在{C}中的方程，假定所述点Q及细隙焊道所在的直线S落在平面M上，对成像单元采集的细隙焊道的图像(也称作细隙焊缝图像)进行坐标变换和拟合，计算位姿V1时中心点Q在{C}中的坐标以及直线S在{C}中的方程。
S504、计算位姿V1时{C}到{W}的转换关系，进而计算平面M和直线S在{W}中的方程，再结合任意位姿V时{W}到{C}的转换关系，确定任意位姿V时平面M和直线S在{C}中的方程。
S505、根据{P}与{C}之间的转换关系、交线J在{C}中的方程以及任意位姿V时平面M在{C}中的方程，确定坐标xL(V)；根据{P}与{C} 之间的转换关系以及任意位姿V时直线S在{C}中的方程，确定坐标 xQ(V)。
需要说明的是，本发明实施例计算坐标xQ(V)以及坐标xL(V)的方法，首先计算位姿V1时平面M在{C}中的方程和直线S在{C}中的方程，然后通过坐标系转换获得位姿V1时平面M在{W}中的方程和直线S在 {W}中的方程，即确定位姿V1时平面M和直线S在焊枪的坐标系下的方程，再根据任意位姿V时{W}到{C}的转换关系，获得位姿调节机构在任意位姿下平面M和直线S在成像元件的坐标系下的方程，最后，根据交线J在{C}中的方程以及任意位姿V时平面M在{C}中的方程，即可获得交线J和平面M的投影点在{C}中坐标，根据{P}与{C}的转换关系，将投影点的三维坐标转移至图像中，获得投影点的二维坐标，即坐标xL(V)；根据直线S在{C}中的方程，将其转换至二维坐标系{P} 中，再取与图像中与y轴平行的中心线的交点，即获得坐标xQ(V)。
基于上述实施例的内容，作为一种可选实施例，还提供了一种控制焊枪以更好地跟踪细隙焊道的方法，具体为：
在计算位姿V1时{C}到{W}的转换关系之后，根据位姿V1时{C}到 {W}的转换关系，以及位姿V1时所述中心点Q在{C}中的坐标，确定焊道中心点Q在{W}中的坐标；
控制焊枪根据中心点Q在{W}中的坐标调整位置。
具体地，以图3对应的检测装置为例，由位姿调节机构的编码器获知此时的位姿状态V1＝[α1β1]T，得到该位姿下{C}到{W}的齐次坐标变换矩阵再结合Q点在{C}中的坐标XC,Q，计算Q点在 {W}中的坐标XW,Q，焊枪2根据XW,Q调整位置以跟踪细隙焊道。
本发明实施例对焊枪的坐标进行调整，对提高焊接的精度提供了支持。
基于上述实施例的内容，作为一种可选实施例，计算位姿V1时待焊工件表面的平面M在{C}中的方程，具体为：
获得两个激光平面在待焊工件表面上的投影点在{P}中的坐标x1i和x2j；其中，i＝1,2,…,k1，j＝1,2,…,k2，k1和k2分别表示从两个激光平面在待焊工件表面上的投影线上取的点的个数，k1≥2，k2≥2；
根据{P}到{C}的转换关系以及两个激光平面在{C}中的方程，计算坐标x1i和x2j在{C}中对应点的坐标XC,1i和XC,2j；
将待焊工件表面上的十字激光投影所在区域作为平面M，通过 XC,1i和XC,2j拟合出位姿V1时平面M在{C}中的方程。
基于上述实施例的内容，作为一种可选实施例，计算位姿V1时中心点Q在{C}中的坐标以及细隙焊道所在的直线S在{C}中的方程，具体为：
从细隙焊道的图像中提取出中心点Q在{P}中的坐标xQ，结合{P} 到{C}的转换关系以及位姿V1时平面M在{C}中的方程，假定Q落在平面M上，获得位姿V1时中心点Q在{C}中的坐标；
将中心点Q附近预设长度的细隙焊道作为直线S，拟合出直线S 在{P}中的方程，结合{P}到{C}的转换关系以及位姿V1时平面M在{C} 中的方程，假定S落在平面M上，获得位姿V1时直线S在{C}中的方程。
基于上述实施例的内容，作为一种可选实施例，计算位姿V1时{C} 到{W}的转换关系，结合任意位姿V时{W}到{C}的转换关系，确定任意位姿V时平面M和直线S在{C}中的方程，具体为：
根据任意位姿V时{C}与{W}之间的转换关系，计算位姿V1时{C} 到{W}的转换关系；
根据位姿V1时中平面M在{C}中的方程、位姿V1时直线S在{C} 中的方程以及位姿V1时{C}到{W}的转换关系，计算平面M在{W}中的方程以及直线S在{W}中的方程；
根据任意位姿V时{W}到{C}的转换关系，以及平面M在{W}中的方程以及直线S在{W}中的方程，确定任意位姿V时，平面M在{C} 中的方程以及直线S在{C}中的方程。
以图3对应的检测装置为例，根据平面M在{C}中的方程和{C} 到{W}的齐次坐标变换矩阵计算平面M在{W}中的方程；根据直线S在{C}中的方程和{C}到{W}的齐次坐标变换矩阵计算直线S在{W}中的方程。{W}到{C}的齐次坐标变换矩阵为{C}到{W}的齐次坐标变换矩阵的逆矩阵，即 结合平面M在{W}中的方程计算任意位姿V＝[αβ]T下平面M在{C}中的方程，结合直线S在{W}中的方程计算任意位姿 V＝[αβ]T下直线S在{C}中的方程。
基于上述实施例的内容，作为一种可选实施例，根据{P}与{C}之间的转换关系、交线J在{C}中的方程以及任意位姿V时平面M在{C} 中的方程，确定坐标xL(V)；根据{P}与{C}之间的转换关系以及任意位姿V时直线S在{C}中的方程，确定坐标xQ(V)，具体为：
根据交线J在{C}中的方程以及任意位姿V时平面M在{C}中的方程，计算任意位姿V时投影点L在{C}中的坐标；
根据{C}到{P}的转换关系以及任意位姿时V投影点L在{C}中的坐标，确定坐标xL(V)；
根据任意位姿V时直线S在{C}中的方程，以及{C}到{P}的转换关系，计算任意位姿V时直线S在{P}中的方程；
根据任意位姿V时直线S在{P}中的方程以及图像的中心线，确定坐标xQ(V)。
具体地，联立{C}中十字激光的两个激光平面交线J的方程以及任意位姿V＝[αβ]T下平面M在{C}中的方程，得到任意位姿V＝[αβ]T下十字激光的两个激光平面交线J在平面M上的投影点L在{C}中的坐标XC,L(α,β)；
联立{P}与{C}的转换关系以及任意位姿V＝[αβ]T下直线S在{C} 中的方程，计算任意位姿V＝[αβ]T下直线S在{P}中的方程，再将代入直线S在{P}中的方程，得到任意位姿V＝[αβ]T下{P} 中的中心点Q的坐标xQ(α,β)＝[xQ(α,β),yQ]T；
联立{P}与{C}的转换关系以及任意位姿V＝[αβ]T下十字激光中心在平面M上的投影点L在{C}中的坐标XC,L(α,β)，计算任意位姿 V＝[αβ]T下十字激光的两个激光平面交线J在平面M上的投影点L 在{P}中的坐标xL(α,β)；
将xQ(α,β)＝[xQ(α,β),yQ]T和xL(α,β)＝[xL(α,β),yL(α,β)]T的表达式代入2)中建立的评价函数Y的表达式 得到Y＝g(α,β)，求其梯度控制器1驱动位姿调节机构3此时的位姿V＝[α1β1]T沿着的方向改变。
根据本发明的另一个方面，本发明实施例还提供一种采用上述实施例的检测装置检测细隙焊道的控制装置，参见图6，图6示出了本发明实施例的控制装置的功能框图，该控制装置用于在前述各实施例中控制上述实施例的检测装置检测细隙焊道。因此，在前述各实施例中的控制方法中的描述和定义，可以用于本发明实施例中各执行模块的理解。
如图所示，该控制装置包括：
坐标系建立模块601，用于在成像元件采集的图像上建立像素二维坐标系{P}；
关键点计算模块602，用于获取当前周期内位姿调节机构的位姿V1，计算当前周期内，位姿调节机构在任意位姿V时，细隙焊道的中心点Q 在{P}中的坐标xQ(V)以及十字激光光源的两个激光平面交线J在待焊工件表面的投影点L在{P}中的坐标xL(V)；
评价函数模块603，用于将坐标xQ(V)以及坐标xL(V)代入预先构建的评价函数Y中，获得Y关于V的函数关系Y(V)；
梯度计算模块604，用于计算评价函数在V1点的梯度；
位姿控制模块605，用于控制位姿调节机构的位姿沿梯度的负方向变化，当变化结束时进入下一周期。
图7示出了本发明实施例的检测细隙焊道的***的功能框图，如图7所示，该***包括：检测装置701和控制装置702。其中检测装置 701，其功能具体参照上述控制装置实施例，控制装置702，其功能具体参照上述控制装置实施例，此处不再赘述。
图8示出了本发明实施例的电子设备的结构示意图，如图8所示，处理器(processor)801、存储器(memory)802和总线803；
其中，处理器801及存储器802分别通过总线803完成相互间的通信；处理器801用于调用存储器802中的程序指令，以执行上述实施例所提供的控制方法，例如包括：在成像元件采集的图像上建立像素二维坐标系{P}；获取当前周期内位姿调节机构的位姿V1，计算当前周期内，位姿调节机构在任意位姿V时，细隙焊道的中心点Q在{P}中的坐标xQ(V)以及十字激光光源的两个激光平面交线J在待焊工件表面的投影点L在{P}中的坐标xL(V)；将坐标xQ(V)以及坐标xL(V)代入预先构建的评价函数Y中，获得Y关于V的函数关系Y(V)；计算评价函数在V1点的梯度；控制位姿调节机构的位姿沿梯度的负方向变化，当变化结束时进入下一周期。
本发明实施例提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令使计算机执行上述实施例所提供的控制方法，例如包括：在成像元件采集的图像上建立像素二维坐标系{P}；获取当前周期内位姿调节机构的位姿V1，计算当前周期内，位姿调节机构在任意位姿V时，细隙焊道的中心点Q在{P} 中的坐标xQ(V)以及十字激光光源的两个激光平面交线J在待焊工件表面的投影点L在{P}中的坐标xL(V)；将坐标xQ(V)以及坐标xL(V)代入预先构建的评价函数Y中，获得Y关于V的函数关系Y(V)；计算评价函数在V1点的梯度；控制位姿调节机构的位姿沿梯度的负方向变化，当变化结束时进入下一周期。
图9为根据本发明实施例中检测装置在位姿调整前，成像单元拍摄的细隙焊缝图像和十字激光投影图像结合的示意图，其中a为细隙焊缝，b为十字激光投影，图中xQ所在的线为细隙焊缝，xL所在的两条线为十字激光光源的两个激光平面显示在待焊工件上的结果；
图10为根据本发明实施例中检测装置在位姿调整后，成像单元拍摄的细隙焊缝图像和十字激光投影图像结合的示意图，其中a为细隙焊缝，b为十字激光投影，图中xQ所在的线为细隙焊缝，xL所在的线为十字激光光源的两个激光平面显示在待焊工件上的结果；通过对比图9和图10可知，图10中xQ和xL的距离更近，意味着位姿调整好的检测装置中成像单元更加对准细隙焊缝。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种细隙焊道的检测装置，与焊枪连接，其特征在于，所述检测装置包括：
传感器，用于检测细隙焊道，所述传感器包括壳体以及固定在所述壳体上的成像元件、十字激光光源和均匀漫射光源；
位姿调节机构，与所述壳体和焊枪连接，所述位姿调节机构用于调整所述传感器与所述焊枪的相对位置；
其中，所述十字激光光源用于发出十字激光投射在待焊工件的表面；所述均匀漫射光源用于发出亮度均匀的漫射光投射在待焊工件的表面；所述待焊工件表面的反射光进入成像元件成像。
2.一种采用权利要求1所述的检测装置检测细隙焊道的控制方法，其特征在于，包括：
在所述成像元件采集的图像上建立像素二维坐标系{P}；
获取当前周期内位姿调节机构的位姿V1，计算当前周期内，位姿调节机构在任意位姿V时，细隙焊道的中心点Q在所述{P}中的坐标xQ(V)以及十字激光光源的两个激光平面交线J在待焊工件表面的投影点L在所述{P}中的坐标xL(V)；
将所述坐标xQ(V)以及坐标xL(V)代入预先构建的评价函数Y中，获得Y关于V的函数关系Y(V)；
计算所述评价函数在V1点的梯度；
控制所述位姿调节机构的位姿沿所述梯度的负方向变化，当变化结束时进入下一周期。
3.根据权利要求2所述的控制方法，其特征在于，计算坐标xQ(V)以及坐标xL(V)之前还包括：
建立所述焊枪的三维直角坐标系{W}，{W}的原点为焊枪上的一点，建立所述成像元件的三维直角坐标系{C}，{C}的原点为所述成像元件的光心，{C}的z轴方向与所述成像元件的光轴方向相同；
通过标定，确定所述位姿调节机构在任意位姿状态V时{C}与{W}之间的转换关系，以及{P}与{C}之间的转换关系、两个激光平面在{C}中的方程以及两个激光平面的交线J在{C}中的方程。
4.根据权利要求3所述的控制方法，其特征在于，计算坐标xQ(V)以及坐标xL(V)，具体为：
确定所述位姿调节结构在当前周期的位姿V1；
点亮十字激光光源同时熄灭均匀漫射光源，结合所述两个激光平面在{C}中的方程以及{P}与{C}之间的转换关系，对所述成像单元采集的十字激光投影的图像进行坐标变换和拟合，计算位姿V1时待焊工件表面的平面M在{C}中的方程；
熄灭十字激光光源同时点亮均匀漫射光源，结合{P}与{C}之间的转换关系以及当前位姿V1时平面M在{C}中的方程，假定所述点Q及细隙焊道所在的直线S落在平面M上，对所述成像单元采集的细隙焊道的图像进行坐标变换和拟合，计算位姿V1时所述中心点Q在{C}中的坐标以及直线S在{C}中的方程；
计算位姿V1时{C}到{W}的转换关系，进而计算平面M和直线S在{W}中的方程，再结合任意位姿V时{W}到{C}的转换关系，确定任意位姿V时平面M和直线S在{C}中的方程；
根据{P}与{C}之间的转换关系、所述交线J在{C}中的方程以及任意位姿V时平面M在{C}中的方程，确定所述坐标xL(V)；根据{P}与{C}之间的转换关系以及任意位姿V时直线S在{C}中的方程，确定所述坐标xQ(V)。
5.根据权利要求4所述的控制方法，其特征在于，所述根据{P}与{C}之间的转换关系、所述交线J在{C}中的方程以及任意位姿V时平面M在{C}中的方程，确定所述坐标xL(V)；根据{P}与{C}之间的转换关系以及任意位姿V时直线S在{C}中的方程，确定所述坐标xQ(V)，具体为：
根据所述交线J在{C}中的方程以及任意位姿V时平面M在{C}中的方程，计算任意位姿V时所述投影点L在{C}中的坐标；
根据{C}到{P}的转换关系以及任意位姿时V所述投影点L在{C}中的坐标，确定所述坐标xL(V)；
根据任意位姿V时直线S在{C}中的方程，以及{C}到{P}的转换关系，计算任意位姿V时直线S在{P}中的方程；
根据任意位姿V时直线S在{P}中的方程以及图像的中心线，确定所述坐标xQ(V)。
6.根据权利要求4所述的控制方法，其特征在于，所述计算位姿V1时{C}到{W}的转换关系，之后还包括：
根据位姿V1时{C}到{W}的转换关系以及位姿V1时所述中心点Q在{C}中的坐标，确定所述焊道中心点Q在{W}中的坐标；
控制焊枪根据所述中心点Q在{W}中的坐标调整位置。
7.一种采用权利要求1所述的检测装置检测细隙焊道的控制装置，其特征在于，包括：
坐标系建立模块，用于在所述成像元件采集的图像上建立像素二维坐标系{P}；
关键点计算模块，用于获取当前周期内位姿调节机构的位姿V1，计算当前周期内，位姿调节机构在任意位姿V时，细隙焊道的中心点Q在所述{P}中的坐标xQ(V)以及十字激光光源的两个激光平面交线J在待焊工件表面的投影点L在所述{P}中的坐标xL(V)；
评价函数模块，用于将所述坐标xQ(V)以及坐标xL(V)代入预先构建的评价函数Y中，获得Y关于V的函数关系Y(V)；
梯度计算模块，用于计算所述评价函数在V1点的梯度；
位姿控制模块，用于控制所述位姿调节机构的位姿沿所述梯度的负方向变化，当变化结束时进入下一周期。
8.一种检测细隙焊道的***，其特征在于，包括如权利要求1所述的检测装置以及如权利要求7所述的控制装置。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求2至6任意一项所述的控制方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求2至6任一所述的控制方法。
CN201810678759.3A 2018-06-27 2018-06-27 检测装置、采用检测装置检测细隙焊道的控制方法及装置 Active CN108788550B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810678759.3A CN108788550B (zh) 2018-06-27 2018-06-27 检测装置、采用检测装置检测细隙焊道的控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810678759.3A CN108788550B (zh) 2018-06-27 2018-06-27 检测装置、采用检测装置检测细隙焊道的控制方法及装置

Publications (2)

Publication Number Publication Date
CN108788550A true CN108788550A (zh) 2018-11-13
CN108788550B CN108788550B (zh) 2019-07-12

Family

ID=64071847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810678759.3A Active CN108788550B (zh) 2018-06-27 2018-06-27 检测装置、采用检测装置检测细隙焊道的控制方法及装置

Country Status (1)

Country Link
CN (1) CN108788550B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109751987A (zh) * 2019-01-24 2019-05-14 江苏理工学院 一种用于机械执行机构的视觉激光定位装置及定位方法
CN110497121A (zh) * 2019-08-05 2019-11-26 苏州热工研究院有限公司 一种焊接过程中焊道中心跟踪的图像处理模式
CN111254066A (zh) * 2018-12-03 2020-06-09 长光华大基因测序设备（长春）有限公司 一种成像调节装置和高通量基因测序仪
CN112935675A (zh) * 2021-03-15 2021-06-11 成都焊研威达科技股份有限公司 一种腹板角钢组件角钢拱度成型点焊专机
CN115210033A (zh) * 2020-03-05 2022-10-18 松下知识产权经营株式会社 焊道外观检查装置、焊道外观检查方法、程序和焊道外观检查***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6141906A (ja) * 1984-08-03 1986-02-28 Hitachi Denshi Ltd はんだ面の状態認識方法
CN101372069A (zh) * 2008-08-15 2009-02-25 东莞华中科技大学制造工程研究院 一种集成式激光焊接测量一体化装置
CN102645219A (zh) * 2012-05-16 2012-08-22 航天科工哈尔滨风华有限公司 用于焊缝检测的爬壁机器人的视觉导航***及焊缝的焊接定位方法及焊缝偏移量获取方法
CN103954216A (zh) * 2014-05-13 2014-07-30 清华大学 基于球面光源的强镜面反射工件细窄坡口检测装置及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6141906A (ja) * 1984-08-03 1986-02-28 Hitachi Denshi Ltd はんだ面の状態認識方法
CN101372069A (zh) * 2008-08-15 2009-02-25 东莞华中科技大学制造工程研究院 一种集成式激光焊接测量一体化装置
CN102645219A (zh) * 2012-05-16 2012-08-22 航天科工哈尔滨风华有限公司 用于焊缝检测的爬壁机器人的视觉导航***及焊缝的焊接定位方法及焊缝偏移量获取方法
CN103954216A (zh) * 2014-05-13 2014-07-30 清华大学 基于球面光源的强镜面反射工件细窄坡口检测装置及方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111254066A (zh) * 2018-12-03 2020-06-09 长光华大基因测序设备（长春）有限公司 一种成像调节装置和高通量基因测序仪
CN109751987A (zh) * 2019-01-24 2019-05-14 江苏理工学院 一种用于机械执行机构的视觉激光定位装置及定位方法
CN110497121A (zh) * 2019-08-05 2019-11-26 苏州热工研究院有限公司 一种焊接过程中焊道中心跟踪的图像处理模式
CN115210033A (zh) * 2020-03-05 2022-10-18 松下知识产权经营株式会社 焊道外观检查装置、焊道外观检查方法、程序和焊道外观检查***
CN115210033B (zh) * 2020-03-05 2024-04-02 松下知识产权经营株式会社 焊道外观检查装置、焊道外观检查方法、程序和焊道外观检查***
CN112935675A (zh) * 2021-03-15 2021-06-11 成都焊研威达科技股份有限公司 一种腹板角钢组件角钢拱度成型点焊专机
CN112935675B (zh) * 2021-03-15 2023-04-25 成都焊研威达科技股份有限公司 一种腹板角钢组件角钢拱度成型点焊专机

Also Published As

Publication number Publication date
CN108788550B (zh) 2019-07-12

Similar Documents

Publication Publication Date Title
CN108788550B (zh) 检测装置、采用检测装置检测细隙焊道的控制方法及装置
US11536669B2 (en) Detecting machining errors of a laser machining system using deep convolutional neural networks
US7034249B2 (en) Method of controlling the welding of a three-dimensional structure
CN109676243A (zh) 基于双线激光结构光的焊缝识别与跟踪***及方法
EP2033747A2 (en) Robot simulation apparatus
CN101334264B (zh) 激光焊接中狭窄对接焊缝的测量方法及装置
Chen et al. The autonomous detection and guiding of start welding position for arc welding robot
Xu et al. A visual seam tracking system for robotic arc welding
CN105303560B (zh) 机器人激光扫描式焊缝跟踪***标定方法
CN108332658A (zh) 一种用于复杂曲面焊接的焊道位姿实时检测方法
CN110434516A (zh) 一种智能焊接机器人***及焊接方法
US20140081459A1 (en) Depth mapping vision system with 2d optical pattern for robotic applications
US20040080758A1 (en) Three-dimensional visual sensor
CN105190235A (zh) 以六自由度跟踪的结构光扫描仪的补偿
NO822589L (no) Fremgangsmaate og apparat for posisjonering av et verktoey eller instrument.
KR20210019014A (ko) 공간의 복잡한 표면에서 지점의 위치를 결정하기 위한 방법 및 플랜트
CN103954216A (zh) 基于球面光源的强镜面反射工件细窄坡口检测装置及方法
JP2017009383A (ja) 外観撮影装置及び外観撮影方法
CN104525424B (zh) 一种用于喷涂机器人喷涂路径设定的光学测量设备
JP2013007589A (ja) 欠陥検出装置およびその方法
CN110763137A (zh) 产品姿态的确定方法及装置
CN114332231B (zh) 视觉检测设备中机械手与相机的定位方法、装置及介质
CN110370272A (zh) 一种基于垂直反射的机器人tcp标定***
Nguyen et al. Development of a vision system integrated with industrial robots for online weld seam tracking
CN112884833B (zh) 一种焊缝坡口的检测方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant