CN108717715A - 一种用于弧焊机器人的线结构光视觉***自动标定方法 - Google Patents
一种用于弧焊机器人的线结构光视觉***自动标定方法 Download PDFInfo
- Publication number
- CN108717715A CN108717715A CN201810592881.9A CN201810592881A CN108717715A CN 108717715 A CN108717715 A CN 108717715A CN 201810592881 A CN201810592881 A CN 201810592881A CN 108717715 A CN108717715 A CN 108717715A
- Authority
- CN
- China
- Prior art keywords
- robot
- scaling board
- image
- calibration
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/32—Accessories
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Plasma & Fusion (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Robotics (AREA)
- Manipulator (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种用于弧焊机器人的线结构光视觉***自动标定方法,包括:步骤1、将预定的约束限制将标定板放置于机器人工作区域内任何位置;步骤2、人为操作机器人,使得标定板位置出现在采集的图像正中间的矩形框内,并以此为基准更新机器人标定程序中各个采集点的位置分量;步骤3、采集15个位置下的15幅标定板图像和另外4个位置下的标定板图像和对应的激光条纹图像;步骤4、由采集的前15张图像计算相机的内参数及手眼关系参数;由采集的后4组图像计算结构光平面参数。本发明仅对第一个标定板采集位置进行图像定位,后续位置通过平移变换自动更新,无需人为操作,方便快捷,大大提高了灵活性和快速性,能够适应实际生产环境的需要。
Description
技术领域
本发明涉及弧焊机器人的线结构光视觉***,尤其涉及一种用于弧焊机器人的线结构光视觉***自动标定方法。
背景技术
线结构光视觉传感器由于其非接触式的特点,测量精度高、测量速度快,相比接触式传感方式在工业应用中更加广泛。在焊缝跟踪应用中,线结构光视觉传感器通常固定于机器人的焊枪上,用于对焊缝进行检测及自动跟踪。
将线结构光视觉传感器固定于弧焊机器人末端上的方式为eye in hand模式,传感器跟随机器人一起运动,为了将传感器检测的位置统一到机器人基坐标系下,需要对弧焊机器人视觉***进行三个方面的标定,包括相机内参数标定,传感器手眼关系参数标定和结构光平面参数标定。本方法采用高精度标定板的方式对整个视觉***进行标定。目前现有的标定方法主要依赖于人工操作,同时为了保证标定的精度需要进行采集较多的位置,对人的要求较高,且整个过程会耗费较长的时间。
发明内容
本发明针对现有的标定结构光视觉***中存在依赖人为操作,标定过程复杂,标定过程费时等缺点,提出了一种用于弧焊机器人的线结构光视觉***自动标定方法。该方法采用圆形靶标标定板,只需要在初始采集图像位置进行人工操作,后续自动运行机器人标定程序,完成整个视觉***标定过程。
本发明的提供的技术方案如下:
一种用于弧焊机器人的线结构光视觉***自动标定方法,包括步骤:
步骤1、将预定的约束限制将标定板放置于机器人工作区域内任何位置;
步骤2、初始标定板采集位置的图像定位,人为操作机器人,使得标定板位置出现在采集的图像正中间的矩形框内,并以此为基准更新后续机器人采集图像的位置,即更新机器人标定程序中各个采集点的位置分量;
步骤3、运行机器人标定程序,先采集15个位置下的15幅标定板图像,然后再通过控制线结构光传感器中激光的通断实现另外4个位置下的标定板图像和对应的激光条纹图像的采集;
步骤4、由采集的前15张图像计算相机的内参数及手眼关系参数;由采集的后4组图像计算结构光平面参数;完成整个标定过程。
进一步地,步骤1中,所述预设约束限制具体为:标定板的坐标系Oc-XcYc与机器人基坐标系Or-XrYrZr中,标定板的X轴及Y轴分别平行于机器人基坐标系的X轴和Y轴。
进一步地,所述的步骤2具体包括:
步骤21、移动机器人末端位置,使得标定板出现在相机的视野中,此时通过上位机调节相机的曝光时间,保证标定板成像具有一定的对比度;
步骤22、调节机器人末端位置,保证整个标定板图像位于设定的矩形框内,大小与矩形框的大小基本一致,将当前位置确定为初始标定图像采集位置;
步骤23、设原始的各个点的标定位置为当前位置即初始标定图像采集位置为则得到当前位置与原始的各个点的标定位置之间的平移变换关系,即
步骤24、通过所述平移变换关系对后续各标定点的位置进行更新,即
步骤25、通过上位机发送更新的标定点位置到机器人控制器中,通过机器人控制器修改机器人标定示教程序中每个示教点的位置分量,即可完成标定点的更新。
进一步地,所述的原始的各个点的标定位置具体为第一次进行机器人视觉***标定时各个标定点的位置,通过人为指定。
进一步地,所述的步骤3具体包括:
步骤31、先采集15个位置下的15幅标定板图像,图像中标定板的位置遍布相机的视野范围;
步骤32、然后机器人自动运动到另外4个位置,在每个位置下,先采集一幅标定板图像,然后通过机器人IO及上位机与以太网通信分别控制视觉传感器中激光器的打开以及相机曝光时间的更改,使得激光线照射在标定板上,在无其他杂光的干扰下,采集对应的激光条纹图像;
步骤33、,通过上位机与机器人通信自动读取每个采集位置下机器人末端的位置坐标并保存到上位机中。
进一步地,步骤32中采集对应的激光条纹图像时,所述采集标定板图像和采集激光条纹图像在同一位置,采集激光条纹时打开激光器,使激光条纹照射到标定板上,同时更改相机的曝光时间,采集只包含有激光条纹的图像,该激光条纹图像采用图像识别出激光中心线,映射到对应位置下的标定板图像中,从而识别出激光中心线与标定板中每列圆形靶标的交点。
进一步地,所述的步骤4具体包括:
步骤41、提取保持的15幅标定板图像及对应的机器人位置;
步骤42、进行相机标定,求解相机内参数;
步骤43、标定机器人与相机的手眼关系参数;
步骤44、由另外4个位置中每个位置下所采集的标定板图像和激光条纹图像,采用交比不变性及最小二乘拟合方法计算出线结构光平面方程的参数。
进一步地,所述的步骤42具体包括:
步骤421、构造单应性矩阵,将图像点与空间点对应起来,然后通过线性求解得到相机参数初始值,所述单应性矩阵为:
式中,图像点齐次坐标为m=[u v 1]T,对应标定板上空间点齐次坐标为M=[Xc Yc1]T,H为构造的单应性矩阵,s为比例因子,K为相机内参数矩阵,ax和ay是在两个不同方向上焦距值,旋转矩阵R和平移矩阵t构造成相机外参数矩阵;
步骤422、加入径向畸变的影响,对上一步得到的相机参数进行非线性优化,具体采用最大似然估计构造优化目标函数,然后利用Levenberg-Marquarat算法求解,所述构造优化目标函数为:
γo是优化目标函数,mij是第i幅标定板图像中第j个标定点的图像坐标,Hi是第i幅标定板图像的单应性矩阵,Mj是第j个标定点的空间坐标值,是通过初始解得到的图像坐标估计值。
进一步地,所述的步骤43具体包括:
步骤431、获取每个位置下标定板相对于相机坐标系{C}下的空间位置Bi,同时计算得到焊枪相对于机器人基坐标系{B}的位置Ai,设X为相机坐标系相对于焊枪坐标系{T}的变换关系,则构造方程AX=XB;
步骤432、采用非线性优化方式求解所述方程,以得到更高精度的优化目标函数,使手眼关系误差e尽量小:
其中,cHp是标定板到传感器坐标系{C}的变换矩阵,bHp是标定板到机器人基坐标系{B}的变换矩阵,cHt是工具坐标系{T}到传感器坐标系的变换矩阵,tHb是机器人基坐标系到工具坐标系的变换矩阵,W是平衡各个未知量的的平衡矩阵,e为构造的手眼关系误差。
进一步地,所述的步骤44具体包括:
步骤441、根据交比不变性可以计算出激光条纹与每列靶标所构成直线的交点,即求C':
步骤442、每组标定板图像及激光条纹图像能够求出的7个C',四组共够获取28个交点,通过最小二乘拟合方法对结构光平面方程ax+by+cz+1=0进行拟合,求出平面参数a,b,c。
相比现有技术,本发明通过约束标定板的放置位置,对初始采集位置进行图像定位,然后自动更新所有标定点位置,运行机器人标定程序即可完成所有图像的采集及整个***的标定工作,不仅能够保证标定的高精度,而且能够使标定过程流程化、自动化,使标定过程简单方便,大大提高了线结构视觉***标定的灵活性和快速性,能够适应实际生产环境的需要,具有良好的实用性。
附图说明
图1弧焊机器人结构光视觉***坐标系标定关系图。
图2弧焊机器人视觉***自动标定流程图。
图3标定板坐标系约束示意图。
图4初始标定图像采集位置图像定位图。
图5手眼关系原理图。
图6具有投影变换关系的两组共线点示意图。
具体实施方式
为了使本发明的目的、技术方案和有点更加清楚明白,下面参照附图,对本发明的具体实施过程进行进一步详细的说明。
弧焊机器人结构光视觉***坐标系标定关系:如图1所示。结构光视觉传感器固定于弧焊机器人焊枪上,标定板位于机器人工作空间内。{B}为机器人基坐标系,{C}为视觉传感器坐标系,即相机坐标系,{T}为机器人工具坐标系,即焊枪坐标系,{P}为标定板坐标系。根据矩阵传递关系可得
cHp=cHt tHb bHp
其中,cHp是标定板到传感器坐标系{C}的变换矩阵,bHp是标定板到机器人基坐标系{B}的变换矩阵,cHt是工具坐标系{T}到传感器坐标系{C}的变换矩阵,tHb是机器人基坐标系到工具坐标系的变换矩阵。其中手眼关系即是焊枪坐标系{T}相对于视觉传感器坐标系{C}之间的变换矩阵cHt。机器人进行焊缝跟踪时,需要将视觉传感器检测到的焊缝点转换到机器人的基坐标系下,因此机器人基坐标系是描述其他坐标系的基础。焊枪坐标系与机器人基坐标系之间的关系可以通过机器人正运动学进行计算得到,一般可直接通过机器人控制器读取出焊枪末端相对于机器人基坐标系的位置和姿态信息。激光平面的参数a、b、c是在相机坐标系中的参数,通过标定激光平面后即可通过下式将激光平面与工件的交点坐标统一到相机坐标系下:
其中K为相机的内参数矩阵,ax和ay分别表示相机在x和y方向的等效焦距,β为比例因子,(u0,v0)为图像中相机的主点位置,(u,v)为图像中激光条纹坐标,(xc,yc,zc)为图像点对应的相机坐标系的三维坐标。
图2所示为本发明实施例的自动标定流程图。首先将标定板放置于机器人工作区域内,移动机器人到达初始标定位置进行图像定位,然后更新机器人的标定程序中的所有标定点位置,运行机器人标定程序,运行完毕后上位机提取保存的图像及机器人位置,再运行标定算法,完成整个***的标定过程。
一种用于弧焊机器人的线结构光视觉***自动标定方法,包括步骤:
步骤1、将预定的约束限制将标定板放置于机器人工作区域内任何位置,如图3所示,所述预设约束限制具体为:所述标定板的坐标系Oc-XcYc与机器人基坐标系Or-XrYrZr中,标定板的X轴及Y轴分别平行于机器人基坐标系的X轴和Y轴。
步骤2、初始标定板采集位置的图像定位,人为操作机器人,使得标定板位置出现在采集的图像正中间的矩形框内,并以此为基准更新后续机器人采集图像的位置,即更新机器人标定程序中各个采集点的位置分量。
步骤3、运行机器人标定程序,先采集15个位置下的15幅标定板图像,然后再通过控制线结构光传感器中激光的通断实现另外4个位置下的标定板图像和对应的激光条纹图像的采集。
步骤4、由采集的前15张图像计算相机的内参数及手眼关系参数;由采集的后4组图像计算结构光平面参数;完成整个标定过程。
所述步骤2具体包括:
步骤21、移动机器人末端位置,使得标定板出现在相机的视野中,此时通过上位机调节相机的曝光时间,保证标定板成像具有一定的对比度;
步骤22、调节机器人末端位置,保证整个标定板图像位于设定的矩形框内,大小与矩形框的大小基本一致,将当前位置确定为初始标定图像采集位置(见图4);
步骤23、设原始的各个点的标定位置为当前位置即初始标定图像采集位置为则得到当前位置与原始的各个点的标定位置之间的平移变换关系,即,所述的原始的各个点的标定位置具体为第一次进行机器人视觉***标定时各个标定点的位置,通过人为指定;
步骤24、通过所述平移变换关系对后续各标定点的位置进行更新,即
步骤25、通过上位机发送更新的标定点位置到机器人控制器中,通过机器人控制器修改机器人标定示教程序中每个示教点的位置分量,即可完成标定点的更新。
具体而言,所述的步骤3具体包括:
步骤31、先采集15个位置下的15幅标定板图像,图像中标定板的位置遍布相机的视野范围;
步骤32、然后机器人自动运动到另外4个位置,在每个位置下,先采集一幅标定板图像,然后通过机器人IO及上位机与以太网通信分别控制视觉传感器中激光器的打开以及相机曝光时间的更改,使得激光线照射在标定板上,在无其他杂光的干扰下,采集对应的激光条纹图像;
步骤33、通过上位机与机器人通信自动读取每个采集位置下机器人末端的位置坐标并保存到上位机中。
具体而言,步骤32中采集对应的激光条纹图像时,所述采集标定板图像和采集激光条纹图像在同一位置,采集激光条纹时打开激光器,使激光条纹照射到标定板上,同时更改相机的曝光时间,采集只包含有激光条纹的图像,保证图像质量利于图像处理中激光条纹中心线的提取。该激光条纹图像采用图像识别出激光中心线,映射到对应位置下的标定板图像中,从而识别出激光中心线与标定板中每列圆形靶标的交点。完成采集激光条纹图像并保存当前机器人末端位置后,机器人IO控制关闭激光器,上位机再调整相机曝光时间,保证采集的标定板图像质量,如此完成一个位置下标定板图像及激光条纹图像的采集工作,然后机器人再移动到下一个位置。
具体而言,所述的步骤4具体包括:
步骤41、提取保持的15幅标定板图像及对应的机器人位置;
步骤42、进行相机标定,求解相机内参数,具体包括:
步骤421、构造单应性矩阵,将图像点与空间点对应起来,然后通过线性求解得到相机参数初始值,所述单应性矩阵为:
式中,图像点齐次坐标为m=[u v 1]T,对应标定板上空间点齐次坐标为M=[Xc Yc1]T,H为构造的单应性矩阵,s为比例因子,K为相机内参数矩阵,ax和ay是在两个不同方向上焦距值,旋转矩阵R和平移矩阵t构造成相机外参数矩阵;
步骤422、加入径向畸变的影响,对上一步得到的相机参数进行非线性优化,具体采用最大似然估计构造优化目标函数,然后利用Levenberg-Marquarat算法求解,所述构造优化目标函数为:
γo是优化目标函数,mij是第i幅标定板图像中第j个标定点的图像坐标,Hi是第i幅标定板图像的单应性矩阵,Mj是第j个标定点的空间坐标值,是通过初始解得到的图像坐标估计值;
步骤43、标定机器人与相机的手眼关系参数,具体包括:
步骤431、获取每个位置下标定板相对于相机坐标系{C}下的空间位置Bi,同时计算得到焊枪相对于机器人基坐标系{B}的位置Ai,设X为相机坐标系相对于焊枪坐标系{T}的变换关系,则构造方程AX=XB,图5为手眼标定原理示意图,其中Ai是第i次拍摄时工具相对于机器人基坐标系{B}的位姿,Bi为此时标定板相对于相机坐标系{C}的位姿,Y是标定板相对于机器人基坐标系{B}的位姿。由此可得Y=AiXBi,其中X是相机坐标系{C}相对于工具坐标系{T}的变换矩阵。同样获取第j次的参数,得到AiXBi=AjXBj。令和于是可得AX=XB;
步骤432、采用非线性优化方式求解所述方程,以得到更高精度的优化目标函数,使手眼关系误差e尽量小:
其中,cHp是标定板到传感器坐标系{C}的变换矩阵,bHp是标定板到机器人基坐标系{B}的变换矩阵,cHt是工具坐标系{T}到传感器坐标系的变换矩阵,tHb是机器人基坐标系到工具坐标系的变换矩阵,W是平衡各个未知量的的平衡矩阵,e为构造的手眼关系误差;
步骤44、由另外4个位置中每个位置下所采集的标定板图像和激光条纹图像,采用交比不变性及最小二乘拟合方法计算出线结构光平面方程的参数,具体包括:
步骤441、根据交比不变性可以计算出激光条纹与每列靶标所构成直线的交点,即求C':
步骤442、每组标定板图像及激光条纹图像能够求出的7个C',四组共够获取28个交点,通过最小二乘拟合方法对结构光平面方程ax+by+cz+1=0进行拟合,求出平面参数a,b,c。
如图6为具有投影变换关系的两组共线点,满***比不变性原理,实际标定中,激光条纹与标定板中的每一列靶标组成的直线相交,在图像中将交点设定为C,A、B、D为与C点所在列中距离最近的三个靶标点,这四个点组成一组共线点。这四个点在空间中的实际点位为A',B',C',D',同样组成一组共线点,其中C'为空间中激光条纹与标定板每列靶标连线的交点,通过以上公式可以求得C'的位置,通过对28个交点进行拟合,可以求出激光平面的参数a,b,c,通过上述过程,即可一次性完成相机内参数、手眼关系矩阵和结构光平面参数的标定。
以上所述,仅为本发明的具体实施方式。但本发明保护范围并不局限于此。任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内,因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种用于弧焊机器人的线结构光视觉***自动标定方法,其特征在于,包括步骤:
步骤1、将预定的约束限制将标定板放置于机器人工作区域内任何位置;
步骤2、初始标定板采集位置的图像定位,人为操作机器人,使得标定板位置出现在采集的图像正中间的矩形框内,并以此为基准更新后续机器人采集图像的位置,即更新机器人标定程序中各个采集点的位置分量;
步骤3、运行机器人标定程序,先采集15个位置下的15幅标定板图像,然后再通过控制线结构光传感器中激光的通断实现另外4个位置下的标定板图像和对应的激光条纹图像的采集;
步骤4、由采集的前15张图像计算相机的内参数及手眼关系参数;由采集的后4组图像计算结构光平面参数;完成整个标定过程。
2.根据权利要求1所述的用于弧焊机器人的线结构光视觉***自动标定方法,其特征在于:步骤1中,所述预设约束限制具体为:标定板的坐标系Oc-XcYc与机器人基坐标系Or-XrYrZr中,标定板的X轴及Y轴分别平行于机器人基坐标系的X轴和Y轴。
3.根据权利要求1所述的用于弧焊机器人的线结构光视觉***自动标定方法,其特征在于:所述的步骤2具体包括:
步骤21、移动机器人末端位置,使得标定板出现在相机的视野中,此时通过上位机调节相机的曝光时间,保证标定板成像具有一定的对比度;
步骤22、调节机器人末端位置,保证整个标定板图像位于设定的矩形框内,大小与矩形框的大小基本一致,将当前位置确定为初始标定图像采集位置;
步骤23、设原始的各个点的标定位置为当前位置即初始标定图像采集位置为则得到当前位置与原始的各个点的标定位置之间的平移变换关系,即
步骤24、通过所述平移变换关系对后续各标定点的位置进行更新,即
步骤25、通过上位机发送更新的标定点位置到机器人控制器中,通过机器人控制器修改机器人标定示教程序中每个示教点的位置分量,即可完成标定点的更新。
4.根据权利要求3所述的用于弧焊机器人的线结构光视觉***自动标定方法,其特征在于:所述的原始的各个点的标定位置具体为第一次进行机器人视觉***标定时各个标定点的位置,通过人为指定。
5.根据权利要求1所述的用于弧焊机器人的线结构光视觉***自动标定方法,其特征在于:所述的步骤3具体包括:
步骤31、先采集15个位置下的15幅标定板图像,图像中标定板的位置遍布相机的视野范围;
步骤32、然后机器人自动运动到另外4个位置,在每个位置下,先采集一幅标定板图像,然后通过机器人IO及上位机与以太网通信分别控制视觉传感器中激光器的打开以及相机曝光时间的更改,使得激光线照射在标定板上,在无其他杂光的干扰下,采集对应的激光条纹图像;
步骤33、,通过上位机与机器人通信自动读取每个采集位置下机器人末端的位置坐标并保存到上位机中。
6.根据权利要求5所述的用于弧焊机器人的线结构光视觉***自动标定方法,其特征在于:步骤32中采集对应的激光条纹图像时,所述采集标定板图像和采集激光条纹图像在同一位置,采集激光条纹时打开激光器,使激光条纹照射到标定板上,同时更改相机的曝光时间,采集只包含有激光条纹的图像,该激光条纹图像采用图像识别出激光中心线,映射到对应位置下的标定板图像中,从而识别出激光中心线与标定板中每列圆形靶标的交点。
7.根据权利要求1所述的用于弧焊机器人的线结构光视觉***自动标定方法,其特征在于:所述的步骤4具体包括:
步骤41、提取保持的15幅标定板图像及对应的机器人位置;
步骤42、进行相机标定,求解相机内参数;
步骤43、标定机器人与相机的手眼关系参数;
步骤44、由另外4个位置中每个位置下所采集的标定板图像和激光条纹图像,采用交比不变性及最小二乘拟合方法计算出线结构光平面方程的参数。
8.根据权利要求7所述的用于弧焊机器人的线结构光视觉***自动标定方法,其特征在于:所述的步骤42具体包括:
步骤421、构造单应性矩阵,将图像点与空间点对应起来,然后通过线性求解得到相机参数初始值,所述单应性矩阵为:
sm=HM
式中,图像点齐次坐标为m=[u v 1]T,对应标定板上空间点齐次坐标为M=[Xc Yc 1]T,H为构造的单应性矩阵,s为比例因子,K为相机内参数矩阵,ax和ay是在两个不同方向上焦距值,旋转矩阵R和平移矩阵t构造成相机外参数矩阵;
步骤422、加入径向畸变的影响,对上一步得到的相机参数进行非线性优化,具体采用最大似然估计构造优化目标函数,然后利用Levenberg-Marquarat算法求解,所述构造优化目标函数为:
γo是优化目标函数,mij是第i幅标定板图像中第j个标定点的图像坐标,Hi是第i幅标定板图像的单应性矩阵,Mj是第j个标定点的空间坐标值,是通过初始解得到的图像坐标估计值。
9.根据权利要求7所述的用于弧焊机器人的线结构光视觉***自动标定方法,其特征在于:所述的步骤43具体包括:
步骤431、获取每个位置下标定板相对于相机坐标系{C}下的空间位置Bi,同时计算得到焊枪相对于机器人基坐标系{B}的位置Ai,设X为相机坐标系相对于焊枪坐标系{T}的变换关系,则构造方程AX=XB;
步骤432、采用非线性优化方式求解所述方程,以得到更高精度的优化目标函数,使手眼关系误差e尽量小:
其中,cHp是标定板到传感器坐标系{C}的变换矩阵,bHp是标定板到机器人基坐标系{B}的变换矩阵,cHt是工具坐标系{T}到传感器坐标系的变换矩阵,tHb是机器人基坐标系到工具坐标系的变换矩阵,W是平衡各个未知量的的平衡矩阵,e为构造的手眼关系误差。
10.根据权利要求7所述的用于弧焊机器人的线结构光视觉***自动标定方法,其特征在于:所述的步骤44具体包括:
步骤441、根据交比不变性可以计算出激光条纹与每列靶标所构成直线的交点,即求C':
C'=A'+t(B'-A')
步骤442、每组标定板图像及激光条纹图像能够求出的7个C',四组共够获取28个交点,通过最小二乘拟合方法对结构光平面方程ax+by+cz+1=0进行拟合,求出平面参数a,b,c。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810592881.9A CN108717715B (zh) | 2018-06-11 | 2018-06-11 | 一种用于弧焊机器人的线结构光视觉***自动标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810592881.9A CN108717715B (zh) | 2018-06-11 | 2018-06-11 | 一种用于弧焊机器人的线结构光视觉***自动标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108717715A true CN108717715A (zh) | 2018-10-30 |
CN108717715B CN108717715B (zh) | 2022-05-31 |
Family
ID=63912060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810592881.9A Active CN108717715B (zh) | 2018-06-11 | 2018-06-11 | 一种用于弧焊机器人的线结构光视觉***自动标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108717715B (zh) |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109848994A (zh) * | 2019-02-22 | 2019-06-07 | 浙江启成智能科技有限公司 | 一种机器人视觉引导定位算法 |
CN110103219A (zh) * | 2019-03-07 | 2019-08-09 | 牧今科技 | 执行自动相机校准以进行机器人控制的方法和*** |
CN110136208A (zh) * | 2019-05-20 | 2019-08-16 | 北京无远弗届科技有限公司 | 一种机器人视觉伺服***的联合自动标定方法及装置 |
CN110238851A (zh) * | 2019-06-14 | 2019-09-17 | 苏州大学 | 一种移动机器人及其快速标定方法和*** |
CN110238845A (zh) * | 2019-05-22 | 2019-09-17 | 湖南视比特机器人有限公司 | 最优标定点选取和误差自测量的自动手眼标定方法及装置 |
CN110475078A (zh) * | 2019-09-03 | 2019-11-19 | 河北科技大学 | 摄像机曝光时间调整方法及终端设备 |
CN110763136A (zh) * | 2019-07-31 | 2020-02-07 | 武汉理工大学 | 一种高精度三维工件尺寸检测***及方法 |
CN111161358A (zh) * | 2019-12-31 | 2020-05-15 | 华中科技大学鄂州工业技术研究院 | 一种用于结构光深度测量的相机标定方法和装置 |
CN111318783A (zh) * | 2020-03-27 | 2020-06-23 | 陕西丝路机器人智能制造研究院有限公司 | 一种标定船用管焊机器人焊枪与激光焊缝跟踪传感器的方法 |
WO2020132924A1 (zh) * | 2018-12-25 | 2020-07-02 | 深圳市优必选科技有限公司 | 机器人传感器的外参标定方法、装置、机器人及存储介质 |
WO2020133878A1 (zh) * | 2018-12-26 | 2020-07-02 | 南京埃斯顿机器人工程有限公司 | 一种精确标定机器人末端与视觉***的方法 |
CN111558758A (zh) * | 2020-05-21 | 2020-08-21 | 宁夏天地奔牛实业集团有限公司 | 一种矿用链轮链窝表面自动堆焊方法 |
CN111707189A (zh) * | 2020-06-12 | 2020-09-25 | 天津大学 | 基于双目视觉的激光位移传感器光束方向标定方法 |
CN111890354A (zh) * | 2020-06-29 | 2020-11-06 | 北京大学 | 一种机器人手眼标定方法、装置及*** |
CN112743546A (zh) * | 2020-12-29 | 2021-05-04 | 华南理工大学 | 机器人手眼标定位姿选择方法、装置、机器人***及介质 |
CN112783076A (zh) * | 2019-11-07 | 2021-05-11 | 东北大学秦皇岛分校 | 基于高精度位移传感器的引导机械手定位的方法及*** |
CN112800582A (zh) * | 2020-12-30 | 2021-05-14 | 华南理工大学 | 一种结构光视觉传感器仿真激光线生成方法 |
CN112792821A (zh) * | 2021-04-01 | 2021-05-14 | 北京科技大学 | 惯性辅助长曝光下的运动机器人视觉去模糊的方法及*** |
CN112894209A (zh) * | 2021-01-19 | 2021-06-04 | 常州英迈乐智能***有限公司 | 一种基于十字激光的管板智能焊接机器人自动平面校正方法 |
CN112958960A (zh) * | 2021-02-08 | 2021-06-15 | 革点科技(深圳)有限公司 | 一种基于光学靶标的机器人手眼标定装置 |
CN113177901A (zh) * | 2021-04-01 | 2021-07-27 | 北京科技大学 | 一种机器人视觉的多帧运动图像融合方法及*** |
CN114012718A (zh) * | 2021-10-18 | 2022-02-08 | 阿里云计算有限公司 | 数据处理方法 |
WO2022052313A1 (zh) * | 2020-09-11 | 2022-03-17 | 苏州中科全象智能科技有限公司 | 3d结构光***的标定方法、电子设备及存储介质 |
CN114373020A (zh) * | 2022-01-07 | 2022-04-19 | 天津大学 | 一种基于联合外参估计的线结构光传感器光平面标定方法 |
CN115570574A (zh) * | 2022-08-31 | 2023-01-06 | 华南理工大学 | 用于远程超声机器人的辅助遥控方法、***、装置及介质 |
CN116563391A (zh) * | 2023-05-16 | 2023-08-08 | 深圳市高素科技有限公司 | 一种基于机器视觉的激光结构自动标定方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103558850A (zh) * | 2013-07-26 | 2014-02-05 | 无锡信捷电气股份有限公司 | 一种激光视觉引导的焊接机器人全自动运动自标定方法 |
KR20140054927A (ko) * | 2012-10-30 | 2014-05-09 | 현대중공업 주식회사 | 로봇의 자동 캘리브레이션 방법 |
CN104613899A (zh) * | 2015-02-09 | 2015-05-13 | 淮阴工学院 | 一种全自动的结构光手眼三维测量***标定方法 |
US9056396B1 (en) * | 2013-03-05 | 2015-06-16 | Autofuss | Programming of a robotic arm using a motion capture system |
CN105021139A (zh) * | 2015-07-16 | 2015-11-04 | 北京理工大学 | 一种机器人线结构光视觉测量***的手眼标定方法 |
CN105773661A (zh) * | 2016-03-30 | 2016-07-20 | 东莞市速美达自动化有限公司 | 水平机器人固定相机下工件平移旋转标定方法 |
CN105783726A (zh) * | 2016-04-29 | 2016-07-20 | 无锡科技职业学院 | 一种基于线结构光视觉检测的曲线焊缝三维重建方法 |
CN105945909A (zh) * | 2016-05-13 | 2016-09-21 | 大族激光科技产业集团股份有限公司 | 三自由度并联机器人的误差校正方法及*** |
CN106705849A (zh) * | 2017-01-25 | 2017-05-24 | 上海新时达电气股份有限公司 | 线结构光传感器标定方法 |
CN106839979A (zh) * | 2016-12-30 | 2017-06-13 | 上海交通大学 | 激光线结构光传感器的手眼标定方法 |
CN107907063A (zh) * | 2017-11-14 | 2018-04-13 | 湖南文理学院 | 一种基于视觉测量的钢带冲孔加工检测***及方法 |
CN107945209A (zh) * | 2017-11-29 | 2018-04-20 | 中国人民解放***箭军工程大学 | 基于逆向结构匹配跟踪的序列图像目标点的精确自动标定方法 |
-
2018
- 2018-06-11 CN CN201810592881.9A patent/CN108717715B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140054927A (ko) * | 2012-10-30 | 2014-05-09 | 현대중공업 주식회사 | 로봇의 자동 캘리브레이션 방법 |
US9056396B1 (en) * | 2013-03-05 | 2015-06-16 | Autofuss | Programming of a robotic arm using a motion capture system |
CN103558850A (zh) * | 2013-07-26 | 2014-02-05 | 无锡信捷电气股份有限公司 | 一种激光视觉引导的焊接机器人全自动运动自标定方法 |
CN104613899A (zh) * | 2015-02-09 | 2015-05-13 | 淮阴工学院 | 一种全自动的结构光手眼三维测量***标定方法 |
CN105021139A (zh) * | 2015-07-16 | 2015-11-04 | 北京理工大学 | 一种机器人线结构光视觉测量***的手眼标定方法 |
CN105773661A (zh) * | 2016-03-30 | 2016-07-20 | 东莞市速美达自动化有限公司 | 水平机器人固定相机下工件平移旋转标定方法 |
CN105783726A (zh) * | 2016-04-29 | 2016-07-20 | 无锡科技职业学院 | 一种基于线结构光视觉检测的曲线焊缝三维重建方法 |
CN105945909A (zh) * | 2016-05-13 | 2016-09-21 | 大族激光科技产业集团股份有限公司 | 三自由度并联机器人的误差校正方法及*** |
CN106839979A (zh) * | 2016-12-30 | 2017-06-13 | 上海交通大学 | 激光线结构光传感器的手眼标定方法 |
CN106705849A (zh) * | 2017-01-25 | 2017-05-24 | 上海新时达电气股份有限公司 | 线结构光传感器标定方法 |
CN107907063A (zh) * | 2017-11-14 | 2018-04-13 | 湖南文理学院 | 一种基于视觉测量的钢带冲孔加工检测***及方法 |
CN107945209A (zh) * | 2017-11-29 | 2018-04-20 | 中国人民解放***箭军工程大学 | 基于逆向结构匹配跟踪的序列图像目标点的精确自动标定方法 |
Non-Patent Citations (4)
Title |
---|
MORÉ J J: "The Levenberg-Marquardt algorithm: Implementation and theory", 《LECTURE NOTES IN MATHEMATICS》 * |
SEBASTIAN VAN DELDEN等: "Robotic Eye-in-hand Calibration in an Uncalibrated Environment", 《SYSTEMICS, CYBERNETICS AND INFORMATICS》 * |
熊烁: "弧焊机器人控制技术的研究与实现", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
陈勇: "精密装配中的视觉测量与***控制研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
Cited By (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020132924A1 (zh) * | 2018-12-25 | 2020-07-02 | 深圳市优必选科技有限公司 | 机器人传感器的外参标定方法、装置、机器人及存储介质 |
WO2020133878A1 (zh) * | 2018-12-26 | 2020-07-02 | 南京埃斯顿机器人工程有限公司 | 一种精确标定机器人末端与视觉***的方法 |
CN109848994A (zh) * | 2019-02-22 | 2019-06-07 | 浙江启成智能科技有限公司 | 一种机器人视觉引导定位算法 |
CN110103219A (zh) * | 2019-03-07 | 2019-08-09 | 牧今科技 | 执行自动相机校准以进行机器人控制的方法和*** |
CN110103219B (zh) * | 2019-03-07 | 2022-06-14 | 牧今科技 | 执行自动相机校准以进行机器人控制的方法和*** |
CN110136208A (zh) * | 2019-05-20 | 2019-08-16 | 北京无远弗届科技有限公司 | 一种机器人视觉伺服***的联合自动标定方法及装置 |
CN110238845A (zh) * | 2019-05-22 | 2019-09-17 | 湖南视比特机器人有限公司 | 最优标定点选取和误差自测量的自动手眼标定方法及装置 |
CN110238851A (zh) * | 2019-06-14 | 2019-09-17 | 苏州大学 | 一种移动机器人及其快速标定方法和*** |
CN110763136B (zh) * | 2019-07-31 | 2021-06-22 | 武汉理工大学 | 一种高精度三维工件尺寸检测***及方法 |
CN110763136A (zh) * | 2019-07-31 | 2020-02-07 | 武汉理工大学 | 一种高精度三维工件尺寸检测***及方法 |
CN110475078A (zh) * | 2019-09-03 | 2019-11-19 | 河北科技大学 | 摄像机曝光时间调整方法及终端设备 |
CN112783076A (zh) * | 2019-11-07 | 2021-05-11 | 东北大学秦皇岛分校 | 基于高精度位移传感器的引导机械手定位的方法及*** |
CN112783076B (zh) * | 2019-11-07 | 2022-03-29 | 东北大学秦皇岛分校 | 基于高精度位移传感器的引导机械手定位的方法及*** |
CN111161358B (zh) * | 2019-12-31 | 2022-10-21 | 华中科技大学鄂州工业技术研究院 | 一种用于结构光深度测量的相机标定方法和装置 |
CN111161358A (zh) * | 2019-12-31 | 2020-05-15 | 华中科技大学鄂州工业技术研究院 | 一种用于结构光深度测量的相机标定方法和装置 |
CN111318783A (zh) * | 2020-03-27 | 2020-06-23 | 陕西丝路机器人智能制造研究院有限公司 | 一种标定船用管焊机器人焊枪与激光焊缝跟踪传感器的方法 |
CN111318783B (zh) * | 2020-03-27 | 2021-12-03 | 陕西丝路机器人智能制造研究院有限公司 | 一种标定船用管焊机器人焊枪与激光焊缝跟踪传感器的方法 |
CN111558758A (zh) * | 2020-05-21 | 2020-08-21 | 宁夏天地奔牛实业集团有限公司 | 一种矿用链轮链窝表面自动堆焊方法 |
CN111558758B (zh) * | 2020-05-21 | 2021-10-26 | 宁夏天地奔牛实业集团有限公司 | 一种矿用链轮链窝表面自动堆焊方法 |
CN111707189A (zh) * | 2020-06-12 | 2020-09-25 | 天津大学 | 基于双目视觉的激光位移传感器光束方向标定方法 |
CN111890354A (zh) * | 2020-06-29 | 2020-11-06 | 北京大学 | 一种机器人手眼标定方法、装置及*** |
CN111890354B (zh) * | 2020-06-29 | 2022-01-11 | 北京大学 | 一种机器人手眼标定方法、装置及*** |
WO2022052313A1 (zh) * | 2020-09-11 | 2022-03-17 | 苏州中科全象智能科技有限公司 | 3d结构光***的标定方法、电子设备及存储介质 |
CN112743546A (zh) * | 2020-12-29 | 2021-05-04 | 华南理工大学 | 机器人手眼标定位姿选择方法、装置、机器人***及介质 |
CN112800582A (zh) * | 2020-12-30 | 2021-05-14 | 华南理工大学 | 一种结构光视觉传感器仿真激光线生成方法 |
CN112894209A (zh) * | 2021-01-19 | 2021-06-04 | 常州英迈乐智能***有限公司 | 一种基于十字激光的管板智能焊接机器人自动平面校正方法 |
CN112958960B (zh) * | 2021-02-08 | 2023-01-24 | 革点科技(深圳)有限公司 | 一种基于光学靶标的机器人手眼标定装置 |
CN112958960A (zh) * | 2021-02-08 | 2021-06-15 | 革点科技(深圳)有限公司 | 一种基于光学靶标的机器人手眼标定装置 |
CN112792821B (zh) * | 2021-04-01 | 2021-06-25 | 北京科技大学 | 惯性辅助长曝光下的运动机器人视觉去模糊的方法及*** |
CN112792821A (zh) * | 2021-04-01 | 2021-05-14 | 北京科技大学 | 惯性辅助长曝光下的运动机器人视觉去模糊的方法及*** |
CN113177901A (zh) * | 2021-04-01 | 2021-07-27 | 北京科技大学 | 一种机器人视觉的多帧运动图像融合方法及*** |
CN114012718A (zh) * | 2021-10-18 | 2022-02-08 | 阿里云计算有限公司 | 数据处理方法 |
CN114373020A (zh) * | 2022-01-07 | 2022-04-19 | 天津大学 | 一种基于联合外参估计的线结构光传感器光平面标定方法 |
CN114373020B (zh) * | 2022-01-07 | 2023-04-28 | 天津大学 | 一种基于联合外参估计的线结构光传感器光平面标定方法 |
CN115570574A (zh) * | 2022-08-31 | 2023-01-06 | 华南理工大学 | 用于远程超声机器人的辅助遥控方法、***、装置及介质 |
CN115570574B (zh) * | 2022-08-31 | 2024-04-30 | 华南理工大学 | 用于远程超声机器人的辅助遥控方法、***、装置及介质 |
CN116563391A (zh) * | 2023-05-16 | 2023-08-08 | 深圳市高素科技有限公司 | 一种基于机器视觉的激光结构自动标定方法 |
CN116563391B (zh) * | 2023-05-16 | 2024-02-02 | 深圳市高素科技有限公司 | 一种基于机器视觉的激光结构自动标定方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108717715B (zh) | 2022-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108717715A (zh) | 一种用于弧焊机器人的线结构光视觉***自动标定方法 | |
CN110136208B (zh) | 一种机器人视觉伺服***的联合自动标定方法及装置 | |
CN107942949B (zh) | 一种机床视觉定位方法及***、机床 | |
US20200160555A1 (en) | Variable measuring object dependent camera setup and calibration thereof | |
CN108817613A (zh) | 一种弧焊机器人焊缝纠偏***及方法 | |
CN110392252B (zh) | 用于生成相机的校正模型以校正像差的方法 | |
CN106853430A (zh) | 一种基于流水线的自动点胶跟踪方法及装置 | |
CN110202573B (zh) | 全自动手眼标定、工作平面标定方法及装置 | |
CN113102880A (zh) | 一种基于视觉示教的线激光焊缝自动跟踪***及方法 | |
JP5815761B2 (ja) | 視覚センサのデータ作成システム及び検出シミュレーションシステム | |
EP3407088A1 (en) | Systems and methods for tracking location of movable target object | |
US20060088203A1 (en) | Method and apparatus for machine-vision | |
CN104827480A (zh) | 机器人***的自动标定方法 | |
CN111604598A (zh) | 一种机械臂进给式激光刻蚀***的对刀方法 | |
CN113954085A (zh) | 一种基于双目视觉与线激光传感数据融合的焊接机器人智能定位与控制方法 | |
JP7191309B2 (ja) | カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法 | |
CN110017769A (zh) | 基于工业机器人的零件检测方法及*** | |
CN110039520B (zh) | 一种基于图像对比的示教、加工*** | |
CN110238820A (zh) | 基于特征点的手眼标定方法 | |
CN108032011A (zh) | 基于激光结构光焊缝初始点导引装置及方法 | |
JP2021527220A (ja) | 空間内の複雑な表面上の点を特定するための方法および設備 | |
CN106737859A (zh) | 基于不变平面的传感器与机器人的外部参数标定方法 | |
US11328409B2 (en) | System and method utilizing multi-point autofocus to align an optical axis of an optical assembly portion to be normal to a workpiece surface | |
CN108805940B (zh) | 一种变倍相机在变倍过程中跟踪定位的方法 | |
Xiao et al. | An automatic calibration algorithm for laser vision sensor in robotic autonomous welding system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder |
Address after: 510640 No. five, 381 mountain road, Guangzhou, Guangdong, Tianhe District Patentee after: SOUTH CHINA University OF TECHNOLOGY Patentee after: Sanji precision technology (Guangdong) Co.,Ltd. Address before: 510640 No. five, 381 mountain road, Guangzhou, Guangdong, Tianhe District Patentee before: SOUTH CHINA University OF TECHNOLOGY Patentee before: SON-TECH PRECISION MACHINERY Co.,Ltd. |
|
CP01 | Change in the name or title of a patent holder |