CN105716527A - 激光焊缝跟踪传感器标定方法 - Google Patents
激光焊缝跟踪传感器标定方法 Download PDFInfo
- Publication number
- CN105716527A CN105716527A CN201610243639.1A CN201610243639A CN105716527A CN 105716527 A CN105716527 A CN 105716527A CN 201610243639 A CN201610243639 A CN 201610243639A CN 105716527 A CN105716527 A CN 105716527A
- Authority
- CN
- China
- Prior art keywords
- laser
- coordinate system
- camera
- angular
- laser plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K26/00—Working by laser beam, e.g. welding, cutting or boring
- B23K26/70—Auxiliary operations or equipment
- B23K26/702—Auxiliary equipment
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Plasma & Fusion (AREA)
- Mechanical Engineering (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种激光焊缝跟踪传感器标定方法。本发明首先放置黑白相间的棋盘格白背景上;通过调节摄像机空间位姿使得激光平面与棋盘对角线角点相交;取三组符合上述要求的空间位姿所获取的角点坐标。然后根据角点相对标靶坐标系的矩阵转换关系计算标靶坐标系下的角点坐标;通过一组角点坐标求得一条激光平面上的直线方程。最后由三组数据可以得到三条激光平面上的直线,根据其中任意两条直线方程从而求得摄像机坐标系中的激光平面;完成整个标定过程。本发明使用的传感器标定技术具有实验简单,精度高,速度快等特点。
Description
技术领域
本发明涉及智能机器人激光焊缝跟踪***中传感器标定方法,传感器标定包括摄像机标定和结构光标定。
背景技术
激光传感器焊接技术因具有高精度、高速度、强适应性等优点被广泛应用于工业焊接领域。激光传感器焊接过程中,由于预装材料的误差以及焊接过程中的热应力而产生的焊缝变形等不确定因素会造成接头位置和尺寸的变化。传统的通过工业机器人采用示教焊接工作方式已无法满足工业焊接所需精度要求,因此需要引入焊缝跟踪***。结构光视觉传感器具有测量精度高、获得信息量大、灵敏度高等特点,成为焊缝跟踪领域研究的热点。结构光视觉传感器能否精准完成焊接过程,标定是一项关键技术,也是现国内外学者研究的重点。其中如何在三维空间中获取足够数量的高精度标定点是整个标定***的难点,这主要是因为靶标上已知的三维世界点恰好位于结构光光平面上具有难度性,从而使得三维标点的获取变得困难。
发明内容
针对现有标定技术的不足,本发明以机器人激光扫描式焊缝跟踪***为研究对象,基于摄像机的外部参数即是摄像机坐标系相对于靶标坐标系的转换矩阵进行标定。
本发明的技术方案的步骤如下:
(1)放置12×12的5mm×5mm大小的黑白相间的棋盘格于白背景上。通过调节摄像机空间位姿使得激光平面与棋盘对角线角点相交。取三组符合上述要求的空间位姿所获取的角点坐标。
(2)根据角点相对标靶(棋盘格)坐标系的矩阵转换关系计算标靶坐标系下的角点坐标。通过一组角点坐标求得一条激光平面上的直线方程。
(3)3组数据可以得到三条激光平面上的直线,根据其中任意两条直线方程从而求得摄像机坐标系中的激光平面。完成整个标定过程。
本发明的有益效果:本发明使用的传感器标定技术具有实验简单,精度高,速度快等特点,可以广泛适用于各种已知物体三维结构重建和平面表面轮廓信息测量,并且不需要特定的标定靶,降低标定实验过程中的人为误差几率。
附图说明
图1机器人激光焊缝跟踪***;
图2摄像机成像等效光路图;
图3图像坐标系示意图;
图4激光平面小孔成像原理图;
图5摄像机相对于激光平面坐标转换关系;
图6标定靶(棋盘格)。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
(1)激光式焊缝扫描跟踪传感器***
如图1所示,激光扫描式焊缝跟踪传感器***主要由激光焊缝跟踪传感器2和六自由度机器人1组成。激光焊缝跟踪传感器固定在机器人末端,由机械臂控制其对焊缝表面4进行检测,采用一字结构光3。该***涉及的坐标系有如下,图中,{R}为与机器人底座固定相连的基础坐标系;{E}为机械臂末端自由度坐标系;{C}为激光平面坐标系。等效光路图如图2所示。
摄像机坐标系:摄像机焦距中心点Oc为原点所建立的坐标系Oc-XcYcZc,其中Xc、Yc轴分别对应图像坐标系的x、y轴。Zc轴方向根据右手定责确定,摄像机坐标系原点Oc和像平面坐标原点O之间距离为摄像机焦距f。
机器人基坐标系:在焊接过程中,摄像机坐标系随着焊缝传感器的空间位姿变动发生变化,不具有一般性。需要建立一个坐标系对摄像机以及周围物体进行描述,因此引入机器人基坐标系即世界坐标系Ow-XwYwZw,从而对其他坐标系进行描述。
机械手末端坐标系:机械手末端相对于机器人基坐标系的位姿可通过控制器屏幕直接读出。
(2)传感器的标定
机器视觉***中激光器发射出来的线性结构光形成了激光平面,在摄像机坐标系中一个特征点Pc,其对应图像坐标系中一个特征点Pf。如果已知点Pf则可以得到摄像机坐标系中直线OPc的方程。由图2可知,焊缝特征点还位于结构光平面Π上。若结构光平面方程已知,则可以确定特征点图像坐标值Pf与特征点摄像机坐标值的一一对应关系。
相机坐标系{OC-XCYCZC}是以相机透镜的中心为原点建立的坐标系,坐标轴与图像坐标系的坐标系相平行,对应关系如下:
如图3所示,图像的像素坐标系{O′-μν}是以图像的左上角为原点来建立的,单位是像素值。
为了与实际的物理对象的尺寸相对应,建立新的图像坐标系{O-xy},假定每个像素在x、y方向上的大小为dx、dy,其原点在像素坐标系的(μ0,ν0),这两个坐标系之间的关系为:
dx和dy分别表示传感器u轴和v轴上单位像素的尺寸大小。
摄像机的模型有线性模型和非线性模型,为了简化计算,使用如图4所示的线性模型。它是一种理想化的模型,依据小孔成像原理(针孔相机模型)
fx、fy分别称为u轴和v轴上的归一化焦距。M1为3×3内参数矩阵,M2为3×4外参数矩阵。
然后采用摄像机标定的棋盘格对结构光进行标定。在经过图像处理获得焊缝特征点的二维像素坐标后,为了转换到机器人基坐标系中的三维坐标,需要先将其转换到摄像机坐标系下的三维坐标。图像处理结果的像素坐标为摄像机坐标提供了两个约束,同时特征点还位于摄像机坐标系下固定的结构光平面上。由于结构光平面方程具有三个未知参数,因此需要获得结构光平面上至少三个特征点。根据摄像机的标定结果,摄像机的外部参数即是摄像机坐标系相对于靶标坐标系的转换矩阵。因为棋盘中的角点在靶标坐标系中的坐标已知,因此可以计算出棋盘任意角点在摄像机坐标系下的坐标值。如果这些角点同时位于结构光平面上,即可计算得到结构光平面方程。
如图5所示,{W0}为靶标坐标系;{C}为摄像机坐标系;P为棋盘中任一角点。已知点P在靶标坐标系下的坐标为(xw0,yw0,zw0),由摄像机标定可知,摄像机在靶标坐标系下的姿态为R=[r1r2r3],位置为t=[t1t2t3]T,其中R为单位正交阵,存在R-1=RT。则P在摄像机下的坐标(xc,yc,zc)可由下式求出。
如图6,传感器中的结构光平面与靶标棋盘相交于点A1、A2…A12,分别是棋盘上对角线上的角点,其对应的靶标坐标系下的坐标值已知。根据摄像机的外部参数矩阵,可获得其对应的摄像机坐标系下的坐标值。由点A1、A2…A12在摄像机坐标系下的坐标值可以得到结构光平面上直线L1的参数方程。改变传感器的位姿,传感器中的结构光平面与靶标棋盘相交于点B1、B2…B12,同理可以得到结构光平面上直线L2的参数方程。由直线L1与L2可以得到结构光Π的平面方程。
计算过程如下:对于含有激光的一组图片,假设激光与棋盘格相交于某点P,其世界坐标系下的坐标为(xw,yw,zw)。计算P点的相机坐标系坐标(xC,yC,zC),有:
[xCyCzC]T=M2[xwywzw1]T
根据线结构光平面方程标准式
axc+byc+czc=1
对该组图像中的所有n个对角线上的角点建立方程组:
axc1+byc1+czc1=1
......
axcn+bycn+czcn=1
转化成矩阵的形式:
通过最小二乘法求解,可计算出a、b、c的值,完成激光平面的标定过程。
Claims (1)
1.激光焊缝跟踪传感器标定方法,其特征在于该方法包括以下步骤:
步骤(1)放置12×12的5mm×5mm大小的黑白相间的棋盘格于白背景上;通过调节摄像机空间位姿使得激光平面与棋盘对角线角点相交;取三组符合上述要求的空间位姿所获取的角点坐标;
步骤(2)根据角点相对标靶坐标系的矩阵转换关系计算标靶坐标系下的角点坐标;通过一组角点坐标求得一条激光平面上的直线方程;
步骤(3)由三组数据可以得到三条激光平面上的直线,根据其中任意两条直线方程从而求得摄像机坐标系中的激光平面;完成整个标定过程。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610243639.1A CN105716527B (zh) | 2016-04-18 | 2016-04-18 | 激光焊缝跟踪传感器标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610243639.1A CN105716527B (zh) | 2016-04-18 | 2016-04-18 | 激光焊缝跟踪传感器标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105716527A true CN105716527A (zh) | 2016-06-29 |
CN105716527B CN105716527B (zh) | 2018-01-12 |
Family
ID=56160246
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610243639.1A Expired - Fee Related CN105716527B (zh) | 2016-04-18 | 2016-04-18 | 激光焊缝跟踪传感器标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105716527B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106839979A (zh) * | 2016-12-30 | 2017-06-13 | 上海交通大学 | 激光线结构光传感器的手眼标定方法 |
CN109077822A (zh) * | 2018-06-22 | 2018-12-25 | 雅客智慧(北京)科技有限公司 | 一种基于视觉测量的牙科种植手机标定***及方法 |
CN109827607A (zh) * | 2017-11-23 | 2019-05-31 | 清华大学 | 线结构光焊缝跟踪传感器的标定方法及装置 |
CN110142533A (zh) * | 2019-05-23 | 2019-08-20 | 深圳市科瑞悦电气设备有限公司 | 一种基于机器视觉与ai算法的自动焊接方法及焊接装置 |
CN110340886A (zh) * | 2019-06-03 | 2019-10-18 | 武汉中观自动化科技有限公司 | 一种双目跟踪实现机器人路点迁移的方法及其*** |
WO2020047713A1 (en) * | 2018-09-03 | 2020-03-12 | Abb Schweiz Ag | Method and apparatus for managing robot system |
CN112184804A (zh) * | 2020-08-31 | 2021-01-05 | 季华实验室 | 大体积工件高密度焊点定位方法、装置、存储介质及终端 |
CN112238304A (zh) * | 2019-07-18 | 2021-01-19 | 山东淄博环宇桥梁模板有限公司 | 一种基于图像视觉识别焊缝的机械臂自动焊接小批量定制异型桥梁钢模板方法 |
CN112362037A (zh) * | 2020-11-10 | 2021-02-12 | 南京航空航天大学 | 一种基于组合测量的激光跟踪仪站位规划方法 |
CN112620926A (zh) * | 2020-12-18 | 2021-04-09 | 深圳辰视智能科技有限公司 | 一种焊点追踪方法、装置及存储介质 |
CN113706632A (zh) * | 2021-08-31 | 2021-11-26 | 上海景吾智能科技有限公司 | 基于三维视觉标定板的标定方法和*** |
CN114140541A (zh) * | 2021-12-07 | 2022-03-04 | 哈尔滨工业大学 | 一种多线结构光焊缝跟踪传感器的参数标定方法 |
CN115556120A (zh) * | 2022-09-30 | 2023-01-03 | 中建三局第三建设工程有限责任公司 | 一种基于随机自适应的焊缝路径规划无示教方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02183102A (ja) * | 1989-01-10 | 1990-07-17 | Fanuc Ltd | 視覚センサにおけるキャリブレーション自動調整方式 |
CN1657868A (zh) * | 2005-03-23 | 2005-08-24 | 天津大学 | 基于共面标定参照物的线结构光传感器快速标定方法 |
CN101526338A (zh) * | 2009-04-15 | 2009-09-09 | 北京信息科技大学 | 线结构光视觉传感***结构参数的现场标定方法 |
CN101532821A (zh) * | 2009-04-24 | 2009-09-16 | 北京航空航天大学 | 一种激光跟踪视觉导引测量***的全局校准方法 |
CN102927908A (zh) * | 2012-11-06 | 2013-02-13 | 中国科学院自动化研究所 | 机器人手眼***结构光平面参数标定装置及方法 |
CN105043251A (zh) * | 2015-06-01 | 2015-11-11 | 河北工业大学 | 一种基于机械运动的线结构光传感器的标定方法与装置 |
CN105303560A (zh) * | 2015-09-22 | 2016-02-03 | 中国计量学院 | 机器人激光扫描式焊缝跟踪***标定方法 |
-
2016
- 2016-04-18 CN CN201610243639.1A patent/CN105716527B/zh not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02183102A (ja) * | 1989-01-10 | 1990-07-17 | Fanuc Ltd | 視覚センサにおけるキャリブレーション自動調整方式 |
CN1657868A (zh) * | 2005-03-23 | 2005-08-24 | 天津大学 | 基于共面标定参照物的线结构光传感器快速标定方法 |
CN101526338A (zh) * | 2009-04-15 | 2009-09-09 | 北京信息科技大学 | 线结构光视觉传感***结构参数的现场标定方法 |
CN101532821A (zh) * | 2009-04-24 | 2009-09-16 | 北京航空航天大学 | 一种激光跟踪视觉导引测量***的全局校准方法 |
CN102927908A (zh) * | 2012-11-06 | 2013-02-13 | 中国科学院自动化研究所 | 机器人手眼***结构光平面参数标定装置及方法 |
CN105043251A (zh) * | 2015-06-01 | 2015-11-11 | 河北工业大学 | 一种基于机械运动的线结构光传感器的标定方法与装置 |
CN105303560A (zh) * | 2015-09-22 | 2016-02-03 | 中国计量学院 | 机器人激光扫描式焊缝跟踪***标定方法 |
Non-Patent Citations (1)
Title |
---|
周学斌 等: "立体视觉传感器优化设计技术研究", 《计算机测量与控制》 * |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106839979B (zh) * | 2016-12-30 | 2019-08-23 | 上海交通大学 | 激光线结构光传感器的手眼标定方法 |
CN106839979A (zh) * | 2016-12-30 | 2017-06-13 | 上海交通大学 | 激光线结构光传感器的手眼标定方法 |
CN109827607B (zh) * | 2017-11-23 | 2021-01-26 | 清华大学 | 线结构光焊缝跟踪传感器的标定方法及装置 |
CN109827607A (zh) * | 2017-11-23 | 2019-05-31 | 清华大学 | 线结构光焊缝跟踪传感器的标定方法及装置 |
CN109077822A (zh) * | 2018-06-22 | 2018-12-25 | 雅客智慧(北京)科技有限公司 | 一种基于视觉测量的牙科种植手机标定***及方法 |
WO2020047713A1 (en) * | 2018-09-03 | 2020-03-12 | Abb Schweiz Ag | Method and apparatus for managing robot system |
CN111971529A (zh) * | 2018-09-03 | 2020-11-20 | Abb瑞士股份有限公司 | 用于管理机器人***的方法和装置 |
US11577400B2 (en) | 2018-09-03 | 2023-02-14 | Abb Schweiz Ag | Method and apparatus for managing robot system |
CN110142533A (zh) * | 2019-05-23 | 2019-08-20 | 深圳市科瑞悦电气设备有限公司 | 一种基于机器视觉与ai算法的自动焊接方法及焊接装置 |
CN110340886A (zh) * | 2019-06-03 | 2019-10-18 | 武汉中观自动化科技有限公司 | 一种双目跟踪实现机器人路点迁移的方法及其*** |
CN110340886B (zh) * | 2019-06-03 | 2020-10-23 | 武汉中观自动化科技有限公司 | 一种双目跟踪实现机器人路点迁移的方法及其*** |
CN112238304A (zh) * | 2019-07-18 | 2021-01-19 | 山东淄博环宇桥梁模板有限公司 | 一种基于图像视觉识别焊缝的机械臂自动焊接小批量定制异型桥梁钢模板方法 |
CN112238304B (zh) * | 2019-07-18 | 2023-01-06 | 山东淄博环宇桥梁模板有限公司 | 一种基于图像视觉识别焊缝的机械臂自动焊接小批量定制异型桥梁钢模板方法 |
CN112184804A (zh) * | 2020-08-31 | 2021-01-05 | 季华实验室 | 大体积工件高密度焊点定位方法、装置、存储介质及终端 |
CN112184804B (zh) * | 2020-08-31 | 2024-03-22 | 季华实验室 | 大体积工件高密度焊点定位方法、装置、存储介质及终端 |
CN112362037A (zh) * | 2020-11-10 | 2021-02-12 | 南京航空航天大学 | 一种基于组合测量的激光跟踪仪站位规划方法 |
CN112620926A (zh) * | 2020-12-18 | 2021-04-09 | 深圳辰视智能科技有限公司 | 一种焊点追踪方法、装置及存储介质 |
CN113706632A (zh) * | 2021-08-31 | 2021-11-26 | 上海景吾智能科技有限公司 | 基于三维视觉标定板的标定方法和*** |
CN113706632B (zh) * | 2021-08-31 | 2024-01-16 | 上海景吾智能科技有限公司 | 基于三维视觉标定板的标定方法和*** |
CN114140541A (zh) * | 2021-12-07 | 2022-03-04 | 哈尔滨工业大学 | 一种多线结构光焊缝跟踪传感器的参数标定方法 |
CN114140541B (zh) * | 2021-12-07 | 2024-04-26 | 哈尔滨工业大学 | 一种多线结构光焊缝跟踪传感器的参数标定方法 |
CN115556120A (zh) * | 2022-09-30 | 2023-01-03 | 中建三局第三建设工程有限责任公司 | 一种基于随机自适应的焊缝路径规划无示教方法 |
CN115556120B (zh) * | 2022-09-30 | 2023-08-04 | 中建三局第三建设工程有限责任公司 | 一种基于随机自适应的焊缝路径规划无示教方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105716527B (zh) | 2018-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105716527A (zh) | 激光焊缝跟踪传感器标定方法 | |
EP3619498B1 (en) | Triangulation scanner having flat geometry and projecting uncoded spots | |
CN103398660B (zh) | 用于获取焊缝高度信息的结构光视觉传感器参数标定方法 | |
JP4021413B2 (ja) | 計測装置 | |
CN101334264B (zh) | 激光焊接中狭窄对接焊缝的测量方法及装置 | |
CN105303560B (zh) | 机器人激光扫描式焊缝跟踪***标定方法 | |
US9679385B2 (en) | Three-dimensional measurement apparatus and robot system | |
JP4167954B2 (ja) | ロボット及びロボット移動方法 | |
CN109676243A (zh) | 基于双线激光结构光的焊缝识别与跟踪***及方法 | |
CN105798909A (zh) | 基于激光与视觉的机器人零位标定***与方法 | |
JP3930482B2 (ja) | 3次元視覚センサ | |
CN114283391A (zh) | 一种融合环视图像与激光雷达的自动泊车感知方法 | |
CN112082477A (zh) | 基于结构光的万能工具显微镜三维测量装置及方法 | |
CN113028990B (zh) | 一种基于加权最小二乘的激光跟踪姿态测量***及方法 | |
JPH03213251A (ja) | ワーク位置検知装置 | |
JPH0798214A (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
JP5487946B2 (ja) | カメラ画像の補正方法およびカメラ装置および座標変換パラメータ決定装置 | |
KR101597163B1 (ko) | 스테레오 카메라 교정 방법 및 장치 | |
Kumar et al. | An optical triangulation method for non-contact profile measurement | |
CN110849285A (zh) | 基于单目相机的焊点深度测量方法、***及介质 | |
Huissoon | Robotic laser welding: seam sensor and laser focal frame registration | |
CN113733078B (zh) | 机械臂精调控制量判读方法、计算机可读存储介质 | |
JP3803755B2 (ja) | ロボットシステムおよびその利用方法 | |
Liang et al. | An integrated camera parameters calibration approach for robotic monocular vision guidance | |
Nashman et al. | The use of vision and touch sensors for dimensional inspection tasks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180112 Termination date: 20200418 |