CN112800582B - 一种结构光视觉传感器仿真激光线生成方法 - Google Patents
一种结构光视觉传感器仿真激光线生成方法 Download PDFInfo
- Publication number
- CN112800582B CN112800582B CN202011621597.3A CN202011621597A CN112800582B CN 112800582 B CN112800582 B CN 112800582B CN 202011621597 A CN202011621597 A CN 202011621597A CN 112800582 B CN112800582 B CN 112800582B
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- laser
- laser plane
- plane
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
- Numerical Control (AREA)
Abstract
本发明属于机器人与计算机图形学领域,公开一种结构光视觉传感器仿真激光线生成方法,包括:生成仿真环境;调整仿真环境;将相机坐标系下的激光平面上一点、法向量和工具坐标系下激光平面的两个端点转换到世界坐标系下;创建激光平面,将激光平面离散化为激光线束;将离散的激光线束分别与工件表面相交求得离激光器虚拟发射原点最近的交点;将交点连成多边形,得到仿真激光线,利用仿真激光线与激光器虚拟发射原点构造平面得到仿真激光平面。将交点利用透视投影原理转换到图像坐标系下得到仿真的激光线仿真图像。本发明方法能有效解决结构光传感器在镜面反射干扰下识别精度低的问题,提高了结构光视觉传感器的适用范围。
Description
技术领域
本发明属于机器人与计算机图形学领域,涉及一种结构光视觉传感器仿真激光线生成方法。
背景技术
目前随着智能制造的发展,工业应用中,非接触式的结构光视觉传感器应用越来越广泛。在曲面造型加工检测、工件质量检测、焊缝跟踪等领域,结构光视觉传感器已经得到广泛地应用。采用线结构光方式的视觉传感器,满足激光三角法测量模型,是一种非接触、测量速度快、精度较高的测量方式。激光线照射到被测物体表面,形成光条纹,该光条纹受到被测物体表面几何形状的影响而出现不连续、畸变的现象,这种变化包含了被测物体表面的深度信息。通过对采集的激光条纹图像进行分析,提取出激光条纹的中心线,根据相机与激光器构成的几何模型,就能够计算出激光中线上的点的空间位置,从而获得被测物体表面的结构信息。
由于在工业环境下,存在噪声、光线等干扰,传感器检测到的光条纹不能准确反映真实的工件信息,影响后续处理。因此,需要在仿真环境中获得理想的工件表面激光线。
发明内容
针对现有技术的不足,本发明提供一种结构光视觉传感器仿真激光线生成方法。目的在于出现环境干扰的情况下,准确获取工件表面的激光线,提高结构光视觉传感器的精度和适用范围。
本发明采用如下技术方案实现:
一种结构光视觉传感器仿真激光线生成方法,包括步骤:
S1、将机器人、结构光传感器、工件模型导入到机器人仿真软件中,生成仿真环境;
S2、根据工件的绝对位姿、机器人工具中心点坐标系的绝对位姿,调整仿真环境;
S3、根据工具坐标系、相机坐标系、激光平面的标定结果,将相机坐标系下的激光平面上一点、法向量和工具坐标系下激光平面的两个端点转换到世界坐标系下;
S4、创建激光平面,计算激光器虚拟发射原点和激光平面与相机光轴的交点,将激光平面离散化为激光线束;
S5、将步骤S4中离散的激光线束分别与工件表面相交求得离激光器虚拟发射原点最近的交点;
S6、将步骤S5中的交点连成多边形,得到仿真激光线,利用仿真激光线与激光器虚拟发射原点构造平面得到仿真激光平面。
S6、将步骤S5中的交点利用透视投影原理转换到图像坐标系下得到仿真的激光线仿真图像。
优选地,步骤S3包括:根据相机坐标系相对于工具中心点坐标系的手眼关系位于结构光传感器中的结构光发射器生成的激光平面在相机坐标系下的方程和工件的绝对位姿、机器人工具中心点坐标系的绝对位姿数据,得到在相机坐标系下激光平面上一点和其法向量以及激光平面的两个端点在世界坐标系下的坐标。
优选地,激光平面在相机坐标系下的方程为:Ax+By+Cz+1=0;其中,A、B、C表示相机坐标系下平面方程的系数;x、y、z表示激光平面上任意一点的三维坐标。
优选地,得到在相机坐标系下激光平面上一点和其法向量以及激光平面的两个端点在世界坐标系下的坐标的过程包括:
式中:c、t、w分别表示相机坐标系、工具坐标系、世界坐标系。
优选地,得到在相机坐标系下激光平面的两个端点在世界坐标系下的坐标的过程包括:
将机器人的工具坐标系的姿态设置为:Rx=-180°,Ry=0°,Rz=-180°,测量真实激光线的两个端点在工具中心点坐标系下的坐标:P1(x1,y1,0)、P2(x2,y2,0)。根据相机坐标系相对于工具坐标系的手眼关系,将这两个点转换到相机坐标系下;利用相机坐标系相对于世界坐标系的位姿将P1和P2转换到世界坐标系下。
优选地,步骤S4包括:根据步骤S3中激光平面上的点和法向量,创建激光平面αl,根据步骤S3激光平面的两个端点的世界坐标,计算激光器虚拟发射原点,再计算激光平面与相机光轴的交点,将激光平面离散化成激光线束。
优选地,激光平面αl利用开源三维建模引擎库OCCT中的几何平面类创建,传入的参数是P″0和N″。
优选地,根据步骤S3激光平面的两个端点的世界坐标,计算激光器虚拟发射原点,再计算激光平面与相机光轴的交点,将激光平面离散化成激光线束过程包括:
由于测量存在误差,需利用点到激光平面的投影将步骤S3中的激光平面的两个端点矫正到激光平面上;由于激光器发射出的三角形激光平面的顶角是20°,所以将直线P1P2以激光平面的两个端点与激光平面的法向量组成的轴线旋转80°可以得到三角形激光平面的两条边,这两条边的交点即为激光器虚拟发射原点Po,再将直线PoP2以Po和激光平面的法向量组成的轴线的正反方向分别旋转10°,步长为0.1°,得到离散的激光线束。
优选地,透视投影可表示为三维空间到图像空间的转换关系:
式中:ci、ri表示图像的像素坐标;K为相机的内参矩阵;Xc、Yc、Zc表示三维空间点坐标;fx和fy为焦距,用于描述像素单位和三维坐标单位之间的比例关系;c0和r0为相机光心在图像中的投影位置,用于计算图像原点和相机坐标系原点之间的位移。
本发明的有益效果包括:
(1)本发明用于工件检测,利用仿真工具,搭建仿真环境,有效避免了实际环境中的干扰。
(2)本发明中采用真实机器人、传感器、工件的数据,使得仿真数据更加可靠。
(3)本发明采用三维建模引擎OCCT中的建模算法,适用于不同的工件模型。
(4)本发明实现了工件检测仿真激光线的生成方法,扩展了结构光传感器应用范围。
附图说明
图1为一个实施例中一种结构光视觉传感器仿真激光线生成方法的流程图;
图2为一个实施例中导入到软件中的机器人、结构光传感器、工件初始位姿三维模型示意图;
图3为一个实施例中调整后的机器人、传感器、工件位姿示意图;
图4为一个实施例中测量激光平面两端点的示意图;
图5为一个实施例中机器人第六轴坐标系、相机坐标系、工具坐标系、工件坐标系之间的相对位置关系图;
图6为一个实施例中生成的工件表面检测仿真激光线;
图7为一个实施例中生成的工件表面检测仿真激光线仿真图像;
具体实施方式
为了更加详细的说明本发明的实现方式,下面结合附图对本发明做进一步说明。
如图1所示的一种结构光视觉传感器仿真激光线生成方法,包括如下步骤:
(1)、将机器人、结构光传感器、工件三维模型导入到机器人仿真软件SCUT-RobotSim中,生成图2所示的仿真环境。
(3)、根据相机坐标系相对于工具中心点坐标系的手眼关系位于结构光传感器中的结构光发射器生成的激光平面在相机坐标系下的方程和步骤(2)中和等数据,得到在相机坐标系下激光平面上一点和其法向量以及激光平面的两个端点在世界坐标系下的坐标。
激光平面在相机坐标系下的方程为:Ax+By+Cz+1=0;其中,A、B、C表示相机坐标系下平面方程的系数;x、y、z表示激光平面上任意一点的三维坐标。本实例中:A=0.107029,B=11.524,C=-4.955158。
图4显示了激光平面两个端点的标定方法:将机器人的工具坐标系的姿态设置为:Rx=-180°,Ry=0°,Rz=-180°,测量真实激光线的两个端点在工具坐标系下的坐标:P1(x1,y1,0)、P2(x2,y2,0)。根据相机坐标系相对于工具坐标系的手眼关系,将这两个点转换到相机坐标系下,进一步地,利用相机坐标系相对于世界坐标系的位姿将P1和P2转换到世界坐标系下。
(4)、步骤(3)的激光平面利用开源三维建模引擎库OCCT中的几何平面类(classGeom_Plane)创建,传入的参数是P″0和N″。由于测量存在误差,需利用点到激光平面的投影将实激光线的两个端点矫正到激光平面上。由于激光器发射出的三角形激光平面的顶角是20°,所以将直线P1P2以激光平面的两个端点与激光平面的法向量组成的轴线旋转80°可以得到三角形激光平面的两条边,这两条边的交点即为激光器虚拟发射原点Po,再将直线PoP2以Po和激光平面的法向量组成的轴线的正反方向分别旋转10°,步长为0.1°,得到离散的激光线束。
(5)、将离散的激光线束与工件的所有表面相交,计算离激光器虚拟发射原点最近的交点。
(6)、将步骤(5)中所有的交点连成多边形得到仿真激光线,利用仿真激光线和虚拟激光发射平面构造平面得到仿真激光平面。
(7)、将步骤(5)中的所有交点利用透视投影原理转换到图像坐标系下得到仿真的激光线仿真图像。透视投影可表示为三维空间到图像空间的转换关系:
式中:ci、ri表示图像的像素坐标;K为相机的内参矩阵;Xc、Yc、Zc表示三维空间点坐标;fx和fy为焦距,用于描述像素单位和三维坐标单位之间的比例关系;c0和r0为相机光心在图像中的投影位置,用于计算图像原点和相机坐标系原点之间的位移。
图5是机器人、结构光传感器、工件模型焊接场景的示意图,机器人此时的构型为结构光传感器检测工件焊缝时的构型。图5中标出了机器人第六轴坐标系、相机坐标系、工具坐标系、工件坐标系之间的相对位置关系。其中:FW为世界坐标系、F6为机器人第六轴坐标系、FC为相机坐标系、FT为工具坐标系、FO为工件坐标系,为F6到FW的变换矩阵,为FT到F6的变换矩阵,为FC到FT的变换矩阵 为FO到FW的变换矩阵。
以上的class Geom_Plane等都是开源三维建模引擎OpenCascade中的库函数,可以直接调用。
图6为计算得出的激光平面与工件表面的交线,图7为此交线在相机坐标系下的图像。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (9)
1.一种结构光视觉传感器仿真激光线生成方法,其特征在于,包括步骤:
S1、将机器人、结构光传感器、工件模型导入到机器人仿真软件中,生成仿真环境;
S2、根据工件的绝对位姿、机器人工具中心点坐标系的绝对位姿,调整仿真环境;
S3、根据工具坐标系、相机坐标系、激光平面的标定结果,将相机坐标系下的激光平面上一点、法向量和工具坐标系下激光平面的两个端点转换到世界坐标系下;
S4、创建激光平面,计算激光器虚拟发射原点和激光平面与相机光轴的交点,将激光平面离散化为激光线束;
S5、将步骤S4中离散的激光线束分别与工件表面相交求得离激光器虚拟发射原点最近的交点;
S6、将步骤S5中的交点连成多边形,得到仿真激光线,利用仿真激光线与激光器虚拟发射原点构造平面得到仿真激光平面;
S7、将步骤S5中的交点利用透视投影原理转换到图像坐标系下得到仿真的激光线仿真图像。
3.根据权利要求2所述的结构光视觉传感器仿真激光线生成方法,其特征在于,激光平面在相机坐标系下的方程为:Ax+By+Cz+1=0;其中,A、B、C表示相机坐标系下平面方程的系数;x、y、z表示激光平面上任意一点的三维坐标。
6.根据权利要求1所述的结构光视觉传感器仿真激光线生成方法,其特征在于,步骤S4包括:根据步骤S3中激光平面上的点和法向量,创建激光平面αl,根据步骤S3激光平面的两个端点的世界坐标,计算激光器虚拟发射原点,再计算激光平面与相机光轴的交点,将激光平面离散化成激光线束。
7.根据权利要求6所述的结构光视觉传感器仿真激光线生成方法,其特征在于,激光平面αl利用开源三维建模引擎库OCCT中的几何平面类创建,传入的参数是P″0和N″,P″0和N″分别为相机坐标系下的点P0和法向量N在世界坐标系下的表示。
8.根据权利要求1所述的结构光视觉传感器仿真激光线生成方法,其特征在于,根据步骤S3激光平面的两个端点的世界坐标,计算激光器虚拟发射原点,再计算激光平面与相机光轴的交点,将激光平面离散化成激光线束过程包括:
由于测量存在误差,需利用点到激光平面的投影将步骤S3中的激光平面的两个端点矫正到激光平面上;由于激光器发射出的三角形激光平面的顶角是20°,所以将直线P1P2以激光平面的两个端点与激光平面的法向量组成的轴线旋转80°得到三角形激光平面的两条边,这两条边的交点即为激光器虚拟发射原点Po,再将直线PoP2以Po和激光平面的法向量组成的轴线的正反方向分别旋转10°,步长为0.1°,得到离散的激光线束。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011621597.3A CN112800582B (zh) | 2020-12-30 | 2020-12-30 | 一种结构光视觉传感器仿真激光线生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011621597.3A CN112800582B (zh) | 2020-12-30 | 2020-12-30 | 一种结构光视觉传感器仿真激光线生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112800582A CN112800582A (zh) | 2021-05-14 |
CN112800582B true CN112800582B (zh) | 2022-05-24 |
Family
ID=75805012
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011621597.3A Active CN112800582B (zh) | 2020-12-30 | 2020-12-30 | 一种结构光视觉传感器仿真激光线生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112800582B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106839979A (zh) * | 2016-12-30 | 2017-06-13 | 上海交通大学 | 激光线结构光传感器的手眼标定方法 |
KR20190078853A (ko) * | 2017-12-27 | 2019-07-05 | 경북대학교 산학협력단 | 레이저 표적 투영장치 및 그 제어방법, 레이저 표적 투영장치를 포함하는 레이저 수술 유도 시스템 |
CN110648313A (zh) * | 2019-09-05 | 2020-01-03 | 北京智行者科技有限公司 | 基于fpga的激光条纹中心线拟合方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101986350B (zh) * | 2010-10-22 | 2012-03-28 | 武汉大学 | 基于单目结构光的三维建模方法 |
US20150085080A1 (en) * | 2012-04-18 | 2015-03-26 | 3Shape A/S | 3d scanner using merged partial images |
US9303990B2 (en) * | 2014-04-11 | 2016-04-05 | Black & Decker Inc. | Laser line generating device |
CN109215108B (zh) * | 2017-06-30 | 2023-05-23 | 深圳先进技术研究院 | 基于激光扫描的全景三维重建***及方法 |
CN108759714B (zh) * | 2018-05-22 | 2020-01-03 | 华中科技大学 | 一种多线激光轮廓传感器坐标系融合及转轴标定方法 |
CN108717715B (zh) * | 2018-06-11 | 2022-05-31 | 华南理工大学 | 一种用于弧焊机器人的线结构光视觉***自动标定方法 |
CN108732556B (zh) * | 2018-08-17 | 2020-03-27 | 西南交通大学 | 一种基于几何体求交运算的车载激光雷达仿真方法 |
CN109291048B (zh) * | 2018-09-26 | 2020-11-13 | 泉州华中科技大学智能制造研究院 | 一种磨抛工业机器人实时在线编程***及方法 |
CN110553600B (zh) * | 2019-08-14 | 2021-05-14 | 华南理工大学 | 一种用于工件检测的结构光传感器仿真激光线的生成方法 |
-
2020
- 2020-12-30 CN CN202011621597.3A patent/CN112800582B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106839979A (zh) * | 2016-12-30 | 2017-06-13 | 上海交通大学 | 激光线结构光传感器的手眼标定方法 |
KR20190078853A (ko) * | 2017-12-27 | 2019-07-05 | 경북대학교 산학협력단 | 레이저 표적 투영장치 및 그 제어방법, 레이저 표적 투영장치를 포함하는 레이저 수술 유도 시스템 |
CN110648313A (zh) * | 2019-09-05 | 2020-01-03 | 北京智行者科技有限公司 | 基于fpga的激光条纹中心线拟合方法 |
Non-Patent Citations (2)
Title |
---|
A review of modeling and simulation of laser beam machining;Parandoush P et al;《International journal of machine tools and manufacture》;20141231;第135-145页 * |
基于二维激光扫描成像的机器人焊接轨迹修正方法研究;李波;《中国优秀硕士学位论文全文数据库 信息科技辑》;20151215;第I140-196页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112800582A (zh) | 2021-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110553600B (zh) | 一种用于工件检测的结构光传感器仿真激光线的生成方法 | |
Palomer et al. | Underwater laser scanner: Ray-based model and calibration | |
CN103678754B (zh) | 信息处理装置及信息处理方法 | |
TWI672207B (zh) | 機械設備之定位系統及其方法 | |
Balanji et al. | A novel vision-based calibration framework for industrial robotic manipulators | |
JP2004508954A (ja) | 位置決め装置およびシステム | |
JP2003058911A (ja) | 3次元物体の表面形状モデリング装置、方法、プログラム | |
Zhang et al. | Error correctable hand–eye calibration for stripe-laser vision-guided robotics | |
Li et al. | Structured light-based visual servoing for robotic pipe welding pose optimization | |
Liska et al. | Hand-eye calibration of a laser profile scanner in robotic welding | |
Grudziński et al. | Stereovision tracking system for monitoring loader crane tip position | |
CN112800582B (zh) | 一种结构光视觉传感器仿真激光线生成方法 | |
CN117162098A (zh) | 一种狭小空间机器人姿态自主规划***及方法 | |
JP6848761B2 (ja) | 物体間距離評価方法及び相対的に移動する物体間の干渉評価方法 | |
CN113324538B (zh) | 一种合作目标远距离高精度六自由度位姿测量方法 | |
US11055562B1 (en) | Methods and systems for registering a three-dimensional pose of an object | |
Deng et al. | Hand-eye calibration of line structured-light sensor by scanning and reconstruction of a free-placed standard cylindrical target | |
Erceg et al. | Stereo vision based robot welding | |
Shi et al. | Development of an automatic optical measurement system for automotive part surface inspection | |
CN116625242B (zh) | 光学三坐标测量机路径规划方法、***、电子设备及介质 | |
Na et al. | Robotic Path Planning for Inspection of Complex-Shaped Objects | |
Tang et al. | 3-step-calibration of 3D vision measurement system based-on structured light | |
JP5938201B2 (ja) | 位置姿勢計測装置、その処理方法及びプログラム | |
Madhusudanan | Fast Eye-In-Hand 3D Scanner-Robot Calibration for Low Stitching Errors | |
Qin et al. | Sensor calibration and trajectory planning in 3D vision-guided robots |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |