CN108981608A - 一种新型线结构光视觉***及标定方法 - Google Patents

一种新型线结构光视觉***及标定方法 Download PDF

Info

Publication number
CN108981608A
CN108981608A CN201810531682.7A CN201810531682A CN108981608A CN 108981608 A CN108981608 A CN 108981608A CN 201810531682 A CN201810531682 A CN 201810531682A CN 108981608 A CN108981608 A CN 108981608A
Authority
CN
China
Prior art keywords
camera
plane
laser
scaling
equation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810531682.7A
Other languages
English (en)
Other versions
CN108981608B (zh
Inventor
肖骏
邱志成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201810531682.7A priority Critical patent/CN108981608B/zh
Publication of CN108981608A publication Critical patent/CN108981608A/zh
Application granted granted Critical
Publication of CN108981608B publication Critical patent/CN108981608B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/042—Calibration or calibration artifacts

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种新型线结构光视觉***及标定方法，包括激光发射器、相机及标定板，首先线结构光打在标定板上，并通过相机采集足量包含靶标在内的标定图像，分别计算得到激光反射平面靶标平面方法，再根据提出的三面共线条件求解激光平面的方程表达式，完成激光平面的标定。本发明方法简单、易于实施，具有较高的工程应用价值。

Description

一种新型线结构光视觉***及标定方法
技术领域
本发明涉及激光视觉领域，具体涉及一种新型线结构光视觉***及标定方法。
背景技术
激光视觉是近几年来新兴的一种机器视觉检测方式，激光视觉***是指结合激光和工业相机，将激光打在待测物表面，通过相机拍摄表面的光斑并进行相应图像处理以获取对象三维信息的一类***。此类***结合了相机非接触式测量、全局信息丰富以及激光单色性好、亮度准直度高、光斑图样清晰、抗干扰能力强这两者的优点，在工业生产检测领域愈发展现出其巨大的潜力。
其中由线结构光(由激光束透过一种特殊的圆柱体棱镜分光而成，形状为一张很薄的激光平面，打在对象表面的光斑呈线条纹状)和单目相机组成的线结构光视觉检测***以其非接触、精度高、抗干扰能力强等特点，在三维形貌测量和逆向工程等领域中的应用日益广泛。而***标定是非常关键的环节，其标定结果的精度将直接影响后续图像处理和信息获取的准确性，同时也是建立三维检测模型，搭建视觉***的基础。因此，标定方法的研究具有重要意义，做好相机标定，提高标定精度是研究工作的重点所在。
线结构光视觉***的标定主要包括单目相机成像模型标定和激光平面方程标定两部分。目前对于相机标定方法的研究相对比较成熟，常用的方法有张正友标定法。然而关于激光平面的标定目前尚未有比较统一的方法，相关研究并不完善，是现今激光视觉研究的重点所在。当前提出的很多方法是基于共线点成像的交比不变性，根据空间平行直线成像的消隐点性质，或者基于一些特殊的几何图形位置与关系来标定激光平面方程。这些方法仅使用光条直线上有限的控制点作为激光平面的拟合要素，所使用的投影几何性质也很不直观，不但计算量大、求解不方便，而且标定结果误差可能较大。由此可见，在激光平面的标定方法上尚且具有很大的改进空间。
发明内容
为了克服现有技术存在的缺点与不足，本发明提供一种新型线结构光视觉***及标定方法。该方法借助一块具有一定精度的标定板，基于提出的三面共线条件，通过适当的图像处理方案来完成实现。
本发明采用如下技术方案：
一种新型线结构光视觉***，包括激光发射器、导轨、相机及标定板，所述标定板在激光发射器的前方，标定板在相机的视野范围内，相机在导轨上移动。
所述标定板为棋盘格。
所述激光发射器发射的线结构光位于标定板的靶标平面上。
一种新型线结构光视觉***的标定方法，包括如下步骤：
第一步，开启视觉***中的相机和激光发射器，用相机采集至少20张线结构光打在标定板上的图片；
第二步，采用张氏标定法进行相机标定，获得相机的成像模型，并且对标定图像进行畸变校正，得到校正图像；
第三步，利用校正图像进行激光条纹直线拟合，得到像素坐标系下的拟合方程；
第四步，将像素坐标系下的拟合方程投影到相机坐标系得到线结构光反射平面的表达式；
第五步，利用张氏标定法中标定板平面为世界坐标系下zw＝0条件的平面，求出相机坐标系下的靶标平面方程；
第六步，利用三面共线条件列出激光平面方程参数的矩阵方程，并用最小二乘法求解，得到激光平面方程，完成激光平面的标定。
所述第五步中，张氏标定法中，相机坐标系(x,y,z)，世界坐标系(xw,yw,zw)，则相机坐标系下的靶标平面方程：
A1x+B1y+C1z+D1＝0
其中，A1、B1、C1、D1为待求的方程系数。
所述三面共线条件指的是空间中任意三个不同的平面具有共同交线，其三个面为目标平面、激光平面及感光平面，得到激光平面方程：
X＝(A,B,C)T＝(KTK)-1KTY，
其中，
i为表示第i张图片，n为图片的总数。
所述相机采集20-30张图片。
本发明的有益效果：
(1)不使用激光平面上有限的标定点作为激光平面的拟合特征，省去了标定点求解的繁琐性和误差累计；
(2)将光条直线本身作为激光平面的拟合特征，由于光条直线拟合本身精度较高，因此可以更好的提升激光平面参数的求解精度；
(3)整个过程只需要额外借助一块标定板就能完成，操作便捷，易于实施。
附图说明
图1是本发明的工作流程图；
图2是本发明的新型线结构光视觉***结构图；
图3是本发明的模型示意图；
图4是本发明的标定板示意图。
具体实施方式
下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。
实施例
如图1及图2所示，一种新型线结构光视觉***，下述中目标平面即为靶标平面，感光平面即为CCD相机芯片感光成像平面，包括激光发射器2、导轨4、相机3及标定板1，所述标定板1在激光发射器的前方，标定板在相机的视野范围内，相机在导轨上移动。如图4所示，本实施例中标定板为棋盘格，激光发射器发射的线结构光位于标定板的靶标平面上。
应用该***的标定方法，包括相机标定和激光平面标定两部分，其中相机标定采用张正友标定法，激光平面标定借助标定板，基于提出的三面共线条件，完成激光平面标定。
具体方法包括如下步骤：
第一步，开启视觉***中的相机和激光发射器，用相机采集20-30张线结构光打在标定板上的图片，是将标定板摆放成不同位置不同姿态进行采集。
第二步，采用张氏标定法进行相机标定，获得相机的成像模型，并且对标定图像进行畸变校正，得到校正图像。
该***的模型包括相机的成像模型和激光平面方程模型。
模型示意图如图3所示，图中O-XYZ为相机坐标系。激光发射器打出激光平面，照射在目标平面上形成激光条纹MN，其反射光透过镜头在相机的感光平面上成像为mn，同时光条上的一点P的成像为点p。相机模型一般可以假设为针孔成像模型，即点P的世界坐标(xw,yw,zw)、相机坐标(x,y,z)以及其成像点p的像素坐标(u,v)之间存在如下转换关系：
式中，fu和fv分别u轴和v轴上的归一化焦距，(u0,v0)是光心O的像素坐标，R和t分别为旋转矩阵和平移矩阵；其中fu、fv、u0、v0称为相机内部参数，矩阵R和向量t称为相机外部参数。
激光平面模型即为其在相机坐标系下的平面方程表达式，假设为：
Ax+By+Cz+D＝0 (2)
式中A、B、C、D为待求的方程系数。当相机模型和激光平面模型都确定后，便可得到线结构光视觉***的整体模型，完成***的标定和搭建。
第三步，利用校正图像进行激光条纹直线拟合，得到像素坐标系下的拟合方程；
第四步，将像素坐标系下的拟合方程投影到相机坐标系得到线结构光反射平面的表达式；
第五步，利用张氏标定法中标定板平面为世界坐标系下zw＝0条件的平面，求出相机坐标系下的靶标平面方程；
第六步，利用三面共线条件列出激光平面方程参数(A,B,C)的矩阵方程，并用最小二乘法求解，得到激光平面方程，完成激光平面的标定。
三面共线条件指的是空间中任意三个不同的平面具有共同交线所需满足的数学条件。假设空间中任意三个不同平面的表达式为A1x+B1y+C1z+D1＝0、A2x+B2y+C2z+D2＝0和A3x+B3y+C3z+D3＝0，且相互之间不平行。若以上三面共线，则线上所有空间点都满足这三个平面方程，即下列方程组：
有无穷多实数解。令A＝(A1,A2,A3)T，B＝(B1,B2,B3)T，C＝(C1,C2,C3)T，D＝(-D1,-D2,-D3)T，由线性代数的知识可知，线性方程组有解意味着系数矩阵的秩等于增广矩阵的秩，于是r(A,B,C)＝r(A,B,C,D)≤3；若r(A,B,C)＝r(A,B,C,D)＝1，则方程组的三个平面方程表达式一致，显然与三个不同平面的假设矛盾；若r(A,B,C)＝r(A,B,C,D)＝3，则方程组有唯一解，不满足无穷多解的要求，因此矩阵的秩满足下式：
r(A,B,C)＝r(A,B,C,D)＝2 (4)
视向量D为常向量，从而以下矩阵行列式满足：
|A,B,D|＝|B,C,D|＝|A,C,D|＝0 (5)
将式(5)展开可得：
式(6)即为空间中任意三面共线的一般条件，且由上面的讨论可知，方程组的秩为2，即其中有一个方程冗余。
在张氏标定法中，靶标平面被假设为世界坐标系下zw＝0的平面，而相机坐标系与世界坐标系的转换关系如式(1)所示。注意到矩阵R为正交矩阵，对式(1)稍作变形可得下式：
式中的R和t可根据张氏标定法求得；将矩阵方程展开，然后利用zw＝0条件，很容易得到关于(x,y,z)的一次方程，设为：
A1x+B1y+C1z+D1＝0 (8)
由此求得靶标平面在相机坐标系下的表达式。
根据相机成像模型，像面上的直线对应空间中的某平面，而光条直线对应的显然是激光反射平面。提取靶标平面上的激光条纹，并对其进行直线拟合，可以得到其在像素坐标系下的表达式，设为：
au+bv+c＝0 (9)
将式(1)代入可得：
化简式(10)，容易得到以下关于(x,y,z)的一次方程：
A2x+B2y+C2z＝0 (11)
其中A2＝afu,B2＝bfv,C2＝au0+bv0+c，由此求得光反射平面在相机坐标系下的表达式。
由于激光平面不通过相机坐标系原点O，因此可设式(2)中D＝1；根据上述三面共线条件公式(6)，再结合式(8)、式(11)和式(2)的形式可令式(6)中的D2＝0以及(A3,B3,C3,D3)＝(A,B,C,1)，从而得到以下关于(A,B,C)的方程组：
由于式(12)中的三个方程同样有一个冗余，故取其前两项用以计算；假设共拍摄了n张不同姿态的标定图片，令X＝(A,B,C)T，则可以得到以下矩阵方程：
KX＝Y (13)
式中：
上标i代表第i张图的相关参数，通过最小二乘法求解可得(A,B,C)的值：
X＝(A,B,C)T＝(KTK)-1KTY (14)
由此完成激光平面的标定。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种新型线结构光视觉***，其特征在于，包括激光发射器、导轨、相机及标定板，所述标定板在激光发射器的前方，标定板在相机的视野范围内，相机在导轨上移动。
2.根据权利要求1所述的一种新型线结构光视觉***，其特征在于，所述标定板为棋盘格。
3.根据权利要求1所述的一种新型线结构光视觉***，其特征在于，所述激光发射器发射的线结构光位于标定板的靶标平面上。
4.应用权利要求1-3任一项所述的一种新型线结构光视觉***的标定方法，其特征在于，包括如下步骤：
第一步，开启视觉***中的相机和激光发射器，用相机采集至少20张线结构光打在标定板上的图片；
第二步，采用张氏标定法进行相机标定，获得相机的成像模型，并且对标定图像进行畸变校正，得到校正图像；
第三步，利用校正图像进行激光条纹直线拟合，得到像素坐标系下的拟合方程；
第四步，将像素坐标系下的拟合方程投影到相机坐标系得到线结构光反射平面的表达式；
第五步，利用张氏标定法中标定板平面为世界坐标系下zw＝0条件的平面，求出相机坐标系下的靶标平面方程；
第六步，利用三面共线条件列出激光平面方程参数的矩阵方程，并用最小二乘法求解，得到激光平面方程，完成激光平面的标定。
5.根据权利要求4所述的标定方法，其特征在于，第五步中，张氏标定法中，相机坐标系(x,y,z)，世界坐标系(xw,yw,zw)，则相机坐标系下的靶标平面方程：
A1x+B1y+C1z+D1＝0
其中，A1、B1、C1、D1为待求的方程系数。
6.根据权利要求4所述的标定方法，其特征在于，三面共线条件指的是空间中任意三个不同的平面具有共同交线，其三个面为目标平面、激光平面及感光平面，得到激光平面方程：
X＝(A,B,C)T＝(KTK)-1KTY，
其中，
i为表示第i张图片，n为图片的总数。
7.根据权利要求4所述的标定方法，其特征在于，所述相机采集20-30张图片。
CN201810531682.7A 2018-05-29 2018-05-29 一种新型线结构光视觉***及标定方法 Expired - Fee Related CN108981608B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810531682.7A CN108981608B (zh) 2018-05-29 2018-05-29 一种新型线结构光视觉***及标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810531682.7A CN108981608B (zh) 2018-05-29 2018-05-29 一种新型线结构光视觉***及标定方法

Publications (2)

Publication Number Publication Date
CN108981608A true CN108981608A (zh) 2018-12-11
CN108981608B CN108981608B (zh) 2020-09-22

Family

ID=64542730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810531682.7A Expired - Fee Related CN108981608B (zh) 2018-05-29 2018-05-29 一种新型线结构光视觉***及标定方法

Country Status (1)

Country Link
CN (1) CN108981608B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109827521A (zh) * 2019-03-11 2019-05-31 烟台大学 一种快速多线结构光视觉测量***标定方法
CN110030926A (zh) * 2019-03-30 2019-07-19 天津大学 激光束空间位姿的标定方法
CN110163918A (zh) * 2019-04-24 2019-08-23 华南理工大学 一种基于射影几何的线结构光标定方法
CN112179292A (zh) * 2020-11-20 2021-01-05 苏州睿牛机器人技术有限公司 一种基于投影仪的线结构光视觉传感器标定方法
CN113048949A (zh) * 2021-03-05 2021-06-29 广东工业大学 一种基于线结构光学视觉的圆柱状物***姿检测装置及方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW470260U (en) * 1998-06-29 2001-12-21 Ching-He Huang Improved structure of linear laser collimating calibration
WO2007135439A1 (en) * 2006-05-24 2007-11-29 The University Of Nottingham Transducers
CN101526338A (zh) * 2009-04-15 2009-09-09 北京信息科技大学 线结构光视觉传感***结构参数的现场标定方法
US8227722B2 (en) * 2009-05-29 2012-07-24 Perceptron, Inc. Sensor system and reverse clamping mechanism
CN102927908A (zh) * 2012-11-06 2013-02-13 中国科学院自动化研究所 机器人手眼***结构光平面参数标定装置及方法
CN104848801A (zh) * 2015-06-05 2015-08-19 北京航空航天大学 一种基于平行双圆柱靶标的线结构光视觉传感器标定方法
CN105043251A (zh) * 2015-06-01 2015-11-11 河北工业大学 一种基于机械运动的线结构光传感器的标定方法与装置
CN105783773A (zh) * 2016-03-18 2016-07-20 河北科技大学 一种线结构光视觉传感器的数值标定方法
CN106705849A (zh) * 2017-01-25 2017-05-24 上海新时达电气股份有限公司 线结构光传感器标定方法
CN107218904A (zh) * 2017-07-14 2017-09-29 北京航空航天大学 一种基于锯齿靶标的线结构光视觉传感器标定方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW470260U (en) * 1998-06-29 2001-12-21 Ching-He Huang Improved structure of linear laser collimating calibration
WO2007135439A1 (en) * 2006-05-24 2007-11-29 The University Of Nottingham Transducers
CN101526338A (zh) * 2009-04-15 2009-09-09 北京信息科技大学 线结构光视觉传感***结构参数的现场标定方法
US8227722B2 (en) * 2009-05-29 2012-07-24 Perceptron, Inc. Sensor system and reverse clamping mechanism
CN102927908A (zh) * 2012-11-06 2013-02-13 中国科学院自动化研究所 机器人手眼***结构光平面参数标定装置及方法
CN105043251A (zh) * 2015-06-01 2015-11-11 河北工业大学 一种基于机械运动的线结构光传感器的标定方法与装置
CN104848801A (zh) * 2015-06-05 2015-08-19 北京航空航天大学 一种基于平行双圆柱靶标的线结构光视觉传感器标定方法
CN105783773A (zh) * 2016-03-18 2016-07-20 河北科技大学 一种线结构光视觉传感器的数值标定方法
CN106705849A (zh) * 2017-01-25 2017-05-24 上海新时达电气股份有限公司 线结构光传感器标定方法
CN107218904A (zh) * 2017-07-14 2017-09-29 北京航空航天大学 一种基于锯齿靶标的线结构光视觉传感器标定方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ZHENGYOU ZHANG等: "A Flexible New Technique for Camera Calibration", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
李瑞等: "基于棋盘格的线结构光平面标定方法", 《基于棋盘格的线结构光平面标定方法》 *
洪磊等: "基于单应性矩阵的线结构光参量标定法", 《光子学报》 *
陈天飞等: "基于共面靶标的线结构光传感器标定新方法", 《光学学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109827521A (zh) * 2019-03-11 2019-05-31 烟台大学 一种快速多线结构光视觉测量***标定方法
CN110030926A (zh) * 2019-03-30 2019-07-19 天津大学 激光束空间位姿的标定方法
CN110163918A (zh) * 2019-04-24 2019-08-23 华南理工大学 一种基于射影几何的线结构光标定方法
CN110163918B (zh) * 2019-04-24 2023-03-28 华南理工大学 一种基于射影几何的线结构光标定方法
CN112179292A (zh) * 2020-11-20 2021-01-05 苏州睿牛机器人技术有限公司 一种基于投影仪的线结构光视觉传感器标定方法
CN113048949A (zh) * 2021-03-05 2021-06-29 广东工业大学 一种基于线结构光学视觉的圆柱状物***姿检测装置及方法

Also Published As

Publication number Publication date
CN108981608B (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
CN108981608A (zh) 一种新型线结构光视觉***及标定方法
CN106127745B (zh) 结构光3d视觉***与线阵相机的联合标定方法及装置
Lee et al. A novel stereo camera system by a biprism
CN109035309A (zh) 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法
CN107025670A (zh) 一种远心相机标定方法
CN108629829B (zh) 一种球幕相机与深度相机结合的三维建模方法和***
CN105004324B (zh) 一种具有三角测距功能的单目视觉传感器
CN109285189B (zh) 一种无需双目同步的直线轨迹快速计算方法
CN109579701A (zh) 基于结构光视觉测量***的椭圆中心投影畸变消除方法
CN110296667A (zh) 基于线结构光多角度投影的高反射表面三维测量方法
CN111127540B (zh) 一种三维虚拟空间自动测距方法及***
CN109579695A (zh) 一种基于异构立体视觉的零件测量方法
CN110363838A (zh) 基于多球面相机模型的大视野图像三维重构优化方法
CN108692677A (zh) 基于反射光场偏振与空时编码的表面三维重建方法和***
CN108154536A (zh) 二维平面迭代的相机标定法
CA3233222A1 (en) Method, apparatus and device for photogrammetry, and storage medium
CN102519391A (zh) 基于弱饱和二维图像的物体表面三维立体图像重建方法
CN112927302A (zh) 一种多线激光雷达与相机联合标定的标定板及标定方法
CN110728745B (zh) 一种基于多层折射图像模型的水下双目立体视觉三维重建方法
CN107850425A (zh) 用于测量假影的方法
Yamauchi et al. Calibration of a structured light system by observing planar object from unknown viewpoints
CN106291788A (zh) 自由曲面棱镜及其形状的确定方法及其光学成像方法
CN110686598B (zh) 一种双线阵结构光三维测量***及其测量方法
KR101634283B1 (ko) 단일영상에서의 3차원 카메라교정을 통한 3차원 공간모델링 형성제어장치 및 방법
CN110849285A (zh) 基于单目相机的焊点深度测量方法、***及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200922

CF01 Termination of patent right due to non-payment of annual fee