CN107680139B - 一种远心双目立体视觉测量***的通用性标定方法 - Google Patents

一种远心双目立体视觉测量***的通用性标定方法 Download PDF

Info

Publication number
CN107680139B
CN107680139B CN201710963810.0A CN201710963810A CN107680139B CN 107680139 B CN107680139 B CN 107680139B CN 201710963810 A CN201710963810 A CN 201710963810A CN 107680139 B CN107680139 B CN 107680139B
Authority
CN
China
Prior art keywords
camera
telecentricity
image
calibration
scaling board
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710963810.0A
Other languages
English (en)
Other versions
CN107680139A (zh
Inventor
刘海波
姚林伸
尚洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201710963810.0A priority Critical patent/CN107680139B/zh
Publication of CN107680139A publication Critical patent/CN107680139A/zh
Application granted granted Critical
Publication of CN107680139B publication Critical patent/CN107680139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种远心双目立体视觉测量***的通用性标定方法。通过设计的随机分布圆点的平面标定板，实现了对控制点的全自动识别。运用这种标定板使得控制点的定位更准确，甚至是在局部遮挡和大倾角情况下也更加鲁棒。本发明提出了一个立体远心相机***的结构模型，由于该结构参数在标定过程中保持不变，所以采用光束法平差对其进行优化。与现有的方法相比，由于对同时拍摄的多组图像应用光束法平差进行优化，使得标定得到的相机参数有显著的提升。

Description

一种远心双目立体视觉测量***的通用性标定方法
技术领域
本发明属于计算机视觉领域，尤其涉及对于远心双目立体视觉测量***的通用性标定方法。
背景技术
随着精密制造业的发展，对微小尺度的精密三维测量的发展也有着推进和需求。通过双目立体视觉测量***建立三角测量关系是发展比较成熟的三维测量技术。相较于干涉测量方法例如全息干涉法，云纹法以及电子散斑干涉法(ESPI)，该技术对光路设计的要求更简单且不需要防震。因此，该方法在许多领域都被大量采用。传统上，一个典型的双目立体视觉测量***由两个一般的镜头组成。然而，对于微小尺度的三维测量光学***之间的距离必须得很小。对于一般镜头来说一个主要问题是透视效应和镜头畸变，在很近的距离上，目标会产生畸变。相较于一般镜头，远心镜头的正交投影的特点有着许多优点，例如很小的镜头畸变，恒定的放大倍率，以及较大的景深。由于存在这些特点，所以由远心相机组成的双目立体视觉测量***能够广泛应用到微小尺度的三维测量当中，例如微尺度目标的三维测量和重构，三维的数字图像相关等。
当要使用立体视觉***进行测量时，标定是核心的一个步骤。目前对于应用双目立体视觉进行测量的算法研究已经趋于成熟，所以测量的精度很大程度上取决于标定精度。一般而言，由于标定过程的在光学测量中的关键地位，对于小孔模型的立体相机标定已有了广泛的研究，并且也提出了很多标定方法。然而，对于远心光学***的标定特别是在Z方向上并不是那么直接，因为远心***会使得沿光轴方向上的变换并不敏感。因此，对于基于透视投影的小孔相机模型而构建的传统标定方法并不适用于远心双目立体视觉测量***的标定。所以对于远心双目立体视觉测量***，需要有一种通用的高精度标定方法。
发明内容
本发明的目的在于对由两个远心相机组成的立体视觉测量***提供一个通用性的标定方法，实现对***的高精度、高鲁棒性的标定，为***的高精度测量应用，包括但不限于微尺度目标的三维重构、三维的数字图像相关等等，奠定基础。
本发明中需要标定的测量***，包括远心相机A、远心相机B和数据处理计算机，所用到的标定板为随机圆点标定板。其中，远心相机A、远心相机B固联安装，具有公共视场，即远心相机A的视角与远心相机B的视角有夹角，夹角范围0°～90°；数据处理计算机与远心相机A、远心相机B联通，实时同步采集两台远心相机的图像数据，并解算***标定结果。随机圆点标定板是由一系列随机生成的，并已知其圆心坐标的圆点组成的平面标定板。固联安装是指远心相机A与远心相机B的相对位置固定。
用本发明中的方法对由两个远心相机组成的立体视觉测量***进行标定包括以下步骤：
第一步，随机圆点标定板的识别
1.1标定板的生成
这个平面标定板由随机散布的圆点组成，而这些圆点的圆心坐标是在一个局部范围内随机生成的，所生成圆点的半径是一致的，在这种情况下，任意三个圆点组成的三角形的内角可以通过未经过单应性修正图像的二次曲线系数矩阵来获得。当生成了一个标定板之后，即已知了在一个参考坐标系下圆点中心的坐标，那这个标定板的特征描述则可以通过下列方法来生成。对于标定板上的每个圆点，选择两个最近的圆点和其组成一个三角形，则该三角形最小的和最大的内角的余弦值即可以作为这三个圆点的特征描述。由这个性质，标定板上的圆形控制点可以通过相似三角匹配方法来进行自动识别；
1.2圆点匹配
针对拍摄得到的标定图像，通过椭圆检测来获得图像中圆点的二次曲线矩阵C，C是包含二次曲线系数的一个3×3的实对称矩阵。与标定板特征描述生成的过程类似，对于一个圆点和它的两个相邻点的特征描述都可以通过式(1)中的二次曲线矩阵C′i来获得。
在得到了标定板上圆点的特征描述后，利用文献《Nondimensional staridentification for uncalibrated star cameras》(2006年发表于《The Journal of theAstronautical Sciences》)的方法实现拍摄图像和标定板生成数据的最优匹配。
1.3单应矩阵估计
在获得了最优特征匹配之后，就得到了三个圆点的中心坐标和其图像中对应的二次曲线的对应。因此，单应矩阵H的初值估计可以简单地由式(2)通过DLT方法计算得到。
其中，(a,b)和(u,v)分别表示生成的圆点和拍摄图像中的二次曲线的中心。单应矩阵H满足式(3)
当得到单应矩阵H的初始估计之后，通过RANSAC方法可以得到一个更精确的单应矩阵。在应用这种标定板以及其对应的识别方法时，可以在存在明显遮挡，不均匀光照，大倾角甚至离焦情况下实现对控制点的全自动鲁棒的定位识别。
第二步，单相机参数估计
2.1相机参数初值确定
当单应矩阵H确定了之后，无畸变相机的内外参数则可以通过一个近似解来确定，该方法在文献《A Flexible Calibration Approach for Cameras with Double-sidedTelecentric Lenses》(2016年发表在《International Journal of Advanced RoboticSystems》)中有进行描述。
针对应用平面标定板对远心镜头标定所带来的旋转矩阵R的歧义性可以很容易地通过相机结构的先验信息来解决。通过这个方法独立解算得到两个远心相机的内参数矩阵KL和KR，以及外参数(RL,tLs)和(RR,tRs)，其中tLs＝[tLx tLy]T和tRs＝[tRx tRy]T为平移向量的一部分，而非完整的平移向量tL＝[tLx tLy tLz]T和tR＝[tRx tRy tRz]T。
2.2二次曲线变换的非线性优化
由于对于远心相机在仿射变换下二次曲线中心在图像中与图像中的二次曲线中心是一致的，因此，远心相机的参数包括镜头畸变δ都可以通过式(4)的点变换的方式来进行描述。在该描述下可以通过点变换的非线性优化来对所有的相机参数进行优化。
其中mji和分别是点Pi在相机j中图像坐标和重投影坐标。旋转矩阵Rj可以由三个参数的向量通过罗德里格斯公式来表示。
第三步，***结构参数标定
3.1建立***结构标定模型
针对远心相机立体视觉测量***，***结构参数为两个相机坐标之间的转换关系和其中可以通过在对单相机标定得到的RL和RR由式(5)直接计算得到
将左相机坐标系作为世界坐标系并且将其Z方向的平移向量参数进行恢复，相机的平移向量的最后一个值tRz可以被设定为任意值。也就是说，坐标系XRYRZR的原点可以是其对应光轴上的任意一点，那么将坐标系XRYRZR的原点oR选为ZR轴与ZLYL平面的交点，将ZL轴与其过oR的垂线的垂足作为坐标系XLYLZL的原点oL，在这种情况下，立体视觉***的外参数和可以通过式(6)计算得到
其中，[0 yoR 0]T是坐标系XRYRZR的原点在坐标系XLYLZL中的坐标，且当两相机固联的情况下，该点的坐标是不变的。而可以由式(7)-(9)计算得到
如此就确定了***的所有结构参数。
3.2光束法平差优化***结构参数
通过单相机标定由同时采集得到的图像对j分别获得(RLj,tLsj)和(RRj,tRsj)，而对于不同视角拍摄得到的图像，结构参数包括和yoR都保持不变，所以为了进一步提升标定的精度，对多幅同时采集的图像采用光束法平差对所有相机参数进行优化，最小化优化函数为e2
其中mL ji和mR ji分别是图像对j中左右相机图像中圆点中心Pi的对应；和分别是圆点中心Pi在图像对j中左右相机图像中的重投影；δL和δR是镜头畸变系数。旋转矩阵RLj和可以由三个参数的向量通过罗德里格斯公式来表示。最小化优化函数e2是一个非线性最小化问题，该问题可以通过Levenberg-Marquardt算法进行求解。
本发明的优点：
1.本发明中通过设计的随机分布圆点的平面标定板，实现了对控制点的全自动识别。运用这种标定板使得控制点的定位更准确，甚至是在局部遮挡和大倾角情况下也更加鲁棒。
2.本发明提出了一个立体远心相机***的结构模型，由于该结构参数在标定过程中保持不变，所以采用光束法平差对其进行优化。与现有的方法相比，由于对同时拍摄的多组图像应用光束法平差进行优化，使得标定得到的相机参数有显著的提升。
附图说明
图1是本发明要标定的由两个远心相机组成的立体视觉测量***，
图2是本发明中所用的随机圆点标定板样图，
图3是本发明中所用的立体视觉测量***结构参数模型示意图。
具体实施方式
本发明中需要标定的测量***，包括远心相机A、远心相机B和数据处理计算机，所用到的标定板为随机圆点标定板。数据处理计算机与两个远心相机联通，实时同步采集两台远心相机的图像数据，并解算***标定结果。随机圆点标定板由算法生成之后打印贴到一个平面的标定板上。
采用本发明对由两个远心相机组成的立体视觉测量***进行标定，具体步骤如下：
第一步，随机圆点标定板的识别
1.1通过相关算法生成随机圆点标定板，得到其圆心在参考系下坐标，将生成的标定板以适合的比例打印并贴到平板上作为标定板；
1.2将标定板置于两个相机公共视场下，通过计算机控制两个相机同时采图，变换标定板姿态，再进行采图，重复该过程，得到一系列标定图像；
1.3对于每一张标定图像，在图像中进行椭圆检测，进而得到控制点的特征描述；
1.4通过特征描述对圆点进行匹配，进一步得到单应矩阵的估计；
第二步，单相机参数估计
2.1由得到的单应矩阵的估计，通过相关方法确定单个相机在无畸变条件下的内外参数的近似解；
2.2以上述近似解作为初值对相机参数，包含相机畸变，进行非线性优化得到单相机参数；
第三步，***结构参数标定
3.1通过同时拍摄的两相机图像独立标定得到的单相机外参数对，根据式(6)-(9)计算得到一系列***结构参数；
3.2以上述结果以及单相机独立标定结果作为初值对所有相机参数通过光束法平差进行优化，得到最终标定参数。

Claims (2)

1.一种远心双目立体视觉测量***的通用性标定方法，标定的测量***，包括远心相机A、远心相机B和数据处理计算机，所用到的标定板为随机圆点标定板，其特征在于，远心相机A、远心相机B固联安装，具有公共视场，即远心相机A的视角与远心相机B的视角有夹角，夹角范围0°～90°；数据处理计算机与远心相机A、远心相机B联通，实时同步采集两台远心相机的图像数据，并解算***标定结果，随机圆点标定板是由一系列随机生成的，并已知其圆心坐标的圆点组成的平面标定板，固联安装是指远心相机A与远心相机B的相对位置固定；
测量***进行标定包括以下步骤：
第一步，随机圆点标定板的识别
1.1通过相关算法生成随机圆点标定板，得到其圆心在参考系下坐标，将随机圆点标定板打印并贴到平板上作为标定板；
1.2将标定板置于两个相机公共视场下，通过计算机控制两个相机同时采图，变换标定板姿态，再进行采图，重复该过程，得到一系列标定图像；
1.3对于每一张标定图像，在图像中进行椭圆检测，进而得到控制点的特征描述；
1.4通过特征描述对圆点进行匹配，进一步得到单应矩阵的估计；
在获得了最优特征匹配之后，就得到了三个圆点的中心坐标和其图像中对应的二次曲线的对应，因此，单应矩阵H的初值估计可以简单地由式(2)通过DLT方法计算得到，
其中，(a,b)和(u,v)分别表示生成的圆点和拍摄图像中的二次曲线的中心，单应矩阵H满足式(3)
当得到单应矩阵H的初始估计之后，通过RANSAC方法可以得到一个更精确的单应矩阵，在应用这种标定板以及其对应的识别方法时，可以在存在明显遮挡，不均匀光照，大倾角甚至离焦情况下实现对控制点的全自动鲁棒的定位识别；
第二步，单相机参数估计
2.1由得到的单应矩阵的估计，确定单个相机在无畸变条件下的内外参数的近似解；
2.2以上述近似解作为初值对相机参数，包含相机畸变，进行非线性优化得到单相机参数；
第三步，***结构参数标定
3.1通过同时拍摄的两相机图像独立标定得到的单相机外参数对，根据式(6)-(9)计算得到一系列***结构参数；
针对远心相机立体视觉测量***，***结构参数为两个相机坐标之间的转换关系和其中可以通过在对单相机标定得到的RL和RR由式(5)直接计算得到
将左相机坐标系作为世界坐标系并且将其Z方向的平移向量参数进行恢复，相机的平移向量的最后一个值tRz可以被设定为任意值，也就是说，坐标系XRYRZR的原点可以是其对应光轴上的任意一点，那么将坐标系XRYRZR的原点oR选为ZR轴与ZLYL平面的交点，将ZL轴与其过oR的垂线的垂足作为坐标系XLYLZL的原点oL，在这种情况下，立体视觉***的外参数和可以通过式(6)计算得到
其中，[0 yoR 0]T是坐标系XRYRZR的原点在坐标系XLYLZL中的坐标，且当两相机固联的情况下，该点的坐标是不变的，而可以由式(7)-(9)计算得到
如此就确定了***的所有结构参数，
3.2以上述结果以及单相机独立标定结果作为初值对所有相机参数通过光束法平差进行优化，得到最终标定参数；
通过单相机标定由同时采集得到的图像对j分别获得(RLj,tLsj)和(RRj,tRsj)，而对于不同视角拍摄得到的图像，结构参数包括和yoR都保持不变，所以为了进一步提升标定的精度，对多幅同时采集的图像采用光束法平差对所有相机参数进行优化，最小化优化函数为e2
其中mLji和mRji分别是图像对j中左右相机图像中圆点中心Pi的对应；和分别是圆点中心Pi在图像对j中左右相机图像中的重投影；δL和δR是镜头畸变系数，旋转矩阵RLj和可以由三个参数的向量通过罗德里格斯公式来表示。
2.根据权利要求1所述的一种远心双目立体视觉测量***的通用性标定方法，其特征在于，所述最小化优化函数e2是一个非线性最小化问题，该问题通过Levenberg-Marquardt算法进行求解。
CN201710963810.0A 2017-10-17 2017-10-17 一种远心双目立体视觉测量***的通用性标定方法 Active CN107680139B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710963810.0A CN107680139B (zh) 2017-10-17 2017-10-17 一种远心双目立体视觉测量***的通用性标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710963810.0A CN107680139B (zh) 2017-10-17 2017-10-17 一种远心双目立体视觉测量***的通用性标定方法

Publications (2)

Publication Number Publication Date
CN107680139A CN107680139A (zh) 2018-02-09
CN107680139B true CN107680139B (zh) 2019-11-01

Family

ID=61140703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710963810.0A Active CN107680139B (zh) 2017-10-17 2017-10-17 一种远心双目立体视觉测量***的通用性标定方法

Country Status (1)

Country Link
CN (1) CN107680139B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108447098A (zh) * 2018-03-13 2018-08-24 深圳大学 一种远心移轴相机标定方法和***
CN108489395B (zh) * 2018-04-27 2019-03-22 中国农业大学 视觉测量***结构参数标定和仿射坐标系构建方法与***
CN108921890B (zh) * 2018-06-15 2021-01-01 广东拓斯达科技股份有限公司 螺丝锁付方法、装置及计算机可读存储介质
CN109900713B (zh) * 2019-04-17 2022-01-18 中国人民解放军国防科技大学 摄像引导的无人机风电叶片缺陷动态检测***及其方法
CN110148174A (zh) * 2019-05-23 2019-08-20 北京阿丘机器人科技有限公司 标定板、标定板识别方法及装置
WO2020237574A1 (zh) * 2019-05-30 2020-12-03 深圳市大疆创新科技有限公司 相机的内参及相对姿态的标定方法、装置、无人机和存储装置
CN113538588A (zh) * 2020-04-17 2021-10-22 虹软科技股份有限公司 标定方法、标定装置及应用其的电子设备
CN114529613B (zh) * 2021-12-15 2024-07-09 深圳市华汉伟业科技有限公司 一种圆阵列标定板的特征点高精度坐标提取方法
CN114638898A (zh) * 2022-05-23 2022-06-17 中国人民解放军国防科技大学 一种小型飞行目标检测方法和装置
CN115289997B (zh) * 2022-08-01 2024-02-20 合肥国际应用超导中心 一种双目相机三维轮廓扫描仪及其使用方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105180841A (zh) * 2015-10-28 2015-12-23 广东工业大学 一种新型微型元件三维测量***及其测量方法
CN106500625A (zh) * 2016-12-23 2017-03-15 中国人民解放军国防科学技术大学 一种远心立体视觉测量装置及其应用于物体三维形貌微米级精度测量的方法
CN106595528A (zh) * 2016-11-10 2017-04-26 华中科技大学 一种基于数字散斑的远心显微双目立体视觉测量方法
CN107025670A (zh) * 2017-03-23 2017-08-08 华中科技大学 一种远心相机标定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105180841A (zh) * 2015-10-28 2015-12-23 广东工业大学 一种新型微型元件三维测量***及其测量方法
CN106595528A (zh) * 2016-11-10 2017-04-26 华中科技大学 一种基于数字散斑的远心显微双目立体视觉测量方法
CN106500625A (zh) * 2016-12-23 2017-03-15 中国人民解放军国防科学技术大学 一种远心立体视觉测量装置及其应用于物体三维形貌微米级精度测量的方法
CN106500625B (zh) * 2016-12-23 2019-03-01 中国人民解放军国防科学技术大学 一种远心立体视觉测量方法
CN107025670A (zh) * 2017-03-23 2017-08-08 华中科技大学 一种远心相机标定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"An accurate calibration method for a camera with telecentric lenses";Dong Li等;《Optics and Lasers in Engineering》;20130110;第538-541页 *
"An accurate calibration method for non一overlapping cameras with double一sided telecentric lenses";Banglei Guan等;《Optilc》;20161128;第724-731页 *

Also Published As

Publication number Publication date
CN107680139A (zh) 2018-02-09

Similar Documents

Publication Publication Date Title
CN107680139B (zh) 一种远心双目立体视觉测量***的通用性标定方法
CN110296691B (zh) 融合imu标定的双目立体视觉测量方法与***
CN107063129B (zh) 一种阵列式并行激光投影三维扫描方法
CN108510551B (zh) 一种远距离大视场条件下相机参数的标定方法及***
JP5999615B2 (ja) カメラ較正情報生成装置、カメラ較正情報生成方法およびカメラ較正情報生成プログラム
CN100428805C (zh) 仅用一幅平面标定物图像的摄像机标定方法
CN112465912B (zh) 一种立体相机标定方法及装置
CN104036542B (zh) 一种基于空间光线聚集性的像面特征点匹配方法
CN109099883A (zh) 高精度大视场机器视觉测量与标定装置及方法
CN111854622B (zh) 一种大视场光学动态变形测量方法
CN110044301B (zh) 基于单双目混合测量的三维点云计算方法
CN107449374A (zh) 柔性布局的视觉辅助激光振镜扫描***及其现场校准方法
CN109325981B (zh) 基于聚焦像点的微透镜阵列型光场相机几何参数标定方法
CN109859272A (zh) 一种自动对焦双目摄像头标定方法及装置
CN113781579B (zh) 一种全景红外相机几何标定方法
CN105809706B (zh) 一种分布式多像机***的全局标定方法
CN101577004B (zh) 一种极线矫正方法、装置和***
CN111009030A (zh) 一种多视高分辨率纹理图像与双目三维点云映射方法
Von Gioi et al. Towards high-precision lens distortion correction
CN110827360B (zh) 一种光度立体式测量***及其标定光源方向的方法
CN115457147A (zh) 相机标定方法、电子设备及存储介质
CN115861445B (zh) 一种基于标定板三维点云的手眼标定方法
CN108362205A (zh) 基于条纹投影的空间测距方法
CN116957987A (zh) 一种多目极线校正方法、装置、计算机设备及存储介质
CN108269234A (zh) 一种全景相机镜头姿态估计方法及全景相机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant