CN100580370C - 基于双面靶标的流动式三维视觉测量拼接方法 - Google Patents

基于双面靶标的流动式三维视觉测量拼接方法 Download PDF

Info

Publication number
CN100580370C
CN100580370C CN200710099771A CN200710099771A CN100580370C CN 100580370 C CN100580370 C CN 100580370C CN 200710099771 A CN200710099771 A CN 200710099771A CN 200710099771 A CN200710099771 A CN 200710099771A CN 100580370 C CN100580370 C CN 100580370C
Authority
CN
China
Prior art keywords
target
coordinate system
sided
vision sensor
sided target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200710099771A
Other languages
English (en)
Other versions
CN101055177A (zh
Inventor
张广军
孙军华
魏振忠
刘谦哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN200710099771A priority Critical patent/CN100580370C/zh
Publication of CN101055177A publication Critical patent/CN101055177A/zh
Priority to US12/025,741 priority patent/US8019147B2/en
Application granted granted Critical
Publication of CN100580370C publication Critical patent/CN100580370C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于双面靶标的流动式三维视觉测量拼接方法，包括：A.设置能观测到被测物全貌的两台数码相机；B.标定两台数码相机内部参数及其之间的坐标转换关系；C.在被测物的一个待测试区域附近放置双面靶标，两个数码相机和视觉传感器分别拍摄该双面靶标上的至少三个非共线特征点；D.移开双面靶标，利用视觉传感器对待测试区域进行三维视觉测量；E.计算特征点在全局坐标系和视觉传感器坐标系中的坐标；F.根据步骤E中的至少三个非共线特征点确定视觉传感器坐标系到全局坐标系的转换关系，从而将待测试区域的三维视觉测量数据转换到全局坐标系下；G.重复执行C、D、E和F，从而完成三维视觉测量数据的拼接。本发明提高了数据拼接精度和效率。

Description

基于双面靶标的流动式三维视觉测量拼接方法
技术领域
本发明涉及三维视觉测量技术，尤其涉及一种基于双面靶标的流动式三维视觉测量拼接方法。
背景技术
大型物体的三维形貌测量是一项先进的产品检测手段，也是现代逆向工程和产品数字化设计及制造的基础支撑技术，在制造领域有广泛的应用背景。视觉检测技术作为当今高新技术之一，在电子学、光电探测、图像处理和计算机技术不断成熟和完善的基础上得到了突飞猛进的发展，在物体三维形貌测量中应用越来越广泛，越来越多的学者竞相开展相关技术的研究工作。
在实际工程中，为完成对整个物体三维形貌的测量，常把物体表面分成多个子区域，视觉传感器从多个视角分别对各子区域进行测量，所得三维数据均在各局部坐标系下。因此，必须将各局部测量数据统一到一个全局坐标系下，即三维拼接。
当前国内外较为通用的测量数据拼接方法是，在整个被测物表面贴一定数量标记点，在视场中放置高精度基线尺，然后利用一台高分辨率数码相机在不同位置拍摄标记点及基线尺图像。由标记点及基线尺标定其外部参数，建立一个全局坐标系，同时获得所有标记点在全局坐标系下的三维坐标。视觉传感器在各局部区域进行测量的同时也得到各标记点在局部坐标系下的坐标，由这些标记点可将各局部测量数据统一到全局坐标下，完成三维拼接。在国外，具有代表性的产品是德国GOM公司采用该方式研制出Tritop***，用于视觉传感器测量数据的拼接。在国内，北京天远三维科技有限公司也研制有类似产品。
目前的拼接方法的不足之处在于：
1、测量前，需在被测物上粘贴一定数量的标记点，测量后再及时清除。因此粘贴和清除标记的工作较为繁琐，且较为费时；
2、对于曲率较大的物体，其上所贴标记点会有较大的变形，从而影响图像中标记点提取精度或者根本无法提取，甚至难以被全局测量***所观测；
3、高分辨率数码相机需在多个位置拍摄所有标记点图像，外部参数需要逐步标定，存在误差累积现象，且操作复杂，测量效率低。
发明内容
有鉴于此，本发明的主要目的在于提供一种基于双面靶标的流动式三维视觉测量拼接方法。能提高三维视觉测量数据拼接精度和效率。
本发明的技术方案是这样实现的：一种基于双面靶标的流动式三维视觉测量拼接方法，包括以下步骤：
A、设置两台能观测到被测物全貌的数码相机；
B、标定所述数码相机内部参数，标定所述两台数码相机坐标系之间的转换关系，并设置全局坐标系；
C、在被测物的一个待测试区域附近设置双面靶标，利用所述两台数码相机拍摄该双面靶标上的至少三个非共线特征点和利用视觉传感器拍摄该双面靶标上的至少三个非共线特征点；所述双面靶标每一面上的特征点与另一面上的特征点有固定的坐标转换关系；若视觉传感器与数码相机位于双面靶标的同一侧，则拍摄双面靶标的同一面上的特征点，而如果视觉传感器与数码相机分别位于双面靶标的两侧时，则分别拍摄双面靶标的前、后工作面；其中，所述双面靶标的每一个工作面均设置至少三个非共线的特征点；所述双面靶标上各特征点之间的位置关系已知；移开所述双面靶标，利用视觉传感器对所述待测试区域进行三维视觉测量；
D、计算所述数码相机拍摄的至少三个非共线特征点在数码相机坐标系中的坐标，以及视觉传感器拍摄的至少三个非共线特征点在视觉传感器坐标系中的坐标；
E、根据所述数码相机拍摄的的至少三个非共线特征点和所述视觉传感器拍摄的至少三个非共线特征点确定视觉传感器坐标系到全局坐标系的转换关系，从而将所述待测试区域的三维视觉测量数据转换到全局坐标系下；
F、重复执行步骤C、D和E，完成三维视觉测量数据的拼接。
其中，所述全局坐标系为两台数码相机的坐标系中的一个。
本发明采用双面靶标为中介进行测量数据的拼接，不用贴标记点，有效保护了被测物体，免去了贴标及清理等繁琐过程；由于采用了双面靶标，对被测物的曲率、形状、材质等特性无任何限制，适用于各种被测件的全局测量；而全局坐标系在整个测量过程中固定不动，不用移站，因此测量中不存在累计误差，保证了全局基准的高精度，且操作简单、测量效率高。
附图说明
图1为本发明基于双面靶标的流动式三维视觉测量拼接方法的流程图；
图2为本发明双面靶标的结构示意图；
图3为本发明双面靶标的另一结构示意图；
图4为本发明双面靶标的又一结构示意图；
图5是在本发明视觉传感器某位置测得的某区域的测量结果示意图；
图6是在本发明视觉传感器另一位置测得的另一区域的测量结果示意图；
图7是图5、图6局部测量数据拼接结果示意图。
具体实施方式
本发明的核心思想是：利用两台高分辨率数码相机和一个双面靶标实现视觉传感器局部测量数据的拼接，操作简单且测量效率高。
以下结合附图对本发明进行更详细的说明。
本发明的三维测量数据拼接方法包括以下步骤：
步骤101：固定被测物体，安装两台高分辨率数码相机，使两台数码相机能观测到被测物体全貌。这里，并不是要求通过两台数码相机可以观测到被测物体的所有细节，而是在视觉传感器测量被测物体三维数据时，两台数码相机能拍摄到放置在被测物体附近的双面靶标上的至少三个特征点。
步骤102：标定数码相机内部参数，具体标定方式可参见Z.Y.Zhang的“Aflexible new technique for camera calibration[R](Microsoft Corporation，NSR-TR-98-71，1998)，同时标定两台数码相机的坐标系之间的变换关系Tlr，具体可参见罗明的“多传感器机器视觉标定***及应用研究[D](天津大学博士学位论文，1996)”，将全局坐标系设置在其中一台数码相机坐标系下，记为OgXgYgZg。
步骤103：将视觉传感器连接到计算机，打开传感器电源并启动计算机，运行测量***软件。将被测物体分成若干个待测试区域，对于第i个待测区域，首先将视觉传感器移动到第i个位置，在被测区域附近放置双面靶标，使两台数码相机和视觉传感器均可拍摄到双面靶标上的至少三个特征点，并拍摄这些特征点。若视觉传感器与数码相机位于双面靶标的同一侧，则可拍双面摄靶标的同一面上的特征点，而如果视觉传感器与数码相机分别位于双面靶标的两面时，则分别拍摄双面靶标的前、后工作面。
计算数码相机拍摄的至少三个非共线特征点在全局坐标系中的坐标以及视觉传感器机拍摄的至少三个非共线特征点在视觉传感器坐标系中的坐标。利用它们所拍摄的非共线特征点之间的坐标固定转换关系确定在第i个拍摄位置的视觉传感器坐标系到全局坐标系下的转换关系，以使视觉传感器拍摄的三维视觉测量数据转换到全局坐标系下。
以下说明一下本发明的双面靶标。图2、图3和图4均为本发明双面靶标的结构示意图，如图2、图3和图4所示，双面靶标的每一面均设置有特征点，每面至少包括三个非共线的特征点。如果每一面上的特征点与另一面上的特征点有固定的坐标转换关系，这些特定点也可以不规则的方式设定，为简化本发明的处理方式，本发明选择靶标双面特征点对称的方式。本发明中，图2中为圆圈标记，圆心处为特征点。图3中为方格标记，方格角点为特征点。图4中为十字标记，十字标记交点为特征点。每个工作面上特征点个数为3～200，并保证至少有三个非共线特征点。
步骤104：保持视觉传感器处在原地，移开双面靶标，对被测物体第i个子区域进行三维视觉测量。
步骤105：利用数码相机和视觉传感器所拍摄到的至少三个非共线特征点在视觉传感器坐标系和全局坐标系下的三维坐标，计算视觉传感器在第i个位置的坐标系OiXiYiZi到全局坐标系OgXgYgZg的变换矩阵Tgi。关于具体的转换方式可参见张广军编著的由科学出版社5005年6月出版的《机器视觉》(ISBN：7-03-014717-0)第21页至第22页。
步骤106：将视觉传感器测量的第i个待测区域的三维视觉测量数据转换到该全局坐标系OgXgYgZg下。本领域技术人员应当立即，在一次完整的测量过程中，本发明的全局坐标系一旦确定即不再改变。本发明的全局坐标系可任意设定，为简化本发明的处理步骤，可将两个数码相机坐标系中的一个作为全局坐标系。
步骤107：重复步骤103～106，将视觉传感器测量所得的被测物体所有区域的三维数据均转换到全局坐标系OgXgYgZg下，从而完成测量数据的拼接。由于本发明所测量被测物体的三维数据转换到了同一个坐标系下，因此所测量的三维数据会自动拼接。
为了说明本发明的拼接方式，以一具体测量实例进行说明。采用两个NikonD2Xs数码相机和视觉传感器对一高约500mm的Venus石膏像进行了测量。并采用圆孔中心的双面靶标，双面靶标前后两面均有5行5列个圆孔，相邻圆孔中心间距为50mm，精度为0.005mm。图5、图6分别是对两个测量区域的测量结果，将测量的三维数据将采用坐标变换矩阵转换到全局坐标系下，由于上述两局部数据转换到了同一个坐标系下，***将自动完成三维拼接，如图7所示。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (2)

1、一种基于双面靶标的流动式三维视觉测量拼接方法，其特征在于，该方法包括以下步骤：
A、设置两台能观测到被测物全貌的数码相机；
B、标定所述数码相机内部参数，标定所述两台数码相机坐标系之间的转换关系，并设置全局坐标系；
C、在被测物的一个待测试区域附近设置双面靶标，利用所述两台数码相机拍摄该双面靶标上的至少三个非共线特征点和利用视觉传感器拍摄该双面靶标上的至少三个非共线特征点；所述双面靶标每一面上的特征点与另一面上的特征点有固定的坐标转换关系；若视觉传感器与数码相机位于双面靶标的同一侧，则拍摄双面靶标的同一面上的特征点，而如果视觉传感器与数码相机分别位于双面靶标的两侧时，则分别拍摄双面靶标的前、后工作面；其中，所述双面靶标的每一个工作面均设置至少三个非共线的特征点；所述双面靶标上各特征点之间的位置关系已知；移开所述双面靶标，利用视觉传感器对所述待测试区域进行三维视觉测量；
D、计算所述数码相机拍摄的至少三个非共线特征点在数码相机坐标系中的坐标，以及视觉传感器拍摄的至少三个非共线特征点在视觉传感器坐标系中的坐标；
E、根据所述数码相机拍摄的至少三个非共线特征点和所述视觉传感器拍摄的至少三个非共线特征点确定视觉传感器坐标系到全局坐标系的转换关系，从而将所述待测试区域的三维视觉测量数据转换到全局坐标系下；
F、重复执行步骤C、D和E，完成三维视觉测量数据的拼接。
2、根据权利要求1所述的基于双面靶标的流动式三维视觉测量拼接方法，其特征在于，所述全局坐标系为两台数码相机的坐标系中的一个。
CN200710099771A 2007-05-30 2007-05-30 基于双面靶标的流动式三维视觉测量拼接方法 Expired - Fee Related CN100580370C (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN200710099771A CN100580370C (zh) 2007-05-30 2007-05-30 基于双面靶标的流动式三维视觉测量拼接方法
US12/025,741 US8019147B2 (en) 2007-05-30 2008-02-04 Three-dimensional data registration method for vision measurement in flow style based on double-sided target

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200710099771A CN100580370C (zh) 2007-05-30 2007-05-30 基于双面靶标的流动式三维视觉测量拼接方法

Publications (2)

Publication Number Publication Date
CN101055177A CN101055177A (zh) 2007-10-17
CN100580370C true CN100580370C (zh) 2010-01-13

Family

ID=38795131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200710099771A Expired - Fee Related CN100580370C (zh) 2007-05-30 2007-05-30 基于双面靶标的流动式三维视觉测量拼接方法

Country Status (2)

Country Link
US (1) US8019147B2 (zh)
CN (1) CN100580370C (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101876533B (zh) 2010-06-23 2011-11-30 北京航空航天大学 一种显微立体视觉校准方法
CN101975588B (zh) * 2010-08-20 2012-07-11 北京航空航天大学 一种多传感器视觉测量***的刚性杆全局校准方法及装置
CN102126162B (zh) * 2010-12-26 2013-09-25 北京航空航天大学 一种数控机床加工在线测量方法
CN102155923B (zh) * 2011-03-17 2013-04-24 北京信息科技大学 基于立体靶标的拼接测量方法及***
CN102564460B (zh) * 2012-01-19 2014-11-26 北京大学 空间相机几何与时相分辨率检测方法及移动检测车
CN102788572B (zh) * 2012-07-10 2015-07-01 中联重科股份有限公司 一种工程机械吊钩姿态的测量方法、装置及***
CN103487034B (zh) * 2013-09-26 2015-07-15 北京航空航天大学 一种基于立式标靶的车载单目摄像头测距测高方法
CN103925912B (zh) * 2014-04-02 2016-01-20 中国人民解放军总参谋部测绘研究所 内视场光学分割型大面阵ccd影像几何拼接方法
CN103994779B (zh) * 2014-05-27 2017-07-04 首都师范大学 基于三维激光点云的全景相机标定方法
JP6507730B2 (ja) * 2015-03-10 2019-05-08 富士通株式会社 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム
US11562502B2 (en) 2015-11-09 2023-01-24 Cognex Corporation System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance
US10812778B1 (en) 2015-11-09 2020-10-20 Cognex Corporation System and method for calibrating one or more 3D sensors mounted on a moving manipulator
US10757394B1 (en) 2015-11-09 2020-08-25 Cognex Corporation System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance
CN106445367B (zh) * 2016-10-14 2019-06-04 上海语途信息技术有限公司 基于三维设计软件进行操作界面设计与更换的方法
CN106352795B (zh) * 2016-10-26 2019-02-19 哈尔滨工业大学 用于柔性制造的视觉测量装置及方法
CN107990940B (zh) * 2017-12-20 2020-09-11 武汉惟景三维科技有限公司 一种基于立体视觉测量技术的运动物体追踪方法
CN108571971B (zh) * 2018-05-17 2021-03-09 北京航空航天大学 一种agv视觉定位***及方法
CN111080714B (zh) * 2019-12-13 2023-05-16 太原理工大学 一种基于三维重建的平行式双目相机标定方法
CN111739107B (zh) * 2020-08-26 2020-11-13 杭州利珀科技有限公司 标定辅助装置、标定***及标定方法
CN112729156A (zh) * 2020-12-24 2021-04-30 上海智能制造功能平台有限公司 一种人体数字化测量装置的数据拼接及***标定方法
EP4315231A1 (en) * 2021-03-26 2024-02-07 Harman International Industries, Incorporated Method, apparatus and system for auto-labeling
CN113494891B (zh) * 2021-06-29 2023-09-29 南京航空航天大学 一种用于火车承载鞍整体型面测量的多视角拼接方法
CN114136357B (zh) * 2021-12-09 2023-06-02 易思维（杭州）科技有限公司 一种适用于面结构光传感器的测试方法及测试***
CN117450955B (zh) * 2023-12-21 2024-03-19 成都信息工程大学 基于空间环形特征的薄型物体三维测量方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6556783B1 (en) * 1997-01-16 2003-04-29 Janet L. Gelphman Method and apparatus for three dimensional modeling of an object
US7742635B2 (en) * 2005-09-22 2010-06-22 3M Innovative Properties Company Artifact mitigation in three-dimensional imaging
US7605817B2 (en) * 2005-11-09 2009-10-20 3M Innovative Properties Company Determining camera motion
US7177740B1 (en) * 2005-11-10 2007-02-13 Beijing University Of Aeronautics And Astronautics Method and apparatus for dynamic measuring three-dimensional parameters of tire with laser vision
JP4739004B2 (ja) * 2005-12-15 2011-08-03 キヤノン株式会社 情報処理装置及び情報処理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于平面靶标的多视点云对齐方法. 孙军华等.北京航空航天大学学报，第32卷第10期. 2006
基于平面靶标的多视点云对齐方法. 孙军华等.北京航空航天大学学报，第32卷第10期. 2006 *

Also Published As

Publication number Publication date
US8019147B2 (en) 2011-09-13
CN101055177A (zh) 2007-10-17
US20080298673A1 (en) 2008-12-04

Similar Documents

Publication Publication Date Title
CN100580370C (zh) 基于双面靶标的流动式三维视觉测量拼接方法
CN102155923B (zh) 基于立体靶标的拼接测量方法及***
CN107256568B (zh) 一种高精度机械臂手眼相机标定方法及标定***
EP2381214B1 (en) Optical measurement system
CN100557634C (zh) 一种基于双一维靶标的摄像机标定方法
CN105118021A (zh) 基于特征点的图像配准方法及***
CN104457719B (zh) 类矩形盾构施工的姿态测量装置及测量方法
CN102376089A (zh) 一种标靶校正方法及***
JP2011123008A (ja) 計測方法および計測プログラムならびに計測装置
CN104463833B (zh) 一种标定一维面阵相机组相机参数的方法和***
CN104169964A (zh) 图像处理装置及图像处理程序记录介质
CN103795935B (zh) 一种基于图像校正的摄像式多目标定位方法及装置
JP5477658B2 (ja) キャリブレーション用校正治具、校正治具を備えた３次元計測システム
CN105302961A (zh) 一种基于三维摄影技术的合拢管现场测量方法
CN103148806A (zh) 基于投影与多目视觉的船舶钢板动态三维测量***
WO2011118476A1 (ja) ３次元距離計測装置及びその方法
JP2980195B2 (ja) 鉄筋径の計測方法及び装置
Fraser Automated vision metrology: a mature technology for industrial inspection and engineering surveys
US10516822B2 (en) Method and device for merging images of calibration devices
SK293391A3 (en) Documentating method and device for its realization
CN104819690A (zh) 一种表面贴装元件的双相机机器视觉定位方法
CN104700409B (zh) 一种根据监控目标自动调整摄像机预置位的方法
JP2012132786A (ja) ひずみ計測方法及びひずみ計測システム
JP2005140550A (ja) 三次元モデル作成方法
CN113566729A (zh) 一种水上水下一体化分布式高速视频测量***的实现方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100113

Termination date: 20190530

CF01 Termination of patent right due to non-payment of annual fee