CN114485479B - 基于双目相机和惯性导航的结构光扫描测量方法及*** - Google Patents

基于双目相机和惯性导航的结构光扫描测量方法及*** Download PDF

Info

Publication number
CN114485479B
CN114485479B CN202210047496.2A CN202210047496A CN114485479B CN 114485479 B CN114485479 B CN 114485479B CN 202210047496 A CN202210047496 A CN 202210047496A CN 114485479 B CN114485479 B CN 114485479B
Authority
CN
China
Prior art keywords
coordinate system
camera
inertial navigation
structured light
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210047496.2A
Other languages
English (en)
Other versions
CN114485479A (zh
Inventor
刘长英
侯禹光
安博文
刘洋
王浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202210047496.2A priority Critical patent/CN114485479B/zh
Publication of CN114485479A publication Critical patent/CN114485479A/zh
Application granted granted Critical
Publication of CN114485479B publication Critical patent/CN114485479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了基于双目相机和惯性导航的结构光扫描测量方法及***。方法包括：对双目相机、平面靶标、结构光传感器、惯性导航分别建立坐标系；通过结构光传感器对被测物进行连续扫描，获取被测物在光平面坐标系下的多组轮廓数据点；针对每组轮廓数据点，分别获取第一三维坐标和第二三维坐标；通过卡尔曼滤波器对第一三维坐标和第二三维坐标进行数据优化融合，获得单次扫描被测物轮廓数据；对各单次扫描被测物轮廓数据进行整体拟合，获得被测物的整体拟合轮廓数据，完成结构光扫描测量。本发明通过对结构光传感器的位姿检测数据进行优化融合，能够降低测量中的累积误差，提高结构光位姿检测精度。

Description

基于双目相机和惯性导航的结构光扫描测量方法及***
技术领域
本发明涉及双目相机及结构光的三维测量技术领域，特别是涉及基于双目相机和惯性导航的结构光扫描测量方法及***。
背景技术
三维扫描技术随着科学技术和工业的不断发展得到了人们的关注，在制造业、逆向工程等领域有着广泛的应用。其中结构光扫描测量技术使用最为频繁，但由于结构光扫描范围有限，需要将扫描数据进行后续拼接，使得测量精度下降。
因此，随着计算机视觉技术的飞速发展，当前多选用视觉传感器与结构光传感器相结合的方法提高三维测量的精度及测量效率，视觉传感器能够对结构光的姿态进行识别，从而实现将结构光扫描数据进行后续拼接。但这种基于单传感器的测量方法，仍存在容易产生结构光位姿检测精度较低的问题。
发明内容
本发明的目的是提供基于双目相机和惯性导航的结构光扫描测量方法及***，可降低测量中的累积误差，提高结构光位姿检测精度。
为实现上述目的，本发明提供了如下方案：
一种基于双目相机和惯性导航的结构光扫描测量方法，包括：
对双目相机、平面靶标、结构光传感器、惯性导航分别建立坐标系，获得相机坐标系、平面靶标坐标系、光平面坐标系、惯性导航坐标系；
通过所述结构光传感器对被测物进行连续扫描，获取所述被测物在所述光平面坐标系下的多组轮廓数据点；
针对每组轮廓数据点，将所述组轮廓数据点经所述平面靶标坐标系变换至所述相机坐标系下，获得第一三维坐标；将所述组轮廓数据点经所述惯性导航坐标系变换至所述相机坐标系下，获得第二三维坐标；
通过卡尔曼滤波器对所述第一三维坐标和所述第二三维坐标进行数据优化融合，获得单次扫描被测物轮廓数据；
对各所述单次扫描被测物轮廓数据进行整体拟合，获得所述被测物的整体拟合轮廓数据，完成结构光扫描测量。
可选地，所述通过所述结构光传感器对被测物进行扫描，获取所述被测物在所述光平面坐标系下的轮廓数据点，之前还包括：
将所述双目相机和所述惯性导航进行联合标定，获取所述相机坐标系与所述惯性导航坐标系间的第一变换矩阵、相机内参、相机外参；
根据所述相机内参和所述相机外参固定所述双目相机、所述平面靶标、所述结构光传感器、所述惯性导航的位置；
根据所述位置分别获取所述相机坐标系与所述平面靶标坐标系间的第二变换矩阵、所述相机坐标系与所述光平面坐标系间的第三变换矩阵、所述惯性导航坐标系与所述光平面坐标系间的第五变换矩阵；
通过所述第二变换矩阵和所述第三变换矩阵获取所述平面靶标坐标系与光平面坐标系之间的第四变换矩阵。
可选地，所述将所述双目相机和所述惯性导航进行联合标定，获取所述相机坐标系与所述惯性导航坐标系间的第一变换矩阵、相机内参、相机外参，具体包括：
固定所述双目相机和所述惯性导航间的相对位置，通过双目相机对不同位姿下的高精度棋盘格标定板进行拍摄，获取标定图片，根据所述标定图片确定所述相机坐标系与所述惯性导航坐标系间的第一变换矩阵、相机内参、相机外参。
可选地，所述根据所述相机内参和所述相机外参固定所述双目相机、所述平面靶标、所述结构光传感器、所述惯性导航的位置，具体包括：
使所述双目相机相对所述结构光传感器固定放置；
将所述平面靶标和所述惯性导航均固定于所述结构光传感器上；
所述平面靶标与所述结构光传感器通过特制连接件固定连接。
可选地，所述第二变换矩阵的获取方法具体包括：
在平面靶标上设置五个圆形标志点，获取所述平面靶标坐标系下的所述圆形标志点三维坐标，并对所述圆形标志点进行排序；
根据所述位置建立图像像素坐标系；
通过所述双目相机对所述平面靶标进行拍摄，提取所述双目相机中包含平面靶标信息的区域，对经所述排序后的每个所述圆形标志点轮廓进行像素提取，获取所述图像像素坐标系下的标志点质心像素坐标；
根据所述标志点质心像素坐标，利用三角测量法获取所述相机坐标系下的所述圆形标志点三维坐标；
根据所述平面靶标坐标系下的所述圆形标志点三维坐标和所述相机坐标系下的所述圆形标志点三维坐标，获取所述第二变换矩阵。
可选地，所述五个圆形标志点在所述平面靶标上呈T字状分布，且每相邻两个所述圆形标志点之间间距相同。
可选地，所述第三变换矩阵的获取方法具体包括：
将立体靶标作为所述被测物置于所述结构光传感器下，使所述结构光传感器的光条与所述立体靶标棱线相交于非共线的四点上，获取所述光平面坐标系下的所述立体靶标四点三维坐标；
通过所述双目相机对所述立体靶标和所述结构光传感器进行拍摄，提取所述双目相机中包含立体靶标和光条信息的区域，对所述立体靶标四点进行像素提取，获取所述相机坐标系下的所述立体靶标四点像素坐标；
根据所述立体靶标四点像素坐标，利用三角测量法获取所述相机坐标系下的所述立体靶标四点三维坐标；
根据所述光平面坐标系下的所述立体靶标四点三维坐标和所述相机坐标系下的所述立体靶标四点三维坐标，获取所述第三变换矩阵。
可选地，所述第一三维坐标的获取方法具体包括：利用所述第二变换矩阵和所述第四变换矩阵，将所述轮廓数据点经所述平面靶标坐标系变换至所述相机坐标系下。
可选地，所述第二三维坐标的获取方法具体包括：利用所述第一变换矩阵和所述第五变换矩阵，将所述轮廓数据点经所述惯性导航坐标系变换至所述相机坐标系下。
一种基于双目相机和惯性导航的结构光扫描测量***，包括：
坐标系建立单元，用于对双目相机、平面靶标、结构光传感器、惯性导航分别建立坐标系，获得双目相机坐标系、平面靶标坐标系、光平面坐标系、惯性导航坐标系，并通过所述结构光传感器对被测物进行连续扫描；
轮廓获取单元，用于获取所述光平面坐标系下被测物的多组轮廓数据点；
坐标系变换单元，用于针对每组轮廓数据点，将所述组轮廓数据点经所述平面靶标坐标系变换至所述相机坐标系下，获得第一三维坐标；将所述组轮廓数据点经所述惯性导航坐标系变换至所述相机坐标系下，获得第二三维坐标；
数据优化融合单元，用于通过卡尔曼滤波器对所述第一三维坐标和所述第二三维坐标进行数据优化融合，获得单次扫描被测物轮廓数据；
整体拟合单元，对各单次扫描被测物轮廓数据进行整体拟合，获得所述被测物的整体拟合轮廓数据。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明通过将双目相机与惯性导航相结合对结构光传感器位姿进行检测，在对被测物进行扫描后，通过光平面坐标系—平面靶标坐标系—相机坐标系和光平面坐标系—惯性导航坐标系—相机坐标系两条路径同时获取被测物轮廓数据，并利用卡尔曼滤波器将上述数据进行整体拟合，解决了多传感器测量会产生冗余数据的缺陷，从而提高了结构光传感器位姿检测精度，且通过多次连续扫描，还能进一步提高被测物局部轮廓扫描数据点精度，进而提高了后续数据拼接的精度，实现结构光位姿检测精度的提高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于双目相机和惯性导航的结构光扫描测量方法的相机坐标系示意图；
图2为本发明基于双目相机和惯性导航的结构光扫描测量方法的平面靶标坐标系示意图；
图3为本发明基于双目相机和惯性导航的结构光扫描测量方法的光平面坐标系示意图；
图4为本发明基于双目相机和惯性导航的结构光扫描测量方法的惯性导航坐标系示意图；
图5为本发明基于双目相机和惯性导航的结构光扫描测量方法的平面靶标标志点顺序示意图；
图6为本发明基于双目相机和惯性导航的结构光扫描测量方法的光平面与立体靶标棱线相交的四点示意图；
图7为本发明基于双目相机和惯性导航的结构光扫描测量方法的逻辑流程示意图；
图8为本发明基于双目相机和惯性导航的结构光扫描测量方法的流程示意图；
图9为本发明基于双目相机和惯性导航的结构光扫描测量***的模块结构示意图。
符号说明：1-坐标系建立单元，2-轮廓获取单元，3-坐标系变换单元，4-数据优化融合单元，5-整体拟合单元。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于双目相机和惯性导航的结构光扫描测量方法及***，通过对结构光传感器的位姿检测数据进行优化融合，降低测量中的累积误差，提高结构光位姿检测精度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1-图9所示，本发明基于双目相机和惯性导航的结构光扫描测量方法包括：
步骤100：对双目相机、平面靶标、结构光传感器、惯性导航分别建立坐标系，获得相机坐标系、平面靶标坐标系、光平面坐标系、惯性导航坐标系。
步骤200：通过所述结构光传感器对被测物进行连续扫描，获取所述被测物在所述光平面坐标系下的多组轮廓数据点。
步骤300：针对每组轮廓数据点，将所述组轮廓数据点经所述平面靶标坐标系变换至所述相机坐标系下，获得第一三维坐标；将所述组轮廓数据点经所述惯性导航坐标系变换至所述相机坐标系下，获得第二三维坐标。
步骤400：通过卡尔曼滤波器对所述第一三维坐标和所述第二三维坐标进行数据优化融合，获得单次扫描被测物轮廓数据。
步骤500：对各所述单次扫描被测物轮廓数据进行整体拟合，获得所述被测物的整体拟合轮廓数据，完成结构光扫描测量，从而提高了三维重建的精度。
其中在步骤100中，相机坐标系Oc-XcYcZc是以双目相机中左相机光心为坐标原点Oc，光轴为Zc，Xc轴与Yc轴平行于图像物理坐标系的x轴和y轴(具体如图2所示)。如图3所示，平面靶标坐标系Ot-XtYtZt的建立以中间圆形标志点形心为坐标原点Ot，Xt轴与Yt轴相互垂直且与平面靶标平行，Zt垂直于平面靶标。如图4所示，光平面坐标系Ol-XlYlZl中，虚线部分为结构光传感器内部激光器发射激光并被内部接收器接收示意图，实线部分为有效测量范围，以有效范围的中心为坐标原点Ol，Xl轴与Yl轴相互垂直且与结构光光平面共面，Zl垂直于光平面。如图5所示，惯性导航坐标系Om-XmYmZm以惯性导航重心为坐标原点Om，Xm轴与Ym轴相互垂直且与惯性导航上表面平行，Zm垂直于惯性导航上表面。
除此之外，为便于后续计算，还需建立图像像素坐标系和图像物理坐标系，其中图像像素坐标系Oo-uv坐标原点在图像平面的左上角，u轴平行于图像平面水平向右，v轴垂直于u轴向下，坐标使用(u,v)来表示；图像物理坐标系坐标原点在图像平面的中心，x轴和y轴分别平行于图像像素坐标系的坐标轴，坐标使用(x,y)来表示。
在进行步骤200之前，还需获取用于各坐标系转换的变换矩阵。
首先，固定所述双目相机和所述惯性导航间的相对位置，将所述双目相机和所述惯性导航进行联合标定，通过双目相机对不同位姿下的高精度棋盘格标定板进行拍摄，获取标定图片，根据张正友标定法原理并利用MATLAB内自带的标定工具箱即可通过所述标定图片确定所述相机坐标系与所述惯性导航坐标系间的第一变换矩阵[R0 T0]、相机内参、相机外参。
其次，根据所述相机内参和所述相机外参固定所述双目相机、所述平面靶标、所述结构光传感器、所述惯性导航的位置。
所述位置的放置方法具体为：使所述双目相机相对所述结构光传感器固定放置；将所述平面靶标和所述惯性导航均固定于所述结构光传感器上；所述平面靶标与所述结构光传感器通过特制连接件固定连接。
上述各器件之间的位置关系是为了保证使双目相机视野能同时拍摄到平面靶标和立体靶标，以及将立体靶标放置在结构光传感器的有效扫描范围内，能够使结构光传感器光条与立体靶标的四条棱线相交。
再次，根据所述位置分别获取所述相机坐标系与所述平面靶标坐标系间的第二变换矩阵[R1 T1]、所述相机坐标系与所述光平面坐标系间的第三变换矩阵[R2 T2]、所述惯性导航坐标系与所述光平面坐标系间的第五变换矩阵[R4 T4]。
最后，通过所述第二变换矩阵[R1 T1]和所述第三变换矩阵[R2 T2]，获取所述平面靶标坐标系与光平面坐标系之间的第四变换矩阵[R3 T3]。
其中，所述第二变换矩阵的获取方法具体包括以下五个步骤。
第一步，在平面靶标上设置五个圆形标志点，所述五个圆形标志点在所述平面靶标上呈T字状分布，且每相邻两个所述圆形标志点之间间距相同，获取所述平面靶标坐标系下的所述圆形标志点三维坐标(Xti,Yti,Zti)，并对所述圆形标志点进行排序，排布顺序如图6所示。
第二步，根据所述位置建立图像像素坐标系。
第三步，通过所述双目相机对所述平面靶标进行拍摄，通过YOLOv3算法提取所述双目相机中包含平面靶标信息的ROI区域，并利用MATLAB对经所述排序后的每个所述圆形标志点轮廓进行像素提取，获取双目相机中左右相机下的经排序后的圆形标志点像素坐标(ucli,vcli)和(ucri,vcri)。
第四步，根据所述标志点质心像素坐标，根据三角测量法，利用MATLAB自带函数triangulate，可得所述相机坐标系下的所述圆形标志点三维坐标中的Zci。在得到相机坐标系下的Zci后，根据公式(1)即可得到该像素点在相机坐标系下的Xci和Yci，进而获取所述相机坐标系下的所述圆形标志点三维坐标(Xci,Yci,Zci)。
Figure GDA0003557664800000081
其中，(uci,vci)为像素坐标；(Xci,Yci,Zci)为相机坐标系下的坐标；k为相机内参；s为尺度因子；f为相机焦距。
第五步，根据所述平面靶标坐标系下的所述圆形标志点三维坐标(Xti,Yti,Zti)和所述相机坐标系下的所述圆形标志点三维坐标(Xci,Yci,Zci)，获取所述第二变换矩阵[R1T1]。
所述第三变换矩阵的获取方法具体包括以下四个步骤。
第一步，将立体靶标作为所述被测物置于所述结构光传感器下，使所述结构光传感器的光条与所述立体靶标棱线相交于非共线的四点上。四点确定光平面信息的冗余结构设计提高了计算精度，与传统二维靶标相比只需标定一次便能求解出光平面信息，并且不用对立体靶标的位置进行特殊固定，只需保证光条与四条棱线相交即可。结构光传感器扫描立体靶标在光平面坐标系下的轮廓坐标，获取所述光平面坐标系下的所述立体靶标四点三维坐标(Xli,Yli,Zli)，如图7所示。
第二步，通过所述双目相机对所述立体靶标和所述结构光传感器进行拍摄，提取所述双目相机中包含立体靶标和光条信息的ROI区域，对所述立体靶标四点进行像素提取，获取所述双目相机的左右相机坐标系下的所述立体靶标四点像素坐标，获得(ucli,vcli)和(ucri,vcri)。
第三步，根据所述立体靶标四点像素坐标，根据三角测量法，利用MATLAB自带函数triangulate，可得所述相机坐标系下的所述立体靶标四点三维坐标中的Zci。
根据式(1)可解算出这光条与立体靶标棱线相交四个点在相机坐标系下三维坐标中的(Xci,Yci)，进而获取所述相机坐标系下的所述立体靶标四点三维坐标(Xci,Yci,Zci)。
第四步，根据所述光平面坐标系下的所述立体靶标四点三维坐标(Xli,Yli,Zli)和所述相机坐标系下的所述立体靶标四点三维坐标(Xci,Yci,Zci)，利用SVD奇异值分解法即可获取所述第三变换矩阵[R2 T2]。
所述第四变换矩阵的获取方法具体包括：根据公式(2)获取所述平面靶标坐标系与光平面坐标系之间的第四变换矩阵[R3 T3]；
Figure GDA0003557664800000091
所述第五变换矩阵的获取方法具体包括：由于惯性导航与结构光传感器固定在一起，即相对位置固定且已知，可得惯性导航坐标系与光平面坐标系间的第五变换矩阵[R4T4]。
经上运算，获取了所述第一变换矩阵[R0 T0]，第二变换矩阵[R1 T1]，第三变换矩阵[R2 T2]，第四变换矩阵[R3 T3]，第五变换矩阵[R4 T4]。
在步骤300中，所述第一三维坐标的获取方法具体包括：利用所述第二变换矩阵[R1 T1]和所述第四变换矩阵[R3 T3]，根据公式(3)将所述轮廓数据点经所述平面靶标坐标系变换至所述相机坐标系下，获得三维坐标
Figure GDA0003557664800000101
Figure GDA0003557664800000102
所述第二三维坐标的获取方法具体包括：利用所述第一变换矩阵和所述第五变换矩阵，根据公式(4)将所述轮廓数据点经所述惯性导航坐标系变换至所述相机坐标系下，获得三维坐标
Figure GDA0003557664800000103
Figure GDA0003557664800000104
通过公式(3)和公式(4)，结构光传感器单次扫描被测物轮廓数据点可以分别经由平面靶标坐标系和惯性导航坐标系得到两组变换至相机坐标系下的被测物轮廓数据点三维坐标
Figure GDA0003557664800000105
和
Figure GDA0003557664800000106
在步骤400中，所述卡尔曼滤波器的算法迭代公式具体包括：
X(q|q-1)＝A(q)X(q-1) (5)；
p(q|q-1)＝A(q)p(q-1)A(q)T+B(q)Q(q)B(q)T (6)；
X(q)＝X(q|q-1)+H(q)[Y(q)-C(q)X(q|q-1)] (7)；
H(q)＝p(q|q-1)C(q)T[C(q)p(q|q-1)C(q)T+R(q)]-1 (8)；
p(q)＝[I-H(q)C(q)]p(q|q-1) (9)；
其中，X(q)表示在q时刻经由惯性导航坐标系变换得到的相机坐标系下被测物轮廓数据点
Figure GDA0003557664800000107
A(q)和B(q)表示转移矩阵(由卡尔曼滤波器决定)，Q(q)表示噪声矩阵，R(q)表示测量噪声矩阵，Y(q)表示在q时刻经由平面靶标坐标系变换得到的相机坐标系下被测物轮廓数据点
Figure GDA0003557664800000111
p(q)表示协方差矩阵；H(q)表示卡尔曼增益矩阵；C(q)表示状态变量和测量量间的转换矩阵；I表示单位矩阵。
如图9所示，本发明基于双目相机和惯性导航的结构光扫描测量***，包括坐标系建立单元1、轮廓获取单元2、坐标系变换单元3、数据优化融合单元4、整体拟合单元5。
具体地，所述坐标系建立单元1用于对双目相机、平面靶标、结构光传感器、惯性导航分别建立坐标系，获得双目相机坐标系、平面靶标坐标系、光平面坐标系、惯性导航坐标系，并通过所述结构光传感器对被测物进行连续扫描；所述轮廓获取单元2用于获取所述光平面坐标系下被测物的多组轮廓数据点；所述坐标系变换单元3用于针对每组轮廓数据点，将所述组轮廓数据点经所述平面靶标坐标系变换至所述相机坐标系下，获得第一三维坐标；将所述组轮廓数据点经所述惯性导航坐标系变换至所述相机坐标系下，获得第二三维坐标；数据优化融合单元4，用于通过卡尔曼滤波器对所述第一三维坐标和所述第二三维坐标进行数据优化融合，获得单次扫描被测物轮廓数据；整体拟合单元5，用于对各单次扫描被测物轮廓数据进行整体拟合，获得所述被测物的整体拟合轮廓数据。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于双目相机和惯性导航的结构光扫描测量方法，其特征在于，包括：
对双目相机、平面靶标、结构光传感器、惯性导航分别建立坐标系，获得相机坐标系、平面靶标坐标系、光平面坐标系、惯性导航坐标系；
通过所述结构光传感器对被测物进行连续扫描，获取所述被测物在所述光平面坐标系下的多组轮廓数据点；
针对每组轮廓数据点，将所述每组轮廓数据点经所述平面靶标坐标系变换至所述相机坐标系下，获得第一三维坐标；将所述每组轮廓数据点经所述惯性导航坐标系变换至所述相机坐标系下，获得第二三维坐标；
通过卡尔曼滤波器对所述第一三维坐标和所述第二三维坐标进行数据优化融合，获得单次扫描被测物轮廓数据；
对各所述单次扫描被测物轮廓数据进行整体拟合，获得所述被测物的整体拟合轮廓数据，完成结构光扫描测量；
所述通过所述结构光传感器对被测物进行连续扫描，获取所述被测物在所述光平面坐标系下的多组轮廓数据点，之前还包括：
将所述双目相机和所述惯性导航进行联合标定，获取所述相机坐标系与所述惯性导航坐标系间的第一变换矩阵、相机内参、相机外参；
根据所述相机内参和所述相机外参固定所述双目相机、所述平面靶标、所述结构光传感器、所述惯性导航的位置；
根据所述位置分别获取所述相机坐标系与所述平面靶标坐标系间的第二变换矩阵、所述相机坐标系与所述光平面坐标系间的第三变换矩阵、所述惯性导航坐标系与所述光平面坐标系间的第五变换矩阵；
通过所述第二变换矩阵和所述第三变换矩阵获取所述平面靶标坐标系与光平面坐标系之间的第四变换矩阵；
所述第二变换矩阵的获取方法，具体包括：
在平面靶标上设置五个圆形标志点，获取所述平面靶标坐标系下的所述圆形标志点三维坐标，并对所述圆形标志点进行排序；
根据所述位置建立图像像素坐标系；
通过所述双目相机对所述平面靶标进行拍摄，提取所述双目相机中包含平面靶标信息的区域，对经所述排序后的每个所述圆形标志点轮廓进行像素提取，获取所述图像像素坐标系下的标志点质心像素坐标；
根据所述标志点质心像素坐标，利用三角测量法获取所述相机坐标系下的所述圆形标志点三维坐标；
根据所述平面靶标坐标系下的所述圆形标志点三维坐标和所述相机坐标系下的所述圆形标志点三维坐标，获取所述第二变换矩阵；
所述根据所述相机内参和所述相机外参固定所述双目相机、所述平面靶标、所述结构光传感器、所述惯性导航的位置具体包括：
使所述双目相机相对所述结构光传感器固定放置；
将所述平面靶标和所述惯性导航均固定于所述结构光传感器上；
所述平面靶标与所述结构光传感器通过特制连接件固定连接。
2.根据权利要求1所述的基于双目相机和惯性导航的结构光扫描测量方法，其特征在于，所述将所述双目相机和所述惯性导航进行联合标定，获取所述相机坐标系与所述惯性导航坐标系间的第一变换矩阵、相机内参、相机外参，具体包括：
固定所述双目相机和所述惯性导航间的相对位置，通过双目相机对不同位姿下的高精度棋盘格标定板进行拍摄，获取标定图片，根据所述标定图片确定所述相机坐标系与所述惯性导航坐标系间的第一变换矩阵、相机内参、相机外参。
3.根据权利要求1所述的基于双目相机和惯性导航的结构光扫描测量方法，其特征在于，所述五个圆形标志点在所述平面靶标上呈T字状分布，且每相邻两个所述圆形标志点之间间距相同。
4.根据权利要求1所述的基于双目相机和惯性导航的结构光扫描测量方法，其特征在于，所述第三变换矩阵的获取方法具体包括：
将立体靶标作为所述被测物置于所述结构光传感器下，使所述结构光传感器的光条与所述立体靶标的棱线相交于非共线的四点上，获取所述光平面坐标系下的所述立体靶标四点三维坐标；
通过所述双目相机对所述立体靶标和所述结构光传感器进行拍摄，提取所述双目相机中包含立体靶标和光条信息的区域，对所述立体靶标四点进行像素提取，获取所述相机坐标系下的所述立体靶标四点像素坐标；
根据所述立体靶标四点像素坐标，利用三角测量法获取所述相机坐标系下的所述立体靶标四点三维坐标；
根据所述光平面坐标系下的所述立体靶标四点三维坐标和所述相机坐标系下的所述立体靶标四点三维坐标，获取所述第三变换矩阵。
5.根据权利要求1所述的基于双目相机和惯性导航的结构光扫描测量方法，其特征在于，所述第一三维坐标的获取方法具体包括：利用所述第二变换矩阵和所述第四变换矩阵，将所述轮廓数据点经所述平面靶标坐标系变换至所述相机坐标系下。
6.根据权利要求4所述的基于双目相机和惯性导航的结构光扫描测量方法，其特征在于，所述第二三维坐标的获取方法具体包括：利用所述第一变换矩阵和所述第五变换矩阵，将所述轮廓数据点经所述惯性导航坐标系变换至所述相机坐标系下。
7.一种基于双目相机和惯性导航的结构光扫描测量***，其特征在于，包括：
坐标系建立单元，用于对双目相机、平面靶标、结构光传感器、惯性导航分别建立坐标系，获得双目相机坐标系、平面靶标坐标系、光平面坐标系、惯性导航坐标系，并通过所述结构光传感器对被测物进行连续扫描；
轮廓获取单元，用于获取所述光平面坐标系下被测物的多组轮廓数据点；
坐标系变换单元，用于针对每组轮廓数据点，将所述每组轮廓数据点经所述平面靶标坐标系变换至所述相机坐标系下，获得第一三维坐标；将所述每组轮廓数据点经所述惯性导航坐标系变换至所述相机坐标系下，获得第二三维坐标；
数据优化融合单元，用于通过卡尔曼滤波器对所述第一三维坐标和所述第二三维坐标进行数据优化融合，获得单次扫描被测物轮廓数据；
整体拟合单元，用于对各单次扫描被测物轮廓数据进行整体拟合，获得所述被测物的整体拟合轮廓数据；
所述通过所述结构光传感器对被测物进行连续扫描，获取所述被测物在所述光平面坐标系下的多组轮廓数据点，之前还包括：
将所述双目相机和所述惯性导航进行联合标定，获取所述相机坐标系与所述惯性导航坐标系间的第一变换矩阵、相机内参、相机外参；
根据所述相机内参和所述相机外参固定所述双目相机、所述平面靶标、所述结构光传感器、所述惯性导航的位置；
根据所述位置分别获取所述相机坐标系与所述平面靶标坐标系间的第二变换矩阵、所述相机坐标系与所述光平面坐标系间的第三变换矩阵、所述惯性导航坐标系与所述光平面坐标系间的第五变换矩阵；
通过所述第二变换矩阵和所述第三变换矩阵获取所述平面靶标坐标系与光平面坐标系之间的第四变换矩阵；
所述第二变换矩阵的获取方法，具体包括：
在平面靶标上设置五个圆形标志点，获取所述平面靶标坐标系下的所述圆形标志点三维坐标，并对所述圆形标志点进行排序；
根据所述位置建立图像像素坐标系；
通过所述双目相机对所述平面靶标进行拍摄，提取所述双目相机中包含平面靶标信息的区域，对经所述排序后的每个所述圆形标志点轮廓进行像素提取，获取所述图像像素坐标系下的标志点质心像素坐标；
根据所述标志点质心像素坐标，利用三角测量法获取所述相机坐标系下的所述圆形标志点三维坐标；
根据所述平面靶标坐标系下的所述圆形标志点三维坐标和所述相机坐标系下的所述圆形标志点三维坐标，获取所述第二变换矩阵；
所述根据所述相机内参和所述相机外参固定所述双目相机、所述平面靶标、所述结构光传感器、所述惯性导航的位置具体包括：
使所述双目相机相对所述结构光传感器固定放置；
将所述平面靶标和所述惯性导航均固定于所述结构光传感器上；
所述平面靶标与所述结构光传感器通过特制连接件固定连接。
CN202210047496.2A 2022-01-17 2022-01-17 基于双目相机和惯性导航的结构光扫描测量方法及*** Active CN114485479B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210047496.2A CN114485479B (zh) 2022-01-17 2022-01-17 基于双目相机和惯性导航的结构光扫描测量方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210047496.2A CN114485479B (zh) 2022-01-17 2022-01-17 基于双目相机和惯性导航的结构光扫描测量方法及***

Publications (2)

Publication Number Publication Date
CN114485479A CN114485479A (zh) 2022-05-13
CN114485479B true CN114485479B (zh) 2022-12-30

Family

ID=81511283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210047496.2A Active CN114485479B (zh) 2022-01-17 2022-01-17 基于双目相机和惯性导航的结构光扫描测量方法及***

Country Status (1)

Country Link
CN (1) CN114485479B (zh)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19536294C2 (de) * 1995-09-29 2003-12-18 Daimler Chrysler Ag Verfahren zur geometrischen Navigation von optischen 3D-Sensoren zum dreidimensionalen Vermessen von Objekten
GB9716240D0 (en) * 1997-07-31 1997-10-08 Tricorder Technology Plc Scanning apparatus and methods
EP2400261A1 (de) * 2010-06-21 2011-12-28 Leica Geosystems AG Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche
EP2511656A1 (de) * 2011-04-14 2012-10-17 Hexagon Technology Center GmbH Vermessungssystem zur Bestimmung von 3D-Koordinaten einer Objektoberfläche
CN102607457B (zh) * 2012-03-05 2014-12-10 西安交通大学 基于惯性导航技术的大尺寸三维形貌测量装置及方法
CN104964656A (zh) * 2015-06-26 2015-10-07 天津大学 基于惯性导航的自定位流动式快速扫描测量装置及方法
CN105222724B (zh) * 2015-09-10 2018-09-18 北京天远三维科技股份有限公司 多线阵列激光三维扫描***及多线阵列激光三维扫描方法
CN106123802A (zh) * 2016-06-13 2016-11-16 天津大学 一种自主流动式三维形貌测量方法
CN108692661A (zh) * 2018-05-08 2018-10-23 深圳大学 基于惯性测量单元的便携式三维测量***及其测量方法
CN113514008B (zh) * 2020-04-10 2022-08-23 杭州思看科技有限公司 三维扫描方法、三维扫描***和计算机可读存储介质
CN111879235A (zh) * 2020-06-22 2020-11-03 杭州思看科技有限公司 弯管的三维扫描检测方法、三维扫描***和计算机设备
CN113034571B (zh) * 2021-04-16 2023-01-20 广东工业大学 一种基于视觉—惯性的物体三维尺寸测量方法
CN113409406A (zh) * 2021-08-19 2021-09-17 武汉中观自动化科技有限公司 一种大范围单目跟踪扫描设备
CN113870366B (zh) * 2021-10-18 2024-04-02 中国科学院长春光学精密机械与物理研究所 基于位姿传感器的三维扫描***的标定方法及其标定***

Also Published As

Publication number Publication date
CN114485479A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN110021046B (zh) 相机与激光雷达组合传感器的外参数标定方法及***
CN110276808B (zh) 一种单相机结合二维码测量玻璃板不平度的方法
CN110296667B (zh) 基于线结构光多角度投影的高反射表面三维测量方法
CN108986070B (zh) 一种基于高速视频测量的岩石裂缝扩展实验监测方法
CN107588721A (zh) 一种基于双目视觉的零件多尺寸的测量方法及***
CN112396664A (zh) 一种单目摄像机与三维激光雷达联合标定及在线优化方法
CN110044374B (zh) 一种基于图像特征的单目视觉测量里程的方法及里程计
CN109341668B (zh) 基于折射投影模型和光束追踪法的多相机测量方法
CN112017248B (zh) 一种基于点线特征的2d激光雷达相机多帧单步标定方法
CN104567727A (zh) 立体靶标及对线结构光轮廓传感器的全局统一校准方法
CN110763204B (zh) 一种平面编码靶标及其位姿测量方法
JP2012058076A (ja) ３次元計測装置及び３次元計測方法
CN110779491A (zh) 一种水平面上目标测距的方法、装置、设备及存储介质
CN108469254A (zh) 一种适用于仰视和俯视位姿的大视场多视觉视频测量***全局标定方法
CN113870366B (zh) 基于位姿传感器的三维扫描***的标定方法及其标定***
CN113310433A (zh) 基于线结构光的虚拟双目立体视觉测量方法
Ding et al. A robust detection method of control points for calibration and measurement with defocused images
CN111307046A (zh) 基于半球图像的树高测量方法
CN102881040A (zh) 一种数码相机移动拍摄三维重建方法
CN111583342A (zh) 一种基于双目视觉的目标快速定位方法及装置
Wohlfeil et al. Automatic camera system calibration with a chessboard enabling full image coverage
CN115272474A (zh) 一种用于激光雷达与相机联合标定的立体标定板及标定方法
CN111968182B (zh) 一种双目相机非线性模型参数的标定方法
CN107941241B (zh) 一种用于航空摄影测量质量评价的分辨率板及其使用方法
Valocký et al. Measure distance between camera and object using camera sensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant