CN110874854B - 一种基于小基线条件下的相机双目摄影测量方法 - Google Patents

一种基于小基线条件下的相机双目摄影测量方法 Download PDF

Info

Publication number
CN110874854B
CN110874854B CN202010060072.0A CN202010060072A CN110874854B CN 110874854 B CN110874854 B CN 110874854B CN 202010060072 A CN202010060072 A CN 202010060072A CN 110874854 B CN110874854 B CN 110874854B
Authority
CN
China
Prior art keywords
image
binocular
point
camera
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010060072.0A
Other languages
English (en)
Other versions
CN110874854A (zh
Inventor
郭晟
邵慧超
阮双双
姚功民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leador Spatial Information Technology Co ltd
Original Assignee
Leador Spatial Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leador Spatial Information Technology Co ltd filed Critical Leador Spatial Information Technology Co ltd
Priority to CN202010060072.0A priority Critical patent/CN110874854B/zh
Publication of CN110874854A publication Critical patent/CN110874854A/zh
Application granted granted Critical
Publication of CN110874854B publication Critical patent/CN110874854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于小基线条件下的大畸变广角相机双目摄影测量方法，首先，基于预设室内高精度检校场标定双目相机之间的相对位置关系和内参系数；然后采用检校得到广角相机的畸变系数对双目相机进行实时校正，获得畸变校正后的双目影像；接着基于对极几何理、SIFT特征匹配以及Ransac滤波，得到同名特征点的位置；再根据POS***与双目相机之间的安装位置关系、POS***测量得到的姿态信息、双目相机之间的相对位置关系以及同名特征点的位置，计算得到双目影像匹配同名点的光线方向，最后得到地物的位置信息。本发明的方法可以测量***设备小、测量流程简单、测量范围大同时精度高且鲁棒性好。

Description

一种基于小基线条件下的相机双目摄影测量方法
技术领域
本发明涉及移动摄影测量和计算机视觉技术领域，具体涉及一种基于小基线条件下的相机双目摄影测量方法。
背景技术
双目立体视觉是基于视差原理，由多幅图像获取物体三维几何信息的方法。在机器视觉***中，双目视觉一般由双摄像机从不同角度同时获取周围景物的两幅数字图像，或有由单摄像机在不同时刻从不同角度获取周围景物的两幅数字图像，并基于视差原理即可恢复出物体三维几何信息，重建周围景物的三维形状与位置。双目视觉有的时候也称为体视，是人类利用双眼获取环境三维信息的主要途径。从目前来看，随着机器视觉理论的发展，双目立体视觉在机器视觉研究中发挥了越来越重要的作用。
双目视觉的数学原理如下：双目立体视觉是基于视差，由三角法原理进行三维信息的获取，即由两个摄像机的图像平面和北侧物体之间构成一个三角形。一直两个摄像机之间的位置关系，便可以获得两摄像机公共视场内物体的三维尺寸及空间物体特征点的三维坐标。所以，双目视觉***一般由两个摄像机构成。现有技术中通常采用的双目视觉标定方法主要基于上述三角法原理进行三维信息的获取。
本申请发明人在实施本发明的过程中，发现现有技术的方法，至少存在如下技术问题：
现有的方法在面向特殊测量任务的隐蔽性需求时，由于设备体积、测量流程等问题，无法实现。
由此可知，现有技术中的方法存在不适用于隐蔽性条件以及测量精度不高的技术问题。
发明内容
有鉴于此，本发明提供了一种基于小基线条件下的相机双目摄影测量方法，用以解决或者至少部分解决现有技术中的方法存在不适用于隐蔽性条件以及测量精度不高的技术问题。
本发明提供了一种基于小基线条件下的相机双目摄影测量方法，包括：
步骤S1：基于预设室内高精度检校场标定双目相机之间的相对位置关系和内参系数，其中，内参系数包括畸变系数；
步骤S2：采用检校得到广角相机的畸变系数对双目相机进行实时校正，获得畸变校正后的双目影像；
步骤S3：基于对极几何理论缩小匹配区域，然后在缩小后的匹配区域中进行SIFT特征匹配和Ransac滤波，得到畸变校正后的双目影像匹配同名点对；在对极几何约束的区域内通过SIFT特征匹配算法在尺度空间内高斯核建立高斯金字塔；并基于高斯金字塔构建高斯差分金字塔：DOG金字塔；在DOG金字塔内进行极值检测，检测得到同名特征点的位置；
步骤S4：根据POS***与双目相机之间的安装位置关系、POS***测量得到的姿态信息、双目相机之间的相对位置关系以及同名特征点的位置，计算得到双目影像匹配同名点的光线方向，然后根据双目影像匹配同名点的光线方向利用同步和异步测量两种方式进行前方交会运算，得到地物的位置信息。
在一种实施方式中，步骤S1具体包括：
步骤S1.1：使光电吊舱对着检校场左中右分别拍摄一段视频，从而得到六个视频，左相机和右相机分别对应3个视频；
步骤S1.2：对拍摄的视频截图后进行检校，手动选择预设数量的已知大地坐标的控制点作为计算条件，使用摄影测量中DLT直接线性变换计算姿态的初值；
步骤S1.3：基于姿态的初值使用后方交会进行最小二乘平差，迭代剔除粗差点，得到六张相片拍摄瞬间的姿态
Figure DEST_PATH_IMAGE001
以及相机的内参系数
Figure DEST_PATH_IMAGE002
；
步骤S1.4：根据六张相片拍摄瞬间的姿态
Figure 306835DEST_PATH_IMAGE001
获得双目相机之间的相对位置关系。
在一种实施方式中，步骤S1.3中姿态
Figure 755134DEST_PATH_IMAGE001
以及相机的内参系数
Figure 66030DEST_PATH_IMAGE002
的公式为：
Figure DEST_PATH_IMAGE003
（1）
其中，
Figure DEST_PATH_IMAGE004
中，
Figure DEST_PATH_IMAGE005
为相机
Figure DEST_PATH_IMAGE006
的焦距、
Figure DEST_PATH_IMAGE007
为像主点、
Figure DEST_PATH_IMAGE008
为畸变系数；
Figure DEST_PATH_IMAGE009
中，
Figure DEST_PATH_IMAGE010
为相机
Figure 271359DEST_PATH_IMAGE006
的相对位置，
Figure DEST_PATH_IMAGE011
为相机
Figure 180671DEST_PATH_IMAGE006
的姿态。
在一种实施方式中，步骤S1.3具体包括：
步骤S1.3.1：利用共线方程的原理，计算物方空间坐标与像空间坐标之间的转换关系，根据转换关系得到点的物方坐标与影像坐标之间的比例关系：
Figure DEST_PATH_IMAGE012
（2）
其中，
Figure DEST_PATH_IMAGE013
表示地物点的物方空间坐标，
Figure DEST_PATH_IMAGE014
表示像点的像空间坐标，当入射光线为90度时，其对应的像点与影像主点间的距离为R，当入射光线为
Figure DEST_PATH_IMAGE015
时，其对应像点与影像主点间的距离为r，R与r之间比例关系为：
Figure DEST_PATH_IMAGE016
其中
Figure DEST_PATH_IMAGE017
（3）
步骤S1.3.2：根据物方空间坐标与像空间坐标之间的转换关系以及不同光线的入射角度对应的像点与影像主点间的距离之间关系，得到广角相机标定的统一模型：
Figure DEST_PATH_IMAGE018
Figure DEST_PATH_IMAGE019
Figure DEST_PATH_IMAGE020
Figure DEST_PATH_IMAGE021
其中，
Figure DEST_PATH_IMAGE022
s1，s2表示图像坐标系与相机坐标系之间的转换系数，r表示成像半径，
Figure DEST_PATH_IMAGE023
表示像点距离影像主点中心的距离；
步骤S1.3.3：根据广角相机标定的统一模型，利用最小二乘方法对待求参数进行迭代求解，获得姿态
Figure 704931DEST_PATH_IMAGE001
以及相机的内参系数
Figure 768702DEST_PATH_IMAGE002
。
在一种实施方式中，步骤S2具体包括：采用广角相机标定的统一模型中的畸变系数
Figure DEST_PATH_IMAGE024
、
Figure DEST_PATH_IMAGE025
、
Figure DEST_PATH_IMAGE026
、
Figure 623394DEST_PATH_IMAGE024
、
Figure DEST_PATH_IMAGE027
、
Figure DEST_PATH_IMAGE028
、
Figure DEST_PATH_IMAGE029
对双目相机进行实时校正，获得畸变校正后的双目影像，其中，畸变校正公式如下：
Figure DEST_PATH_IMAGE030
其中，
Figure DEST_PATH_IMAGE031
、
Figure DEST_PATH_IMAGE032
分别表示x方向和y方向的畸变校正量，
Figure DEST_PATH_IMAGE033
为像素点距离像主点的距离其与入射角度
Figure DEST_PATH_IMAGE034
的关系为：
Figure DEST_PATH_IMAGE035
。
在一种实施方式中，步骤S3中，在缩小后的匹配区域中进行SIFT特征匹配和Ransac滤波，得到畸变校正后的双目影像匹配同名点对，包括：
将原始影像纠正成核线影像，获得双目影像匹配同名点对，其中，原始影像为物方空间点到原始像空间的投影，核线影像为物方空间点到基线坐标系的投影，原始影像空间转换到物空间的关系为：
Figure DEST_PATH_IMAGE036
其中，
Figure DEST_PATH_IMAGE037
表示物空间的坐标，
Figure DEST_PATH_IMAGE038
表示原始影像空间坐标，
Figure DEST_PATH_IMAGE039
表示像空间到物空间的转换矩阵；
物空间转换到核线影像空间的关系为：
Figure DEST_PATH_IMAGE040
其中，
Figure DEST_PATH_IMAGE041
表示核线影像空间的坐标，
Figure DEST_PATH_IMAGE042
表示物体空间到基线坐标系的转换矩阵；
原始影像到核线影像的转换关系为：
Figure DEST_PATH_IMAGE043
Figure DEST_PATH_IMAGE044
表示表示像空间到基线坐标系的转换矩阵；
反过来，核线影像到原始影像的关系为：
Figure DEST_PATH_IMAGE045
其中，
Figure DEST_PATH_IMAGE046
表示表示核线影像空间坐标。
在一种实施方式中，步骤S4具体包括：
步骤S4.1：利用POS***得到的位置信息、POS***与双目相机之间的安装位置关系确定相机的位置；
步骤S4.2：利用POS***得到的位置信息、标定得到的双目相机之间的相对位置关系以及同名特征点的位置，计算同名点的光线方向；
步骤S4.3：根据同名点的光线方向利用同步和异步测量两种方式进行前方交会运算，得到地物的位置信息。
本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
本发明提供的一种基于小基线条件下的大畸变广角相机双目摄影测量方法首先，基于预设室内高精度检校场标定双目相机之间的相对位置关系和内参系数；然后采用检校得到广角相机的畸变系数对双目相机进行实时校正，获得畸变校正后的双目影像；接着基于对极几何理论、SIFT特征匹配以及Ransac滤波，得到同名特征点的位置；再根据POS***与双目相机之间的安装位置关系、POS***测量得到的姿态信息、双目相机之间的相对位置关系以及同名特征点的位置，计算得到双目影像匹配同名点的光线方向，最后得到地物的位置信息。
本发明提供的方法，由于小基线测量***双目相机间的姿态具有小角度的特性，同时广角相机图像具有较大畸变，会严重影响测量的鲁棒性和精度，本方案采用室内高精度立体控制点实现相机间相互姿态、相机内参和畸变系数的一体化计算，得到***最优的***参数；然后利用计算得到的畸变系数实现广角相机的实时畸变校正；继而利用视觉几何理论和图像处理技术实现双目影像的快速计算；最后基于POS信息和图像中高精度同名点利用同步异步融合测量技术实现地物的高精度测量。可最大化降低测量设备体积；广角相机的利用，可最大化测量范围，提高测量效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种基于小基线条件下的大畸变广角相机双目摄影测量方法的流程示意图；
图2为本发明实施例中采用的广角相机的镜头坐标系间关系；
图3为本发明实施例中广角相机光线示意图；
图4为本发明实施例中对极几何约束示意图。
具体实施方式
针对小基线条件下的大畸变广角相机双目摄影测量***测量精度不高和不鲁棒的缺点，本发明提供一种基于小基线条件下的大畸变广角相机双目摄影测量方法，采用了小基线条件下双目相机间小角度姿态的精确标定技术、大畸变广角相机的一体化检校技术、基于视觉几何的高重叠度图像的快速匹配技术和基于高精度同名点的同步异步融合高精度测量技术，大大提高了隐蔽测量下摄影测量***的精度。
为了达到上述目的，本发明的主要构思如下：
采用室内高精度立体控制点实现相机间相互姿态、相机内参和畸变系数的一体化计算，得到***最优的***参数（即双目相机之间的相对位置关系和内参系数）；然后利用计算得到的畸变系数实现广角相机的实时畸变校正；继而利用视觉几何理论和图像处理技术实现双目影像的快速计算；最后基于POS信息和图像中高精度同名点利用同步异步融合测量技术实现地物的高精度测量。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例提供了一种基于小基线条件下的大畸变广角相机双目摄影测量方法，请参见图1，该方法包括：
步骤S1：基于预设室内高精度检校场标定双目相机之间的相对位置关系和内参系数，其中，内参系数包括畸变系数。
步骤S2：采用检校得到广角相机的畸变系数对双目相机进行实时校正，获得畸变校正后的双目影像。
步骤S3：基于对极几何理论缩小匹配区域，然后在缩小后的匹配区域中进行SIFT特征匹配和Ransac滤波，得到畸变校正后的双目影像匹配同名点对；在对极几何约束的区域内通过SIFT特征匹配算法在尺度空间内高斯核建立高斯金字塔；并基于高斯金字塔构建高斯差分金字塔：DOG金字塔；在DOG金字塔内进行极值检测，检测得到同名特征点的位置。
具体来说，SIFT的全称是Scale Invariant Feature Transform，尺度不变特征变换，对旋转、尺度缩放、亮度变化等保持不变性，是一种非常稳定的局部特征。Ransac是“RANdom SAmple Consensus（随机抽样一致）”的缩写。它可以从一组包含“局外点”的观测数据集中，通过迭代方式估计数学模型的参数。它是一种不确定的算法——它有一定的概率得出一个合理的结果。DOG金字塔为Difference of Gaussian高斯差分。
同名特征点的位置即在双目相机中，左目和右目相机拍摄的图像中同名特征点的位置，从而进行匹配。
步骤S4：根据POS***与双目相机之间的安装位置关系、POS***测量得到的姿态信息、双目相机之间的相对位置关系以及同名特征点的位置，计算得到双目影像匹配同名点的光线方向，然后根据双目影像匹配同名点的光线方向利用同步和异步测量两种方式进行前方交会运算，得到地物的位置信息。
具体来说，POS***与双目相机之间的安装位置关系可以预先通过工具测量得到，POS*** （Position and Orientation System）为位置和姿态测量***。
在一种实施方式中，步骤S1具体包括：
步骤S1.1：使光电吊舱对着检校场左中右分别拍摄一段视频，从而得到六个视频，左相机和右相机分别对应3个视频；
步骤S1.2：对拍摄的视频截图后进行检校，手动选择预设数量的已知大地坐标的控制点作为计算条件，使用摄影测量中DLT直接线性变换计算姿态的初值；
步骤S1.3：基于姿态的初值使用后方交会进行最小二乘平差，迭代剔除粗差点，得到六张相片拍摄瞬间的姿态
Figure 550330DEST_PATH_IMAGE001
以及相机的内参系数
Figure 841896DEST_PATH_IMAGE002
；
步骤S1.4：根据六张相片拍摄瞬间的姿态
Figure 127384DEST_PATH_IMAGE001
获得双目相机之间的相对位置关系。
具体来说，DLT直接线性变换是建立像点坐标和相应物点物方空间坐标之间直接的线性关系的算法。可以不需要内外方位元素，对相机进行标定。
在具体的实施过程中，左相机和右相机分别对应3个视频，对于左相机的3个视频，可以建立一组检校工程，利用1.2中的原理进行检校，得到左相机的姿态的初值，同理，对于右相机的3个视频（3张相片），可以建立一组检校工程进行检校，得到右相机的姿态的初值。
在一种实施方式中，步骤S1.3中姿态
Figure 661134DEST_PATH_IMAGE001
以及相机的内参系数
Figure 715677DEST_PATH_IMAGE002
的公式为：
Figure 942259DEST_PATH_IMAGE003
（1）
其中，
Figure 715043DEST_PATH_IMAGE004
中，
Figure 521325DEST_PATH_IMAGE005
为相机
Figure 194490DEST_PATH_IMAGE006
的焦距、
Figure 326394DEST_PATH_IMAGE007
为像主点、
Figure 586474DEST_PATH_IMAGE008
为畸变系数；
Figure DEST_PATH_IMAGE047
中，
Figure 993184DEST_PATH_IMAGE010
为相机
Figure DEST_PATH_IMAGE048
的相对位置，
Figure 553479DEST_PATH_IMAGE011
为相机
Figure 357749DEST_PATH_IMAGE006
的姿态。
在一种实施方式中，步骤S1.3具体包括：
步骤S1.3.1：利用共线方程的原理，计算物方空间坐标与像空间坐标之间的转换关系：
Figure DEST_PATH_IMAGE049
（2）
其中，
Figure 901863DEST_PATH_IMAGE013
表示地物点的物方空间坐标，
Figure 315526DEST_PATH_IMAGE014
表示像点的像空间坐标，当入射光线为90度时，其对应的像点与影像主点间的距离为R，当入射光线为
Figure 464748DEST_PATH_IMAGE015
时，其对应像点与影像主点间的距离为r，R与r之间比例关系为：
Figure DEST_PATH_IMAGE050
其中
Figure DEST_PATH_IMAGE051
（3）
步骤S1.3.2：根据物方空间坐标与像空间坐标之间的转换关系以及不同光线的入射角度对应的像点与影像主点间的距离之间关系，得到广角相机标定的统一模型：
Figure 764886DEST_PATH_IMAGE018
Figure 733979DEST_PATH_IMAGE019
(4)
Figure DEST_PATH_IMAGE052
Figure 216913DEST_PATH_IMAGE021
Figure 486220DEST_PATH_IMAGE022
s1，s2表示图像坐标系与相机坐标系之间的转换系数，r表示成像半径，
Figure DEST_PATH_IMAGE053
表示像点距离影像主点中心的距离；
步骤S1.3.3：根据广角相机标定的统一模型，利用最小二乘方法对待求参数进行迭代求解，获得姿态
Figure 429031DEST_PATH_IMAGE001
以及相机的内参系数
Figure 885420DEST_PATH_IMAGE002
。
具体来说，首先进行像方物方转换，如图2所示，为镜头坐标系间关系，
Figure DEST_PATH_IMAGE054
(5)
其中：
Figure DEST_PATH_IMAGE055
旋转矩阵按照Y_X_Z的旋转顺序得到，旋转角度分别为
Figure DEST_PATH_IMAGE056
，角度的定义与摄影测量中的定义相同，旋转矩阵具体如下：
Figure DEST_PATH_IMAGE057
（6）
根据图3，可以得到点的物方坐标与影像坐标之间的比例关系：
Figure DEST_PATH_IMAGE058
(2)
然后根据公式（2）和（3）可得到公式（4）的关系式，即广角相机标定的统一模型。步骤S1.3.3中，待求参数一共14个，包括相机的外方位线元素和角元素，相机的主点坐标，成像半径，相机的径向、切向畸变参数，利用最小二乘方法对待求参数进行迭代求解，即可完成鱼眼相机（广角相机）的标定。具体实现过程如下：
首先对式5进行线性化：
Figure DEST_PATH_IMAGE059
Figure DEST_PATH_IMAGE060
Figure DEST_PATH_IMAGE061
Figure DEST_PATH_IMAGE062
Figure DEST_PATH_IMAGE063
Figure DEST_PATH_IMAGE064
Figure DEST_PATH_IMAGE065
Figure DEST_PATH_IMAGE066
Figure DEST_PATH_IMAGE067
Figure DEST_PATH_IMAGE068
Figure DEST_PATH_IMAGE069
Figure DEST_PATH_IMAGE070
Figure DEST_PATH_IMAGE071
Figure DEST_PATH_IMAGE072
Figure DEST_PATH_IMAGE073
Figure DEST_PATH_IMAGE074
Figure DEST_PATH_IMAGE075
Figure DEST_PATH_IMAGE076
Figure DEST_PATH_IMAGE077
Figure DEST_PATH_IMAGE078
Figure DEST_PATH_IMAGE079
Figure DEST_PATH_IMAGE080
Figure DEST_PATH_IMAGE081
Figure DEST_PATH_IMAGE082
Figure DEST_PATH_IMAGE083
Figure DEST_PATH_IMAGE084
Figure DEST_PATH_IMAGE085
Figure DEST_PATH_IMAGE086
Figure DEST_PATH_IMAGE087
Figure DEST_PATH_IMAGE088
Figure DEST_PATH_IMAGE089
Figure DEST_PATH_IMAGE090
Figure DEST_PATH_IMAGE091
Figure DEST_PATH_IMAGE092
Figure DEST_PATH_IMAGE093
Figure DEST_PATH_IMAGE094
Figure DEST_PATH_IMAGE095
Figure DEST_PATH_IMAGE096
Figure DEST_PATH_IMAGE097
Figure DEST_PATH_IMAGE098
Figure DEST_PATH_IMAGE099
Figure DEST_PATH_IMAGE100
Figure DEST_PATH_IMAGE101
Figure DEST_PATH_IMAGE102
Figure DEST_PATH_IMAGE103
Figure DEST_PATH_IMAGE104
Figure DEST_PATH_IMAGE105
Figure DEST_PATH_IMAGE106
Figure DEST_PATH_IMAGE107
Figure DEST_PATH_IMAGE108
Figure DEST_PATH_IMAGE109
Figure DEST_PATH_IMAGE110
Figure DEST_PATH_IMAGE111
Figure DEST_PATH_IMAGE112
Figure DEST_PATH_IMAGE113
然后进行模型的解算，上述公式写成矩阵的形式即
Figure DEST_PATH_IMAGE114
上述公式中，
Figure DEST_PATH_IMAGE115
、
Figure DEST_PATH_IMAGE116
表示最小化数组的元素，A表示系数矩阵；X表示待求变量数组；L表示表示误差向量；V表示最小化数组。
需要注意的是，解非线性方程对参数初值的要求很高，如果初值离真值较远，很容易导致方程不收敛。因此，内方位元素
Figure DEST_PATH_IMAGE117
的初值取影像中心即
Figure DEST_PATH_IMAGE118
处（
Figure DEST_PATH_IMAGE119
、
Figure DEST_PATH_IMAGE120
分别表示图像的列数和行数），
Figure DEST_PATH_IMAGE121
的初值取影像上成像部分的半径，单位像素；畸变参数
Figure 348543DEST_PATH_IMAGE024
、
Figure DEST_PATH_IMAGE122
、
Figure 737936DEST_PATH_IMAGE026
、
Figure 819025DEST_PATH_IMAGE024
、
Figure 762710DEST_PATH_IMAGE027
、
Figure 321867DEST_PATH_IMAGE028
、
Figure 810441DEST_PATH_IMAGE029
的初值均取零；外方位元素
Figure DEST_PATH_IMAGE123
，利用空间后方交会，利用少量的控制点结算出外方位元素的初值，其中，外方位元素包括姿态
Figure DEST_PATH_IMAGE124
以及相机的内参系数
Figure DEST_PATH_IMAGE125
。
在一种实施方式中，步骤S2具体包括：采用广角相机标定的统一模型中的畸变系数
Figure 390327DEST_PATH_IMAGE024
、
Figure 821309DEST_PATH_IMAGE122
、
Figure 918578DEST_PATH_IMAGE026
、
Figure 518449DEST_PATH_IMAGE024
、
Figure 675760DEST_PATH_IMAGE027
、
Figure 125196DEST_PATH_IMAGE028
、
Figure 557315DEST_PATH_IMAGE029
对双目相机进行实时校正，获得畸变校正后的双目影像，其中，畸变校正公式如下：
Figure DEST_PATH_IMAGE126
其中，
Figure 274342DEST_PATH_IMAGE031
、
Figure 602555DEST_PATH_IMAGE032
分别表示x方向和y方向的畸变校正量，
Figure 742549DEST_PATH_IMAGE033
为像素点距离像主点的距离其与入射角度
Figure 447200DEST_PATH_IMAGE034
的关系为：
Figure DEST_PATH_IMAGE127
。
具体地，参见图3中广角相机光线示意图。
在一种实施方式中，在缩小后的匹配区域中进行SIFT特征匹配和Ransac滤波，得到畸变校正后的双目影像匹配同名点对，包括：
将原始影像纠正成核线影像，获得双目影像匹配同名点对，其中，原始影像为物方空间点到原始像空间的投影，核线影像为物方空间点到基线坐标系的投影，原始影像空间转换到物空间的关系为：
Figure 520198DEST_PATH_IMAGE036
其中，
Figure 284892DEST_PATH_IMAGE037
表示物空间的坐标，
Figure 413647DEST_PATH_IMAGE038
表示原始影像空间坐标，
Figure 656410DEST_PATH_IMAGE039
表示像空间到物空间的转换矩阵；
物空间转换到核线影像空间的关系为：
Figure DEST_PATH_IMAGE128
其中，
Figure 849493DEST_PATH_IMAGE041
表示核线影像空间的坐标，
Figure 581826DEST_PATH_IMAGE042
表示物体空间到基线坐标系的转换矩阵；
原始影像到核线影像的转换关系为：
Figure 460527DEST_PATH_IMAGE043
Figure 506980DEST_PATH_IMAGE044
表示表示像空间到基线坐标系的转换矩阵；
反过来，核线影像到原始影像的关系为：
Figure 288992DEST_PATH_IMAGE045
其中，
Figure DEST_PATH_IMAGE129
表示表示核线影像空间坐标。
具体来说，利用对极几何理论有效缩小匹配区域，然后在该区域中进行SIFT特征匹配和Ransac滤波快速得到畸变校正后的双目影像匹配同名点对，对极几何约束示意图如图4所示：
P表示物点坐标；I1，I2分别表示左目和右目相机影像；O1,O2分别表示相机成像中心；p1，p2分别表示P在图像中的成像点；e1，e2 分别表示极点，l1 ，l2分别表示核线。
根据检校参数确定了两张相片的相对位置关系之后，可以把原始影像纠正成核线影像，即两张相片的光轴平行，且与基线（相机头影像中心连线）垂直，同时核线影像的行（或列）与基线也保持平行，这时两张相片上的同名点将是行对准或列对准的，因此，寻找同名的过程将被限制到一维搜索。原始影像其实是物方空间点到原始像空间的投影，而核线影像其实是物方空间点到基线坐标系的投影。
在对极几何约束的区域内SIFT特征匹配算法在尺度空间内高斯核建立高斯金字塔以及DOG金字塔；在DOG金字塔内进行极值检测；计算关键尺度；计算关键点的主方向；计算描述子；最后利用距离信息进行匹配确定同名特征点的位置，具体过程不再赘述。
在一种实施方式中，步骤S4具体包括：
步骤S4.1：利用POS***得到的位置信息、POS***与双目相机之间的安装位置关系确定相机的位置；
步骤S4.2：利用POS***得到的位置信息、标定得到的双目相机之间的相对位置关系以及同名特征点的位置，计算同名点的光线方向；
步骤S4.3：根据同名点的光线方向利用同步和异步测量两种方式进行前方交会运算，得到地物的位置信息。
具体来说，利用POS***得到的位置和预先测量的安装位置参数可确定相机的位置，进而利用POS***的姿态信息和标定得到相机间的相对姿态信息可计算得到同名点的光线方向，利用进行同步和异步测量两种方式的前方交会计算，最后融合得到高精度的定位。
小基线双目车载移动测量中目标物到相机的距离一般远大于基线长度较远， 在此前提下，成像模型中依然满足摄影中心、像点、物点 3 点共线的原理， 即共线条件方程依然成立 。双目成像模型下，两条同名光线在空间前方相交， 即可确定目标点的空间位置。
总体来说，本发明测量***设备小、测量流程简单、测量范围大同时精度高且鲁棒，适用于轻小型低成本隐蔽式测量应用场景，最终可实现15m范围内由于0.2的测量精度，精度较高具有实际生产意义。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种基于小基线条件下的大畸变广角相机双目摄影测量方法，其特征在于，包括：
步骤S1：基于预设室内高精度检校场标定双目相机之间的相对位置关系和内参系数，其中，内参系数包括畸变系数；
步骤S2：采用检校得到广角相机的畸变系数对双目相机进行实时校正，获得畸变校正后的双目影像；
步骤S3：基于对极几何理论缩小匹配区域，然后在缩小后的匹配区域中进行SIFT特征匹配和Ransac滤波，得到畸变校正后的双目影像匹配同名点对；在对极几何约束的区域内通过SIFT特征匹配算法在尺度空间内高斯核建立高斯金字塔；并基于高斯金字塔构建高斯差分金字塔：DOG金字塔；在DOG金字塔内进行极值检测，检测得到同名特征点的位置；
步骤S4：根据POS***与双目相机之间的安装位置关系、POS***测量得到的姿态信息、双目相机之间的相对位置关系以及同名特征点的位置，计算得到双目影像匹配同名点的光线方向，然后根据双目影像匹配同名点的光线方向利用同步和异步测量两种方式进行前方交会运算，得到地物的位置信息；
其中，步骤S4具体包括：
步骤S4.1：利用POS***得到的位置信息、POS***与双目相机之间的安装位置关系确定相机的位置；
步骤S4.2：利用POS***得到的位置信息、标定得到的双目相机之间的相对位置关系以及同名特征点的位置，计算同名点的光线方向；
步骤S4.3：根据同名点的光线方向利用同步和异步测量两种方式进行前方交会运算，得到地物的位置信息。
2.如权利要求1所述的方法，其特征在于，步骤S1具体包括：
步骤S1.1：使光电吊舱对着检校场左中右分别拍摄一段视频，从而得到六个视频，左相机和右相机分别对应3个视频；
步骤S1.2：对拍摄的视频截图后进行检校，手动选择预设数量的已知大地坐标的控制点作为计算条件，使用摄影测量中DLT直接线性变换计算姿态的初值；
步骤S1.3：基于姿态的初值使用后方交会进行最小二乘平差，迭代剔除粗差点，得到六张相片拍摄瞬间的姿态
Figure 933964DEST_PATH_IMAGE001
以及相机的内参系数
Figure 622435DEST_PATH_IMAGE002
；
步骤S1.4：根据六张相片拍摄瞬间的姿态
Figure 819673DEST_PATH_IMAGE001
获得双目相机之间的相对位置关系。
3.如权利要求2所述的方法，其特征在于，步骤S1.3中姿态
Figure 986212DEST_PATH_IMAGE001
以及相机的内参系数
Figure 955437DEST_PATH_IMAGE002
的公式为：
Figure 814808DEST_PATH_IMAGE003
（1）
其中，
Figure 236693DEST_PATH_IMAGE004
中，
Figure 472503DEST_PATH_IMAGE005
为相机
Figure 358550DEST_PATH_IMAGE006
的焦距、
Figure 326506DEST_PATH_IMAGE007
为像主点、
Figure 295075DEST_PATH_IMAGE008
为畸变系数；
Figure 554149DEST_PATH_IMAGE009
中，
Figure 747233DEST_PATH_IMAGE010
为相机
Figure 699139DEST_PATH_IMAGE011
的相对位置，
Figure 344884DEST_PATH_IMAGE012
为相机
Figure 407650DEST_PATH_IMAGE011
的姿态。
4.如权利要求3所述的方法，其特征在于，步骤S1.3具体包括：
步骤S1.3.1：利用共线方程的原理，计算物方空间坐标与像空间坐标之间的转换关系，根据转换关系得到点的物方坐标与影像坐标之间的比例关系：
Figure 455240DEST_PATH_IMAGE013
（2）
其中，
Figure 575118DEST_PATH_IMAGE014
表示地物点的物方空间坐标，
Figure 708159DEST_PATH_IMAGE015
表示像点的像空间坐标，当入射光线为90度时，其对应的像点与影像主点间的距离为R，当入射光线为
Figure 574615DEST_PATH_IMAGE016
时，其对应像点与影像主点间的距离为r，R与r之间比例关系为：
Figure 476712DEST_PATH_IMAGE017
其中
Figure 770421DEST_PATH_IMAGE018
（3）
步骤S1.3.2：根据物方空间坐标与像空间坐标之间的转换关系以及不同光线的入射角度对应的像点与影像主点间的距离之间关系，得到广角相机标定的统一模型：
Figure 938229DEST_PATH_IMAGE019
Figure 857643DEST_PATH_IMAGE020
Figure 362049DEST_PATH_IMAGE021
Figure 75927DEST_PATH_IMAGE022
其中，
Figure 934293DEST_PATH_IMAGE023
s1，s2表示图像坐标系与相机坐标系之间的转换系数，r表示入射光线为
Figure 391819DEST_PATH_IMAGE016
时，其对应像点与影像主点间的距离，
Figure 753662DEST_PATH_IMAGE024
表示像点距离影像主点中心的距离；
步骤S1.3.3：根据广角相机标定的统一模型，利用最小二乘方法对待求参数进行迭代求解，获得姿态
Figure 904020DEST_PATH_IMAGE001
以及相机的内参系数
Figure 984103DEST_PATH_IMAGE002
。
5.如权利要求3所述的方法，其特征在于，步骤S2具体包括：采用广角相机标定的统一模型中的畸变系数
Figure 979741DEST_PATH_IMAGE025
对双目相机进行实时校正，获得畸变校正后的双目影像，其中，畸变校正公式如下：
Figure 482176DEST_PATH_IMAGE026
其中，
Figure 803436DEST_PATH_IMAGE027
、
Figure 105236DEST_PATH_IMAGE028
分别表示x方向和y方向的畸变校正量，
Figure 983193DEST_PATH_IMAGE029
为像素点距离像主点的距离其与入射角度
Figure 568895DEST_PATH_IMAGE016
的关系为：
Figure 546210DEST_PATH_IMAGE030
Figure 660272DEST_PATH_IMAGE024
表示像点距离影像主点中心的距离。
6.如权利要求3所述的方法，其特征在于，步骤S3中，在缩小后的匹配区域中进行SIFT特征匹配和Ransac滤波，得到畸变校正后的双目影像匹配同名点对，包括：
将原始影像纠正成核线影像，获得双目影像匹配同名点对，其中，原始影像为物方空间点到原始像空间的投影，核线影像为物方空间点到基线坐标系的投影，原始影像空间转换到物空间的关系为：
Figure 200974DEST_PATH_IMAGE031
其中，
Figure 454232DEST_PATH_IMAGE032
表示物空间的坐标，
Figure 117295DEST_PATH_IMAGE033
表示原始影像空间坐标，
Figure 393687DEST_PATH_IMAGE034
表示像空间到物空间的转换矩阵；
物空间转换到核线影像空间的关系为：
Figure 800397DEST_PATH_IMAGE035
其中，
Figure 111424DEST_PATH_IMAGE036
表示核线影像空间的坐标，
Figure 489928DEST_PATH_IMAGE037
表示物体空间到基线坐标系的转换矩阵；
原始影像到核线影像的转换关系为：
Figure 768463DEST_PATH_IMAGE038
Figure 464017DEST_PATH_IMAGE039
表示表示像空间到基线坐标系的转换矩阵；
反过来，核线影像到原始影像的关系为：
Figure 691868DEST_PATH_IMAGE040
其中，
Figure 431153DEST_PATH_IMAGE041
表示表示核线影像空间坐标。
CN202010060072.0A 2020-01-19 2020-01-19 一种基于小基线条件下的相机双目摄影测量方法 Active CN110874854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010060072.0A CN110874854B (zh) 2020-01-19 2020-01-19 一种基于小基线条件下的相机双目摄影测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010060072.0A CN110874854B (zh) 2020-01-19 2020-01-19 一种基于小基线条件下的相机双目摄影测量方法

Publications (2)

Publication Number Publication Date
CN110874854A CN110874854A (zh) 2020-03-10
CN110874854B true CN110874854B (zh) 2020-06-23

Family

ID=69717690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010060072.0A Active CN110874854B (zh) 2020-01-19 2020-01-19 一种基于小基线条件下的相机双目摄影测量方法

Country Status (1)

Country Link
CN (1) CN110874854B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815703B (zh) * 2020-07-16 2024-05-03 中国农业机械化科学研究院 基于双目相机的手持式谷堆测方装置和谷堆测方方法
CN111882621A (zh) * 2020-07-22 2020-11-03 武汉大学 一种基于双目图像的大米厚度参数自动化测量方法
CN112819900B (zh) * 2021-02-23 2022-10-11 自然资源部第一海洋研究所 一种智能立体摄影内方位、相对定向和畸变系数标定方法
CN114185071A (zh) * 2021-12-10 2022-03-15 武汉市虎联智能科技有限公司 一种基于物体识别和空间位置感知的定位***及方法
CN114383575B (zh) * 2021-12-22 2024-03-22 中国测绘科学研究院 一种陀螺仪辅助近景测量的地质灾害监测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102155955A (zh) * 2011-03-11 2011-08-17 天津理工大学 立体视觉里程计及测量方法
US10349040B2 (en) * 2015-09-21 2019-07-09 Inuitive Ltd. Storing data retrieved from different sensors for generating a 3-D image
CN105678787A (zh) * 2016-02-03 2016-06-15 西南交通大学 一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法
CN209231985U (zh) * 2018-05-31 2019-08-09 福州大学 一种基于虚拟双目视觉原理的摄像机参数自动标定装置
CN110555878B (zh) * 2018-05-31 2021-04-13 上海微电子装备（集团）股份有限公司 物体空间位置形态的确定方法、装置、存储介质及机器人
CN109035200B (zh) * 2018-06-21 2022-06-07 北京工业大学 一种基于单双目视觉协同的螺栓定位及位姿检测方法

Also Published As

Publication number Publication date
CN110874854A (zh) 2020-03-10

Similar Documents

Publication Publication Date Title
CN110874854B (zh) 一种基于小基线条件下的相机双目摄影测量方法
CN105678742B (zh) 一种水下相机标定方法
CN109767476B (zh) 一种自动对焦双目摄像头标定及深度计算方法
TWI555379B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
CN109903227B (zh) 基于相机几何位置关系的全景影像拼接方法
CN112767542A (zh) 一种多目相机的三维重建方法、vr相机和全景相机
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
CN109272574B (zh) 基于投影变换的线阵旋转扫描相机成像模型构建方法和标定方法
WO2020001120A1 (zh) 光场图像的校正方法、计算机可读存储介质、及电子终端
CN109325981B (zh) 基于聚焦像点的微透镜阵列型光场相机几何参数标定方法
Chatterjee et al. Algorithms for coplanar camera calibration
CN109118544B (zh) 基于透视变换的合成孔径成像方法
CN110264528A (zh) 一种鱼眼镜头双目像机快速自标定方法
CN110807815B (zh) 基于两组相互正交平行线对应消失点的快速水下标定方法
CN113947638B (zh) 鱼眼相机影像正射纠正方法
CN113920206B (zh) 透视移轴相机的标定方法
Kannala et al. Geometric camera calibration.
Micušık et al. Para-catadioptric camera auto-calibration from epipolar geometry
WO2021004416A1 (zh) 一种基于视觉信标建立信标地图的方法、装置
CN111383264A (zh) 一种定位方法、装置、终端及计算机存储介质
JP2012198031A (ja) 画像補正方法及び画像補正装置
Liu et al. Calibration method based on the image of the absolute quadratic curve
CN108269234A (zh) 一种全景相机镜头姿态估计方法及全景相机
CN114092647A (zh) 一种基于全景双目立体视觉的三维重建***和方法
CN112258581B (zh) 一种多鱼眼镜头全景相机的现场标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant