CN112365537A - 一种基于三维点云对齐的主动相机重定位方法 - Google Patents
一种基于三维点云对齐的主动相机重定位方法 Download PDFInfo
- Publication number
- CN112365537A CN112365537A CN202011089548.XA CN202011089548A CN112365537A CN 112365537 A CN112365537 A CN 112365537A CN 202011089548 A CN202011089548 A CN 202011089548A CN 112365537 A CN112365537 A CN 112365537A
- Authority
- CN
- China
- Prior art keywords
- camera
- point cloud
- vse
- thread
- alignment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于三维点云对齐的主动相机重定位方法,所述方法通过三个并行线程合作完成,在初始化阶段,利用已有视觉SLAM方法实现场景三维重建,并获取平台与相机之间的相对位姿关系,以及三维重建的真实尺度;在此之后,构建三个并行线程,1)视觉三维重建算法(VSE)线程:获取当前场景的三维点云和当前相机的位姿;2)点云对齐线程:完成参考点云和当前点云的对齐,实时获取两点云之间的尺度变换和坐标变换;3)相机调整线程:计算平台调整量并执行;本发明有效减少了现有重定位方法对历次观测场景光照一致性的依赖(尤其是室外环境),同时有效减少了重定位时间,因此本方法能够成功地应用于真实场景中的微小变化检测任务。
Description
技术领域
本发明属于人工智能、计算机视觉领域,涉及主动视觉技术,具体为一种基于三维点云对齐的主动相机重定位方法。
背景技术
主动式相机重定位,旨在物理真实地将相机六自由度位姿恢复到与拍摄参考图像时一致,在环境监测,历史文化遗产预防性保护,微小变化检测等领域发挥着重要作用,是主动视觉技术的一个重要应用。主动式相机重定位过程包括相机的相对位姿估计和相机的动态调整,相机的调整由机器人平台完成。
目前最先进的主动式相机重定位算法在文化遗产微小变化检测任务中取得了巨大成功。但需要注意的是,这些监测任务是在稳定和可控的环境条件下进行的,在这种条件下,所采用图像的特征匹配结果能够支持准确的相机位姿估计。
然而,当历次观测的光照条件(方向和强度)不同时,监测结果差强人意。光照的显著差异会改变场景(尤其是普遍存在的三维结构场景)的表观,进而使涉及到姿态估计的图像中的特征点描述子会发生变化,导致相机位姿估计失败。此外,如果观测场景中的背景(非监测对象区域)变化较大,例如,被监测古建筑附近的植被在不同季节可能发生剧烈变化(甚至结构变化),将显著增加图像中误匹配特征点的数量,严重影响重定位结果的准确性。实际任务中常见的上述两种情况,会严重损害主动相机重定位的精度,导致实际监测结果不可靠,从而无法支持户外不可控环境条件下的相机重定位作业。
发明内容
本发提供了一种基于三维点云对齐的主动相机重定位方法,利用场景的三维点云对齐来指导相机的移动,有效减少了现有重定位方法对历次观测场景光照一致性的依赖,本方法还通过参考场景和当前场景之间的尺度关系,避免了以往主动相机重定位的二分趋近的移动相机的方法,从而大幅加快了重定位的速度,能够支持可靠高效的户外任务作业。
本发明是通过以下技术方案实现的:
步骤一,初始化:获取平台与相机之间的相对位姿关系,以及SLAM三维重建的真实尺度。
步骤二,开启VSE线程,实时获取当前场景的具有真实尺度的三维点云和当前相机的位姿。
步骤三,开启点云对齐线程,进行参考点云和当前点云的对齐,实时获取两点云之间的尺度变换和位姿关系。
步骤四,开启相机调整线程,在VSE线程和点云对齐线程辅助下计算移动平台调整量并执行。判断重定位是否结束,若重定位完成则终止,否则重复步骤四。
进一步,初始化阶段获取平台与相机之间的相对位姿关系,以及SLAM三维重建的真实尺度的具体方法为:
(1)移动承载相机的平台,得到平台的旋转矩阵RB和平移向量tB;其中:下标A代表相机,B代表平台;
(2)由视觉三维重建算法获取相机的旋转矩阵RA以及没有真实尺度信息的平移向量tVSE;
(3)根据经典的“手-眼”标定算法,计算相机与平台之间的旋转矩阵RX。
(4)借助已知的RX,tB以及tVSE,计算点云的真实尺度因子s,以及相机与平台之间的平移向量tX。
(2)借助点云的真实尺度因子s,将RVSE和tVSE转换为具有真实尺度的RA和tA。
进一步,相机调整线程中计算移动平台调增量并判断重定位过程是否完成的具体方法为:
有益效果
1、本发明在重定位过程中,由于对于相机运动信息(即相机相对位姿)的估计是基于三维点云的,可以有效减少由不同光照条件(方向、强度)导致观测的三维场景的表观不同对相机相对位姿估计的影响,从而提升了重定位的稳定性。能使得现有的重定位设备可以在户外可靠地作业,基本屏蔽由场景光照差异所带来的主动相机重定位作业场景的限制。
2、本发明在重定位过程中,通过参考场景和当前场景之间的尺度关系,避免了以往主动相机重定位的二分趋近的移动相机的方法,从而大幅加快了重定位的速度,能使得现有重定位设备更加高效地作业。
附图说明
图1为一种基于三维点云对齐的主动相机重定位方法的流程图;
图2到图4为本发明方法与现有最优方法的实验结果比较;
具体实施方式
下面结合附图对本发明中的技术方案进行清楚、完整地描述。基于本发明中的技术方案,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明提供一种基于三维点云对齐的主动相机重定位方法,具体步骤如下:
(一)平台与相机之间的相对位姿关系以及三维重建
重定位过程开始前的初始化阶段,获取平台与相机之间的相对位姿关系RA和tA,以及SLAM三维重建的真实尺度s。具体步骤如下:
(1)移动承载相机的平台(至少移动两次),得到平台的旋转矩阵RB和平移向量tB(A代表相机,B代表平台)。
(2)由视觉三维重建算法获取相机的旋转矩阵RA以及没有真实尺度信息的平移向量tVSE。
(3)根据经典的“手-眼”标定算法(“手”即移动平台,“眼”即相机),计算相机与平台之间的旋转矩阵RX。
(4)借助已知的RX,tB以及tVSE,计算点云的真实尺度因子s,以及相机与平台之间的平移向量tX。
说明1:相机与平台之间的旋转矩阵RX的获取
第1步:相机的位姿变化矩阵MA和运动平台的位姿变化矩阵MB满足以下关系:
MAX=XMB
进一步能够得到:
RARX=RXRB
tA+(RA-I3)tx=RXtB
第2步:根据经典的“手-眼”标定算法(“手”即移动平台,“眼”即相机),计算相机与平台之间的旋转矩阵RX。
说明2:点云的真实尺度因子s,以及相机与平台之间的平移向量tX的获取
第1步:视觉三维重建算法(VSE)计算得到的平移向量t没有真实的尺度,记为tVSE。则有:
(RA-I3)tx=-stVSE+RXtB
第2步:存在满足以下条件的向量k:1)k≠0,2)kT(RA-I3)=0,使得如下公式成立:
kT(RA-I3)tx=kT(-stVSE+RXtB)
将上述公式变形,得到以下公式,计算获得尺度因子s:
(2)借助点云的真实尺度因子s,将RVSE和tVSE转换为具有真实尺度的RA和tA。
说明3:相机相对位姿的尺度转换
第1步:借助视觉三维重建算法(VSE)获取当前场相机的相对位姿RVSE和tVSE,视觉三维重建算法无法获取RVSE和tVSE的真实尺度。
(三)获取两点云之间的尺度变换和位姿关系
说明4:点云之间的快速对齐
说明5:点云之间的高精度对齐
第1步:优化VSE算法中对相机位姿的预测误差。使用LM算法求解 其中是当前关键帧的相机位姿其中,为关键帧的索引,为关键帧的个数,指相机的位姿为时,三维点pm对应的二维投影,Du为第u张当前关键帧的图片。
第3步:不断重复第1步和第2步,高精度对齐过程在整个重定位过程中从不停止,不断优化对齐效果。
(四)计算移动平台的调整量并判断重定位是否完成
计算移动平台的调整量的具体方法为:
判断重定位过程是否完成的具体方法为:
下面结合具体实例对本发明方法进行可行性验证,详见下文描述:
我们在共20个场景中进行了对比实验,其中10个室内场景(S1-S10),10个室外场景(S11-S20)为了获取参考观测结果,我们首先使用VSE对目标场景进行快速的扫描,得到参考点云。接着拍摄照片,并直接通过VSE获取对应的相机位姿。
对于室内场景,我们使用一个由机械臂控制的LED光源。为参考场景提供正面光照,为其他场景提供从1点钟方向到12点钟方向的光照。为对于室外场景,参考场景和当前场景之间光照的差异主要来自于环境光的变化(比如早晚、天气的变化)。为了公平地评价重定位效果,在每次重定位开始时,相机都放置在同一个初始位置上。
结果分析选取重定位后拍摄图像与参考图像之间的特征点平均距离(AFD)、重定位效果对光照变化的鲁棒性和重定位过程花费的时间作为评估重定位方法的指标。其中AFD是指两幅图像所有匹配的特征点之间的欧式距离的平均值,这可以直观地评价重定位的精度。
根据图2所展示的本方法和已有最优的重定位(分别为基于学***均花费时间对比表明:本发明方法极大程度地提高了重定位速度。因此,可以表明发明方法的可行性和优越性。
Claims (5)
1.一种基于三维点云对齐的主动相机重定位方法,其特征在于,所述方法包括以下步骤:
步骤一,初始化:获取平台与相机之间的相对位姿关系,以及SLAM三维重建的真实尺度;
步骤二,开启VSE线程,实时获取当前场景的具有真实尺度的三维点云和当前相机的位姿;
步骤三,开启点云对齐线程,进行参考点云和当前点云的对齐,实时获取两点云之间的尺度变换和位姿关系;
步骤四,开启相机调整线程,在VSE线程和点云对齐线程辅助下计算移动平台调整量并执行;判断重定位是否结束,若重定位完成则终止,否则重复步骤四。
2.根据权利要求1所述的一种基于三维点云对齐的主动相机重定位方法,其特征在于,初始化阶段获取平台与相机之间的相对位姿关系,以及SLAM三维重建的真实尺度的具体方法为:
(1)移动承载相机的平台,得到平台的旋转矩阵RB和平移向量tB;其中:下标A代表相机,B代表平台;
(2)由视觉三维重建算法获取相机的旋转矩阵RA以及没有真实尺度信息的平移向量tVSE;
(3)根据经典的“手-眼”标定算法,计算相机与平台之间的旋转矩阵RX。
(4)借助已知的RX,tB以及tVSE,计算点云的真实尺度因子s,以及相机与平台之间的平移向量tX。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011089548.XA CN112365537B (zh) | 2020-10-13 | 2020-10-13 | 一种基于三维点云对齐的主动相机重定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011089548.XA CN112365537B (zh) | 2020-10-13 | 2020-10-13 | 一种基于三维点云对齐的主动相机重定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112365537A true CN112365537A (zh) | 2021-02-12 |
CN112365537B CN112365537B (zh) | 2023-06-27 |
Family
ID=74507173
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011089548.XA Active CN112365537B (zh) | 2020-10-13 | 2020-10-13 | 一种基于三维点云对齐的主动相机重定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112365537B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113954099A (zh) * | 2021-11-30 | 2022-01-21 | 广东电网有限责任公司 | 电力巡检机器人及云台相机的定位装置调整方法 |
CN114500849A (zh) * | 2022-02-21 | 2022-05-13 | 上海东方传媒技术有限公司 | 一种多视角环绕拍摄矫正方法及*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110319772A (zh) * | 2019-07-12 | 2019-10-11 | 上海电力大学 | 基于无人机的视觉大跨度测距方法 |
CN110689622A (zh) * | 2019-07-05 | 2020-01-14 | 电子科技大学 | 一种基于点云分割匹配闭环校正的同步定位与构图算法 |
CN111144349A (zh) * | 2019-12-30 | 2020-05-12 | 中国电子科技集团公司信息科学研究院 | 一种室内视觉重定位方法及*** |
CN111415417A (zh) * | 2020-04-14 | 2020-07-14 | 大连理工江苏研究院有限公司 | 一种集成稀疏点云的移动机器人拓扑经验地图构建方法 |
-
2020
- 2020-10-13 CN CN202011089548.XA patent/CN112365537B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110689622A (zh) * | 2019-07-05 | 2020-01-14 | 电子科技大学 | 一种基于点云分割匹配闭环校正的同步定位与构图算法 |
CN110319772A (zh) * | 2019-07-12 | 2019-10-11 | 上海电力大学 | 基于无人机的视觉大跨度测距方法 |
CN111144349A (zh) * | 2019-12-30 | 2020-05-12 | 中国电子科技集团公司信息科学研究院 | 一种室内视觉重定位方法及*** |
CN111415417A (zh) * | 2020-04-14 | 2020-07-14 | 大连理工江苏研究院有限公司 | 一种集成稀疏点云的移动机器人拓扑经验地图构建方法 |
Non-Patent Citations (2)
Title |
---|
MINGYOU CHEN ET AL.: "High-accuracy multi-camera reconstruction enhanced by adaptive point cloud correction algorithm", 《OPTICS AND LASERS IN ENGINEERING》 * |
缪东旭: "基于 RGBD 相机的主动位姿重现方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113954099A (zh) * | 2021-11-30 | 2022-01-21 | 广东电网有限责任公司 | 电力巡检机器人及云台相机的定位装置调整方法 |
CN113954099B (zh) * | 2021-11-30 | 2023-10-20 | 广东电网有限责任公司 | 电力巡检机器人及云台相机的定位装置调整方法 |
CN114500849A (zh) * | 2022-02-21 | 2022-05-13 | 上海东方传媒技术有限公司 | 一种多视角环绕拍摄矫正方法及*** |
CN114500849B (zh) * | 2022-02-21 | 2023-11-24 | 上海东方传媒技术有限公司 | 一种多视角环绕拍摄矫正方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN112365537B (zh) | 2023-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109544636B (zh) | 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法 | |
Liang et al. | Salientdso: Bringing attention to direct sparse odometry | |
CN111462135A (zh) | 基于视觉slam与二维语义分割的语义建图方法 | |
CN109947097B (zh) | 一种基于视觉和激光融合的机器人定位方法及导航应用 | |
Wang et al. | Point cloud and visual feature-based tracking method for an augmented reality-aided mechanical assembly system | |
CN112598729B (zh) | 融合激光与相机的目标物体识别与定位方法 | |
Fleer et al. | Comparing holistic and feature-based visual methods for estimating the relative pose of mobile robots | |
CN112365537B (zh) | 一种基于三维点云对齐的主动相机重定位方法 | |
CN112509044A (zh) | 一种基于点线特征融合的双目视觉slam方法 | |
US20230300455A1 (en) | Active camera relocation method having robustness to illumination | |
CN111127519B (zh) | 一种双模型融合的目标跟踪控制***及其方法 | |
CN110070578B (zh) | 一种回环检测方法 | |
CN110827321A (zh) | 一种基于三维信息的多相机协同的主动目标跟踪方法 | |
CN114596382A (zh) | 一种基于全景相机的双目视觉slam方法及*** | |
CN115471748A (zh) | 一种面向动态环境的单目视觉slam方法 | |
CN114266823A (zh) | 一种结合SuperPoint网络特征提取的单目SLAM方法 | |
CN108469729B (zh) | 一种基于rgb-d信息的人体目标识别与跟随方法 | |
CN113888603A (zh) | 基于光流跟踪和特征匹配的回环检测及视觉slam方法 | |
CN117218195A (zh) | 基于点、线特征约束的同时定位与建图方法 | |
CN109318235B (zh) | 一种机器人视觉伺服***的快速聚焦方法 | |
Wang et al. | Application of machine vision image feature recognition in 3D map construction | |
Cheng et al. | Feature-based optical flow computation | |
CN113592907A (zh) | 基于光流的视觉伺服跟踪方法及装置 | |
Chen et al. | End-to-end multi-view structure-from-motion with hypercorrelation volume | |
Cho et al. | Deep Photo-Geometric Loss for Relative Camera Pose Estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |