CN111383333B - 一种分段式sfm三维重建方法 - Google Patents
一种分段式sfm三维重建方法 Download PDFInfo
- Publication number
- CN111383333B CN111383333B CN202010256537.XA CN202010256537A CN111383333B CN 111383333 B CN111383333 B CN 111383333B CN 202010256537 A CN202010256537 A CN 202010256537A CN 111383333 B CN111383333 B CN 111383333B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- sub
- sfm
- global
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000011218 segmentation Effects 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims description 39
- 238000013519 translation Methods 0.000 claims description 21
- 238000005457 optimization Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000011426 transformation method Methods 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
一种分段式SFM三维重建方法，包括以下步骤：步骤1，对每幅图像提取特征点，并进行特征点匹配；步骤2，判断图像序列是否需要分段处理；步骤3，将图像序列划分为多个子图像集；步骤4，使用全局SFM方法，对每个子图像集分别估算相机姿态和场景点云；步骤5，根据GPS信息，将所有子图像集进行拼接合并。本发明解决了大数据量单航带长直线飞行的三维场景重建错误、无法重建的问题。
Description
技术领域
本发明属于无人机航拍数据应用领域，特别涉及一种分段式SFM三维重建方法。
背景技术
随着大范围场景时空信息获取的需求逐渐增加，无人机(Unmanned AerialVehicle，UAV)航拍逐渐受到关注。相对于传统航拍方式，无人机航拍操作简单，价格低廉，作业周期短，可在低空获得高分辨率图像，具有传统航拍和遥感测绘不具有的优势。
运动恢复结构(Structure From Motion,SFM)，即通过相机的移动来确定目标的空间和几何关系，是三维重建的一种常用方法。它与传统三维重建方法最大的不同在于，它只需要普通的RGB摄像头采集一系列无序图像即可，因此成本更低廉，且受环境约束较小，在室内和室外均能使用。基于SFM的三维重建具有自动、低廉、高效的优点，因此将SFM方法应用于无人机图像三维重建，具有重要的应用价值。
在无人机大范围场景应用中，不可避免存在单航带长直线飞行的情况，由于图片噪声影响，漂移误差将随着图像数量增加不断累加，影响重建质量，导致三维场景重建错误、无法重建等问题。
发明内容
本发明的目的在于提供一种分段式SFM三维重建方法，以解决上述问题。
为实现上述目的，本发明采用以下技术方案：
一种分段式SFM三维重建方法，包括以下步骤：
步骤1，对每幅图像，使用尺度不变特征变换方法提取特征点，并进行特征点匹配；
步骤2，根据GPS信息，判断图像序列是否需要分段处理；分段处理满足两个条件：1)图像总数超过单次处理的最大数据量；2)当前场景为单航带直线飞行；
步骤3，按照拍摄顺序将图像序列划分为多个子图像集，子图像集之间存在相同图像，直到所有的图像完成分段处理；
步骤4，使用全局SFM方法，对每个子图像集分别估算相机姿态和场景点云；
步骤5，根据GPS信息，将所有子图像集进行拼接合并，使用光束法平差进行全局优化，提高重建结果精度。
进一步的，步骤1中，根据GPS坐标建立图像和其邻近图像的相邻图像对，对相邻图像对进行特征点匹配，得到初始匹配结果，最后使用RANSAC算法进行滤波，剔除错误匹配结果，得到最终的正确匹配结果。
进一步的，步骤2具体为：判断图像总数是否超过单次处理的最大数据量，如果没有超过则不做分段处理，直接使用全局SFM计算；如果超过则判断当前场景是否为单航带直线飞行；
根据步骤1中得到的图像匹配对信息，结合GPS信息，判断每幅图像与相邻图像之间的索引距离，如果索引距离大于阈值，则认为该图像与相邻图像之间存在旁向重叠，且标记该图像；统计标记图像的个数，如果个数小于阈值，则认为飞行轨迹为单航带飞行；根据GPS信息，以头尾图像的GPS三维坐标连线的法线方向为基准方向，迭代判断前后相邻两张图像GPS连线法线与基准方向的夹角，如果所有的夹角均小于阈值夹角，则认为飞行轨迹为直线飞行；满足以上两个判断条件，则认为当前场景为单航带直线飞行；
如果判断图像总数超过单次处理的最大数据量，则判断当前场景为单航带直线飞行，则图像序列需要做分段处理。
进一步的，步骤3具体为：如果通过步骤2判断场景需要分段处理，则需要将图像序列分成多个子图像集，根据步骤2中得到的图像匹配对信息，结合GPS信息，将图像序列进行排序，沿着飞行轨迹，按照拍摄先后顺序排序，按照此顺序，当图像数目满足最大处理图像数时，则将这些图像单独提取出来组成新的子图像集，另外在子图像集沿着图像顺序向后新增重复图像，以保证子图像集之间存在相同图像集，这样循环迭代，直到所有的图像完成分段处理。
进一步的，步骤4中，全局SFM优化具体包括以下四个步骤：
步骤4.1根据图像Exif信息，获得相机焦距和主点，计算相机的内参矩阵；
步骤4.2根据步骤1中计算的匹配关系，计算两两图像之间的本质矩阵；
步骤4.3利用本质矩阵，计算图像的全局旋转矩阵和平移矩阵；
步骤4.4完成上述全局旋转和平移矩阵的计算后，需要依次对相机姿态和场景点云进行光束法平差BA优化，其中包括四次优化：1)只优化全局平移矩阵和场景点云；2)优化全局旋转矩阵、平移矩阵和场景点云；3)优化相机内参、全局旋转矩阵、平移矩阵和场景点云；4)剔除误差过大的三维点，优化相机内参、全局旋转矩阵、平移矩阵和场景点云。
进一步的，步骤5中，首先根据GPS信息，计算相邻子图像集中相同图像的相机姿态均值，将其做为合并后的该区域图像的相机姿态，然后经过旋转、平移、尺度变换处理将所有子图像集转换到同一坐标系，最后使用全局BA优化合并后的相机姿态和场景点云，得到更精准的相机姿态和场景三维点云。
与现有技术相比，本发明有以下技术效果：
本发明公开了一种分段式SFM三维重建方法，该方法首先根据GPS坐标，判断场景是否需要分段处理，将图像序列划分为多个子图像集，然后使用全局SFM方法分别估算每个子图像集的相机姿态和场景点云，最后合并每个子图像集的重建结果。分段式SFM三维重建方法，采用分治思想，分段处理大数据量图像序列，解决了大数据量单航带长直线飞行的三维场景重建错误、无法重建的问题。验证发现，通过本发明的方法对图像序列进行分段SFM处理，最后生成的三维重建结果能够满足设定要求。
附图说明
图1是本发明分段式SFM三维重建方法的流程图；
图2是利用常规全局SFM生成的三维点云结果图；
图3是本发明分段式SFM三维重建的三维点云结果图；
具体实施方式
以下结合附图对本发明进一步说明：
请参阅图1至图3，该方法首先提取每幅图像的SIFT特征，进行特征匹配。其次根据GPS坐标，判断场景是否需要分段处理。然后将整个图像序列分为多个子图像集，分别使用全局SFM方法，估算子图像集的相机姿态和场景点云。最后合并子图像集的重建结果，得到整个场景的相机姿态和场景点云。
本发明具体包括以下步骤：
步骤1：首先提取每幅图像的SIFT特征点，然后根据GPS坐标建立图像i和其邻近图像j的相邻图像对ij，对ij进行特征点匹配，得到初始匹配结果，最后使用RANSAC算法进行滤波，剔除错误匹配结果，得到最终的正确匹配结果。
步骤2：判断图像总数nimage是否超过单次处理的最大数据量nthr，如果nimage＜＝nthr，则不做分段处理，直接使用全局SFM计算。如果nimage>nthr，则还需要判断当前场景是否为单航带直线飞行。
根据步骤1中得到的图像匹配对信息，结合GPS信息，判断每幅图像与相邻图像之间的索引距离dij，如果dij大于阈值dthr，则认为该图像与相邻图像之间存在旁向重叠，标记该图像为Overlapi。统计Overlapi个数noverlap，如果noverlap小于阈值nthr，则认为飞行轨迹为单航带飞行。根据GPS信息，以头尾图像的GPS三维坐标连线的法线方向为基准方向normalbase，迭代判断前后相邻两张图像GPS连线法线normalcheck与normalbase的夹角angleij，如果所有的angleij均小于阈值anglethr，则认为飞行轨迹为直线飞行。满足以上两个判断条件，则认为当前场景为单航带直线飞行。
如果nimage>nthr且当前场景为单航带直线飞行，则图像序列需要做分段处理。
步骤3：如果通过步骤2判断场景需要分段处理，则需要将图像序列分成多个子图像集。根据步骤2中得到的图像匹配对信息，结合GPS信息，可将图像序列进行排序，沿着飞行轨迹，按照拍摄先后顺序排序。按照此顺序，当图像数目ncurrent满足最大处理图像数nthr时，则将这些图像单独提取出来组成新的子图像集Ii，另外在子图像集Ii沿着图像顺序向后新增ncoverage图像，以保证子图像集之间存在相同图像集Icoverage。这样循环迭代，直到所有的图像完成分段处理。
步骤4：对于步骤3分段得到的多个子图像集分别进行全局SFM优化，得到子图像集的相机姿态和场景点云。全局SFM优化具体包括以下四个步骤：
步骤4.1根据图像Exif信息，获得相机焦距和主点，计算相机的内参矩阵Mi；
步骤4.2根据步骤1中计算的匹配关系，计算两两图像之间的本质矩阵Ei；
步骤4.3利用本质矩阵Ei，计算图像的全局旋转矩阵Ri和平移矩阵ti；
步骤4.4完成上述全局旋转Ri和平移矩阵ti的计算后，需要依次对相机姿态和场景点云进行BA优化，其中包括四次优化：1)只优化全局平移矩阵ti和场景点云Xi；2)优化全局旋转矩阵Ri、平移矩阵ti和场景点云Xi；3)优化相机内参Mi、全局旋转矩阵Ri、平移矩阵ti和场景点云Xi；4)剔除误差过大的三维点，优化相机内参Mi、全局旋转矩阵Ri、平移矩阵ti和场景点云Xi。
步骤5：步骤4得到多个子图像集的相机姿态和场景点云后，还需要将多个SFM结果合并，得到完整的相机姿态和场景点云。首先根据GPS信息，计算相邻子图像集中相同图像的相机姿态均值，将其做为合并后的该区域图像的相机姿态，然后经过旋转、平移、尺度变换等处理将所有子图像集转换到同一坐标系，最后使用全局BA优化合并后的相机姿态和场景点云，得到更精准的相机姿态和场景三维点云。
Claims (5)
1.一种分段式SFM三维重建方法，其特征在于，包括以下步骤：
步骤1，对每幅图像，使用尺度不变特征变换方法提取特征点，并进行特征点匹配；
步骤2，根据GPS信息，判断图像序列是否需要分段处理；分段处理满足两个条件：1)图像总数超过单次处理的最大数据量；2)当前场景为单航带直线飞行；
步骤3，按照拍摄顺序将图像序列划分为多个子图像集，子图像集之间存在相同图像，直到所有的图像完成分段处理；
步骤4，使用全局SFM方法，对每个子图像集分别估算相机姿态和场景点云；
步骤5，根据GPS信息，将所有子图像集进行拼接合并，使用光束法平差进行全局优化，提高重建结果精度；
步骤4中，全局SFM优化具体包括以下四个步骤：
步骤4.1根据图像Exif信息，获得相机焦距和主点，计算相机的内参矩阵；
步骤4.2根据步骤1中计算的匹配关系，计算两两图像之间的本质矩阵；
步骤4.3利用本质矩阵，计算图像的全局旋转矩阵和平移矩阵；
步骤4.4完成上述全局旋转和平移矩阵的计算后，需要依次对相机姿态和场景点云进行光束法平差BA优化，其中包括四次优化：1)只优化全局平移矩阵和场景点云；2)优化全局旋转矩阵、平移矩阵和场景点云；3)优化相机内参、全局旋转矩阵、平移矩阵和场景点云；4)剔除误差过大的三维点，优化相机内参、全局旋转矩阵、平移矩阵和场景点云。
2.根据权利要求1所述的一种分段式SFM三维重建方法，其特征在于，步骤1中，根据GPS坐标建立图像和其邻近图像的相邻图像对，对相邻图像对进行特征点匹配，得到初始匹配结果，最后使用RANSAC算法进行滤波，剔除错误匹配结果，得到最终的正确匹配结果。
3.根据权利要求1所述的一种分段式SFM三维重建方法，其特征在于，步骤2具体为：判断图像总数是否超过单次处理的最大数据量，如果没有超过则不做分段处理，直接使用全局SFM计算；如果超过则判断当前场景是否为单航带直线飞行；
根据步骤1中得到的图像匹配对信息，结合GPS信息，判断每幅图像与相邻图像之间的索引距离，如果索引距离大于阈值，则认为该图像与相邻图像之间存在旁向重叠，且标记该图像；统计标记图像的个数，如果个数小于阈值，则认为飞行轨迹为单航带飞行；根据GPS信息，以头尾图像的GPS三维坐标连线的法线方向为基准方向，迭代判断前后相邻两张图像GPS连线法线与基准方向的夹角，如果所有的夹角均小于阈值夹角，则认为飞行轨迹为直线飞行；满足以上两个判断条件，则认为当前场景为单航带直线飞行；
如果判断图像总数超过单次处理的最大数据量，则判断当前场景为单航带直线飞行，则图像序列需要做分段处理。
4.根据权利要求1所述的一种分段式SFM三维重建方法，其特征在于，步骤3具体为：如果通过步骤2判断场景需要分段处理，则需要将图像序列分成多个子图像集，根据步骤2中得到的图像匹配对信息，结合GPS信息，将图像序列进行排序，沿着飞行轨迹，按照拍摄先后顺序排序，按照此顺序，当图像数目满足最大处理图像数时，则将这些图像单独提取出来组成新的子图像集，另外在子图像集沿着图像顺序向后新增重复图像，以保证子图像集之间存在相同图像集，这样循环迭代，直到所有的图像完成分段处理。
5.根据权利要求1所述的一种分段式SFM三维重建方法，其特征在于，步骤5中，首先根据GPS信息，计算相邻子图像集中相同图像的相机姿态均值，将其做为合并后的该区域图像的相机姿态，然后经过旋转、平移、尺度变换处理将所有子图像集转换到同一坐标系，最后使用全局BA优化合并后的相机姿态和场景点云，得到更精准的相机姿态和场景三维点云。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010256537.XA CN111383333B (zh) | 2020-04-02 | 2020-04-02 | 一种分段式sfm三维重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010256537.XA CN111383333B (zh) | 2020-04-02 | 2020-04-02 | 一种分段式sfm三维重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111383333A CN111383333A (zh) | 2020-07-07 |
| CN111383333B true CN111383333B (zh) | 2024-02-20 |
Family
ID=71217477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010256537.XA Active CN111383333B (zh) | 2020-04-02 | 2020-04-02 | 一种分段式sfm三维重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111383333B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111833447A (zh) * | 2020-07-13 | 2020-10-27 | Oppo广东移动通信有限公司 | 三维地图构建方法、三维地图构建装置及终端设备 |
| CN111815765B (zh) * | 2020-07-21 | 2022-07-05 | 西北工业大学 | 一种基于异构数据融合的图像三维重建方法 |
| CN112365541B (zh) * | 2020-11-24 | 2022-09-02 | 北京航空航天大学青岛研究院 | 一种基于相似变换的大场景相机姿态注册方法 |
| CN112633293B (zh) * | 2020-11-24 | 2022-05-20 | 北京航空航天大学青岛研究院 | 一种基于图分割的三维稀疏点云重建图像集分类方法 |
| CN113284227B (zh) * | 2021-05-14 | 2022-11-22 | 安徽大学 | 一种面向大规模航拍图像的分布式运动推断结构方法 |
| CN113888695A (zh) * | 2021-09-21 | 2022-01-04 | 西北工业大学 | 基于分支重构配准的非合作目标三维重建方法 |
| CN115908482B (zh) * | 2022-10-14 | 2023-10-20 | 荣耀终端有限公司 | 建模错误数据的定位方法和装置 |
| CN116704152B (zh) * | 2022-12-09 | 2024-04-19 | 荣耀终端有限公司 | 图像处理方法和电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780729A (zh) * | 2016-11-10 | 2017-05-31 | 中国人民解放军理工大学 | 一种无人机序列影像批处理三维重建方法 |
| WO2019179200A1 (zh) * | 2018-03-22 | 2019-09-26 | 深圳岚锋创视网络科技有限公司 | 多目相机的三维重建方法、vr相机和全景相机 |
-
2020
- 2020-04-02 CN CN202010256537.XA patent/CN111383333B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780729A (zh) * | 2016-11-10 | 2017-05-31 | 中国人民解放军理工大学 | 一种无人机序列影像批处理三维重建方法 |
| WO2019179200A1 (zh) * | 2018-03-22 | 2019-09-26 | 深圳岚锋创视网络科技有限公司 | 多目相机的三维重建方法、vr相机和全景相机 |
Non-Patent Citations (1)
| Title |
|---|
| 凌寒羽 ; 王培元 ; 彭彬彬 ; .基于增量式SFM的特定目标加速定位方法.计算机仿真.2020,(03),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111383333A (zh) | 2020-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111383333B (zh) | 一种分段式sfm三维重建方法 | |
| CN109785379B (zh) | 一种对称物体尺寸及重量的测量方法及测量*** | |
| CN108665496B (zh) | 一种基于深度学习的端到端的语义即时定位与建图方法 | |
| CN110108258B (zh) | 一种单目视觉里程计定位方法 | |
| CN107341814B (zh) | 基于稀疏直接法的四旋翼无人机单目视觉测程方法 | |
| CN110176032B (zh) | 一种三维重建方法及装置 | |
| US9942535B2 (en) | Method for 3D scene structure modeling and camera registration from single image | |
| CN110631554A (zh) | 机器人位姿的确定方法、装置、机器人和可读存储介质 | |
| CN106886748B (zh) | 一种基于tld的适用于无人机的变尺度目标跟踪方法 | |
| CN108519102B (zh) | 一种基于二次投影的双目视觉里程计算方法 | |
| CN110930411B (zh) | 一种基于深度相机的人体分割方法及*** | |
| CN104077760A (zh) | 一种航空摄影测量的快速拼接***及其实现方法 | |
| CN110853075A (zh) | 一种基于稠密点云与合成视图的视觉跟踪定位方法 | |
| CN112883850B (zh) | 一种基于卷积神经网络的多视角空天遥感图像匹配方法 | |
| CN114581887B (zh) | 车道线的检测方法、装置、设备和计算机可读存储介质 | |
| US11651581B2 (en) | System and method for correspondence map determination | |
| WO2021035627A1 (zh) | 获取深度图的方法、装置及计算机存储介质 | |
| CN112946679B (zh) | 一种基于人工智能的无人机测绘果冻效应检测方法及*** | |
| CN109215118B (zh) | 一种基于图像序列的增量式运动结构恢复优化方法 | |
| CN111325828A (zh) | 一种基于三目相机的三维人脸采集方法及装置 | |
| CN116105721B (zh) | 地图构建的回环优化方法、装置、设备及存储介质 | |
| CN115346016A (zh) | 点云模型处理方法、装置及可读存储介质 | |
| CN115984592A (zh) | 基于SuperPoint+SuperGlue的点线融合特征匹配方法 | |
| CN106651950B (zh) | 一种基于二次曲线透视投影不变性的单相机位姿估计方法 | |
| CN112200850B (zh) | 一种基于成熟特征点的orb提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |