CN109945853A - 一种基于3d点云航拍图像的地理坐标定位***和方法 - Google Patents

Abstract

本发明公开了一种基于3D点云航拍图像的地理坐标定位***和方法，该***包括3D点云建立模块、单应矩阵模块和转换模块，对应的该方法首先通过SFM方法对图像序列进行三维数字化，快速获取世界坐标系下的3D稀疏点云，并建立起表示3D点云中特征点的地理坐标和像素坐标关系的单应矩阵H；然后对两种不同的定位需求分别处理。该方法将精度较高的3D点云引入到2D图像的定位中来，从根本上解决2D图像非正射带来的定位难题；在建立地理坐标和像素坐标的关系时，通过最小范围搜索参考点的方式最大化的保证了定位的精度；因此该方法定位精度高，对航拍巡检类项目中的区域约束、目标定位、地理标记等模块具有重要作用。

Description

一种基于3D点云航拍图像的地理坐标定位***和方法

【技术领域】

本发明属于无人机航拍数据应用领域，涉及一种基于3D点云航拍图像的地理坐标定位***和方法。

【背景技术】

随着国家对无人机空域的严格管控，工业无人机的安全性和稳定性有了大幅提升。随即而来基于无人机的工业级应用层出不穷，其中以航拍巡检类最为突出，如电力巡检，石油管道巡检，光伏巡检等。这些应用都是通过无人机挂载相机传感器，通过图像处理的手段检测到异常目标，并最终通知事故处理人员该目标具体的地理位置。此类应用的难点有两个方面：1)为了不影响检测准度，目标检测都是在原图上处理，因原图上定位精度差，导致目标检测的地理位置无法精确定位；2)由于数据量大并且对处理时效性要求较高，图像的定位输入只有拍照点的地理坐标，并没有地面控制点，而地面控制点的位置需要人为确定，导致精准定位的效率较低，且精准定位难度较大。

因此，以较快的速度建立原图像中像素坐标与实际地理坐标的精准对应关系显得尤为重要。

【发明内容】

本发明的目的在于克服上述现有技术的缺点，提供一种基于3D点云航拍图像的地理坐标定位***和方法。该方法通过建立3D稀疏点云，确定特征点，通过多个特征点的地理坐标和像素坐标确定目标点的地理坐标或像素坐标。

为达到上述目的，本发明采用以下技术方案予以实现：

一种基于3D点云航拍图像的地理坐标定位方法，包括以下步骤：

步骤1，通过SFM算法对带有GPS坐标的图像序列进行三维数字化，生成世界坐标系下的3D点云，建立3D点云中特征点的地理坐标与图像中像素坐标的对应关系；

步骤2，确定目标点附近的特征点，组成特征点集，定义特征点集中的特征点为参考点；通过参考点的地理坐标和像素坐标，计算参考点的地理坐标和像素坐标对应关系的单应矩阵H；

步骤3，通过单应矩阵H进行地理坐标和像素坐标之间的相互转换。

本发明的进一步改进在于，

优选的，步骤1中，图像序列进行三维数字化前，将图像缩小至分辨率为1000-1500的图像。

优选的，步骤1中，SFM对图像序列进行三维数字化，建立3D点云的过程为：

1)通过图像的内部编码信息计算内参矩阵；2)对相邻图像两两计算特征点并实现匹配；3)根据匹配点对，计算相邻图像之间的本征矩阵E；4)利用本征矩阵E计算出相邻图像之间的相机外参旋转矩阵和平移向量；5)通过三角测量计算出点云的初始位置；6)通过全局BA优化3D点云及相机内参和外参，得到最终的3D点云。

优选的，步骤1的第2)步中通过尺度不变特征变换进行图像特征点的计算和匹配。

优选的，步骤1的第5)步中全局BA通过迭代平差计算，优化三角测量所得的初始点云及相机的内参和外参，得到最终的3D点云。

优选的，步骤2中，通过欧式距离计算出目标点附近的特征点。

优选的，步骤2中，通过公式(1)计算单应矩阵H，公式(1)为：

式中，(u,v,1)^T表示特征点的像素坐标，(X,Y,1)^T表示特征点的地理坐标，所述地理坐标为地面区域面片上特征点的z轴投影坐标；将参考点的像素坐标和地理坐标带入公式(1)中，通过最小二乘法计算得出单应矩阵H。

优选的，步骤3中，目标点的像素坐标转换为地理坐标前，需将原始图片的分辨率转换为3D点云图像中的分辨率；目标点的地理坐标转换为像素坐标后，需将3D点云图像中的分辨率转变为目标图片的分辨率。

优选的，3D点云为稀疏点云。

一种基于3D点云航拍图像的地理坐标定位***，包括：

3D点云建立模块，用于将带有GPS坐标的图像序列进行三维数字化，生成世界坐标系下的3D点云，建立3D点云中特征点的地理坐标与图像中像素坐标的对应关系；

单应矩阵模块，用于通过参考点的地理坐标和像素坐标，计算参考点的地理坐标和像素坐标对应关系的单应矩阵H；

转换模块，用于通过单应矩阵H进行地理坐标和像素坐标之间的相互转换。

与现有技术相比，本发明具有以下有益效果：

本发明公开了一种基于3D点云航拍图像的地理坐标定位***和方法，该***包括3D点云建立模块、单应矩阵模块和转换模块，对应的该方法首先通过SFM方法对图像序列进行三维数字化，快速获取世界坐标系下的3D稀疏点云，并建立起目标周围3D点云中特征点的地理坐标和像素坐标关系的单应矩阵H；然后对两种不同的定位需求分别处理：1)已知图像上的像素坐标，计算该点对应的地理坐标。2)已知地理坐标，计算该点在图像上的像素坐标。该方法将精度较高的3D点云引入到2D图像的定位中来，从根本上解决2D图像非正射带来的定位难题；在建立地理坐标和像素坐标的关系时，通过最小范围搜索参考点的方式最大化的保证了定位的精度；因此该方法定位精度高，对航拍巡检类项目中的区域约束、目标定位、地理标记等模块具有重要作用。

进一步的，本发明中的图像序列在进行SFM算法以实现三维数字化前，缩小分辨率，以在不影响定位准度的基础上，最大的压缩SFM阶段的处理时间，如果SFM阶段直接进行大分辨率下的图像，则SFM阶段处理时间较长。

进一步的，通过SFM算法生成3D点云，在SFM生成点云的同时，可以获得每个3D点的地理坐标，以及该3D点所出现在每一张图片上的像素坐标。

进一步的，使用尺度不变特征变换的稳定性更高。

进一步的，全局BA优化后，能够得到更加精确的特征点的地理坐标和像素坐标的对应关系。

进一步的，通过参考点的像素坐标和地理坐标得出目标点附近区域的单应矩阵，使得像素坐标和地理坐标的转换更加精确和简单。

进一步的，本方法生成的3D点云为稀疏点云，在不影响定位精度的前提下，最大化压缩处理时间。

【附图说明】

图1是本发明基于3D点云的航拍图像像素级地理坐标精准定位方法的流程图；

图2是本发明利用SFM生成的3D稀疏点云结果图；

图3是本发明中区域面片在不同坐标系下变换的示意图；

图4是本发明通过像素坐标求解对应的地理坐标的实验结果；

图5是本发明通过已知地理坐标的一条管道线路，在原图中计算出管线的位置并标记的结果图。

【具体实施方式】

下面结合附图具体过程对本发明做进一步详细描述：

本发明提供了一种基于3D点云航拍图像的地理坐标定位***及方法，该定位***包括：

3D点云建立模块，用于将带有GPS坐标的图像序列进行三维数字化，生成世界坐标系下的3D点云，建立3D点云中特征点的地理坐标与图像中像素坐标的对应关系；

单应矩阵模块，用于通过参考点的地理坐标和像素坐标，计算参考点的地理坐标和像素坐标对应关系的单应矩阵H；

转换模块，用于通过单应矩阵H进行地理坐标和像素坐标之间的相互转换。

上述***具体在应用到定位方法时，参见附图1，首先通过SFM方法对附有GPS坐标的图像序列进行三维数字化，快速获取3D稀疏点云，并建立起二维特征点与3D点云之间的对应关系，即建立出3D点云中3D点的像素坐标和地理坐标；然后对两种不同的定位需求分别处理：1)已知图像上的像素坐标，计算该点对应的地理坐标。2)已知地理坐标，计算该点在图像上的像素坐标。

所述定位方法具体包括以下步骤：

步骤1，对整个图像序列进行预处理，然后通过SFM算法对图像序列进行三维数字化，快速生成世界坐标系下的3D稀疏点云，并建立该3D点的地理坐标与预处理图像中像素坐标的对应表。

在对图像序列进行三维数字化之前，需要对图像进行预处理，将原图像缩小到小分辨率(多为1000-1500之间)的图像；在工程化实现时可通过并行的方式提高预处理的速度。预处理的目的是在不影响定位准度的基础上，最大的压缩SFM阶段的处理时间，如果SFM阶段直接进行大分辨率下的图像，则SFM阶段处理时间较长，且小分辨率的图像在SFM处理阶段的精度更高。

SFM(Structure From Motion)指得是由图像序列生成3D点云以及相机姿态。算法的实现流程包括以下六个步骤：1)对输入图像利用其内部的编码信息获取相机的焦距，计算内参矩阵；2)对相邻图像两两计算特征点并实现匹配，可使用稳定性更高的SIFT特征(尺度不变特征变换)；3)根据匹配点对，计算相邻图像之间的本征矩阵E；4)利用本征矩阵E计算出相邻图像之间的相机外参R(旋转矩阵)和T(平移向量)；5)通过三角测量计算出点云的初始位置；6)利用全局BA(Bundle Adjustment)去优化3D点云及相机内参和外参，以得到最精准的3D数据。正是因为BA的平差计算，重建出的点云精度比较高，有着二维图像定位所无法比拟的优势。重建的3D点云如图2所示，点云上方的两排点阵为相机的拍照位置。

在SFM生成点云的同时，可以获得每个3D点的地理坐标，以及该3D点所出现在每一张图片上的像素坐标。但稀疏点不能覆盖图像上的所有点，如图4中所示，所以需要步骤2去建立像素坐标与地理坐标连续的对应关系。

步骤2，建立目标点附近的参考点集

由于地形存在高低起伏的变化，所以图像中的像素坐标和UTM地理坐标之间的变换是非线性的，无论是用图像中所有的特征点去估计目标点的地理坐标，还是用3D点云中的特征点的地理坐标去估计目标点的像素坐标都是不准确的。因此本发明采用目标点附近的特征点集作为参考点，所有的特征点在3D点云中都存在对应的3D点，具体来说，通过欧式距离计算出最接近确定目标点的特征点，组成特征点集，作为参考点。

确定参考点集后，可根据参考点地理坐标与像素坐标之间的对应关系，建立两个区域面片之间一一的对应关系，如图3所示，UTM投影面上的三角形为参考点组成的区域面片，该对应关系用单应矩阵H表示：

单应变换是把一个射影平面上的点映射到另一个射影平面上，是关于三维齐次矢量的一种线性变换，可以用一个的非奇异矩阵H表示，公式如下：

其中，(u,v,1)^T表示像图像平面上特征点的坐标，(X,Y,1)^T表示地面区域面片上3D点的z轴投影坐标，即为UTM投影面上的地理坐标。将参考点集中特征点的像素坐标和地理坐标带入上式，通过最小二乘法可得到最优的单应矩阵H。

步骤3，地理坐标和像素坐标之间的相互转换

如需计算目标点的地理坐标，将目标点的像素坐标带入上式(1)中的左边，即可计算出目标点的地理坐标。实际应用中，因为目标点的像素坐标多为大分辨率图片中的像素坐标，而本方法中SFM过程中为小分辨率图片中的像素坐标，因此计算之前需要对目标点的像素坐标(u_o,v_o)进行尺度的变化，由大变小。

如需计算目标点的像素坐标，将目标点的地理坐标带入上式(1)中的右边，即可计算出目标点的像素坐标；相对应，该方法计算出的小分辨率图片中的像素坐标，因此在最后应用到目标图像上时，需要根据最后客户对目标图片(客户直接看的图片)分辨率的要求，将目标点的小分辨率的像素坐标更换为大分辨的像素坐标。

实施例1由像素坐标计算地理坐标

从图像的像素坐标计算该点对应的地理坐标是巡检类项目中关键的一步。目标检测与识别都在原图像上处理，在图像上锁定目标的像素坐标后，就需要计算该点的地理坐标。

参见图4，对图像进行预处理后，通过SFM建立该图像的3D点云；

图中五角形为检测出的异常目标点，异常目标点周围的圆点为通过欧式距离计算出来的最接近目标点的参考点，这些点也最能准确的表达目标点的高度与位置，即确定目标点的地理位置，确定参考点集后，可根据参考点地理坐标与像素坐标之间的对应关系，建立两个区域面片之间一一的对应关系，对应关系用H₁表示

将参考点集中的特征点的像素坐标和地理坐标带入上式(2)中，得到该参考集中特征点对应的单应矩阵H₁。

将目标点的像素坐标(u₁,v₁)进行尺度的变化，使目标点的像素尺寸与3D点云中的特征点的像素坐标的像素尺寸相同，将目标点的像素坐标(u₁,v₁)带入左边，即可得出对应的地理坐标。

实施例2由地理坐标计算像素坐标

与实施例1相反，该实施例是在已知地理坐标的情况下，计算该地理坐标在像素坐标中的位置。在巡检类应用中，经常需要在原图像中标注出已知地理坐标的油井、电塔以及管线等等，并以此作为检测范围的定位与约束。

参见图5，已知一条管线的地理坐标，需要在该图像上标记出管线的位置及走向。图像进行预处理后，通过SFM建立该图像的3D点云；

将3D点云投影到UTM坐标系下；根据已知的一条管线的地理坐标，在UTM平面寻找最接近该地理坐标的参考点集，图5中空心的圆点为整个3D点云中的特征点，实心大点为计算过程中选取的参考点，实心小点为计算出管线在原图像中的实际位置；对确定的参考点集，根据单应变换计算对应的H₂矩阵；

将参考点集中的特征点的像素坐标和地理坐标带入上式(3)中，得到该参考集中特征点对应的单应矩阵H₂；将已知的一条管线的地理坐标带入单应变化等式的右侧，计算可得对应小分辨率图像中的像素坐标；通过像素的尺度变化，最终可得原图像中的像素坐标。

经验证，通过该方法得到的管线位置非常准确。对图形进行预处理后，通过SFM建立该图像的3D点云；

总之，通过以上的步骤可以获得原图像中像素坐标与地理坐标之间的对应关系，该方法不仅计算速度快，而且定位精度高，对航拍巡检类项目中的区域约束、目标定位、地理标记等模块具有重要作用。本方法最大的创新就是将精度较高的3D点云引入到2D图像的定位中来，从根本上解决2D图像非正射带来的定位难题；并且为了提高计算的速度，本方法生成的3D点云为稀疏点云，在不影响定位精度的前提下，最大化压缩处理时间；此外，本方法在建立面与面之间对应关系时，通过小范围搜索参考点的方式最大化保证了定位的精度。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于3D点云航拍图像的地理坐标定位方法，其特征在于，包括以下步骤：

步骤1，通过SFM算法对带有GPS坐标的图像序列进行三维数字化，生成世界坐标系下的3D点云，建立3D点云中特征点的地理坐标与图像中像素坐标的对应关系；

步骤2，确定目标点附近的特征点，组成特征点集，定义特征点集中的特征点为参考点；通过参考点的地理坐标和像素坐标，计算参考点的地理坐标和像素坐标对应关系的单应矩阵H；

步骤3，通过单应矩阵H进行地理坐标和像素坐标之间的相互转换。

2.根据权利要求1所述的一种基于3D点云航拍图像的地理坐标定位方法，其特征在于，步骤1中，图像序列进行三维数字化前，将图像缩小至分辨率为1000-1500的图像。

3.根据权利要求1所述的一种基于3D点云航拍图像的地理坐标定位方法，其特征在于，步骤1中，SFM对图像序列进行三维数字化，建立3D点云的过程为：

1)通过图像的内部编码信息计算内参矩阵；2)对相邻图像两两计算特征点并实现匹配；3)根据匹配点对，计算相邻图像之间的本征矩阵E；4)利用本征矩阵E计算出相邻图像之间的相机外参旋转矩阵和平移向量；5)通过三角测量计算出点云的初始位置；6)通过全局BA优化3D点云及相机内参和外参，得到最终的3D点云。

4.根据权利要求3所述的一种基于3D点云航拍图像的地理坐标定位方法，其特征在于，步骤1的第2)步中通过尺度不变特征变换进行图像特征点的计算和匹配。

5.根据权利要求3所述的一种基于3D点云航拍图像的地理坐标定位方法，其特征在于，步骤1的第5)步中全局BA通过迭代平差计算，优化三角测量所得的初始点云及相机的内参和外参，得到最终的3D点云。

6.根据权利要求1所述的一种基于3D点云航拍图像的地理坐标定位方法，其特征在于，步骤2中，通过欧式距离计算出目标点附近的特征点。

7.根据权利要求1-6任意一项所述的基于3D点云的航拍图像像素级地理坐标精准定位方法，其特征在于，步骤2中，通过公式(1)计算单应矩阵H，公式(1)为：

式中，(u,v,1)^T表示特征点的像素坐标，(X,Y,1)^T表示特征点的地理坐标，所述地理坐标为地面区域面片上特征点的z轴投影坐标；将参考点的像素坐标和地理坐标带入公式(1)中，通过最小二乘法计算得出单应矩阵H。

8.根据权利要求1所述的一种基于3D点云航拍图像的地理坐标定位方法，其特征在于，步骤3中，目标点的像素坐标转换为地理坐标前，需将原始图片的分辨率转换为3D点云图像中的分辨率；目标点的地理坐标转换为像素坐标后，需将3D点云图像中的分辨率转变为目标图片的分辨率。

9.根据权利要求1所述的一种基于3D点云航拍图像的地理坐标定位方法，其特征在于，3D点云为稀疏点云。

10.一种基于3D点云航拍图像的地理坐标定位***，其特征在于，包括：

3D点云建立模块，用于将带有GPS坐标的图像序列进行三维数字化，生成世界坐标系下的3D点云，建立3D点云中特征点的地理坐标与图像中像素坐标的对应关系；

单应矩阵模块，用于通过参考点的地理坐标和像素坐标，计算参考点的地理坐标和像素坐标对应关系的单应矩阵H；

转换模块，用于通过单应矩阵H进行地理坐标和像素坐标之间的相互转换。