CN114216485A - 一种用于无人机航拍测绘的图像校准方法 - Google Patents

一种用于无人机航拍测绘的图像校准方法 Download PDF

Info

Publication number
CN114216485A
CN114216485A CN202210164317.3A CN202210164317A CN114216485A CN 114216485 A CN114216485 A CN 114216485A CN 202210164317 A CN202210164317 A CN 202210164317A CN 114216485 A CN114216485 A CN 114216485A
Authority
CN
China
Prior art keywords
image
mapping
corner
attitude angle
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210164317.3A
Other languages
English (en)
Other versions
CN114216485B (zh
Inventor
刘晓夏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Juntian Technology Co ltd
Original Assignee
Guangzhou Juntian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Juntian Technology Co ltd filed Critical Guangzhou Juntian Technology Co ltd
Priority to CN202210164317.3A priority Critical patent/CN114216485B/zh
Publication of CN114216485A publication Critical patent/CN114216485A/zh
Application granted granted Critical
Publication of CN114216485B publication Critical patent/CN114216485B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Manufacturing & Machinery (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及无人机测绘技术领域，具体涉及一种用于无人机航拍测绘的图像校准方法。方法包括：利用目标姿态角度对获取到的各初始测绘图像是进行仿射变换，得到各第一测绘图像；获得各第一重合图像对应的融合误差分布特征；计算对各第一重合图像进行角点匹配时的角点匹配误差估计量；根据各第一重合图像的融合误差分布特征和角点匹配误差估计量，构建仿射变换误差分布特征模型；利用各第一重合图像的融合误差分布特征、角点匹配误差估计量和仿射变换误差分布特征模型对结果进行校准，得到态角准确程度；若态角准确程度小于等于阈值，则对目标姿态角度调整，直到最终的姿态角准确程度大于阈值。本发明提高了测绘结果的准确性。

Description

一种用于无人机航拍测绘的图像校准方法
技术领域
本发明涉及无人机测绘技术领域，具体涉及一种用于无人机航拍测绘的图像校准方法。
背景技术
无人机航测成图技术的实现，对于小范围、高标准用图的需求具有重大意义。但是测绘结果一般存在一些误差，这些误差导致测绘结果中每个位置的坐标与实际的坐标产生差异，一个位置坐标的差异可达几米或十几米；当对测绘结果的精度要求高时，这样的误差是不能忽略的，需要进行误差校准。
导致测绘结果存在误差的其中一个原因是：通过对相机采集到的多张图像进行融合以得到测绘的结果时，需要对相机采集的图像进行仿射变换，使采集到的图像处于同一个视角下；进行仿射变换需要获取相机的姿态角，获取的方式是：通过相机的云台控制***获得相机的姿态角；但是获取的相机的姿态角与相机的真实姿态角之间往往存在误差，导致最终得到的测绘结果与实景场景不符，影响了测绘结果的准确度。
发明内容
为了解决无人机航拍测绘得到的测绘结果不准确的问题，本发明的目的在于提供一种用于无人机航拍测绘的图像校准方法，所采用的技术方案具体如下：
本发明的一种用于无人机航拍测绘的图像校准方法包括以下步骤：
获得航拍测绘过程中采集到的各视野区域对应的初始测绘图像，利用目标姿态角度对各初始测绘图像是进行仿射变换，得到各第一测绘图像；
对各第一重合图像进行融合，得到各第一重合图像对应的融合误差分布特征，所述第一重合图像为各第一测绘图像中具有重合视野的任意两个图像；
计算对各第一重合图像进行角点匹配时的角点匹配误差估计量；
根据各第一重合图像对应的融合误差分布特征和对应的角点匹配误差估计量，构建出仿射变换误差分布特征模型；
利用各第一重合图像对应的融合误差分布特征、对应的角点匹配误差估计量和仿射变换误差分布特征模型对仿射变换结果进行校准，得到第一姿态角准确程度；若第一姿态角准确程度小于等于阈值，则对目标姿态角度进行调整；利用调整后的目标姿态角度重新对各初始测绘图像进行仿射变换，得到对应的第二测绘图像；根据各第二测绘图像得到第二姿态角准确程度，若第二姿态角准确程度小于等于阈值，则继续对目标姿态角度进行调整，直到最终的姿态角准确程度大于阈值，利用最终的目标姿态角度得到测绘结果。
优选的，得到各第一重合图像对应的融合误差分布特征的方法包括：
利用角点检测算法获得第一重合图像对应的两个第一测绘图像的所有角点；
利用角点匹配算法将第一重合图像对应的两个第一测绘图像的角点进行匹配，得到对应的角点对；
根据各角点对对应的两个角点的坐标，拟合出第一重合图像对应的融合误差分布特征。
优选的，计算第一重合图像进行角点匹配时的角点匹配误差估计量的方法包括：
获得第一重合图像对应的角点对中的两个角点的描述子；
计算角点对中的两个角点对应的描述子的余弦相似度；
计算第一重合图像对应的所有角点对对应的余弦相似度的均值，得到第一重合图像对应的角点匹配误差估计量。
优选的根据各第一重合图像对应的融合误差分布特征和对应的匹配误差估计量，构建出仿射变换误差分布特征模型的方法包括：
利用聚类算法对第一重合图像对应的融合误差分布特征中的融合向量进行聚类，得到多个类别；
获取第一重合图像对应的各类别中的融合向量的均值和各类别中融合向量的协方差矩阵；
根据第一重合图像对应的中各类别对应的融合向量的均值和融合向量的协方差矩阵，构建各类别对应的多维高斯模型；
根据第一重合图像对应的各类别对应的多维高斯模型，构建第一重合图像对应的高斯混合模型；
根据各第一重合图像对应的高斯混合模型和各第一重合图像对应的角点匹配误差估计量，构建仿射变换误差分布特征模型。
优选的，仿射变换误差分布特征模型的公式为：
Figure 389904DEST_PATH_IMAGE001
其中，
Figure 694328DEST_PATH_IMAGE002
为测绘仿射变换误差的分布特征模型，
Figure 615011DEST_PATH_IMAGE003
为第i个第一测绘图像和第j个第一测绘图像对应的高斯混合模型，
Figure 88848DEST_PATH_IMAGE004
为第i个第一测绘图像和第m个第一测绘图像对应的高斯混合模型,其获取方法与
Figure 231117DEST_PATH_IMAGE003
一样，Q为所有第一测绘图像的个数，
Figure 651251DEST_PATH_IMAGE005
为合理性系数，
Figure 387126DEST_PATH_IMAGE006
为第i个第一测绘图像和第j个第一测绘图像对应的角点匹配误差估计量，
Figure 913922DEST_PATH_IMAGE007
为第i个第一测绘图像和第m个第一测绘图像对应的角点匹配误差估计量。
优选的，第一重合图像对应的高斯混合模型的公式为：
Figure 51642DEST_PATH_IMAGE008
其中，
Figure 123634DEST_PATH_IMAGE003
为第i个第一测绘图像和第j个第一测绘图像对应的高斯混合模型，
Figure 471439DEST_PATH_IMAGE009
为融合向量类别的个数，
Figure 677293DEST_PATH_IMAGE010
为第i个第一测绘图像和第j个第一测绘图像中第p个类别的多维高斯模型。
优选的，第一重合图像对应的角点匹配误差估计量的计算公式为：
Figure 777842DEST_PATH_IMAGE011
其中，
Figure 676527DEST_PATH_IMAGE012
为第i个第一测绘图像和第j个第一测绘图像对应的角点匹配误差估计量，
Figure 246049DEST_PATH_IMAGE013
第i个第一测绘图像和第j个第一测绘图像中所有角点对对应的余弦相似度的均值。
本发明具有如下有益效果：
本发明通过对各第一测绘图像中具有重合视野的图像进行融合，获得融合之后的各第一重合图像对应的融合误差分布特征，然后获得对各第一重合图像进行角点匹配时的角点匹配误差估计量，最后根据各第一重合图像对应的融合误差分布特征和对应的角点匹配误差估计量，构建出仿射变换误差分布特征模型；本发明利用构建的仿射变换误差分布特征模型对当前的仿射变换结果进行校准，得到姿态角准确程度，若姿态角准确程度小于等于阈值，则对目标姿态角度进行调整，直到最终的姿态角准确程度大于阈值，判定最终的目标姿态角度符合标准。本发明根据图像融合过程中的误差分布特征，排除了相机姿态角度的误差，实现了对图像仿射变换结果的校准，提高了测绘结果的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种用于无人机航拍测绘的图像校准方法的流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功能效果，以下结合附图及较佳实施例，对依据本发明提出的一种用于无人机航拍测绘的图像校准方法进行详细说明如下。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明的主要构思是：根据图像融合过程中的误差分布特征和构建的仿射变换误差分布特征模型，对利用目标姿态角度对图像进行仿射变换的结果进行校准，通过不断对目标姿态角度进行调整，以最大限度的排除相机姿态角度不准确而造成的误差，提高测绘结果的准确性。
下面结合附图具体的说明本发明所提供的一种用于无人机航拍测绘的图像校准方法的具体方案。
一种用于无人机航拍测绘的图像校准方法实施例：
如图1所示，本实施例的一种用于无人机航拍测绘的图像校准方法包括以下步骤。
步骤S1，获得航拍测绘过程中采集到的各视野区域对应的初始测绘图像，利用目标姿态角度对各初始测绘图像是进行仿射变换，得到各第一测绘图像。
在无人机航拍测绘时，无人机沿航线采集多张图像，采集完多张图像后对这些图像进行融合，获得一个区域的俯视全景图，这个俯视全景图上能够显示每个位置的实际坐标，即测绘结果。
测绘结果的误差的产生主要来自于图像融合的过程，这些图像是测绘区域中不同位置的图像数据，只要把这些图像融合在一起后再进行一些处理即可获得测绘结果，这些图像的融合过程的具体为：
由于无人机上的相机是以斜视的视角采集图像的，因此每张图像都不是俯视视角，那么为了获得一个区域的俯视全景图，首先将对图像进行仿射变换，即利用仿射变换算法将图像从斜视视角变为俯视视角。在对图像仿射变换时需要用到相机在采集该图像时的姿态数据，所述的姿态数据是指相机的姿态角度（例如相机的仰角），姿态角度可由相机的云台控制***获得。本实施例将获取到的相机姿态角度记为目标姿态角度，所述目标姿态角用于对图像进行仿射变换。
将所有图像都由斜视视角变为俯视视角后，这些图像中的某些图像之间会存在共同的视野，对于两张存在共同视野的图像，利用角点检测算法获得两张图像的角点，然后利用角点匹配算法对两张图像上的角点进行匹配，并根据角点的匹配结果对两张图像进行拼接和融合，进而将两张图像融合在一起。最后利用相同的方法将所有的图像融合在一起，进而获得测绘结果。
本实施例中图像的融合的过程为现有技术，在此就不再赘述。
根据上述可知，这些图像利用目标姿态角进行仿射变换后再通过角点匹配融合在一起获得融合结果，这个过程中由于相机真实的姿态角度与获取到的目标姿态角度可能具有一定差异的，并且图像之间的角点匹配也可能具有误差，这两种误差的结合会导致测绘结果出现误差。
本实施例首先获取所有的初始测绘图像，然后利用目标姿态角度对所有初始测绘图像进行仿射变换，从而将斜视视角的图像变换为俯视视角的图像，得到对应的第一测绘图像。
步骤S2，对各第一重合图像进行融合，得到各第一重合图像对应的融合误差分布特征，所述第一重合图像为各第一测绘图像中具有重合视野的任意两个图像。
本实施例中步骤S1获取了所有的初始测绘图像，并且这些初始测绘图像通过仿射变换变成了俯视角度的图像，即第一测绘图像。仿射变换后需要通过角点匹配，并对匹配的两个角点进行处理，使两个角点的坐标相等，以实现图像的融合，具体为：
如果两张图像是在相邻的位置上采集获得的，那么这两张第一测绘图像具有重合的视野区域，本实施例将具有重合的视野区域的任意两张第一测绘图像记为第一重合图像。本实施例假设第i个第一测绘图像和第j个第一测绘图像具有重合视野，那么分别对两个第一测绘图像使用SIFT角点检测算法，获得第i个第一测绘图像的所有角点和第j个第一测绘图像上的所有角点；然后使用归一化积相关算法（NCC算法）匹配这两张图上的角点，获取多个角点对，本实施例假设获得了N个角点对。
其中角点对的一个角点来自于第i个第一测绘图像，并对应第i个第一测绘图像上的一个像素坐标；另一个角点来自于第j个第一测绘图像，对应第j个第一测绘图像上的一个像素坐标。如果想要把这两张图像融合在一起，首先需要让第i个图像进行平移和缩放，使得每个角点对中的两个角点的像素坐标相等。然后利用基于金字塔的图像融合算法将这两个图像融合成一个大的图像。
本实施例令每个角点对中的两个角点的像素坐标相等方法具体为：设这些角点对中的第i对角点对的两个角点坐标分别为
Figure 599801DEST_PATH_IMAGE014
和
Figure 712114DEST_PATH_IMAGE015
，
Figure 375176DEST_PATH_IMAGE014
和
Figure 684191DEST_PATH_IMAGE016
分别视为二维向量，本实施例中
Figure 231847DEST_PATH_IMAGE014
和
Figure 323300DEST_PATH_IMAGE015
的取值是已知的；设S是一个未知的2×2的缩放矩阵，D是一个未知的二维位移向量，本实施例根据S和D构建出一个平移和缩放的方法：
Figure 563788DEST_PATH_IMAGE017
上式是一个含有未知参数S和D的线性模型，本实施例将第一重合图像的中的所有角点对视为样本数据，即将集合M
Figure 858635DEST_PATH_IMAGE018
视为样本数据，然后利用RANSAC算法根据这些样本数据拟合出S和D的取值。
本实施例获取了集合M中的任意一个子集，然后将这个子集也作为样本数据，利用最小二乘法重新拟合出子集对应的一组缩放矩阵和位移向量；例如，本实施例随机从集合M中选取K个子集，那么就可以获得K个子集对应的K组缩放矩阵和位移向量。本实施例为了方便后续的分析，将一组缩放矩阵和位移向量拼接为一个一维的向量（即将缩放矩阵展平为一维向量，然后和对应的位移向量进行拼接），本实施例将这样的一个向量记为融合向量。本实施例得到了K+1个融合向量，其中包含K个子集可以得到的K个融合向量，还包括整体得到的一个融合向量。
本实施例考虑到理想情况下，如果不存在一点误差的话，那么这K+1个融合向量应该是一样的；但是由于存在误差，会导致这些融合向量不一致、存在差别，本实施例将这样的误差称为融合误差，并且这些误差是由于仿射变换时的误差和角点匹配时的误差叠加而造成的。
本实施例将这K+1个融合向量的集合称为第i个第一测绘图像和第j个第一测绘图像对应的融合误差分布特征
Figure 69036DEST_PATH_IMAGE019
。那么同理本实施例可以获得所有第一重合图像融合时的融合误差分布特征。
步骤S3，计算对各第一重合图像进行角点匹配时的角点匹配误差估计量。
在第一测绘图像进行融合前需要对两张图像的角点进行匹配，但是考虑到一方面由于角点检测具有误差，例如有些图像质量不高，会导致一些角点检测不出；另一方面有些角点再匹配时出现错误，例如两个不该匹配在一起的角点匹配在一起了，或者应该匹配在一起的角点没被匹配在一起；这两个方面的因素加起来就造成了角点的匹配误差。本实施例接下来对角点匹配误差的大小进行计算，具体为：
本实施例首先获取第i个第一测绘图像和第j个第一测绘图像上匹配的所有角点对，即第一重合图像对应的所有角点对，每个角点都对应一个描述子，所述的描述子是一个向量，用于描述角点的特征，相同的角点具有相同的描述子，本实施例使用的是SIFT角点描述子。
然后获取每个角点对中两个角点的描述子，获取这两个描述子的余弦相似度，即角点对对应的余弦相似度；计算所有角点对对应的余弦相似度的均值，记为
Figure 624782DEST_PATH_IMAGE020
，本实施例中
Figure 144494DEST_PATH_IMAGE021
，其中
Figure 175904DEST_PATH_IMAGE022
为第i个第一测绘图像和第j个第一测绘图像对应的角点匹配误差估计量，用于表示角点匹配时的误差量。
本实施例考虑到理想情况下，匹配成一对的角点应该具有相同的描述子，而实际中由于匹配误差的存在使得描述子不同；匹配误差越大，匹配成一对的角点的描述子差别越大，
Figure 65363DEST_PATH_IMAGE013
越小，即
Figure 616561DEST_PATH_IMAGE006
越大，因此可以用
Figure 198852DEST_PATH_IMAGE022
来表示角点匹配的误差的大小，即匹配误差估计量。
步骤S4，根据各第一重合图像对应的融合误差分布特征和对应的角点匹配误差估计量，构建出仿射变换误差分布特征模型。
考虑到利用目标姿态角度把斜视视角的图像仿射变换为俯视视角图像也是可能具有误差的，但是这种误差无法确定；本实施例可以知道的是这种误差的分布情况对每个图像都是一样的，即第i个第一测绘图像的仿射变换误差的分布特征和第j个第一测绘图像仿射变换误差的分布特征是一样的，因为这种误差只取决于相机的姿态角度。而融合误差是匹配误差和仿射变换误差的叠加结果，换句话说就是由于匹配误差和仿射变换误差的存在导致了误差分布特征中的融合向量没有集中在一起而存在差别。据此本实施例接下来对仿射变换误差的分布情况进行分析，具体为：
首先获取第i个第一测绘图像和第j个第一测绘图像对应的融合误差分布特征
Figure 717558DEST_PATH_IMAGE019
，它是多个融合向量的集合。本实施例利用均值漂移聚类算法对
Figure 410707DEST_PATH_IMAGE019
中的融合向量进行聚类，获得对应的多个类别；本实施例假设获得了 P个类别（P有可能等于1），每个类别都是一些融合向量的集合，同一个类别中的融合向量集中分布在一起，说明这些融合向量之间的误差小。
然后从P个类别中获取第p个类别，获取这个类别中的融合向量的均值和类别中融合向量的协方差矩阵，以这个均值和协方差矩阵构建一个多维高斯模型
Figure 46438DEST_PATH_IMAGE023
（这个高斯模型的维度和融合向量的维度一样），然后根据
Figure 924265DEST_PATH_IMAGE019
中各类别对应的多维高斯模型构建一个高斯混合模型
Figure 540054DEST_PATH_IMAGE024
,其中
Figure 912260DEST_PATH_IMAGE025
第i个第一测绘图像和第j个第一测绘图像中第p个类别的多维高斯模型，P为融合向量类别的个数；本实施例中这个高斯混合模型用于表示第i个第一测绘图像和第j个第一测绘图像对应的融合误差的分布情况。
最后本实施例根据所有第一测绘图像中的所有第一重合图像对应的高斯混合模型和对应的角点匹配误差估计量，构建测绘仿射变换误差的分布特征模型为：
Figure 562684DEST_PATH_IMAGE026
其中，
Figure 80253DEST_PATH_IMAGE003
为第i个第一测绘图像和第j个第一测绘图像对应的高斯混合模型，表示的是对应的融合误差的分布情况；
Figure 822819DEST_PATH_IMAGE004
为第i个第一测绘图像和第m个第一测绘图像对应的高斯混合模型，表示的是对应的融合误差的分布情况,其获取方法与
Figure 592192DEST_PATH_IMAGE003
一样；Q为所有第一测绘图像的个数，
Figure 487336DEST_PATH_IMAGE005
为合理性系数，
Figure 926539DEST_PATH_IMAGE022
为第i个第一测绘图像和第j个第一测绘图像对应的角点匹配误差估计量，
Figure 782499DEST_PATH_IMAGE007
为第i个第一测绘图像和第m个第一测绘图像对应的角点匹配误差估计量；
Figure 480197DEST_PATH_IMAGE027
说明第i个第一测绘图像和第j个第一测绘图像是两个不一样的图像；
Figure 950886DEST_PATH_IMAGE028
说明第i个第一测绘图像和第m个第一测绘图像是两个不一样的图像。
Figure 951203DEST_PATH_IMAGE029
为合理性系数，即两个图像融合的合理性，用于反应两个图像之间是否可以融合。当第i个第一测绘图像和第j个第一测绘图像有相同的视野、能够融合时，且第i个第一测绘图像和第m个第一测绘图像有相同的视野、能够融合时
Figure 887935DEST_PATH_IMAGE030
；当第i个第一测绘图像和第j个第一测绘图像没有有相同的视野、不能够融合时，或者说第i个第一测绘图像和第m个第一测绘图像没有有相同的视野、不能够融合时
Figure 405635DEST_PATH_IMAGE031
。
本实施例中第i个第一测绘图像和第j个第一测绘图像的融合误差为第i个第一测绘图像和第j个第一测绘图像的角点匹配误差与仿射变换误差的叠加；同理，第i个第一测绘图像和第m个第一测绘图像的融合误差为第i个第一测绘图像和第m个第一测绘图像的匹配误差与仿射变换误差的叠加；本实施例认为第i个第一测绘图像和第j个第一测绘图像的仿射变换误差与第i个第一测绘图像与第m个第一测绘图像的仿射变换误差分布是一样的。
如果只有仿射变换误差，那么第i个第一测绘图像和第j个第一测绘图像的融合误差的分布情况和第i个第一测绘图像和第m个第一测绘图像的融合误差分布情况是一样的，即对应的高斯混合模型是一样的，等于仿射变换误差；如果只有角点匹配误差，那么第i第一测绘图像和第j个第一测绘图像的融合误差的分布情况
Figure 885158DEST_PATH_IMAGE003
和第i个第一测绘图像和第m个第一测绘图像的融合误差分布情况
Figure 181010DEST_PATH_IMAGE004
是不一样的，因为图像不同，角点匹配的误差分布情况不同；当两者同时存在时，
Figure 854306DEST_PATH_IMAGE003
和
Figure 34751DEST_PATH_IMAGE004
一样的部分可以一定程度表示仿射变换误差，不一样的部分可以一定程度表示角点匹配误差。
Figure 227835DEST_PATH_IMAGE032
表示同时出现在
Figure 445321DEST_PATH_IMAGE003
和
Figure 232011DEST_PATH_IMAGE004
上的融合误差的分布特征，表示的是
Figure 75202DEST_PATH_IMAGE003
和
Figure 634710DEST_PATH_IMAGE004
一样部分的融合误差分布情况，即只存在仿射误差的概率，能够一定程度的描述仿射变换误差的分布情况。
如果
Figure 147731DEST_PATH_IMAGE012
越小，说明第i个第一测绘图像和第j个第一测绘图像的角点匹配误差估计量越小，说明这两个图像的角点匹配结果越准确；同理，如果
Figure 811930DEST_PATH_IMAGE007
越小，说明第i个第一测绘图像和第m个第一测绘图像的角点匹配误差估计量越小，说明这两个图像的角点匹配结果越准确。那么当
Figure 943966DEST_PATH_IMAGE033
越小，则第i个第一测绘图像和第j个第一测绘图像以及第i个第一测绘图像和第m个第一测绘图像的匹配误差都小，那么
Figure 252587DEST_PATH_IMAGE032
就越能描述仿射变换误差的分布情况。
本实施例以
Figure 795564DEST_PATH_IMAGE034
为权重对
Figure 665169DEST_PATH_IMAGE032
加权求和获得的结果就是仿射变换误差的分布特征F。式中
Figure 991108DEST_PATH_IMAGE035
是归一化系数。
本实施例中构建的F也可以看做是一个高斯混合模型，其自变量为融合向量，当把一个融合向量输入到F时，可以获得一个概率，所得到的概率值越大说明这个融合向量越准确，误差越小，越接近真实值。不同的测绘情形下所构建测绘仿射变换误差的分布特征模型是不一样的，因为不同的测绘中无人机设备或者自然环境都会有所不同，所以构建的模型也会有所不同。
步骤S5，利用各第一重合图像对应的融合误差分布特征、对应的角点匹配误差估计量和仿射变换误差分布特征模型对仿射变换结果进行校准，得到第一姿态角准确程度；若第一姿态角准确程度小于等于阈值，则对目标姿态角度进行调整；利用调整后的目标姿态角度重新对各初始测绘图像进行仿射变换，得到对应的第二测绘图像；根据各第二测绘图像得到第二姿态角准确程度，若第二姿态角准确程度小于等于阈值，则继续对目标姿态角度进行调整，直到最终的姿态角准确程度大于阈值，利用最终的目标姿态角度得到测绘结果。
本实施例中最初获得的目标姿态角度往往是不准确，因此需要对目标姿态角进行调整，并利用调整后的姿态角度重新对第i个图像进行仿射变换，将斜视视角图像变为俯视视角图像，并对仿射变换的结果进行校正，具体方法为：
相机在采集每张初始测绘图像的时候相机的姿态角度是一样的，即目标姿态角度是一样的，本实施例将初始获取到的目标姿态角度记为
Figure 13291DEST_PATH_IMAGE036
，该值是从相机云台控制***中读取出来的，但是该值是具可能有误差的，所述误差一方面取决于云台***的精度，另一方面取决于环境干扰；因此若存在误差，则本实施例将对
Figure 9060DEST_PATH_IMAGE036
进行相应的调整。本实施例认为真实值为
Figure 257638DEST_PATH_IMAGE037
，
Figure 980744DEST_PATH_IMAGE038
为一个校准量，是一个标量，本实施例中
Figure 375209DEST_PATH_IMAGE039
是从标准正态分布上随机采样得到的一个值。
本实施例首先利用各第一重合图像对应的融合误差分布特征和对应的角点匹配误差估计量和仿射变换误差分布特征模型对仿射变换进行校准，具体为：将各第一重合图像对应的角点匹配误差估计量和对应的融合误差分布特征中的所有融合向量输入到F中可以获得多个概率，并计算出这些该概率的均值，所述概率的均值表示的是当前目标姿态角度对应的准确程度，即姿态角准确程度，本实施例将由各第一重合图像得到的姿态角准确度记为第一姿态角准确程度；若第一姿态角准确程度大于阈值，判定当前的目标姿态角度接近真实值；若第一姿态角准确程度小于等于阈值，则判定当前目标姿态角度不准确，因此需要对目标姿态角进行调整。
本实施例将
Figure 666513DEST_PATH_IMAGE040
视为调整后的目标姿态角度，并利用调整后的目标姿态角度重新对所有初始测绘图像进行仿射变换，得到对应的第二测绘图像，然后按照步骤S2和步骤S3的方法重新获得第i个第二测绘图像和第j个第二测绘图像的融合误差分布特征和角点匹配误差估计量，即各第二重合图像都对应一个融合误差分布特征和一个角点匹配误差估计量，所述第二重合图像为各第二测绘图像中具有重合视野的两个图像；利用各第二重合图像对应的融合误差分布特征和对应的角点匹配误差估计量并结合仿射变换误差分布特征模型进行校准，计算出第二姿态角准确程度。
判断得到的第二姿态角准确程度是否大于阈值，若大于阈值，则判定当前的调整后的目标姿态角接近真实值；若小于等于阈值，则对目标姿态角继续进行调整，即再次从标准正态分布上随机采样，再次得到
Figure 527022DEST_PATH_IMAGE038
，利用
Figure 804551DEST_PATH_IMAGE038
对目标姿态角度进行调整，再利用调整后的目标姿态角度对初始测绘图像进行仿射变换，直达最终校准的结果（姿态角准确程度）大于阈值为止，本实施例中阈值可根据实际需要进行设置。
本实施例期望获得的
Figure 676692DEST_PATH_IMAGE041
能够令对应的姿态角准确程度尽可能大，这样可以保证所有图像之间融合时获得的融合向量具有尽可能小的误差，从而避免姿态角误差的干扰，使得融合得到的测绘结果更加准确。
因此当得到姿态角准确程度的大于阈值时，可以判定此时的目标姿态角度接近真实值，即仿射变换的结果接近真实情况；本实施例可采用最终得到的目标姿态角度（校准后判定接近真实值的姿态角度）对每张初始测绘图像的进行仿射变换，以得到最终的测绘结果。
本实施例相当于不断目标姿态角进行调整，来对所有初始测绘图像不断进行相应的仿射变换，并不断对仿射变换的结果进行校准，直到姿态角准确程度大于阈值为止，本实施例通过对仿射结果进行校准，以相应的调整目标姿态角度，从而避免由于姿态角的误差而导致最终的融合结果不准确，即导致测绘结果有较大的误差。
本实施例通过对各第一测绘图像中具有重合视野的图像进行融合，获得融合之后的各第一重合图像对应的融合误差分布特征，然后获得对各第一重合图像进行角点匹配时的角点匹配误差估计量，最后根据各第一重合图像对应的融合误差分布特征和对应的角点匹配误差估计量，构建出仿射变换误差分布特征模型；本实施例利用构建的仿射变换误差分布特征模型对当前的仿射变换结果进行校准，得到姿态角准确程度，若姿态角准确程度小于等于阈值，则对目标姿态角度进行调整，直到最终的姿态角准确程度大于阈值，判定最终的目标姿态角度符合标准。本实施例根据图像融合过程中的误差分布特征，排除了相机姿态角度的误差，实现了对图像仿射变换结果的校准，提高了测绘结果的准确性。
需要说明的是：以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种用于无人机航拍测绘的图像校准方法，其特征在于，该方法包括以下步骤：
获得航拍测绘过程中采集到的各视野区域对应的初始测绘图像，利用目标姿态角度对各初始测绘图像是进行仿射变换，得到各第一测绘图像；
对各第一重合图像进行融合，得到各第一重合图像对应的融合误差分布特征，所述第一重合图像为各第一测绘图像中具有重合视野的任意两个图像；
计算对各第一重合图像进行角点匹配时的角点匹配误差估计量；
根据各第一重合图像对应的融合误差分布特征和对应的角点匹配误差估计量，构建出仿射变换误差分布特征模型；
利用各第一重合图像对应的融合误差分布特征、对应的角点匹配误差估计量和仿射变换误差分布特征模型对仿射变换结果进行校准，得到第一姿态角准确程度；若第一姿态角准确程度小于等于阈值，则对目标姿态角度进行调整；利用调整后的目标姿态角度重新对各初始测绘图像进行仿射变换，得到对应的第二测绘图像；根据各第二测绘图像得到第二姿态角准确程度，若第二姿态角准确程度小于等于阈值，则继续对目标姿态角度进行调整，直到最终的姿态角准确程度大于阈值，利用最终的目标姿态角度得到测绘结果。
2.根据权利要求1所述的一种用于无人机航拍测绘的图像校准方法，其特征在于，得到各第一重合图像对应的融合误差分布特征的方法包括：
利用角点检测算法获得第一重合图像对应的两个第一测绘图像的所有角点；
利用角点匹配算法将第一重合图像对应的两个第一测绘图像的角点进行匹配，得到对应的角点对；
根据各角点对对应的两个角点的坐标，拟合出第一重合图像对应的融合误差分布特征。
3.根据权利要求2所述的一种用于无人机航拍测绘的图像校准方法，其特征在于，计算第一重合图像进行角点匹配时的角点匹配误差估计量的方法包括：
获得第一重合图像对应的角点对中的两个角点的描述子；
计算角点对中的两个角点对应的描述子的余弦相似度；
计算第一重合图像对应的所有角点对对应的余弦相似度的均值，得到第一重合图像对应的角点匹配误差估计量。
4.根据权利要求1所述的一种用于无人机航拍测绘的图像校准方法，其特征在于，根据各第一重合图像对应的融合误差分布特征和对应的匹配误差估计量，构建出仿射变换误差分布特征模型的方法包括：
利用聚类算法对第一重合图像对应的融合误差分布特征中的融合向量进行聚类，得到多个类别；
获取第一重合图像对应的各类别中的融合向量的均值和各类别中融合向量的协方差矩阵；
根据第一重合图像对应的中各类别对应的融合向量的均值和融合向量的协方差矩阵，构建各类别对应的多维高斯模型；
根据第一重合图像对应的各类别对应的多维高斯模型，构建第一重合图像对应的高斯混合模型；
根据各第一重合图像对应的高斯混合模型和各第一重合图像对应的角点匹配误差估计量，构建仿射变换误差分布特征模型。
5.根据权利要求4所述的一种用于无人机航拍测绘的图像校准方法，其特征在于，仿射变换误差分布特征模型的公式为：
Figure 209850DEST_PATH_IMAGE001
其中，
Figure 292076DEST_PATH_IMAGE002
为测绘仿射变换误差的分布特征模型，
Figure 484547DEST_PATH_IMAGE003
为第i个第一测绘图像和第j个第一测绘图像对应的高斯混合模型，
Figure 804670DEST_PATH_IMAGE004
为第i个第一测绘图像和第m个第一测绘图像对应的高斯混合模型,其获取方法与
Figure 811678DEST_PATH_IMAGE003
一样，Q为所有第一测绘图像的个数，
Figure 115621DEST_PATH_IMAGE005
为合理性系数，
Figure 872968DEST_PATH_IMAGE006
为第i个第一测绘图像和第j个第一测绘图像对应的角点匹配误差估计量，
Figure 329488DEST_PATH_IMAGE007
为第i个第一测绘图像和第m个第一测绘图像对应的角点匹配误差估计量。
6.根据权利要求5所述的一种用于无人机航拍测绘的图像校准方法，其特征在于，第一重合图像对应的高斯混合模型的公式为：
Figure 992550DEST_PATH_IMAGE008
其中，
Figure 190314DEST_PATH_IMAGE003
为第i个第一测绘图像和第j个第一测绘图像对应的高斯混合模型，
Figure 580713DEST_PATH_IMAGE009
为融合向量类别的个数，
Figure 406586DEST_PATH_IMAGE010
为第i个第一测绘图像和第j个第一测绘图像中第p个类别的多维高斯模型。
7.根据权利要求3所述的一种用于无人机航拍测绘的图像校准方法，其特征在于，第一重合图像对应的角点匹配误差估计量的计算公式为：
Figure 725703DEST_PATH_IMAGE011
其中，
Figure 269817DEST_PATH_IMAGE006
为第i个第一测绘图像和第j个第一测绘图像对应的角点匹配误差估计量，
Figure 621164DEST_PATH_IMAGE012
第i个第一测绘图像和第j个第一测绘图像中所有角点对对应的余弦相似度的均值。
CN202210164317.3A 2022-02-23 2022-02-23 一种用于无人机航拍测绘的图像校准方法 Expired - Fee Related CN114216485B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210164317.3A CN114216485B (zh) 2022-02-23 2022-02-23 一种用于无人机航拍测绘的图像校准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210164317.3A CN114216485B (zh) 2022-02-23 2022-02-23 一种用于无人机航拍测绘的图像校准方法

Publications (2)

Publication Number Publication Date
CN114216485A true CN114216485A (zh) 2022-03-22
CN114216485B CN114216485B (zh) 2022-04-29

Family

ID=80709242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210164317.3A Expired - Fee Related CN114216485B (zh) 2022-02-23 2022-02-23 一种用于无人机航拍测绘的图像校准方法

Country Status (1)

Country Link
CN (1) CN114216485B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511471A (zh) * 2022-04-18 2022-05-17 广州骏天科技有限公司 基于灰度共生矩阵的图像优化方法及***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10340348A (ja) * 1997-06-09 1998-12-22 Ricoh Co Ltd 画像位置合わせ方法、ファックス文字認識方法および記録媒体
US20130308860A1 (en) * 2012-05-16 2013-11-21 Katholieke Universiteit Leuven, K.U. Leuven R&D Feature Detection in Numeric Data
CN105303567A (zh) * 2015-10-16 2016-02-03 浙江工业大学 融合图像尺度不变特征变换和个体熵相关系数的图像配准方法
CN106408597A (zh) * 2016-09-08 2017-02-15 西安电子科技大学 基于邻域熵和一致性检测的sar图像配准方法
CN107610164A (zh) * 2017-09-11 2018-01-19 北京空间飞行器总体设计部 一种基于多特征混合的高分四号影像配准方法
CN109285184A (zh) * 2018-08-29 2019-01-29 三峡大学 基于重心与质心变换的三维点云初始配准算法
CN112611361A (zh) * 2020-12-08 2021-04-06 华南理工大学 一种无人机机载测绘吊舱的摄像头安装误差测定方法
WO2021141920A1 (en) * 2020-01-06 2021-07-15 Intuitive Surgical Operations, Inc. System and method for inter-arm registration
CN113256679A (zh) * 2021-05-13 2021-08-13 湖北工业大学 一种基于车载后视镜***的电子稳像算法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10340348A (ja) * 1997-06-09 1998-12-22 Ricoh Co Ltd 画像位置合わせ方法、ファックス文字認識方法および記録媒体
US20130308860A1 (en) * 2012-05-16 2013-11-21 Katholieke Universiteit Leuven, K.U. Leuven R&D Feature Detection in Numeric Data
CN105303567A (zh) * 2015-10-16 2016-02-03 浙江工业大学 融合图像尺度不变特征变换和个体熵相关系数的图像配准方法
CN106408597A (zh) * 2016-09-08 2017-02-15 西安电子科技大学 基于邻域熵和一致性检测的sar图像配准方法
CN107610164A (zh) * 2017-09-11 2018-01-19 北京空间飞行器总体设计部 一种基于多特征混合的高分四号影像配准方法
CN109285184A (zh) * 2018-08-29 2019-01-29 三峡大学 基于重心与质心变换的三维点云初始配准算法
WO2021141920A1 (en) * 2020-01-06 2021-07-15 Intuitive Surgical Operations, Inc. System and method for inter-arm registration
CN112611361A (zh) * 2020-12-08 2021-04-06 华南理工大学 一种无人机机载测绘吊舱的摄像头安装误差测定方法
CN113256679A (zh) * 2021-05-13 2021-08-13 湖北工业大学 一种基于车载后视镜***的电子稳像算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SISU GANESH等: "RLSAK：A recursive least square approximation with k-means for transformation model estimation in image registration techniques", 《2013 INTERNATIONAL CONFERENCE ON HUMAN COMPUTER INTERACTIONS》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511471A (zh) * 2022-04-18 2022-05-17 广州骏天科技有限公司 基于灰度共生矩阵的图像优化方法及***
CN114511471B (zh) * 2022-04-18 2022-07-01 广州骏天科技有限公司 基于灰度共生矩阵的图像优化方法及***

Also Published As

Publication number Publication date
CN114216485B (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
US6795590B1 (en) SAR and FLIR image registration method
US7333631B2 (en) Landmark, apparatus, and method for effectively determining position of autonomous vehicles
US7376262B2 (en) Method of three dimensional positioning using feature matching
JP7121017B2 (ja) モバイル装置の位置特定方法
Pizarro et al. Relative Pose Estimation for Instrumented, Calibrated Imaging Platforms.
US20150371106A1 (en) Keypoint descriptor generation by complex wavelet analysis
CN114216485B (zh) 一种用于无人机航拍测绘的图像校准方法
CN114022560A (zh) 标定方法及相关装置、设备
CN110631588A (zh) 一种基于rbf网络的无人机视觉导航定位方法
CN111583342B (zh) 一种基于双目视觉的目标快速定位方法及装置
CN108447092B (zh) 视觉定位标识物的方法及装置
CN114529615B (zh) 雷达标定方法、装置及存储介质
CN107452036B (zh) 一种全局最优的光学***位姿计算方法
Krüger Robust and efficient map-to-image registration with line segments
Tsaregorodtsev et al. Extrinsic camera calibration with semantic segmentation
CN113039554A (zh) 用于确定环境地图的方法和装置
CN112767457A (zh) 一种基于主成分分析的平面点云匹配方法及装置
Guerrero et al. Robust line matching and estimate of homographies simultaneously
CN116026340A (zh) 一种适用于多尺度连续变焦条件的室内定位方法
CN116128919A (zh) 基于极线约束的多时相图像异动目标检测方法及***
Layek et al. Remote distance measurement from a single image by automatic detection and perspective correction
Mehrdad et al. Toward real time UAVS’image mosaicking
CN114898144A (zh) 一种基于相机和毫米波雷达数据的自动对齐方法
Taiana et al. 3d tracking by catadioptric vision based on particle filters
Knuth et al. Maximum-likelihood localization of a camera network from heterogeneous relative measurements

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220429