CN115082533B - 一种基于自监督的临近空间遥感图像配准方法 - Google Patents
一种基于自监督的临近空间遥感图像配准方法 Download PDFInfo
- Publication number
- CN115082533B CN115082533B CN202210748938.6A CN202210748938A CN115082533B CN 115082533 B CN115082533 B CN 115082533B CN 202210748938 A CN202210748938 A CN 202210748938A CN 115082533 B CN115082533 B CN 115082533B
- Authority
- CN
- China
- Prior art keywords
- registration
- image
- matching
- feature
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000003287 optical effect Effects 0.000 claims abstract description 50
- 239000011159 matrix material Substances 0.000 claims abstract description 34
- 230000008569 process Effects 0.000 claims abstract description 34
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000012216 screening Methods 0.000 claims abstract description 10
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 18
- 238000005457 optimization Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 8
- 230000001419 dependent effect Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 125000004122 cyclic group Chemical group 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于自监督的临近空间遥感图像配准方法，第一步将需要配准的图像输入到卷积神经网络中得到深度特征进行特征匹配，然后使用RANSAC筛选匹配特征点，估计两图像对之间的单应性矩阵，得到粗配准的图像对；第二步，将粗配准的图像对输入到配准流估计网络中，经过金字塔特征提取和级联的光流推断过程，最终获得基于多尺度的配准流估计结果和像素级匹配掩膜，通过掩膜删除第一步获得的匹配特征点中匹配度高的点再重新计算单应性矩阵，以此迭代配准算法，让它在第一步中发现更多的单应矩阵候选。在每次迭代中，删除了先前矩阵局内点的特征对应，以及先前预测的可匹配掩膜中的位置，然后再重新计算RANSAC，从而获得更优配准结果。
Description
技术领域
本发明涉及数字图像处理技术领域，更具体的说是涉及一种基于自监督的临近空间遥感图像配准方法。
背景技术
临近空间是指距离地面20-100公里的空域，由于其重要的开发以及应用价值而引起了广泛关注。基于临近空间平台的研究，大多以卫星或航空飞机等飞行器的较成熟技术为基础，应用时也大多与其他平台联合使用。临近空间平台所采集的图像，比起卫星图像来说一般空间分辨率更高，成像倾角更广，时间和空间上的自由度更大，可以对卫星图像和航拍图像做有效的补充。
遥感图像配准是指将具有一定重叠区域的图像对集合到同一个坐标系里，使两幅图像中代指空间同一位置的像素点在图像位置上达到最佳对齐，是图像处理和分析的关键技术，并为影像分析、图像检测和遥感图像处理等领域提供技术支持。因为图像传感器类型变化、成像角度差异、障得物遮档、成像时间跨度较长，单独依靠图像给定的地理参考信息不能实现高精度的图像配准。而临近空间平台覆盖区域面积也很大，但临近空间平台可能要受领空权限制，导致侦查时临近空间平台可能会被限制在较大倾角拍摄，引起目标成像失真，同时因平台姿态不够稳定，抖动畸变较大，也存在几何畸变与大气畸变。使用传统的方法进行临近空间遥感图像配准，因为传统特征描述子鲁棒性不强，易受亮度等因素影响，配准效果往往不尽如人意。因此，采用基于深度学习的方法更能适用于多变的特征。但图像存在的更大的倾角和时间跨度，以及获得人工标注数据成本很大。
对于大规模、高分辨率和具有复杂场景的遥感图像数据集进行匹配时，传统算法例如sift(Scale-invariant feature transform)等，难以提取完整的特征信息，受到噪声干扰的影响较大，导致匹配准确率较差，而且传统匹配算法手工设计特征的计算过程较为复杂，计算量较大，使得计算效率不高。基于深度学习的遥感图像配准技术大多采用预训练的特征提取器进行特征提取，然后匹配关键点获得变化矩阵，但这极大受限于矩阵本身，比如常用的单应性矩阵，只有8个自由度，但自然图像畸变原因多样，很难用单一矩阵良好表达。较少一部分方法尝试使用流场来表达两幅遥感图像之间的位移，但这只能应用于较小位移的情况，对于大倾角的临近空间遥感图像往往效果不尽如人意。并且流场对地物变化异常敏感，经常导致计算的流场及配准影像存在异常。对算法要求高。在数据集方面，有监督方法需要大量标注精确的数据，但获得成本过大，并且精确度受人为影响大。无监督或自监督方法是未来重要的研究方向。
因此，如何有效提高空间遥感图像配重的效率和效果是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于自监督的临近空间遥感图像配准方法，提升临近空间遥感图像配准效果和配准效率。
为了实现上述目的，本发明采用如下技术方案：
一种基于自监督的临近空间遥感图像配准方法，包括以下步骤：
步骤1：采集临近空间遥感图像，获得待配准图像对；待配准图像对包括得匹配图像和目标图像；
步骤2：对待配准图像对采用预训练的深度卷积神经网络进行特征匹配，获得匹配点，并根据匹配点计算待配准图像对之间的单应性矩阵，根据单应性矩阵进行粗配准，获得粗配准图像对，包括粗匹配结果图CI1和目标图像CI2；
步骤21：采用预训练的深度卷积神经网络提取图像对待配准图像对的图像特征，并利用余弦相似性获得待配准图像对之间匹配的特征点对，深度卷积神经网络可以采用Resnet-50骨干网络；
步骤22：采用RANSAC算法筛选误匹配的特征点对，使用剩余匹配正确的点构建单应性矩阵，获得候选单应性矩阵变化；
步骤23：根据单应性矩阵对待配准图像对进行粗配准，生成粗匹配结果图；
步骤3：获取若干组待配准图像对构成训练数据集，经过步骤2的粗匹配过程进行预处理，然后将预处理后的粗配准图像对输入到细匹配光流推理网络中进行自监督训练优化，获得优化后细匹配光流推理网络，使其可以输出细配准流场和像素级的点匹配度掩膜；细配准流场包括粗配准图像对之间点的对应关系，以及对应点之间的光流；
步骤31：将粗匹配结果图CI1与目标图像CI2输入金字塔特征提取网络，获得若干层特征金字塔Fk(CIi)；
金字塔特征提取网络是一个双流网络，其中卷积层权重在两个流之间共享，每一个都充当特征描述符提取特征，将粗匹配结果图CIi变为多尺度高维特征{Fk(CIi)}的金字塔，从最高空间分辨率(k＝1)到最低空间分辨率(k＝L)，k表示金字塔等级；
步骤32：将若干层特征金字塔输入配准流估计网络中，估计获得细配准流场，将最后一层特征金字塔F3(CIi)输入到掩膜估计网络中获得掩膜；
配准流估计网络包括若干个级联的配准流推理网络和正则化过程；级联配准流推理网络进行光流推理，先随机初始化光流场作为初始光流场，此处也可以加入一些先验信息，譬如已知相机向左运动，那光流场设定左移向量；然后通过最后一层级联推理模块(第三层级联推理模块)和目标图像金字塔特征图F3(CI2)匹配获得本级配准流场，输入到下一级配准流推理模块中，以此级联推理；
每一层级的具体过程为：
步骤321：每一层级k将上一层级获得的配准流场应用于对应层级特征金字塔层级的待配准图像特征图Fk(CI1)，获得进一步配准的特征图然后和当前层级的目标图像特征图Fk(CI2)计算像素级点匹配率，并输入卷积层获得像素级剩余光流场/>点匹配率计算公式为：
通过计算第k层进一步配准特征图点(a,b)和目标图像特征图Fk(CI2)点(m,n)之间的余弦距离获得点匹配率C；
步骤322：将像素级剩余光流场和上一层级获得的配准流场叠加重新应用于待配准图像特征图，获得更进一步配准特征图；
步骤323：将更进一步配准特征图和目标图像特征图、像素级剩余光流场合并输入到卷积层中，最小化更进一步配准特征图和目标图像特征图之间的特征空间距离获得子像素级剩余流场此为第k层获得的配准流场，经过正则化后即可输入到下一层进行级联，所有层级级联结束获得细配准流场；
则每一层级获得的配准流场表示为：
其中，为本层获得的配准流场，/>为上一层上采样后的配准流场，/>为步骤321中获得的像素级剩余光流场；/>为步骤323中获得的子像素级剩余流场；
步骤33：将粗匹配结果图与目标图像根据细配准流场进行配准，获得配准结果；
步骤34：基于损失函数进行自监督训练优化金字塔特征提取网络和级联配准流估计网络构成的细匹配光流推理网络，获得优化后细匹配光流推理网络；
对细匹配光流推理网络进行自监督训练优化的具体过程为：
步骤341：损失函数包括三个部分，首先通过特征扭曲来减少每一层级待配准图像特征图F1(CI1)和目标图像特征图F1(CI2)之间的特征空间距离，强制优化特征空间而不直接优化输入的待匹配图像对，可以有效削弱图像光度等变换的影响；
基于细匹配光流推理网络输出的细配准流场，将待配准图像特征图F1(CI1)扭曲到F1(CI1)′，然后制定一个包含公式(5)中的掩膜的三元组损失：
步骤342：使用特征依赖损失函数来保留学习特征的扭曲变换等变，即先通过特征提取再进行光流变换，和先通过光流变换再进行特征提取最终获得的结果一致，不受先后顺序的影响，提取特征过程不受输入影响，粗匹配结果图CI1和目标图像CI2的特征依赖损失函数表示为：
其中f(.)表示金字塔特征提取过程，W12(.)是将细配准流场应用于图的过程，以及粗匹配结果图CI1与目标图像CI2；
步骤343：将掩膜作为匹配度，由于两幅输入图像之间的匹配性一致，两幅输入图像之间的光流互为逆变换，则掩膜/>表示粗匹配结果图CI1中位置(x,y)和目标图像CI2中位置(x’,y’)的循环一致的匹配性，表达式为：
其中，M2→1是从CI2到CI1预测的点匹配性；M1→2是从CI1到CI2预测的点匹配性；只有当粗匹配结果图和目标图像中对应像素的匹配性都很高时，才会很高；
由于两幅输入图像之间的匹配性应该是一致的，从CI1到CI2计算的光流和从CI2到CI1计算的光流应该互为逆变换，从CI1到CI2和从CI2到CI1的匹配过程一致，都具有高的匹配度，匹配度可以看做是公式(3)和(4)中的像素级权重，因此定义了在CI1中的位置(x,y)和CI2中的位置(x’,y’)的循环一致的匹配性；
步骤344：加入匹配性损失函数令掩膜趋近于1，粗匹配结果图CI1和目标图像CI2的匹配性损失函数的表达式为：
添加损失Lm降低匹配度，从而减小损失函数，通过梯度下降法使损失函数下降，优化细匹配光流推理网络；优化过程中(3)和(4)倾向于使匹配度靠近零从而减小损失函数，所以添加损失Lm使网络优化过程中倾向于匹配度/>为1，公式为：
步骤345：将三元组损失、特征依赖损失函数和匹配性损失函数进行加权相加，获得总损失函数，表达式为：
因此总的损失函数为：
λ和μ为训练时设定的超参数；通过梯度下降法使损失函数下降，优化细匹配光流推理网络，训练时细匹配光流推理网络即整个精细对齐网络是使用Adam优化器从随机初始化中学习出来的，学习速率为2e-4，动量项β1，β2设置为0.5，0.999；
上式中的12指代和中一致，均指输入粗匹配结果图CI1和目标图像CI2，例如：
步骤4：推理过程；将步骤2中的粗配准图像对输入优化后细匹配光流推理网络，获得细配准流场，并根据细配准流场将粗配准图像对中的粗匹配结果图与目标图像进行配准，获得配准结果和掩膜；
将待配准图像对进行粗匹配过程(即步骤2)获得粗匹配结果图和目标图像，然后经过细匹配光流推理网络(即步骤3中训练优化后的网络)，获得细配准流场，根据细配准流场将粗匹配结果图与目标图像进行配准，获得配准结果和掩膜；
步骤5：根据掩膜筛选所述步骤2中的匹配点，删除对应的单应性矩阵局内点的特征对应，并返回所述步骤2重新计算单应性矩阵，直至重复循环n次，将每次重复循环获得的所述配准结果进行合并，获得最终结果图。循环次数n取值范围为1～3。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于自监督的临近空间遥感图像配准方法，将其应用于获得的临近空间遥感图像中。通过两步骤的优劣互补，有效避免单一步骤的缺点。整体来说，设计了一个具有两步骤的网络框架，第一步将需要配准的图像输入到卷积神经网络中得到深度特征进行特征匹配，然后使用RANSAC筛选匹配特征点，估计两图像对之间的单应性矩阵，得到粗配准的图像对，卷积神经网络可以是许多先前方法中使用的残差网络，如Resnet18，Resnet50；第二步，将粗配准的图像对输入到配准流估计网络中，经过金字塔特征提取和级联的光流推断过程，最终获得基于多尺度的配准流估计结果。然后迭代配准算法，让它在第一步中发现更多的单应矩阵候选。在每一次迭代中，删除了先前矩阵局内点的特征对应，以及先前预测的可匹配掩码中的位置，然后再次重新计算RANSAC，从而获得更优配准结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为本发明提供的结构示意图；
图2附图为本发明提供的ResNet-50的Backbone结构示意图；
图3附图为本发明提供的级联配准流推理模块结构示意图；
图4附图为本发明提供的实施例待配准图像对图像示意图；
图5附图为本发明提供的粗配准效果示意图；
图6附图为本发明提供的实施例细配准效果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于自监督的临近空间遥感图像配准方法，具体步骤如下：
S1：采集临近空间遥感图像，获得待配准图像对，待配准图像对包括得匹配图像和目标图像；
S2：对待配准图像对用深度卷积神经网络进行特征匹配，并建立待配准图像对之间的单应性矩阵，根据单应性矩阵进行粗配准，获得粗配准图像对，包括粗匹配结果图CI1和目标图像CI2；
S3：训练阶段，先将数据集经过粗匹配过程(即S2)进行预处理，然后将图像对输入到细匹配光流推理网络中计算损失函数进行自监督训练优化，获得优化后的深度卷积神经网络，使其可以输出细配准流场和像素级的点匹配度掩膜，配准流场包括图像对之间点的对应关系，以及对应点之间的光流；
S4：推理阶段，待配准图像对经过粗匹配过程(即S2)获得粗匹配结果图和目标图像，然后经过细匹配光流推理网络(即金字塔特征提取网络和级联配准流估计网络)，获得细配准流场，根据细配准流场将粗匹配结果图与目标图像进行配准，获得配准结果和掩膜；
S5：利用S4输出的掩膜筛选匹配点，删除先前矩阵局内点的特征对应，返回S2重新计算单应性矩阵，循环1到3次，将获得的结果图合并获得最终结果图。
实施例
(1)采集数据；
临近空间所采集的图像具有的特点，很大程度上取决于采用的飞行器所具有的运行特征，目前主要运行的临近空间飞行器主要有浮空气球，美国也在开发能长期留空的飞艇。总的来说，它们拍摄时都以定点拍摄为主，即飞行器固定在临近空间某一指定位置，对于其感兴趣的区域进行较长时间跨度的目标侦察，目标很可能存在较大外观变化。期间由于可能存在的领空限制，成像存在大倾角问题。表1给出处于不同高度的临近空间遥感平台进行拍摄时，平台视场角以及俯仰角关系。
表1临近空间平台俯仰角和视场角关系
| 平台 | 俯仰角 | 视场 |
| 20 | 78.69 | 30 |
| 30 | 73.3 | 30 |
| 40 | 68.2 | 30 |
| 50 | 63.43 | 30 |
| 60 | 60 | 30 |
| 100 | 45 | 30 |
一般可见光传感器的分辨率直接取决于摄像机焦距以及拍摄位置与目标距离的比例关系。
(2)将获得图像对设定为待匹配图像I1和目标图像I2输入到网络中，获得两幅图像之间的配准流场，得到待匹配图像I1上的点X＝(x，y)和目标图像I2上的对应点Xs＝(xs，ys)，以及两点之间的光流其中/>
(3)粗配准；
粗配准过程中提取图像特征，获得两幅图像对之间匹配的特征点对，然后使用RANSAC筛选误匹配的特征点对，得到候选单应性矩阵变化，生成粗匹配的结果图。先进行这一过程是因为光流估计原理本身的限制，如果将大倾角有较大外观变换的图像直接输入到后续细配准网络中，会很难获得匹配准确的结果图。
由于残差网络在检测任务中展现了出色的准确性和快速性，我们将采用预训练的Resnet50的骨干网络作为特征提取器，以提取待匹配图像和目标图像的特征。整体架构如图2所示。
使用预训练的深层特征(ResNet-50网络的Conv4层)来获得这些对应。其中在不同的尺度上进行特征匹配是至关重要的，对于高分辨率的遥感图像精细匹配尤为重要。所以过程中固定了每个图像的纵横比，并在七个尺度上提取特征：0.5、0.6、0.88、1、1.33、1.66和2。不对称一致的匹配被丢弃。将估计的单应性矩阵应用于源图像，并将结果与目标图像一起给出，作为细配准的输入CI1和CI2。
(4)细配准
细配准网络由两个次一级子网络构成，专门用于金字塔特征提取和配准流估计，如上图1所示。在特征提取时特征图的空间维度下降，在配准流估计时配准流空间维度增加。金字塔特征提取网络将任何给定的图像对转换为两个具有多尺度高维特征的特征金字塔，易于利用上下文信息。配准流估计网络由几个级联配准流推理版块和正则化版块组成，用于估计从粗到细的流场。在增加较小计算量的情况下，使网络对于尺度变换更具有鲁棒性，也更有利于临近空间图像和卫星遥感图像等不同尺度图像的信息融合。
如图1所示，金字塔特征提取网络是一个双流网络，其中卷积层权重在两个流之间共享，每一个都充当特征描述符提取特征，将粗匹配结果图CIi变为多尺度高维特征{Fk(CIi)}的金字塔，从最高空间分辨率(k＝1)到最低空间分辨率(k＝L)，k表示金字塔等级；图1中展示的是三层特征金字塔示例F1(CIi)-F3(CIi)；
级联配准流推理模块的整体架构如图3所示，展示的为三级级联示意图。
光流推理模块整体有两个步骤，每一层级k将上一层级获得的配准流应用于对应特征金字塔层级的待配准图像特征图Fk(CI1)，获得进一步配准的特征图然后和目标图像特征图Fk(CI2)计算像素级点匹配率，并输入卷积层获得像素级剩余光流场/>然后将此光流场和上一层级获得的配准流叠加重新应用于Fk(CI1)，获得/>将和特征图Fk(CI2)、/>合并输入到卷积层中，最小化/>和Fk(CI2)之间的特征空间距离获得子像素级配准流场。最终流场为：
其中，为本层获得的配准流，/>为上一层上采样后的配准流，/>为本k层获得的像素级剩余光流场，/>为本k层获得的子像素级剩余流场。此为第k层获得的配准流，经过正则化后即可输入到下一层进行级联，构成整个细匹配网络。
(5)训练优化细匹配网络
过程是对细匹配深度卷积神经网络的自监督训练来实现。
计算损失函数梯度回传进行训练优化，损失函数包括三个部分，首先通过特征扭曲来减少F1(CI1)和F1(CI2)之间的特征空间距离，强制优化特征空间而不直接优化输入的待匹配图像对，可以有效削弱图像光度等变换的影响；
基于网络输出的细配准流场，将特征图F1(CI1)扭曲到F1(CI1)′，然后制定一个包含公式(5)中的掩膜的三元组损失：
然后使用特征依赖损失函数来保留学习特征的扭曲变换等变，这意味着如果我们交换特征扭曲变换和特征提取操作的顺序，该特征应该大致相同：
其中f(.)表示金字塔特征提取过程，W12(.)是将细配准流场应用于图的过程，以及粗匹配结果图CI1与目标图像CI2；
还定义了循环一致性损失，使得从CI1到CI2和从CI2到CI1的匹配过程一致，都具有高的匹配度，匹配度可以看做是公式(3)和(4)中的像素级权重，定义为：
优化过程中(3)和(4)倾向于使匹配度靠近零从而减小损失函数，所以添加损失Lm使网络优化过程中倾向于匹配度为1，如公式(6)所示：
因此总的损失函数为：
(6)迭代获得更多候选单应性矩阵
推理阶段，将待配准图像对经过粗匹配过程获得粗匹配结果图和目标图像，然后经过细匹配光流推理网络(即金字塔特征提取网络和级联配准流估计网络)，获得细配准流场，根据细配准流场将粗匹配结果图与目标图像进行配准，获得配准结果和掩膜；
利用细匹配网络输出的掩膜筛选匹配点，删除先前矩阵局内点的特征对应，返回粗匹配过程重新计算单应性矩阵，循环1到3次，将获得的结果图合并获得最终结果图。
(7)试验验证效果
将本发明的一种基于自监督的临近空间遥感图像配准方法，应用于获得的临近空间遥感图像中。在实验部分所使用的图像为临近遥感图像和部分遥感卫星图像，以期算法可以有效处理不同分辨率和畸变的图像，共计1000对测试图像。
评价指标为RMSE、PSNR和SSIM，其中PSNR和SSIM越高表明图像差异越小，RMSE则是越低，表明图像相似度越高。本发明方法与其他传统方法的对比数据如下表2所示。
表2本发明方法同其他方法对比
从表中可以看出，本发明方法对比其他方法均获得更好的指标，配准精确度均更高。本发明图像配准效果图如图4-6所示，其中，图4(a)为目标图像，图4(b)为待匹配图像；图5(a)为待匹配图像粗配准后变换图像，图5(b)为粗配准后和目标图像叠加显示效果；图6(a)为待匹配图像粗配准后变换图像；图6(b)为细配准后和目标图像叠加显示效果。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (3)
1.一种基于自监督的临近空间遥感图像配准方法，其特征在于，包括以下步骤：
步骤1：采集临近空间遥感图像，获得待配准图像对；待配准图像对包括待匹配图像和目标图像；
步骤2：对待配准图像对采用预训练的深度卷积神经网络进行特征匹配，获得匹配点，并根据匹配点计算待配准图像对之间的单应性矩阵，根据单应性矩阵进行粗配准，获得粗配准图像对，包括粗匹配结果图和目标图像；
步骤3：获取训练数据集，经过步骤2预处理后对细匹配光流推理网络进行训练，获得优化后细匹配光流推理网络；
步骤31：将粗匹配结果图CI1与目标图像CI2输入金字塔特征提取网络，获得若干层特征金字塔；
步骤32：将若干层特征金字塔输入级联配准流估计网络中，估计获得细配准流场，将最后一层特征金字塔输入到掩膜估计网络中获得掩膜；
级联配准流估计网络包括若干级联配准流推理网络和正则化过程；级联配准流推理网络进行光流推理，具体过程为：
步骤321：每一层级k将上一层级获得的配准流场上采样后，应用于本层级k对应的特征金字塔的待配准图像特征图Fk(CI1)，获得进一步配准特征图然后和当前层级的目标图像特征图Fk(CI2)计算像素级点匹配率，并输入卷积层评估特征点对应情况，筛选匹配度高的点作为对应点，获得像素级剩余光流场/>点匹配率计算公式为：
通过计算第k层进一步配准特征图点(a,b)和目标图像特征图Fk(CI2)点(m,n)之间的余弦距离获得点匹配率C；
步骤322：将像素级剩余光流场和上一层级获得的配准流场叠加重新应用于待配准图像特征图，获得更进一步配准特征图；
步骤323：将更进一步配准特征图和目标图像特征图、像素级剩余光流场合并输入到卷积层中，最小化更进一步配准特征图和目标图像特征图之间的特征空间距离获得子像素级剩余流场此为第k层配准流场，经过正则化后输入到下一层进行级联，所有层级级联结束获得细配准流场；
则每一层级获得的配准流场表示为：
其中，为本层获得的配准流场；/>为上一层上采样后的配准流场；/>为像素级剩余光流场；/>为子像素级剩余流场；
步骤33：将粗匹配结果图与目标图像根据细配准流场进行配准，获得配准结果；
步骤34：基于损失函数进行自监督训练优化金字塔特征提取网络和级联配准流估计网络构成的细匹配光流推理网络，获得优化后细匹配光流推理网络；
步骤4：将步骤2中的粗配准图像对输入优化后细匹配光流推理网络，获得细配准流场，并根据细配准流场将粗配准图像对中的粗匹配结果图与目标图像进行配准，获得配准结果和掩膜；
步骤5：根据掩膜筛选所述步骤2中的匹配点，删除对应的单应性矩阵局内点的特征对应，并返回所述步骤2重新计算单应性矩阵，直至重复循环n次，将每次重复循环获得的所述配准结果进行合并，获得最终结果图。
2.根据权利要求1所述的一种基于自监督的临近空间遥感图像配准方法，其特征在于，所述步骤2的具体实现过程为：
步骤21：采用预训练的深度卷积神经网络提取待配准图像对的图像特征，并利用余弦相似性获得待配准图像对之间匹配的特征点对；
步骤22：采用RANSAC算法筛选误匹配的特征点对，使用剩余匹配正确的点构建单应性矩阵，获得候选单应性矩阵变化；
步骤23：根据单应性矩阵对待配准图像对进行粗配准，生成粗匹配结果图。
3.根据权利要求1所述的一种基于自监督的临近空间遥感图像配准方法，其特征在于，所述步骤3中细匹配光流推理网络进行自监督训练优化的具体实现过程为：
步骤341：损失函数包括三个部分，首先通过特征扭曲来减少每一层级待配准图像特征图和目标图像特征图之间的特征空间距离；
基于细匹配光流推理网络输出的细配准流场，将待配准图像特征图F1(CI1)扭曲到F1(CI1)'，设置掩膜表示粗匹配结果图CI1和目标图像CI2的三元组损失：
步骤342：使用特征依赖损失函数来保留学习特征的扭曲变换等变，粗匹配结果图CI1和目标图像CI2的特征依赖损失函数表示为：
其中f(.)表示金字塔特征提取过程，W12(.)是将细配准流场应用于图的过程；
步骤343：将掩膜作为匹配度，由于两幅输入图像之间的匹配性一致，两幅输入图像之间的光流互为逆变换，则掩膜/>表示粗匹配结果图CI1中位置(x,y)和目标图像CI2中位置(x’,y’)的循环一致的匹配性，表达式为：
其中，M2→1是从CI2到CI1预测的点匹配性；M1→2是从CI1到CI2预测的点匹配性；
步骤344：加入匹配性损失函数令掩膜趋近于1，粗匹配结果图CI1和目标图像CI2的匹配性损失函数的表达式为：
步骤345：将三元组损失、特征依赖损失函数和匹配性损失函数进行加权相加，获得总损失函数，表达式为：
λ和μ为训练时设定的超参数；通过梯度下降法使损失函数下降，优化细匹配光流推理网络，训练细匹配光流推理网络使用Adam优化器从随机初始化中学习出来，获得优化后细匹配光流推理网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210748938.6A CN115082533B (zh) | 2022-06-28 | 2022-06-28 | 一种基于自监督的临近空间遥感图像配准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210748938.6A CN115082533B (zh) | 2022-06-28 | 2022-06-28 | 一种基于自监督的临近空间遥感图像配准方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115082533A CN115082533A (zh) | 2022-09-20 |
| CN115082533B true CN115082533B (zh) | 2024-05-28 |
Family
ID=83255688
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210748938.6A Active CN115082533B (zh) | 2022-06-28 | 2022-06-28 | 一种基于自监督的临近空间遥感图像配准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115082533B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117172255B (zh) * | 2023-11-02 | 2024-02-02 | 中国科学院空天信息创新研究院 | 考虑空间语义关系的地理实体对齐方法、装置及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017121058A1 (zh) * | 2016-01-13 | 2017-07-20 | 南京大学 | 一种全光信息采集*** |
| CN112561973A (zh) * | 2020-12-23 | 2021-03-26 | 维沃移动通信有限公司 | 训练图像配准模型的方法、装置和电子设备 |
| CN114049335A (zh) * | 2021-11-18 | 2022-02-15 | 感知天下(北京)信息科技有限公司 | 一种基于时空注意力的遥感影像变化检测方法 |
| CN114429555A (zh) * | 2022-01-20 | 2022-05-03 | 中国科学技术大学 | 由粗到细的图像稠密匹配方法、***、设备及存储介质 |
-
2022
- 2022-06-28 CN CN202210748938.6A patent/CN115082533B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017121058A1 (zh) * | 2016-01-13 | 2017-07-20 | 南京大学 | 一种全光信息采集*** |
| CN112561973A (zh) * | 2020-12-23 | 2021-03-26 | 维沃移动通信有限公司 | 训练图像配准模型的方法、装置和电子设备 |
| CN114049335A (zh) * | 2021-11-18 | 2022-02-15 | 感知天下(北京)信息科技有限公司 | 一种基于时空注意力的遥感影像变化检测方法 |
| CN114429555A (zh) * | 2022-01-20 | 2022-05-03 | 中国科学技术大学 | 由粗到细的图像稠密匹配方法、***、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115082533A (zh) | 2022-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110020651B (zh) | 基于深度学习网络的车牌检测定位方法 | |
| CN108665496B (zh) | 一种基于深度学习的端到端的语义即时定位与建图方法 | |
| Chen et al. | Target classification using the deep convolutional networks for SAR images | |
| CN108108746B (zh) | 基于Caffe深度学习框架的车牌字符识别方法 | |
| CN105930868B (zh) | 一种基于层次化增强学习的低分辨率机场目标检测方法 | |
| CN110287826B (zh) | 一种基于注意力机制的视频目标检测方法 | |
| CN108564025A (zh) | 一种基于可变形卷积神经网络的红外图像物体识别方法 | |
| CN107025440A (zh) | 一种基于新型卷积神经网络的遥感图像道路提取方法 | |
| CN108416292B (zh) | 一种基于深度学习的无人机航拍图像道路提取方法 | |
| CN109767454B (zh) | 基于时-空-频显著性的无人机航拍视频运动目标检测方法 | |
| CN108961286B (zh) | 一种顾及建筑物三维及边缘形状特征的无人机影像分割方法 | |
| CN113052106B (zh) | 一种基于PSPNet网络的飞机起降跑道识别方法 | |
| CN109376641B (zh) | 一种基于无人机航拍视频的运动车辆检测方法 | |
| CN110414616B (zh) | 一种利用空间关系的遥感图像字典学习分类方法 | |
| CN109635726B (zh) | 一种基于对称式深度网络结合多尺度池化的滑坡识别方法 | |
| CN114972748B (zh) | 一种可解释边缘注意力和灰度量化网络的红外语义分割方法 | |
| CN113838064B (zh) | 一种基于分支gan使用多时相遥感数据的云去除方法 | |
| CN113344103B (zh) | 基于超图卷积神经网络的高光谱遥感图像地物分类方法 | |
| Kwan et al. | Compressive vehicle tracking using deep learning | |
| CN108460400A (zh) | 一种结合多种特征信息的高光谱图像分类方法 | |
| CN115082533B (zh) | 一种基于自监督的临近空间遥感图像配准方法 | |
| CN112560717A (zh) | 一种基于深度学习的车道线检测方法 | |
| CN115240072A (zh) | 一种基于多方向多尺度光谱-空间残差卷积神经网络的高光谱多类变化检测方法 | |
| US20220335572A1 (en) | Semantically accurate super-resolution generative adversarial networks | |
| Wei et al. | A new semantic segmentation model for remote sensing images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |