CN114612734B - 遥感影像特征匹配方法、装置、存储介质及计算机设备 - Google Patents

Abstract

本发明提供了一种遥感影像特征匹配方法及相关装置，匹配方法包括采集双时相遥感影像，分别提取双时相遥感影像中的特征点信息，将特征点信息输入到图神经网络结构中，经过自我注意力以及交叉注意力若干交替更新，得到最终用于匹配的匹配描述向量，采用内积运算计算匹配矩阵，计算最优匹配结果P实现特征点匹配过程；采用负对数似然函数作为损失函数，进行特征匹配训练。与NN策略的匹配方法相比，匹配性能提高30％左右。

Description

遥感影像特征匹配方法、装置、存储介质及计算机设备

技术领域

本发明涉及遥感领域，特别地，涉及遥感影像三维建模领域。

背景技术

精细的三维模型兼具影像产品表达信息直观、形象的特性以及地形图的三维可量测等特点，被广泛应用于智慧城市、实景导航、古建文物保护、军事应用等多个领域。同时三维模型是实景中国建设的重要内容。传统的特征匹配分为五个过程，提取特征点，计算描述子，最近邻匹配，滤除外点以及求解几何约束等，但这些匹配算法很大程度上依赖于NN策略，在做匹配时并没有考虑特征的结构相似性以及外观相似性等。

为此急需一种能够解决上述技术问题的满足大规模三维建模的应用需求的遥感影像特征匹配的技术方案。

发明内容

为此，发明了一种基于图神经网络的遥感影像特征匹配方法，该方法中图神经网络能够在两个图或多个图之间建立节点与节点之间的对应关系，因此将其用于求解两个图像之间，关键点到关键点的匹配关系。在图神经网络当中，将每幅图像中待匹配的关键点作为图的节点，节点与节点之间的连接包括图像内部节点之间的连接以及本图节点与另外一张图像节点之间的连接，前者称为自我注意力阶段，后者称为交叉注意力阶段，通过不断的交替更新，最终得到用于匹配的特征向量。这种方法能大幅提高匹配性能。

本发明实施例提供了一种遥感影像特征匹配方法，包括：

步骤一，选定卫星影像下的待采集区域，分别采集2个时相下该区域的卫星影像，得到双时相遥感影像；

步骤二，分别提取双时相遥感影像中的特征点(x,y)，每个特征点有对应的特征点提取置信度即特征点得分(score)以及特征点描述子(d)，其中时相1中的特征点集表示为M，时相2中的特征点集表示为N；

步骤三，对上述步骤二中提取到的M以及N的特征点集求并集得到MN，作为双时相影像特征点的真实值，求MN与N的差作为时相1中没有对应匹配点的点集I，求MN与M的差作为时相2中没有对应匹配点的点集J；

步骤四，将步骤二中提取的特征点坐标(x,y)，特征点得分(score)以及特征点描述子(d)进行编码融合生成新的特征x_i；

步骤五，将步骤四生成的特征x_i输入到图神经网络结构中，经过自我注意力以及交叉注意力若干交替更新L次后，得到最终用于匹配的匹配描述向量如下所示：

其中W表示图神经网络过程中的权重，b表示偏置向，M代表时相1中的特征点集，N代表时相2中的特征点集，i代表时相1中的任一特征点，j代表时相2中的任一特征点，

代表时相1中的任一特征点经编码融合后产生的新的特征点，

代表时相2中的任一特征点经编码融合后产生的新的特征，f_i ^M表示时相1的影像经图神经网络后产生的匹配描述向量，f_j ^N表示时相2的影像经图神经网络后产生的新的匹配描述向量，L代表自我注意力以及交叉注意力更新的层。

步骤六，根据步骤五输出的用于匹配的匹配描述向量，采用内积运算计算匹配矩阵S如下:

其中S_i，j表示两个时相中任一两个匹配点在匹配矩阵S中的具体值；

步骤七，采用Sinkhorn算法计算最优匹配结果P，实现特征点匹配过程；

步骤八，整个过程中采用负对数似然函数作为损失函数，进行特征匹配训练，

将时相1以及时相2特征点集的并集作为真值，最终设计的损失函数如下所示：

其中MN表示匹配的真值，M表示时相1中的特征点集，N表示时相2中的特征点集，I，J表示时相1和时相2影像中没有对应匹配点的点集。

可选的，所述步骤一中的还包括对采集的2个时相的影像进行影像配准处理，获得严格配准的双时相影像若干对。

可选的，所述步骤四中，所述编码融合后的新的特征x_i经编码融合公式计算得到：

x_i＝d_i+MLP_enc(p_i)

其中d_i为任一特征点的特征描述向量，p_i为任一特征点的位置坐标(x,y)及对应的特征点得分score得到，MLP为一个多层感知机构成的编码器，x_i为编码融合后产生的新的特征。

可选的，所述步骤二中特征点以及描述子提取时采用传统的sift特征，或采用深度学习superpoint特征。

本发明的另一方面提供了一种遥感影像特征匹配装置，包括，

采集模块，用于选定卫星影像下的待采集区域，分别采集2个时相下该区域的卫星影像，得到双时相遥感影像；

特征点提取模块，用于分别提取双时相遥感影像中的特征点(x,y)，每个特征点有对应的特征点提取置信度即特征点得分(score)以及特征点描述子(d)，其中时相1中的特征点集表示为M，时相2中的特征点集表示为N；

对提取到的M以及N的特征点集求并集得到MN，作为双时相影像特征点的真实值，求MN与N的差作为时相1中没有对应匹配点的点集I，求MN与M的差作为时相2中没有对应匹配点的点集J；

编码融合模块，用于将提取的特征点坐标(x,y)，特征点得分(score)以及特征点描述子(d)进行编码融合生成新的特征x_i；

输入模块，用于将生成的特征x_i输入到图神经网络结构中，经过自我注意力以及交叉注意力若干交替更新L次后，得到最终用于匹配的匹配描述向量如下所示：

其中W表示图神经网络过程中的权重，b表示偏置向，M代表时相1中的特征点集，N代表时相2中的特征点集，i代表时相1中的任一特征点，j代表时相2中的任一特征点，

代表时相1中的任一特征点经编码融合后产生的新的特征点，

代表时相2中的任一特征点经编码融合后产生的新的特征，f_i ^M表示时相1的影像经图神经网络后产生的匹配描述向量，f_j ^N表示时相2的影像经图神经网络后产生的新的匹配描述向量，L代表自我注意力以及交叉注意力更新的层。

匹配处理模块，用于根据输出的用于匹配的匹配描述向量，采用内积运算计算匹配矩阵S如下:

其中S_i，j表示两个时相中任一两个匹配点在匹配矩阵S中的具体值；

采用Sinkhorn算法计算最优匹配结果P，实现特征点匹配过程；

整个过程中采用负对数似然函数作为损失函数，进行特征匹配训练，

将时相1以及时相2特征点集的并集作为真值，最终设计的损失函数如下所示：

其中MN表示匹配的真值，M表示时相1中的特征点集，N表示时相2中的特征点集，I，J表示时相1和时相2影像中没有对应匹配点的点集。

可选的，还包括配准模块，用于对采集的2个时相的影像进行影像配准处理，获得严格配准的双时相影像若干对。

可选的，所述编码融合后的新的特征x_i经编码融合公式计算得到：

x_i＝d_i+MLP_enc(p_i)

其中d_i为任一特征点的特征描述向量，p_i为任一特征点的位置坐标(x,y)及对应的特征点得分score得到，MLP为一个多层感知机构成的编码器，x_i为编码融合后产生的新的特征。

可选的，所述特征点以及描述子提取时采用传统的sift特征，或采用深度学习superpoint特征。

本发明的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被计算机设备执行时，所述计算机设备执行上述权利要求1-4中任一项所述的匹配方法。

本发明的第三方面提供了一种计算机设备，包括：存储器和处理器；

所述存储器用于存储计算机指令；

所述处理器执行所述存储器存储的计算机指令，以使所述计算机设备执行如权利要求1-4任一项所述的匹配方法。

本发明的发明点：

1、采用的图神经网络的遥感影像特征匹配方法，考虑了特征的结构相似性以及外观相似性，提高了匹配效率。

2、采用负对数似然函数作为损失函数，进行特征匹配训练，与NN策略的匹配方法相比，匹配性能提高30％左右。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例中的图神经网络结构图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图神经网络能够在两个图或多个图之间建立节点与节点之间的对应关系，因此将其用于求解两个图像之间，关键点到关键点的匹配关系。在图神经网络当中，将每幅图像中待匹配的关键点作为图的节点，节点与节点之间的连接包括图像内部节点之间的连接以及本图节点与另外一张图像节点之间的连接，前者称为自我注意力阶段，后者称为交叉注意力阶段，通过不断的交替更新，最终得到用于匹配的特征向量。请参考附图1的图神经网络结构图，本发明实施例中一种基于图神经网络的遥感影像特征匹配方法，包括以下步骤：

1、选定谷歌卫星影像下的待采集区域，分别采集2个时相下该区域的谷歌卫星影像，对采集的2个时相的影像进行影像配准处理，获得2个时相下严格配准的影像若干对。

2、分别提取双时相遥感影像中的特征点，特征点以(x,y)坐标点的形式表示，其中x表示横坐标，y表示纵坐标，每个特征点有对应的特征点提取置信度即特征点得分(score)以及特征点描述子(d)，特征点以及描述子提取时可以采用传统的sift特征，也可以采用深度学习superpoint特征等,其中时相1中的特征点集表示为M，时相2中的特征点集表示为N。

3、由于光照，遮挡等因素的存在，对上述步骤中提取到的M以及N的特征点集求并集得到MN，作为双时相影像特征点的真实值，求MN与N的差作为时相1中没有对应匹配点的点集I，求MN与M的差作为时相2中没有对应匹配点的点集J。

4、将第2步骤中提取的特征点坐标(x,y)，特征点得分(score)以及特征点描述子(d)进行编码融合生成新的特征进行匹配，其中编码融合公式如下：

x_i＝d_i+MLP_enc(p_i)

其中d_i为任一特征点的特征描述向量，p_i为任一特征点的位置坐标(x,y)及对应的特征点得分score得到，MLP为一个多层感知机构成的编码器，x_i为编码融合后产生的新的特征。

5、将第4步生成的特征x_i输入到图神经网络结构中，经过自我注意力以及交叉注意力若干交替更新L次后，得到最终用于匹配的匹配描述向量如下所示：

其中W表示图神经网络过程中的权重，b表示偏置向，M代表时相1中的特征点集，N代表时相2中的特征点集，i代表时相1中的任一特征点，j代表时相2中的任一特征点，

代表时相1中的任一特征点经编码融合后产生的新的特征点，

代表时相2中的任一特征点经编码融合后产生的新的特征，f_i ^M表示时相1的影像经图神经网络后产生的匹配描述向量，f_j ^N表示时相2的影像经图神经网络后产生的新的匹配描述向量，L代表自我注意力以及交叉注意力更新的层。

6、根据第5步输出的用于匹配的特征描述向量，采用内积运算计算匹配矩阵S如下:

其中S_i，j表示两个时相中任一两个匹配点在匹配矩阵S中的具体值。

7、采用Sinkhorn算法计算最优匹配结果P，实现特征点匹配过程。

8、整个过程中采用负对数似然函数作为损失函数，进行特征匹配训练。在本次实验中，将时相1以及时相2特征点集的并集作为真值，故最终设计的损失函数如下所示：

其中MN表示匹配的真值，M表示时相一中的特征点集，N表示时相二中的特征点集，I，J表示时相1和时相2影像中没有对应匹配点的点集。

最终在本次实验的数据集上，基于图神经网络的遥感影像特征匹配方法与NN策略的匹配方法相比，匹配性能提高30％左右。

本申请实施例提供的匹配方法可以部署于计算机设备。

计算机设备可以包括：输入单元、处理器单元、通信单元、存储单元、输出单元及电源等电子设备。

本申请实施例提供的计算机设备可以用于执行前述实施例中的特征匹配方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk)等。

可以理解，除了上述内容，还包括一些常规结构和常规方法，由于这些内容都是公知的，不再赘述。但这并不意味着本发明不存在这些结构和方法。

本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (10)

1.一种遥感影像特征匹配方法，其特征在于，包括：

步骤一，选定卫星影像下的待采集区域，分别采集2个时相下该区域的卫星影像，得到双时相遥感影像；

步骤二，分别提取双时相遥感影像中的特征点(x,y)，每个特征点有对应的特征点提取置信度即特征点得分score以及特征点描述子d，其中时相1中的特征点集表示为M，时相2中的特征点集表示为N；

步骤三，对上述步骤二中提取到的M以及N的特征点集求并集得到MN，作为双时相影像特征点的真实值，求MN与N的差作为时相1中没有对应匹配点的点集I，求MN与M的差作为时相2中没有对应匹配点的点集J；

步骤四，将步骤二中提取的特征点坐标(x,y)，特征点得分score以及特征点描述子d进行编码融合生成新的特征x_i；

步骤五，将步骤四生成的特征x_i输入到图神经网络结构中，经过自我注意力以及交叉注意力交替更新L次后，得到最终用于匹配的匹配描述向量如下所示：

其中W表示图神经网络过程中的权重，b表示偏置向，M代表时相1中的特征点集，N代表时相2中的特征点集，i代表时相1中的任一特征点，j代表时相2中的任一特征点，

代表时相1中的任一特征点经编码融合后产生的新的特征点，

代表时相2中的任一特征点经编码融合后产生的新的特征，f_i ^M表示时相1的影像经图神经网络后产生的匹配描述向量，f_j ^N表示时相2的影像经图神经网络后产生的新的匹配描述向量，L代表自我注意力以及交叉注意力更新的层；

步骤六，根据步骤五输出的用于匹配的匹配描述向量，采用内积运算计算匹配矩阵S如下:

其中S_i，j表示两个时相中任一两个匹配点在匹配矩阵S中的具体值；

步骤七，采用Sinkhorn算法计算最优匹配结果P，实现特征点匹配过程；

步骤八，整个过程中采用负对数似然函数作为损失函数，进行特征匹配训练，

将时相1以及时相2特征点集的并集作为真值，最终设计的损失函数如下所示：

其中MN表示匹配的真值，M表示时相1中的特征点集，N表示时相2中的特征点集，I，J表示时相1和时相2影像中没有对应匹配点的点集。

2.根据权利要求1所述的匹配方法，其特征在于，所述步骤一中还包括对采集的2个时相的影像进行影像配准处理，获得严格配准的双时相影像若干对。

3.根据权利要求1所述的匹配方法，其特征在于，所述步骤四中，所述编码融合后的新的特征x_i经编码融合公式计算得到：

x_i＝d_i+MLP_enc(p_i)

其中d_i为任一特征点的特征描述向量，p_i为任一特征点的位置坐标(x,y)及对应的特征点得分score得到，MLP为一个多层感知机构成的编码器，x_i为编码融合后产生的新的特征。

4.根据权利要求1所述的匹配方法，其特征在于，所述步骤二中特征点以及描述子提取时采用传统的sift特征，或采用深度学习superpoint特征。

5.一种遥感影像特征匹配装置，其特征在于：包括，

采集模块，用于选定卫星影像下的待采集区域，分别采集2个时相下该区域的卫星影像，得到双时相遥感影像；

特征点提取模块，用于分别提取双时相遥感影像中的特征点(x,y)，每个特征点有对应的特征点提取置信度即特征点得分score以及特征点描述子d，其中时相1中的特征点集表示为M，时相2中的特征点集表示为N；

对提取到的M以及N的特征点集求并集得到MN，作为双时相影像特征点的真实值，求MN与N的差作为时相1中没有对应匹配点的点集I，求MN与M的差作为时相2中没有对应匹配点的点集J；

编码融合模块，用于将提取的特征点坐标(x,y)，特征点得分score以及特征点描述子d进行编码融合生成新的特征x_i；

输入模块，用于将生成的特征x_i输入到图神经网络结构中，经过自我注意力以及交叉注意力交替更新L次后，得到最终用于匹配的匹配描述向量如下所示：

其中W表示图神经网络过程中的权重，b表示偏置向，M代表时相1中的特征点集，N代表时相2中的特征点集，i代表时相1中的任一特征点，j代表时相2中的任一特征点，

代表时相1中的任一特征点经编码融合后产生的新的特征点，

代表时相2中的任一特征点经编码融合后产生的新的特征，f_i ^M表示时相1的影像经图神经网络后产生的匹配描述向量，f_j ^N表示时相2的影像经图神经网络后产生的新的匹配描述向量，L代表自我注意力以及交叉注意力更新的层；

匹配处理模块，用于根据输出的用于匹配的匹配描述向量，采用内积运算计算匹配矩阵S如下:

其中S_i，j表示两个时相中任一两个匹配点在匹配矩阵S中的具体值；

采用Sinkhorn算法计算最优匹配结果P，实现特征点匹配过程；

整个过程中采用负对数似然函数作为损失函数，进行特征匹配训练，

将时相1以及时相2特征点集的并集作为真值，最终设计的损失函数如下所示：

其中MN表示匹配的真值，M表示时相1中的特征点集，N表示时相2中的特征点集，I，J表示时相1和时相2影像中没有对应匹配点的点集。

6.根据权利要求5所述的匹配装置，其特征在于，还包括配准模块，用于对采集的2个时相的影像进行影像配准处理，获得严格配准的双时相影像若干对。

7.根据权利要求5所述的匹配装置，其特征在于，所述编码融合后的新的特征x_i经编码融合公式计算得到：

x_i＝d_i+MLP_enc(p_i)

其中d_i为任一特征点的特征描述向量，p_i为任一特征点的位置坐标(x,y)及对应的特征点得分score得到，MLP为一个多层感知机构成的编码器，x_i为编码融合后产生的新的特征。

8.根据权利要求5所述的匹配装置，其特征在于，所述特征点以及描述子提取时采用传统的sift特征，或采用深度学习superpoint特征。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被计算机设备执行时，所述计算机设备执行上述权利要求1-4中任一项所述的匹配方法。

10.一种计算机设备，其特征在于，包括：存储器和处理器；

所述存储器用于存储计算机指令；

所述处理器执行所述存储器存储的计算机指令，以使所述计算机设备执行如权利要求1-4任一项所述的匹配方法。

Images