CN115331021A - 基于多层特征自身差异融合的动态特征提取与描述方法 - Google Patents

Abstract

本发明属于图像处理领域，并公开了一种基于多层特征自身差异融合的动态特征提取与描述方法。首先，基于特征提取模块对输入的图像进行特征提取；其次，多层特征自身差异检测模块对不同网络层的输出计算对应的特征自身差异图，然后将它们融合来获得具有多层信息的检测分值图；在训练方面，近似关键点距离检测损失函数使用softargmax近似回归局部区域极大值点坐标作为关键点坐标，使得涉及关键点坐标的计算能够被反向传播；最后，提出正匹配与误匹配比例描述损失函数指导网络学习可靠的描述子，进一步提升匹配性能。如此，本发明能够提高当前联合特征提取与描述方法的关键点检测精度与匹配精度，对光照变化、仿射变换等干扰都有较高鲁棒性。

Description

基于多层特征自身差异融合的动态特征提取与描述方法

技术领域

本发明属于图像处理领域，更具体地，涉及一种基于多层特征自身差异融合的动态特征提取与描述方法。

背景技术

检测和描述不同图像之间的像素级对应关系是许多计算机视觉应用的基础任务，例如图像匹配、视觉定位、三维重建以及图像拼接等。在这些应用中，通常存在光照、噪声、模糊、旋转、尺度、仿射、遮挡等干扰，这些干扰会使得可找到的像素级对应较少或错误较多，影响最终的应用效果。因此，提取可重复的关键点以及可区分的、鲁棒的描述子是许多视觉任务的基础和关键。

联合特征提取与描述是目前主流的图像匹配方法，使用一个网络来同时输出关键点和描述子，简化了传统匹配的流程，并且可以获得更加全局的信息，有助于提高描述子的鲁棒性以及获得更多的对应关系。

目前，大多数联合特征提取与描述的匹配方法由于关键点检测分值图感受野较大而产生了较低的关键点检测精度，从而限制了匹配精度和下游任务的效果。并且，由于关键点坐标的离散性和不可导性，现有方法缺乏直接针对关键点检测优化的检测损失函数，进一步限制了关键点检测精度和匹配精度。因此，需要提出一种能够精确检测关键点并鲁棒描述的方法来提升下游任务的性能。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于多层特征自身差异融合的动态特征提取与描述方法，其目的在于利用多层特征自身差异融合和近似关键点距离损失函数等提高当前联合特征提取与描述方法的关键点检测精度，进而提升匹配的数量和精度，进而提高下游任务的性能。

为实现上述目的，第一方面，本发明提供了一种基于多层特征自身差异融合的动态特征提取与描述模型的构建方法，包括：

S1，搭建特征提取与描述模型；其中，所述特征提取与描述模型包括：

特征提取模块，用于对输入的图像进行特征提取，得到不同层级的特征图；

多层特征自身差异检测模块，用于根据某一层级的特征图，计算每个像素特征维度各特征值与平均特征值之间的差异，以得到对应层级的特征自身差异分值图；并将若干层级的特征自身差异分值图进行融合，得到关键点检测分值图；

S2，计算损失函数，并将损失反向传播训练所述特征提取与描述模型；

所述损失函数包括关键点检测精确度损失函数和回归精确度损失函数，所述关键点检测精确度损失函数表征第一关键点检测分值图和第二关键点检测分值图划分的对应patch分别通过softargmax回归得到的近似可导极大值点坐标之间的平均距离，其中，第一关键点检测分值图为第一图像通过特征提取与描述模型得到的关键点检测分值图，所述第二关键点检测分值图为根据同一场景下的第一图像和第二图像之间的真值匹配图映射的所述第二图像的关键点检测分值图；所述回归精确度损失函数表征关键点检测分值图划分的各patch通过softargmax回归得到的近似可导极大值点坐标与通过argmax得到的不可导极大值点坐标之间的平均距离。

进一步地，所述损失函数还包括正匹配比例损失函数和误匹配比例损失函数，所述正匹配比例损失函数用于训练特征提取与描述模型时通过使正样本和最难的负样本之间的比例尽可能小以增加正确匹配的数量；所述误匹配比例损失函数用于训练特征提取与描述模型时通过使难以成为正确匹配的点的最近邻与次近邻距离尽可能大，从而通过比例匹配过滤掉所述难以成为正确匹配的点。

进一步地，令F和F′为第一图像I和第二图像I′的描述子特征图，选取第一关键点检测分值图S中最大的K个像素作为关键点，并且在描述子特征图F中选取这些关键点的描述子集D＝{d₁,d₂,d₃,…,d_K}；同时，根据真值匹配图M在描述子特征图F′中找到对应的描述子D′＝{d′₁,d′₂,d′₃,…,d′_K}；计算描述子集D与D′的欧氏距离得到大小为K×K的距离矩阵J，距离矩阵J对角线上的元素表示对应点对的描述子距离；

所述正匹配比例损失函数表示为：

其中，E(·)是度量两个描述子的欧氏距离函数，c_p是常数系数，用于忽略已经被区分的比较好的样本，d_k和d′_k是对应点的描述子，d′_n是D′中除了匹配对外与d_k欧氏距离最小的描述子，d_n是D中除了匹配对外与d′_k欧氏距离最小的描述子；

所述误匹配比例损失函数表示为：

其中，Q是距离矩阵J对角线上元素，J_q,min1和J_q,min2分别是难以成为正确匹配的点所在行的最小值与次小值，c_n是一个常数系数。

进一步地，令S和S′为第一图像I和第二图像I′的关键点检测分值图，令S′_M为根据真值匹配图M映射的第二图像I′的检测分值图，将关键点检测分值图S和S′_M平均分为N个patch；

所述关键点检测精确度损失函数表示为：

其中，x_n和y_n是关键点检测分值图S第n个patch通过softargmax回归得到的近似可导极大值点坐标，x_n′和y_n′是关键点检测分值图S′_M第n个patch通过softargmax回归得到的近似可导极大值点坐标；

所述回归精确度损失函数表示为：

其中，

和

是关键点检测分值图S第n个patch通过argmax得到的不可导极大值点坐标，

和

是关键点检测分值图S′_M第n个patch通过argmax得到的不可导极大值点坐标。

进一步地，所述特征提取模块包括级联的若干标准卷积层和动态注意卷积层。

第二方面，本发明提供了一种基于多层特征自身差异融合的动态特征提取与描述方法，包括：

将待处理图像输入到采用第一方面所述的基于多层特征自身差异融合的动态特征提取与描述模型的构建方法所构建的特征提取与描述模型中，得到所述待处理图像对应的描述子特征图和关键点检测分值图。

第三方面，本发明提供了一种图像匹配方法，包括：

将待匹配的两张图像输入到采用第一方面所述的基于多层特征自身差异融合的动态特征提取与描述模型的构建方法所构建的特征提取与描述模型中，得到各自对应的描述子特征图和关键点检测分值图；

对两张关键点检测分值图进行非极大值抑制并选取相应最大的K个关键点

和

根据这些关键点在描述子特征图中选取对应的描述子

和

对两个描述子

和

应用最近邻与次近邻比例匹配来获得匹配关系。

第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如第一方面所述的基于多层特征自身差异融合的动态特征提取与描述模型的构建方法。

第五方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如第二方面所述的基于多层特征自身差异融合的动态特征提取与描述方法和/或如第三方面所述的图像匹配方法。

总体而言，通过本发明所构思的以上方法与现有方法相比，能够取得下列有益效果：

1、本发明通过特征自身差异计算模块对不同网络层的输出计算对应的特征自身差异图，然后通过多层融合模块将它们融合来获得具有多层信息的关键点检测分值图，可有效提高关键点检测精度，进而提高匹配数量和匹配精度；同时，可使得提取到的关键点更多的分布于纹理区域，从而降低关键点分布于非纹理区域而造成的误匹配数量。进一步提出关键点检测精确度损失函数和回归精确度损失函数，用于训练阶段优化网络的关键点检测能力，通过softargmax近似回归局部区域最大值点坐标，使得关键点坐标离散导致不可求导的问题得到解决，能够有效提升网络的关键点检测精度。

2、本发明通过正匹配比例损失函数和误匹配比例损失函数，优化正例和难负例之间的距离，提高正确匹配的数量，降低误匹配的数量，进而提高匹配精度。

3、本发明通过基于动态注意卷积的特征提取模块来对图像进行密集特征提取的方式，可以针对不同的样本选取最适合的网络参数，进而提高关键点的检测精度和描述子的判别性。

附图说明

图1是本发明实施例提供的基于多层特征自身差异融合的动态特征提取与描述模型的构建方法的流程示意图；

图2是本发明实施例提供的整体网络模型示意图；

图3是本发明实施例提供的近似关键点距离损失函数计算流程示意图；

图4是本发明实施例提供的描述子距离矩阵示意图；

图5是本发明实施例提供的用于图像匹配的流程示意图；

图6是本发明实施例提供的关键点提取与匹配效果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例1

参阅图1，结合图2至4，本发明提供了一种基于多层特征自身差异融合的动态特征提取与描述模型的构建方法，包括：

S1，搭建特征提取与描述模型；其中，所述特征提取与描述模型包括：

特征提取模块，用于对输入的图像进行特征提取，得到不同层级的特征图；

多层特征自身差异检测模块，用于根据某一层级的特征图，计算每个像素特征维度各特征值与平均特征值之间的差异，以得到对应层级的特征自身差异分值图；并将若干层级的特征自身差异分值图进行融合，得到关键点检测分值图；

S2，计算损失函数，并将损失反向传播训练所述特征提取与描述模型；

所述损失函数包括关键点检测精确度损失函数和回归精确度损失函数，所述关键点检测精确度损失函数表征第一关键点检测分值图和第二关键点检测分值图划分的对应patch分别通过softargmax回归得到的近似可导极大值点坐标之间的平均距离，其中，第一关键点检测分值图为第一图像通过特征提取与描述模型得到的关键点检测分值图，所述第二关键点检测分值图为根据同一场景下的第一图像和第二图像之间的真值匹配图映射的所述第二图像的关键点检测分值图；所述回归精确度损失函数表征关键点检测分值图划分的各patch通过softargmax回归得到的近似可导极大值点坐标与通过argmax得到的不可导极大值点坐标之间的平均距离。

本实施例中，如图2所示，该网络模型包括基于动态注意卷积的特征提取模块、多层特征自身差异检测模块、近似关键点距离检测损失函数以及正匹配与误匹配比例描述损失函数。以下对提出的算法进行详细说明。

(1)基于动态注意卷积的特征提取模块

如图2所示，基于动态注意卷积的特征提取模块用于图像密集特征提取，其包括4个标准卷积层和5个动态注意卷积层，每个卷积层卷积核为3x3，步长为1，使用了膨胀卷积来增大感受野。动态注意卷积层用于针对不同样本自适应网络参数，每层会设置多套卷积核参数，通过一个注意力机制回归出不同卷积核参数的权重，最后对不同卷积核参数进行加权聚合来实现参数的动态变化，继而提升网络的特征提取能力。最终特征提取模块输出128维的特征图，代表每个像素的描述子。

所述动态注意卷积，即在测试时针对不同的输入图片，通过注意力机制动态变化网络卷积参数，以实现对不同样本特征的自适应，增强网络的特征提取能力。对于输入特征x,输出特征y的计算公式为：

其中，g(·)表示激活函数，W_k表示第k套卷积参数对应的卷积权重矩阵，b_k表示第k套卷积参数对应的偏置向量，K表示卷积参数的套数，c_k表示第k套卷积参数的注意权重。本专利中，K＝4，即每个动态注意卷积层具有四套不同的卷积参数。

如图2所示，所述动态注意卷积的注意力机制，首先对特征图下采样并扩张特征通道，将空间信息融合到特征维度，其次，使用全局平均池化来压缩空间维度，然后，使用一个全连接层和sigmoid激活函数回归出K个卷积核参数的注意权重c_k，最后，对所有卷积核参数进行加权，生成最终的卷积核权重进行卷积。

(2)多层特征自身差异检测模块

多层特征自身差异检测模块，包括特征自身差异计算模块和多层融合两部分，用于获得具有多层信息、能够实现精确关键点检测的检测分值图。

(2-1)特征自身差异计算模块

如图2所示，所述特征自身差异计算模块对特征图每个像素的特征维度计算自身差异来表示显著性，使得关键点周围信息越丰富则分值越大，这些关键点更容易在其他图像中的相同位置被检测到。给定特征图f∈R^H×W×C，每个位置(i,j)的特征自身差异分值可计算为：

其中，C是特征通道的数量，可以通过这种方式根据第l个卷积层的输出特征图计算得到对应的特征自身差异分值图S_l。

(2-2)多层融合

所述多层融合用于对低、中、高层特征自身差异分值图融合来获得关键点检测分值图，进而充分利用网络学得的低层结构信息和较高层的语义信息，进而提高关键点检测精度。本实施例中，融合第2、4、6层特征图来生成关键点检测分值图，具体融合方式如下式所示：

(3)近似关键点距离检测损失函数

所述近似关键点距离检测损失函数，包括关键点检测精确度损失函数和回归精确度损失函数，用于训练阶段优化网络的关键点检测能力，通过softargmax近似回归局部区域最大值点坐标，使得关键点坐标离散导致不可求导的问题得到解决，能够有效提升网络的关键点检测精度。

所述softargmax为一种将可导的softmax与不可导的argmax相结合、能够通过概率分布近似回归出数组极大值索引的方法，给定一个二维数组H∈R^H×W，极大值点坐标可被近似计算为：

对于同一场景的两张图像I和I′，以及它们之间的真值匹配图M∈R^H×W×2，具体的，可以通过M_i,j＝(i′,j′)找到第一张图像中的像素(i,j)对应第二张图像中的像素(i′,j′)。令S和S′为图像I和I′通过多层特征自身差异检测模块计算出的关键点检测分值图，令S′_M为根据M映射的图像I′的检测分值图，则图S中的关键点p_i,j和在图S′_M中的对应点p′_i,j在坐标上是一样的。由于softargmax函数只能回归一个区域的极大值点坐标，并不能得到大量关键点来计算损失，因此本专利将分值图S和S′_M平均分为大小为α的patch，这样可以从分值图S中回归出N＝HW/α²个关键点。

所述关键点检测精确度损失函数，即构建对应patch近似极大值点坐标的均方误差损失来提高关键点检测精度，计算公式如下式所示：

[x_n,y_n]＝Φ(P_n),[x_n′,y_n′]＝Φ(P_n′)

其中，P_n和P_n′是分值图S和S′_M中的对应patch，Φ(·)是上述的softargmax函数。

所述回归精确度损失函数，用于保证softargmax函数近似回归出区域极大值点坐标的精确度，通过优化softargmax回归出的近似可导极大值点坐标与argmax得到的不可导极大值点坐标之间的距离来改变数据分布，计算公式如下式所示：

其中，x_n和y_n是P_n中通过softargmax计算出的近似可导坐标，

和

是P_n中通过argmax得到的精确不可导坐标。

此外，针对本专利中所用192×192大小的训练图像，α设置太大则用于计算损失的关键点数量太少，α设置太小则回归关键点坐标的信息不足，因此本专利使用二尺度方法计算损失，具体的，将关键点检测分值图S和S′_M划分为大小为4和8的块，分别计算关键点检测精确度损失函数和回归精确度损失函数，最终的近似关键点距离检测损失函数可以被计算为：

L_AKD＝L_ra(α＝4)+L_ra(α＝8)+β(L_kda(α＝4)+L_kda(α＝8))

其中，β是平衡关键点检测精确度损失函数和回归精确度损失函数的权重系数，本专利设置为0.25。

(4)正匹配与误匹配比例描述损失函数

所述正匹配与误匹配比例描述损失函数，用于训练阶段优化网络对特征的描述能力，进而提升匹配性能，其包括正匹配比例损失函数和误匹配比例损失函数，基于最近邻与次近邻比值匹配方式而设计。

令F和F′为图像I和I′的描述子特征图，令F′_M为根据M映射的图像I′的描述子特征图。首先，选取检测分值图S中最大的K个像素作为关键点，并且在描述子特征图F中选取这些关键点的描述子D＝{d₁,d₂,d₃,…,d_K},同时，根据M在F′中找到对应的描述子D′＝{d′₁,d′₂,d′₃,…,d′_K},通过对描述子集D与D′计算欧氏距离可以得到大小为K×K的距离矩阵J，距离矩阵J如图4所示，对角线上的元素表示对应点对的描述子距离。

(4-1)正匹配比例损失函数

所述正匹配比例损失函数，用于训练网络时通过使正样本和最难的负样本之间的比例尽可能小以增加正确匹配的数量来优化网络的描述能力，计算公式如下式所示：

其中，E(·)是度量两个描述子的欧氏距离函数，c_p是用于忽略已经被区分的比较好的样本的系数，本专利中设置为0.4，d_k和d′_k是对应点的描述子，d′_n是D′中除了匹配对外与d_k欧氏距离最小的描述子，表示最难的反例，同样的，d_n是D中除了匹配对外与d′_k欧氏距离最小的描述子。

(4-2)误匹配比例损失函数

所述误匹配比例损失函数，用于训练网络时通过使难以成为正确匹配的点的最近邻与次近邻距离尽可能大以通过比例匹配过滤掉，成为不匹配而不是误匹配，减少误匹配数量，进而提高匹配精度，计算公式如下式所示：

其中，Q是对角线上元素不是对应行最小值的数量，J_q,min1和J_q,min2分别是这些容易造成误匹配的点所在行的最小值与次小值，c_n是一个常数系数，本专利中设置为1。

实施例2

一种基于多层特征自身差异融合的动态特征提取与描述方法，包括：

将待处理图像输入到采用实施例1所述的基于多层特征自身差异融合的动态特征提取与描述模型的构建方法所构建的特征提取与描述模型中，得到所述待处理图像对应的描述子特征图和关键点检测分值图。

实施例3

一种图像匹配方法，如图5所示，对于两张待匹配图像I₁和I₂，首先分别输入到本专利提出的网络模型，得到各自对应的关键点检测分值图S₁和S₂，以及描述子特征图F₁和F₂，然后对两张关键点检测分值图进行非极大值抑制并选取相应最大的K个关键点

和

根据这些关键点在描述子特征图中选取对应的描述子

和

最后即可对两个描述子集应用最近邻与次近邻比例匹配来获得匹配关系。

综上所述，本发明所提出的基于多层特征自身差异融合的动态特征提取与描述方法，采用基于动态注意卷积的特征提取模块对图像进行密集特征提取，使用了基于注意力的动态卷积来使得网络能够针对不同样本自适应卷积参数，可以提升网络对特征的提取能力；采用多层特征自身差异检测模块生成关键点检测分值图，利用关键点特征自身方差表达显著性，并采用多层融合增加低层结构信息，使得关键点的分布更注重于纹理区域，能够在提高关键点检测精度的同时减少关键点分布在非纹理区域造成的误匹配；采用近似关键点距离损失函数，使用softargmax近似回归小patch极值点坐标的方式解决关键点坐标不可求导而导致的缺乏有效检测损失函数的问题，能够有效提升网络的关键点检测精度，进而提升匹配精度；采用正匹配与误匹配比例描述损失函数，基于最近邻与次近邻比例匹配的方式，通过对正例样本对与负例样本对的距离进行优化，增加正确匹配的数量，并使得难以成为正确匹配的样本对尽可能成为不匹配而不是误匹配，有效提高了网络的描述性能，进而提高了匹配精度。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于多层特征自身差异融合的动态特征提取与描述模型的构建方法，其特征在于，包括：

S1，搭建特征提取与描述模型；其中，所述特征提取与描述模型包括：

特征提取模块，用于对输入的图像进行特征提取，得到不同层级的特征图；

多层特征自身差异检测模块，用于根据某一层级的特征图，计算每个像素特征维度各特征值与平均特征值之间的差异，以得到对应层级的特征自身差异分值图；并将若干层级的特征自身差异分值图进行融合，得到关键点检测分值图；

S2，计算损失函数，并将损失反向传播训练所述特征提取与描述模型；

所述损失函数包括关键点检测精确度损失函数和回归精确度损失函数，所述关键点检测精确度损失函数表征第一关键点检测分值图和第二关键点检测分值图划分的对应patch分别通过softargmax回归得到的近似可导极大值点坐标之间的平均距离，其中，第一关键点检测分值图为第一图像通过特征提取与描述模型得到的关键点检测分值图，所述第二关键点检测分值图为根据同一场景下的第一图像和第二图像之间的真值匹配图映射的所述第二图像的关键点检测分值图；所述回归精确度损失函数表征关键点检测分值图划分的各patch通过softargmax回归得到的近似可导极大值点坐标与通过argmax得到的不可导极大值点坐标之间的平均距离。

2.根据权利要求1所述的基于多层特征自身差异融合的动态特征提取与描述模型的构建方法，其特征在于，所述损失函数还包括正匹配比例损失函数和误匹配比例损失函数，所述正匹配比例损失函数用于训练特征提取与描述模型时通过使正样本和最难的负样本之间的比例尽可能小以增加正确匹配的数量；所述误匹配比例损失函数用于训练特征提取与描述模型时通过使难以成为正确匹配的点的最近邻与次近邻距离尽可能大，从而通过比例匹配过滤掉所述难以成为正确匹配的点。

3.根据权利要求2所述的基于多层特征自身差异融合的动态特征提取与描述模型的构建方法，其特征在于，

令F和F′为第一图像I和第二图像I′的描述子特征图，选取第一关键点检测分值图S中最大的K个像素作为关键点，并且在描述子特征图F中选取这些关键点的描述子集D＝{d₁,d₂,d₃,…,d_K}；同时，根据真值匹配图M在描述子特征图F′中找到对应的描述子D′＝{d′₁,d′₂,d′₃,…,d′_K}；计算描述子集D与D′的欧氏距离得到大小为K×K的距离矩阵J，距离矩阵J对角线上的元素表示对应点对的描述子距离；

所述正匹配比例损失函数表示为：

其中，E(·)是度量两个描述子的欧氏距离函数，c_p是常数系数，用于忽略已经被区分的比较好的样本，d_k和d′_k是对应点的描述子，d′_n是D′中除了匹配对外与d_k欧氏距离最小的描述子，d_n是D中除了匹配对外与d′_k欧氏距离最小的描述子；

所述误匹配比例损失函数表示为：

其中，Q是距离矩阵J对角线上元素，J_q,min1和J_q,min2分别是难以成为正确匹配的点所在行的最小值与次小值，c_n是一个常数系数。

4.根据权利要求1所述的基于多层特征自身差异融合的动态特征提取与描述模型的构建方法，其特征在于，

令S和S′为第一图像I和第二图像I′的关键点检测分值图，令S′_M为根据真值匹配图M映射的第二图像I′的检测分值图，将关键点检测分值图S和S′_M平均分为N个patch；

所述关键点检测精确度损失函数表示为：

其中，x_n和y_n是关键点检测分值图S第n个patch通过softargmax回归得到的近似可导极大值点坐标，x_n′和y_n′是关键点检测分值图S′_M第n个patch通过softargmax回归得到的近似可导极大值点坐标；

所述回归精确度损失函数表示为：

其中，

和

是关键点检测分值图S第n个patch通过argmax得到的不可导极大值点坐标，

和

是关键点检测分值图S′_M第n个patch通过argmax得到的不可导极大值点坐标。

5.根据权利要求1所述的基于多层特征自身差异融合的动态特征提取与描述模型的构建方法，其特征在于，所述特征提取模块包括级联的若干标准卷积层和动态注意卷积层。

6.一种基于多层特征自身差异融合的动态特征提取与描述方法，其特征在于，包括：

将待处理图像输入到采用权利要求1至5任一项所述的基于多层特征自身差异融合的动态特征提取与描述模型的构建方法所构建的特征提取与描述模型中，得到所述待处理图像对应的描述子特征图和关键点检测分值图。

7.一种图像匹配方法，其特征在于，包括：

将待匹配的两张图像输入到采用权利要求1至5任一项所述的基于多层特征自身差异融合的动态特征提取与描述模型的构建方法所构建的特征提取与描述模型中，得到各自对应的描述子特征图和关键点检测分值图；

对两张关键点检测分值图进行非极大值抑制并选取相应最大的K个关键点

和

根据这些关键点在描述子特征图中选取对应的描述子

和

对两个描述子

和

应用最近邻与次近邻比例匹配来获得匹配关系。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如权利要求1至5任一项所述的基于多层特征自身差异融合的动态特征提取与描述模型的构建方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如权利要求6所述的基于多层特征自身差异融合的动态特征提取与描述方法和/或如权利要求7所述的图像匹配方法。

Images