CN111488938B - 一种基于两步可切换归一化深度神经网络的图像匹配方法 - Google Patents

Abstract

本发明涉及一种基于两步可切换归一化深度神经网络的图像匹配方法，通过分析输入需要匹配的特征，然后经过新型深度神经网络训练自适应地输出匹配好的匹配对。具体地说，给定两个视图中特征点的对应关系，将图像特征匹配问题表述为二进制分类问题。然后构造端到端的神经网络框架，并结合针对稀疏可交换归一化的不同卷积层的自适应归一化器和上下文归一化的鲁棒全局上下文信息的优点，设计两步可切换归一化块以提升网络性能。所述的基于深度神经网络的图像匹配方法主要包括：准备数据集、特征增强、特征学习和测试。本发明能够提高匹配精度。

Description

一种基于两步可切换归一化深度神经网络的图像匹配方法

技术领域

本发明涉及计算机视觉技术领域，特别是一种基于两步可切换归一化深度神经网络的图像匹配方法。

背景技术

图像匹配是计算机视觉一项重要的研究领域。它被广泛应用在很多领域的预处理中，比如，三维重建，同时定位和映射，全景拼接，立体匹配等等。它主要由两步构成构建匹配对和移除错误匹配。

目前存在很多图像匹配的方法。可以将它们分为参数方法、非参数方法和基于学习方法。参数方法是解决匹配问题的流行策略，比如RANSAC及其变体：PROSAC和USAC。具体来说，它首先进行随机最小子集采样，生成单应性矩阵或基本矩阵，然后验证矩阵(它是否是最小的可能的离群值子集)并循环第一步和第二步。但是，这些方法有两个基本的缺点：1)当正确匹配占总匹配的比率较低时，它们(参数方法)不能有效地工作；2)它们无法表达复杂模型非参数方法挖掘本地信息以进行对应选择。假设在视角变化或非刚性变形下，同一场景或物体的图像对的特征点之间的空间邻域关系相似。基于这一事实，研究人员使用空间邻居关系来去除错误匹配。研究人员使用超像素来获取特征匹配问题的特征外观并建立图的邻接矩阵。节点表示潜在的对应关系，链接上的权重表示潜在的匹配之间的成对协议。这些方法涉及匹配之间的兼容性信息。但是，他们没有从兼容的通信中挖掘本地信息。

基于深度学习的方法在各种计算机视觉任务中都取得了巨大的成功。许多研究人员试图采用基于学习的方法来解决匹配任务。它们可以大致分为两类：使用深度学习架构，以及类似Point-Net的架构，从相同或相似场景的图像对构造稀疏点对应关系。尽管已证明基于学习的方法优于参数方法和非参数方法，但在生成的假定匹配中Choy等人的网络模型仍然存在大量错误匹配。MooYi等人的网络模型通过上下文标准化捕获全局上下文信息，并将上下文信息嵌入节点中，但是其上下文标准化很容易受到其他匹配对的影响。基于学习的方法虽然已经能够在各种数据集上取得的优良的效果，但网络层中的批归一化常常受制于批量大小，而且不同的卷积用同样的归一化导致性能不佳，因此如何灵活的切换具有较大的挑战性。

为有效应对匹配过程中存在的这些难点，提出了一种端到端网络。给定两个视图中特征点的对应关系，现有的基于深度学习的方法将特征匹配问题表述为二进制分类问题。在这些方法中，规范化在网络性能中起着重要作用。但是，它们在整个网络的所有规范化层中采用相同的规范化器，这将导致性能欠佳。为了解决此问题，本发明提出了两步可切换归一化块，该块结合了针对可切换归一化的不同卷积层的自适应归一化器和上下文归一化的鲁棒全局上下文信息的优点。因此，本发明在一定程度上能够避免受到上述提到的几个难点问题的影响，最终提高匹配精度。实验结果表明，本发明在基准数据集上达到了最先进的性能。

发明内容

有鉴于此，本发明的目的是提供一种基于两步可切换归一化深度神经网络的图像匹配方法，能够提高匹配精度。

本发明采用以下方案实现：一种基于两步可切换归一化深度神经网络的图像匹配方法，其特征在于：

包括以下步骤：

步骤S1：数据集处理：提供一图像对(I,I')，使用基于黑塞映射的检测子分别从每个图像中提取特征点kp_i,kp′_i；则图像I的信息提取的特征点集为KP＝{kp_i}_i∈N；从图像I′获得特征点集KP′＝{kp′_i}_i∈N；每个对应关系(kp_i,kp′_i)能生成4D数据：

D＝[d₁；d₂；d₃；.......d_N；]，d_i＝[x_i,y_i,x′_i,y′_i]

D表示图像对的匹配组即输入数据，d_i表示匹配对，(x_i,y_i)，(x′_i,y′_i)表示匹配中两个特征点的坐标；

步骤S2：特征增强：使用一个卷积核大小为1×1的卷积层将步骤S1处理后的4D数据映射为一个32维的特征向量，即D_(1×N×4)→D_(1×N×32)，用以减少网络特征学习带来的信息损失；其中，N为一张图片提取的特征点个数；

步骤S3：使用残差网络对增强后的特征即映射后的特征向量进行特征提取，并用两步稀疏可切换归一化代替批归一化(Batch Normalization)，用以更鲁棒的提取增强数据的全局特征，并输出初步预测结果；

步骤S4：在测试阶段，将残差网络的输出设为初步预测结果，并且使用激活函数tanh和relu对初步预测结果进行处理，即，f_x＝relu(tanh(x_out))，得到预测值为0，1，0表示错误匹配，1表示正确匹配的最终结果；在整个网络的训练中，采用交叉熵损失函数来指导网络的学习；如公式所示：

其中，y_i就表示label，y'_i表示预测值。

进一步地，所述步骤S3具体包括以下内容：

两步稀疏可切换归一化分为两层：第一层为上下文归一化，第二层为可切换归一化；上下文归一化为每个数据镶嵌全局上下文信息，给定输入数据x_i，在第l层，上下文归一化定义如下：

其中，

表示上下文归一化的输出结果；u^l和o^l分别代表l网络层数据的平均值和标准差；

上下文归一化将全局信息嵌入到每个特征点数据中；在第二层归一化中使用了微分前馈稀疏学习算法从批归一化、实例归一化和层归一化选择最合适归一化，用以减少固定归一化对最终结果的影响；可切换归一化定义如下：

其中

表示第二归一化层的输出结果；λ和β分别代表比例和位移参数；|ψ|表示由三个归一化(即Layer Normalization，BatchNormalization，Instance Normalization)组成的集合；u_j和

分别表示其相应网络层数据的平均值和方差，j＝1,2,3分别表示在三个归一化{LN，BN，IN}的位置索引；r_j和r′_j分别表示其相应网络层数据平均值和方差的比例参数。

与现有技术相比，本发明具有以下有益效果：

本发明提出了两步可切换归一化块，该块结合了针对可切换归一化的不同卷积层的自适应归一化器和上下文归一化的鲁棒全局上下文信息的优点。因此，本发明最终能提高匹配精度。实验结果表明，本发明在基准数据集上达到了最先进的性能。

附图说明

图1为本发明实施例的流程图。

图2为本发明实施例的神经网络构架图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供一种基于两步可切换归一化深度神经网络的图像匹配方法，首先对原始数据进行数据集处理，其次对处理后的数据进行特征增强，然后对增强后的特征进行提取特征，最后在测试阶段输出结果。

具体包括以下步骤：

步骤S1：数据集处理：提供一图像对(I,I')，使用基于黑塞映射的检测子分别从每个图像中提取特征点kp_i,kp′_i；则图像I的信息提取的特征点集为KP＝{kp_i}_i∈N；从图像I′获得特征点集KP′＝{kp′_i}_i∈N；每个对应关系(kp_i,kp′_i)能生成4D数据：

D＝[d₁；d₂；d₃；.......d_N；]，d_i＝[x_i,y_i,x′_i,y′_i]

D表示图像对的匹配组即输入数据，d_i表示匹配对，(x_i,y_i)，(x′_i,y′_i)表示匹配中两个特征点的坐标；

步骤S2：特征增强：使用一个卷积核大小为1×1的卷积层将步骤S1处理后的4D数据映射为一个32维的特征向量，即D_(1×N×4)→D_(1×N×32)，用以减少网络特征学习带来的信息损失；其中，N为一张图片提取的特征点个数；

步骤S3：使用残差网络对增强后的特征即映射后的特征向量进行特征提取，并用两步稀疏可切换归一化代替批归一化(Batch Normalization)，用以更鲁棒的提取增强数据的全局特征，并输出初步预测结果；

步骤S4：在测试阶段，将残差网络的输出设为初步预测结果，并且使用激活函数tanh和relu对初步预测结果进行处理，即，f_x＝relu(tanh(x_out))，得到预测值为0，1，0表示错误匹配，1表示正确匹配的最终结果；在整个网络的训练中，采用交叉熵损失函数来指导网络的学习；如公式所示：

其中，y_i就表示label，y'_i表示预测值。

如图2所示，在本实施例中，所述步骤S3具体包括以下内容：

两步稀疏可切换归一化分为两层：第一层为上下文归一化，第二层为可切换归一化；上下文归一化为每个数据镶嵌全局上下文信息，给定输入数据x_i，在第l层，上下文归一化定义如下：

其中，

表示上下文归一化的输出结果；u^l和o^l分别代表l网络层数据的平均值和标准差；

上下文归一化将全局信息嵌入到每个特征点数据中；值得注意的是，传统的上下文归一化后处理容易受到其他数据的干扰。这是因为后处理中不同数据的上下文信息会被后续的批归一化操作进行混合，因此，我们采取在第二步采取一种切换策略。具体来说，我们在第二层归一化中使用了微分前馈稀疏学习算法(即SparsestMax)从批归一化、实例归一化和层归一化选择最合适归一化，用以减少固定归一化对最终结果的影响；可切换归一化定义如下：

其中

表示第二归一化层的输出结果；λ和β分别代表比例和位移参数；|ψ|表示由三个归一化(即Layer Normalization，BatchNormalization，Instance Normalization)组成的集合；u_j和

分别表示其相应网络层数据的平均值和方差，j＝1,2,3分别表示在三个归一化{LN，BN，IN}的位置索引；r_j和r′_j分别表示其相应网络层数据平均值和方差的比例参数。

较佳的，在本实施例中，引入稀疏可交换归一化(SSN)，以学习分层深度学习网络的不同卷积层的不同组合归一化器，以解决特征匹配问题。同时，建立了两步可切换归一化块(TSSN块)，该块结合了针对稀疏可交换归一化(SSN)的不同卷积层的自适应归一化器和上下文归一化(CN)的鲁棒全局上下文信息的优点。

较佳的，本实施例通过分析输入需要匹配的特征，然后经过新型深度神经网络训练自适应地输出匹配好的匹配对。具体地说，给定两个视图中特征点的对应关系，将图像特征匹配问题表述为二分类问题。即：给定的两个视图中特征点的对应关系-即输入的数据(数据处理)将图像特征匹配问题表述为二分类问题，即我们的网络将匹配数据看成一个二分类问题，1表示正确的匹配，0表示错误的匹配。

然后构造端到端的神经网络框架，即输入数据通过本实施例的网络可以直接得到匹配好的输出数据(0，1)，而不需要通过其他步骤。本实施例的网络图在附图2；并结合针对稀疏可交换归一化的不同卷积层的自适应归一化器和上下文归一化的鲁棒全局上下文信息的优点，设计两步可切换归一化块以提升网络性能。所述的基于深度神经网络的图像匹配方法主要包括：准备数据集、特征增强、特征学习和测试。

本实施例的方法和当前最先进的匹配方法的定量和定性在公共数据集(COLMAP)上进行，结果表明本实施例的方法明显优于其他算法。

较佳的，表1为本实施例与其他几种匹配算法COLMAP数据集的F-测量值，准确率，召回率量化对比。对比方法有Ransac，LPM，Point-Net，Point-Net++，LCG-Net。从表中，我们可以看到本发明显著提升了检测准确率，在六种方法中取得最好的效果。

表1

	F-测量值	准确率	召回率
				Ransac	0.1914	0.2222	0.1879
LPM	0.2213	0.2415	0.2579
				Point-Net	0.1683	0.1205	0.3847
Point-Net++	0.3298	0.2545	0.5668
				LCG-Net	0.3953	0.3063	0.6839
TSSN-Net	0.4357	0.3733	0.5518

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (1)

1.一种基于两步可切换归一化深度神经网络的图像匹配方法，其特征在于：

包括以下步骤：

步骤S1：数据集处理：提供一图像对(I,I')，使用基于黑塞映射的检测子分别从每个图像中提取特征点kp_i,kp′_i；则图像I的信息提取的特征点集为KP＝{kp_i}_i∈N；从图像I′获得特征点集KP′＝{kp′_i}_i∈N；每个对应关系(kp_i,kp′_i)能生成4D数据：

D＝[d₁；d₂；d₃；.......； d_N]，d_i＝[x_i,y_i,x′_i,y′_i]

D表示图像对的匹配组即输入数据，d_i表示匹配对，(x_i,y_i)，(x′_i,y′_i)表示匹配中两个特征点的坐标；

步骤S2：特征增强：使用一个卷积核大小为1×1的卷积层将步骤S1处理后的4D数据映射为一个32维的特征向量，即D_(1×N×4)→D_(1×N×32)，用以减少网络特征学习带来的信息损失；其中，N为一张图片提取的特征点个数；

步骤S3：使用残差网络对增强后的特征即映射后的特征向量进行特征提取，并用两步稀疏可切换归一化代替批归一化，用以更鲁棒的提取增强数据的全局特征，并输出初步预测结果；

步骤S4：在测试阶段，将残差网络的输出设为初步预测结果，并且使用激活函数tanh和relu对初步预测结果进行处理，即，f_x＝relu(tanh(x_out))，得到预测值为0或1，其中，0表示错误匹配，1表示正确匹配的最终结果；在整个网络的训练中，采用交叉熵损失函数来指导网络的学习；如公式所示：

其中，y_i表示第i个匹配的真实值，y'_i表示第i个匹配的预测值；

所述步骤S3具体包括以下内容：

两步稀疏可切换归一化分为两层：第一层为上下文归一化，第二层为可切换归一化；上下文归一化为每个数据镶嵌全局上下文信息，给定输入数据x_i，在第l层，上下文归一化定义如下：

其中，

表示上下文归一化的输出结果；u^l和o^l分别代表l网络层数据的平均值和标准差；

上下文归一化将全局信息嵌入到每个特征点数据中；在第二层归一化中使用了微分前馈稀疏学习算法从批归一化、实例归一化和层归一化选择最合适归一化，用以减少固定归一化对最终结果的影响；可切换归一化定义如下：

其中

表示第二归一化层的输出结果；λ和β分别代表比例和位移参数；|ψ|表示由三个归一化组成的集合；u_j和

分别表示其相应网络层数据的平均值和方差，j＝1,2,3分别表示在三个归一化{LN，BN，IN}的位置索引；r_j和r′_j分别表示其相应网络层数据平均值和方差的比例参数。

Images