CN115861792A

CN115861792A - 一种加权相位定向描述的多模态遥感影像匹配方法

Info

Publication number: CN115861792A
Application number: CN202211397518.4A
Authority: CN
Inventors: 张永军; 姚永祥; 刘伟玉; 熊铭涛; 万一
Original assignee: Wuhan University WHU
Current assignee: Wuhan University WHU
Priority date: 2022-11-09
Filing date: 2022-11-09
Publication date: 2023-03-28

Abstract

本发明公开了一种加权相位定向描述的多模态遥感影像匹配方法，分为聚合特征的关键点提取、描述子构建、匹配及粗差剔除等三部分。首先，实现聚合特征点提取，即采用相位一致性模型建立影像最大矩和最小矩特征并分别提取斑点和角点特征，再通过设计的聚合特征模型优化特征点来完成关键点提取。其次，构建加权相位定向特征描述子。先构建加权带宽函数生成相位定向特征的权重系数，采用这些权重系数构造加权相位定向特征，通过这些特征生成规则化极坐标描述子向量。最后，采用欧氏距离进行最近邻特征点匹配并利用快速样本共识算法剔除误匹配，完成多模态遥感影像匹配。

Description

一种加权相位定向描述的多模态遥感影像匹配方法

技术领域

本发明属于遥感影像处理方法，具体涉及一种聚合特征提取与加权相位定向描述的多模态遥感影像匹配方法。

背景技术

多模态遥感影像通常是指对不同传感器或不同成像条件下在不同时间拍摄的两幅或多幅影像(诸如：点云深度图、红外影像、导航地图、SAR影像、夜光影像等)，此类影像因成像机理的不同，具有显著的非线性畸变和几何差异，往往不能实现特征点的提取和稳健描述，导致多模态遥感图像匹配困难，效果不佳。但多模态遥感影像在自然灾害评估、救灾搜索、变化检测、图像拼接、空中三角测量及三维重建等领域又发挥着重要作用。故对此展开研究十分必要。

随着计算机视觉、图像处理技术的不断发展，遥感影像匹配方法大致可以分为三类，即基于区域的方法、基于特征的方法和基于深度学***移、尺度和旋转差异情况下均能达到满意效果，但在多模态影像中，由于图像梯度特征对多模态遥感影像的非线性畸变和对比度差表现敏感，导致不适用于多模态匹配。后期学者将图像的相位特征应用到多模态遥感影像匹配中获得了突破，诸如相位一致性定向直方图，辐射不变特征变换等算法，但它们都在一定程度上制约了算法的尺度和旋转不变性，尽管有人尝试进行改进，但多模态遥感影像的相位方向反转和相位极值突变等问题依然存在。基于深度学习的方法，尽管在影像匹配中已表现出巨大的发展潜力，具有了显著的效果。但鉴于多模态遥感影像样本数据采集的困难性和遥感影像场景应用的复杂度，导致深度学习匹配方法仍需要一定的发展时间。

综上所述，能否提取有效的特征点和稳健的描述子，成为影响多模态影像匹配成功的关键。在特征提取中，大部分学者研究专注于寻找影像之间的角点或斑点特征，同时考虑影像角点和斑点综合提取的研究较少。在特征描述中，直接采用相位一致性模型提取的相位特征存在显著的方向反转和相位极值突变等问题。相位本质上代表的是图像的形状分量，而上述问题在一定程度上改变图像形状分量，从而破坏了影像的结构完整性，导致相位定向特征无法正确地表征图像之间的方向变化，增加了特征描述符的描述难度。基于此，本发明提出了一种聚合特征提取与加权相位定向描述的多模态遥感影像匹配方法，来实现它们的稳健匹配。

发明内容

本发明提出一种加权相位定向描述的多模态遥感影像匹配方法，用来解决多模态遥感影像的匹配问题。

本发明所采用的技术方案是：聚合特征提取与加权相位定向描述的多模态遥感影像匹配方法，包括以下步骤：

步骤1，初始化多模态遥感影像匹配的计算参数，对多模态遥感影像进行非线性扩散；

步骤2，通过相位一致性模型分别解算影像尺度空间的最大矩特征和最小矩特征，输出解算结果；

步骤3，利用海森矩阵对最大矩进行斑点特征提取，利用Fast检测器对最小矩进行角点特征提取，依次完成对应图层的提取并汇总到一个特征点集，输出该特征点集合；

步骤4，利用聚合特征优化模型过滤步骤3中提取的特征点，通过设置特征点显著性检测阈值确定最终特征点集；

步骤5，利用加权带宽函数计算多模态遥感影像相位形状分量，获取影像在相位特征中的权重系数；

步骤6，利用权重系数构建加权相位定向特征模型，计算多模态遥感影像的加权相位定向特征图；

步骤7，根据获取的加权相位定向特征图，计算每个特征点的规则化对数极坐标描述子，输出特征点的描述子向量集；

步骤8，根据特征点的描述子向量集进行匹配，并剔除粗差，完成多模态遥感影像的匹配。

进一步的，步骤1中对非线性影像尺度空间的图层数、特征点的非极大值阈值窗口范围大小、特征点的过滤阈值以及描述子的初始邻域范围大小参数完成初始化。

进一步的，步骤2中最大矩和最小矩特征的公式如(1)和(2)所示：

式(1)中，PC(x,y)表示影像的相位一致性测度结果；w_O(x,y)表示加权函数；A_SO(x,y)表示振幅分量；S表示尺度；O表示卷积方向；ξ表示一个极小值；

表示封闭数量为负数时取零；ΔΦ_SO(x,y)表示相位偏差函数；T表示噪声补偿项；式(2)中，M_max表示影像的相位一致性最大矩；M_min表示影像的相位一致性最小矩；PC(θo)表示影像在o方向的映射；A、B和C是相位力矩计算的中间量；θ是方向o的角度。

进一步的，步骤4中的具体实现方式如下；

/>

式(3)中，S_points表示经过掩膜优化后的斑点和角点集合，f_Blob表示斑点提取函数；f_Corner表示角点提取函数，M_max表示影像的相位一致性最大矩；M_min表示影像的相位一致性最小矩；

表示掩膜函数，R表示掩膜半径；N_w表示邻域窗口，其中，掩膜函数被定义为，

式(4)中，Mask(x,y)表示掩膜函数的解算结果；I_x表示原始影像在x方向的像素值；I_y表示原始影像在y方向的像素值；N_w表示邻域窗口；

构建显著性分数提取方程，其数学表达式如式(5)所示：

式(5)中，f_nms(·)表示特征点得到非极大值抑制函数；AF表示最后的关键点；S_score表示由显著性分数过滤的点的集合；k表示特征点的过滤阈值，该值是非固定值，根据不同遥感影像纹理的强弱程度自行设置和调整；

表示其相位强度值，f_nms(·)表示经过非最大限度抑制后保留的特征点，以及S_points表示从边缘移除的点。

进一步的，步骤5的具体实现包括，

首先，对多模态遥感影像进行Log-Gabor卷积提取影像的相位信息，并将影像分解为两个部分，其公式如(6)所示：

式(6)中，s和o表示Log-Gabor滤波器的尺度和方向；

代表Log-Gabor滤波的偶对称滤波器；/>

代表奇对称滤波器；符号i表示复数的虚构单位；I(x,y)表示影像；EO(x,y)表示影像在实部滤波器上的响应结果；OO(x,y)表示影像在虚部滤波器上的响应结果；/>

表示卷积操作；

其次，根据Log-Gabor滤波的实部和虚部的响应结果设计了加权带宽函数，其数学表达式如(7)所示：

式(7)中，wc′表示图像的最大加权系数；wc″表示图像的最小加权系数；exp表示指数计算；Cutoff表示频率分布的分数尺度；width_i表示当前图像中的频率分值；g表示控制相位一致模型中转换的尖锐度；ξ表示一个最小值，以防止数值为零。

进一步的，步骤6中，对加权相位定向特征的解算，其数学表达式如式(8)所示：

式(8)中，W表示加权相位定向特征；OO_i表示在第i方向图层上的奇对称卷积结果；EO_i表示在第i方向图层上的偶对称卷积结果；θ表示旋转角度。

进一步的，步骤7的具体实现方式如下；

在加权相位定向特征图上将描述子邻域范围划分为4层并进行12等分，即划分为4个同心圆，对四个同心圆进行规则化等分，最终将整个特点邻域范围划分成了48个子区域格网的对极数坐标网格；其中每个格网中水平方向表示圆形邻域像素点所在位置的极角，计算出每个特征点的方向直方图后，每间隔45°划分一个维度，将0～360°方向划分为8个维度；因此，每个子区域格网的邻接点具有8个维度的梯度位置定向直方图，最后生成了384维的规则化对数极坐标描述子；

规则化对数极坐标描述子的数学表达式，如(9)所示：

RGLOH＝[D₁,D₂,…,D_N]^T (9)

式(9)中，RGLOH代表所有特征点的描述符集；D_i表示第i个特征点的384维特性向量值，即384维的规则化对数极坐标描述子；T代表矩阵转置字符；N代表特征点的数量。

进一步的，步骤8中采用欧氏距离来度量特征点的描述子，从而完成最近邻匹配，并通过快速样本共识算法剔除粗差。

进一步的，还包括步骤9，利用正确同名点评价多模态遥感影像的匹配效果，步骤9中利用解算的同名点的均方根误差和同名点对数量定量检验匹配精度。

与现有技术相比，本发明具有如下优点和有益效果：

本发明提出的多模态遥感影像匹配方法分为特征聚合的特征点提取、描述子构建、匹配及粗差剔除等三部分。首先，采用相位一致性模型建立影像最大矩和最小矩特征并分别提取斑点和角点特征，再通过设计的聚合特征方程优化特征点来完成关键点提取。其次，通过设计的加权带宽函数构造加权相位定向特征，通过这些特征生成规则化极坐标描述子。最后，采用欧氏距离进行最近邻影像匹配，借助快速样本共识算法去除错误点，来完成影像匹配。提出的加权带宽函数构造的加权相位定向特征可以更好地克服相位极值突变和方向反转等问题，增加描述子的表达能力，结果表明，本发明提出的方法可以较好地实现多模态遥感影像的匹配，比传统方法更稳定。

附图说明

图1：本发明方法流程图；

图2：聚合特征点优化示意图；

图3：加权相位定向特征的对数极坐标描述子示意图；

图4：多模态遥感影像数据集，其中(a)为点云深度图与光学影像，(b)为红外影像与光学影像，(c)为导航地图与光学影像，(d)为SAR影像与光学影像，(e)为夜光影像与光学影像；

图5：多模态遥感影像匹配结果。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1流程图，本发明提供的一种加权相位定向描述的多模态遥感影像匹配方法，包括以下步骤：

步骤1：初始化多模态遥感影像匹配的计算参数，对多模态遥感影像进行非线性扩散。

作为优选，步骤1中对于非线性影像尺度空间，在尺度空间构建过程中，主要涉有非线性影像尺度空间的图层数、特征点的非极大值阈值窗口范围大小、特征点的过滤阈值以及描述子的初始邻域范围大小参数完成初始化。根据大量的实验经验，将非线性影像尺度空间的图层数、特征点的非极大值阈值窗口范围大小、特征点的过滤阈值以及描述子的初始邻域范围大小分别设置为3、3、0.85和38。

步骤2：通过相位一致性模型分别解算影像尺度空间的最大矩特征和最小矩特征，输出解算结果。相位一致性模型是一种能够有效检查影像局部能量特征的模型，该模型便于提取影像的边缘特征和角点特征。最大矩和最小矩则是为了更好地描述影像的显著性特征。根据力矩分析算法可知，最小矩对应的轴被称为主轴，该主轴通常表示特征的方向信息。最大矩的轴垂直于主轴，反映特征的显著性。通过最大矩和最小矩特征更利于多模态遥感影像的特征点提取。

因此，本发明通过相位一致性模型计算影像的最大矩和最小矩特征。相位一致性测量主要通过局部傅里叶变换计算得到。它能很好提取影像的频率域特征信息，本发明通过相位一致性模型来提取多模态遥感影像的最大矩和最小矩特征，其公式如(1)和(2)所示：

表示封闭数量为负数时取零；ΔΦ_SO(x,y)表示相位偏差函数；T表示噪声补偿项。式(2)中，M_max表示影像的相位一致性最大矩；M_min表示影像的相位一致性最小矩；PC(θo)表示影像在o方向的映射；A、B和C是相位力矩计算的中间量；θ是方向o的角度。/>

步骤3：利用海森矩阵对最大矩进行斑点特征提取，利用Fast检测器对最小矩进行角点特征提取，依次完成对应图层的提取并汇总到一个特征点集，输出该特征点集合。特征点提取是多模态影像匹配的重要步骤，常见的特征点主要可以分为斑点和角点两类。斑点通常是指与其周围有着颜色和灰度差异的区域，它具有抵抗噪声能力强，稳定性能好的优势。角点通常是指影像中地物的拐角地区或者线条之间的交叉部分，角点的显著性较高。

步骤4：利用设计的聚合特征优化模型过滤步骤3中提取的特征点，通过设置特征点显著性检测阈值确定最终特征点集。

传统的探测器只提取一种类型的关键点，这对影像匹配是无益的。受此启发，本发明设计了一个聚合特征策略来优化特征点，从而提高特征点的丰富性。聚合特征优化策略有三个步骤：边界区域点的去除，非极大值抑制及显著性分数过滤。边界区域点的去除的数学表达式如(3)所示：

式(3)中，S_points表示经过掩膜优化后的斑点和角点集合。f_Blob表示斑点提取函数；f_Corner表示角点提取函数；

表示掩膜函数，R表示掩膜半径；N_w表示邻域窗口。其中，掩膜函数被定义为，

式(4)中，Mask(x,y)表示掩膜函数的解算结果；I_x表示原始影像在x方向的像素值；I_y表示原始影像在y方向的像素值；N_w表示邻域窗口。

非极大值抑制是常用的方法，本发明就不再展开论述。

最后将前两步操作后的特征点进行显著性得分计算，其数学表达式如式(5)所示：

表示其相位强度值，f_nms(·)表示经过非极大值抑制后保留的特征点，以及S_points表示从边缘移除的点，结果如图2所示。

步骤5：利用设计的加权带宽函数计算多模态遥感影像相位形状分量的变化，获取影像在相位特征中的噪声权重系数。

首先，利用Log-Gabor滤波器对输入图像进行卷积处理，提取局部相位信息。Log-Gabor滤波在空间域中被分解为两部分，它们能够更好的抵抗影像的噪声和影像的灰度差异。其公式如(6)所示：

式(6)中，s和o表示Log-Gabor滤波器的尺度和方向；

代表Log-Gabor滤波的偶对称滤波器；/>

表示卷积操作；

式(7)中，wc′表示图像的最大加权系数；wc″表示图像的最大加权系数；exp表示指数计算；Cutoff表示频率分布的分数尺度；width_i表示当前图像中的频率分值；g表示控制相位一致模型中转换的尖锐度；ξ表示一个最小值，以防止数值为零。

步骤6：构建加权相位定向特征模型，计算多模态遥感影像的加权相位定向特征图。

由于多模态影像的相位定向特征中受相位能量极值突变和方向反转的影响，特征点的描述子具有明显的不稳定性。为了更好地解决此类问题，本发明引入加权带宽函数的结果到Log-Gabor的奇对称函数和偶对称函数中。该操作可以有效克服相位极值突变和方向反转所带来的消极影响，从而增强特征点描述子的鲁棒性。

将加权带宽函数代入到相位定向特征计算中，其数学表达式如(8)所示：

式(8)中，W表示加权相位定向特征；OO_i表示在第i方向图层上的奇对称卷积结果；EO_i表示在第i方向图层上的偶对称卷积结果；θ代表旋转角度。其次，将定向特征迁移到[0，360]之间，生成最终的加权相位定向特征。

步骤7：根据获取的加权相位定向特征图，计算每个特征点的规则化对数极坐标描述子，输出特征点的描述子向量集，结果如图3所示。

本发明考虑到描述子的稳定性和鲁棒性，在加权相位定向特征图上将描述子邻域范围划分为4层并进行12等分。即划分为4个同心圆，对四个同心圆进行规则化等分，最终将整个特点邻域范围划分成了(12×4)＝48个子区域格网的对极数坐标网格。该格网划分方式即弥补了较小区域所导致的描述子的不稳定性，使得对特征点邻域范围内的描述更加详细和准确。

各个极坐标子区域面积近似一致。其中每个格网中水平方向表示圆形邻域像素点所在位置的极角。计算出每个特征点的方向直方图后，每间隔45°划分一个维度，将0～360°方向划分为8个维度。因此，每个子区域格网的邻接点具有8个维度的梯度位置定向直方图，最后生成了384维的规则化对数极坐标描述子。

规则化对数极坐标描述子的数学表达式如下(9)所示：

RGLOH＝[D₁,D₂,…,D_N]^T， (9)

步骤8：完成描述子计算后，采用欧氏距离来度量特征点的描述子，从而完成最近邻匹配。通过快速样本共识算法剔除粗差，完成多模态遥感影像的匹配，结果如图5所示。

步骤9：利用正确同名点评价多模态遥感影像的匹配效果。本发明利用5组多模态遥感影像测试算法的性能，数据集见图4。对于每个影像对，利用同名点的均方根误差(Root-Mean-Square Error，RMSE)和同名点对匹配数量来进行定量的检验，其中RMSE的单位为像素。本发明将提出的多模态遥感影像匹配方法命名为HORP算法，并与最优的几种影像匹配方法(LGHD、PSO-SIFT和RIFT)进行对比，比较结果请见表1。

表1几种影像匹配方法比较

由表1可知，在多模态遥感影像数据中，HORP算法相比LGHD、PSO-SIFT和RIFT算法可以获取更多的同名点对。通过本发明提出的HORP算法可以达到一个相对最优的结果。其中，HORP算法的RMSE优于LGHD、PSO-SIFT和RIFT方法。本发明提出的HORP算法RMSE的值都小于2个像素，进一步证明HORP算法不仅极大增加了同名点的匹配数目，且保持了较好的匹配精度。同时，通过大量的实验发现，当多模套遥感影像提取难度较大时，可以增加描述子领域窗口的大小；反之，当多模态遥感影像纹理丰富时，可以适当降低参数的值。其中，影像尺度空间的图层数目参数在2～6之间设置。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。