CN113096168A - 一种结合sift点和控制线对的光学遥感图像配准方法及*** - Google Patents

Abstract

本发明公开了一种结合SIFT点和控制线对的光学遥感图像配准方法及***，所述方法包括以下步骤：分别获取基准图像和待配准图像的直线特征集合；基于基准图像的直线特征集合和待配准图像的直线特征集合，获得初始配准图像；获取所述初始配准图像的直线特征集合；分别统计基准图像的直线特征集合和初始配准图像的直线特征集合中的相交直线对，获得统计结果，基于所述统计结果获得候选匹配集合；基于所述候选匹配集合，获得粗配准结果；利用SIFT关键点配准算法得到基准图像和粗配准图像的精确配准结果，完成光学遥感图像配准。发明的方法速度快且鲁棒性好，能够实现对具有典型线状目标可见光遥感图像的配准。

Description

一种结合SIFT点和控制线对的光学遥感图像配准方法及***

技术领域

本发明属于航天航空技术领域，涉及光学遥感图像配准领域，特别涉及一种结合SIFT点和控制线对的光学遥感图像配准方法及***。

背景技术

在航空航天研究中，利用不同高度的空天飞行器可以获得丰富的对地遥感数据。遥感数据以其时效性、实用性的优点被广泛应用于诸多领域，如战场检测、飞机导航、无人机着陆和地平线检测等。卫星遥感技术的飞速发展，使得空天遥感数据量急剧增长，如何利用海量的空天遥感数据以满足不同的生产生活需求成为了遥感应用面临的突出问题之一。信息融合可以综合利用单个或多个传感器的不同遥感数据，通过互补信息的有机集成，减少或抑制单一信号源对被感知对象或环境解释中可能存在的多义性、不完全性、不确定性和误差，大大提高遥感数据的应用效率，以及在特征提取、分类、目标识别等方面的可靠性。

图像融合是信息融合的重要研究方向之一，它协同利用对同一个场景成像获得的两幅或多幅图像，实现信息互补，获得对场景更细致、全面、可靠的描述，以便于认知和后续解译处理。图像配准作为图像融合的必要基础工作，通过空间转换机制，消除多源图像在几何上的不一致，为后续的目标识别和分类等融合应用奠定基础。目前图像配准算法大致分为两大类：基于灰度信息的图像配准方法和基于特征的图像配准方法。

基于灰度信息的配准方法主要利用图像的灰度统计信息搜索基准图像和待配准图像之间相似度最接近的区域，以确定最优的几何变换参数。Kern JP基于互信息法提出了一种用于多光谱遥感图像的配准算法，该模型通过关联互信息的曲面形状和图像的频域特性可以控制和优化图像变换参数的选择。李姣结合猫群算法和归一化互相关匹配算法，降低了原始归一化互相关匹配算法对图像旋转和缩放变换的敏感度，有效提高了图像配准的正确率。总体来说，基于灰度信息的配准算法直接利用图像灰度信息，提高了配准方法的鲁棒性，但是图像数据采集环境差异造成灰度关联性低，该方法往往难以取得满意效果。

基于特征的图像配准算法主要利用图像目标的点、线、边缘或区域等显著性特征，建立图像之间的映射关系，克服灰度信息算法敏感的缺点。在基于点特征的图像配准算法中，尺度不变特征变换(Scale-invariant Feature Transform，SIFT)、加速鲁棒特征(Speeded Up Robust Features，SURF)及其改进算法使用最为广泛。Lowe D.G.完善了基于图像特征的经典算法—SIFT算法，该算法通过对比图像不同尺度空间下的极值点，提取在图像变换过程中保持不变的兴趣点作为特征描述，最后对确定的局部特征进行像思想度量来实现图像的精确配准。SIFT算法强大的稳定性和高效性在图像配准领域发挥了至关重要的作用。Bay H.等人提出了一种全新的稳定特征加速算法—SURF算法，该算法结合了海森矩阵的特征检测和基于分布的特征描述符优势，明显提升了图像的匹配精度和速度。为了进一步降低SIFT算法的事件复杂度，冯嘉将关键点的矩形区域改为同心圆区域，简化了SIFT算法的高斯模糊过程。石雅笋提出了一种改进后的SURF算法，该算法将体征点限定在图像边缘的一定区域内，并且对配准点进行二次约束。改进的算法不尽提高了图像配准的精度，而且对于存在强噪声的图像培顺也具有较强的鲁棒性。程德志等人根据SIFT算法生成的特征向量，确定一种性能较为优秀的图像相似性度量函数，有效提高了SIFT算法的特征匹配正确率，极大缩短了配准的时间，为工程实时任务提供了新的方法。阳吉斌等人将SURF的改进算法运用在遥感图像的配准过程中，通过迭代去除SURF算法存在的误匹配点，提高了SURF算法在遥感图像配准中的精度。但是，改进后的SURF算法配准速度较慢。闫利等人结合Haar-like特征和SURF特征提供了一种新的特征描述符用于遥感图像的配准，新的特征描述符增加了特征的描述，多层次提取特征获得更精确的配准结果。

线特征相比于点特征具有更高层次的语义信息，其长度、方向等参数在计算匹配关系时均可以用于建立数学约束或相似性度量。所以，近年来大量基于直线特征的图像匹配算法被提出。Stamos I.等人提出利用特征直线的斜率和边缘轮廓的分布来获取配准参数，但是当有多条近似斜率的直线出现时，不容易做到一一对应，难免产生误匹配。KimY.S.等人利用点特征和边缘特征方向信息进行配准，但是对原始遥感图像和可见光图像均采用Canny算子，并没有考虑到遥感图像的易受噪声影响的特点。苏娟等人利用图像直线特征构造控制点，设计了一种基于控制点匹配度函数，实现了由粗到精的自动配准，取得了很好的效果，但是耗时长，难以适用于实时性较强的应用。李映等人采用三条直线边缘作为参考模型，在一定约束条件下构建候选匹配集，在此基础上确定直线边缘之间的对应关系，实验结果表明运算时间短，但是约束条件的选择较复杂，没有得出一个具有普遍适用性的参考，且当直线边缘在位置、方向以及长度上相似时易出现误匹配，需要引入更多的约束条件。

综上所述，现阶段大多数基于特征的图像配准算法均采用的是单一特征，这类算法虽然缩短了运行时间，但是对于含有噪声较多的遥感图像来说，鲁棒性并不好。

发明内容

本发明的目的在于提供一种结合SIFT点和控制线对的光学遥感图像配准方法及***，以解决上述存在的一个或多个技术问题。本发明的方法速度快且鲁棒性好，能够实现对具有典型线状目标可见光遥感图像的配准。

为达到上述目的，本发明采用以下技术方案：

本发明公开的一种结合SIFT点和控制线对的光学遥感图像配准方法，包括以下步骤：

分别获取基准图像和待配准图像的直线特征集合；

基于基准图像的直线特征集合和待配准图像的直线特征集合，获得初始配准图像；获取所述初始配准图像的直线特征集合；

分别统计基准图像的直线特征集合和初始配准图像的直线特征集合中的相交直线对，获得统计结果，基于所述统计结果获得候选匹配集合；

基于所述候选匹配集合，获得粗配准结果；

利用SIFT关键点配准算法得到基准图像和粗配准图像的精确配准结果，完成光学遥感图像配准。

本发明的进一步改进在于，所述分别获取基准图像和待配准图像的直线特征集合的步骤具体包括：

利用LSD算法提取获得基准图像I₁和待配准图像I₂中的备选直线段集合L₁和L₂；

根据视觉显著性理论对备选直线段集合L₁和L₂进行筛选，获得有效直线特征集C₁和C₂；

采用Hough变换连接有效直线特征集C₁和C₂中断裂的长直线，获得直线特征集合Q₁和Q₂。

本发明的进一步改进在于，所述根据视觉显著性理论对备选直线段集合L₁和L₂进行筛选，获得有效直线特征集C₁和C₂；采用Hough变换连接有效直线特征集C₁和C₂中断裂的长直线，获得直线特征集合Q₁和Q₂的步骤具体包括：

判断备选直线段集合L₁或L₂中的某一线段c的斜率与假定直线的斜率差是否满足式(1)所代表的显著性准则，若满足，则将其判断为可用的特征直线段，确定直线的视觉显著特征值为length，获得基准图像和待配准图像的有效直线特征集C₁和C₂；

利用Hough变换方法将有效直线特征集C₁和C₂中具有相同斜率的直线段映射到另一个坐标空间的峰值点上，通过对峰值点的统计连接特征直线段，获得直线特征集合Q₁和Q₂。

本发明的进一步改进在于，所述基于基准图像的直线特征集合和待配准图像的直线特征集合，获得初始配准图像；获取所述初始配准图像的直线特征集合的步骤具体包括：

根据直线特征集合Q₁和Q₂，采用基于特征一致的初始配准方法得到初始配准图像I₃，利用LSD算法提取获得初始配准图像I₃中的备选直线段集合L₃，根据视觉显著性理论对备选直线段集合L₃进行筛选，获得有效直线特征集C₃，采用Hough变换连接有效直线特征集C₃中断裂的长直线，获得直线特征集合Q₃。

本发明的进一步改进在于，所述根据直线特征集合Q₁和Q₂，采用基于特征一致的初始配准方法得到初始配准图像I₃的步骤具体包括：

基于特征一致的初始配准方法利用四参数仿射变换模型，模型由缩放因子s、旋转角度β以及平移参数t_x和t_y组成，根据此变换模型，基准图像中的点p＝(x,y)与其在待配准图像中的对应点

满足以下关系：

其中，缩放因子s由图像的分辨率求得；假设

和

为同名直线，

和

与水平轴的夹角分别为

和

则满足

根据缩放因子s和旋转角度β对待配准图像进行缩放和旋转变换，计算基准图像和待配准图像的互相关函数，其峰值所对应的x轴和y轴坐标为平移距离t_x和t_y。

本发明的进一步改进在于，所述分别统计基准图像的直线特征集合和初始配准图像的直线特征集合中的相交直线对，获得统计结果，基于所述统计结果获得候选匹配集合的步骤具体包括：

分别统计直线特征集合Q₁和Q₃中的相交直线对，将相交直线对分别存入集合LB和LW中；若LB中某一相交直线对lb的夹角和LW中某一相交直线对lw的夹角之差的绝对值小于预设阈值，则认为直线对lb和直线对lw为同名直线对，满足关系的所有同名直线对组成候选匹配集合G。

本发明的进一步改进在于，所述分别统计直线特征集合Q₁和Q₃中的相交直线对，将相交直线对分别存入集合LB和LW中的具体步骤包括：

对直线特征集合Q₁和Q₃中夹角大于等于30°的线段组成直线对，并生成交点，记为：

LB＝{LB_ij|0＜i,j≤N,i≠j}，LW＝{LW_ij|0＜i,j≤N,i≠j}；

其中，LB_ij＝{(l_i,l_j,P_ij,θ_ij)|0＜i,j≤N,i≠j}；LW_ij＝{(l_i,l_j,P_ij,θ_ij)|0＜i,j≤N,i≠j}；

式中，N表示图像中直线特征的个数；l_i和l_j是组成线对的两条直线；P_ij为直线对的交点；θ_ij表示直线对间的夹角；

所述若LB中某一相交直线对lb的夹角和LW中某一相交直线对lw的夹角之差的绝对值小于预设阈值，则认为直线对lb和直线对lw为同名直线对，满足关系的所有同名直线对组成候选匹配集合G的步骤具体包括：

假设

和

是基准图像I₁中相交于点p直线对，夹角为θ^b；

和

是初始配准图像I₃中相交于点p'直线对，夹角为θ^w；

构造以下相似性度量准则，若直线对

和直线对

满足下式，则认为点p和p'是匹配控制点对，表达式为：

d_θ(l^b,l^w)＝|θ^b-θ^w|,0＜d_θ(l^b,l^w)＜d_θmax，

其中，

表示直线对间的角度关系，d_θmax为表征直线对角度关系的阈值；

将满足条件的直线对组成候选匹配集，表示为：

其中，

和p_i为基准图像中的直线对及其交点；

和p_i'为待配准图像中的直线对及其交点。

本发明的进一步改进在于，所述基于所述候选匹配集合，获得粗配准结果的步骤具体包括：

定义同名线段匹配矩阵MB和MW，用于表示同名直线对的匹配关系；根据同名线段匹配矩阵MB和MW构建双向匹配关系，去除重复匹配，得到一对一匹配点集；经最小二乘法得到基准图像I₁和初始配准图像I₃之间的最佳变换矩阵，再利用反向插值得到粗配准结果I₄。

本发明的进一步改进在于，所述定义同名线段匹配矩阵MB和MW，用于表示同名直线对的匹配关系；根据同名线段匹配矩阵MB和MW构建双向匹配关系，去除重复匹配，得到一对一匹配点集的步骤具体包括：

假设候选匹配集合G中有N₁条直线来自基准图像，N₂条直线来自待配准图像；若合G中第i个元素包含基准影像中第j条直线，则mb_ij＝1；否则，mb_ij＝0；若G中第i个元素包含待配准影像中第j条直线，则mw_ij＝1；否则，mw_ij＝0；

矩阵MB表示待配准图像向基准图像的单向匹配；矩阵MW表示基准图像向待配准图像的单向匹配；

统计矩阵MB和MW中相同的行，相同的行表示重复匹配，计算相同行所对应同名直线间的距离，仅保留距离最短的直线对。

本发明的一种结合SIFT点和控制线对的光学遥感图像配准方法，包括以下步骤：

直线特征集合获取模块，用于分别获取基准图像和待配准图像的直线特征集合；

初始配准图像的直线特征集合获取模块，用于根据基准图像的直线特征集合和待配准图像的直线特征集合，获得初始配准图像；获取所述初始配准图像的直线特征集合；

候选匹配集合获取模块，用于分别统计基准图像的直线特征集合和初始配准图像的直线特征集合中的相交直线对，获得统计结果，基于所述统计结果获得候选匹配集合；

粗配准结果获取模块，用于根据所述候选匹配集合，获得粗配准结果；

精确配准结果获取模块，用于利用SIFT关键点配准算法得到基准图像和粗配准图像的精确配准结果，完成光学遥感图像配准。

与现有技术相比，本发明具有以下有益效果：

本发明提出了一种基于特征融合的图像配准算法，能够实现优势互补，克服传统配准方法鲁棒性不高的缺点。具体地，本发明提出了一种结合SIFT点和控制线对的光学遥感图像配准算法，该算法不仅利用视觉显著性理论优化直线段检测算法(Line SegmentDetection，LSD)，以在粗配准过程中准确定位线特征并减少额外的线干扰，而且利用SIFT算法提取具有旋转和尺度不变性的点特征，以实现精准的配准过程。本发明提出了一种由粗到精的匹配方法，拓展了图像匹配的思路，提高了匹配精度。

具有典型线状目标(包括机场、建筑物、桥梁和道路)的光学遥感图像，均含有大量直线特征，因此高效、准确的直线特征提取是此类光学遥感图像配准的关键。LSD算法可以实现亚像素级精度的线段检测，能够有效的提取图像中的线状特征，但由于噪声、对比度和亮度的影响，直接利用LSD算法检测图像容易出断裂、不连续现象，所以本发明结合视觉显著性模型和Hough变化去除杂线段干扰，并获取长直线，减少匹配控制线对，提高匹配效率。

线特征是比较理想的匹配基元，但在实际的提取和匹配过程中，获得的直线特征常常是断裂的，直接利用直线特征难以实现图像精确配准。但相交直线往往具有较稳定的几何属性，其中最常见且具有不变性的属性为直线的方向特征。因此本发明从直线对间的方向信息出发，寻找可能匹配的同名直线对的交点作为配准控制点，实现更准确的配准。

本发明中，获取基准图像和待配准图像的同名直线对组成候选匹配集合，利用同名线段匹配矩阵建立双向匹配关系，去除错误匹配。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图做简单的介绍；显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的一种结合SIFT点和控制线对的可见光遥感图像配准方法的流程示意图；

图2是本发明实施例中，同名直线对间的距离示意图。

图3是本发明实施例中，实验图第一组效果对比示意图，图像为993×993大小的可见光遥感图像；其中，图3中的(a)为基准图像，图3中的(b)为待配准图像，图3中的(c)是图3中的(b)的初始配准图像，图3中的(d)是图3中的(a)的LSD直线段检测图(LSD_a)，图3中的(e)是图3中的(d)的Hough变换检测控制线图(HF_d)，图3中的(f)是图3中的(a)基于本发明改进的LSD直线段检测图(VSLSD_a)，图3中的(g)是图3中的(f)的Hough变换检测控制线图(HF_f)，图3中的(h)为图3中的(c)LSD直线段检测图(LSD_c)，图3中的(i)是图3中的(h)的Hough变换检测控制线图(HF_h)，图3中的(j)是图3中的(c)基于本发明改进的LSD直线段检测图(VSLSD_c)，图3中的(k)是图3中的(j)的Hough变换检测控制线图(HF_j)，图3中的(l)为棋盘格显示SIFT配准结果图，图3中的(m)为棋盘格显示本发明配准结果图；

图4是本发明实施例中，实验图第二组效果对比示意图，图像为220×291大小的可见光遥感图像；其中，图4中的(a)为基准图像，图4中的(b)为待配准图像，图4中的(c)是图4中的(b)的初始配准图像，图4中的(d)是图4中的(a)LSD直线段检测图(LSD_a)，图4中的(e)是图4中的(d)的Hough变换检测控制线图(HF_d)，图4中的(f)是图4中的(a)基于本发明改进的LSD直线段检测图(VSLSD_a)，图4中的(g)是图4中的(f)的Hough变换检测控制线图(HF_f)，图4中的(h)为图4中的(c)LSD直线段检测图(LSD_c)，图4中的(i)是图4中的(h)的Hough变换检测控制线图(HF_h)，图4中的(j)是图4中的(c)基于本发明改进的LSD直线段检测图(VSLSD_c)，图4中的(k)是图4中的(j)的Hough变换检测控制线图(HF_j)，图4中的(l)为棋盘格显示SIFT配准结果图，图4中的(m)为棋盘格显示本发明配准结果图；

图5是本发明实施例中，实验图第三组效果对比示意图，图像为196×491大小的可见光遥感图像；其中，图5中的(a)为基准图像，图5中的(b)为待配准图像，图5中的(c)是图5中的(b)的初始配准图像，图5中的(d)是图5中的(a)LSD直线段检测图(LSD_a)，图5中的(e)是图5中的(d)的Hough变换检测控制线图(HF_d)，图5中的(f)是图5中的(a)基于本发明改进的LSD直线段检测图(VSLSD_a)，图5中的(g)是图5中的(f)的Hough变换检测控制线图(HF_f)，图5中的(h)为图5中的(c)LSD直线段检测图(LSD_c)，图5中的(i)是图5中的(h)的Hough变换检测控制线图(HF_h)，图5中的(j)是图5中的(c)基于本发明改进的LSD直线段检测图(VSLSD_c)，图5中的(k)是图5中的(j)的Hough变换检测控制线图(HF_j)，图5中的(l)为棋盘格显示SIFT配准结果图，图5中的(m)为棋盘格显示本发明配准结果图。

具体实施方式

为使本发明实施例的目的、技术效果及技术方案更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例是本发明一部分实施例。基于本发明公开的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它实施例，都应属于本发明保护的范围。

请参阅图1，本发明实施例的一种结合SIFT点和控制线对的可见光遥感图像配准方法，包括以下步骤：

步骤1：利用LSD算法提取基准图像I₁和待配准图像I₂中的备选直线段集合L₁和L₂，根据视觉显著性理论对LSD输出的备选直线段集合L₁和L₂进行筛选，排除杂线干扰，提取有效的直线特征集C₁和C₂，采用Hough变换连接筛选后的直线特征集C₁和C₂中断裂的长直线，得到相应的直线特征集合Q₁和Q₂。

步骤2：根据直线特征集合Q₁和Q₂，采用基于特征一致的初始配准方法得到初始配准图像I₃，利用LSD算法提取初始配准图像I₃中的备选直线段集合L₃，根据视觉显著性理论对LSD输出的备选直线段集合L₃进行筛选，排除杂线干扰，提取有效直线特征集C₃，采用Hough变换连接筛选后的直线特征集C₃中断裂的长直线，得到相应的直线特征集合Q₃。

步骤3：统计直线特征集合Q₁和Q₃中的相交直线对，将相交直线对分别存入集合LB和LW中。若LB中某一相交直线对lb的夹角和LW中某一相交直线对lw的夹角之差的绝对值小于阈值，则认为直线对lb和直线对lw为同名直线对，满足上述关系的所有同名直线对组成候选匹配集合G。

步骤4：如果仅仅利用同名直线对间的角度关系组成候选匹配集合G，难以满足“一对一”匹配关系，还可能存在错误匹配。为提高匹配精度，去除重复匹配，本发明利用同名线段匹配矩阵建立双向匹配关系，实现同名线段间的精确匹配。定义同名线段匹配矩阵MB和MW，用于表示同名直线对的匹配关系。根据同名线段匹配矩阵MB和MW构建双向匹配关系，去除重复匹配，得到一对一匹配点集。经最小二乘法得到基准图像I₁和初始配准图像I₃之间的最佳变换矩阵，再利用反向插值得到粗配准结果I₄。

步骤5：利用SIFT关键点配准算法得到基准图像I₁和粗配准图像I₄的精确配准结果I₅。

本发明实施例的步骤1中，根据视觉显著性理论对LSD输出的备选直线段集合L₁和L₂进行筛选，排除杂线干扰，提取有效的直线特征集C₁和C₂，采用Hough变换连接筛选后的直线特征集C₁和C₂中断裂的长直线，得到相应的直线特征集合Q₁和Q₂具体包括：判断LSD输出的备选直线段集合L₁或L₂中的某一线段c的斜率与假定直线的斜率差是否满足下式所代表的显著性准则，若满足，则表明当线段c的长度至少为length时，才符合人眼的视觉特性，将其判断为可用的特征直线段，从而确定直线的视觉显著特征值为length，获得基准图像和待配准图像的直线特征集C₁和C₂。

利用Hough变换方法将直线特征集C₁，C₂中具有相同斜率的直线段映射到另一个坐标空间的峰值点上，通过对峰值点的统计，连接特征直线段来获得配准控制线集合Q₁和Q₂。

本发明实施例的步骤2中，根据直线特征集合Q₁和Q₂，采用基于特征一致的初始配准方法得到初始配准图像I₃具体包括：基于特征一致的初始配准方法利用四参数仿射变换模型，模型由缩放因子s、旋转角度β以及平移参数t_x和t_y组成，根据此变换模型，基准图像中的点p＝(x,y)与其在待配准图像中的对应点

满足以下关系：

其中，

一般情况下，缩放因子s可由图像的分辨率直接求得。假设

和

为同名直线，

和

与水平轴的夹角分别为

和

则满足

根据缩放因子s和旋转角度β对待配准图像进行缩放和旋转变换，然后计算基准图像和待配准图像的互相关函数，其峰值所对应的x轴和y轴坐标即为平移距离t_x和t_y。

本发明实施例的步骤3中，统计直线特征集合Q₁和Q₃中的相交直线对，将相交直线对分别存入集合LB和LW中具体包括：利用基准图像I₁和初始配准图像I₃获取直线特征集合Q₁和Q₃，对直线特征集合Q₁和Q₃中夹角不小于30°的线段组成直线对，并生成交点，记为：

LB＝{LB_ij|0＜i,j≤N,i≠j}，LW＝{LW_ij|0＜i,j≤N,i≠j}

其中，LB_ij＝{(l_i,l_j,P_ij,θ_ij)|0＜i,j≤N,i≠j}；LW_ij＝{(l_i,l_j,P_ij,θ_ij)|0＜i,j≤N,i≠j}；N表示图像中直线特征的个数；l_i和l_j是组成线对的两条直线；P_ij为直线对的交点；θ_ij表示直线对间的夹角。

本发明实施例的步骤3中，若LB中某一相交直线对lb的夹角和LW中某一相交直线对lw的夹角之差的绝对值小于阈值，则认为直线对lb和直线对lw为同名直线对，满足上述关系的所有同名直线对组成候选匹配集合G具体包括：假设

和

是基准图像I₁中相交于点p直线对，夹角为θ^b；

和

是初始配准图像I₃中相交于点p'直线对，夹角为θ^w。构造以下相似性度量准则，若直线对

和直线对

满足下式，则认为点p和p'是匹配控制点对，即：

d_θ(l^b,l^w)＝|θ^b-θ^w|,0＜d_θ(l^b,l^w)＜d_θmax

其中，

表示直线对间的角度关系，d_θmax为表征直线对角度关系的阈值。

将满足上述条件的直线对组成候选匹配集，可以表示为：

其中，

和p_i为基准图像中的直线对及其交点；

和p_i'为待配准图像中的直线对及其交点。

本发明实施例的步骤3中，利用相交直线对之间的位置关系，生成候选匹配集合具体包括：若I₁和I₂分别表示基准图像和待配准图像，

和

是图像I₁中相交于点p直线对，夹角为θ^b；

和

是图像I₂中相交于点p'直线对，夹角为θ^w。构造以下相似性度量准则，若直线对

和直线对

满足下式，则认为点p和p'是匹配控制点对，即：

d_θ(l^b,l^w)＝|θ^b-θ^w|,0＜d_θ(l^b,l^w)＜d_θmax，

表示直线对间的角度关系，d_θmax为表征直线对角度关系的阈值。

将满足上述条件的直线对组成候选匹配集，可以表示为：

其中，

和p_i为基准图像中的直线对及其交点；

和p′_i为待配准图像中的直线对及其交点。

本发明实施例步骤4中，定义同名线段匹配矩阵MB和MW，用于表示同名直线对的匹配关系。根据同名线段匹配矩阵MB和MW构建双向匹配关系，去除重复匹配，得到一对一匹配点集具体包括：假设候选匹配集合G中有N₁条直线来自基准图像，N₂条直线来自待配准图像。若集合G中第i个元素包含基准影像中第j条直线，则mb_ij＝1；否则，mb_ij＝0。同理，若集合G中第i个元素包含待配准影像中第j条直线，则mw_ij＝1；否则，mw_ij＝0。

矩阵MB表示待配准图像向基准图像的单向匹配；矩阵MW表示基准图像向待配准图像的单向匹配。统计矩阵MB和MW中相同的行，相同的行即表示重复匹配，计算相同行所对应同名直线间的距离，仅保留距离最短的直线对。

如图2所示，

和

是基准图像中相交直线对，

和

是待配准图像中相交直线对，假设

和

为同名线段，

和

为同名线段，d₁表示

和

间的距离，d₂表示

和

间的距离，当d₁和d₂均为所有重复匹配同名直线对之间的最小距离时，则认为上述假设正确。保留

和

为正确匹配直线对，删除其余的和

具有匹配关系的直线对。将矩阵MB和MW中筛选后得到的匹配线对保存在集合LP_b和LP_w中，计算LP_b中的匹配线对和对应的LP_w中的匹配线对是否一致。如果一致，则双向匹配成功，保留匹配线对；否则，双向匹配失败，删除匹配线对。

请参阅图3至图5，本发明实施例选择了三组遥感图像进行仿真实验，并于基于SIFT关键点的图像配准算法进行了比对。实验CPU配置为intel Core i7-8750H 2.20GHz，实验操作***为Windows 10，编译环境为MATLAB2018b。实验结果对比图如下：图(a)为基准图像，图(b)为待配准图像，图(c)是图(b)的初始配准图像，图(d)是图(a)LSD直线段检测图(LSD_a)，图(e)是图(d)的Hough变换检测控制线图(HF_d)，图(f)是图(a)基于本发明改进的LSD直线段检测图(VSLSD_a)，图(g)是图(f)的Hough变换检测控制线图(HF_f)，图(h)为图(c)LSD直线段检测图(LSD_c)，图(i)是图(h)的Hough变换检测控制线图(HF_h)，图(j)是图(c)基于本发明改进的LSD直线段检测图(VSLSD_c)，图(k)是图(j)的Hough变换检测控制线图(HF_j)，图(l)为棋盘格显示SIFT配准结果图，图(l)为棋盘格显示本发明配准结果图；从以上三组仿真对比试验中可以看出：本发明提出的算法配准效果优于传统的基于SIFT关键点的配准算法。仅仅使用LSD检测的线段容易受到噪声影响，易出现识别线段不完整和误识别等问题。Hough变换检测的方法虽然可以克服噪声的影响，但是需要人为设置输出线段个数而导致鲁棒性不强，而且识别出的线段长度超过实际目标线段长度，不易控制。本发明基于LSD算法、Hough变换和视觉显著性模型提出了一种新颖的线段检测算法，可以提高LSD算法的抗噪能力，避免线段出现断裂等情况，上述实验结果也验证了本算法的有效性。

本发明实施例的一种结合SIFT点和控制线对的光学遥感图像配准方法，包括以下步骤：

直线特征集合获取模块，用于分别获取基准图像和待配准图像的直线特征集合；

初始配准图像的直线特征集合获取模块，用于根据基准图像的直线特征集合和待配准图像的直线特征集合，获得初始配准图像；获取所述初始配准图像的直线特征集合；

候选匹配集合获取模块，用于分别统计基准图像的直线特征集合和初始配准图像的直线特征集合中的相交直线对，获得统计结果，基于所述统计结果获得候选匹配集合；

粗配准结果获取模块，用于根据所述候选匹配集合，获得粗配准结果；

精确配准结果获取模块，用于利用SIFT关键点配准算法得到基准图像和粗配准图像的精确配准结果，完成光学遥感图像配准。

本发明以包含典型线状目标(如机场、建筑物、桥梁和道路等)的光学遥感图像为对象进行配准方法研究。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (10)

1.一种结合SIFT点和控制线对的光学遥感图像配准方法，其特征在于，包括以下步骤：

分别获取基准图像和待配准图像的直线特征集合；

基于基准图像的直线特征集合和待配准图像的直线特征集合，获得初始配准图像；获取所述初始配准图像的直线特征集合；

分别统计基准图像的直线特征集合和初始配准图像的直线特征集合中的相交直线对，获得统计结果，基于所述统计结果获得候选匹配集合；

基于所述候选匹配集合，获得粗配准结果；

利用SIFT关键点配准算法得到基准图像和粗配准图像的精确配准结果，完成光学遥感图像配准。

2.根据权利要求1所述的光学遥感图像配准方法，其特征在于，所述分别获取基准图像和待配准图像的直线特征集合的步骤具体包括：

利用LSD算法提取获得基准图像I₁和待配准图像I₂中的备选直线段集合L₁和L₂；

根据视觉显著性理论对备选直线段集合L₁和L₂进行筛选，获得有效直线特征集C₁和C₂；

采用Hough变换连接有效直线特征集C₁和C₂中断裂的长直线，获得直线特征集合Q₁和Q₂。

3.根据权利要求2所述的光学遥感图像配准方法，其特征在于，所述根据视觉显著性理论对备选直线段集合L₁和L₂进行筛选，获得有效直线特征集C₁和C₂；采用Hough变换连接有效直线特征集C₁和C₂中断裂的长直线，获得直线特征集合Q₁和Q₂的步骤具体包括：

判断备选直线段集合L₁或L₂中的某一线段c的斜率与假定直线的斜率差是否满足式(1)所代表的显著性准则，若满足，则将其判断为可用的特征直线段，确定直线的视觉显著特征值为length，获得基准图像和待配准图像的有效直线特征集C₁和C₂；

利用Hough变换方法将有效直线特征集C₁和C₂中具有相同斜率的直线段映射到另一个坐标空间的峰值点上，通过对峰值点的统计连接特征直线段，获得直线特征集合Q₁和Q₂。

4.根据权利要求2所述的光学遥感图像配准方法，其特征在于，所述基于基准图像的直线特征集合和待配准图像的直线特征集合，获得初始配准图像；获取所述初始配准图像的直线特征集合的步骤具体包括：

根据直线特征集合Q₁和Q₂，采用基于特征一致的初始配准方法得到初始配准图像I₃，利用LSD算法提取获得初始配准图像I₃中的备选直线段集合L₃，根据视觉显著性理论对备选直线段集合L₃进行筛选，获得有效直线特征集C₃，采用Hough变换连接有效直线特征集C₃中断裂的长直线，获得直线特征集合Q₃。

5.根据权利要求4所述的光学遥感图像配准方法，其特征在于，所述根据直线特征集合Q₁和Q₂，采用基于特征一致的初始配准方法得到初始配准图像I₃的步骤具体包括：

基于特征一致的初始配准方法利用四参数仿射变换模型，模型由缩放因子s、旋转角度β以及平移参数t_x和t_y组成，根据此变换模型，基准图像中的点p＝(x,y)与其在待配准图像中的对应点

满足以下关系：

其中，缩放因子s由图像的分辨率求得；假设

和

为同名直线，

和

与水平轴的夹角分别为

和

则满足

根据缩放因子s和旋转角度β对待配准图像进行缩放和旋转变换，计算基准图像和待配准图像的互相关函数，其峰值所对应的x轴和y轴坐标为平移距离t_x和t_y。

6.根据权利要求4所述的光学遥感图像配准方法，其特征在于，所述分别统计基准图像的直线特征集合和初始配准图像的直线特征集合中的相交直线对，获得统计结果，基于所述统计结果获得候选匹配集合的步骤具体包括：

分别统计直线特征集合Q₁和Q₃中的相交直线对，将相交直线对分别存入集合LB和LW中；若LB中某一相交直线对lb的夹角和LW中某一相交直线对lw的夹角之差的绝对值小于预设阈值，则认为直线对lb和直线对lw为同名直线对，满足关系的所有同名直线对组成候选匹配集合G。

7.根据权利要求6所述的光学遥感图像配准方法，其特征在于，所述分别统计直线特征集合Q₁和Q₃中的相交直线对，将相交直线对分别存入集合LB和LW中的具体步骤包括：

对直线特征集合Q₁和Q₃中夹角大于等于30°的线段组成直线对，并生成交点，记为：

LB＝{LB_ij|0＜i,j≤N,i≠j}，LW＝{LW_ij|0＜i,j≤N,i≠j}；

其中，LB_ij＝{(l_i,l_j,P_ij,θ_ij)|0＜i,j≤N,i≠j}；LW_ij＝{(l_i,l_j,P_ij,θ_ij)|0＜i,j≤N,i≠j}；

式中，N表示图像中直线特征的个数；l_i和l_j是组成线对的两条直线；P_ij为直线对的交点；θ_ij表示直线对间的夹角；

所述若LB中某一相交直线对lb的夹角和LW中某一相交直线对lw的夹角之差的绝对值小于预设阈值，则认为直线对lb和直线对lw为同名直线对，满足关系的所有同名直线对组成候选匹配集合G的步骤具体包括：

假设

和

是基准图像I₁中相交于点p直线对，夹角为θ^b；

和

是初始配准图像I₃中相交于点p'直线对，夹角为θ^w；

构造以下相似性度量准则，若直线对

和直线对

满足下式，则认为点p和p'是匹配控制点对，表达式为：

d_θ(l^b,l^w)＝|θ^b-θ^w|,0＜d_θ(l^b,l^w)＜d_θmax，

其中，

表示直线对间的角度关系，d_θmax为表征直线对角度关系的阈值；

将满足条件的直线对组成候选匹配集，表示为：

其中，

和p_i为基准图像中的直线对及其交点；

和p′_i为待配准图像中的直线对及其交点。

8.根据权利要求6所述的光学遥感图像配准方法，其特征在于，所述基于所述候选匹配集合，获得粗配准结果的步骤具体包括：

定义同名线段匹配矩阵MB和MW，用于表示同名直线对的匹配关系；根据同名线段匹配矩阵MB和MW构建双向匹配关系，去除重复匹配，得到一对一匹配点集；经最小二乘法得到基准图像I₁和初始配准图像I₃之间的最佳变换矩阵，再利用反向插值得到粗配准结果I₄。

9.根据权利要求8所述的光学遥感图像配准方法，其特征在于，所述定义同名线段匹配矩阵MB和MW，用于表示同名直线对的匹配关系；根据同名线段匹配矩阵MB和MW构建双向匹配关系，去除重复匹配，得到一对一匹配点集的步骤具体包括：

假设候选匹配集合G中有N₁条直线来自基准图像，N₂条直线来自待配准图像；若合G中第i个元素包含基准影像中第j条直线，则mb_ij＝1；否则，mb_ij＝0；若G中第i个元素包含待配准影像中第j条直线，则mw_ij＝1；否则，mw_ij＝0；

矩阵MB表示待配准图像向基准图像的单向匹配；矩阵MW表示基准图像向待配准图像的单向匹配；

统计矩阵MB和MW中相同的行，相同的行表示重复匹配，计算相同行所对应同名直线间的距离，仅保留距离最短的直线对。

10.一种结合SIFT点和控制线对的光学遥感图像配准方法，其特征在于，包括以下步骤：

直线特征集合获取模块，用于分别获取基准图像和待配准图像的直线特征集合；

初始配准图像的直线特征集合获取模块，用于根据基准图像的直线特征集合和待配准图像的直线特征集合，获得初始配准图像；获取所述初始配准图像的直线特征集合；

候选匹配集合获取模块，用于分别统计基准图像的直线特征集合和初始配准图像的直线特征集合中的相交直线对，获得统计结果，基于所述统计结果获得候选匹配集合；

粗配准结果获取模块，用于根据所述候选匹配集合，获得粗配准结果；

精确配准结果获取模块，用于利用SIFT关键点配准算法得到基准图像和粗配准图像的精确配准结果，完成光学遥感图像配准。

Images