CN106780309A

CN106780309A - 一种合成孔径雷达图像拼接方法

Info

Publication number: CN106780309A
Application number: CN201611186501.9A
Authority: CN
Inventors: 罗湾; 张红波; 王玉琪
Original assignee: Leihua Electronic Technology Research Institute Aviation Industry Corp of China
Current assignee: Leihua Electronic Technology Research Institute Aviation Industry Corp of China
Priority date: 2016-12-21
Filing date: 2016-12-21
Publication date: 2017-05-31

Abstract

本发明涉及合成孔径雷达图像拼接技术领域，特别涉及一种合成孔径雷达图像拼接方法。拼接方法包括如下步骤：选取相邻的一个参考图和一个实时图；图像预处理；尺度不变特征变换特征点提取；特征点粗配准；配准点对精配准；估算实时图相对于参考图的旋转角度、尺度因子和平移量；对实时图进行仿射变换；对参考图和实时图进行融合处理，得到拼接图；将拼接图作为新的参考图并重复上述步骤，直到完成所有子图像的拼接。本发明的合成孔径雷达图像拼接方法，利用多幅SAR图像，通过提取不同图像的SIFT特征进行配准，并估计出SAR图像间的变换参数，通过仿射变换、插值、融合实现高性能SAR图像序列拼接；并且，具有大幅宽、多视角的SAR图像序列拼接能力。

Description

一种合成孔径雷达图像拼接方法

技术领域

本发明涉及合成孔径雷达图像拼接技术领域，特别涉及一种合成孔径雷达图像拼接方法。

背景技术

合成孔径雷达(SAR)图像拼接技术通常是将数张有重叠部分(包括不同时间、不同视角、不同传感器)的SAR图像，拼接成一幅连续无缝的高分辨率SAR图像，有利于增强战场态势感知能力。

近些年，关于SAR图像拼接的应用方面的报道有德国EADS公司研制的MiSAR***。MiSAR***为小型无人机(例如LUNA)研制，机上重量仅4Kg，所以成像处理的单幅图像覆盖区很小(400m*700m，分辨率0.5m)。为克服这个问题，采用图像拼接技术，从连续的图像序列中提取共同特征，并进行特征配准，从特征配准处理中估计图像帧之间的变化，实现拼接。与条带SAR模式处理相比，该图像拼接技术更有优势，不要求航迹是直线飞行，并且斜视角是可变的。MiSAR***实现了SAR图像的实时拼接处理，应用图像拼接技术扩大了观测区域，并将其集成到SAR图像开发应用***，获得更大的观测场景和更强的态势感知能力。

但是，目前的SAR图像拼接处理方面仍存在拼接处理时间较长、图像幅宽受限以及拼接视角受限等至少一种缺陷；另外，特别是针对大面积(≥100km)多视角(5°～60°)方面的SAR图像序列拼接技术更是缺乏研究。

发明内容

本发明的目的是提供了一种合成孔径雷达图像拼接方法，以解决现有合成孔径雷达图像拼接方法中的存在至少一个技术问题。

本发明的技术方案是：

一种合成孔径雷达图像拼接方法，包括如下步骤：

步骤一、从多个预拼接的子图像中选取相邻的两个子图像，其中一个子图像作为参考图，另一个子图像作为实时图；

步骤二、对所述参考图和实时图进行预处理；

步骤三、对预处理后的所述参考图和实时图分别进行尺度不变特征变换特征点提取；其中，尺度不变特征变换特征点为SIFT特征点；

步骤四、将所述参考图的尺度不变特征变换特征点与实时图的尺度不变特征变换特征点进行粗配准，得到初始配准点对；

步骤五、根据所述初始配准点对进行精配准，得到精配准点对；其中，精配准主要是进行删除误配点对；

步骤六、对所述精配准点对采取最小二乘算法估算所述实时图相对于参考图的旋转角度θ、尺度因子c和平移量t_x、t_y；

步骤七、根据所述旋转角度θ、尺度因子c和平移量t_x、t_y对所述实时图进行仿射变换，从而使得参考图和实时图处于同一个坐标系中；

步骤八、对所述参考图和实时图的重叠区域进行融合处理，实现连续、无缝的图像拼接，得到拼接图；

步骤九、以步骤八中的拼接图作为新的参考图，再选定另外相邻的子图像作为新的实时图，重复步骤二到步骤八，完成三个子图像的拼接；

步骤十、重复步骤九，直到完成所有子图像的拼接。

可选的，在所述步骤二的中，是对所述参考图和实时图进行几何失真校正和灰度调整。

可选的，在所述步骤三中，对预处理后的所述参考图和实时图分别进行尺度不变特征变换特征点提取包括如下步骤：

步骤3.1、对所述参考图和实时图分别进行尺度空间极值检测；

步骤3.2、对所述参考图和实时图分别进行特征点方向确定；

步骤3.3、对所述参考图和实时图分别进行提取特征描述符。

可选的，在所述步骤四中，是采用最近邻NN距离比率算法对尺度不变特征变换特征点进行粗配准。

可选的，在所述步骤五中，是采用随机抽样一致RANSAC算法进行精配准。

可选的，在所述步骤七中，是通过如下仿射变换模型(1)进行仿射变换：

其中，矩阵包含(现有可以查到)了旋转角度θ、尺度因子c，为实时图中像素点坐标，为仿射变换后对应在参考图坐标系中的位置。

发明效果：

本发明的合成孔径雷达图像拼接方法，利用多幅SAR图像，通过提取不同图像的SIFT特征进行配准，并估计出SAR图像间的变换参数，通过仿射变换、插值、融合实现高性能SAR图像序列拼接；并且，本发明具有大幅宽、多视角的SAR图像序列拼接能力，能够加快了图像拼接技术的工程化应用。

附图说明

图1是本发明合成孔径雷达图像拼接方法的流程简图。

具体实施方式

为使本发明实施的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本发明一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。下面结合附图对本发明的实施例进行详细说明。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。

下面结合附图1对本发明合成孔径雷达图像拼接方法做进一步详细说明。

具体地，本实施例中选取的实测数据是机载高分SAR试飞获取的13帧连续有公共区的SAR子图像，单幅子图像的大小约为11000*12000像素，分辨率为0.5m，拼接视角的变化范围为5°～60°，结合SIFT特征进行了大面积多视角图像拼接试验。

本发明提供了一种合成孔径雷达图像拼接方法，包括如下步骤：

步骤一、从多个预拼接的子图像中选取相邻的两个子图像，其中一个子图像作为参考图，另一个子图像作为实时图。

步骤二、对参考图和实时图进行预处理；预处理包括几何失真校正、灰度调整等，属于常规方法，不再赘述。

步骤三、对预处理后的参考图和实时图分别进行尺度不变特征变换特征点提取；其中，尺度不变特征变换特征点又叫SIFT特征点。具体地，进行SIFT特征点提取主要包括三部分内容，分别为三个步骤：

步骤3.1、对参考图和实时图分别进行尺度空间极值检测：

尺度空间极值检测：对于一幅图像I(x,y)的尺度空间定义为L(x,y,σ)，由不同尺度的高斯函数G(x,y,σ)与图像的卷积得到：

式中(x,y)为像素坐标，σ为尺度空间因子。

利用一组连续的高斯卷积核与原图像进行卷积，生成一系列尺度空间图像，相邻尺度图像之差为DOG图像D(x,y,σ)，即

D(x,y,σ)＝L(x,y,kσ)-L(x,y,σ)......(4)；

其中k为常量。构建DOG尺度空间，对DOG尺度空间的每个点与相邻位置的每个点进行比较，找到最大或最小的极值点作为特征点。为了得到精确的特征点还需对这些极值点进行处理，分两步：一是去除低对比度的点；二是去除不稳定的边缘响应点，因为DOG算子会产生较强的边缘响应；这样就能够增强匹配的稳定性，提高抗噪声能力。

步骤3.2、对参考图和实时图分别进行特征点方向确定：

由于每个特征点邻域像素的梯度方向分布不同，通过为每个特征点计算方向参数，使算子具备更好的旋转不变性；

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))...(6)；

公式(5)和(6)表示采样点(x,y)处的梯度模和方向，L取值为每个采样点各自所在尺度，得到采样点的梯度模和方向后，采用梯度直方图统计法确定每个特征点的梯度模和方向。

步骤3.3、对参考图和实时图分别进行提取特征描述符；具体地，每个特征点的描述符就是一个128维向量。

步骤四、将参考图的尺度不变特征变换特征点与实时图的尺度不变特征变换特征点进行粗配准，得到初始配准点对。

具体地，步骤四是采用最近邻NN距离比率算法对尺度不变特征变换特征点进行粗配准；最近邻NN距离比率算法是根据已提取的特征向量之间的欧式距离作为两幅图像的相似性判定度量。

步骤五、根据初始配准点对进行精配准，得到精配准点对；其中，精配准主要是进行删除误配点对。

具体地，步骤五是采用随机抽样一致RANSAC算法进行精配准。RANSAC算法的主要是在输入数据中不断采样最小点集，每次采样最小点集后进行模型参数估计，同时把输入参数中和模型参数一致的点称为内点，不一致的点称为外点，若满足该模型的内点个数大于某一值，则选择此内点集为RANSAC算法的最后解。

步骤六、对所述精配准点对采取最小二乘算法估算实时图相对于参考图的旋转角度θ、尺度因子c和平移量t_x、t_y。

步骤七、根据旋转角度θ、尺度因子c和平移量t_x、t_y对实时图进行仿射变换，从而使得参考图和实时图处于同一个坐标系中。

具体地，步骤七是通过如下仿射变换模型(1)进行仿射变换：

步骤八、对参考图和实时图的重叠区域进行渐入渐出法的思想进行重叠区域融合，通过加权使得重叠区域渐进过渡，实现连续、无缝的图像拼接，得到拼接图。

步骤九、以步骤八中的拼接图作为新的参考图，再选定另外相邻的子图像作为新的实时图，重复步骤二到步骤八，完成三个子图像的拼接。

步骤十、重复步骤九，直到完成所有子图像的拼接；本实施例中，最终拼接后图像场景大小约为32768*32768像素，覆盖区域约为12km×12km。

本发明的合成孔径雷达图像拼接方法，利用多幅SAR图像，通过提取不同图像的SIFT特征进行配准，并估计出SAR图像间的变换参数，通过仿射变换、插值、融合实现高性能SAR图像序列拼接；并且，本发明具有大幅宽、多视角的SAR图像序列拼接能力，能够加快了图像拼接技术的工程化应用；进一步，通过RANSAC处理，有效的删除了误配准点对，并估计出旋转角度θ、尺度因子c和平移量t_x、t_y，实现过程简单、效率高。

另外，本发明合成孔径雷达图像拼接方法还可以应用于：无人机或有人机SAR侦察雷达，实现多视角范围内大面积SAR图像侦察，提高现有合成孔径雷达图像的应用价值等。最大限度地利用了各种SAR图像信息的互补性，实现更大的观测视野，提高SAR图像判读员的态势感知能力，尤其提高了长航时侦察能力。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种合成孔径雷达图像拼接方法，其特征在于，包括：

步骤二、对所述参考图和实时图进行预处理；

步骤三、对预处理后的所述参考图和实时图分别进行尺度不变特征变换特征点提取；

步骤五、根据所述初始配准点对进行精配准，得到精配准点对；

步骤六、对所述精配准点对采取最小二乘算法估算所述实时图相对于参考图的旋转角度、尺度因子和平移量；

步骤七、根据所述旋转角度、尺度因子和平移量对所述实时图进行仿射变换；

步骤八、对所述参考图和实时图进行融合处理，得到拼接图；

步骤十、重复步骤九，直到完成所有子图像的拼接。

2.根据权利要求1所述的合成孔径雷达图像拼接方法，其特征在于，在所述步骤二的中，是对所述参考图和实时图进行几何失真校正和灰度调整。

3.根据权利要求1所述的合成孔径雷达图像拼接方法，其特征在于，在所述步骤三中，对预处理后的所述参考图和实时图分别进行尺度不变特征变换特征点提取包括如下步骤：

步骤3.2、对所述参考图和实时图分别进行特征点方向确定；

步骤3.3、对所述参考图和实时图分别进行提取特征描述符。

4.根据权利要求1所述的合成孔径雷达图像拼接方法，其特征在于，在所述步骤四中，是采用最近邻NN距离比率算法对尺度不变特征变换特征点进行粗配准。

5.根据权利要求1所述的合成孔径雷达图像拼接方法，其特征在于，在所述步骤五中，是采用随机抽样一致RANSAC算法进行精配准。

6.根据权利要求1所述的合成孔径雷达图像拼接方法，其特征在于，在所述步骤七中，是通过如下仿射变换模型(1)进行仿射变换：

(\begin{matrix} x^{'} \\ y^{'} \end{matrix}) = (\begin{matrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{matrix}) (\begin{matrix} x \\ y \end{matrix}) + (\begin{matrix} t_{x} \\ t_{y} \end{matrix}) - - - (1);

其中，矩阵包含了旋转角度、尺度因子，为实时图中像素点坐标，为仿射变换后对应在参考图坐标系中的位置，t_x、t_y为平移量。