CN106548462B - 基于薄板样条插值的非线性sar图像几何校正方法 - Google Patents

Abstract

本发明公开了一种基于薄板样条插值的非线性SAR图像几何校正方法，主要解决现有技术无法精确校正图像非线性失真的问题。其实现步骤是：1.利用SIFT‑Like算法分别提取基准图和实时图的特征点；2.利用相似性度量法在基准图和实时图的特征点中选取匹配点；3.利用RANSAC算法对匹配点进行提纯并求解仿射变换矩阵，得到精确的仿射变换模型，即图像的线性映射关系；4.利用薄板样条插值函数在仿射变换模型上对仿射变换矩阵与实际情况的误差进行局部非线性拟合，得到图像的非线性映射关系，实现对实时图的精确几何校正。本发明能消除非线性几何畸变的影响，提高了校正精度，可用于对雷达接收图像信号非线性失真的精确几何校正。

Description

基于薄板样条插值的非线性SAR图像几何校正方法

技术领域

本发明属于雷达技术领域，主要涉及一种非线性SAR图像校正方法，可用于对雷达接收图像信号的精确几何校正。

背景技术

作为SAR***成像的重要评估手段，针对SAR图像几何校正的研究是成像算法设计以及基于图像的目标识别的理论依据。合成孔径雷达SAR在成像过程中，由于地形起伏和平台运动状态的变化等原因，使得图像存在一定的非线性几何失真,因此所获取图像在几何位置上发生畸变。

在SAR图像中存在一定程度的几何形变，这中间包括线性映射和非线性映射。目前传统方法是将图像间的非线性映射变换关系近似为一种线性映射关系。一般采用RANSAC算法求取其仿射变换矩阵，该算法通过对获取的匹配点进行提纯，删除错误匹配点，利用最终正确匹配点集估计图像之间的线性变换关系，如旋转变换、偏移变换以及伸缩变换等，最终求得基准图与待匹配图之间的仿射变换矩阵。基于RANSANC算法求解的基准图与实时图之间的映射关系是线性变换关系，匹配线性图像时，空间变换通常选为仿射变换，该变换为全局的变换。然而由于实时图中存在一定的非线性几何失真，使得各匹配点的对应关系会有一定的非线性误差，仿射变换并不能反映局部的和全部的非线性差异，因此会带来匹配的误差，导致图像畸变。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于薄板样条插值的非线性SAR图像几何校正方法，获得更高的校正精度。

为实现上述目的，本发明的技术方案包括如下：

(1)将通过星载数据获得的无失真图像作为基准图，利用SIFT-Like算法分别提取基准图与机载的实时图特征点；

(2)根据相似性度量法在基准图特征点和机载实时图特征点中选取出两者的匹配点作为仿射变换模型的控制点，再利用RANSAC算法对控制点进行提纯，求解基准图和实时图这两幅图像各点之间的仿射变换关系，即仿射变换矩阵，得到精确的仿射变换模型；

(3)利用薄板样条插值函数在仿射变换模型上对仿射矩阵与实际情况的误差进行局部非线性拟合，实现对实时图的精确几何校正。

本发明与现有技术相比较，有如下优点：

1.获得更高的校正精度

经典的模型参数估计方法是最小二乘法，但是它没有检测和排除错误数据的方法，用最小二乘法拟合得到的参数准确性不高，甚至出现错误。本发明利用对匹配集采样和对匹配点验证的策略，在包含异常数据的匹配点集中，通过逐步的迭代和筛选，可剔除错误匹配点，最终根据有效样本数据拟合仿射变换矩阵，消除错误数据对仿射变换矩阵的干扰，提高了拟合精确度，获得更高的校正精度。

2.提高SAR图像的质量

传统方法是将图像间的非线性映射变换关系近似为一种线性映射关系，忽略了图像的非线性几何失真，并不能全面反映实时图与基准图之间的映射关系。本发明在仿射变换模型的基础上，运用薄板样条插值函数对仿射矩阵与实际情况的误差进行局部非线性拟合，得到实时图和基准图之间的非线性映射关系，对实时图像进行非线性几何校正，减少图像畸变，提高了SAR图像的质量。

附图说明

图1是本发明的实现流程图；

图2是原始数据三维坐标图；

图3是用本发明对原始数据随机抽样后的三维坐标图；

图4是现有薄板样条插值函数的三维坐标图；

图5是用本发明对随机抽样后数据进行薄板样条插值后的数据三维坐标图；

图6是对本发明插值后数据与原始数据与作差后的失真校正误差三维坐标图；

具体实施方式

以下参照附图对本发明作进一步作详细描述：

参照图1，本发明的实现步骤如下：

步骤1，SIFT-Like算法提取特征点。

图像的特征主要有三种，即点、线、面，其中点特征是最为常见的特征之一，主要有房屋的角点，图像的边缘点，河流、道路等的交汇点等，点特征提取方法有Moravec算法、Forstner算法、SIFT算法及其改进算法等。本发明利用SIFT算法的一种改进算法SIFT-Like分别提取基准图与机载的实时图特征点，其步骤如下：

(1a)将通过星载数据获得的无失真图像作为基准图，在基准图和实时图上分别生成SAR-Harris尺度空间，采用指数加权均值比梯度法得到SAR-Harris函数；

(1b)在SAR-Harris尺度空间，计算每个点的角点响应值，利用其SAR-Harris函数得到初步角点,对初步角点进行非极大值抑制，检测出二维坐标空间中的极值点；

(1c)计算每个坐标空间中极值点的拉普拉斯响应值，并与其相邻两个尺度空间中对应位置的拉普拉斯响应值比较，若该点为拉普拉斯极值点，则该点为尺度空间极值点，即图像的特征点。

步骤2，利用相似性度量法提取匹配点。

利用相似性的度量方法有很多，在图像匹配方面可以通过选取不同的特征描述子来提取特征点，特征描述子是对图像特征的定量化描述，它以向量形式刻画了特征点邻域局部区域的形状特征以及纹理结构特征。理想的特征描述子应该具备高的稳健性、独特性和匹配速度。特征描述子主要分为三类：基于滤波的描述子、基于分布的描述子和基于微分的描述子。常见的描述子包括：GLOH描述子、不变矩描述子、形状描述子、Fourier描述子、线特征描述子、SIFT描述子、形状上下文描述子。

本实例运用但不限于SIFT描述子对每个提取出的特征点进行特征描述，即先将每个点用一个128×1维的向量表示；再采用遍历搜索算法，分别计算实时图中每一个点与基准图中各点间的特征向量欧式距离，当特征点对的最近邻与次近邻的欧式距离比值小于0.8时，则认为该特征点对为匹配点对。

步骤3，提纯匹配点并获得线性映射关系。

按照不同检测方法使用的技术原理，常用的误匹配点检测技术可以分为三类：基于函数拟合的方法、基于统计模型的方法、基于图的方法。基于函数拟合的方法是假设所有正确匹配点满足某一个函数模型，再使用最小二乘拟合方法求解函数模型的系数，然后通过计算匹配点和函数模型的误差来检测误匹配点；基于统计模型的方法是统计满足给定条件的最多数量的正确匹配点，其典型代表是RANSAC方法；基于图的方法是使用原始图像和基准图像上匹配点的分布和邻域关系来检测误匹配点。

本实例运用但不限于RANSAC算法检测出错误匹配点，提纯出正确的匹配点集，求解基准图和实时图之间的仿射变换矩阵获得基准图和实时图之间的线性映射关系，其步骤如下：

(2a)对一个匹配点集P，假设初始化模型参数需要的样本数为n，从匹配点集P中随机抽取n对匹配点组成匹配点集P的一个子集S，并根据抽取的这n对匹配点初始化仿射变换矩阵H；

(2b)设置一个误差容忍度，判断子集S的补集中匹配点是否在该误差容忍度范围内符合仿射变换矩阵H，将补集中的符合仿射变换矩阵H匹配点加入到子集S中，补集中符合仿射变换矩阵H的匹配点称为内点，该子集S称为仿射变换矩阵H的一致集，一致集S中的匹配点个数为t；

(2c)将匹配点集P中匹配点数目的90％设置为特征点数目阈值T，根据当前一致集S中的匹配点个数t判断是否大于特征点数目阈值T：

若t≥T，则执行步骤(2d)；

若t＜T，则执行步骤(2e)。

(2d)设置一个仿射变换矩阵H的最小错误概率P_min，判断当前仿射变换矩阵H的错误概率P_H是否小于最小错误概率P_min：

若P_H≤P_min，根据一致集S中的所有匹配点，采用最小二乘法对当前仿射变换矩阵H进行重新拟合，得到最优的仿射变换矩阵H′；

若P_H>P_min，则执行步骤(2e)；

(2e)通过迭代来求取最优的仿射变换矩阵H′：

(2e1)计算最大的迭代次数N：

其中ω为匹配点集P中任意一点为内点的概率，p为在N次迭代中至少有一次抽样的n个样本均为内点的概率；

(2e2)重复步骤(2a)～(2d)，不断寻找最优的仿射变换矩阵H′，记重复次数为m：

若m<N时循环结束，则找到了最优的仿射变换矩阵H′；

若m＝N时还未找到最优的仿射变换矩阵H′，则选取当前仿射变换矩阵H作为最优的仿射变换矩阵H′。

步骤4，获得非线性映射关系。

径向基函数是一种兼顾全局和局部单元的变换，可以将两幅图像上的匹配点一一对应，图像上其它点的位置通过匹配点插值得到，用于图像的非线性变换插值与统计形状分析，反映图像间的局部非线性差异。常用的径向基函数有TPS函数、高斯插值函数、multiquadric函数、inverse quadric函数、inverse multi-quadric函数、reflectedsigmoid函数。

本实例运用但不限于TPS插值函数对仿射变换矩阵与实际情况的误差进行局部非线性拟合，获得基准图和实时图之间的非线性映射关系，其步骤如下：

(3a)建立基于薄板样条函数TPS图像之间映射关系数学模型：

其中，X′，Y′分别表示实时图上匹配点(X′,Y′)的横坐标和纵坐标，X，Y分别表示基准图上与(X′,Y′)对应的匹配点(X,Y)的横坐标和纵坐标，f₁表示实时图匹配点横坐标X′与基准图匹配点(X,Y)之间的映射关系，f₂表示实时图匹配点纵坐标Y′与基准图匹配点(X,Y)之间的映射关系；A₁+A₂X+A₃Y，C₁+C₂X+C₃Y分别表示匹配点对(X′,Y′)与(X,Y)之间在横坐标方向和纵坐标方向上的线性映射关系，A₁表示横坐标方向上线性映射常系数，A₂表示横坐标方向上与X有关的线性映射系数，A₃表示横坐标方向上与Y有关的线性映射系数，C₁表示纵坐标方向上线性映射常系数，C₂表示纵坐标方向上与X有关的线性映射系数，C₃表示纵坐标方向上与Y有关的线性映射系数； 分别表示匹配点对(X′,Y′)与(X,Y)之间在横坐标方向和纵坐标方向上的非线性映射关系，为核函数，r_ij表示(X_j,Y_j)，(X_i,Y_i)两点间的距离；B_i为横坐标方向上的非线性映射系数，D_i为纵坐标方向上的非线性映射系数；

(3b)求解(3a)中基于薄板样条函数TPS图像之间映射关系数学模型，得到横坐标方向非线性映射系数B_i和纵坐标方向上非线性映射系数D_i，其步骤如下：

(3b1)将最优的仿射变换矩阵H'与基准图匹配点坐标(X,Y)相乘得到横坐标方向上的三个线性映射系数A₁，A₂，A₃和纵坐标方向上的三个线性映射系数C₁，C₂，C₃；

(3b2)生成核函数的矩阵：

其中r_ij＝||(X_j,Y_j)-(X_i,Y_i)||²+d²，r_ij表示实时图上第i个点到第j个点的距离，d²为调节插值平面的弯曲程度的参数，通过实验确定，当d²增加时，插值平面更加均匀；

(3b3)将横坐标方向上的三个线性映射系数A₁，A₂，A₃和的矩阵带入等式求解得横坐标方向上的非线性映射系数B_i；

(3b4)将纵坐标方向上的三个线性映射系数C₁，C₂，C₃和的矩阵带入等式求解得纵坐标方向上的非线性映射系数D_i。

本发明的效果可以通过仿真实验进一步说明：

一.仿真条件

SAR实时图像的非线性失真误差值会随图像中各点到场景中心点距离的增大而增大，而二次函数刚好可以很好的表现出这一特性。本仿真实验用一个二次函数作为原始数据，模拟出SAR实时图像上各点的失真误差随与中心点距离的变化关系。以场景中心点为原点建立三维坐标系，X轴、Y轴分别表示实际图像中各点的横、纵坐标，Z轴表示SAR实时图像与基准图像的同名点间的失真误差大小。

仿真实验采用图2所示的原始数据三维坐标图。

二.仿真内容

仿真1，根据实际工程中基于特征匹配的算法思想，用本发明对图2所示的原始数据随机抽样，用随机抽样获得的点模拟图像中的特征点，随机抽样后的数据点三维坐标图如图3所示。

仿真2，运用如图4所示现有的薄板样条函数对仿真1得到的数据点进行薄板样条插值拟合，拟合后各数据点的三维坐标图如图5所示。

仿真3，将仿真2得到的数据与原始数据作差得到各点的失真校正误差，失真校正误差三维坐标图如图6所示。

图6表明，经薄板样条插值拟合后的失真校正误差与原始数据相比较明显减小，越靠近场景中心点薄板样条函数插值拟合的效果越好。

仿真4，提取仿真3得到的数据分别在X轴，Y轴方向上与场景中心点距离为-50m,-30m,-20m,0m,20m,30m,50m的数据点失真校正误差，如表1所示。

表1薄板样条插值拟合后数据点失真校正误差

从表1可见，距离场景中心点越近的特征点失真误差值越小，同时整体的拟合误差均不大于1m，符合实际应用过程中精确几何校正需求。

Claims (3)

1.基于薄板样条插值的非线性SAR图像几何校正方法，包括有如下步骤：

(1)将通过星载数据获得的无失真图像作为基准图，利用SIFT-Like算法分别提取基准图与机载的实时图特征点；

(2)根据相似性度量法在基准图特征点和机载实时图特征点中选取出两者的匹配点作为仿射变换模型的控制点，再利用RANSAC算法对控制点进行提纯，求解基准图和实时图这两幅图像各点之间的仿射变换关系，即仿射变换矩阵，得到精确的仿射变换模型；

(3)利用薄板样条插值函数在仿射变换模型上对仿射矩阵与实际情况的误差进行局部非线性拟合，实现对实时图的精确几何校正；

其中利用薄板样条插值函数在仿射变换模型上对仿射矩阵与实际情况的误差进行局部非线性拟合，按如下步骤进行：

(3a)建立基于薄板样条函数TPS图像之间映射关系数学模型：

其中，X′，Y′分别表示实时图上匹配点(X′,Y′)的横坐标和纵坐标，X，Y分别表示基准图上与(X′,Y′)对应的匹配点(X,Y)的横坐标和纵坐标，f₁表示实时图匹配点横坐标X′与基准图匹配点(X,Y)之间的映射关系，f₂表示实时图匹配点纵坐标Y′与基准图匹配点(X,Y)之间的映射关系；A₁+A₂X+A₃Y，C₁+C₂X+C₃Y分别表示匹配点对(X′,Y′)与(X,Y)之间在横坐标方向和纵坐标方向上的线性映射关系，A₁表示横坐标方向上线性映射常系数，A₂表示横坐标方向上与X有关的线性映射系数，A₃表示横坐标方向上与Y有关的线性映射系数，C₁表示纵坐标方向上线性映射常系数，C₂表示纵坐标方向上与X有关的线性映射系数，C₃表示纵坐标方向上与Y有关的线性映射系数；

分别表示匹配点对(X′,Y′)与(X,Y)之间在横坐标方向和纵坐标方向上的非线性映射关系，为核函数，r_ij表示(X_j,Y_j)，(X_i,Y_i)两点间的距离；B_i为横坐标方向上的非线性映射系数，D_i为纵坐标方向上的非线性映射系数；

(3b)求解(3a)中基于薄板样条函数TPS图像之间映射关系数学模型，得到横坐标方向非线性映射系数B_i和纵坐标方向上非线性映射系数D_i,按如下步骤进行：

(3b1)将最优的仿射变换矩阵H'与基准图匹配点坐标(X,Y)相乘得到横坐标方向上的三个线性映射系数A₁，A₂，A₃和纵坐标方向上的三个线性映射系数C₁，C₂，C₃；

(3b2)生成核函数的矩阵：

其中r_ij＝||(X_j,Y_j)-(X_i,Y_i)||²+d²，r_ij表示实时图上第i个点到第j个点的距离，d²为调节插值平面的弯曲程度的参数，通过实验确定，当d²增加时，插值平面更加均匀；

(3b3)将横坐标方向上的三个线性映射系数A₁，A₂，A₃和的矩阵带入等式求解得横坐标方向上的非线性映射系数B_i；

(3b4)将纵坐标方向上的三个线性映射系数C₁，C₂，C₃和的矩阵带入等式求解得纵坐标方向上的非线性映射系数D_i。

2.根据权利要求1中所述方法，其中步骤(1)中利用SIFT-Like算法分别提取基准图与机载的实时图特征点，按如下步骤进行：

(1a)在基准图和实时图上分别生成SAR-Harris尺度空间，采用指数加权均值比梯度法得到SAR-Harris函数；

(1b)在SAR-Harris尺度空间，计算每个点的角点响应值，利用其SAR-Harris函数得到初步角点,对初步角点进行非极大值抑制，检测出二维坐标空间中的极值点；

(1c)计算每个坐标空间中极值点的拉普拉斯响应值，并与其相邻两个尺度空间中对应位置的拉普拉斯响应值比较，若该点为拉普拉斯极值点，则该点为尺度空间极值点，即图像的特征点。

3.根据权利要求1中所述方法，其中步骤(2)中利用RANSAC算法对控制点进行提纯，求解基准图和实时图这两幅图像各点之间的仿射变换关系，按如下步骤进行：

(2a)对一个匹配点集P，假设初始化模型参数需要的样本数为n，从匹配点集P中随机抽取n对匹配点组成匹配点集P的一个子集S，并根据抽取的这n对匹配点初始化仿射变换矩阵H；

(2b)设置一个误差容忍度，判断子集S的补集中匹配点是否在该误差容忍度范围内符合仿射变换矩阵H，将补集中的符合仿射变换矩阵H匹配点加入到子集S中，补集中符合仿射变换矩阵H的匹配点称为内点，该子集S称为仿射变换矩阵H的一致集，一致集S中的匹配点个数为t；

(2c)将匹配点集P中匹配点数目的90％设置为特征点数目阈值T，根据当前一致集S中的匹配点个数t判断是否大于特征点数目阈值T：

若t≥T，则执行步骤(2d)；

若t＜T，则执行步骤(2e)；

(2d)设置一个仿射变换矩阵H的最小错误概率P_min，判断当前仿射变换矩阵H的错误概率P_H是否小于最小错误概率P_min：

若P_H≤P_min，根据一致集S中的所有匹配点，采用最小二乘法对当前仿射变换矩阵H进行重新拟合，得到最优的仿射变换矩阵H′；

若P_H＞P_min，则执行步骤(2e)；

(2e)通过迭代来求取最优的仿射变换矩阵H′：

(2e1)计算最大的迭代次数N：

其中ω为匹配点集P中任意一点为内点的概率，p为在N次迭代中至少有一次抽样的n个样本均为内点的概率；

(2e2)重复步骤(2a)～(2d)，不断寻找最优的仿射变换矩阵H′，记重复次数为m：

若m<N时循环结束，则找到了最优的仿射变换矩阵H′；

若m＝N时还未找到最优的仿射变换矩阵H′，则选取当前仿射变换矩阵H作为最优的仿射变换矩阵H′。