CN113671499A - 一种基于提取回波矩阵图的sar与光学图像相配准方法 - Google Patents

Abstract

本发明公开了一种基于提取回波矩阵图的SAR与光学图像相配准方法，首先，采用RD成像算法对SAR图像回波仿真，通过四波横向剪切干涉法提取相位特征，并用枝切法进行相位解缠绕；其次，基于Zernike多项式的最小二乘法贴近拟合的SAR回波特征，SAR回波中提取到的相位特征由Zernike多项式系数来表示；然后，利用Zernike矩分别对实数光学图像和复数SAR回波数据进行特征提取，并结合不变矩匹配方法，通过比较各特征点领域Zernike矩的欧氏距离得到初始匹配点对；最后，利用精简的RANSAC算法剔除伪匹配点对，建立图像之间的仿射，实现光学与SAR图像特征的融合配准。本发明通过利用SAR复数图像的回波提取的高阶特征，有利于SAR和光学图像的配准，提高了SAR目标和场景的识别能力。

Description

一种基于提取回波矩阵图的SAR与光学图像相配准方法

技术领域

本发明属于多源信息融合与分析应用领域，具体涉及一种基于提取回波矩阵图的SAR与光学图像相配准方法。

背景技术

现今SAR与光学图像的配准是多源遥感图像配准研究的热门课题。SAR与光学图像之间存在着巨大的区别。例如SAR图像对拍摄目标的细微粗糙程度、物理材料属性以及反射次数很敏感，而光学图像相比SAR图像对拍摄目标的物理材料属性不宜确定但是对目标的反射率、颜色等则比较敏感。SAR是全天时、全天候成像，不受任何环境、天气以及自然灾害的干扰影响，具有穿透云雾和植被等这些地面结构，而光学传感器极其容易受到云雨雪天气的影响，也不能够全天时无间断的成像。为了融合不同图像收集同一地物不同信息，实现持续不间断对地物观测，可以通过SAR与光学图像中的信息融合来获取。但是，由于两图像在拍摄过程中有不同的成像机理，因此，在信息融合过程中，SAR与光学图像的配准可以一定程度决定信息的有效融合，因此，SAR与光学图像的配准成为亟待解决的问题。

由于SAR采用斜距成像，相干斑乘性噪声明显，导致SAR散射强度与光学图像反射辐射表现出的特征差异性大，给SAR与光学图像配准造成困难。目前SAR信息提取方法主要基于图像级特征，即通过SAR图像灰度数据获得，而SAR图像中具有丰富的相位信息，从相位中获取的回波级特征未经过相干处理，减少了相位上的误差传递；SAR图像成像范围较大，目标散射特性复杂，利用相位进行处理可以减小数据的动态范围；且Zernike矩是具有方向尺度不变性的高阶矩，特别是在信息冗余度、图像描述能力、噪声灵敏等方面有突出表现。

发明内容

发明目的：为了解决现有技术存在的问题及不足，本发明提供一种基于提取回波矩阵图的SAR与光学图像相配准方法，该方法达到了更高的精度，提高了SAR目标和场景的识别能力。

技术方案：本发明所述的一种基于提取回波矩阵图的SAR与光学图像相配准方法，具体包括以下步骤：

(1)采用RD成像算法对SAR图像回波仿真，通过四波横向剪切干涉法提取相位特征，并用枝切法进行相位解缠绕；

(2)基于Zernike多项式的最小二乘法贴近拟合的SAR回波特征，SAR回波中提取到的相位特征由Zernike多项式系数来表示；

(3)利用Zernike矩分别对实数光学图像和复数SAR回波数据进行特征提取，并结合不变矩匹配方法，通过比较各特征点领域Zernike矩的欧氏距离得到初始匹配点对；

(4)利用精简的RANSAC算法剔除伪匹配点对，建立图像之间的仿射，实现光学与SAR图像特征的融合配准。

进一步地，步骤(1)所述RD成像算法包括距离向的压缩处理、距离徒动矫正和方位向压缩处理，具体实现过程如下：

距离向压缩处理用快时间域的匹配滤波表示，时域卷积相当于频域乘积，由匹配滤波可得匹配输出为：

s_τ(τ,t)＝IFFT{FFT[s₀(τ,t)]·FFT[h_r(τ)]}；

式中，距离压缩后目标的幅度S_τ(τ,t)，回波中的目标为S₀(τ,t)，相差τ倍脉冲持续时间t，距离向的匹配滤波的函数为h_r(τ)，采用sinc函数插值进行距离徒动校正，一个点目标在插值操作后的结果为：

式中，雷达与目标点的距离为R_c,脉冲传播速度为c，脉冲信号波长为λ，雷达平台运动速度为V，方位向匹配滤波参数为ω_a(t)，第二个指数项表示的是t²的函数；方位向同样符合线性调频，调频率为：

在完成距离徙动后，回波从双曲线转换成直线，进行方位向压缩，直线转换成一点，实现目标的成像，输出为：

s_a(τ,t)＝IFFT{FFT[s_rcmc(τ,t)]·FFT[h_a(t)]}

式中，方位向压缩后目标的幅度S_a(τ,t)，方位向匹配滤波的函数为h_a(τ)。

进一步地，步骤(1)所述的通过四波横向剪切干涉法提取相位特征实现过程如下：

原始波叠加四级子波前，获取干涉的强度信息：

式中，A₀为(x,y)幅值，W为(x,y)相位值，滤波频谱载频为μ₀和v₀；

对方程进行傅里叶变换，选取5*5滤波窗，通过平移去除载频，将频谱移动至中心，对X、Y方向进行傅里叶逆变换，利用反正切函数提取两个方向的剪切差分相位。

进一步地，所述步骤(2)通过以下公式实现：

式中，四波横向剪切干涉法获取解缠绕后的差分信息为△ω，n是采用Zernike多项式拟合系数，m是差分像元数量，a_i、ε_i代表Zernike第i项系数和误差；任取m、n，在上述表达式中的最小二乘解采用广义逆△Z₊，表示为：

A＝△Z⁺△W+(I-△Z⁺△Z)Y

在Y＝0的情况下，方程存在最小二乘解，计算出目标波前拟合系数A：

A＝(△Z⁺△Z)^-1·△Z^T·△W

计算目标波前任意坐标对应的相位值来获取SAR目标相位特征：

式中，a_k是第K项Zernike多项式的系数，Z_k是第K项Zernike多项式。

进一步地，所述步骤(3)实现过程如下：

针对基准图像和与之相对应的待配准图像中相应的匹配点画一个为r的圆，对该圆组成特征邻域的Zernike矩进行特征点多次求解；采用Zernike矩建立描述子向量P_d，对各个特征点邻域的几何矩m₀₀进行运算，P_d＝(|Z′₁₁|,…,|Z′_pq|),Z′_pq代表一个非负整数p阶Zernike矩的幅值，表示为：

式中，p-|q|是偶数，同时满足|q|≤p；

当对每对特征点进行圆形邻域的Zernike矩运算时，把要计算的那对特征点当作计算时的原点，同时把圆邻域内的所有像素点用以表示的坐标都对应到同一个用单位圆表示的圆内；即满足

其中Z_pq是p阶Zernike的矩；

构造距离矩阵C，通过欧式距离建立初匹配，矩阵中的元素i能写成：

式中，

和

分别是

和

中的元素，i＝1,2,...K，K和K'分别代表两个图像中特征点的个数；通过距离矩阵C的行和列来确定距离的最小值；在行和列上c_ij都能满足最小值时，就把P_i和P_j'两点看作是可以一一对应的。

有益效果：与现有技术相比，本发明的有益效果：本发明利用SAR复数图像的回波提取高阶Zernike矩相位特征，将更准确配准SAR与光学图像，在遥感领域具有重要的理论意义和实用价值。

附图说明

图1为本发明的流程图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

本发明提出一种基于提取回波矩阵图的SAR与光学图像相配准方法，利用Zernike矩分别对实数光学图像和复数SAR回波数据进行相位特征提取，通过欧式距离建立初始匹配，最后利用RANSAC去除两图像相应的初始匹配的伪匹配点，实现更精准地配准SAR和光学图像。利用SAR复数图像的回波提取高阶Zernike矩相位特征，将更准确配准SAR与光学图像，在遥感领域具有重要的理论意义和实用价值。如图1所示，具体包括以下步骤：

步骤1：首先采用RD算法对SAR图像回波仿真，其次通过剪切干涉法得到相位波前，再用枝切法进行相位解缠绕。

SAR图像具有丰富的相位信息，从相位信息中获取的回波级特征未经相干处理，误差传递少。距离多普勒(Range Doppler,RD)成像算法可以分为几步：雷达信号的距离向压缩处理、通过距离多普勒域的统计进行距离徒动矫正、随后进行雷达信号的方位向压缩处理。距离向压缩是指在匹配滤波的过程处理中便于计算，在频域进行的计算过程可用快时间域的匹配滤波表示，时域卷积等同于频域的乘积，由匹配滤波可得匹配输出为：

s_τ(τ,t)＝IFFT{FFT[s₀(τ,t)]·FFT[h_r(τ)]}

距离压缩后目标的幅度S_τ(τ,t)，回波中的目标为S₀(τ,t)，相差τ倍脉冲持续时间t，距离向的匹配滤波的函数为h_r(τ)，斜距的不断变化会造成二维回波产生徙动的情况，采用sinc函数插值进行距离徒动校正。一个点目标在插值操作后的结果可表示为：

式中，雷达与目标点的距离为R_c,脉冲传播速度为c，脉冲信号波长为λ，雷达平台运动速度为V，方位向匹配滤波参数为ω_a(t)，第二个指数项表示的是t²的函数。由此认为方位向同样符合线性调频，调频率表示成：

在完成距离徙动后，回波从双曲线转换成直线，以便后续方位压缩处理。

方位压缩后，直线转换成一点，进而完整实现了目标的成像，输出为：

s_a(τ,t)＝IFFT{FFT[s_rcmc(τ,t)]·FFT[h_a(t)]}

式中，方位向压缩后目标的幅度S_a(τ,t)，方位向匹配滤波的函数为h_a(τ)。

采用光学领域中的四波横向剪切干涉法来提取相位特征。原始波叠加四级子波前，获取干涉的强度信息，运算步骤为：

式中，A₀为(x,y)幅值，W为(x,y)相位值。滤波频谱载频为μ₀和v₀。

对方程进行傅里叶变换，选取合适的滤波窗，通过平移去除载频，将频谱移动至中心，对X、Y方向进行傅里叶逆变换，利用反正切函数提取两个方向的剪切差分相位。

反正切函数获得的相位信息，在值域的范围内出现了相位折叠，进行折叠相位解缠绕处理，选择枝切法作为相位展开算法。

步骤2：利用基于最小二乘法得到的Zernike多项式来贴近拟合SAR回波，将最小二乘法得到的Zernike多项式系数作为SAR回波中提取到的相位特征。

Zernike是一种具有方向尺度不变性的高阶矩，利用其可以对图像进行更多维度的特征描述。使用一组Zernike多项式描述原始目标波前，矩阵形式可表示为：

式中，n是采用Zernike多项式拟合系数，m是差分像元数量，a_i、ε_i代表Zernike第i项系数和误差。任取m、n，在上述表达式中的最小二乘解采用广义逆△Z₊，可表示为：

A＝△Z⁺△W+(I-△Z⁺△Z)Y

在Y＝0的情况下，方程存在最小二乘解，这时能计算出目标波前拟合系数A，可表示为：

A＝(△Z⁺△Z)^-1·△Z^T·△W

下式可计算目标波前任意坐标对应的相位值来获取SAR目标相位特征：

式中，a_k是第K项Zernike多项式的系数，Z_k是第K项Zernike多项式。

步骤3：利用Zernike矩分别对实数光学图像和复数SAR回波数据进行特征提取，并与不变矩匹配方法相结合，通过比较各特征点领域Zernike矩的欧氏距离得到初始匹配点对。

针对基准图像和与之相对应的待配准图像中的相对应的配准点多次画半径为r的圆，对该圆组成特征邻域的Zernike回波矩阵图点多次进行求解。采用Zernike矩来进行建立描述子向量P_d，首先对每对相对应的特征点邻域的几何矩m₀₀进行运算，P_d＝(|Z′₁₁|,…,|Z′_pq|),Z′_pq代表一个非负整数p阶Zernike矩的幅值，可表示为：

式中，p-|q|是偶数，同时满足|q|≤p。

当对每对特征点进行圆形邻域的Zernike矩运算时，把要计算的那对特征点当作计算时的原点，同时把圆邻域的所有每个像素点用以表示的坐标都对应到同一个用单位圆表示的圆内。即满足

其中Z_pq是p阶的Zernike矩。

构造距离矩阵C，通过欧式距离建立初匹配。矩阵中的元素i能写成：

式中

和

分别是

和

中的元素，i＝1,2,...K，K和K'分别代表两个图像中特征点的个数。在矩阵C中，通过行和列寻找到距离最小值。c_ij在行和列上都能满足得到最小值时，就把点P_i和P_j'看作可以进行匹配的。

步骤4：最后用精简后的RANSAC算法去剔除两图像的伪匹配点对，建立图像之间的仿射，进而实现两种图像特征的信息融合和配准。

RANSAC算法能够最大程度地把所给的全部数据进行估计，然后结合一个容许误差把测量数据分成两类，包括内点和外点。一般情况下误匹配的点对叫做外点，该算法能够准确地消除外点。该算法的主要思路：第一，在所有的数据集中任意选择两个点作为初始点集，解得初始化模型。第二，基于传统SAR图像幅度法实验范围内可承受误差来对这个初始模型的支撑点集也就是有效点或内点进行求解。通过结合求解的内点来重新量化此模型。重复上述过程，直到内点的个数不发生改变。

如表1所示，通过三组SAR图像和光学图像配准实验验证所提出方法的有效性，并与传统基于SAR图像幅度特征方法作对比。本文中使用的实验数据SAR图像都来源ISPRS公开的数据集，光学图像由EuroSDR共同资助的ISPRS科学计划“多平台高分辨率摄影测量”(2014-2015)提供，SAR图像采用sentinel-1的C波段合成孔径雷达卫星图像。

表1配准精度表

基于SAR复数图像的回波提取相位特征。在SAR成像中，回波相位直接反映了SAR成像的过程，也是SAR成像中最重要的信息，所以基于相位的处理，可以更好地保留可用特征，避免了后续相干处理等操作引起的误差传递；另外由于SAR图像成像范围较大，目标散射特性复杂，利用相位进行处理可以减小数据的动态范围，便于后续处理。

利用Zernike矩进行特征提取。Zernike矩是一种具有尺度不变性的高阶多项式拟合方法，其在计算时利用了相邻点的信息，得到16个维度上的系数，因此能够反应更多维度上的点特征。不同特征点即使散射强度相同，在系数上仍然会产生较大差异，即Zernike回波矩特征图区别明显。高维度的特征信息保证了本文方法的有效性，即Zernike将原本回波相位的一维特征向量扩展为16维特征矩阵，提升了匹配精度。

Claims (5)

1.一种基于提取回波矩阵图的SAR与光学图像相配准方法，其特征在于，包括以下步骤：

(1)采用RD成像算法对SAR图像回波仿真，通过四波横向剪切干涉法提取相位特征，并用枝切法进行相位解缠绕；

(2)基于Zernike多项式的最小二乘法贴近拟合的SAR回波特征，SAR回波中提取到的相位特征由Zernike多项式系数来表示；

(3)利用Zernike矩分别对实数光学图像和复数SAR回波数据进行特征提取，并结合不变矩匹配方法，通过比较各特征点领域Zernike矩的欧氏距离得到初始匹配点对；

(4)利用精简的RANSAC算法剔除伪匹配点对，建立图像之间的仿射，实现光学与SAR图像特征的融合配准。

2.根据权利要求1所述的基于提取回波矩阵图的SAR与光学图像相配准方法，其特征在于，步骤(1)所述RD成像算法包括距离向的压缩处理、距离徒动矫正和方位向压缩处理，具体实现过程如下：

距离向压缩处理用快时间域的匹配滤波表示，时域卷积相当于频域乘积，由匹配滤波可得匹配输出为：

s_τ(τ,t)＝IFFT{FFT[s₀(τ,t)]·FFT[h_r(τ)]}；

式中，距离压缩后目标的幅度S_τ(τ,t)，回波中的目标为S₀(τ,t)，相差τ倍脉冲持续时间t，距离向的匹配滤波的函数为h_r(τ)，采用sinc函数插值进行距离徒动校正，一个点目标在插值操作后的结果为：

式中，雷达与目标点的距离为R_c,脉冲传播速度为c，脉冲信号波长为λ，雷达平台运动速度为V，方位向匹配滤波参数为ω_a(t)，第二个指数项表示的是t²的函数；方位向同样符合线性调频，调频率为：

在完成距离徙动后，回波从双曲线转换成直线，进行方位向压缩，直线转换成一点，实现目标的成像，输出为：

s_a(τ,t)＝IFFT{FFT[s_rcmc(τ,t)]·FFT[h_a(t)]}

式中，方位向压缩后目标的幅度S_a(τ,t)，方位向匹配滤波的函数为h_a(τ)。

3.根据权利要求1所述的基于提取回波矩阵图的SAR与光学图像相配准方法，其特征在于，步骤(1)所述的通过四波横向剪切干涉法提取相位特征实现过程如下：

原始波叠加四级子波前，获取干涉的强度信息：

式中，A₀为(x,y)幅值，W为(x,y)相位值，滤波频谱载频为μ₀和v₀；

对方程进行傅里叶变换，选取5*5滤波窗，通过平移去除载频，将频谱移动至中心，对X、Y方向进行傅里叶逆变换，利用反正切函数提取两个方向的剪切差分相位。

4.根据权利要求1所述的基于提取回波矩阵图的SAR与光学图像相配准方法，其特征在于，所述步骤(2)通过以下公式实现：

式中，四波横向剪切干涉法获取解缠绕后的差分信息为△ω，n是采用Zernike多项式拟合系数，m是差分像元数量，a_i、ε_i代表Zernike第i项系数和误差；任取m、n，在上述表达式中的最小二乘解采用广义逆△Z⁺，表示为：

A＝△Z⁺△W+(I-△Z⁺△Z)Y

在Y＝0的情况下，方程存在最小二乘解，计算出目标波前拟合系数A：

A＝(△Z⁺△Z)^-1·△Z^T·△W

计算目标波前任意坐标对应的相位值来获取SAR目标相位特征：

式中，a_k是第K项Zernike多项式的系数，Z_k是第K项Zernike多项式。

5.根据权利要求1所述的基于提取回波矩阵图的SAR与光学图像相配准方法，其特征在于，所述步骤(3)实现过程如下：

针对基准图像和与之相对应的待配准图像中相应的匹配点画一个为r的圆，对该圆组成特征邻域的Zernike矩进行特征点多次求解；采用Zernike矩建立描述子向量P_d，对各个特征点邻域的几何矩m₀₀进行运算，P_d＝(|Z′₁₁|,…,|Z′_pq|),Z′_pq代表一个非负整数p阶Zernike矩的幅值，表示为：

式中，p-|q|是偶数，同时满足|q|≤p；

当对每对特征点进行圆形邻域的Zernike矩运算时，把要计算的那对特征点当作计算时的原点，同时把圆邻域内的所有像素点用以表示的坐标都对应到同一个用单位圆表示的圆内；即满足

其中Z_pq是p阶Zernike的矩；

构造距离矩阵C，通过欧式距离建立初匹配，矩阵中的元素i能写成：

式中，

和

分别是

和

中的元素，i＝1,2,...K，K和K'分别代表两个图像中特征点的个数；通过距离矩阵C的行和列来确定距离的最小值；在行和列上c_ij都能满足最小值时，就把P_i和P′_j两点看作是可以一一对应的。

Images