CN101996396A - 一种基于压缩传感理论的卫星遥感图像融合方法 - Google Patents

Abstract

本发明公开了一种基于压缩传感理论的卫星遥感图像融合方法。它包括以下步骤：向量化高空间分辨率全色图像和低空间分辨率多光谱图像；构造高空间分辨率的图像块的稀疏表示过完备原子库；根据各陆地观测卫星的成像原理，建立从高空间分辨率多光谱图像到高空间分辨率全色图像和低空间分辨率多光谱图像的模型；用基追踪算法求解该稀疏信号恢复的压缩传感问题，得到高空分辨率的多光谱彩色图像在过完备字典中的稀疏表示，再将该稀疏表示与与预先设定过完备字典相乘得到高空分辨率的多光谱彩色图像块向量表示，将该向量表示转化为图像块，得到融合结果，本发明将压缩传感理论引入图像融合技术，能够明显提高融合后的图像质量，达到理想的融合效果。

Description

一种基于压缩传感理论的卫星遥感图像融合方法

技术领域

本发明涉及一种卫星遥感图像融合方法，更具体的说是一种基于压缩传感理论的卫星遥感图像融合方法。

背景技术

随着遥感技术的迅猛发展和新型传感器的不断出现，人们获取遥感图像数据的能力不断提高。然而目前多数的卫星仍只提供高空间分辨率全色灰度图像和低空间分辨率多光谱彩色图像，这使得在进行数据信息分析时会受到限制。简单且最常用的遥感图像融合方法包括IHS色彩变换法、主成分分析法、Gram-Schmidt变换法等。其融合过程主要包括三个步骤：首先对遥感多光谱图像进行光谱通道变换，实现亮度信息与颜色信息分离，其次将全色图像代替上步变换得到的亮度图像，最后光谱通道逆变换得到融合图像。这类方法能够提高融合图像的空间分辨率和光谱特性，但同时容易扭曲了原始的光谱特性，产生了光谱退化现象。另一种代表性方法是基于多分辨率分析的方法。其基本思想就是通过多分辨率变换提取全色灰度图像的细节信息，并将其***的到低空间分辨率的多光谱彩色图像的多分辨率变换系数中，最后通过多分辨率逆变换的到融合图像。常用的多分辨率方法包括Laplacian金字塔分解、离散小波变换、小波帧变换、“àtrous”小波变换等等。这类方法由于同时考虑了源图像不同分辨率上的光谱特性和细节特性，使得融合图像能够保持全色灰度图像的细节信息和原始低空间分辨率的多光谱彩色图像光谱特性，但融合结果图像与理想的融合图像仍有较大偏差，存在一定程度的细节信息与光谱信息的丢失。其他方法，例如基于Bayesian方法和基于马尔科夫随机场的方法等也常用来实现遥感图像的融合，但这些方法运算复杂，且效果有待进一步的提高。

发明内容

为了解决卫星遥感图像融合方法存在的上述技术问题，本发明提供了一种基于压缩传感理论的卫星遥感图像融合方法。本发明将压缩传感理论运用到卫星遥感图像融合方法中，将高空间分辨率全色灰度图像和低空间分辨率多光谱彩色图像进行融合，既可以提高图像分辨率，又使融合后图像具有色彩，从而为地理信息***提供了良好的基础数据层。在维护国防安全，利用遥感图像进行地形图更新，提高陆地目标的识别精度，遥感土地利用动态监测、防洪防灾、地理信息***等方面发挥了很大的作用。

本发明解决上述技术问题的技术方案包括以下步骤：

1)向量化高空间分辨率全色图像和低空间分辨率多光谱图像；

2)构造高空间分辨率的图像块的稀疏表示过完备原子库；

3)根据各陆地观测卫星的成像原理，建立从高空间分辨率多光谱图像到高空间分辨率全色图像和低空间分辨率多光谱图像的模型；

4)用基追踪算法求解该稀疏信号恢复的压缩传感问题，得到高空分辨率的多光谱彩色图像在过完备字典中的稀疏表示，再将该稀疏表示与预先设定过完备字典相乘得到高空分辨率的多光谱彩色图像块向量表示，将该向量表示转化为图像块，得到融合结果。

上述的步骤1)图像向量化的具体步骤为：

1)选择一对尺寸固定的滑动窗口，包括一个大的窗口，窗口大小为8行8列，一个小的窗口，窗口大小为2行2列，大的窗口在高空间分辨率全色图像上按照从左到右从上到下的扫描顺序滑动，滑动的步长为4个像素，小窗口在低空间分辨率的多光谱图像上按照从左到右从上到下的扫描顺序滑动，滑动的步长为1个像素，大窗口和小窗口的滑动同时进行；

2)采集大滑动窗口覆盖的高空间分辨率全色图像上的8行8列图像块，并将其以连接的形式向量化；

3)采集小的滑动窗口覆盖的低空间分辨率多光谱图像上的2行2列分辨率图像块，并将其向量化；

4)将对应位置的高空间分辨率全色图像和低空间分辨率多光谱图像的图像块得到的向量连接成一个向量。

进一步，所述的构造稀疏表示过完备原子库的方法为随机取样方法。

进一步，所述的图像融合方法采用滑动窗口的策略。

由于采用上述技术方案，本发明的技术效果在于：本发明提出的图像融合方法是一种基于压缩传感理论的卫星遥感图像融合方法。该方法将卫星遥感图像的融合问题转化为可压缩信号的恢复问题，其具有更加稀疏的信号表示形式，更加符合人的视觉特性，且在稀疏表示的基础上，引入了滑动窗口技术，使其具有平移不变性；将高空间分辨率全色灰度图像和低空间分辨率多光谱彩色图像进行融合，既可以提高图像分辨率，又使融合后图像具有色彩；且该方法采用随机取样的方法来构造稀疏表示过完备原子库，避免常用过完备原子库学习算法的复杂和耗时的缺点。

下面结合附图对本发明作进一步的说明。

附图说明

图1为本发明基于压缩传感理论的卫星遥感图像融合方法的示意图；

图2为高空间分辨率全色图像和低空间分辨率多光谱图像产生模型框图的示意图；

具体实施方式

如图1、图2所示，图1为本发明的基于压缩传感理论的卫星遥感图像融合方法示意图。待融合源图像包括一个灰度全色图像和彩色多光谱图像，全色图像与彩色多光谱图像的空间分辨率的比为4∶1，彩色多光谱图包含红、绿、蓝和近红外四个颜色通道。如图1所示，本方法采用滑动窗口的策略实现整个图像的融合，每次算法都实现一个小的对应滑动窗口区域的融合，当一次处理完成后，滑动窗口按照一定的步长采样下一个窗口，采样的步长与高空间分辨率的多光谱彩色图像到低空间分辨率的多光谱彩色图像的采样比有关，然后重复以上扫描窗口处理，直到整个图像都被扫描到。各部分具体实施细节如下：

1.将高空间分辨率全色图像和低空间分辨率多光谱图像的窗口图像块向量化。其具体步骤为：

1)选择一对尺寸固定的滑动窗口，包括一个大的窗口，窗口大小为8行8列，一个小的窗口，窗口大小为2行2列，大的窗口在高空间分辨率全色图像上按照从左到右从上到下的扫描顺序滑动，滑动的步长为4个像素，小窗口在低空间分辨率的多光谱图像上按照从左到右从上到下的扫描顺序滑动，滑动的步长为1个像素，大窗口和小窗口的滑动同时进行，由于全色图像与彩色多光谱图像的空间分辨率的比为4∶1，所以每次窗口滑动之后大窗口和小窗口对应相同的内容，但分辨率比为4∶1。

2)采集大的滑动窗口覆盖的高空间分辨率全色图像上的8行8列图像块，并将其以列连接的形式向量化，即块的第二列连接到第一列的后面，第三列连接到刚连接好的前一列的后面，依次类推，将图像块变成一个维数为64的向量。具体细节如图2所示，用P_i表示采样的第i个大小为8行8列的图像块

其中y_1，1表示8行8列的图像块中第1行第1列对应像素的像素值，y_1，2表示第1行第2列对应像素的像素值，以此类推y_8，8表示第8行第8列对应像素的像素值。由P_i得到的向量为

长度为64，其中 $y_{\mathrm{pan}}^i={[y_{\mathrm{1,1}},y_{\mathrm{2,1},...,}{y}_{\mathrm{8,1}},y_{\mathrm{1,2}},y_{\mathrm{2,2},...,}{y}_{\mathrm{8,2}},...,y_{\mathrm{1,8}},y_{\mathrm{2,8},...,}{y}_{\mathrm{8,8}}]}^T.$

3)小的滑动窗口作用在低空间分辨率多光谱图像上，其采样方式同大窗口在全色图像上的采样方式。将窗口对应的大小为2行2列4通道彩色图像块向量化，彩色图像块的四个通道的图像块分别用

和

表示，按列的方式分别向量化得到四个长度为4的向量，设

其中m_1，1为2行2列图像块中第1行第1列像素对应的像素值。定义向量r_i＝[m_1，1 m_2，1 m_1，2，m_2，2]^T。相同的方法从和

得到g_i，b_i和n_i，然后由r_i，g_i，b_i和n_i构造

的长度为16。

4)将对应位置从高空间分辨率的全色灰度图像和低空间分辨率的多光谱彩色图像的图像块得到的向量连接成一个向量向量的长度为80。

2.构造高空间分辨率图像块的稀疏表示过完备原子库。为避免常用过完备原子库学习算法的复杂和耗时的缺点，本发明采用随机取样的方法来构造稀疏表示过完备原子库。首先，选择20幅空间分辨率与全色灰度图像一样且与待融合图像统计特性相近的自然彩色多光谱彩色图像；然后随机从中采样10000个彩色图像块，图像块大小与第一步中用到的较大的图像窗口的大小一样，即8行8列4通道，最后将每一个图像块都向量化。向量化的方法与第一步中图像块的方法相同，先将每一个彩色通道的图像块对应的像素值按列的顺序连接生成一个向量，再将各个通道对应的响亮连接，生成向量的长度为256的向量。将10000个彩色图像所对应的向量排列，构成大小为256×10000的矩阵D，该矩阵即为过完备原子库。

3.根据各陆地观测卫星的成像原理，建立从高空间分辨率的多光谱彩色图像到高空间分辨率的全色灰度图像和低空间分辨率的多光谱彩色图像退化模型。将向量化的数据看作是压缩传感理论中的采样数据，所构造的退化模型矩阵看作是压缩传感理论中的传感矩阵，将卫星遥感图像融合的问题转化为稀疏信号恢复的压缩传感问题。具体过程为：

1)构造高空间分辨率的全色灰度图像产生模型。由于全色灰度图像的波长范围与多光谱彩色图像的所有通道的波长范围相互重叠，因此高空间分辨率的全色灰度图像可以看做是多光谱彩色图像各个通道的加权线性组合。其中加权系数通过分析卫星图像传感器的光谱反应特性得到，本发明中红，禄，蓝和近红外对应的加权系数分别为w₁＝0.2308，w₂＝0.2315，w₃＝0.1139，w₄＝0.4239。该模型可以用矩阵来表示，矩阵的形式与卫星图像传感器的光谱反应特性有关。图2为高空间分辨率的全色灰度图像和低空间分辨率的多光谱彩色图像产生模型框图的示意图。如图2所示，用

$x_i={(x_{\mathrm{1,1}}^R,x_{\mathrm{1,2}}^R,...,x_{\mathrm{1,8}}^R,x_{1,2}^R,...,x_{\mathrm{8,8}}^R,...,x_{1,1}^{\mathrm{NIR}},x_{\mathrm{1,2}}^{\mathrm{NIR}},...,x_{\mathrm{1,8}}^{\mathrm{NIR}},x_{\mathrm{1,2}}^{\mathrm{NIR}},...,x_{\mathrm{8,8}}^{\mathrm{NIR}})}^T---\left(1\right)$

表示理想高分辨率多光谱图像拉成向量的形式，其中R，G，B，和NIR分别表示红，禄，蓝和近红外通道，

表示图2中红色通道通道对应图像块中第1行第1列像素对应位置的像素值，则：

$y_{\mathrm{PAN}}^i=M_1{x}_i+v,---\left(2\right)$

其中，M₁＝(w₁I w₂I w₃I w₄I)，I∈R^64×64的单位矩阵，v表示加性零均值高斯噪声。

2)构造低空间分辨率的多光谱彩色图像产生模型。由于低分辨率图像像素值对应的CCD阵列上的光线强度等于其相应邻域的理想高分率图像素值对应得CCD阵列上的光线强度的平均值，因此，低分辨率图像像素值可以看作是于其相应邻域的理想高分率图像素值的平均值。高空间分辨率的全色灰度图像可以看作是理想高空间分辨率彩色图像各通道的加权平均值，其权值可以通过对对应卫星光学传感器的光谱反映特性进行分析得到。由于理想高空间分辨率彩色图像与低空间分辨率彩色图像的采样率为4，所以低空间分辨率的多光谱彩色图像一个通道的每一个像素值都可以看做是它在对应理想高空间分辨率彩色图像中4×4邻域像素的平均值，即

$y_{\mathrm{MS}}^i=M_2{x}_i+v,---\left(3\right)$

其中M₂是大小为16行256列的采样矩阵。M₂的构造方法为

其中I_8×8∈R^8×8的单位矩阵，1∈R^4×1的全1矩阵，I_2×2∈R^2×2的单位矩阵，v加性零均值高斯噪声。

3)将向量化的数据看作是压缩传感理论中的采样数据，所构造的退化模型矩阵看作是压缩传感理论中的传感矩阵。将卫星遥感图像融合的问题转化为稀疏信号恢复的压缩传感问题。

首先，将公式(2)和(3)合并得到

yⁱ＝Mx_i+v，             (4)

其中

这里图像融合的目的就是通过已知的yⁱ和M来求x_i。由于M的行数小于列数，所以问题(4)是一个不可逆的问题，也就是说有多个x_i通过公式(4)可以得到相同的yⁱ。这里将该问题看作是压缩传感问题，其中yⁱ为采样数据，M为传感矩阵，x_i为要恢复的信号。该问题转化为稀疏性约束下的最优化问题

$\min {\left|\right|\mathrm{\α}\left|\right|}_{1}s.t.{\left|\right|y^i-\mathrm{\Φ\α}\left|\right|}_2^2\≤\mathrm{\ϵ},---\left(5\right)$

其中Φ＝MD，D为过完备稀疏字典，ε表示重构误差，其值与原图像里噪声的程度有关，当默认原图像里不存在噪声时，其值可以设置的很小，本发明里设置ε＝1。

4.用基追踪算法(基追踪算法的具体实现细节参考Scott Shaobing Chen，David L.Donoho和Michael A.Saunders于2001年发表在SIAM REVIEW上的论文S.Chen，D.Donoho，and M.Saunders，“Atomic Decomposition by Basis Pursuit，”SIAM Rev.，vol.43，no.1，pp.129-159，2001)求解该稀疏信号恢复的压缩传感问题(5)，得到高空间分辨率的多光谱彩色图像的稀疏表示α，将该稀疏表示与预先设定字典相乘得到高空间分辨率的多光谱彩色图像即x_i＝Dα。重新将x_i转化为图像块的形式，转化的过程即公式(1)的逆过程。最后将重构出的图像块放到融合图像的相应位置。重复以上扫描窗口处理，直到整个图像都被扫描到，得到最终的融合结果图像。

本发明所提供的方法与基于支持向量变换的方法和基于遗传算法的方法这两种最新的遥感图像融合方法进行了比较。表1和表2列出了客观评价结果.表1快鸟卫星图像融合结果的客观评价。表2IKONOS卫星图像融合结果的客观评价。这里用了标相关系数、均方根误差、SAM、ERGAS和Q4作为评价标准。其中相关系数和Q4值越大表示融合效果越好，均方根误差、SAM和ERGAS的值越小表示融合效果越好。从实验结果可以看出，本发明提出的方法得到最好的融合结果。

表1

表2

Claims (3)

1.一种基于压缩传感理论的卫星遥感图像融合方法，包括以下步骤：

1）将高空间分辨率全色图像和低空间分辨率多光谱图像向量化；

2）构造高空间分辨率的图像块的稀疏表示过完备原子库；

3）根据各陆地观测卫星的成像原理，建立从高空间分辨率多光谱图像到高空间分辨率全色图像和低空间分辨率多光谱图像的模型；

4）用基追踪算法求解该稀疏信号恢复的压缩传感问题，得到高空分辨率的多光谱彩色图像在过完备字典中的稀疏表示，再将该稀疏表示与与预先设定过完备字典相乘得到高空分辨率的多光谱彩色图像块向量表示，将该向量表示转化为图像块，得到融合结果。

2.根据权利要求1所述的基于压缩传感理论的卫星遥感图像融合方法，其特征在于，所述的步骤1）图像向量化的具体步骤为：

1）选择一对尺寸固定的滑动窗口，包括一个大的窗口，窗口大小为8行8列，一个小的窗口，窗口大小为2行2列，大的窗口在高空间分辨率全色图像上按照从左到右从上到下的扫描顺序滑动，滑动的步长为4个像素，小窗口在低空间分辨率的多光谱图像上按照从左到右从上到下的扫描顺序滑动，滑动的步长为1个像素，大窗口和小窗口的滑动同时进行；

2）采集大滑动窗口覆盖的高空间分辨率全色图像上的8行8列图像块，并将其以连接的形式向量化；

3）采集小的滑动窗口覆盖的低空间分辨率多光谱图像上的2行2列分辨率图像块，并将其向量化；

4）将对应位置的高空间分辨率全色图像和低空间分辨率多光谱图像的图像块得到的向量连接成一个向量。

3.根据权利要求1所述的基于压缩传感理论的卫星遥感图像融合方法，其特征在于，所述的步骤2）构造稀疏表示过完备原子库的方法为随机取样方法。

Images