CN104112263B - 基于深度神经网络的全色图像与多光谱图像融合的方法 - Google Patents

Abstract

本发明提供了一种基于深度神经网络的全色图像与多光谱图像融合的方法，具体步骤如下：步骤1，构建高分辨与低分辨图像块对的训练集；步骤2，利用改进的稀疏去噪自编码器学习训练神经网络模型中第一层的初始化参数；步骤3，利用改进的稀疏去噪自编码器对神经网络进行逐层的预训练；步骤4，对经过预训练的深度神经网络的参数进行微调；步骤5，根据已知的低空间分辨的多光谱图像，利用该深度神经网络重构出高分辨的多光谱图像。本发明提供的方法采用了深度学习的方法，能够充分利用非线性的神经网络刻画多光谱图像复杂的结构信息，从而使融合后的多光谱图像不仅具有高空间分辨率，而且能很好地保留了其光谱信息。

Description

基于深度神经网络的全色图像与多光谱图像融合的方法

技术领域

本发明属于遥感图像处理技术领域，具体涉及基于深度神经网络的高分辨的全色图像和多光谱图像融合方法。

背景技术

地球观测卫星通常提供两种不同类型的图像，即高空间和低光谱分辨的全色图像与低空间和高光谱分辨的多光谱图像。目前，由于当前卫星传感器的技术限制，一般很难直接获取高空间和高光谱分辨的多光谱图像。因此，通过一种将这两种不同类型的图像进行信息融合的技术来获取高空间和高光谱分辨的多光谱图像无疑是更好的选择。

多光谱图像融合的方法就是将高空间分辨的全色图像与低空间分辨的多光谱图像进行融合，得到融合后的图像不仅具有高空间分辨率，而且能很好地保留光谱信息。具有代表性的多光谱图像融合的方法有：IHS(Intensity-Hue-Saturation)、自适应的IHS和主成分分析(Principal Component Analysis,PCA)等元素替换的方法，以及基于多分辨分析的小波变换的方法。这些方法具有易于实现、速度快等特点，但是经这些方法融合后的图像只能在空间分辨率和光谱分辨率之间进行权衡。随后，李树涛等人在“S.Li and B.Yang,“Anew pan-sharpening method using a compressed sensing technique,”IEEETrans.Geosci.Remote Sens.,vol.49,no.2,pp.738–746,Feb.2011.”中提出了一种基于压缩感知的多光谱图像融合的方法，该方法利用稀疏性先验信息以及由训练的高空间分辨的多光谱图像库学习得到的字典，进行图像融合并取得了较好的结果。然而，该方法需要收集大量的同类传感器拍摄的高分辨多光谱图像，通常这类图像是很难获取的。朱晓香等人在“Zhu X X,Bamler R,"A sparse image fusion algorithm with application to pan-sharpening,"IEEE Transactions on Geoscience and Remote Sensing,vol.51,no.5,pp.2827-2836,May.2013.”提出了一种利用全色图像训练字典的稀疏方法进行图像融合，使该方法更具有实用性。刘德红提出了一种利用小波字典的全色图像与多光谱图像融合的方法(Method for Pan-Sharpening Panchromatic and Multispectral Images UsingWavelet Dictionaries，公开号：US8699790 B2)。这类方法虽然能较好地重构出高分辨的多光谱图像，但是它们只共享一个浅层的线性结构，不能对遥感图像复杂的结构信息进行非线性描述。

发明内容

为了克服现有技术存在的问题，本发明提供一种基于深度神经网络的全色图像与多光谱图像融合的方法，该方法采用了深度学习的方法，能够充分利用非线性的神经网络刻画多光谱图像复杂的结构信息，从而使融合后的多光谱图像不仅具有高空间分辨率，而且能很好地保留了其光谱信息。

一种基于深度神经网络的全色图像与多光谱图像融合的方法，具体步骤如下：

步骤1，构建高分辨与低分辨图像块对的训练集该训练集的图像块和分别采样于已知的高分辨全色图像和由已知低分辨多光谱图像线性组合而成的低分辨全色图像；

步骤2，利用改进的稀疏去噪自编码器对深度神经网络的第一层参数进行与训练；

步骤3，利用改进的稀疏去噪自编码器对神经网络进行逐层的预训练；

步骤4，利用后向传播算法对经过预训练的深度神经网络的参数进行微调；

步骤5，根据已知的低空间分辨的多光谱图像Z_ms，利用该深度神经网络重构出高分辨的多光谱图像

本发明与现有的技术相比，具有以下优点：

(1)本发明充分地利用了神经网络能很好地刻画变量之间非线性关系的特点，通过具有多个隐含层的深度神经网络增加了对图像之间复杂变换的表达能力，从而提高融合的高分辨多光谱图像的质量；

(2)本发明中训练集数据的生成不需要采集其它训练图像，仅采样于高分辨全色图像以及由低分辨多光谱图像每个波段加权平均组成的低分辨全色图像，由于本发明中低分辨全色图像的生成，不需要考虑从高分辨全色图像到低分辨全色图像的降质过程中的模糊核信息，从而使本发明更具有实用价值；

(3)本发明与现有的图像融合方法相比，经本发明融合得到的高分辨多光谱图像不仅具有高空间分辨率，还能很好地保留其光谱信息。

下面结合附图进一步说明本发明提供的一种基于深度神经网络的全色图像与多光谱图像融合的方法。

附图说明

图1是本发明的方法流程图；

图2是本发明提出的修改稀疏去噪自编码器的体系结构图；

图3是本发明提出的栈式深度神经网络结构图；

图4是本发明采样的低分辨多光谱图像的彩色图像和高分辨的全色图像；

图5是本发明方法与现有方法对IKONOS卫星数据进行融合的对比结果。

具体实施方式

一种基于深度神经网络的全色图像与多光谱图像融合的方法，具体步骤如下，

步骤1，选取作为训练使用的低空间分辨的多光谱图像和高分辨全色图像构建高分辨与低分辨图像块对的训练集具体过程为：

步骤1.1，对已知低空间分辨的多光谱图像进行逐波段的插值操作，比如最近邻插值，双线性插值和双立方插值，得到初始放大的多光谱图像多光谱图像中每个波段图像的像素大小与高分辨全色图像的大小保持一致；

步骤1.2，分别对已知的高分辨全色图像和初始放大多光谱图像的每个波段像素进行最大最小归一化方法，使每一个像素取值范围在[0,1]之间；

步骤1.3，计算低分辨全色图像其是由初始放大的多光谱图像的每个波段进行线性加权平均组合而成；

步骤1.4，从高分辨全色图像和低分辨全色图像中分别抽取像素大小一致的高分辨图像块和低分辨图像块得到N对像素位置一致的高分辨和低分辨图像块对的训练集合图像块和的像素为w×w，w∈[5，15]，N∈[10⁴,10⁶]。

步骤2，利用改进的稀疏去噪自编码器学习训练集中高分辨与低分辨图像块之间的关系，得到深度神经网络模型中第一层的初始化参数，具体过程为：

步骤2.1，深度神经网络由L层神经网络栈式堆积(stacked)形成，将低分辨图像块作为神经网络的输入数据带入前馈函数模型①和②，

和 ①

表示输入数据；s为激活函数，例如igmoid函数和tanh函数；

按照改进的稀疏自编码器的前馈函数得到由低分辨图像块重构出的高分辨图像块

步骤2.2，要求由低分辨图像块重构出的图像块尽量接近于训练集中对应的高分辨图像块需要根据机器学习的损失准则训练神经网络的参数，为了防止参数的过度拟合及降低输入数据的维数，引入权重衰减项和稀疏项对数据保真项进行约束，最终得到训练模型③，利用训练模型③训练该层神经网络模型的初始参数Θ₁＝{W₁,W₁',b₁,b₁'}，

其中，λ的取值范围为[10^-3,10^-2]，β的取值范围为[10^-3,10^-1]，ρ的取值范围为[10^-2,2×10^-1]，Θ_n＝{W_n,W_n',b_n,b_n'}，ε、表示输入数据，n为神经网络层数的索引值；

为损失准则，数据保真项为权重衰减项为稀疏项为

步骤3，利用改进的稀疏去噪自编码器对神经网络进行逐层的预训练，具体过程为：

步骤3.1，将步骤2得到的神经网络作为第一层神经网络，将高分辨和低分辨图像块对的训练集合作为输入数据输入第一层神经网络，按照模型①②经过前向传播分别得到相应的隐含层节点的值和即和

步骤3.2，将作为下一层神经网络训练的输入数据，根据机器学习的损失准则训练该层神经网络模型的参数Θ₂＝{W₂,W₂',b₂,b₂'}；分别引入权重衰减项和稀疏项对损失准则进行约束，利用后向传播算法训练该层神经网络模型的参数Θ₂，其中λ的取值范围为[10^-3,10^-2]，β的取值范围为[10^-3,10^-1]，ρ的取值范围为[10^-2,2×10^-1]；

步骤3.3，改进稀疏去噪自编码器逐层对L层神经网络进行预训练，除第一层以外其余每层神经网络的参数所用到的输入数据均为上一层神经网络的隐含层数据和其中n为神经网络层数的索引值，n∈L，L∈[2,5]；

当所有L层神经网络训练完毕，得到深度神经网络参数的初始化值Θ_i＝{Θ₁,Θ₂,...,Θ_n}，其中，深度神经网络的第一层为输入层，最后一层为输出层，其余层为隐含层。

步骤2、3对深度神经网络的每一层训练的方法过程可以参见“Stacked DenoisingAutoencoders:Learning Useful Representations in a Deep Network with a LocalDenoising Criterion”一文中的图1。Pascal Vincent.Stacked DenoisingAutoencoders:Learning Useful Representations in a Deep Network with a LocalDenoising Criterion[J].Vincent,Larochelle,Lajoie,Bengio&Manzagol,11(Dec):3371-3408,2010.

步骤4，对经过预训练的深度神经网络，再次利用后向传播算法对该网络的参数进行微调，具体过程为：

步骤4.1，引入权重衰减项对步骤3形成的深度神经网络的每一层进行训练，模型为

其中，其中ε'、为输入数据，λ的取值范围为[10^-3,10^-2]；

步骤4.2，将高分辨和低分辨图像块对的训练集合作为经过预训练的深度神经网络的输入值，对其进行前向传播得到隐含层和输出层的值，并利用梯度下降法对模型④中输出层的参数进行微调；

步骤4.3，从输出层向前依次利用梯度下降法分别对模型④中除输出层之外的每一层的参数进行微调，从而得到该深度神经网络最终的参数值Θ_f＝{Θ'₁,Θ'₂,...,Θ'_n}。

步骤4中利用后向传播算法对深度神经网络进行微调的过程可以参见“ImageDenoising and Inpainting with Deep Neural Networks”一文中的模型7。Junyuan Xie,Linli Xu,Enhong Chen.[J].Neural Information Processing Systems Foundation(NIPS 2012),Lake Tahoe,Nevada,USA,2012.

步骤5，根据已知的低分辨多光谱图像利用该深度神经网络重构出高分辨的多光谱图像具体过程为：

步骤5.1，选取需要测试的低空间分辨的多光谱图像进行逐波段的插值操作，得到初始放大的多光谱图像中每个波段图像的像素大小与高分辨全色图像大小保持一致；

步骤5.2，将多光谱图像的每个波段按照从上到下，从左至右的方式划分成重叠的图像块其中k代表多光谱图像波段的索引值，K代表多光谱图像图像的波段数量K∈[4，8]，j代表图像块的索引值；

步骤5.3，将图像块作为经过预训练和微调整的深度神经网络的输入数据，经过该神经网络的前馈函数重构出相应的高分辨图像块

步骤5.4，对重构的重叠高分辨图像块逐层进行平均聚合，从而得到融合的高分辨多光谱图像

步骤5.4的平均聚合方法可以参见“Image Deblurring and Super-Resolutionby Adaptive Sparse Domain Selection and Adaptive Regularization”一文中的公式(4)。Weisheng Dong,Lei Zhang.Image Deblurring and Super-Resolution by AdaptiveSparse Domain Selection and Adaptive Regularization[J].IEEE Trans ImageProcess.2011Jul；20(7):1838-57.

实施例1

结合图1，一种基于深度神经网络的全色图像与多光谱图像融合的方法，具体步骤如下：

步骤1，构建高分辨与低分辨图像块配对的训练集具体过程为：

步骤1.1，对已知低空间分辨的多光谱图像进行逐波段的插值操作，放大4倍得到一个初始放大的多光谱图像其中包含4个波段，每个波段图像的像素大小都是150×150，也是包含4个波段，每个波段图像的像素大小都是600×600；

步骤1.2，分别对已知的大小为600×600的高分辨全色图像和初始放大多光谱图像的每个波段像素进行最大最小归一化方法，使它们的像素取值范围在[0,1]之间，其中高分辨全色图像如图4(a)所示，图像对应的彩色图像4(b)如图所示；

步骤1.3，低分辨全色图像是由初始放大的多光谱图像的每个波段进行线性加权平均组合而成，即其中和是多光谱图像包含的4个波段；

步骤1.4，训练的高分辨图像块和低分辨图像块(图像块和的大小一样，为7×7)分别从高分辨全色图像和低分辨全色图像中随机抽取，得到200000对像素位置一致的高分辨和低分辨图像块对的训练集合

步骤2，利用改进的稀疏去噪自编码器学习训练集之间关系，得到神经网络模型的初始化参数，具体过程为：

步骤2.1，深度神经网络由3层神经网络堆积形成，将低分辨图像块作为神经网络的输入数据，按照改进的稀疏自编码器的前馈函数和可以得到由低分辨图像块重构出的图像块其中为隐含层节点的值，其节点的个数是输入数据节点个数的5倍；

步骤2.2，根据机器学习的损失准则训练该神经网络模型的参数Θ₁，其中Θ₁＝{W₁,W₁',b₁,b₁'}；

步骤2.3，分别引入了权重衰减项和稀疏项对损失准则进行约束，并利用后向传播算法训练该神经网络模型的参数Θ₁，其中λ的取值为0.005，β的取值为0.001，ρ的取值为0.1。

步骤3：利用栈式稀疏去噪自编码器对深度神经网络进行预训练：

步骤3.1，将步骤2得到的神经网络作为第一层神经网络，将高分辨和低分辨图像块对的训练集合作为输入数据输入第一层神经网络，按照模型①②经过前向传播分别得到相应的隐含层值和

步骤3.2，把隐含层值作为第二层神经网络的输入数据，然后再按照改进的稀疏自编码器预训练该层神经网络的参数；依次类推，将第2层神经网络计算得到的隐含层节点作为第三层神经网络的输入数据，然后再按照改进的稀疏自编码器预训练该层神经网络的参数；

步骤3.3，改进稀疏去噪自编码器逐层对3层神经网络进行预训练，将训练完毕的3层神经网络栈式堆积形成深度神经网络，得到深度神经网络参数的初始化值Θ＝{Θ₁,Θ₂,Θ₃}。

步骤4：利用后向传播算法对经过预训练的深度神经网络的参数进行微调。

步骤5，利用已经训练的神经网络重构出高分辨的多光谱图像：

步骤5.1，对已知大小为150×150×4低空间分辨的多光谱图像进行逐波段的插值操作，得到一个初始放大的大小为600×600×4多光谱图像要求图像中每个波段图像的大小与全色图像的大小保持一致；

步骤5.2，将多光谱图像的每个波段按照从上到下，从左至右的方式划分成重叠的大小为7×7图像块重叠像素的个数为5；

步骤5.3，将图像块作为经过训练的深度神经网络的输入数据，经过该神经网络的前向传播重构出相应的高分辨图像块

步骤5.4，对重构的重叠高分辨图像块逐层进行平均聚合，从而得到融合的高分辨多光谱图像

下面结合图5所示，通过实验来具体说明本发明的有效性及实用性。

本方案实施例在MATLAB R2012a平台模拟仿真实现，计算环境为Intel(R)Xeion(R)CPU 3.20GHz，内存4G的PC机。实验中对比算法包括：IHS(Intensity-Hue-Saturation)方法，基于多分辨分析小波变换的方法、Brovey变换的方法，以及自适应的IHS方法。

为了验证本发明的有效性及实用性，对IKONOS卫星拍摄的数据进行图像融合实验，具体实验如下：

IKONOS卫星提供了一个空间分辨率为1m的全色图像和一个空间分辨率为4m的多光谱图像(包含红、绿、蓝和近红外四个波段)。为了定量地评估融合的结果，本发明对该数据进行了模拟仿真实验，首先将给定的全色图像和多光谱图像进行模糊和4倍的下采样，得到一个空间分辨率为4m的全色图像和一个空间分辨率为16m的多光谱图像；然后本发明将降质的全色图像和多光谱图像进行图像融合得到一个空间分辨率为4m的多光谱图像；最后将给定的空间分辨率为4m的多光谱当作参考图像，使其与融合得到的多光谱图像进行对比，计算得到相应的定量评估的性能指标。

本发明采用大小为600×600的全色图像和上采样4倍的低分辨多光谱图像大小同为600×600，分别如图4(a)和(b)所示。利用上述的图像融合方法和本发明的方法对该数据进行融合，融合的结果如图5所示。其中图5(a)IHS方法融合的结果；图5(b)是基于多分辨分析小波变换方法融合的结果；图5(c)是Brovey变换方法融合的结果；图5(d)是自适应的IHS方法融合的结果；图5(e)是利用本发明方法融合的结果；图5(f)是原始高分辨多光谱的彩色图像。从图5显示的结果可看到，与原始高分辨多光谱的彩色图像相比，图5(a)和(c)的结果出现了严重的色彩差异，反映了这两个方法在融合的过程其光谱信息出现了严重的畸变；图5(b)的结果能较好地保留了其光谱信息，但是却出现了明显的空间失真；图5(d)的结果能很好都恢复多光谱图像的空间信息，但是它却不能很好地保留光谱信息；图5(e)的结果不仅能很好地重构其高分辨的空间信息，也能很好地保留其光谱信息。

表1给出了本发明方法和对比方法的性能指标情况。本发明采用了如下的性能指标：相关系数(Correlation Coefficient,CC)计算了融合的多光谱图像与原始多光谱图像之间空间像素的相似度，平均的相关系数(CCAVG)是指多光谱图像4个波段的相关系数的平均值，相关系数的值越大，表示融合的结果越好。均方误差(Root Mean Squared error,RMSE)反映了图像像素值之间的差异，平均均方误差(RMSEAVG)是指多光谱图像4个波段的均方误差的平均值，均方误差的值越小，表示融合的结果越好。ERGAS(Erreur RelativeGlobal Adimensionnelle de Synthese)表示多光谱图像全局反射率之间的差异，其值越小，表示融合的结果越好。光谱角(Spectral Angle Mapper,SAM)反映了多光谱图像的光谱曲线之间的差异，其值越小，表示融合的结果越好。Q4表示了包含4个波段的多光谱的相关系数，平均偏差和对比度差异之间的乘积，其值越大，表示融合的结果越好。

在表1中画有波浪线的数字表示每项指标中最好的值，每项指标中次优的值用下画线的数字进行表示。从图像融合质量的各项客观评价指标来看，本发明方法得到融合图像的质量在客观评价指标中大多数都是最好的。

表1：不同融合方法性能指标比较结果

通过上述实验结果表明，本发明的方法利用深度神经网络能很好地对多光谱图像进行信息融合，使融合后的多光谱图像不仅具有高空间分辨率，还能很好地保留其光谱信息。

Claims (6)

1.一种基于深度神经网络的全色图像与多光谱图像融合的方法，其特征在于，具体步骤如下：

步骤1，选取作为训练使用的低空间分辨的多光谱图像和高分辨全色图像构建高分辨与低分辨图像块对的训练集该训练集的图像块和分别采样于已知的高分辨全色图像和由已知低分辨多光谱图像线性组合而成的低分辨全色图像；

步骤2，利用改进的稀疏去噪自编码器对深度神经网络的第一层参数进行预训练；

步骤3，利用改进的稀疏去噪自编码器对深度神经网络进行逐层的预训练；

步骤4，利用后向传播算法对经过预训练的深度神经网络的参数进行微调；

步骤5，根据已知的低空间分辨的多光谱图像Z_ms，利用该深度神经网络重构出高分辨的多光谱图像

改进的稀疏自编码器的前馈函数模型为

和 ①

表示输入数据，s为激活函数。

2.根据权利要求1所述的基于深度神经网络的全色图像与多光谱图像融合的方法，其特征在于，步骤1中构建训练集的具体过程为：

步骤1.1，对已知低空间分辨的多光谱图像进行逐波段的插值操作，得到初始放大的多光谱图像多光谱图像中每个波段图像的像素大小与高分辨全色图像的大小保持一致；

步骤1.2，分别对已知的高分辨全色图像和初始放大多光谱图像的每个波段进行像素最大最小归一化方法，使每一个像素取值范围在[0,1]之间；

步骤1.3，计算低分辨全色图像其是由初始放大的多光谱图像的每个波段进行线性加权平均组合而成；

步骤1.4，训练的高分辨图像块和低分辨图像块分别从高分辨全色图像和低分辨全色图像中抽取，得到N对像素位置一致的高分辨和低分辨图像块对的训练集合N∈[10⁴,10⁶]，i＝1,2,...,N。

3.根据权利要求2所述的基于深度神经网络的全色图像与多光谱图像融合的方法，其特征在于，步骤2中利用改进的稀疏去噪自编码器对深度神经网络的第一层参数进行预训练的具体过程为：

步骤2.1，深度神经网络由L层神经网络堆积形成，将低分辨图像块作为第一层神经网络的输入数据，按照改进的稀疏自编码器的前馈函数得到由低分辨图像块重构出的高分辨图像块其中前馈函数模型为

和 ①

表示输入数据，s为激活函数；

步骤2.2，根据机器学习的损失准则并引入权重衰减项和稀疏项对数据保真项进行约束得到训练模型③，利用训练模型③训练该层神经网络模型的初始参数Θ₁＝{W₁,W₁',b₁,b₁'}，

其中，ε、表示输入数据，Θ_n为深度神经网络第n层的参数，Θ_n＝{W_n,W_n',b_n,b_n'}，n为神经网络层数的索引值，λ的取值范围为[10^-3,10^-2]，β的取值范围为[10^-3,10^-1]，ρ的取值范围为[10^-2,2×10^-1]；

其中，为损失准则，数据保真项为权重衰减项为稀疏项为

4.根据权利要求3所述的基于深度神经网络的全色图像与多光谱图像融合的方法，其特征在于，步骤3中利用改进的稀疏去噪自编码器对神经网络进行逐层的预训练的具体过程为：

步骤3.1，将步骤2得到的神经网络作为第一层神经网络，将所有的高分辨图像块和低分辨图像块输入第一层神经网络，按照模型①②经过前向传播分别得到相应的隐含层节点的值和

步骤3.2，将和作为下一层神经网络的输入数据，按照步骤2.2的方法训练该层神经网络的参数；

步骤3.3，改进稀疏去噪自编码器逐层对L层神经网络进行预训练，得到深度神经网络参数的初始化值Θ_i＝{Θ₁,Θ₂,...,Θ_n}，除第一层以外其余每层神经网络的训练所用到的输入数据均为上一层神经网络的隐含层节点的值。

5.根据权利要求2或3所述的基于深度神经网络的全色图像与多光谱图像融合的方法，其特征在于，步骤4利用后向传播算法对经过预训练的深度神经网络的参数进行微调的具体过程为：

步骤4.1，引入权重衰减项构建微调模型

其中，ε'、为输入数据，λ的取值范围为[10^-3,10^-2]， 表示输入数据，s为激活函数；

步骤4.2，将高分辨和低分辨图像块对的训练集合作为经过预训练的深度神经网络的输入值，对其进行后向传播得到隐含层和输出层的值，并利用梯度下降法对模型④中输出层的参数进行微调；

步骤4.3，从输出层向前依次利用梯度下降法分别对模型④中除输出层之外的每一层的参数进行微调，从而得到该深度神经网络最终的参数值Θ_f＝{Θ'₁,Θ'₂,...,Θ'_n}。

6.根据权利要求1所述的基于深度神经网络的全色图像与多光谱图像融合的方法，其特征在于，步骤5中利用已经训练的神经网络重构出高分辨的多光谱图像的具体过程为：

步骤5.1，对需要测试的低空间分辨的多光谱图像进行逐波段的插值操作，得到初始放大的多光谱图像 中每个波段图像的像素大小与全色图像的大小保持一致；

步骤5.2，将多光谱图像的每个波段按照从上到下，从左至右的方式划分成重叠的图像块其中k代表多光谱图像波段的索引值，K代表多光谱图像图像的波段数量，j代表图像块的索引值；

步骤5.3，将图像块作为经过预训练和微调整的深度神经网络的输入数据，经过该神经网络的前馈函数重构出相应的高分辨图像块

步骤5.4，对重构的重叠高分辨图像块逐层进行平均聚合，从而得到融合的高分辨多光谱图像