CN112669248B - 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法 - Google Patents
基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法 Download PDFInfo
- Publication number
- CN112669248B CN112669248B CN202011576102.XA CN202011576102A CN112669248B CN 112669248 B CN112669248 B CN 112669248B CN 202011576102 A CN202011576102 A CN 202011576102A CN 112669248 B CN112669248 B CN 112669248B
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- hyperspectral
- fusion
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 27
- 230000004927 fusion Effects 0.000 claims abstract description 79
- 238000000034 method Methods 0.000 claims abstract description 54
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 238000001228 spectrum Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 34
- 230000004913 activation Effects 0.000 claims description 27
- 238000010586 diagram Methods 0.000 claims description 20
- 238000010606 normalization Methods 0.000 claims description 12
- 230000007704 transition Effects 0.000 claims description 7
- 238000002156 mixing Methods 0.000 claims 1
- 230000003595 spectral effect Effects 0.000 abstract description 24
- 238000012545 processing Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 38
- 238000002474 experimental method Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- LTUFGCFAPCJOFQ-UHFFFAOYSA-N 2h-pyran-3-carboxamide Chemical compound NC(=O)C1=CC=COC1 LTUFGCFAPCJOFQ-UHFFFAOYSA-N 0.000 description 1
- 101000806846 Homo sapiens DNA-(apurinic or apyrimidinic site) endonuclease Proteins 0.000 description 1
- 101000835083 Homo sapiens Tissue factor pathway inhibitor 2 Proteins 0.000 description 1
- 102100026134 Tissue factor pathway inhibitor 2 Human genes 0.000 description 1
- 238000013398 bayesian method Methods 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像处理技术领域，公开了一种基于CNN与拉普拉斯金字塔的高光谱与全色图像融合方法，解决了现有高光谱与全色图像融合方法空间细节信息提取不充分和光谱信息损失过多的问题。所述高光谱图像与全色图像融合方法实现步骤为：获取图像数据集，对数据进行预处理；利用拉普拉斯金字塔结构进行全色图像分解；利用Dense块网络进行空间细节提取；低空间分辨率高光谱图像与提取得到的空间细节特征结合进行图像重建；利用损失函数进行模型训练得最终的高空间分辨率的高光谱融合图像。本发明在减少光谱信息损失的同时可以充分提取空间细节特征，提高了图像的空间信息，可以得到高质量的高光谱融合图像。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于CNN与拉普拉斯金字塔的高光谱与全色图像融合方法。
背景技术
目前：高光谱技术代表着遥感领域的发展前沿，但是由于一些物理条件的限制，单个高光谱传感器无法获得同时具有高空间分辨率和丰富的光谱信息的图像。在单一电磁波谱中成像的全色图像具有较高的空间分辨率，但光谱多样性较低。包含几十个甚至几百个光谱带信息的高光谱图像光谱信息丰富，但空间分辨率较低。由此可知，单独的全色图像与高光谱图像均不能满足进行目标检测、变化检测等问题的要求，因此通过图像融合技术整合全色图像的空间信息和高光谱图像的光谱信息是十分必要的。
目前，高光谱图像融合技术已成为遥感图像处理领域的研究热点。研究人员已经开发和设计出了很多经典的高光谱图像融合算法，代表性的方法主要包含成分替换法、多分辨率分析法、贝叶斯法和矩阵分解法等。基于成分替换的融合算法主要包括施密特正交化(Gram-Schmidt，GS)、主成分分析(Principal Component Analysis，PCA)等，其主要思想是将高光谱图像映射到一个新的空间以分离光谱分量和空间分量，用全色图像的空间分量来代替高光谱图像分离出的空间分量。这种方法在空间分辨率方面表现得较为良好，但是会造成一定程度的光谱信息损失导致光谱失真。基于多分辨率分析的融合算法主要包括拉普拉斯金字塔(Laplacian Pyramid，LP)、基于亮度调节的平滑滤波法(SmoothingFilterbased Intensity Modulation，SFIM)，其主要思想是从全色图像中提取出高光谱图像丢失的空间细节，并将其注入到高光谱图像中。此种方法能够保持好的光谱信息，但是会存在一定的空间失真，甚至可能存在注入空间细节过多的问题。基于贝叶斯方法的融合算法包括贝叶斯稀疏表示(Bayesian Sparse Representation，BSR)和Hysure等，其主要思想是考虑全色图像和高光谱图像之间的统计关系，利用贝叶斯公式计算最大后验概率，得到高空间分辨率和高光谱分辨率的重构图像作为融合结果。这种方法虽然在空间分辨率和光谱信息方面都有较好的表现，但是需要依靠足够的先验信息才能得到理想的效果，且运算量很大，不便于实现。基于矩阵分解方法的融合算法具有代表性的是耦合非负矩阵分解法(Coupled Nonnegative Matrix Factorization，CNMF)，其主要思想通过对复杂的两种输入图像数据源进行非负矩阵分解，获得两个数据源的端元和丰度图，然后交替地融合多光谱图像丰度与高光谱图像的端元信息，可以在空间和光谱方面产生较好的融合结果。
近年来，深度学习已经成功应用于图像处理的许多领域，尤其是图像超分辨率领域，显示出巨大的潜力。C.Dong等人在文献“Image super-resolution using deepconvolutional networks，”IEEE Trans.Pattern Anal.Mach.Intell.，vol.38，no.2，pp.295-307，Feb.2015.”中提出了第一种基于深度CNN的图像超分辨率(SRCNN)方法，该方法显示出比一些经典的融合方法更好的性能。超分辨率和图像融合的目的都是为了提高图像分辨率。受CNN在图像超分辨率方面的成功的启发，Masi等人在文献“Pansharpening byconvolutional neural networks，”Remote Sens.，vol.8，no.7，pp.594，2016.”中成功地将SRCNN应用于图像融合。在此基础上，Wei，Y等人在文献“Boosting the accuracyofmultispectral image pansharpening by learning a deep residual network，”IEEEGeosci.Remote Sens.Lett.，vol.14，no.10，pp.1795–1799，Oct.2017.”中还提出了一些基于残差学习的图像融合方法，这些方法提供了由更深的CNN实现图像融合。由于不同的光谱响应和地面特征的复杂性，经典的图像融合算法很难得到同时具有丰富光谱信息和良好空间分辨率性能的融合结果，而CNN的高度非线性为这个问题提供了新的解决方案。
基于CNN的方法的成功证明了CNN在解决融合问题方面的巨大潜力。然而，几乎所有基于CNN的融合方法都是通过改变图像超分辨率的网络架构来实现的。这些方法本质上是将全色图像作为网络的一个输入，并将其作为高光谱图像的附加波段。CNN网络像一个黑匣子，不加区别地对待每个波段。因此，它们不能充分提取全色图像的空间细节，而这些空间细节在图像融合中起着重要的作用。
通过上述分析，现有技术存在的问题及缺陷为：所有基于CNN的融合方法都是通过改变图像超分辨率的网络架构实现，CNN网络像一个黑匣子，不加区别地对待每个波段，不能充分提取全色图像的空间细节，而空间细节在图像融合中起着重要的作用。
解决以上问题及缺陷的难度为：由于不同的光谱响应和地面特征的复杂性，经典的高光谱图像融合算法很难建立高分辨率高光谱图像、全色图像和低分辨率高光谱图像之间的关系。而现有的基于CNN的方法由于网络架构的限制，很难充分提取全色图像的细节特征。
解决以上问题及缺陷的意义为：在高光谱图像融合过程中，细节特征的提取又是非常重要的，它直接决定了我们最终的融合结果的好坏，如果空间细节注入过多可能会导致伪影等问题，相反若空间细节提取不充分可能出现图像模糊等问题。所以选择一种既能保持高光谱图像的光谱信息，又能有效提高图像的空间分辨率的融合方法是十分必要的。
发明内容
针对现有技术存在的问题，本发明提供了一种高光谱图像与全色图像融合方法。
本发明是这样实现的，一种高光谱图像与全色图像融合方法，所述高光谱图像与全色图像融合方法包括：
获取图像数据集，对数据进行预处理；
获取公开的高分辨率高光谱图像，通过空间下采样生成低空间分辨率的高光谱图像，通过光谱采样生成全色图像，并将得到的图像按照一定数量比例划分，能够得到足够的训练图像和测试图像用于后续操作。
利用拉普拉斯金字塔结构进行全色图像分解；
拉普拉斯金字塔结构将原始全色图像分解成不同尺寸的子全色图像可以方便每一层子网络提取各层全色图像的空间细节特征，最终得到较为全面和充分的全色图像空间细节特征以用于后续图像重建过程。
利用Dense块网络进行空间细节提取；
DenseNet通过将每一层的输出传播到所有后续层来避免梯度消失问题，有效地减轻了网络训练期间前向和反向信息的传播，可以用于训练非常深的网络。在本发明中利用Dense块网络，能够充分提取各个尺寸的全色图像的细节信息。
低空间分辨率高光谱图像与提取得到的空间细节特征结合进行图像重建；
原始的低分辨率高光谱图像被逐级上采样并于来自细节特征提取网络的空间细节特征融合，实现了将高光谱图像从低分辨率逐渐重建到高分辨的过程，既保持了丰富的光谱信息，又添加了全面的空间细节信息。
利用损失函数进行模型训练得最终的高空间分辨率的高光谱融合图像。
利用损失函数可以定量分本发明得到的高光谱融合图像与参考的高分辨率高光谱图像之间的差异，用以估计网络对训练数据做出的预测质量。通过对参考高分辨率高光谱图像进行下采样，可以获得不同层重建图像对应的参考高分辨率高光谱图像，从而可以计算不同层的损失，进而得到与参考高光谱图像差异最小的最为理想的高光谱融合图像。
进一步，所述高光谱图像与全色图像融合方法具体包括：
第一步，获取图像数据集，对数据进行预处理；
(1)从公开的数据集中获取原始的高光谱图像作为参考的高光谱图像HREF；
(2)利用给定的参考高光谱图像，根据Wald协议得到所需的全色图像P和低空间分辨率高光谱图像H；
第二步，利用拉普拉斯金字塔构成空间特征提取网络，将原始的全色图像分解成多个层次，每一层图像具有不同的尺寸大小；
(1)将输入的高空间分辨率全色图像P依次下采样生成3个不同尺寸的子全色图像S(P)；
(2)将下采样以后的第i+1层图像上采样到原来第i层图像的尺寸,并将得到的两图像逐像素点相减得到对应的第i层拉普拉斯金字塔输出Ii(P)：
Ii(P)＝Si(P)-upsample(Si+1(P))；
其中，i＝1,2,3，Si(P)代表第i层拉普拉斯金字塔，S1(P)＝P，upsample()代表上采样操作；
第三步，构建用于提取全色图像高频细节信息的Dense块金字塔结构,并进行空间细节特征提取；
(1)基于DenseNet卷积神经网络架构搭建三层金字塔结构的Dense块子网络；
(2)将不同拉普拉斯层全色图像Ii(P)分别送入每一层对应的Dense块子网络中进行空间细节提取得到深度特征图
(3)将各层得到的深度特征图输入到3×3卷积层，并以非线性函数Relu为激活函数得到最终所需的细节特征图
第四步，将低空间分辨高光谱图像逐级上采样并与来自空间细节提取分支得到的细节融合进行图像重建；
第五步，以误差损失函数和(1-CC)损失函数作为高光谱融合图像与参考高分辨率高光谱图像之间的损失函数，用以估计输出融合图像与参考真实图像之间的差异，得到理想的输出融合图像；对于第2、3层仅考虑/>误差损失函数，第1层同时考虑/>误差损失函数和(1-CC)损失函数：
其中，Q代表训练样本的数量，F1＝F，HREFi代表对参考图像进行2i-1倍下采样得到的图像，HREF1＝HREF。
进一步，所述基于DenseNet卷积神经网络架构搭建三层金字塔结构的Dense块子网络结构为：第1，2，3层金字塔中的Dense块子网络中分别包含8，6，4个卷积块，对于每一个卷积块，均包含一个批量归一化层和32个大小为3×3的卷积层并且以非线性函数Relu为激活函数；过渡层实现为批量归一化、1×1卷积核和Relu激活函数的组合，在每个Dense块中通过各个卷积层的特征图与来自所有前面的层的特征图拼接起来以实现DenseNet结构。
进一步，将不同拉普拉斯层全色图像Ii(P)分别送入每一层对应的Dense块子网络中进行空间细节提取，按如下步骤进行：
1)第i层的拉普拉斯金字塔输出的全色图像进入Dense块子网络中，网络中第m个卷积块产生特征图
其中代表由第i层拉普拉斯金字塔中的Dense块中第p个卷积层产生的特征图，代表与先前所有层特征图的连接操作，fT是批量归一化、激活函数和3×3卷积连续运算；
各个卷积块产生的特征图经过过渡层得到第i层拉普拉斯金字塔的Dense块子网络输出的特征图
其中qi表示第i层拉普拉斯金字塔中卷积块的个数，fT是批量归一化、激活函数和1×1卷积连续运算；
2)金字塔第2层Dense块子网络得到的特征图进行上采样并与第1层Dense块子网络得到的特征图进行逐像素相加，再经过大小为3×3的卷积层以及非线性的Relu激活函数得到对应的深度特征图
金字塔第3层Dense块子网络得到的特征图进行上采样并与第2层Dense块子网络得到的特征图进行逐像素相加，再经过大小为3×3的卷积层以及非线性的Relu激活函数得到对应的深度特征图
金字塔第3层Dense块子网络得到的特征图直接经过大小为3×3的卷积层以及非线性的Relu激活函数得到对应的深度特征图
进一步，将低空间分辨率高光谱图像逐级上采样并与来自空间细节提取分支得到的细节融合，按如下步骤进行：
1)将第3层得到的细节特征图与输入的低分辨率高光谱图像H逐像素点相加得到第3层高光谱融合图像F3：
2)将第3层高光谱融合图像F3上采样并与第2层得到的细节特征图逐像素点相加得到第2层的高光谱融合图像F2：
3)将第2层高光谱融合图像F2上采样并与第1层得到的细节特征图逐像素点相加，得到的融合结果经过一个大小为3×3的卷积层和一个Relu激活层后再经过一个大小为3×3的卷积层得到最终的高光谱融合图像F：
进一步，(1-CC)损失函数中CC是互相关系数，其通过计算参考图像和融合图像的对应波段之间的相似性来表征几何失真，CC的最优值为1。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明基于CNN与拉普拉斯金字塔的高光谱与全色图像融合方法，以提高高光谱图像的空间分辨率，为目标检测、变化检测等领域提供高质量图像。
本发明对融合过程有明确的物理解释，遵循多分辨率分析算法的总体思路，将融合分为两个连续的过程：细节提取和重建。首先利用拉普拉斯金字塔提取全色图像的空间细节特征，之后将空间细节注入到低分辨率高光谱图像中实现图像的重建。在细节提取模块中，本发明利用拉普拉斯金字塔将全色图像分解为多个层次，可以区分不同层次的细节，并为每个层次构建简单的细节提取子网络，可以充分提取不同层次的深度特征。在重建模块中，每一层得到的空间细节特征被注入到相应的高光谱图像中，同时它们被上采样并输入到下一个子网络中，这可以帮助充分利用不同级之间的互补细节。
在本发明中利用了DenseNet卷积神经网络架构，DenseNet通过将每层的输出传播到后续层，不会丢失初始层的特征信息，同时有效地减轻了网络训练期间前向和反向信息的传播，允许网络中的所有层彼此“交谈”，加强特征传播，提高网络效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的高光谱图像与全色图像融合方法流程图。
图2是本发明实施例提供的高光谱图像与全色图像融合方法的实现流程图。
图3是本发明实施例提供的拉普拉斯金字塔全色图像分解网络结构图。
图4是本发明实施例提供的用于进行细节特征提取的三层Dense块结构图。
图5是本发明实施例提供的构成图4中三层Dense块结构图的基本DenseNet卷积神经网络模块的结构图。
图6是本发明实施例提供的全色图像细节特征注入到高光谱图像中进行图像重建的结构图。
图7是在Cave数据集上本发明与现有的六种融合方法对低分辨率高光谱图像与同场景的全色图像融合结果图。
图8是在Pavia Center数据集上本发明与现有的六种融合方法对低分辨率高光谱图像与同场景的全色图像融合结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种高光谱图像与全色图像融合方法，下面结合附图对本发明作详细的描述。
如图1所示，本发明提供的高光谱图像与全色图像融合方法包括以下步骤：
S101：获取图像数据集，对数据进行预处理；
S102：利用拉普拉斯金字塔结构进行全色图像分解；
S103：利用Dense块网络进行空间细节提取；
S104：低空间分辨率高光谱图像与提取得到的空间细节特征结合进行图像重建；
S105：利用损失函数进行模型训练得最终的高空间分辨率的高光谱融合图像。
本发明提供的高光谱图像与全色图像融合方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的高光谱图像与全色图像融合方法仅仅是一个具体实施例而已。
下面结合附图对本发明的技术方案作进一步的描述。
如图2所示，本发明提供的基于CNN与拉普拉斯金字塔的高光谱与全色图像融合方法包括以下几个阶段：图像预处理、利用拉普拉斯金字塔对全色图像进行分解、构建基于DenseNet卷积神经网络架构的空间细节特征提取网络、图像重建、利用损失函数进行模型训练。
步骤一：获取图像数据集，对数据进行预处理。
1.1)从公开的数据集中获取原始的高光谱图像作为参考的高光谱图像。
1.2)利用给定的参考高光谱图像，根据Wald协议得到所需的全色图像和低空间分辨率高光谱图像。
步骤二：利用拉普拉斯金字塔对全色图像进行分解。
如图3所示，拉普拉斯金字塔为三层网络架构，其对输入的全色图像进行下采样操作，将原始的全色图像分解成多个层次，并通过上采样及逐像素相减操作将相邻两层全色图像联系起来得到更精确的全色图像细节特征。具体实现如下：
2.1)将高空间分辨率全色图像P依次下采样生成3个不同尺寸的子全色图像S(P)。
2.2)将下采样以后的第2层图像上采样到原始全色图像的尺寸，并将得到的两图像逐像素点相减得到对应的第1层拉普拉斯金字塔输出I1(P)。
将下采样以后的第3层图像上采样到第2层图像的尺寸，并将得到的两图像逐像素点相减得到对应的第2层拉普拉斯金字塔输出I2(P)。
将下采样以后的第4层图像上采样到第3层图像的尺寸，并将得到的两图像逐像素点相减得到对应的第3层拉普拉斯金字塔输出I3(P)
Ii(P)＝Si(P)-upsample(Si+1(P))；
其中，i＝1，2，3，Si(P)代表第i层拉普拉斯金字塔，S1(P)＝P，upsample()代表上采样操作。
步骤三：构建基于DenseNet卷积神经网络架构的空间细节特征提取网络。
如图4所示，基于DenseNet卷积神经网络架构的空间细节特征提取网络，其为包含3个Dense块的卷积神经网络，每个Dense块依次对各层全色图像进行空间细节提取。该步骤的具体实现如下：
3.1)基于DenseNet卷积神经网络架构搭建三层金字塔结构的Dense块子网络。
3.1.1)第1，2，3层金字塔中的Dense块子网络中分别包含8，6，4个卷积块。如图5所示，对于每一个卷积块，均包含一个批量归一化层和32个大小为3×3的卷积层并且以非线性函数Relu为激活函数。为了减少特征集维度在卷积块的最后一层连接一个“过渡层”。过渡层实现为批量归一化、1×1卷积核和Relu激活函数的组合。在每个卷积块中通过将层的特征图与来自所有前面的层的特征图拼接起来以实现DenseNet结构。
3.2)将不同拉普拉斯层全色图像Ii(P)分别送入每一层对应的Dense块子网络中进行空间细节提取。
3.2.1)第i层的拉普拉斯金字塔输出的全色图像进入Dense块子网络中，网络中第m个卷积块产生特征图
其中代表由第i层拉普拉斯金字塔中的Dense块中第p个卷积层产生的特征图，代表与先前所有层特征图的连接操作，fT是批量归一化、激活函数和3×3卷积连续运算；
各个卷积块产生的特征图经过过渡层得到第i层拉普拉斯金字塔的Dense块子网络输出的特征图
其中qi表示第i层拉普拉斯金字塔中卷积块的个数。fT是批量归一化、激活函数和1×1卷积连续运算；
3.2.2)金字塔第2层Dense块子网络得到的特征图进行上采样并与第1层Dense块子网络得到的特征图进行逐像素相加，再经过大小为3×3的卷积层以及非线性的Relu激活函数得到对应的深度特征图
金字塔第3层Dense块子网络得到的特征图进行上采样并与第2层Dense块子网络得到的特征图进行逐像素相加，再经过大小为3×3的卷积层以及非线性的Relu激活函数得到对应的深度特征图
金字塔第3层Dense块子网络得到的特征图直接经过大小为3×3的卷积层以及非线性的Relu激活函数得到对应的深度特征图
3.3)将各层得到的深度特征图输入到3×3卷积层，并以非线性函数Relu为激活函数得到最终所需的细节特征图
步骤四：图像重建。
如图6所示，图像重建网络，将低空间分辨高光谱图像逐级上采样并与来自空间细节提取分支得到的细节融合进行图像重建。该步骤的具体实现如下：
4.1)将第三层得到的细节特征图与输入的低分辨率高光谱图像H逐像素点相加得到第三层高光谱融合图像F3：
4.2)将第三层高光谱融合图像F3上采样并与第二层得到的细节特征图逐像素点相加得到第二层的高光谱融合图像F2：
4.3)将第二层高光谱融合图像F2上采样并与第一层得到的细节特征图G1 P逐像素点相加，得到的融合结果经过一个大小为3×3的卷积层和一个Relu激活层后再经过一个大小为3×3的卷积层得到最终的高光谱融合图像F：
步骤五：利用损失函数进行模型训练。
5.1)以误差损失函数和(1-CC)损失函数作为高光谱融合图像与参考高分辨率高光谱图像之间的损失函数，用以估计输出融合图像与参考真实图像之间的差异，进而得到理想的输出融合图像。对于第2、3层仅考虑/>误差损失函数，第1层同时考虑/>误差损失函数和(1-CC)损失函数：
其中，Q代表训练样本的数量，F1＝F，代表对参考图像进行2i-1倍下采样得到的图像，/>CC是互相关系数，其通过计算参考图像和融合图像的对应波段之间的相似性来表征几何失真，CC的最优值为1。
下面结合仿真实验对本发明的效果作进一步说明。
一、实验条件
实验用到的第一个数据集是Cave数据集，包含了400-700nm的光谱范围内的31个波段的高光谱图像。本实验中通过Wald协议以及分割处理得到的全色图像大小为128×128，低分辨率高光谱图像的大小为32×32。
实验用到的第二个数据集是Pavia Center数据集，包含了430-860nm波长范围内的115个光谱波段的高光谱图像。丢弃其中的13个吸水和噪声波段，剩余102个波段用于实验。本实验中通过Wald协议以及分割处理获得的全色图像大小为160×160，低分辨率高光谱图像的大小为40×40。
二、实验内容
实验1：第一个实验是在Cave数据集上进行的，用本发明和现有的六种融合方法对低分辨率高光谱图像与同场景全色图像进行融合，结果如图7所示，其中：
图7(a)是原始的高分辨率高光谱图像，
图7(b)为现有的GS方法的融合结果图，
图7(c)为现有的PCA方法的融合结果图，
图7(d)为现有的GFPCA方法的融合结果图，
图7(e)为现有的BSF方法的融合结果图，
图7(f)为现有的CNMF方法的融合结果图，
图7(g)为现有的MGH方法的融合结果图，
图7(h)为用本发明的融合结果图。
参照图7中的结果，分析可以发现，GS和MGH方法得到的结果表现出良好的光谱保真度，但是图像边缘存在伪影。PCA方法得到的结果明显缺乏光谱信息，CNMF和BSF得到的结果存在明显的颜色变暗问题。GFPCA方法得到的结果由于空间细节注入过少，导致较为模糊。本发明得到的结果可以提供最高保真度的光谱信息和最清晰的细节。
为了进一步评估对比方法的性能,对本发明的融合结果进行客观定量分析,分别计算相关系数CC、光谱角SAM、均方误差RMSE、全局相对误差ERGAS指标，从空间和光谱两个方面对融合效果进行评估。表1为Cave数据集的客观定量分析，分别列出了本发明和现有六种融合方法对Cave数据集高光谱图像融合结果的性能指标。
表1.本发明和现有的六种融合方法对Cave数据集高光谱图像融合结果性能指标
从表中可以看到，本发明的互相关系数CC值最大，说明本发明融合后的高光谱图像空间信息最丰富；本发明的光谱角SAM最小，说明本发明在光谱信息保持方面性能最好；本发明的均方根误差RMSE和合成维度总体误差ERGAS最小，说明从全局指标评价方面本发明优于其他所有方法。
实验2：第二个实验是在Pavia Center数据集上进行的，用本发明和现有的六种融合方法对低分辨率高光谱图像与同场景全色图像进行融合，结果如图8所示，其中：
图8(a)是原始的高分辨率高光谱图像，
图8(b)为现有的GS方法的融合结果图，
图8(c)为现有的PCA方法的融合结果图，
图8(d)为现有的GFPCA方法的融合结果图，
图8(e)为现有的BSF方法的融合结果图，
图8(f)为现有的CNMF方法的融合结果图，
图8(g)为现有的MGH方法的融合结果图，
图8(h)为用本发明的融合结果图。
参照图8中的结果，分析可以发现，GS、PCA、CNMF方法得到的结果中存在不同程度的颜色失真。GFPCA、MGH、BSF方法得到的结果存在明显的模糊伪影。本发明得到的结果能够在提高空间分辨率的同时有效地保留原始图像的光谱信息。
表2为Pavia Center数据集的客观定量分析，分别列出了本发明和现有六种融合方法对Pavia Center数据集高光谱图像融合结果的性能指标。
表2.本发明和现有的六种融合方法对Pavia Center数据集高光谱图像融合结果性能指标
从表中可以看到，本发明的互相关系数CC值最大，说明本发明融合后的高光谱图像空间细节表现方面性能最好；本发明的光谱角SAM最小，说明本发明的光谱信息损失最小；本发明的均方根误差RMSE和合成维度总体误差ERGAS最小，说明本发明的融合结果和原始高光谱图像的误差非常最小。
以上仿真实验表明：本发明提出了一种基于CNN与拉普拉斯金字塔网络的高光谱图像与全色图像融合方法，解决了现有高光谱与全色图像融合方法空间细节信息提取不充分和光谱信息损失过多的问题。本发明利用拉普拉斯金字塔将全色图像分解为多个层次，可以区分不同层次的细节，并为每个层次构建简单的细节提取子网络，可以充分提取不同层次的空间细节特征。通过仿真结果分析可以看到本发明的融合指标和视觉效果都取得了很好的空间和光谱性能，在保持良好的光谱信息的同时有效地提高了空间分辨率，能够得到高质量的高光谱融合图像。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行***，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (5)
1.一种基于CNN与拉普拉斯金字塔的高光谱与全色图像融合方法，其特征在于，所述基于CNN与拉普拉斯金字塔的高光谱与全色图像融合方法包括：
获取图像数据集，对数据进行预处理；
利用拉普拉斯金字塔结构进行全色图像分解；
利用Dense块网络进行空间细节提取；
低空间分辨率高光谱图像与提取得到的空间细节特征结合进行图像重建；
利用损失函数进行模型训练得最终的高空间分辨率的高光谱融合图像；
所述基于CNN与拉普拉斯金字塔的高光谱与全色图像融合方法具体包括：
第一步，获取图像数据集，对数据进行预处理；
(1)从公开的数据集中获取原始的高光谱图像作为参考的高光谱图像HREF；
(2)利用给定的参考高光谱图像，根据Wald协议得到所需的全色图像P和低空间分辨率高光谱图像H；
第二步，利用拉普拉斯金字塔构成空间特征提取网络，将原始的全色图像分解成多个层次，每一层图像具有不同的尺寸大小；
(1)将输入的高空间分辨率全色图像P依次下采样生成3个不同尺寸的子全色图像S(P)；
(2)将下采样以后的第i+1层图像上采样到原来第i层图像的尺寸,并将得到的两图像逐像素点相减得到对应的第i层拉普拉斯金字塔输出Ii(P)：
Ii(P)＝Si(P)-upsample(Si+1(P))；
其中，i＝1,2,3，Si(P)代表第i层拉普拉斯金字塔，S1(P)＝P，upsample()代表上采样操作；
第三步，构建用于提取全色图像空间细节信息的Dense块金字塔结构,并进行空间细节特征提取；
(1)基于DenseNet卷积神经网络架构搭建三层金字塔结构的Dense块子网络；
(2)将不同拉普拉斯层全色图像Ii(P)分别送入每一层对应的Dense块子网络中进行空间细节提取得到深度特征图
(3)将各层得到的深度特征图输入到3×3卷积层，并以非线性函数Relu为激活函数得到最终所需的细节特征图
第四步，将低空间分辨高光谱图像逐级上采样并与来自空间细节提取分支得到的细节融合进行图像重建；
第五步，以l1误差损失函数和(1-CC)损失函数作为高光谱融合图像与参考高分辨率高光谱图像之间的损失函数，用以估计输出融合图像与参考真实图像之间的差异，得到理想的输出融合图像；对于第2、3层仅考虑l1误差损失函数，第1层同时考虑l1误差损失函数和(1-CC)损失函数：
其中，Q代表训练样本的数量，F1＝F，代表对参考图像进行2i-1倍下采样得到的图像，/>
2.如权利要求1所述的基于CNN与拉普拉斯金字塔的高光谱与全色图像融合方法，其特征在于，所述基于DenseNet卷积神经网络架构搭建三层金字塔结构的Dense块子网络结构为：第1，2，3层金字塔中的Dense块子网络中分别包含8，6，4个卷积块，对于每一个卷积块，均包含一个批量归一化层和32个大小为3×3的卷积核并且以非线性函数Relu为激活函数；连接一个过渡层实现为批量归一化、1×1卷积核和Relu激活函数的组合；在每个Dense块中通过各个卷积层的特征图与来自所有前面的层的特征图拼接起来以实现DenseNet结构。
3.如权利要求1所述的基于CNN与拉普拉斯金字塔的高光谱与全色图像融合方法，其特征在于，将不同拉普拉斯层全色图像Ii(P)分别送入每一层对应的Dense块子网络中进行空间细节提取，按如下步骤进行：
1)第i层的拉普拉斯金字塔输出的全色图像进入Dense块子网络中，网络中第m个卷积块产生特征图
其中代表由第i层拉普拉斯金字塔中的Dense块中第p个卷积层产生的特征图，代表与先前所有层特征图的连接操作，fT是批量归一化、激活函数和3×3卷积连续运算；
各个卷积块产生的特征图经过过渡层得到第i层拉普拉斯金字塔的Dense块子网络输出的特征图
其中qi表示第i层拉普拉斯金字塔中卷积块的个数，fT是批量归一化、激活函数和1×1卷积连续运算；
2)金字塔第2层Dense块子网络得到的特征图进行上采样并与第1层Dense块子网络得到的特征图进行逐像素相加，再经过大小为3×3的卷积层以及非线性的Relu激活函数得到对应的深度特征图
金字塔第3层Dense块子网络得到的特征图进行上采样并与第2层Dense块子网络得到的特征图进行逐像素相加，再经过大小为3×3的卷积层以及非线性的Relu激活函数得到对应的深度特征图
金字塔第3层Dense块子网络得到的特征图直接经过大小为3×3的卷积层以及非线性的Relu激活函数得到对应的深度特征图
4.如权利要求1所述的基于CNN与拉普拉斯金字塔的高光谱与全色图像融合方法，其特征在于，将低空间分辨率高光谱图像逐级上采样并与来自空间细节提取分支得到的细节融合，按如下步骤进行：
1)将第3层得到的细节特征图与输入的低分辨率高光谱图像H逐像素点相加得到第3层高光谱融合图像F3：
2)将第3层高光谱融合图像F3上采样并与第2层得到的细节特征图逐像素点相加得到第2层的高光谱融合图像F2：
3)将第2层高光谱融合图像F2上采样并与第1层得到的细节特征图逐像素点相加，得到的融合结果经过一个大小为3×3的卷积层和一个Relu激活层后再经过一个大小为3×3的卷积层得到最终的高光谱融合图像F：
5.如权利要求1所述的基于CNN与拉普拉斯金字塔的高光谱与全色图像融合方法，其特征在于，(1-CC)损失函数中CC是互相关系数，其通过计算参考图像和融合图像的对应波段之间的相似性来表征几何失真，CC的最优值为1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011576102.XA CN112669248B (zh) | 2020-12-28 | 2020-12-28 | 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011576102.XA CN112669248B (zh) | 2020-12-28 | 2020-12-28 | 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112669248A CN112669248A (zh) | 2021-04-16 |
| CN112669248B true CN112669248B (zh) | 2024-03-05 |
Family
ID=75410225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011576102.XA Active CN112669248B (zh) | 2020-12-28 | 2020-12-28 | 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112669248B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114240814B (zh) * | 2021-12-19 | 2024-02-23 | 西北工业大学 | 基于金字塔调制注入的多光谱与全色遥感影像融合方法 |
| CN114581347B (zh) * | 2022-01-24 | 2024-03-12 | 中国科学院空天信息创新研究院 | 无参考影像的光学遥感空谱融合方法、装置、设备及介质 |
| CN115565037B (zh) * | 2022-09-14 | 2023-08-22 | 中国科学院空天信息创新研究院 | 图像融合方法及装置 |
| CN116579959B (zh) * | 2023-04-13 | 2024-04-02 | 北京邮电大学 | 用于高光谱图像的融合成像方法及装置 |
| CN117690096B (zh) * | 2024-02-04 | 2024-04-12 | 成都中轨轨道设备有限公司 | 一种适应不同场景的接触网安全巡检*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017215284A1 (zh) * | 2016-06-14 | 2017-12-21 | 山东大学 | 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法 |
| CN109859110A (zh) * | 2018-11-19 | 2019-06-07 | 华南理工大学 | 基于光谱维控制卷积神经网络的高光谱图像全色锐化方法 |
| CN110428387A (zh) * | 2018-11-16 | 2019-11-08 | 西安电子科技大学 | 基于深度学习与矩阵分解的高光谱与全色图像融合方法 |
| CN110533620A (zh) * | 2019-07-19 | 2019-12-03 | 西安电子科技大学 | 基于aae提取空间特征的高光谱和全色图像融合方法 |
| CN110544212A (zh) * | 2019-07-31 | 2019-12-06 | 华南理工大学 | 基于层级特征融合的卷积神经网络高光谱图像锐化方法 |
-
2020
- 2020-12-28 CN CN202011576102.XA patent/CN112669248B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017215284A1 (zh) * | 2016-06-14 | 2017-12-21 | 山东大学 | 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法 |
| CN110428387A (zh) * | 2018-11-16 | 2019-11-08 | 西安电子科技大学 | 基于深度学习与矩阵分解的高光谱与全色图像融合方法 |
| CN109859110A (zh) * | 2018-11-19 | 2019-06-07 | 华南理工大学 | 基于光谱维控制卷积神经网络的高光谱图像全色锐化方法 |
| CN110533620A (zh) * | 2019-07-19 | 2019-12-03 | 西安电子科技大学 | 基于aae提取空间特征的高光谱和全色图像融合方法 |
| CN110544212A (zh) * | 2019-07-31 | 2019-12-06 | 华南理工大学 | 基于层级特征融合的卷积神经网络高光谱图像锐化方法 |
Non-Patent Citations (2)
| Title |
|---|
| 罗运 ; 夏晓峰 ; .基于多尺度金字塔的多光谱图像Pan-Sharpening方法.西南师范大学学报(自然科学版).2020,(第06期),全文. * |
| 薛洋 ; 曾庆科 ; 夏海英 ; 王文涛 ; .基于卷积神经网络超分辨率重建的遥感图像融合.广西师范大学学报(自然科学版).2018,(第02期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112669248A (zh) | 2021-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112669248B (zh) | 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法 | |
| Cai et al. | Mask-guided spectral-wise transformer for efficient hyperspectral image reconstruction | |
| Wei et al. | 3-D quasi-recurrent neural network for hyperspectral image denoising | |
| Li et al. | Deep learning segmentation of optical microscopy images improves 3-D neuron reconstruction | |
| Lee et al. | Mu-net: Multi-scale U-net for two-photon microscopy image denoising and restoration | |
| Zhao et al. | Self-supervised feature adaption for infrared and visible image fusion | |
| Lin et al. | Hyperspectral image denoising via matrix factorization and deep prior regularization | |
| Xu et al. | Image inpainting by patch propagation using patch sparsity | |
| Gao et al. | Cross-scale mixing attention for multisource remote sensing data fusion and classification | |
| Zhang et al. | LR-Net: Low-rank spatial-spectral network for hyperspectral image denoising | |
| CN113034505B (zh) | 一种基于边缘感知网络的腺体细胞图像分割方法及装置 | |
| Liu et al. | Coconet: Coupled contrastive learning network with multi-level feature ensemble for multi-modality image fusion | |
| Li et al. | HyperNet: A deep network for hyperspectral, multispectral, and panchromatic image fusion | |
| Liu et al. | An efficient unfolding network with disentangled spatial-spectral representation for hyperspectral image super-resolution | |
| Tajjour et al. | A novel hybrid artificial neural network technique for the early skin cancer diagnosis using color space conversions of original images | |
| CN117474781A (zh) | 一种基于注意力机制的高光谱与多光谱图像融合方法 | |
| Wang et al. | Image super-resolution using multi-granularity perception and pyramid attention networks | |
| Zeng et al. | Self-attention learning network for face super-resolution | |
| Yang et al. | MGDUN: An interpretable network for multi-contrast MRI image super-resolution reconstruction | |
| Sander et al. | Autoencoding low-resolution MRI for semantically smooth interpolation of anisotropic MRI | |
| Gupta et al. | A robust and efficient image de-fencing approach using conditional generative adversarial networks | |
| Luo et al. | Infrared and visible image fusion based on VPDE model and VGG network | |
| Guo et al. | MFHOD: Multi-modal image fusion method based on the higher-order degradation model | |
| Du et al. | X-ray image super-resolution reconstruction based on a multiple distillation feedback network | |
| Xie et al. | Hyperspectral intrinsic image decomposition based on physical prior-driven unsupervised learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |