CN114821261A - 一种图像融合的算法 - Google Patents
一种图像融合的算法 Download PDFInfo
- Publication number
- CN114821261A CN114821261A CN202210555218.8A CN202210555218A CN114821261A CN 114821261 A CN114821261 A CN 114821261A CN 202210555218 A CN202210555218 A CN 202210555218A CN 114821261 A CN114821261 A CN 114821261A
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- detail
- information
- network architecture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 159
- 238000001228 spectrum Methods 0.000 claims abstract description 30
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 230000001965 increasing effect Effects 0.000 claims abstract description 12
- 230000001737 promoting effect Effects 0.000 claims abstract description 7
- 230000003595 spectral effect Effects 0.000 claims description 40
- 230000006872 improvement Effects 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 10
- 238000012423 maintenance Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 29
- 238000000034 method Methods 0.000 description 21
- 238000011156 evaluation Methods 0.000 description 17
- 238000013527 convolutional neural network Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000007500 overflow downdraw method Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000007499 fusion processing Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 238000004321 preservation Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 235000008753 Papaver somniferum Nutrition 0.000 description 1
- 240000001090 Papaver somniferum Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000002301 combined effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 238000000179 transient infrared spectroscopy Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像融合的算法，在整体网络架构方面，本发明使用双分支网络将网络划分为细节提升分路和空间信息保持分路，不仅在融合图像中保持了MS图像的光谱信息，而且显著增强了融合图像中的空间细节信息；在残差模块方面，本发明利用多尺度残差融合模块可以在更细粒度的层次上提高网络的多尺度表示能力，增加每个网络层的感受野，增加算法的特征提取能力；在解码器方面，本发明采用嵌套连接的方式将提取的多尺度特征先进行上采样，然后采用跳过连接的方式将不同尺度的特征充分融合，使得融合结果的空间细节表达能力更强。
Description
技术领域
本发明涉及图像融合技术领域，尤其涉及一种图像融合的算法。
背景技术
合成孔径雷达是一种高分辨率的微波成像雷达，可以在较差的气象条件下得到和光学影像类似的SAR图像且SAR传感器具有清晰度高，能全天候工作，穿透力强能够识别更多的空间细节信息的特点。但其获得的高空间分辨率SAR图像中的信息，主要是目标物体的后向散射形成的，而后向散射容易受传感器的波长、影像采用的极化方式和反射角大小的影响，致使同一个目标物体存在不同的表现形式,不方便SAR图像的正确解译；多光谱影像能够表现地物目标的真实信息，与SAR图像相比增加了目标物体的信息量且有更高的可视性，但是由于多光谱卫星传感器的成像受天气和光线影响较容易造成MS图像中的部分空间细节信息丢失。鉴于SAR和MS图像的不同特性且所含信息具有很高的互补性。故两者的融合，既可以保持MS图片光谱信息，还能够将SAR图像的空间细节信息注入到融合结果中,其融合结果可以更好的应用在军事、灾害评估、目标识别等相关领域。
针对图像的融合研究和利用，国内外很多学者做了大量的工作。将传统的融合方法大致归纳为以下3类：1)成分替换(Component Substitution，CS)法，用高空间分辨率的SAR图像中的空间细节信息去替换多光谱图像的空间细节信息，然后进行逆变换以获得融合结果。常见的成分替换法有主，IHS(Intensity-Hue-Saturation)变换，成分分析(PCA)和高通滤波法等；这种方式很容易实现且计算效率较高，但由于没有考虑到SAR图像和MS图像成像波段范围的巨大差异，因此融合图像中存在光谱畸变的现象。2)多分辨率分析(Multi-ResolutionAnalysis，MRA)法利用小波(Wavelet)变换、拉普拉斯金字塔等多分辨率分析方法，先获取SAR图像中的空间细节信息，然后利用多分辨率表示系数的加权融合与重构，获得最终结果。常用方法有小波变换、非下采样轮廓波变换(NSCT)和采用Shearlet变换的方法。例如：邰建豪等使用Shearlet变换的方法来进行SAR和MS图像的融合，融合后的图像空间细节信息和光谱信息的保有量方面都有明显的提升，但是存在边缘失真的情况；易维等利用NSCT方法融合出具有光谱信息且又具有SAR图像空间细节信息的高分辨率图像，明显的提升了融合结果。相对于CS方法，MAR法的计算复杂度更高，可以减少SAR图像中存在的噪声，降低了光谱畸变，但图像配准的精确度会影响融合图像的效果，造成边缘失真和图像混叠。3)融合法，是为了充分发挥不同融合方法的优点，在降低空间和光谱失真时，也可以降低算法的复杂度。例如，Alparone等提出了IHS和多分辨率融合的SAR和MS图像融合方式，综合利用了IHS图像融合方式在保留空间细节信息方面较好的优势和多分辨率分析法可以很好的保存图像的光谱信息的优点；该种融合方式能够获得较好的空间细节信息和光谱信息，但其中的CS方法只可以使用能实现空间变换的融合方法(如PCA和IHS)。和传统方式比较，卷积神经网络(Convolutional Neural Networks,CNN)以其优秀的特征提取和特征表示能力，已经被应用到图像融合的各个研究领域，并取得了惊人的性能，这也促使研究者探讨将CNN应用在SAR和多光谱图像的融合的领域。首先，Masi等基于超分辨率卷积神经网络(SRCNN)，给出了一种基于CNN的泛锐化(Pan-sharpening)融合算法，融合结果明显高于传统算法；Zhong等提出了一种基于CNN的泛锐化方法，利用CNN来增强多光谱图像中的空间细节信息，然后格拉姆-施密特(Gram-Schmidt，GS)变换将增强后的图像进行融合；Yang等为了保持图像光谱和提升图像空间信息提出了双分支网络的融合架构，融合结果在主观视觉上和客观图像质量评价指标方面都有了显著的提升；Yuan等将多尺度特征提取和残差学习引入到基本卷积神经网络(CNN)体系结构,充分利用了深度神经网络非线性关系的强大表征能力，使融合结果进一步提升；Li等在红外与可见光图像融合中，提出基于嵌套连接的网络可以从多尺度的角度保存输入数据中的大量特征信息，但它没有使用更细粒度的网络结构，来获取图像中不同尺度的特征。基于以上研究，本发明引入“编码器-特征融合层-解码器”的空间细节信息融合方案，提出双分支的多尺度残差融合嵌套连接网络架构(Double-branch Multiscale Residual-fusion Nested-connections Net，DMRN-Net)，在更细粒度上增加网络的尺度，用以提高SAR和多光谱图像的融合效果,并与其他算法进行对比分析。
发明内容
本发明目的就是为了弥补已有技术的缺陷，提供一种图像融合的算法。
本发明是通过以下技术方案实现的：
一种图像融合的算法，通过双分支的多尺度残差融合嵌套连接网络架构来实现SAR图像和MS图像的融合；所述的双分支的多尺度残差融合嵌套连接网络架构包括有细节提升分路网络架构和光谱保持分路网络架构，具体步骤如下：
(1)获取SAR图像和MS图像中的高频信息；
(2)在细节提升分路网络架构中，将获取的高频信息分别依次经过多深度特征提取层、多尺度残差融合网络层及嵌套连接解码器进行图像重建，得到重建图像；
(3)在光谱保持分路网络架构中，把MS图像进行三倍上采样；把上采样后的MS图像与步骤(2)获取的重建图像进行融合，使MS光谱信息和重建图像的细节信息都注入到融合图像中，得到最终的图像融合结果。
步骤(1)的具体内容如下：将SAR图像和MS图像经过高通滤波器获取图像的高频信息，并且把MS图像的高频信息经过三倍上采样到SAR图像同一分辨率，分别通过1×1，(1,60)和1×1，(3,60)卷积块，将其输出通道值增加到60。
步骤(2)中，在所述的多深度特征提取层的不同深度分别将图像特征信息进行输出，获得不同深度的特征信息在多尺度残差融合网络层中进行特征融合，利用基于嵌套连接的解码器进行图像的重构。
所述的多尺度残差融合网络层是将n个通道的特征提取器替换为s组较小的特征提取器，每组特征提取器使用k个通道，n＝s×k，把较小的特征提取器以一个类似残差的形式分层连接起来，用来增加输出特征可以表示的尺度的范围；把输入特征信息划分成s组，首先，每组特征提取器从输入特征信息中提取特征，其次将前一组的输出特征和本组输入特征信息一起发给下一组特征提取器，这个步骤反复多次，直至所有的输入特征信息都得到处理；最后，来自每一组的特征被连接起来，并发送到另一组卷积层来进行特征信息融合；
所述的多尺度残差融合网络层工作原理如式(1)所示：设xi表示输入信息，其中i∈{1,2,...,s}，s＝4，ki()表示3x3卷积，那么输出yi为：
所述的嵌套连接解码器有两个卷积层，每个都是卷积核为3×3的卷积层；在每一行中，卷积块之间通过短连接进行连接；针对所述的多尺度残差融合网络层中不同层级的输出，嵌套连接解码器通过上采样的方式将特征信息采样到同一尺度，充分融合其多尺度的图像特征。
所述的光谱保持分路网络架构实现原理如下：
其中F为融合图像，Fhp为细节提升分路网络架构的输出图像，↑MS为三倍上采样后的MS图像。
所述的双分支的多尺度残差融合嵌套连接网络架构使用的损失函数Ltotal包括光谱损失函数Lspectral和细节损失函数Ldetail两部分，如式(3)所示：
Ltotal＝Lspectral+λLdetail (3)
其中，λ是在光谱损失函数Lspectral和细节损失函数Ldetail之间的参数；
光谱损失函数Lspectral为细节提升分路网络架构和光谱提升分路网络架构融合后的图像F和参照图像GT的L2范数，其函数如公式(4)所示：
其中，N是每一批训练图像对的数量，GT(i)表示第i个参照的原始MS图像，F(i)表示第i对细节提升分路网络架构和光谱保持分路网络架构融合后的图像；
细节损失函数Ldetail为细节提升分路网络架构输出的融合结果Fhp和SAR图像的高频信息Shp之间的L2范数，其函数如公式(5)所示：
其中
表示第i对SAR图像与多光谱图像细节提升分路网络架构输出的细节信息，
表示第i张SAR图像的高频信息。
本发明的优点是：1)在整体网络架构方面，本发明使用双分支网络将网络划分为细节提升分路和空间信息保持分路，不仅在融合图像中保持了MS图像的光谱信息，而且显著增强了融合图像中的空间细节信息；
2)在残差模块方面，本发明利用多尺度残差融合模块可以在更细粒度的层次上提高网络的多尺度表示能力，增加每个网络层的感受野，增加算法的特征提取能力；
3)在解码器方面，本发明采用嵌套连接的方式将提取的多尺度特征先进行上采样，然后采用跳过连接的方式将不同尺度的特征充分融合，使得融合结果的空间细节表达能力更强；
4)本发明算法在主观判断和客观评价上取得了较好的融合结果，其中客观评价指标中的相关系数为0.9936，峰值信噪比为32.0170，和其他算法相比能够在保持光谱信息的基础上，在更细粒度上增加网络的尺度，用以提高SAR和多光谱图像的融合效果，使融合结果中细节信息更丰富，进一步增加图像的空间细节信息,验证了本发明算法在图像融合领域具有重要的参考价值。
附图说明
图1为本发明算法的总体架构图；
图2为细节提升分支的网络架构图；
图3为比较RFN和提出的MRFN模块(尺度s＝4)图(3a为RFN模块图；3b为MRFN模块图)；
图4为解码器架构图；
图5为第一组实验数据图(5a为参照MS图像；5b为MS图像；5c为SAR图像)；
图6为第二组实验数据(6a为参照MS图像；6b为MS图像；6c为SAR图像)；
图7为训练阶段损失函数曲线图(7a为总损失函数曲线图；7b为光谱损失函数曲线图；7c为细节损失函数曲线图)；
图8为验证阶段损失函数曲线图(8a为总损失函数曲线图；8b为光谱损失函数曲线图；8c为细节损失函数曲线图)；
图9为第一组数据融合结果(9a为IHS数据融合结果；9b为NSCT数据融合结果；9c为Wavelet数据融合结果；9d为TCNN数据融合结果；9e为DRN-Net数据融合结果；9f为本发明数据融合结果)；
图10为第二组数据融合结果(10a为IHS数据融合结果；10b为NSCT数据融合结果；10c为Wavelet数据融合结果；10d为TCNN数据融合结果；10e为DRN-Net数据融合结果；10f为本发明数据融合结果)。
具体实施方式
在合成孔径雷达(Synthetic Aperture Radar，SAR)和多光谱(Multispectral，MS)图像融合领域，基于深度学习的融合方式明显的提升了融合效果，但现有的融合方案主要是通过增加卷积层数量的方式来描述网络模型的尺度，并没有在卷积层的层与层之间增加网络的尺度,来提高算法的提取不同尺度空间细节特征的能力，使融合结果中细节信息更丰富。为解决这一问题，本发明设计了双分支的多尺度残差融合嵌套连接网络架构(Double-branch Multiscale Residual-fusion Nested-connections Net，DMRN-Net)来实现SAR和MS图像的融合。在DMRN-Net中，将融合任务划分为图像的光谱保持和细节提升：在光谱保持分路中，首先把上采样后的MS图像和细节提升分路的获取结果进行融合，把MS图像中的光谱信息注入到融合图像中；在细节提升分路中，首先将SAR和MS图像中的高频信息，随后再将高频信息分别经过多深度特征提取层、多尺度残差融合网络层及嵌套连接解码器得到重建图像，最后将重建后的细节信息注入到上采样的MS图像中，从而得出融合结果。通过本发明的DMRN-Net算法和传统算法以及普通双分支网络的对比实验表明，本发明算法在主观判断和客观评价上取得了较好的融合结果，其中客观评价指标中的相关系数为0.9936，峰值信噪比为32.0170，和其他算法相比能够在保持光谱信息的基础上，进一步增加图像的空间细节信息,验证了本发明算法在图像融合领域具有重要的参考价值。具体如下：
1、网络架构
SAR和多光谱图像的成像原理和所含波段有极大差别，图像信息间的相关性不强，且可能会出现局部负相关，通常的成分替代法，所得到的融合图像容易出现颜色失真。本发明在PanNet和双分支卷积神经网络架构的基础上，结合多深度编码器、多尺度残差融合网络和嵌套连接解码器，提出了基于双分支多尺度残差融合嵌套连接的SAR和MS图像融合的网络架构，把SAR和多光谱图像的融合过程分为空间细节提升和光谱保持两个方面，如图1所示。
1.1细节提升分路网络架构
参考Li等残差融合嵌套连接网络结构，在细节提升分路中使用多尺度残差融合嵌套连接网络架构，其网络架构如图2所示。该网络结构包含三个部分：多深度特征提取模块(左边)，多尺度残差融合网络(MRFN)和嵌套连接解码器(Decoder)。卷积层“n×n，(x,y)”表示卷积核大小为n×n，输入通道值是x，输出通道值是y。
首先SAR和MS图像经过高通滤波器获取图像的高频信息，且把MS的高频信息经过三倍上采样到SAR图像同一分辨率，分别通过“1×1，(1,60)”，“1×1，(3,60)”卷积块，将其输出通道值增加到60。其次利用多深度特征提取模块，在模块的不同深度分别将图像特征信息进行输出，将获得不同深度的特征信息在多尺度残差融合模块中进行特征融合。使用多深度特征提取模块，可以兼顾图像的浅层特征和深层特征，这种特征提取方式可以充分使用图像的不同深度的特征，更有利于重构融合后图像。最后，利用基于嵌套连接的解码器网络进行图像的重构，可以充分利用图像的多深度特征。
如图2所示：Shp和↑MShp分别为经过高通滤波器的SAR图像和经过高通滤波器并上采样的MS图像的高频信息，Fhp为细节提升分路的输出，即细节提升分路融合后的图像。“MRFNm”表示一个多尺度的残差融合网络，在网络结构由四个MRFN网络构成，这些MRFN网络使用相同的网络架构，但具有不同的权值。
1.2多尺度残差融合网络(MRFN)
多尺度特征表征在图像处理领域具有重要意义，可以使视觉***感知到来自不同尺度的信息，有利于理解部件和任务对象。因此，在深度学习中,多尺度特征得到了广泛的应用，但是目前的方法仍主要以分层作为表示多尺度特征的方式。MRFN算法是基于残差块的概念，再结合的多尺度残差块结构Res2Net所提出的一种更加简洁而高效的多尺度处理方法，和以往的用CNN卷积层的数量来增强网络多尺度的表示能力的方式不同，它从更低的量级上提高了多尺度表示能力。和那些使用不同分辨率的特征增强多尺度能力的并行工作不同，Res2Net的多尺度能力是指在卷积网路的层与层之间增加多个可用接收域。为达到这个目标，将n个通道的特征提取器(图3a中Conv4)替换为(图3b中x1-x4和y1-y4之间的部分)s组较小的提取器，每组特征提取器使用k个通道(n＝s×k)，把较小的特征提取器以一个类似残差的形式分层连接起来，用来增加输出特征可以表示的尺度的范围。与普通RFN模块相反，MRFN把输入特征信息划分成s组，首先，每组特征提取器从输入特征信息中提取特征，其次将前一组的输出特征和本组输入特征信息一起发给下一组特征提取器，这个步骤反复多次，直至所有的输入特征信息都得到处理。最后，来自每一组的特征被连接起来，并发送到另一组卷积层来进行特征信息融合。随着输入特征信息转化为输出特征信息的任何可能路径，因多个特征提取器存在的组合效应，故MRFN会增加许多等效特征尺度。如图3所示，
和
表示由编码器网络提取的第i层特征，i∈{1,2,3,4}代表第i个MRFN网络。“Conv n”表示MRFN中3×3的卷积层，在残差融合网络中，“Conv1”和“Conv2”的输出拼接为“Conv3”的输入“Conv 8”则是模块中第一个用于融合的层。由于更细粒度的多尺度特征和残差网络结构，图像的细节和显著结构分别被浅层MRFN和深层MRFN网络保存。
其工作原理如式(1)所示：假设xi表示输入信息，其中i∈{1,2,...,s}，上图s＝4，ki()表示3x3卷积，那么输出yi为：
1.3嵌套连接解码器网络
基于嵌套连接架构的解码器网络如图4所示。与UNet++相比，在图像融合任务上，简化了网络结构，使得提取的图像特征，重构更加简单有效。
表示通过MRFN网络获得的多尺度特征信息，“DCB”表示解码器卷积块，它有两个卷积层，每个都是卷积核为3×3的卷积层。在每一行中，卷积块之间通过短连接进行连接，类似于密集的块结构。针对MRFN网络中不同层级的输出，嵌套连接解码器通过上采样的方式将特征信息采样到同一尺度，可以充分融合其多尺度的图像特征。
1.4光谱提升分支
首先把MS图像进行三倍上采样，其次把上采样的MS图像叠和从细节提升分路重建的图像进行叠加，使其中MS的光谱信息和重建图像的细节信息都注入到融合图像F中，得到最终的融合结果。实现原理如下：
1.5损失函数
本网络架构使用的损失函数Ltotal包括光谱损失函数Lspectral和细节损失函数Ldetail两部分，如式(3)所示：
Ltotal＝Lspectral+λLdetail (3)
其中，λ是在光谱损失函数Lspectral和细节损失函数Ldetail之间的参数。
光谱损失函数Lspectral为细节提升分路和光谱提升分路融合后的图像F和参照图像GT的L2范数，其函数如公式(4)所示：
其中，N是每一批训练图像对的数量，GT(i)表示第i个参照的原始MS图像，F(i)表示第i对细节提升分路和光谱保持分路融合后的图像。
由于SAR图像中的空间分辨率比MS图像更高，为提升融合后图像的的空间分辨率，增加细节信息，实现SAR图像对融合结果的约束，设计了细节损失函数Ldetail，其为细节提升分路网络输出的融合结果Fhp和SAR图像的高频信息Shp之间的L2范数，其函数如公式(5)所示：
其中
表示第i对SAR图像与多光谱图像细节提升分路网络架构输出的细节信息，
表示第i张SAR图像的高频信息。
2实验与结果分析
2.1实验区域与研究数据
选取两组地物类型丰富且各具特点的研究区域(图5，图6)作为实验数据来验证算法的有效性。第一组为南通市通州湾，包含海水，建筑，耕地，道路等多种地物，主要可以观测算法在空间细节方面的提升是否明显；第二组为常熟市虞山国家森林公园以及尚湖附近，包含山地，森林，湖水，桥梁，居民点等地物，地物较为复杂，可以来观测多地物影像的融合是否会影响算法的精度。研究数据包括从Copernicus Open Access Hub下载的Sentinel-1B的IW模式，GRD级别的SAR数据和从地理空间数据云下载的Landsat8_OLI_TIRS多光谱数据。实验使用SNAP对SAR影像做轨道矫正，辐射定标，相干斑滤波以及地形校正，再使用ENVI对多光谱影像做辐射定标和大气校正，然后再对预处理之后的SAR和MS图像进行图像配准，配准误差在0.5个像素点内。此外，因为缺乏SAR和MS图像融合后的理想标准，为使实验的结果在光谱信息和细节信息方面有一个参照依据，将Sentinel-2A数据(分辨率为10m)作为参照图像。卫星数据参数如表1所示。
表1卫星数据参数
2.2实验设置
本发明的实验环境为Window10，64位操作***，2.5GHz处理器,NVIDIA GeForceGTX 1650Ti显卡，在Python3.6的环境下用TensorFlow搭建本发明的网络架构。每批次训练数为100，总共迭代次数为25000，使用Adam为优化器,学习率设为0.0001，动量衰减系数设为0.99。从预处理好的图像中，裁出10000组90×90和30×30像素的SAR和MS图像对，按照8:2的比例，将8000组图像对作为网络的训练数据集，2000组图像对作为网络的验证数据集；裁取出2组大小为900×900和300×300像素的SAR和MS图像对作为测试集。网络训练之初，首先按照Wald[17]协议对数据进行预处理：参照图像GT使用原始的MS图像，同时使用3倍上采样的技术，把原始的SAR和MS图像进行上采样，得到SAR和MS图像的图像对，然后将GT(30×30×3)、SAR(30×30×1)、MS(10×10×3)3一起作为网络训练的输入，网络的训练时长约为2.7h。
2.3参数λ实验
式(5)中Ldetail的参数λ决定了损失函数的设计是否合理性，所以要评价λ在取不同数值时，训练和验证时的细节损失函数，随着迭代次数的变化而出现波动情况(图7、图8)，从而确定一个最优的λ值。从曲线图可知，随着参数λ减小，总损失(图7a、图8a)减小；如图7b、图8b所示：λ＝0.5、10、100时图像的光谱损失值较小；如图7c、图8c所示：λ＝0.5、1时空间细节损失值较小；所以为兼顾光谱与细节损失，本发明选择λ的值为0.5。
为了评价图像融合效果，又引入以下图像融合的评价指标，相关系数CC、均方根误差RMSE、空间相关系数SCC[19]表示SAR图像和融合结果之间空间细节相关性的评估指标，和互信息MI，MIMF表示融合结果和MS图像之间的相似度，MISF表示融合结果和SAR图像之间的相似度,客观评价指标来评价当λ取不同值时对融合结果在细节信息提升和光谱保持的影响程度。从表2可得出：λ值从大变小，MIMF的评价指标变低，代表融合结果和MS图像的图像相似度变低，结果中的光谱信息会受影响，但CC、RMSE、SCC和MISF会随着λ值减小，而变得更优，其中在λ＝1时SCC最优，表明融合图像中增加的SAR图像的空间细节信息，与图7、图8分析的结果一致；
当λ＝0.5时CC、RMSE、MISF最优，SCC次优，可以在融合结果中加入更多的空间细节信息。
表2不同λ值实验结果的评价指标
2.4不同融合方法的比较
为验证本发明算法在SAR和MS图像的融合过程中在光谱保持与细节提升方面的显著优势，本发明算法与传统算法IHS、Wavelet、NSCT、深度学习算法、双分支卷积神经网络(TCNN)以及DRN-Net进行了比较，对比实验的实验参数完全按照原论文中的参数进行设置。
2.4.1主观评价
通过融合结果与双线性三倍上采样的原图像MS相比(图9)可知，所测试的六种方法在空间细节信息方面都有增强，但不同方法的提升幅度略有不同。从第一组数据可以看出：IHS算法(图9a)和NSCT算法(图9b)中的空间细节特征显著增强，但融合结果中的细节信息加入过量，导致融合结果存在颜色失真现象，尤其是图中水面部分颜色失真较为严重。Wavelet、TCNN、使用DRN-Net网络以及本发明算法在光谱保持方面表现都较为优异，但从融合图像的效果来看，四种算法的细节提升幅度仍有不同。Wavelet融合算法(图9c)有一定的空间细节信息提升，但融合结果纹理锯齿状明显且边缘部分特征失真，影响后期目标结构和边缘的提取；由于卷积神经网络的强大计算能力，TCNN算法(图9d)的融合结果相比于传统方法没有边缘失真的情况，图像细节纹理较Wavelet略有提升，但建筑区域细节模糊，融合不自然；DRN-Net(图9e)是在双分支卷积神经网络的基础上加入了残差融合网络(RFN)，其融合结果相比于本发明算法在空间细节加入方面略多，导致地物边缘的融合结果仍不理想；基于双分支架构的多尺度残差融合的卷积神经网络(DMRN-Net)的算法(图9f)充分的提取了SAR和MS图像不同深度的图像特征，并使用了多尺度残差融合网络，在更细的粒度上扩展了网络的深度，且设计了更加合适的光谱和细节结合的损失函数用来监督网络的训练，利用嵌套连接的方式将获取的不同深度的SAR图像的空间信息加入到融合结果中，融合结果不仅没因加入过多的SAR图像的空间细节信息而导致光谱失真，也没出现边缘失真和纹理模糊的现象，融合结果同时增强了图像的空间细节信息和目标的显著特征。第二组实验数据的融合结果(图10)与上述评论基本一致。
2.4.2客观评价
除CC、RMSE等图像的光谱评价指标外，进一步选取峰值信噪比(PSNR)、结构相似性(SSIM)用于评价融合结果的空间细节质量、相对无量纲全局误差(ERGAS)和算法测试时间来对不同算法的融合结果进行比较(表3、表4)。从光谱评价指标CC和RMSE可以看出，IHS和NSCT算法表现较差，表示这两种算法在SAR和MS图像的融合过程中会造成融合结果颜色失真；Wavelet算法在融合图像中加入了过多SAR图像的空间细节信息，导致目标物体边缘失真；TCNN算法和DRN-Net算法都有较好的光谱保持能力，但仍有进步的空间。从加入的空间细节信息质量评价指标PSNR和SSIM中可以得出，IHS和NSCT算法在PSNR指标中表现较差，表示在这两种算法的融合结果中存在较为显著的图像失真；Wavelet算法的PSNR指标中进一步的提升，然而其融合结果易受小波变换方向约束的影响，目标地物边缘出现明显的锯齿状；TCNN和DRN-Net在PSNR和SSIM中表现较好，明显增强了融合结果中的细节信息。由图像细节和光谱均衡的评价指标ERGAS可以看出，IHS和NSCT算法表现较差，是因为两者在光谱保持和空间细节提升方面的评价指标都比较差，这与主观评价结果一致；Wavelet算法有了明显的提升，有效的改变了IHS和NSCT算法中出现的颜色失真现象；TCNN和DRN-Net算法充分的利用了卷积神经网路强大的计算能力，进一步提升了图像融合的整体效果；在算法效率方面对比方面，IHS算法的耗时最短。对比RFN算法和本发明算法除残差融合网络外，使用相同的网络结构和参数，通过对比可知，本发明提出的算法比使用RFN模块的算法在光谱保持和空间细节方面都有了进一步的提升，有效的提升了MS图像的空间细节信息，且与Wavelet算法相比提高了算法效率，适合海量遥感数据的融合处理。
表3第一组数据的评价结果
表4第二组数据的评价结果
3、结论
为改善传统SAR和MS图像融合算法中出现的颜色失真和空间细节模糊的现象，本发明以双分支网络为基础提出包含多尺度残差融合网络和嵌套连接解码器的SAR和MS图像融合的双分支卷积神经网络，得出以下结论：1)在整体网络架构方面，使用双分支网络将网络划分为细节提升分路和空间信息保持分路，不仅在融合图像中保持了MS图像的光谱信息，而且显著增强了融合图像中的空间细节信息；2)在残差模块方面，利用多尺度残差融合模块可以在更细粒度的层次上提高网络的多尺度表示能力，增加每个网络层的感受野，增加算法的特征提取能力；3)在解码器方面，采用嵌套连接的方式将提取的多尺度特征先进行上采样，然后采用跳过连接的方式将不同尺度的特征充分融合，使得融合结果的空间细节表达能力更强。但是本发明算法在设计的过程中，并没有关注到不同注意力机制对图像融合结果的影响，后期会做不同注意力机制对算法提升幅度的实验，进一步提升实验效果。
Claims (8)
1.一种图像融合的算法，其特征在于：通过双分支的多尺度残差融合嵌套连接网络架构来实现SAR图像和MS图像的融合；所述的双分支的多尺度残差融合嵌套连接网络架构包括有细节提升分路网络架构和光谱保持分路网络架构，具体步骤如下：
(1)获取SAR图像和MS图像中的高频信息；
(2)在细节提升分路网络架构中，将获取的高频信息分别依次经过多深度特征提取层、多尺度残差融合网络层及嵌套连接解码器进行图像重建，得到重建图像；
(3)在光谱保持分路网络架构中，把MS图像进行三倍上采样；把上采样后的MS图像与步骤(2)获取的重建图像进行融合，使MS光谱信息和重建图像的细节信息都注入到融合图像中，得到最终的图像融合结果。
2.根据权利要求1所述的一种图像融合的算法，其特征在于：步骤(1)的具体内容如下：将SAR图像和MS图像经过高通滤波器获取图像的高频信息，并且把MS图像的高频信息经过三倍上采样到SAR图像同一分辨率，分别通过1×1，(1,60)和1×1，(3,60)卷积块，将其输出通道值增加到60。
3.根据权利要求1所述的一种图像融合的算法，其特征在于：步骤(2)中，在所述的多深度特征提取层的不同深度分别将图像特征信息进行输出，获得不同深度的特征信息在多尺度残差融合网络层中进行特征融合，利用基于嵌套连接的解码器进行图像的重构。
4.根据权利要求3所述的一种图像融合的算法，其特征在于：所述的多尺度残差融合网络层是将n个通道的特征提取器替换为s组较小的特征提取器，每组特征提取器使用k个通道，n＝s×k，把较小的特征提取器以一个类似残差的形式分层连接起来，用来增加输出特征可以表示的尺度的范围；把输入特征信息划分成s组，首先，每组特征提取器从输入特征信息中提取特征，其次将前一组的输出特征和本组输入特征信息一起发给下一组特征提取器，这个步骤反复多次，直至所有的输入特征信息都得到处理；最后，来自每一组的特征被连接起来，并发送到另一组卷积层来进行特征信息融合。
5.根据权利要求4所述的一种图像融合的算法，其特征在于：所述的多尺度残差融合网络层工作原理如式(1)所示：设xi表示输入信息，其中i∈{1,2,...,s}，s＝4，ki()表示3x3卷积，那么输出yi为：
6.根据权利要求4所述的一种图像融合的算法，其特征在于：所述的嵌套连接解码器有两个卷积层，每个都是卷积核为3×3的卷积层；在每一行中，卷积块之间通过短连接进行连接；针对所述的多尺度残差融合网络层中不同层级的输出，嵌套连接解码器通过上采样的方式将特征信息采样到同一尺度，充分融合其多尺度的图像特征。
7.根据权利要求1所述的一种图像融合的算法，其特征在于：所述的光谱保持分路网络架构实现原理如下：
其中F为融合图像，Fhp为细节提升分路网络架构的输出图像，↑MS为三倍上采样后的MS图像。
8.根据权利要求7所述的一种图像融合的算法，其特征在于：所述的双分支的多尺度残差融合嵌套连接网络架构使用的损失函数Ltotal包括光谱损失函数Lspectral和细节损失函数Ldetail两部分，如式(3)所示：
Ltotal＝Lspectral+λLdetail (3)
其中，λ是在光谱损失函数Lspectral和细节损失函数Ldetail之间的参数；
光谱损失函数Lspectral为细节提升分路网络架构和光谱提升分路网络架构融合后的图像F和参照图像GT的L2范数，其函数如公式(4)所示：
其中，N是每一批训练图像对的数量，GT(i)表示第i个参照的原始MS图像，F(i)表示第i对细节提升分路网络架构和光谱保持分路网络架构融合后的图像；
细节损失函数Ldetail为细节提升分路网络架构输出的融合结果Fhp和SAR图像的高频信息Shp之间的L2范数，其函数如公式(5)所示：
其中
表示第i对SAR图像与多光谱图像细节提升分路网络架构输出的细节信息，
表示第i张SAR图像的高频信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210555218.8A CN114821261A (zh) | 2022-05-20 | 2022-05-20 | 一种图像融合的算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210555218.8A CN114821261A (zh) | 2022-05-20 | 2022-05-20 | 一种图像融合的算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114821261A true CN114821261A (zh) | 2022-07-29 |
Family
ID=82518072
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210555218.8A Pending CN114821261A (zh) | 2022-05-20 | 2022-05-20 | 一种图像融合的算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114821261A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112288657A (zh) * | 2020-11-16 | 2021-01-29 | 北京小米松果电子有限公司 | 图像处理方法、图像处理装置及存储介质 |
| CN115861070A (zh) * | 2022-12-14 | 2023-03-28 | 湖南凝服信息科技有限公司 | 一种三维视频融合拼接方法 |
| CN117034778A (zh) * | 2023-08-28 | 2023-11-10 | 黑龙江省网络空间研究中心(黑龙江省信息安全测评中心、黑龙江省国防科学技术研究院) | 基于Hypergraph-Transformer结构反演地上生物量的方法 |
| CN117036893A (zh) * | 2023-10-08 | 2023-11-10 | 南京航空航天大学 | 一种基于局部跨阶段和快速下采样的图像融合方法 |
| CN117095265A (zh) * | 2023-09-04 | 2023-11-21 | 黑龙江省网络空间研究中心(黑龙江省信息安全测评中心、黑龙江省国防科学技术研究院) | 基于双分支cnn的sar影像与光学影像的融合方法 |
| CN117437131A (zh) * | 2023-12-21 | 2024-01-23 | 珠海视新医用科技有限公司 | 内窥镜图像电子染色方法及装置、设备、存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020100200A4 (en) * | 2020-02-08 | 2020-06-11 | Huang, Shuying DR | Content-guide Residual Network for Image Super-Resolution |
| CN111861961A (zh) * | 2020-07-25 | 2020-10-30 | 安徽理工大学 | 单幅图像超分辨率的多尺度残差融合模型及其复原方法 |
| CN112634137A (zh) * | 2020-12-28 | 2021-04-09 | 西安电子科技大学 | 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法 |
| CN113449727A (zh) * | 2021-07-19 | 2021-09-28 | 中国电子科技集团公司第二十八研究所 | 一种基于深度神经网络的伪装目标检测识别方法 |
| CN113793289A (zh) * | 2021-09-10 | 2021-12-14 | 海南大学 | 基于cnn和nsct的多光谱图像和全色图像模糊融合方法 |
-
2022
- 2022-05-20 CN CN202210555218.8A patent/CN114821261A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020100200A4 (en) * | 2020-02-08 | 2020-06-11 | Huang, Shuying DR | Content-guide Residual Network for Image Super-Resolution |
| CN111861961A (zh) * | 2020-07-25 | 2020-10-30 | 安徽理工大学 | 单幅图像超分辨率的多尺度残差融合模型及其复原方法 |
| CN112634137A (zh) * | 2020-12-28 | 2021-04-09 | 西安电子科技大学 | 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法 |
| CN113449727A (zh) * | 2021-07-19 | 2021-09-28 | 中国电子科技集团公司第二十八研究所 | 一种基于深度神经网络的伪装目标检测识别方法 |
| CN113793289A (zh) * | 2021-09-10 | 2021-12-14 | 海南大学 | 基于cnn和nsct的多光谱图像和全色图像模糊融合方法 |
Non-Patent Citations (2)
| Title |
|---|
| 王明丽;王刚;郭晓新;王献昌;: "基于跨层复制连接卷积神经网络的遥感图像融合", 吉林大学学报(理学版), no. 04, 18 July 2020 (2020-07-18) * |
| 邰建豪;潘斌;赵珊珊;赵园;: "基于Shearlet变换的SAR与多光谱遥感影像融合", 武汉大学学报(信息科学版), no. 04, 5 April 2017 (2017-04-05) * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112288657A (zh) * | 2020-11-16 | 2021-01-29 | 北京小米松果电子有限公司 | 图像处理方法、图像处理装置及存储介质 |
| CN115861070A (zh) * | 2022-12-14 | 2023-03-28 | 湖南凝服信息科技有限公司 | 一种三维视频融合拼接方法 |
| CN117034778A (zh) * | 2023-08-28 | 2023-11-10 | 黑龙江省网络空间研究中心(黑龙江省信息安全测评中心、黑龙江省国防科学技术研究院) | 基于Hypergraph-Transformer结构反演地上生物量的方法 |
| CN117095265A (zh) * | 2023-09-04 | 2023-11-21 | 黑龙江省网络空间研究中心(黑龙江省信息安全测评中心、黑龙江省国防科学技术研究院) | 基于双分支cnn的sar影像与光学影像的融合方法 |
| CN117036893A (zh) * | 2023-10-08 | 2023-11-10 | 南京航空航天大学 | 一种基于局部跨阶段和快速下采样的图像融合方法 |
| CN117036893B (zh) * | 2023-10-08 | 2023-12-15 | 南京航空航天大学 | 一种基于局部跨阶段和快速下采样的图像融合方法 |
| CN117437131A (zh) * | 2023-12-21 | 2024-01-23 | 珠海视新医用科技有限公司 | 内窥镜图像电子染色方法及装置、设备、存储介质 |
| CN117437131B (zh) * | 2023-12-21 | 2024-03-26 | 珠海视新医用科技有限公司 | 内窥镜图像电子染色方法及装置、设备、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114821261A (zh) | 一种图像融合的算法 | |
| CN110533620B (zh) | 基于aae提取空间特征的高光谱和全色图像融合方法 | |
| CN110428387B (zh) | 基于深度学习与矩阵分解的高光谱与全色图像融合方法 | |
| CN111080567A (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及*** | |
| CN110119780A (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| CN112819737B (zh) | 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法 | |
| CN114119444B (zh) | 一种基于深度神经网络的多源遥感图像融合方法 | |
| CN111985543A (zh) | 一种高光谱图像分类模型的构建方法、分类方法及*** | |
| CN106384332A (zh) | 基于Gram‑Schmidt的无人机影像与多光谱影像融合方法 | |
| CN109859110A (zh) | 基于光谱维控制卷积神经网络的高光谱图像全色锐化方法 | |
| CN113327218A (zh) | 一种基于级联网络的高光谱与全色图像融合方法 | |
| CN116630209A (zh) | 基于交叉混合注意力的sar与可见光图像融合方法 | |
| CN110032963A (zh) | 互花米草新生斑块的动态监测方法 | |
| CN107169946A (zh) | 基于非负稀疏矩阵与超球面彩色变换的图像融合方法 | |
| Wu et al. | Smart city oriented remote sensing image fusion methods based on convolution sampling and spatial transformation | |
| CN113744134B (zh) | 基于光谱解混卷积神经网络的高光谱图像超分辨方法 | |
| CN112906645B (zh) | 一种sar数据和多光谱数据融合的海冰目标提取方法 | |
| Chen et al. | Neural classification of SPOT imagery through integration of intensity and fractal information | |
| CN117314811A (zh) | 基于混合模型的sar-光学图像融合方法 | |
| CN116452872A (zh) | 一种基于改进的Deeplabv3+的森林场景树种分类方法 | |
| CN116189021A (zh) | 多分支互交叉注意力增强的无人机多光谱目标检测方法 | |
| CN114511470B (zh) | 一种基于注意力机制的双分支全色锐化方法 | |
| Qian et al. | Effect of lossy vector quantization hyperspectral data compression on retrieval of red-edge indices | |
| CN115082344A (zh) | 基于细节注入的双分支网络全色锐化方法 | |
| Cui et al. | Meta-TR: meta-attention spatial compressive imaging network with swin transformer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |