CN116468645B - 一种对抗性高光谱多光谱遥感融合方法 - Google Patents
一种对抗性高光谱多光谱遥感融合方法 Download PDFInfo
- Publication number
- CN116468645B CN116468645B CN202310730516.0A CN202310730516A CN116468645B CN 116468645 B CN116468645 B CN 116468645B CN 202310730516 A CN202310730516 A CN 202310730516A CN 116468645 B CN116468645 B CN 116468645B
- Authority
- CN
- China
- Prior art keywords
- image
- hyperspectral
- loss
- network
- multispectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003042 antagnostic effect Effects 0.000 title claims abstract description 6
- 238000007500 overflow downdraw method Methods 0.000 title abstract description 8
- 230000004927 fusion Effects 0.000 claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000003595 spectral effect Effects 0.000 claims abstract description 26
- 238000001228 spectrum Methods 0.000 claims abstract description 23
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 19
- 239000000284 extract Substances 0.000 claims abstract description 10
- 238000002347 injection Methods 0.000 claims abstract description 10
- 239000007924 injection Substances 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000012423 maintenance Methods 0.000 claims description 4
- 238000004321 preservation Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 230000007547 defect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 2
- 238000004220 aggregation Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 238000007499 fusion processing Methods 0.000 claims description 2
- 239000012633 leachable Substances 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 238000011158 quantitative evaluation Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像处理领域,涉及一种对抗性高光谱多光谱遥感融合方法,包括构建训练网络所需数据集,构建生成器网络,基于卷积神经网络结构构建鉴别器网络,对生成器和鉴别器网络进行训练,生成一个充分训练的网络模型,生成同时具有高空间分辨率和高光谱分辨率的遥感图像。本发明的生成器利用细节注入框架进行建模,并通过双分支输入方式分别提取高光谱遥感图像和多光谱遥感图像的特征,然后进行特征融合生成空间残差注入至上采样的高光谱遥感图像得到生成图像,鉴别器采用了纯卷积神经网络架构;本发明提出了一种新的损失函数,以增强图像融合精度;本发明能够有效融合高光谱与多光谱遥感图像的空‑谱信息,得到高分辨率高光谱图像。
Description
技术领域
本发明属于图像处理技术领域,具体涉及一种基于Swin Transformer和CNN的生成对抗网络的高光谱与多光谱遥感图像方法。
背景技术
高光谱和多光谱遥感图像是常用的遥感图像类型,它们可通过不同光谱波段上的反射或辐射特征获取地物信息,实现遥感信息提取及分析。高光谱图像具有细致的光谱信息,可精细分类和识别地物,但空间分辨率往往低于多光谱图像;多光谱图像则光谱信息表达不足,但有高空间分辨率,能更完整描述地物形态和分布。因此,高光谱和多光谱遥感图像可采用融合方法,得到兼具高空间分辨率和细致光谱信息的图像,提高遥感数据的应用价值,并可应用于农业,环境监测,城市规划等领域,提供更准确、全面的信息,为决策提供更好支持。
高光谱与多光谱遥感图像融合分为传统算法和深度学习的算法,其中,传统算法大多依赖先验知识,然而,人为设定的先验表达无法有充分表征融合信息。深度学习是一种基于神经网络的机器学习方法,具有强大非线性建模能力和高层次特征提取能力,相较于传统算法具有更高的融合质量。然而,现有的深度学习融合算法仍面临着一些挑战和不足。例如,现有深度学习得到的融合图像在保留图像的细节及光谱信息方面具有较大提升空间。此外,常采用卷积层感知图像的局部信息,其感受野大小有限,忽略了远程依赖性,导致图像细节和纹理重建不准确。同时,现有损失函数往往只关注图像的像素级的差异,缺乏对空间及光谱信息的考虑,限制了融合效果的提升。
发明内容
本发明的目的就在于针对上述现有技术的不足,提出一种基于Swin Transformer和CNN的生成对抗网络的高光谱与多光谱遥感图像融合方法,该方法结合了内容、空间梯度、光谱梯度和对抗损失的损失函数。
本发明的目的是通过以下技术方案实现的:
一种对抗性高光谱多光谱遥感融合方法,包括以下步骤:
S1、构建训练网络所需数据集,使用原始高光谱图像作为训练标签数据,训练样本中的高光谱图像和多光谱图像分别是以原始高光谱和多光谱图像经过空间降采样生成得到;
S2、基于CNN和Swin Transformer构建生成器网络,利用细节注入框架对生成器建模,生成器包括光谱保持和空间残差提取两个路径;
其中,细节注入框架的公式为:
,式中,F
为融合图像,k为低空间分辨率图像LR对应的通道数,upsample为上采样算子,gk为注入系
数,为高空间分辨率图像HR的空间信息,Detract为细节提取操作;
S3、基于卷积神经网络结构构建鉴别器网络;
S4、利用Adam优化算法对基于Swin Transformer和CNN的生成对抗网络的生成器和鉴别器网络进行训练,训练过程中生成器采用一种结合了内容损失、空间梯度损失、光谱梯度损失和对抗损失的生成器损失函数进行训练,生成一个充分训练的网络模型;
其中,生成器损失函数的表达式为:
,式中,Conloss为内容损失,SpaGradloss为空间梯度损失,SpeGradloss为光谱梯度损失,Advloss为对抗损失;
S5、将待融合的高光谱与多光谱遥感图像输入至S4步骤中得到的网络模型中,生成同时具有高空间分辨率和高光谱分辨率的遥感图像。
进一步地,步骤S1中,依据Wald协议,采用高斯滤波分别对高光谱图像和多光谱图像进行滤波,继而采用双线性插值法对其进行对应倍数的空间下采样,生成用于训练的样本图像,并采用原始的高光谱图像作为训练的标签图像。
进一步地,步骤S2中,生成器网络的构建,采用了光谱保持和空间残差提取两个路径,光谱保持路径为融合图像提供了光谱信息,其过程为对高光谱图像进行上采样,得到与多光谱相同的空间大小,这个过程对应细节注入框架公式中的upsample(LR);空间残差路径提取的是高光谱图像和多光谱图像在各个波段中的空间残差信息,对应与注入框架中的gk·Detract(HR)部分,其中细节注入路径包括浅层特征提取,深层特征提取和特征融合3个模块;最后将两个路径的信息进行相加实现细节信息的注入,进而得到融合图像。
更进一步地,生成器的工作流程如下:
首先将高光谱图像和多光谱图像输入至浅层特征提取模块中,本发明设计了两个卷积层分别提取上采样的高光谱图像和多光谱图像的浅层特征,其目的是采用卷积层有效提取了HSI和MSI的局部信息并将其映射至相同的光谱维度,便于后续的特征提取,且卷积层擅长早期视觉处理,使得优化更为稳定可以得到更优的结果,该过程可以表示为:
,式中,SHSI,SMSI分别为提取的高光谱图像和多光谱图像的浅层特征,Conv3为3×3卷积,其卷积核个数为192。在浅层特征基础上,网络进一步提取高光谱和多光谱图像的深层特征,本发明采用了由SwinTransformer和CNN组成的残差Swin Transformer block (RSTB)作为深层特征提取模块进行深层特征提取,该过程表示为:
,其中,DHSI,DMSI分别为提取的HSI和MSI的深层特征;PE表示Patch Embedding操作,其作用是将图像分成多个小块,并将每个小块进行嵌入式编码,从而生成一个向量序列,本质上是对特征图的尺寸进行重塑便于Swin transformer进行特征提取;PU表示Patch Unembed操作,其作用是将经过Patch Embedding编码的图像向量序列还原为原始的图像;RSTB2表示经过了2个RSTB层;得到深层特征后需将特征进行有效融合。
更进一步地,特征融合的过程为:首先将DHSI和DMSI以相加的方式合并,随后融合合并的特征得到上采样的高光谱图像与融合图像的空间细节残差,最后将其注入至光谱保持路径输出的上采样的高光谱图像中,得到融合图像,这个过程表示为:
,其中,Sdr特征融合模块输出的空间细节残差,F为生成器生成的融合图像。
更进一步地,所述RSTB包括6个Swin Transformer Layer (STL)和3×3卷积层构成,通过STL提取深层次特征,经3×3卷积层增强网络平移不变性,并采用跳跃连接增强特征提取能力。因RSTB同时使用了STL和卷积层提取特征,其即可以同时感知特征的局部及全局信息,RSTB计算公式如下:
,其中,Fi为经过了i个STL输出的特征,FSTL为STL特征提取操作,FRSTB为RSTB的输出。
更进一步地,所述STL采用了基于窗口的自注意力机制将输入序列分成若干个相同大小的窗口,然后在各个窗口内进行多头自注意力计算,以获取窗口内元素之间的内在联系,多头自注意力计算为:
,其中,X为局部窗口特征,Q,K,V分别为X衍生出的query,key,value矩阵,WQ,WK,WV分别为在
不同窗口共享的投影矩阵,P为可学习的相对位置编码,d是特征图的尺寸,Attentioni为第
i个头的计算的注意力,Concat为拼接操作,为用于特征聚合的映射矩
阵。
更进一步地,为提高模型的性能,每个窗口内还进行了步长为窗口大小一半的平移操作,以增加窗口之间的重叠部分,从而增强了模型的感受野和上下文信息的利用效率;这种操作对于图像融合来说可以增强窗口边界的像素感知,从而提高模型的准确性,SwinTransformer的计算表示为:
,其中,Zl﹣1为输入的特征,Zl为输出的特征。
进一步地,步骤S3,鉴别器网络结构使用卷积层、LeakyReLU激活层,归一化层和Sigmoid层。
进一步地,步骤S4中,内容损失的表达式为:
,其中,Gen为生成器生成的图像,Real为真实图像,N为像素总数,H,W,B为图像的高度,宽度和波段数。
空间梯度损失函数的表达式为:
,其中,▽x,▽y分别为水平和竖直梯度算子。
光谱梯度损失函数的表达式为:,其中,▽z为光谱梯度算子。
对抗损失函数的表达式为:,其中,为
生成图像被鉴别器判断为真实图像的概率,N为训练过程中每个批次的样本组数。
鉴别器损失函数的表达式为:。
与现有技术相比,本发明的有益效果在于:
1、网络的生成器在细节注入框架下构建,使得生成器网络具有一定的可解释性;
2、网络采用了Swin Transformer与CNN网络相结合的方式,能够同时感知图像的全局和局部信息;
3、所提出的损失函数不仅关注图像的像素级差异,而且引入了空间和光谱梯度损失,使得损失函数增强了对空间和光谱的约束,提升了融合图像的质量;
4、相较于以往的深度学习算法,本发明具有更强的学习能力,在少量训练情况下即可达到较高的融合精度。
附图说明
图1为本发明提供的一种基于Swin Transformer和CNN的生成对抗网络的高光谱与多光谱遥感图像融合方法的流程图;
图2为本发明提供的一种基于Swin Transformer和CNN的生成对抗网络的高光谱与多光谱遥感图像融合方法的生成器网络图;
图3为本发明提供的一种基于Swin Transformer和CNN的生成对抗网络的高光谱与多光谱遥感图像融合方法的鉴别器网络图;
图4为本发明所用的RSTB和STL结构图;
图5为本发明与当前流行的高光谱与多光谱遥感图像融合算法在Hyperion传感器下的融合结果对比图;
图6为本发明与当前流行的基于深度学习的高光谱与多光谱遥感图像融合算法在四种不同传感器下的训练过程中在验证集下的精度图;
图7为本发明与当前流行的高光谱与多光谱遥感图像融合算法在四种不同传感器下的融合结果的光谱曲线对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
高光谱遥感图像与多光谱遥感图像融合是提升数据分辨率的重要手段之一。然而,现有的融合算法在空间和光谱重建能力方面仍有提升的空间。
如图1所示,一种对抗性高光谱多光谱遥感融合方法,包括下述步骤:
S1、考虑到现实世界中不存在融合图像作为训练样本,本发明遵循Wald 协议构建训练网络所需的数据集,即使用原始高光谱图像作为训练标签数据,训练样本中的高光谱图像和多光谱图像分别为原始高光谱和多光谱图像经过空间降采样生成得到;
S2、采用Adam优化算法训练基于Swin Transformer和CNN的生成对抗网络的高光谱与多光谱遥感图像融合网络,得到充分训练后的网络模型。
其中,如图2所示,网络的生成器采用了双分支的方式提取HSI和MSI的浅层和深层特征,然后对特征进行合并与融合。该网络包括光谱保持和空间残差提取两个路径,其中光谱保持路径的过程为对高光谱图像进行上采样,使其与多光谱图像具有相同的空间大小;残差提取两个路径包括浅层特征提取,深层特征提取和特征融合3个模块。浅层特征提取模块采用两个卷积层分别提取高光谱与多光谱遥感图像的浅层特征,深层特征提取模块采用两个RSTB模块分别提取高光谱与多光谱图像的深层特征,特征融合模块首先将深层特征以相加的方式进行合并,然后,利用6个RSTB模块进行特征融合生成上采样的高光谱图像与融合图像的空空间细节残差,最后,将其注入至光谱保持路径输出的上采样的高光谱图像中,得到生成的融合图像。
S3、鉴别器的网络如图3所示,鉴别器以CNN为骨干,包含11层,第一层是与非线性激活函数组合的卷积层,并且接下来的八层中的每一层都包括卷积和批量标准化(BN)层。后两层是全连接,所有卷积核都是3×3。
S4、利用Adam优化算法对基于Swin Transformer和CNN的生成对抗网络进行训练,训练过程中采用一种结合了内容、空间梯度、光谱梯度和对抗损失函数进行训练,生成一个充分训练的网络模型;
其中,生成器损失函数的表达式为:,式中,Conloss为内容损失,SpaGradloss为空间梯度损失,SpeGradloss为光谱梯度损失,Advloss为对抗损失。
内容损失的表达式为:
,其中,Gen为生成器生成的图像,Real为真实图像,N为像素总数,H,W,B为图像的高度,宽度和波段数。
空间梯度损失函数的表达式为:
,其中,▽x,▽y分别为水平和竖直梯度算子。
光谱梯度损失函数的表达式为:,其中,▽z为光谱梯度算子。
对抗损失函数的表达式为:,其中,
为生成图像被鉴别器判断为真实图像的概率,N为训练过程中每个批次的样本组数。
鉴别器损失函数的表达式为:。
S5、将待融合的高光谱与多光谱遥感图像输入训练后的网络,得到具有高空间和高光谱分辨率的图像。
为评估本发明的融合能力,选择了Hyperion传感器的图像作为实验数据集,并结合了当前流行的高光谱与多光谱遥感图像的融合算法进行了对比。其中GSA、CNMF、FUSE和Hysure是基于传统的算法,SSRNET、TFNet、ResTFNet和MSDCNN为对比的深度学***均相对绝对误差热力图,热力图的颜色越浅说明融合结果月接近于参考图像,即结果越好,可以看出本发明的融合结果在视觉上取得了最好的结果。同时该实验的定量评价如表1.其中除PSNR指标的值越大表示结果越好外,其他指标的值均越小越好,从定量评价结果也表明本发明的融合质量最优。
表1 不同算法的融合结果的定量评价
为评价本发明的学习能力,在图6中展示了本发明与其他流行的高光谱与多光谱融合的深度学习算法在Hyperion传感器数据集上的训练曲线,可以看出本发明在较小的迭代次数中便达到了较高的指标,说明本发明的学习能力优于对比的深度学习融合方法。
为验证本发明生成的融合图像的光谱准确性,图7中展示了本发明与其他对比的流行算法融合结果各波段反射率,可以看出本发明的光谱曲线最接近于参考的光谱曲线,说明本发明具有更好的光谱重建能力。
为评估本发明提出的新损失函数的各组成成分的合理性,以由内容损失和对抗损失为基础并加入了光谱和空间梯度损失。实验结果定量评价见表2,其中仅使用内容和对抗损失的融合精度排名最后。通过增加光谱梯度损失,融合精度略有提升,说明该约束能够增强融合质量。而内容损失和对抗损失结合空间梯度损失所得到的效果提升更为明显,说明空间梯度约束的改善效果更为显著。而将内容、光谱梯度和空间梯度结合的方式所得到的融合质量最优,说明本发明提出的损失函数融合表现更佳且各部分均有助于提升图像融合的质量。
此外,在本发明损失函数基础上删除了对抗损失,这意味着网络的训练不再采用对抗训练方式,其融合结果相较于使用对抗训练的方式表现略差,说明生成对抗网络相较于传统深度学习训练可以更好地学习到图像的高阶特征,有助于提高图像的融合质量。
表2 不同损失函数的定量评价
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由权利要求指出。
应当理解的是,本发明并不局限于上面已经描述中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (1)
1.一种对抗性高光谱多光谱遥感融合方法,其特征在于,包括以下步骤:
S1、构建训练网络所需数据集,使用原始高光谱图像作为训练标签数据,训练样本中的高光谱图像和多光谱图像分别是以原始高光谱和多光谱图像经过空间降采样生成得到;
依据Wald协议,采用高斯滤波分别对高光谱图像和多光谱图像进行滤波,继而采用双线性插值法对其进行对应倍数的空间下采样,生成用于训练的样本图像,并采用原始的高光谱图像作为训练的标签图像;
S2、基于CNN和Swin Transformer构建生成器网络,利用细节注入框架对生成器建模,生成器包括光谱保持和空间残差提取两个路径;
其中,细节注入框架的公式为:
Fk=upsample(LR)+gk·δ=upsample(LR)+gk·Detract(HR)
式中,F为融合图像,k为低空间分辨率图像LR对应的通道数,upsample为上采样算子,gk为注入系数,δ为高空间分辨率图像HR的空间信息,Detract为细节提取操作;
生成器网络的构建,采用了光谱保持和空间残差提取两个路径,光谱保持路径为融合图像提供了光谱信息,其过程为对高光谱图像进行上采样,得到与多光谱相同的空间大小,这个过程对应细节注入框架公式中的upsample(LR);空间残差路径提取的是高光谱图像和多光谱图像在各个波段中的空间残差信息,对应与注入框架中的gk·Detract(HR)部分,其中细节注入路径包括浅层特征提取,深层特征提取和特征融合3个模块;最后将两个路径的信息进行相加实现细节信息的注入,进而得到融合图像;
生成器的工作流程如下:
将高光谱图像和多光谱图像输入至浅层特征提取模块中,采用两个卷积层分别提取上采样的高光谱图像和多光谱图像的浅层特征,该过程可以表示为:
{SHSI,SMSI}={Conv3(upsample(HSI)),Conv3(MSI)}
式中,SHSI,SMSI分别为提取的高光谱图像和多光谱图像的浅层特征,Conv3为3×3卷积,其卷积核个数为192;
在浅层特征基础上,网络进一步提取高光谱和多光谱图像的深层特征,采用由SwinTransformer和CNN组成的残差RSTB作为深层特征提取模块进行深层特征提取,该过程表示为:
{DHSI,DMSI}={SHSI+Conv3(PU(RSTB2(PE(SHSI)))),SMSI+Conv3(PU(RSTB2(PE(SMSI))))}
其中,DHSI,DMSI分别为提取的HSI和MSI的深层特征;PE表示Patch Embedding操作,其作用是将图像分成多个小块,并将每个小块进行嵌入式编码,从而生成一个向量序列,本质上是对特征图的尺寸进行重塑便于Swin transformer进行特征提取;PU表示Patch Unembed操作,其作用是将经过Patch Embedding编码的图像向量序列还原为原始的图像;RSTB2表示经过了2个RSTB层;得到深层特征后需将特征进行有效融合;
特征融合的过程为:首先,将DHSI和DMSI以相加的方式合并,随后,融合合并的特征得到上采样的高光谱图像与融合图像的空间细节残差,最后,将其注入至光谱保持路径输出的上采样的HSI中,得到融合图像,这个过程表示为:
Sdr=(DHSI+DMSI)+Conv3(PU(RSTB6(PE(DHSI+DMSI))))
F=Sdr+upsample(HSI)
其中,Sdr特征融合模块输出的空间细节残差,F为生成器生成的融合图像;
所述RSTB包括6个STL和3×3卷积层构成,通过STL提取深层次特征,经3×3卷积层增强网络平移不变性,并采用跳跃连接方式,RSTB同时使用了STL和卷积层提取特征,能同时感知特征的局部及全局信息,RSTB计算公式如下:
FRSTB=PE(Conv3(PU(FL)))+F0
其中,Fi为经过了i个STL输出的特征,FSTL为STL特征提取操作,FRSTB为RSTB的输出;
所述STL采用了基于窗口的自注意力机制将输入序列分成若干个相同大小的窗口,然后在各个窗口内进行多头自注意力计算,以获取窗口内元素之间的内在联系,多头自注意力计算为:
{Q,K,V}={XWQ,XWK,XWV}
MSA(X)=Concat(Attention1(X),Attention2(X),…,Attentionh(X))Umsa
其中,X为局部窗口特征,Q,K,V分别为X衍生出的query,key,value矩阵,WQ,WK,WV分别为在不同窗口共享的投影矩阵,P为可学习的相对位置编码,d是特征图的尺寸,Attentioni为第i个头的计算的注意力,Concat为拼接操作,为用于特征聚合的映射矩阵;
每个窗口内还进行了步长为窗口大小一半的平移操作,以增加窗口之间的重叠部分,Swin Transformer的计算表示为:
其中,Zl-1为输入的特征,Zl为输出的特征;
S3、基于卷积神经网络结构构建鉴别器网络;鉴别器网络结构使用卷积层、LeakyReLU激活层,归一化层和Sigmoid层;
S4、利用Adam优化算法对基于Swin Transformer和CNN的生成对抗网络的生成器和鉴别器网络进行交替训练,训练过程中生成器采用一种结合了内容损失、空间梯度损失、光谱梯度损失和对抗损失的生产器损失函数进行训练,生成一个充分训练的网络模型;
其中,生成器损失函数的表达式为:
LossGen=Conloss+SpaGradloss+SpeGradloss+Advloss
式中,Conloss为内容损失,SpaGradloss为空间梯度损失,SpeGradloss为光谱梯度损失,Advloss为对抗损失;
内容损失的表达式为:
其中,Gen为生成器生成的图像,Real为真实图像,N为像素总数,H,W,B为图像的高度,宽度和波段数;
空间梯度损失函数的表达式为:
其中,分别为水平和竖直梯度算子;
光谱梯度损失函数的表达式为:
其中,为光谱梯度算子;
对抗损失函数的表达式为:
其中,为生成图像被鉴别器判断为真实图像的概率,N为训练过程中每个批次的样本组数;
鉴别器损失函数的表达式为:
S5、将待融合的高光谱与多光谱遥感图像输入至S4步骤中得到的网络模型中,生成同时具有高空间分辨率和高光谱分辨率的遥感图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310730516.0A CN116468645B (zh) | 2023-06-20 | 2023-06-20 | 一种对抗性高光谱多光谱遥感融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310730516.0A CN116468645B (zh) | 2023-06-20 | 2023-06-20 | 一种对抗性高光谱多光谱遥感融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116468645A CN116468645A (zh) | 2023-07-21 |
CN116468645B true CN116468645B (zh) | 2023-09-15 |
Family
ID=87177456
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310730516.0A Active CN116468645B (zh) | 2023-06-20 | 2023-06-20 | 一种对抗性高光谱多光谱遥感融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116468645B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117314757B (zh) * | 2023-11-30 | 2024-02-09 | 湖南大学 | 一种空谱频多域融合的高光谱计算成像方法、***及介质 |
CN117726916B (zh) * | 2024-02-18 | 2024-04-19 | 电子科技大学 | 一种图像分辨率融合增强的隐式融合方法 |
CN117934978B (zh) * | 2024-03-22 | 2024-06-11 | 安徽大学 | 一种基于对抗学习的高光谱和激光雷达多层融合分类方法 |
CN118229554A (zh) * | 2024-05-22 | 2024-06-21 | 西安电子科技大学杭州研究院 | 隐式Transformer高-多光谱遥感融合方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109614996A (zh) * | 2018-11-28 | 2019-04-12 | 桂林电子科技大学 | 基于生成对抗网络的弱可见光与红外图像融合的识别方法 |
CN111340743A (zh) * | 2020-02-18 | 2020-06-26 | 云南大学 | 一种半监督多光谱和全色遥感图像融合方法和*** |
CN111429349A (zh) * | 2020-03-23 | 2020-07-17 | 西安电子科技大学 | 基于光谱约束对抗网络的高光谱图像超分辨率方法 |
CN115018750A (zh) * | 2022-08-08 | 2022-09-06 | 湖南大学 | 中波红外高光谱及多光谱图像融合方法、***及介质 |
CN115222636A (zh) * | 2022-07-18 | 2022-10-21 | 吉林大学 | 一种基于生成对抗网络的多损失函数的遥感图像融合方法 |
CN115565045A (zh) * | 2022-10-26 | 2023-01-03 | 深圳大学 | 基于多尺度空谱变换的高光谱与多光谱图像融合方法 |
-
2023
- 2023-06-20 CN CN202310730516.0A patent/CN116468645B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109614996A (zh) * | 2018-11-28 | 2019-04-12 | 桂林电子科技大学 | 基于生成对抗网络的弱可见光与红外图像融合的识别方法 |
CN111340743A (zh) * | 2020-02-18 | 2020-06-26 | 云南大学 | 一种半监督多光谱和全色遥感图像融合方法和*** |
CN111429349A (zh) * | 2020-03-23 | 2020-07-17 | 西安电子科技大学 | 基于光谱约束对抗网络的高光谱图像超分辨率方法 |
CN115222636A (zh) * | 2022-07-18 | 2022-10-21 | 吉林大学 | 一种基于生成对抗网络的多损失函数的遥感图像融合方法 |
CN115018750A (zh) * | 2022-08-08 | 2022-09-06 | 湖南大学 | 中波红外高光谱及多光谱图像融合方法、***及介质 |
CN115565045A (zh) * | 2022-10-26 | 2023-01-03 | 深圳大学 | 基于多尺度空谱变换的高光谱与多光谱图像融合方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116468645A (zh) | 2023-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116468645B (zh) | 一种对抗性高光谱多光谱遥感融合方法 | |
CN110738697B (zh) | 基于深度学习的单目深度估计方法 | |
CN111784602B (zh) | 一种生成对抗网络用于图像修复的方法 | |
CN108537742B (zh) | 一种基于生成对抗网络的遥感图像全色锐化方法 | |
CN114092330B (zh) | 一种轻量化多尺度的红外图像超分辨率重建方法 | |
CN109584161A (zh) | 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法 | |
CN111860351B (zh) | 一种基于行列自注意力全卷积神经网络的遥感图像鱼塘提取方法 | |
CN109214989A (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
CN104751162A (zh) | 基于卷积神经网络的高光谱遥感数据特征提取方法 | |
CN112561799A (zh) | 一种红外图像超分辨率重建方法 | |
CN108491836A (zh) | 一种自然场景图像中中文文本整体识别方法 | |
CN112686830B (zh) | 基于图像分解的单一深度图的超分辨率方法 | |
CN110930378A (zh) | 基于低数据需求的肺气肿影像处理方法及*** | |
CN115511767A (zh) | 一种自监督学习的多模态图像融合方法及其应用 | |
CN117274760A (zh) | 一种基于多尺度混合变换器的红外与可见光图像融合方法 | |
CN114170286A (zh) | 一种基于无监督深度学习的单目深度估计方法 | |
Li et al. | SOSMaskFuse: An infrared and visible image fusion architecture based on salient object segmentation mask | |
CN116523985B (zh) | 一种结构和纹理特征引导的双编码器图像修复方法 | |
CN117097876B (zh) | 基于神经网络的事件相机图像重建方法 | |
Xie et al. | Dual camera snapshot high-resolution-hyperspectral imaging system with parallel joint optimization via physics-informed learning | |
CN117333750A (zh) | 空间配准与局部全局多尺度的多模态医学图像融合方法 | |
CN117456330A (zh) | 一种基于MSFAF-Net的低照度目标检测方法 | |
CN117314808A (zh) | 一种结合Transformer与CNN双编码器的红外与可见光图像融合方法 | |
CN116137043A (zh) | 一种基于卷积和Transformer的红外图像彩色化方法 | |
CN116309069A (zh) | 一种基于多源融合的星载光谱遥感图像超分辨率重构方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |