CN114254715B - 一种gf-1 wfv卫星影像超分辨率方法、***及应用 - Google Patents

一种gf-1 wfv卫星影像超分辨率方法、***及应用 Download PDF

Info

Publication number
CN114254715B
CN114254715B CN202210195032.6A CN202210195032A CN114254715B CN 114254715 B CN114254715 B CN 114254715B CN 202210195032 A CN202210195032 A CN 202210195032A CN 114254715 B CN114254715 B CN 114254715B
Authority
CN
China
Prior art keywords
resolution
super
1wfv
image
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210195032.6A
Other languages
English (en)
Other versions
CN114254715A (zh
Inventor
刘荣杰
肖艳芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Institute of Oceanography MNR
Original Assignee
First Institute of Oceanography MNR
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Institute of Oceanography MNR filed Critical First Institute of Oceanography MNR
Priority to CN202210195032.6A priority Critical patent/CN114254715B/zh
Publication of CN114254715A publication Critical patent/CN114254715A/zh
Application granted granted Critical
Publication of CN114254715B publication Critical patent/CN114254715B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明属于卫星传感器技术领域，公开了一种GF‑1 WFV卫星影像超分辨率方法、***及应用，基于时空同步的GF‑1 PMS和WFV影像进行GF‑1 WFV影像超分辨率建模，构建基于深层残差卷积神经网络的GF‑1 WFV影像超分辨率模型GFRCAN；在残差模块中引入坐标注意力机制，捕获影像中长距离依赖关系，挖掘影像空间特征；将峰值信噪比PSNR用于网络损失计算，实现超分过程中的影像光谱特征保持；在损失函数中引入SSIM，实现地物细节信息保持；在网络深层特征提取后添加自适应多尺度空间注意力模块AMSA，融合不同尺度特征。实验表明，GFRCAN模型可实现GF‑1 WFV卫星影像的2倍超分辨率。

Description

一种GF-1 WFV卫星影像超分辨率方法、***及应用
技术领域
本发明属于卫星传感器技术领域，尤其涉及一种GF-1 WFV卫星影像超分辨率方法、***、计算机设备、计算机可读存储介质、信息数据处理终端。
背景技术
卫星影像空间分辨率是卫星传感器的重要指标，卫星影像空间分辨率越高其包含的地物形态信息就越丰富，能识别的目标就越小。在实际应用中，往往希望卫星影像同时具有较高的光谱分辨率和空间分辨率，以及较大的幅宽。但是卫星传感器受硬件条件的限制，难以在卫星传感器光谱分辨率、空间分辨率和幅宽同时取得最优，往往是三者的折中。GF-1卫星同时搭载了大幅宽（800 KM）中等分辨率（16m）的WFV（Multispectral Wide Field ofView）传感器和小幅宽（60km）高分辨率的PMS（panchromatic and multispectral）传感器，在硬件上实现了高分辨率和大幅宽的结合。但是受重访周期和幅宽的限制，GF-1数据的应用还是以大幅宽中分辨率的WFV数据为主，未能实现大幅宽与高分辨率的有机结合。因此，如何结合GF-1两个传感器的优势，做到大幅宽和高分辨率的有机结合值得深入研究。
超分辨率（Super-Resolution，SR）是指从低分辨率图像重建出相应的高分辨率图像的过程，是计算机视觉和图像处理的重要组成部分，被广泛应用于医学、数字多媒体、安全监控、遥感遥测等领域。其中，遥感遥测是图像超分辨率技术应用的重要领域，超分辨率技术被广泛应用于卫星影像空间分辨率的提升。因此，可以通过超分辨技术提升GF-1 WFV的空间分辨率以实现大幅宽和高分辨率的目标。但是，目前还没有关于GF-1 WFV卫星影像超分辨率的研究。针对普通RGB图像超分辨率，研究人员提出了大量超分辨率方法。但是不同于RGB图像，卫星影像包含丰富的光谱和空间信息，因此面向普通RGB图像的超分辨方法无法应用于卫星影像。而目前针对Landsat、Sentinel等卫星影像的超分辨率方法由于传感器的差异，也无法应用于GF-1 WFV卫星影像。因此，需要发展面向GF-1 WFV影像的超分辨率方法。
通过上述分析，现有技术存在的问题及缺陷为：
（1）受重访周期和幅宽的限制，GF-1数据的应用还是以大幅宽中分辨率的WFV数据为主，未能实现大幅宽与高分辨率的有机结合。
（2）目前还没有关于GF-1 WFV卫星影像超分辨率的研究。
（3）目前针对普通RGB图像和其他卫星影像的超分辨率方法由于传感器的差异，无法应用于GF-1 WFV卫星影像。
解决以上问题及缺陷的难度为：卫星影像超分辨率过程中空间和光谱信息的保持是卫星影像超分辨率的难点，超分辨率后的影像往往存在光谱失真和空间结构变形的现象。
解决以上问题及缺陷的意义为：不同于普通的RGB图像，卫星影像包含丰富的光谱和空间信息，而这些光谱和空间信息是卫星影像地物分类和识别的主要依据。超分辨率后的卫星影像空间信息和光谱信息的保持效果直接影响到超分辨影像的后续应用，例如目标识别、地物分类等。因此，超分辨率过程中地物光谱和空间信息的保持尤为重要。
发明内容
为克服相关技术中存在的问题，本发明公开实施例提供了一种GF-1 WFV卫星影像超分辨率方法、***、计算机设备、计算机可读存储介质、信息数据处理终端。所述技术方案如下：
本发明是这样实现的，一种GF-1 WFV卫星影像超分辨率方法，所述GF-1 WFV卫星影像超分辨率方法包括：
基于时空同步的GF-1 PMS和WFV影像，进行GF-1 WFV影像超分辨率分析，构建基于深层残差卷积神经网络的GF-1 WFV影像超分辨率模型；
所述基于深层残差卷积神经网络的GF-1 WFV影像超分辨率模型在残差模块中引入坐标注意力机制，用于捕获影像中长距离依赖关系，挖掘影像空间特征；将峰值信噪比PSNR用于网络的损失计算，以实现超分过程中的影像光谱特征保持；在损失函数中引入SSIM，以实现地物细节信息的保持；在网络深层特征提取后添加自适应多尺度空间注意力模块AMSA，以融合不同尺度特征。
其中，所述长距离依赖关系包括地物空间结构和边缘。
在一个实施例中，所述GF-1 WFV卫星影像超分辨率方法包括以下步骤：
步骤一，构建面向GF-1 WFV影像的超分辨率深层卷积网络GFRCAN；
步骤二，设计残差坐标注意力模块RCOAB（residual coordinate attentionblock）；
步骤三，提出自适应多尺度空间注意力模块AMSA（adaptive multi-scalespatial attention module）；
步骤四，将结构相似性SSIM（structural similarity index）、峰值信噪比PSNR（peak signal-to-noise ratio）用于网络的损失计算。
在一个实施例中，所述步骤一中的面向GF-1 WFV影像的超分辨率深层卷积网络GFRCAN由浅层特征提取层、深度特征提取层、上采样层以及多尺度特征重构层组成。
其中，所述浅层特征提取层由一个3×3的卷积组成；所述深度特征提取层由若干残差组以及长跳跃连接组成；每个残差组包含若干个残差坐标注意力模块RCOAB以及一个短跳跃连接组成；经过深度特征提取后，特征图由一个上采样模块生成初步的超分辨率特征图；经过自适应多尺度空间注意力注意模块AMSA以及一个3×3的卷积生成最终的超分辨率重构图。
在一个实施例中，所述步骤二中的设计残差坐标注意力模块RCOAB包括：
设计残差坐标注意力模块，通过残差连接将影像的低频信息直接传递到深层，让网络专注于高频信息的提取；不同于通道注意力模块，坐标注意力在通道注意力中加入位置信息，通过垂直、水平池化等获取特征图通道之间权重信息以及位置权重信息，并将特征图权重与特征图逐像元相乘，生成加权后的特征图。
RCOAB模块中，对模块输入利用两个堆叠的卷积层提取特征；利用坐标注意力模块获取各个特征图的坐标注意力权重，再与对应的特征图相乘，生成经过坐标权重重新加权的特征图；利用一个跳跃连接将低频信息直接传递到深层。
公式表达如下：
Figure 200432DEST_PATH_IMAGE001
；
Figure 999760DEST_PATH_IMAGE002
；
式中，
Figure 585463DEST_PATH_IMAGE003
与
Figure 15307DEST_PATH_IMAGE004
表示第n个RCOAB单元的输入和输出特征图，
Figure 256932DEST_PATH_IMAGE005
表示从
Figure 797635DEST_PATH_IMAGE003
提取的 卷积特征，
Figure 769002DEST_PATH_IMAGE006
表示3×3卷积核，
Figure 697644DEST_PATH_IMAGE007
表示ReLU激活函数；
Figure 223303DEST_PATH_IMAGE008
表示坐标注意力模块，用于 计算每个空间位置的权重；
Figure 770959DEST_PATH_IMAGE009
表示特征图逐像元相乘。
在一个实施例中，所述步骤三中的提出自适应多尺度空间注意力模块AMSA包括：
深层特征提取的特征图利用像素重组（Pixel Shuffle）上采样方法通过卷积和多通道间的重组生成初步的超分辨率特征图，提出自适应多尺度空间注意力模块；所述自适应多尺度空间注意力模块采用不同感受野的空洞卷积获取不同尺度的特征图，并通过网络自学习动态调整不同感受野特征图的权重，将重新加权的特征图组合成果一个特征图矩阵；通过空间注意力模块SAM发现有效信息较丰富的区域，利用空间注意力得到的权重和空洞卷积提取的多尺度特征图对输入特征图进行信息增强。
公式表达如下：
Figure 125061DEST_PATH_IMAGE010
;
Figure 99971DEST_PATH_IMAGE011
;
Figure 909664DEST_PATH_IMAGE012
;
式中，
Figure 261011DEST_PATH_IMAGE013
表示AMSA模块的输入，
Figure 206970DEST_PATH_IMAGE014
表示不同扩张率的空洞卷积；
Figure 946256DEST_PATH_IMAGE015
表示自适应权 重，初始设为0.25，在反向传播过程中进行更新；
Figure 853032DEST_PATH_IMAGE016
表示不同感受野的加权特征图，
Figure 132704DEST_PATH_IMAGE017
表示 拼接后的特征图，
Figure 74115DEST_PATH_IMAGE018
表示空间注意力模块，
Figure 515460DEST_PATH_IMAGE009
表示特征图逐像元相乘，
Figure 909533DEST_PATH_IMAGE019
表示AMSA模 块的输出。
在一个实施例中，所述步骤四中的将SSIM、PSNR用于网络的损失计算包括：
对于具有N个低分-高分样本的训练集，损失函数表达如下：
Figure 727316DEST_PATH_IMAGE020
；
Figure 851130DEST_PATH_IMAGE021
Figure 604322DEST_PATH_IMAGE022
；
其中，
Figure 878833DEST_PATH_IMAGE023
、
Figure 110094DEST_PATH_IMAGE024
是常数，分别为60、100；
Figure 885152DEST_PATH_IMAGE025
、
Figure 137142DEST_PATH_IMAGE026
分别是SSIM和PSNR损失权重，设为1；
Figure 505807DEST_PATH_IMAGE027
表 示训练集中的第
Figure 665392DEST_PATH_IMAGE027
个训练样本；
Figure 435902DEST_PATH_IMAGE028
和
Figure 655531DEST_PATH_IMAGE029
分别表示第
Figure 511492DEST_PATH_IMAGE027
个训练样本的SSIM和PSNR损失 计算结果；
Figure 412452DEST_PATH_IMAGE030
和
Figure 162102DEST_PATH_IMAGE031
分别表示第
Figure 693577DEST_PATH_IMAGE027
个训练样本的SSIM和PSNR计算结果。
本发明的另一目的在于提供一种应用所述的GF-1 WFV卫星影像超分辨率方法的GF-1 WFV卫星影像超分辨率***，所述GF-1 WFV卫星影像超分辨率***包括：
深层卷积网络构建模块，用于构建面向GF-1 WFV影像的超分辨率深层卷积网络GFRCAN；
坐标注意力模块设计模块，用于设计残差坐标注意力模块RCOAB；
空间注意力模块构建模块，用于提出自适应多尺度空间注意力模块AMSA；
损失计算模块，用于将SSIM、PSNR用于网络的损失计算。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
基于时空同步的GF-1 PMS和WFV影像，进行GF-1 WFV影像超分辨率分析，构建基于深层残差卷积神经网络的GF-1 WFV影像超分辨率模型；
所述基于深层残差卷积神经网络的GF-1 WFV影像超分辨率模型在残差模块中引入坐标注意力机制，用于捕获影像中长距离依赖关系，挖掘影像空间特征；将峰值信噪比PSNR用于网络的损失计算，以实现超分过程中的影像光谱特征保持；在损失函数中引入SSIM，以实现地物细节信息的保持；在网络深层特征提取后添加自适应多尺度空间注意力模块AMSA，以融合不同尺度特征。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
基于时空同步的GF-1 PMS和WFV影像，进行GF-1 WFV影像超分辨率分析，构建基于深层残差卷积神经网络的GF-1 WFV影像超分辨率模型；
所述基于深层残差卷积神经网络的GF-1 WFV影像超分辨率模型在残差模块中引入坐标注意力机制，用于捕获影像中长距离依赖关系，挖掘影像空间特征；将峰值信噪比PSNR用于网络的损失计算，以实现超分过程中的影像光谱特征保持；在损失函数中引入SSIM，以实现地物细节信息的保持；在网络深层特征提取后添加自适应多尺度空间注意力模块AMSA，以融合不同尺度特征。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的GF-1 WFV卫星影像超分辨率***。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的GF-1 WFV卫星影像超分辨率方法，基于时空同步的GF-1 PMS和WFV影像，开展GF-1 WFV影像超分辨率研究，发展了基于深层残差卷积神经网络的GF-1 WFV影像超分辨率模型。该模型在残差模块中引入了坐标注意力机制，以捕获影像中长距离依赖关系（比如地物空间结构、边缘等），挖掘影像空间特征；将PSNR用于网络的损失计算，以提高超分辨率光谱的保真性；损失函数引入SSIM，提升模型地物细节特征学习能力；并在网络深层特征提取之后，添加了自适应多尺度空间注意力模块（AMSA），以融合不同尺度的特征，提升影像超分辨率效果。
针对GF-1 WFV影像超分辨率问题，本发明提出了一个深层卷积网络模型GFRCAN，实现了GF-1 WFV影像16m到8m的超分辨率。该模型主要有三个方面的改进：1）不同于RCAN模型，GFRCAN模型在残差模块中引入了坐标注意力机制，可提取更准确的高频特征；2）提出了一个有效的自适应多尺度空间注意力模块（AMSA），可融合不同尺度的特征，提升影像超分辨率质量；3）将SSIM、PSNR用于网络的损失计算，提高了超分辨率影像光谱信息的保真性和地物细节信息保持能力。
当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明的公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本发明实施例提供的GF-1 WFV卫星影像超分辨率方法流程图。
图2是本发明实施例提供的GF-1 WFV卫星影像超分辨率***结构框图；
图中：1、深层卷积网络构建模块；2、坐标注意力模块设计模块；3、空间注意力模块构建模块；4、损失计算模块。
图3是本发明实施例提供的GFRCAN总体架构示意图。
图4是本发明实施例提供的残差坐标注意力模块结构图。
图5是本发明实施例提供的自适应多尺度空间注意力模块结构图。
图6是本发明实施例提供的真值示意图。
图7是本发明实施例提供的RCAN超分辨率结果示意图。
图8是本发明实施例提供的WDSR超分辨率结果示意图。
图9是本发明实施例提供的GFRCAN超分辨率结果示意图。
图10是本发明实施例提供的建筑的超分辨率光谱曲线对比示意图。
图11是本发明实施例提供的云的超分辨率光谱曲线对比示意图。
图12是本发明实施例提供的植被的超分辨率光谱曲线对比示意图。
图13是本发明实施例提供的真值示意图。
图14是本发明实施例提供的RCAN超分辨率结果示意图。
图15是本发明实施例提供的WDSR超分辨率结果示意图。
图16是本发明实施例提供的GFRCAN超分辨率结果示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
针对现有技术存在的问题，本发明提供了一种GF-1 WFV卫星影像超分辨率方法及***，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的GF-1 WFV卫星影像超分辨率方法包括以下步骤：
S101，构建面向GF-1 WFV影像的超分辨率深层卷积网络GFRCAN；
S102，设计残差坐标注意力模块RCOAB；
S103，提出自适应多尺度空间注意力模块AMSA；
S104，将SSIM、PSNR用于网络的损失计算。
如图2所示，本发明实施例提供的GF-1 WFV卫星影像超分辨率***包括：
深层卷积网络构建模块1，用于构建面向GF-1 WFV影像的超分辨率深层卷积网络GFRCAN；
坐标注意力模块设计模块2，用于设计残差坐标注意力模块RCOAB；
空间注意力模块构建模块3，用于提出自适应多尺度空间注意力模块AMSA；
损失计算模块4，用于将SSIM、PSNR用于网络的损失计算。
下面结合具体实施例对本发明的技术方案作进一步描述。
1、本发明基于时空同步的GF-1 PMS和WFV影像，开展GF-1 WFV影像超分辨率研究，发展了基于深层残差卷积神经网络的GF-1 WFV影像超分辨率模型。该模型在残差模块中引入了坐标注意力机制，以捕获影像中长距离依赖关系（比如地物空间结构、边缘等），挖掘影像空间特征；将PSNR用于网络的损失计算，以提高超分辨率光谱的保真性；损失函数引入SSIM，提升模型地物细节特征学习能力；并在网络深层特征提取之后，添加了自适应多尺度空间注意力模块（AMSA），以融合不同尺度的特征，提升影像超分辨率效果。模型详细如下：
网络模型：本发明提出的面向GF-1 WFV影像的超分辨率深层卷积网络（GFRCAN）主要由四部分组成：浅层特征提取层，深度特征提取层，上采样层，以及多尺度特征重构层。其中，浅层特征提取层由一个3×3的卷积组成。深度特征提取层由若干个残差组以及长跳跃连接组成。每个残差组包含若干个残差坐标注意力模块（Residual coordinate attentionblock，RCOAB）以及一个短跳跃连接组成。经过深度特征提取之后，特征图由一个上采样模块（Pixel Shuffle）生成初步的超分辨率特征图。最后经过自适应多尺度空间注意力注意模块（AMSA）以及一个3×3的卷积生成最终的超分辨率重构图。GFRCAN总体架构如图3所示。
残差坐标注意力模块（RCOAB）：低分辨率影像具有丰富的低频信息，对于低频信息过多的关注会影响高频信息的提取。为此，本发明设计了残差坐标注意力模块，通过残差连接将影像的低频信息直接传递到深层，让网络专注于高频信息的提取。不同于通道注意力模块，坐标注意力在通道注意力中加入了位置信息，提取每个通道内的坐标权重信息，为特征图重新分配坐标注意力权重，进一步增强了网络大尺度空间特征提取能力。
RCOAB模块结构如图4所示。首先对模块输入利用两个堆叠的卷积层提取特征，然后利用坐标注意力模块获取各个特征图的坐标注意力权重，再与对应的特征图相乘，生成经过坐标权重重新加权的特征图。最后利用一个跳跃连接，将低频信息直接传递到深层。公式表达如下：
Figure 99151DEST_PATH_IMAGE001
；
Figure 863189DEST_PATH_IMAGE002
；
式中，
Figure 342712DEST_PATH_IMAGE003
与
Figure 169722DEST_PATH_IMAGE004
表示第n个RCOAB单元的输入和输出特征图，
Figure 734696DEST_PATH_IMAGE005
表示从
Figure 570934DEST_PATH_IMAGE003
提取的 卷积特征，
Figure 170542DEST_PATH_IMAGE006
表示3×3卷积核，
Figure 168454DEST_PATH_IMAGE007
表示ReLU激活函数；
Figure 220724DEST_PATH_IMAGE008
表示坐标注意力模块，用于 计算每个空间位置的权重；
Figure 798336DEST_PATH_IMAGE009
表示特征图逐像元相乘。
自适应多尺度空间注意力模块（AMSA）：深层特征提取的特征图利用PixelShuffle生成一个初步的超分辨率特征图。为了充分利用该特征图不同尺度的空间信息，本发明提出了自适应多尺度空间注意力模块（见图5）。该模块首先采用不同感受野的空洞卷积获取不同尺度的特征图，并通过网络自学习动态调整不同感受野特征图的权重，将重新加权的特征图拼接在一起。然后，通过空间注意力模块（SAM）发现有效信息较丰富的区域，利用空间注意力得到的权重和空洞卷积提取的多尺度特征图对输入特征图进行信息增强。公式表达如下：
Figure 518030DEST_PATH_IMAGE010
;
Figure 421264DEST_PATH_IMAGE011
;
Figure 288726DEST_PATH_IMAGE012
;
式中，
Figure 810974DEST_PATH_IMAGE013
表示AMSA模块的输入，
Figure 247159DEST_PATH_IMAGE014
表示不同扩张率的空洞卷积；
Figure 196660DEST_PATH_IMAGE015
表示自适应权 重，初始设为0.25，在反向传播过程中进行更新；
Figure 348156DEST_PATH_IMAGE016
表示不同感受野的加权特征图，
Figure 674095DEST_PATH_IMAGE017
表示 拼接后的特征图，
Figure 961857DEST_PATH_IMAGE018
表示空间注意力模块，
Figure 410156DEST_PATH_IMAGE009
表示特征图逐像元相乘，
Figure 924314DEST_PATH_IMAGE019
表示AMSA模 块的输出。
损失函数：为了确保超分后的影像光谱和地物细节信息的保持，本发明将SSIM、PSNR用于网络的损失计算。对于具有N个低分-高分样本的训练集，其损失函数，详细如下：
Figure 912998DEST_PATH_IMAGE020
；
Figure 196212DEST_PATH_IMAGE032
Figure 80992DEST_PATH_IMAGE022
；
其中，
Figure 941500DEST_PATH_IMAGE023
、
Figure 343663DEST_PATH_IMAGE024
是常数，分别为60、100；
Figure 871596DEST_PATH_IMAGE025
、
Figure 947785DEST_PATH_IMAGE026
分别是SSIM和PSNR损失权重，设为1；
Figure 905376DEST_PATH_IMAGE027
表 示训练集中的第
Figure 767022DEST_PATH_IMAGE027
个训练样本；
Figure 87145DEST_PATH_IMAGE028
和
Figure 720251DEST_PATH_IMAGE029
分别表示第
Figure 820931DEST_PATH_IMAGE027
个训练样本的SSIM和PSNR损失 计算结果；
Figure 158372DEST_PATH_IMAGE030
和
Figure 5105DEST_PATH_IMAGE031
分别表示第
Figure 199326DEST_PATH_IMAGE027
个训练样本的SSIM和PSNR计算结果。
2、实验结果与分析
2.1 实验结果
（1）结果
基于所构建的GFRCAN模型开展了GF-1 WFV影像超分辨率实验，并与传统的影像超分辨率模型双线性插值（Bilinear）、双三次插值（Bicubic）、最近邻插值（Nearest_Neighbor）和区域插值（Area），以及深度学***均PSNR可达36.29dB，SSIM为0.932，SAM为1.34°，其中PSNR较RCAN提高了5.54%，SSIM提高了4.25%，SAM提高了17.79%。
另外，从评估结果还可以看出基于深度学习的超分辨率方法超分辨率效果普遍优于传统的插值方法，双线性插值、双三次插值、最近邻插值和区域插值四个传统的超分辨率方法超分辨率评估结果相近，性能较差。三个已有的深度学习方法超分辨率效果相近，其中RCAN和AWSRN评估结果相近，优于WDSR方法。
表1 不通过超分辨率模型超分效果评估结果
Figure 397089DEST_PATH_IMAGE033
除上述定量分析，本发明还从视觉效果上对比了各算法超分辨率效果。通过局部放大图可以看出，本发明所提出的算法具有较好的超分辨率视觉效果，重建后的影像不同类型地物几何形态更为明显，边缘更加清晰，细节信息更丰富，更接近于原始高分辨率影像（见图6~图9、图10~图12）。通过图6~图9还可以发现，RCAN和WDSR对于线状地物的超分辨率重建结果都存在不同程度的模糊、弯曲等失真的表现，而本发明所提出的方法可以保留更多的细节和边缘信息，影像中地物的几何形态更为明显。
不同于普通的RGB图像，卫星影像具有丰富的光谱信息，而卫星光谱信息是地物识别的重要依据。因此，超分辨率的同时保持光谱信息十分重要。为此，本发明选取了建筑、植被、清洁水体、浑浊水体、云等典型地物，提取了上述地物的光谱曲线本发明所研制算法的光谱保真性进行分析。结果显示，本发明所研制的GFRCAN方法具有较好的光谱保真性，不同地物类型超分辨率后的光谱与真实高分辨率影像在光谱形状和各波段值均具有较好的一致性，在光谱保持上的性能优于WDSR和RCAN。特别是对于高亮目标（如建筑、云等）来说，WDSR和RCAN超分辨率后的影像光谱与真实影像光谱差距较大，而我们的方法在高亮目标光谱保持方面具有较大的提升。
（2）消融实验
为了检验残差坐标注意力模块（RCOAB）、自适应多尺度空间注意力注意模块（AMSA）以及损失函数对模型的有效性，本发明对GFRCAN模型进行了消融实验，消融实验结如表2所示。
表2 消融实验结果
Figure 334958DEST_PATH_IMAGE034
由消融实验结果可知，RCOAB、AMSA和损失函数各自对模型均有一定程度的提高，但模型性能提升较小。通过两两组合模型性能会有明显的提升，三个模块组合性能最优。通过三个模块组合，模型PSNR提高了5.5%，SSIM提高了4.3%，光谱角提升最明显，提高了17.8%，充分说明模型的光谱保真性较好。
3、结论
针对GF-1 WFV影像超分辨率问题，本发明提出了一个深层卷积网络模型GFRCAN，实现了GF-1 WFV影像16m到8m的超分辨率。该模型主要有三个方面的改进：1）不同于RCAN模型，GFRCAN模型在残差模块中引入了坐标注意力机制，可提取更准确的高频特征；2）提出了一个有效的自适应多尺度空间注意力模块（AMSA），可融合不同尺度的特征，提升影像超分辨率质量；3）将SSIM、PSNR用于网络的损失计算，提高了超分辨率影像光谱信息的保真性和地物细节信息保持能力。实验结果表明，GFRCAN模型可实现GF-1 WFV 2倍超分辨率，超分后的影像地物几何形态更为明显，边缘更加清晰，细节信息更丰富，且具有较高的光谱保真性，超分性能优于WDSR和RCAN等影像超分辨率模型。
下面结合仿真实验对本发明的技术效果作进一步描述。
本发明利用2020年1月-5月山东半岛周边时空同步的35景GF-1 PMS影像和19景GF-1WFV影像进行了模型训练和评估。上述影像地物类型丰富，既包括陆地又包含海洋。具体地物类型包括建筑、林地、耕地、内陆水体、海洋水体、云等。
实验结果表明，GFRCAN模型可实现GF-1 WFV 2倍超分辨率，各超分性能评估指标均优于现有超分辨模型（见表1）；超分后的影像地物几何形态更为明显，边缘更加清晰，细节信息更丰富，线状地物无模糊和形变现象（见图15~图16），且超分后的影像具有较高的光谱保真性，光谱保真性能优于WDSR和RCAN等影像超分辨率模型（见图12~图14）。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种GF-1WFV卫星影像超分辨率方法，其特征在于，所述GF-1WFV卫星影像超分辨率方法包括：
基于时空同步的GF-1PMS和WFV影像，进行GF-1WFV影像超分辨率分析，构建基于深层残差卷积神经网络的GF-1WFV影像超分辨率模型；
所述基于深层残差卷积神经网络的GF-1WFV影像超分辨率模型在残差模块中引入坐标注意力机制，用于捕获影像中长距离依赖关系，挖掘影像空间特征；将峰值信噪比PSNR用于网络的损失计算，以实现超分过程中的影像光谱特征保持；在损失函数中引入SSIM，以实现地物细节信息的保持；在网络深层特征提取后添加自适应多尺度空间注意力模块AMSA，以融合不同尺度特征；
其中，所述长距离依赖关系包括地物空间结构和边缘；
所述GF-1WFV卫星影像超分辨率方法包括以下步骤：
步骤一，构建面向GF-1WFV影像的超分辨率深层卷积网络GFRCAN；面向GF-1WFV影像的超分辨率深层卷积网络GFRCAN由浅层特征提取层、深度特征提取层、上采样层以及多尺度特征重构层组成；其中，所述浅层特征提取层由一个3×3的卷积组成；所述深度特征提取层由若干残差组以及长跳跃连接组成；每个残差组包含若干个残差坐标注意力模块RCOAB以及一个短跳跃连接组成；经过深度特征提取后，特征图由一个上采样模块生成初步的超分辨率特征图；经过自适应多尺度空间注意力注意模块AMSA以及一个3×3的卷积生成最终的超分辨率重构图；
步骤二，设计残差坐标注意力模块RCOAB；
步骤三，提出自适应多尺度空间注意力模块AMSA；
步骤四，将结构相似性SSIM和峰值信噪比PSNR用于网络的损失计算；
其中，所述步骤三中的提出自适应多尺度空间注意力模块AMSA包括：所述自适应多尺度空间注意力模块采用不同感受野的空洞卷积获取不同尺度的特征图，并通过网络自学习动态调整不同感受野特征图的权重，将重新加权的特征图进行拼接；通过空间注意力模块SAM发现有效信息丰富的区域，利用空间注意力得到的权重和空洞卷积提取的多尺度特征图对输入特征图进行信息增强；
公式表达如下：
Fi＝λi·fi(Fin)；i＝0,1,2,3；
FC＝[F0,F1,F2,F3]；
Fout＝Fin+FC⊙HSAM(FC)；
式中，Fin表示AMSA模块的输入，fi表示不同扩张率的空洞卷积；λi表示自适应权重，初始设为0.25，在反向传播过程中进行更新；Fi表示不同感受野的加权特征图，FC表示拼接后的特征图，HSAM表示空间注意力模块，⊙表示特征图逐像元相乘，Fout表示AMSA模块的输出；
所述步骤四中的将SSIM、PSNR用于网络的损失计算包括：
对于具有N个低分-高分样本的训练集，损失函数表达如下：
Figure FDA0003612358060000021
Figure FDA0003612358060000022
Figure FDA0003612358060000023
其中，T、Ψ是常数，分别为60、100；λ、γ分别是SSIM和PSNR损失权重，设为1；i表示训练集中的第i个训练样本；
Figure FDA0003612358060000024
和
Figure FDA0003612358060000025
分别表示第i个训练样本的SSIM和PSNR损失计算结果；SSIMi和PSNRi分别表示第i个训练样本的SSIM和PSNR计算结果。
2.如权利要求1所述GF-1WFV卫星影像超分辨率方法，其特征在于，所述步骤二中的设计残差坐标注意力模块RCOAB包括：
设计残差坐标注意力模块，通过残差连接将影像的低频信息直接传递到深层，让网络专注于高频信息的提取；不同于通道注意力模块，坐标注意力在通道注意力中加入位置信息，提取每个通道内的坐标权重信息，为特征图重新分配坐标注意力权重；
RCOAB模块中，对模块输入利用两个堆叠的卷积层提取特征；利用坐标注意力模块获取各个特征图的坐标注意力权重，再与对应的特征图相乘，生成经过坐标权重重新加权的特征图，并利用跳跃连接将低频信息直接传递到深层；
公式表达如下：
Fn＝f3×3(σ(f3×3(xn)))；
xn+1＝xn+Fn⊙HCOA(Fn)；
式中，xn与xn+1表示第n个RCOAB单元的输入和输出特征图，Fn表示从xn提取的卷积特征，f3×3表示3×3卷积核，σ表示ReLU激活函数；HCOA表示坐标注意力模块，用于计算每个空间位置的权重；⊙表示特征图逐像元相乘。
3.一种应用如权利要求1～2任意一项所述的GF-1WFV卫星影像超分辨率方法的GF-1WFV卫星影像超分辨率***，其特征在于，所述GF-1WFV卫星影像超分辨率***包括：
深层卷积网络构建模块，用于构建面向GF-1WFV影像的超分辨率深层卷积网络GFRCAN；
坐标注意力模块设计模块，用于设计残差坐标注意力模块RCOAB；
空间注意力模块构建模块，用于提出自适应多尺度空间注意力模块AMSA；
损失计算模块，用于将SSIM、PSNR用于网络的损失计算。
4.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
基于时空同步的GF-1PMS和WFV影像，进行GF-1WFV影像超分辨率分析，构建基于深层残差卷积神经网络的GF-1WFV影像超分辨率模型；
所述基于深层残差卷积神经网络的GF-1WFV影像超分辨率模型在残差模块中引入坐标注意力机制，用于捕获影像中长距离依赖关系，挖掘影像空间特征；将峰值信噪比PSNR用于网络的损失计算，以实现超分过程中的影像光谱特征保持；在损失函数中引入SSIM，以实现地物细节信息的保持；在网络深层特征提取后添加自适应多尺度空间注意力模块AMSA，以融合不同尺度特征；
其中，所述长距离依赖关系包括地物空间结构和边缘；
所述GF-1WFV卫星影像超分辨率方法包括以下步骤：
步骤一，构建面向GF-1WFV影像的超分辨率深层卷积网络GFRCAN；面向GF-1WFV影像的超分辨率深层卷积网络GFRCAN由浅层特征提取层、深度特征提取层、上采样层以及多尺度特征重构层组成；其中，所述浅层特征提取层由一个3×3的卷积组成；所述深度特征提取层由若干残差组以及长跳跃连接组成；每个残差组包含若干个残差坐标注意力模块RCOAB以及一个短跳跃连接组成；经过深度特征提取后，特征图由一个上采样模块生成初步的超分辨率特征图；经过自适应多尺度空间注意力注意模块AMSA以及一个3×3的卷积生成最终的超分辨率重构图；
步骤二，设计残差坐标注意力模块RCOAB；
步骤三，提出自适应多尺度空间注意力模块AMSA；
步骤四，将结构相似性SSIM和峰值信噪比PSNR用于网络的损失计算；
其中，所述步骤三中的提出自适应多尺度空间注意力模块AMSA包括：所述自适应多尺度空间注意力模块采用不同感受野的空洞卷积获取不同尺度的特征图，并通过网络自学习动态调整不同感受野特征图的权重，将重新加权的特征图进行拼接；通过空间注意力模块SAM发现有效信息丰富的区域，利用空间注意力得到的权重和空洞卷积提取的多尺度特征图对输入特征图进行信息增强；
公式表达如下：
Fi＝λi·fi(Fin)；i＝0,1,2,3；
FC＝[F0,F1,F2,F3]；
Fout＝Fin+FC⊙HSAM(FC)；
式中，Fin表示AMSA模块的输入，fi表示不同扩张率的空洞卷积；λi表示自适应权重，初始设为0.25，在反向传播过程中进行更新；Fi表示不同感受野的加权特征图，FC表示拼接后的特征图，HSAM表示空间注意力模块，⊙表示特征图逐像元相乘，Fout表示AMSA模块的输出；
所述步骤四中的将SSIM、PSNR用于网络的损失计算包括：
对于具有N个低分-高分样本的训练集，损失函数表达如下：
Figure FDA0003612358060000051
Figure FDA0003612358060000052
Figure FDA0003612358060000053
其中，T、Ψ是常数，分别为60、100；λ、γ分别是SSIM和PSNR损失权重，设为1；i表示训练集中的第i个训练样本；
Figure FDA0003612358060000054
和
Figure FDA0003612358060000055
分别表示第i个训练样本的SSIM和PSNR损失计算结果；SSIMi和PSNRi分别表示第i个训练样本的SSIM和PSNR计算结果。
5.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
基于时空同步的GF-1PMS和WFV影像，进行GF-1WFV影像超分辨率分析，构建基于深层残差卷积神经网络的GF-1WFV影像超分辨率模型；
所述基于深层残差卷积神经网络的GF-1WFV影像超分辨率模型在残差模块中引入坐标注意力机制，用于捕获影像中长距离依赖关系，挖掘影像空间特征；将峰值信噪比PSNR用于网络的损失计算，以实现超分过程中的影像光谱特征保持；在损失函数中引入SSIM，以实现地物细节信息的保持；在网络深层特征提取后添加自适应多尺度空间注意力模块AMSA，以融合不同尺度特征；
其中，所述长距离依赖关系包括地物空间结构和边缘；
所述GF-1WFV卫星影像超分辨率方法包括以下步骤：
步骤一，构建面向GF-1WFV影像的超分辨率深层卷积网络GFRCAN；面向GF-1WFV影像的超分辨率深层卷积网络GFRCAN由浅层特征提取层、深度特征提取层、上采样层以及多尺度特征重构层组成；其中，所述浅层特征提取层由一个3×3的卷积组成；所述深度特征提取层由若干残差组以及长跳跃连接组成；每个残差组包含若干个残差坐标注意力模块RCOAB以及一个短跳跃连接组成；经过深度特征提取后，特征图由一个上采样模块生成初步的超分辨率特征图；经过自适应多尺度空间注意力注意模块AMSA以及一个3×3的卷积生成最终的超分辨率重构图；
步骤二，设计残差坐标注意力模块RCOAB；
步骤三，提出自适应多尺度空间注意力模块AMSA；
步骤四，将结构相似性SSIM和峰值信噪比PSNR用于网络的损失计算；
其中，所述步骤三中的提出自适应多尺度空间注意力模块AMSA包括：所述自适应多尺度空间注意力模块采用不同感受野的空洞卷积获取不同尺度的特征图，并通过网络自学习动态调整不同感受野特征图的权重，将重新加权的特征图进行拼接；通过空间注意力模块SAM发现有效信息丰富的区域，利用空间注意力得到的权重和空洞卷积提取的多尺度特征图对输入特征图进行信息增强；
公式表达如下：
Fi＝λi·fi(Fin)；i＝0,1,2,3；
FC＝[F0,F1,F2,F3]；
Fout＝Fin+FC⊙HSAM(FC)；
式中，Fin表示AMSA模块的输入，fi表示不同扩张率的空洞卷积；λi表示自适应权重，初始设为0.25，在反向传播过程中进行更新；Fi表示不同感受野的加权特征图，FC表示拼接后的特征图，HSAM表示空间注意力模块，⊙表示特征图逐像元相乘，Fout表示AMSA模块的输出；
所述步骤四中的将SSIM、PSNR用于网络的损失计算包括：
对于具有N个低分-高分样本的训练集，损失函数表达如下：
Figure FDA0003612358060000061
Figure FDA0003612358060000062
Figure FDA0003612358060000063
其中，T、Ψ是常数，分别为60、100；λ、γ分别是SSIM和PSNR损失权重，设为1；i表示训练集中的第i个训练样本；
Figure FDA0003612358060000071
和
Figure FDA0003612358060000072
分别表示第i个训练样本的SSIM和PSNR损失计算结果；SSIMi和PSNRi分别表示第i个训练样本的SSIM和PSNR计算结果。
6.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求3所述的GF-1WFV卫星影像超分辨率***。
CN202210195032.6A 2022-03-02 2022-03-02 一种gf-1 wfv卫星影像超分辨率方法、***及应用 Active CN114254715B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210195032.6A CN114254715B (zh) 2022-03-02 2022-03-02 一种gf-1 wfv卫星影像超分辨率方法、***及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210195032.6A CN114254715B (zh) 2022-03-02 2022-03-02 一种gf-1 wfv卫星影像超分辨率方法、***及应用

Publications (2)

Publication Number Publication Date
CN114254715A CN114254715A (zh) 2022-03-29
CN114254715B true CN114254715B (zh) 2022-06-03

Family

ID=80797266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210195032.6A Active CN114254715B (zh) 2022-03-02 2022-03-02 一种gf-1 wfv卫星影像超分辨率方法、***及应用

Country Status (1)

Country Link
CN (1) CN114254715B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019174B (zh) * 2022-06-10 2023-06-16 西安电子科技大学 基于像素重组和注意力的上采样遥感图像目标识别方法
CN115578260B (zh) * 2022-10-08 2023-07-25 苏州大学 针对图像超分辨率的方向解耦的注意力方法和***
CN115861745B (zh) * 2022-10-25 2023-06-06 中国交通信息科技集团有限公司 一种用于生成三维模型的二维图像特征提取方法与***
CN116721243B (zh) * 2023-08-11 2023-11-28 自然资源部第一海洋研究所 一种空谱特征约束的深度学习大气校正方法及***
CN117437123B (zh) * 2023-09-27 2024-07-19 宁波大学 一种光谱与纹理注意力融合的深度光谱超分辨率方法
CN117391958B (zh) * 2023-12-07 2024-03-08 临沂大学 一种基于多路径聚合Transformer的卫星云图超分辨率重建方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932471A (zh) * 2020-07-24 2020-11-13 山西大学 用于低照度图像增强的双路曝光度融合网络模型及方法
CN113837275A (zh) * 2021-09-24 2021-12-24 南京邮电大学 基于扩张坐标注意力的改进YOLOv3目标检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805814B (zh) * 2018-06-07 2020-05-19 西安电子科技大学 基于多频段深度卷积神经网络的图像超分辨重建方法
CN110070511B (zh) * 2019-04-30 2022-01-28 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质
CN112419155B (zh) * 2020-11-26 2022-04-15 武汉大学 一种全极化合成孔径雷达影像超分辨率重建方法
CN112733693B (zh) * 2021-01-04 2022-08-05 武汉大学 一种全局感知高分辨率遥感影像多尺度残差道路提取方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932471A (zh) * 2020-07-24 2020-11-13 山西大学 用于低照度图像增强的双路曝光度融合网络模型及方法
CN113837275A (zh) * 2021-09-24 2021-12-24 南京邮电大学 基于扩张坐标注意力的改进YOLOv3目标检测方法

Also Published As

Publication number Publication date
CN114254715A (zh) 2022-03-29

Similar Documents

Publication Publication Date Title
CN114254715B (zh) 一种gf-1 wfv卫星影像超分辨率方法、***及应用
Zhang et al. Remote sensing image spatiotemporal fusion using a generative adversarial network
CN111932457B (zh) 遥感影像高时空融合处理算法及装置
CN108830796B (zh) 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法
Tu et al. SWCGAN: Generative adversarial network combining swin transformer and CNN for remote sensing image super-resolution
Chen et al. MICU: Image super-resolution via multi-level information compensation and U-net
CN116309070A (zh) 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备
CN113538234A (zh) 基于轻量化生成模型的遥感图像超分辨率重建方法
CN113313180A (zh) 一种基于深度对抗学习的遥感图像语义分割方法
CN116258976A (zh) 一种分层次Transformer的高分辨率遥感图像语义分割方法及***
Li et al. HS2P: Hierarchical spectral and structure-preserving fusion network for multimodal remote sensing image cloud and shadow removal
CN115760814A (zh) 一种基于双耦合深度神经网络的遥感图像融合方法及***
CN117058367A (zh) 高分辨率遥感影像建筑物语义分割方法及装置
Ping et al. Applications of deep learning-based super-resolution for sea surface temperature reconstruction
CN117454116A (zh) 一种基于多源数据交互网络的地面碳排放监测方法
CN116612010A (zh) 基于光谱相关信息和空间高低频信息的超分辨率图像重建方法
CN114140357A (zh) 一种基于协同注意力机制的多时相遥感图像云区重建方法
Ma et al. Feature-enhanced deep learning network for digital elevation model super-resolution
CN110751699B (zh) 基于卷积神经网络的光学遥感图像的色彩重建方法
Zhao et al. Multi-stream deep residual network for cloud imputation using multi-resolution remote sensing imagery
CN115689941A (zh) 一种跨域生成对抗的sar影像补偿方法及计算机可读介质
CN115797181A (zh) 一种面向矿井模糊环境的图像超分辨率重建方法
CN116958800A (zh) 基于层次注意力残差UNet++的遥感影像变化检测方法
CN113191947B (zh) 一种图像超分辨率的方法及***
Liu et al. Hyperspectral image super-resolution employing nonlocal block and hybrid multiscale three-dimensional convolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant