CN116309070A - 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备 - Google Patents

一种高光谱遥感图像超分辨率重建方法、装置及计算机设备 Download PDF

Info

Publication number
CN116309070A
CN116309070A CN202310298937.0A CN202310298937A CN116309070A CN 116309070 A CN116309070 A CN 116309070A CN 202310298937 A CN202310298937 A CN 202310298937A CN 116309070 A CN116309070 A CN 116309070A
Authority
CN
China
Prior art keywords
image
resolution
layer
super
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310298937.0A
Other languages
English (en)
Inventor
张倩
左世祥
张晓锋
李志军
金箑
余娟
唐冬梅
王炳乾
陈建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aba Natural Resources And Science And Technology Information Research Institute
Original Assignee
Aba Natural Resources And Science And Technology Information Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aba Natural Resources And Science And Technology Information Research Institute filed Critical Aba Natural Resources And Science And Technology Information Research Institute
Priority to CN202310298937.0A priority Critical patent/CN116309070A/zh
Publication of CN116309070A publication Critical patent/CN116309070A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种高光谱遥感图像超分辨率重建方法、装置及计算机设备，涉及图像超分辨率重建技术领域。所述方法是先将多个低分辨率影像作为输入项，以及将多个高分辨率影像作为输出项，导入包括有线性嵌入层、依次连接的K个残差组块、合并层、上采样层、全域跳跃连接和反嵌入层的光谱‑空间Transformer模型进行训练，得到图像超分辨率重建模型，然后将待重建的且低分辨率的高光谱遥感图像输入所述图像超分辨率重建模型，输出得到高分辨率的高光谱遥感图像，并通过分别提取输入影像的空间特征与光谱特征，以及将二者相集成用于高光谱遥感影像的超分辨率重建，可以避免依赖CNN，并通过实验对比发现超分效果有了很大提升。

Description

一种高光谱遥感图像超分辨率重建方法、装置及计算机设备
技术领域
本发明属于图像超分辨率重建技术领域，具体涉及一种高光谱遥感图像超分辨率重建方法、装置及计算机设备。
背景技术
高光谱遥感图像(HyperspectralImages，HSI)是由机载或卫星平台上的传感器捕获的数字图像，这些传感器测量地球表面在多个狭窄且连续的波段中的电磁波反射，从而产生高光谱分辨率数据。从这些图像中收集的信息提供了有关地面物体的化学和物理特性的详细信息，从而可以对不同地面物体进行准确分类和识别。高光谱遥感图像应用广泛，例如矿产勘探(Govilet al.，2021；Bedini，2017)、农业(Nguyenet al.，2021；Zhang et al.，2016)、城市规划(Navinet al.，2020；Weber et al.，2018)和环境监测(Stuartet al.，2021；Niu et al.，2019)等。由于传感器、摄影高度、成本等因素，高光谱遥感图像不得不牺牲空间分辨率来追求更为详细的光谱分辨率(Fu et al.，2021)，这对高光谱遥感图像的应用造成了很大的困难，因此，如何在保持光谱分辨率的同时提升空间分辨率是一个极具挑战性的问题。
图像超分辨率(Super-resolution，SR)重建是解决上述问题的理想方法。图像超分辨率的目标是从低分辨率输入图像生成高分辨率图像，这通常是通过使用来自低分辨率图像的信息以及来自先验知识或其他来源的附加信息来合成高分辨率图像中丢失的高频细节来完成的。根据处理过程中输入图像数量差异，图像超分辨率可以分为多图像超分辨率(Dian et al.，2021；Li et al.，2018)与单图像超分辨率(Jiang et al.，2020)。多图像超分辨率一般采用融合的方法实现，即使用高分辨率全色图像或多光谱图像来提高低分辨率高光谱图像的空间分辨率。近年来研究学者提出了许多新颖的算法来实现这一目标，例如：采用渐进多尺度可变形残差网络对多张图像进行超分辨率处理(Liu et al.，2022a)；采用端到端的深度神经网络进行多图像超分任务(Arefinet al.，2020)。这些工作对于进一步推进多图像超分辨率技术的发展具有重要意义。但是，多图像超分辨方法存在明显的缺陷，即处理的过程中必须输入高分辨率的辅助影像，在难以获得辅助图像的情况下，多图像超分辨率将难以发挥作用。另外，多图像超分辨率的处理过程也会耗费更多的计算机资源与时间成本(Liet al.，2020；Chen et al.，2022)。
单图像超分辨率(Single Image Super-Resolution，SISR)是一种通过对低分辨率图像进行插值和恢复算法，从而生成高分辨率图像的技术。由于它不受限于辅助影像，因此被更广泛的使用。SISR是计算机视觉领域的一个热门研究方向，可以应用于多种场景，如视频处理(Liuet al.，2022)、医疗图像处理(Chen et al.，2021b)、卫星图像处理(Zhangetal.，2020；Haut et al.，2018)等。其基本流程包括图像预处理、特征提取、高分辨率图像生成和后处理。目前，SISR的主流算法包括基于插值的方法(Park et al.，2003)、基于重建的方法(Iraniet al.，1991)、基于深度学***衡两阶段残差网络(Fanet al.，2017)、滑动窗口Transformer影像重建模型(Swin transformer for image restoration model，SwinIR；Lianget al.，2021)等，这些模型可以学习低分辨率图像和高分辨率图像之间的映射关系，从而实现高分辨率图像的生成。在这些方法中，基于CNN的模型在图像超分领域取得了不错的效果，但因其算法自身的原因在该项任务中存在着明显的缺陷，首先是使用相同的卷积核对不同的图像区域进行卷积不适用于图像超分任务；其次是卷积核往往提取的是局部特征，这不能满足超分对处理大范围特征的模型需求。基于GAN的方法在超分领域同样表现优异，但是它存在训练过程不稳定，且需要大量的计算资源与时间，不适合于小型团队或个人使用(Chaiet al.，2022)。
Transformer(Vaswaniet al.，2017)是一种基于自注意力机制的神经网络模型，最初在自然语言处理领域中应用广泛，例如机器翻译(Vaswani et al.，2017)、文本生成(Zhu et al.，2019；Gonget al.，2019；Dong et al.，2017)等任务。与传统的循环神经网络(Recurrent Neural Networks，RNN；Hochreiter et al.，1997)或卷积神经网络(CNN)不同，Transformer不需要通过循环或卷积来处理序列，而是通过自注意力机制来对序列中的元素进行加权聚合，从而实现序列到序列的建模。近年来，Transformer在图像分类(Dosovitskiyet al.，2021；Touvronet al.，2021)、目标检测(Carionet al.，2020)、图像重建(Chenet al.，2021b)和图像分割(Chen et al.，2021a)等领域中也表现出了非常出色的性能。在图像超分领域，(Liuet al.，2018)通过学习纹理特征开辟了Transformer在图像超分领域的先河，高效超分辨率Transformer(Lu et al.，2022)、SwinIR等算法也先后取得了令人惊奇的效果。然而，包括我们在内的许多学者都认为传统的深度学习超分辨率方法不能直接用于高光谱遥感影像(Liu et al.，2022b；Hu et al.，2022；Tu et al.，2022；Leiet al.，2021)。这是因为普通图像只有红、绿、蓝3个颜色波段，所以这些方法往往更加关注于像元之间的特征提取，而遥感影像的波段数目可达上百个，这使得通道间的相互作用变得极为重要且不可忽视，更多的波段数据增加了遥感影像超分的任务内容，同时多个光谱通道之间的关系对于影像超分本身具有促进作用，因为它所涵盖的信息更丰富，所能提取的特征也更多。为解决上述问题，(Jianget al.，2020)采用CNN进行空间光谱先验学习进行高光谱影像的超分；(Liuet al.，2022b)采用CNN结合Transformer的方法，对遥感影像的空间特征与光谱特征进行交互式提取进行高光谱影像的超分。虽然这些方法考虑到了遥感影像的光谱特征提取，但他们仍是完全基于CNN或对CNN有严重依赖，且其超分效果也具有一定的提升空间。
发明内容
本发明的目的是提供一种高光谱遥感图像超分辨率重建方法、装置、计算机设备及计算机可读存储介质，用以解决现有单图像超分辨率重建技术在应用于高光谱遥感图像时所存在完全基于CNN或对CNN有严重依赖，使得其超分效果有待提升的问题。
为了实现上述目的，本发明采用以下技术方案：
第一方面，提供了一种高光谱遥感图像超分辨率重建方法，包括：
获取真实的高光谱遥感图像数据集；
将从所述高光谱遥感图像数据集的部分区域中剪切出的且尺寸大小分别为
Figure BDA0004144223260000031
的多个方形图像作为在训练集中的多个高分辨率影像，其中，/>
Figure BDA0004144223260000032
和/>
Figure BDA0004144223260000033
分别表示正整数，所述多个方形图像与所述多个高分辨率影像一一对应；
采用比例因子2κ对所述多个高分辨率影像中的各个高分辨率影像分别进行下采样处理，得到与所述多个高分辨率影像一一对应的且尺寸大小分别为H×W的多个低分辨率影像，其中，H表示正整数且有
Figure BDA0004144223260000034
W表示正整数且有/>
Figure BDA0004144223260000035
κ表示正整数；
将所述多个低分辨率影像作为输入项，以及将所述多个高分辨率影像作为输出项，导入光谱-空间Transformer模型进行训练，得到图像超分辨率重建模型，其中，所述光谱-空间Transformer模型的网络结构包括有线性嵌入层、依次连接的K个残差组块、合并层、上采样层、全域跳跃连接和反嵌入层，所述残差组块由M个集成Transformer模块和一个块内合并层依次串联而成，并在所述M个集成Transformer模块中的首个集成Transformer模块的输入端与所述块内合并层的输出端之间增加有第一残差连接，所述集成Transformer模块包括有一个3D Transformer子模块或两个多头自注意力MSA子模块，所述3D Transformer子模块用于提取局部窗口内所有光谱波段之间的自注意力特征，所述两个多头自注意力MSA子模块包括有作用于光谱域的光谱Transformer子模块和作用于空间域的空间Transformer子模块，所述光谱Transformer子模块用于提取单个像元内不同光谱波段之间的自注意力特征，所述空间Transformer子模块用于提取局部窗口内不同像元之间的自注意力特征，K和M分别表示大于等于2的正整数；
所述线性嵌入层，用于将低分辨率输入影像
Figure BDA0004144223260000036
的光谱波段数目映射至更高维的特征空间，并提取所述低分辨率输入影像ILR的浅层特征，得到嵌入后特征影像
Figure BDA0004144223260000037
F0＝HE(ILR)，其中，Cin表示所述低分辨率输入影像ILR的光谱波段数目，C表示所述嵌入后特征影像F0的通道数，C与Cin的比值为正整数，/>
Figure BDA0004144223260000038
表示真实图像，HE( )表示所述线性嵌入层的处理函数；
所述K个残差组块，用于提取所述嵌入后特征影像F0的深层特征，得到深层特征影像
Figure BDA0004144223260000039
Figure BDA00041442232600000310
其中，k表示在区间[1,K]内取值的正整数，/>
Figure BDA00041442232600000311
表示在所述K个残差组块中的第k个残差组块的处理函数；
所述合并层，用于对所述深层特征影像FK进行特征整合，得到提取有更深层次特征的更深层特征影像
Figure BDA0004144223260000041
FM＝HM(FK)，其中，HM()表示所述合并层的处理函数；
所述上采样层，用于对所述嵌入后特征影像F0和所述更深层特征影像FM进行特征影像的上采样处理，得到上采样后特征影像
Figure BDA0004144223260000042
FHF＝HU(F0+FM)，其中，HU()表示所述上采样层的处理函数；
所述全域跳跃连接，用于先通过双立方插值法对所述嵌入后特征影像F0进行上采样处理，然后经过边界为1的卷积层对上采样处理结果进行特征提取，最后将提取得到的特征影像与所述上采样后特征影像FHF相加，得到组合特征影像
Figure BDA0004144223260000043
Figure BDA0004144223260000044
其中，Hcov( )表示所述卷积层的处理函数，/>
Figure BDA0004144223260000045
表示基于双立方插值法的上采样处理函数；
所述反嵌入层，用于将所述组合特征影像FSK的所述通道数C还原为所述光谱波段数目Cin，得到作为图像超分辨率重建结果的高分辨率输出影像
Figure BDA0004144223260000046
IHR＝HUE(FSK)，其中，HUE( )表示所述反嵌入层的处理函数；
将待重建的且低分辨率的高光谱遥感图像输入所述图像超分辨率重建模型，输出得到高分辨率的高光谱遥感图像。
基于上述发明内容，提供了一种基于空间Transformer和光谱Transformer的高光谱遥感图像超分辨率重建方案，即先将多个低分辨率影像作为输入项，以及将多个高分辨率影像作为输出项，导入包括有线性嵌入层、依次连接的K个残差组块、合并层、上采样层、全域跳跃连接和反嵌入层的光谱-空间Transformer模型进行训练，得到图像超分辨率重建模型，然后将待重建的且低分辨率的高光谱遥感图像输入所述图像超分辨率重建模型，输出得到高分辨率的高光谱遥感图像，由于在所述K个残差组块中是采用空间Transformer与光谱Transformer结构分别提取输入影像的空间特征与光谱特征，并将二者相集成用于高光谱遥感影像的超分辨率重建，如此可以避免依赖CNN，并通过实验对比发现超分效果有了很大提升，便于实际应用和推广。
第二方面，提供了一种高光谱遥感图像超分辨率重建装置，包括有依次通信连接的数据获取单元、影像剪切单元、下采样处理单元、重建模型训练单元和重建模型应用单元；
所述数据获取单元，用于获取真实的高光谱遥感图像数据集；
所述影像剪切单元，用于将从所述高光谱遥感图像数据集的部分区域中剪切出的且尺寸大小分别为
Figure BDA0004144223260000047
的多个方形图像作为在训练集中的多个高分辨率影像，其中，/>
Figure BDA0004144223260000048
和/>
Figure BDA0004144223260000049
分别表示正整数，所述多个方形图像与所述多个高分辨率影像一一对应；
所述下采样处理单元，用于采用比例因子2κ对所述多个高分辨率影像中的各个高分辨率影像分别进行下采样处理，得到与所述多个高分辨率影像一一对应的且尺寸大小分别为H×W的多个低分辨率影像，其中，H表示正整数且有
Figure BDA0004144223260000051
W表示正整数且有
Figure BDA0004144223260000052
κ表示正整数；
所述重建模型训练单元，还通信连接所述影像剪切单元，用于将所述多个低分辨率影像作为输入项，以及将所述多个高分辨率影像作为输出项，导入光谱-空间Transformer模型进行训练，得到图像超分辨率重建模型，其中，所述光谱-空间Transformer模型的网络结构包括有线性嵌入层、依次连接的K个残差组块、合并层、上采样层、全域跳跃连接和反嵌入层，所述残差组块由M个集成Transformer模块和一个块内合并层依次串联而成，并在所述M个集成Transformer模块中的首个集成Transformer模块的输入端与所述块内合并层的输出端之间增加有第一残差连接，所述集成Transformer模块包括有一个3D Transformer子模块或两个多头自注意力MSA子模块，所述3D Transformer子模块用于提取局部窗口内所有光谱波段之间的自注意力特征，所述两个多头自注意力MSA子模块包括有作用于光谱域的光谱Transformer子模块和作用于空间域的空间Transformer子模块，所述光谱Transformer子模块用于提取单个像元内不同光谱波段之间的自注意力特征，所述空间Transformer子模块用于提取局部窗口内不同像元之间的自注意力特征，K和M分别表示大于等于2的正整数；
所述线性嵌入层，用于将低分辨率输入影像
Figure BDA0004144223260000053
的光谱波段数目映射至更高维的特征空间，并提取所述低分辨率输入影像ILR的浅层特征，得到嵌入后特征影像
Figure BDA0004144223260000054
F0＝HE(ILR)，其中，Cin表示所述低分辨率输入影像ILR的光谱波段数目，C表示所述嵌入后特征影像F0的通道数，C与Cin的比值为正整数，/>
Figure BDA0004144223260000055
表示真实图像，HE()表示所述线性嵌入层的处理函数；
所述K个残差组块，用于提取所述嵌入后特征影像F0的深层特征，得到深层特征影像
Figure BDA0004144223260000056
Figure BDA0004144223260000057
其中，k表示在区间[1,K]内取值的正整数，/>
Figure BDA0004144223260000058
表示在所述K个残差组块中的第k个残差组块的处理函数；
所述合并层，用于对所述深层特征影像FK进行特征整合，得到提取有更深层次特征的更深层特征影像
Figure BDA0004144223260000059
FM＝HM(FK)，其中，HM( )表示所述合并层的处理函数；
所述上采样层，用于对所述嵌入后特征影像F0和所述更深层特征影像FM进行特征影像的上采样处理，得到上采样后特征影像
Figure BDA00041442232600000510
FHF＝HU(F0+FM)，其中，HU( )表示所述上采样层的处理函数；
所述全域跳跃连接，用于先通过双立方插值法对所述嵌入后特征影像F0进行上采样处理，然后经过边界为1的卷积层对上采样处理结果进行特征提取，最后将提取得到的特征影像与所述上采样后特征影像FHF相加，得到组合特征影像
Figure BDA0004144223260000061
Figure BDA0004144223260000062
其中，Hcov( )表示所述卷积层的处理函数，/>
Figure BDA0004144223260000063
表示基于双立方插值法的上采样处理函数；
所述反嵌入层，用于将所述组合特征影像FSK的所述通道数C还原为所述光谱波段数目Cin，得到作为图像超分辨率重建结果的高分辨率输出影像
Figure BDA0004144223260000064
IHR＝HUE(FSK)，其中，HUE( )表示所述反嵌入层的处理函数；
所述重建模型应用单元，用于将待重建的且低分辨率的高光谱遥感图像输入所述图像超分辨率重建模型，输出得到高分辨率的高光谱遥感图像。
第三方面，本发明提供了一种计算机设备，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任意可能设计所述的高光谱遥感图像超分辨率重建方法。
第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或第一方面中任意可能设计所述的高光谱遥感图像超分辨率重建方法。
第五方面，本发明提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面或第一方面中任意可能设计所述的高光谱遥感图像超分辨率重建方法。
上述方案的有益效果：
(1)本发明创造性提供了一种基于空间Transformer和光谱Transformer的高光谱遥感图像超分辨率重建方案，即先将多个低分辨率影像作为输入项，以及将多个高分辨率影像作为输出项，导入包括有线性嵌入层、依次连接的K个残差组块、合并层、上采样层、全域跳跃连接和反嵌入层的光谱-空间Transformer模型进行训练，得到图像超分辨率重建模型，然后将待重建的且低分辨率的高光谱遥感图像输入所述图像超分辨率重建模型，输出得到高分辨率的高光谱遥感图像，由于在所述K个残差组块中是采用空间Transformer与光谱Transformer结构分别提取输入影像的空间特征与光谱特征，并将二者相集成用于高光谱遥感影像的超分辨率重建，如此可以避免依赖CNN，并通过实验对比发现超分效果有了很大提升，便于实际应用和推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的高光谱遥感图像超分辨率重建方法的流程示意图。
图2为本申请实施例提供的光谱-空间Transformer模型的网络结构示意图。
图3为本申请实施例提供的集成Transformer模块的网络结构示意图。
图4为本申请实施例提供的光谱Transformer子模块的工作方式示意图。
图5为本申请实施例提供的空间Transformer子模块中的窗口分割方式示例图。
图6为本申请实施例提供的3D Transformer子模块中的局部窗口与光谱波段特征影像的关系示例图。
图7为本申请实施例提供的合并层的层结构示意图。
图8为本申请实施例提供的高光谱遥感图像超分辨率重建方法在Houston数据集上的且在不同参数上的实验结果(比例因子为4)，其中，图8(a)示出了针对嵌入时波段数目σ进行的实验结果，图8(b)示出了针对窗口大小值H进行的实验结果，图8(c)示出了针对残差组块的数目K进行的实验结果，图8(d)示出了针对每个残差组块中集成Transformer模块的数目M进行的实验结果。
图9为本申请实施例提供的在Pavia Centre数据集上的超分辨率结果(比例因子为4，red:90，green:60，blue:30),其中，图9(a)示出了基于Ground-truth的超分辨率结果，图9(b)示出了基于Bicubic的超分辨率结果，图9(c)示出了基于DDRN的超分辨率结果，图9(d)示出了基于SSPSR的超分辨率结果，图9(e)示出了基于Interactformer的超分辨率结果，图9(f)示出了基于SwinIR的超分辨率结果，图9(g)示出了基于EEGAN的超分辨率结果，图9(h)示出了基于SST的超分辨率结果。
图10为本申请实施例提供的在Pavia Centre数据集上的真实影像与重建影像的误差结果(比例因子为4),其中，图10(a)示出了基于Ground-truth的误差结果，图10(b)示出了基于Bicubic的误差结果，图10(c)示出了基于DDRN的误差结果，图10(d)示出了基于SSPSR的误差结果，图10(e)示出了基于Interactformer的误差结果，图10(f)示出了基于SwinIR的误差结果，图10(g)示出了基于EEGAN的误差结果，图10(h)示出了基于SST的误差结果。
图11为本申请实施例提供的在Houston数据集上的超分辨率结果(比例因子为4，red:120，green:80，blue:60)，其中，图11(a)示出了基于Ground-truth的超分辨率结果，图11(b)示出了基于Bicubic的超分辨率结果，图11(c)示出了基于DDRN的超分辨率结果，图11(d)示出了基于SSPSR的超分辨率结果，图11(e)示出了基于Interactformer的超分辨率结果，图11(f)示出了基于SwinIR的超分辨率结果，图11(g)示出了基于EEGAN的超分辨率结果，图11(h)示出了基于SST的超分辨率结果。
图12为本申请实施例提供的在Houston数据集上的真实影像与重建影像的误差结果(比例因子为4),其中，图12(a)示出了基于Ground-truth的误差结果，图12(b)示出了基于Bicubic的误差结果，图12(c)示出了基于DDRN的误差结果，图12(d)示出了基于SSPSR的误差结果，图12(e)示出了基于Interactformer的误差结果，图12(f)示出了基于SwinIR的误差结果，图12(g)示出了基于EEGAN的误差结果，图12(h)示出了基于SST的误差结果。
图13为本申请实施例提供的在Chikusei数据集上的超分辨率结果(比例因子为4，red:90，green:60，blue:30)，其中，图13(a)示出了基于Ground-truth的超分辨率结果，图13(b)示出了基于Bicubic的超分辨率结果，图13(c)示出了基于DDRN的超分辨率结果，图13(d)示出了基于SSPSR的超分辨率结果，图13(e)示出了基于Interactformer的超分辨率结果，图13(f)示出了基于SwinIR的超分辨率结果，图13(g)示出了基于EEGAN的超分辨率结果，图13(h)示出了基于SST的超分辨率结果。
图14为本申请实施例提供的在Chikusei数据集上的真实影像与重建影像的误差结果(比例因子为4),其中，图14(a)示出了基于Ground-truth的误差结果，图14(b)示出了基于Bicubic的误差结果，图14(c)示出了基于DDRN的误差结果，图14(d)示出了基于SSPSR的误差结果，图14(e)示出了基于Interactformer的误差结果，图14(f)示出了基于SwinIR的误差结果，图14(g)示出了基于EEGAN的误差结果，图14(h)示出了基于SST的误差结果。
图15为本申请实施例提供的像元计算值与真实值差的绝对值结果，其中，图15(a)示出了基于Pavia dataset的绝对值结果，图15(b)示出了基于Houston dataset的绝对值结果，图15(c)示出了基于Chikuseidataset的绝对值结果。
图16为本申请实施例提供的在真实情景下的高光谱影像超分结果，其中，图16(a)示出了针对Nature color(red:4,greed:3,blue:2)进行的高光谱影像超分结果，图16(b)示出了针对Color Infrared(red:8,greed:4,blue:3)进行的高光谱影像超分结果，图16(c)示出了针对Short-Wave Infrared(red:12,greed:8,blue:4)进行的高光谱影像超分结果，图16(d)示出了针对Agriculture(red:11,greed:8,blue:2)进行的高光谱影像超分结果，图16(e)示出了针对NDVI进行的高光谱影像超分结果，图16(f)示出了针对NDWI进行的高光谱影像超分结果。
图17为本申请实施例提供的高光谱遥感图像超分辨率重建装置的结构示意图。
图18为本申请实施例提供的计算机设备的结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
应当理解，尽管本文可能使用术语第一和第二等等来描述各种对象，但是这些对象不应当受到这些术语的限制。这些术语仅用于区分一个对象和另一个对象。例如可以将第一对象称作第二对象,并且类似地可以将第二对象称作第一对象，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A、单独存在B或者同时存在A和B等三种情况；又例如，A、B和/或C，可以表示存在A、B和C中的任意一种或他们的任意组合；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A或者同时存在A和B等两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
实施例：
如图1所示，本实施例第一方面提供的所述高光谱遥感图像超分辨率重建方法，可以但不限于由具有一定计算资源的计算机设备执行，例如由服务器、个人计算机(PersonalComputer，PC，指一种大小、价格和性能适用于个人使用的多用途计算机；台式机、笔记本电脑到小型笔记本电脑和平板电脑以及超级本等都属于个人计算机)、智能手机、个人数字助理(Personal Digital Assistant，PDA)或可穿戴设备等电子设备执行。如图1所示，所述高光谱遥感图像超分辨率重建方法，可以但不限于包括有如下步骤S1～S5。
S1.获取真实的高光谱遥感图像数据集。
在所述步骤S1中，所述高光谱遥感图像数据集可以是被广泛使用的HSI数据集，例如：Pavia Centre Dataset(Huangand Zhang，2009)、Houston Dataset(Debeset al.，2014)以及Chikusei Dataset(Yokoyaand Iwasaki，2016)。Pavia Centre Dataset是采用ROSIS传感器在意大利北部的Pavia上空飞行期间获得的高光谱数据集，地面采样距离为1.3米，光谱波段数有102个，该数据集影像大小为1096×1096×102；由于在场景中包含一些无信息的区域，在实验时可对其做剔除处理，得到剩余有效区域大小为1096×700×102的高分辨率影像。Houston Dataset是在休斯顿大学校园和邻近的城市地区获得的，它由380nm至1050nm区域的144个光谱波段组成，地面采样距离为2.5米，影像大小为349×1905×144；剔除边缘的无信息区域后大小为1900×340×144。Chikusei Dataset是由HeadwallHyperspec-VNIR-C传感器在日本茨城Chikusei的农村和城市地区拍摄的，场景中心点位于坐标：36.294N，140.008E，该数据集共有128个波段，光谱范围为363nm至1018nm，由2517×2335像素组成，地面采样距离为2.5米；由于影像边缘存在信息缺失问题，可在使用时影像被裁剪为2304×2048像素。所述高光谱遥感图像数据集还可以是使用谷歌地球引擎在哨兵2号卫星影像上裁剪了一块区域制作的一个数据集，该数据集大小举例为1356×545，包括13个波段(剔除其它非电磁波波段后)，地面采样距离为10米，地理位置位于中国西部的若尔盖国家公园，影像内容有草地、湖泊、道路和耕地等。
S2.将从所述高光谱遥感图像数据集的部分区域中剪切出的且尺寸大小分别为
Figure BDA0004144223260000091
的多个方形图像作为在训练集中的多个高分辨率影像，其中，/>
Figure BDA0004144223260000092
和/>
Figure BDA0004144223260000093
分别表示正整数，所述多个方形图像与所述多个高分辨率影像一一对应。
在所述步骤S2中，举例的，所述部分区域可为70％区域；
Figure BDA0004144223260000101
举例为48×48，并在训练时可进行随机的折叠或旋转。此外，还可从所述高光谱遥感图像数据集的剩余部分区域(例如30％区域)中剪切出另外的多个方形图像(其尺寸大小可为/>
Figure BDA0004144223260000102
也可以不为，例如尺寸大小为128×128)作为在测试集中的多个高分辨率影像(即在测试时作为输出项)。
S3.采用比例因子2κ对所述多个高分辨率影像中的各个高分辨率影像分别进行下采样处理，得到与所述多个高分辨率影像一一对应的且尺寸大小分别为H×W的多个低分辨率影像，其中，H表示正整数且有
Figure BDA0004144223260000103
W表示正整数且有/>
Figure BDA0004144223260000104
κ表示正整数。
在所述步骤S3中，κ可根据图像超分辨率重建的具体需求而设定，例如为1、2或3等。此外，还可采用所述比例因子2κ对在所述测试集中的各个高分辨率影像分别进行下采样处理，得到另外的多个低分辨率影像，以便在测试时作为输入项。
S4.将所述多个低分辨率影像作为输入项，以及将所述多个高分辨率影像作为输出项，导入光谱-空间Transformer模型进行训练，得到图像超分辨率重建模型，其中，所述光谱-空间Transformer模型的网络结构包括但不限于有线性嵌入层、依次连接的K个残差组块、合并层、上采样层、全域跳跃连接和反嵌入层等，所述残差组块由M个集成Transformer模块和一个块内合并层依次串联而成，并在所述M个集成Transformer模块中的首个集成Transformer模块的输入端与所述块内合并层的输出端之间增加有第一残差连接，所述集成Transformer模块包括但不限于有一个3D Transformer子模块或两个多头自注意力MSA(Multi-head Self-Attention)子模块，所述3D Transformer子模块用于提取局部窗口内所有光谱波段之间的自注意力特征，所述两个多头自注意力MSA子模块包括有作用于光谱域的光谱Transformer子模块和作用于空间域的空间Transformer子模块，所述光谱Transformer子模块用于提取单个像元内不同光谱波段之间的自注意力特征，所述空间Transformer子模块用于提取局部窗口内不同像元之间的自注意力特征，K和M分别表示大于等于2的正整数。
在所述步骤S4中，所述光谱-空间Transformer模型的网络结构如图2所示，所述集成Transformer模块的网络结构如图3所示。本实施例中的所述集成Transformer模块，相对于标准Transformer有如下两种改进方式：(1)将传统的多头自注意力(MSA)机制替换为光谱多头自注意力(Spectral-MSA)与空间多头自注意力(Spatial-MSA)的串联形式，即有所述光谱Transformer子模块和所述空间Transformer子模块的串联结构；(2)采用三维多头注意力的形式将光谱多头自注意力与空间多头自注意力合并计算，即有所述3DTransformer子模块。具体的，所述集成Transformer模块还包括但不限于有第一归一化层、第二归一化层和多层感知机MLP(Multilayer Perceptron)子模块(其可由2层MLP之间夹1个GELU激活函数构成)等；所述第一归一化层位于所述3D Transformer子模块或所述两个多头自注意力MSA子模块之前，并在所述第一归一化层的输入端与所述3D Transformer子模块或所述两个多头自注意力MSA子模块的输出端之间增加有第二残差连接；所述第二归一化层位于所述第二残差连接的相加节点之后且位于所述多层感知机MLP子模块之前，并在所述第二归一化层的输入端与所述多层感知机MLP子模块的输出端之间增加有第三残差连接。
根据如图3所示，所述集成Transformer模块的处理过程可表示为：
Figure BDA0004144223260000111
式中，X表示输入特征影像，LN( )表示归一化层的处理函数，MSAspectral( )表示所述光谱Transformer子模块的处理函数，MSAspatial( )表示所述空间Transformer子模块的处理函数，MSA3D( )表示所述3D Transformer子模块的处理函数，
Figure BDA0004144223260000112
表示所述第二残差连接的相加结果特征影像，MLP( )表示所述多层感知机MLP子模块的处理函数，Z表示所述第三残差连接的相加结果特征影像，也即所述集成Transformer模块的输出特征影像。由于在计算机视觉任务中，普通的图像具有3个通道并对应红、绿和蓝等三种灰度值，但是这与多光谱或高光谱遥感影像显著不同，后者的光谱波段数目(也即通道数目)往往大于3，并且其不同的波段对于遥感影像具有特殊的含义，正是基于这一区别，在本实施例中针对遥感影像超分辨率任务设计出了所述集成Transformer模块，并作为所述残差组块的基本构成模块，它可被用来提取影像的深度特征，既包括光谱特征，也包括空间特征，因而无论是采用所述3D Transformer子模块还是采用所述两个多头自注意力MSA子模块，都对遥感影像超分辨率任务具有特殊意义。
在所述集成Transformer模块的网络结构中，具体的，如图4所示，所述光谱Transformer子模块的工作方式沿用标准Transformer的多头注意力机制：在输入特征影像经过多头注意力层时，针对所述输入特征影像中每个输入像元的嵌入元素
Figure BDA0004144223260000113
在每个头中按照如下公式计算得到对应的查询query矩阵/>
Figure BDA0004144223260000114
关键字key矩阵
Figure BDA0004144223260000115
和值value矩阵/>
Figure BDA0004144223260000116
Figure BDA0004144223260000117
式中，WQ表示所述查询query矩阵的投影矩阵，WK表示所述关键字key矩阵的投影矩阵，WV表示所述值value矩阵的投影矩阵，这三个投影矩阵在不同的像元之间是共享的，i表示所述每个输入像元在所述输入特征影像中的所在行数，j表示所述每个输入像元在所述输入特征影像中的所在列数，d表示所述查询query矩阵、所述关键字key矩阵和所述值value矩阵的维数；针对所述每个输入像元，通过并行执行N次Attention函数获取到N个头的计算结果，并将它们串联后乘以权重矩阵WO，得到对应的且在不同光谱波段之间的自注意力特征
Figure BDA0004144223260000121
其中，所述Attention函数的计算公式如下：
Figure BDA0004144223260000122
式中，SoftMax( )表示归一化指数函数，T表示矩阵转置符号，B表示相对位置编码，它是一套可学习的参数。基于前述工作方式，可使得所述光谱Transformer子模块能够用于提取单个像元内不同光谱波段之间的自注意力特征。
在所述集成Transformer模块的网络结构中，由于遥感影像超分辨率的过程可以视为将像元数目从1到4(对于×2的超分任务)或者更多的映射，相比于图像分类任务，它对局部特征的敏感性要强于全局特征，因此具体的，所述空间Transformer子模块的工作方式如下：将尺寸大小为H×W×C的输入特征影像分割至(H×W)/(m2)个相互不重叠的局部窗体中，其中，每个局部窗体的尺寸大小为m×m×C，m表示大于等于2的正整数；针对所述每个局部窗体，单独计算得到对应的且在不同像元之间的自注意力特征。前述影像分割的具体方式可如图5所示。由于自注意力计算被局限在单独的窗体中，导致窗体之间的注意力无法被考虑，因此可基于局部窗口与有限的滑动窗***替使用来实现跨越窗口的连接，即优选的，将尺寸大小为H×W×C的输入特征影像分割至(H×W)/(m2)个相互不重叠的局部窗体中，包括但不限于有：将尺寸大小为H×W×C的输入特征影像分割至(H×W)/(m2)个相互不重叠的局部窗体中，并在每次分割局部窗体之前将所述输入特征影像向下及向右移动m/2个像元，其中，m表示大于等于2的正整数。此外，具体计算在不同像元之间的自注意力特征的方式，与所述光谱Transformer子模块中的自注意力特征计算方式类似，可以直接推导得到，于此不再赘述。
在所述集成Transformer模块的网络结构中，如图6所示，所述3D Transformer子模块中的窗口分割方式与所述空间Transformer子模块中的相同，即分割后每个局部窗体的形状为m×m×C；关键在于要将嵌入后的通道数C分割为原始HSI的光谱波段数目Cin，即分割后一个局部窗体内包括包含有m×m×Cin个光谱波段特征影像，然后计算这些光谱波段相互之间的自注意力值，即具体的，所述3DTransformer子模块的工作方式如下：将尺寸大小为H×W×C的输入特征影像分割至(H×W)/(m2)个相互不重叠的局部窗体中，其中，每个局部窗体的尺寸大小为m×m×C且包含有m×m×Cin个光谱波段特征影像，m表示大于等于2的正整数；针对所述每个局部窗体，单独计算得到对应的且在不同光谱波段之间的自注意力特征。同样的，将尺寸大小为H×W×C的输入特征影像分割至(H×W)/(m2)个相互不重叠的局部窗体中，包括但不限于有：将尺寸大小为H×W×C的输入特征影像分割至(H×W)/(m2)个相互不重叠的局部窗体中，并在每次分割局部窗体之前将所述输入特征影像向下及向右移动m/2个像元，其中，m表示大于等于2的正整数。此外，具体计算在不同光谱波段之间的自注意力特征的方式，与所述光谱Transformer子模块中的自注意力特征计算方式类似，可以直接推导得到，于此不再赘述。
在所述光谱-空间Transformer模型的网络结构中，具体的，所述线性嵌入层，用于将低分辨率输入影像
Figure BDA0004144223260000131
的光谱波段数目映射至更高维的特征空间，并提取所述低分辨率输入影像ILR的浅层特征，得到嵌入后特征影像/>
Figure BDA0004144223260000132
F0＝HE(ILR)，其中，Cin表示所述低分辨率输入影像ILR的光谱波段数目，C表示所述嵌入后特征影像F0的通道数，C与Cin的比值为正整数，/>
Figure BDA0004144223260000133
表示真实图像，HE( )表示所述线性嵌入层的处理函数。详细的，在所述线性嵌入层中的具体嵌入过程可采用3×3的卷积来执行，并在此过程中将设置边界设置为1，以便保持图像大小。
在所述光谱-空间Transformer模型的网络结构中，具体的，所述K个残差组块，用于提取所述嵌入后特征影像F0的深层特征，得到深层特征影像
Figure BDA0004144223260000134
Figure BDA0004144223260000135
其中，k表示在区间[1,K]内取值的正整数，/>
Figure BDA0004144223260000136
表示在所述K个残差组块中的第k个残差组块的处理函数。
在所述光谱-空间Transformer模型的网络结构中，具体的，所述合并层，用于对所述深层特征影像FK进行特征整合，得到提取有更深层次特征的更深层特征影像
Figure BDA0004144223260000137
FM＝HM(FK)，其中，HM( )表示所述合并层的处理函数。所述合并层的目的在于增强所述光谱-空间Transformer模型的拟合能力，可具体由三个卷积与两个激活函数交替连接组成，如图7所示，当中卷积层设置边界为1，这样做的原因是为了保证图像不被下采样。此外，所述块内合并层的目的与所述合并层相同，并也可采用如图7所示的层结构。
在所述光谱-空间Transformer模型的网络结构中，具体的，所述上采样层，用于对所述嵌入后特征影像F0和所述更深层特征影像FM进行特征影像的上采样处理，得到上采样后特征影像
Figure BDA0004144223260000141
FHF＝HU(F0+FM)，其中，HU( )表示所述上采样层的处理函数。一般而言，浅层特征聚焦于遥感影像的低频特征，而深层特征聚焦于遥感影像的高频特征，它们之间可通过跳跃连接进行聚合。在本实施例中，可具体采用Sub-Pixel卷积层对特征影像进行上采样处理。
在所述光谱-空间Transformer模型的网络结构中，具体的，所述全域跳跃连接，用于先通过双立方插值法对所述嵌入后特征影像F0进行上采样处理，然后经过边界为1的卷积层对上采样处理结果进行特征提取，最后将提取得到的特征影像与所述上采样后特征影像FHF相加，得到组合特征影像
Figure BDA0004144223260000142
Figure BDA0004144223260000143
其中，Hcov( )表示所述卷积层的处理函数，/>
Figure BDA0004144223260000144
表示基于双立方插值法的上采样处理函数。所述全域跳跃连接的目的是为了避免模型退化，获得更高的准确率与更快的收敛速度。
在所述光谱-空间Transformer模型的网络结构中，具体的，所述反嵌入层，用于将所述组合特征影像FSK的所述通道数C还原为所述光谱波段数目Cin，得到作为图像超分辨率重建结果的高分辨率输出影像
Figure BDA0004144223260000145
IHR＝HUE(FSK)，其中，HUE( )表示所述反嵌入层的处理函数。
在所述步骤S4中，所述光谱-空间Transformer模型的具体训练过程可基于现有模型训练过程常规得到，例如优化器选择常用的自适应矩估计，等等。由于损失函数可用来衡量遥感影像重建结果的好坏，它是模型需要优化的目标，优选的，所述光谱-空间Transformer模型的损失函数Ltotal按照如下公式进行计算：
Figure BDA0004144223260000146
式中，L1表示基于平均绝对误差的损失函数，LG表示光谱梯度损失函数，IGT表示真实的高分辨率影像，
Figure BDA0004144223260000147
表示真实的高分辨率影像的光谱梯度，ISR表示重建输出的高分辨率影像，/>
Figure BDA0004144223260000148
表示重建输出的高分辨率影像的光谱梯度，λ1和λ2表示一组超参数且有λ1+λ2＝1。即由于针对遥感影像的超分辨率任务，不仅要追求空间域的效果，还要保证光谱域的还原程度，因此在本实施例中，使用了两种损失函数来度量重建的高分辨率影像与真实影像之间差异：在度量遥感影像空间域的精度时，选择被普遍使用的且基于平均绝对误差的损失函数，它与基于均方误差的损失函数相比，损失不会过度惩罚大的错误且具有更好的收敛性；在度量遥感影像光谱域的精度时，选用光谱梯度损失函数，它在衡量光谱信息还原程度时被普遍使用。
S5.将待重建的且低分辨率的高光谱遥感图像输入所述图像超分辨率重建模型，输出得到高分辨率的高光谱遥感图像。
在所述步骤S5中，所述待重建的且低分辨率的高光谱遥感图像的尺寸大小可为
Figure BDA0004144223260000151
也可不为/>
Figure BDA0004144223260000152
例如当/>
Figure BDA0004144223260000153
时，为128×128，并可在比例因子2κ为4时，重建得到为512×512的所述高分辨率的高光谱遥感图像。
基于前述步骤S1～S5所详细描述的高光谱遥感图像超分辨率重建方法，本实施例还提供了基于Pavia Centre Dataset、Houston Dataset以及Chikusei Dataset等三个数据集的验证实验：(A)在实验时的参数设置以及评价指标的选择；(B)进行消除分析实验，分析了本方法自身的优缺点；(C)将实验结果与当前最好的方法进行了比较并加以分析。
(A)在实验时的参数设置以及评价指标的选择：
(A1)参数设置：在本实施例方法(英文命名为Spectral and SpatialTransformer，缩写为SST)中，线性嵌入后特征影像的通道数量增加为输入HSI通道数量的9倍(即C与Cin的比值等于9)；残差组块的个数设置为6(即K等于6)；在每个残差组块中的集成Transformer模块的数量设置为6(即M等于6)；在合并层中的3个卷积核大小依次为3×3、1×1和3×3，采用LeakyReLU为激活函数；在光谱Transformer子模块与空间Transformer子模块中，多头自注意力的头数量为3，在空间Transformer子模块中单个窗体的大小设置为8×8；网络的优化器选择常用的自适应矩估计(Adaptive Moment Estimation，Adam；Kingmaand Ba，2014)，初始学习率设置为0.0005；空间损失函数与光谱损失函数的权重被均匀分配为0.5(即λ1和λ2分别等于0.5)。此外，由于计算机图形处理器内存的限制，训练时批次大小设置为4；所有实验的进行使用Pytorch framework，图形处理器为NVIDIAGeForceRTX3090，内存大小为24GB。
(A2)评价指标：选择平均峰值信噪比(mean peak signal-to-noise ratio，MPSNR；Huynh-Thu，2008)、平均结构相似度(mean structure similarity，MSSIM；Wangetal.，2004)、光谱角指数(spectralangle mapper，SAM；Shuai et al.，2018)和相关系数(cross correlation，CC；Loncanet al.，1988)等4种被广泛使用的图像质量评价指标验证所提出SST方法对于HSI超分辨率的性能。MPSNR与MSSIM分别计算真实影像与生成影像之间的相似性与结构一致性，它们对所有光谱波段求平均值进行空间视觉质量的度量，更高的MPSNR值意味着更好的视觉质量，MSSIM的最优质值为1。SAM与CC反映了影像的光谱保真度，SAM的最优值为0，CC的最优值为1。
(B)进行消除分析实验：为了检验所提出算法的有效性，在Houston Dataset上做了一系列的消除实验。
首先，采用2倍放大因子(即比例因子2κ等于2)，做了三组对照实验来探究集成Transformer模块中各个子模块的优势：只采用空间Transformer子模块(SpatialTransformer Model，STM)提取HSI像元之间的空间特征，而不考虑各个光谱波段之间的光谱特征，这也是一般图像超分任务所采用的思路；采用光谱Transformer子模块和空间Transformer子模块的串联结构(Spectral and Spatial Transformer ConcatenatedModel，SSTM)，既考虑光谱特征也考虑空间特征，但两种特征分别由两个特征模块采用串联的方式先后计算；采用3D Transformer子模块(3DTM)以三维的形式将光谱特征与空间特征共同计算，需要说明的是，由于GPU内存的限制，3DTM实验中窗口大小被设置为3。实验结果见表1。
表1.不同网络结构的实验结果在Houston数据集上的表现(比例因子为2)
MPSNR MSSIM SAM CC
STM 38.09 0.9322 4.32 0.9223
SSTM 39.12 0.9417 3.79 0.9324
3DTM 39.04 0.9354 3.84 0.9348
从上述表1中的四种评价指标的值，可以观察到SSTM的整体表现最好，STM的整体表现最差。从SAM与CC两个反应光谱还原程度的指标来看，增加了光谱特征计算后实验效果得到了明显的提升，这说明光谱特征对于高光谱遥感较为重要。3DTM的实现效果略逊色于SSTM，这可能是因为窗口大小被设置为3的原因(由于GPU内存的限制)，而窗口大小的设置也是影响实验效果的重要参数之一，从后续图8(b)的分析中可以预见，在增大窗口大小后，3DTM的实验效果很可能会超过SSTM。考虑到计算成本也是评价模型好坏的重要指数，所以后续的对比实验基于将SSTM作为SST的代表模型来开展。
再次使用SSTM，采用4倍放大因子(即比例因子2κ等于4)，分别探究了SST方法中嵌入时波段数目的倍数σ、窗口大小值H、残差组块的数目K以及每个残差组块中集成Transformer模块的数目M，对HSI超分辨率效果的影响，实验结果见图8。对于嵌入波段数目的倍数(图8a)，随着σ的增加，超分辨率效果也逐步提高，SAM与MPSNR在σ＝3至9区间优化尤其显著，在σ＝9至15区间内优化效果变缓，这说明改变嵌入维度能为模型的超分辨效果带来提升，但过大的σ也会增加模型的复杂程度与计算成本，因此在SST方法中，设定σ＝9；对于分割窗体大小(图8b)，模型的效果随着窗口大小值H的增大而提高，在综合考虑计算成本与模型效果后，SST中设定H＝8；对于残差组块的数目(图8c)，随着K的增加，模型效果先增加后减小，分割点在K＝6处，模型效果下降的原因可能是因为网络深度过深而导致的网络退化或过度拟合训练集，因此，在SST方法中设定K＝6；对于集成Transformer模块的数目(图8d)，模型效果随M值的增加逐步提高，但在M>6时模型效果提升减缓，为了节约计算成本，在SST方法中设定M＝6。
(C)对比试验：基于上文中提到的3个数据集，本实施例还选择了六个现有图像超分辨率重建方法做了对比实验，比例因子设置为2、4和8。所述六个现有图像超分辨率重建方法分别为：双立方插值法(Bicubic)、深度冒泡递归网络(Deep distillation recursivenetwork，DDRN；Jiang et al.，2018)、空间-光谱前置网络(Spatial-spectral priornetwork，SSPSR；Jiang et al.，2020)、Interactformer(Liuet al.，2022b)、SwinIR(Wanget al.，2021)和EEGAN(Jiang et al.，2019)。Bicubic是一种经典的图像处理方法，实验时需要将该方法用于遥感影像的每个波段以实现HSIs的超分辨率；DDRN和SSPSR是基于CNN高光谱遥感影像超分辨率方法，值得一提的是，由于SSPSR模型内部采用渐进式的上采样方法，所以与SSPSR对比实验只使用了4和8两种比例因子；Interactformer和SwinIR都是基于Transformer的图像超分辨率方法；EEGAN是基于GAN的HSIs超分辨率方法。另外，本实施例在STM、SSTM和3DTM三种方法中选择效果最好的的SSTM方法(表1)进行对比实验。
(C1)基于Pavia Centre Dataset的对比试验：表2展示了在Pavia CentreDataset上使用不同的超分辨率算法，采用不同的比例因子的实验结果评估。从表2中可以看出SST方法在各个比例因子上都取得了最好的效果，而Bicubic插值法效果最差，这说明深度学习方法相比于传统的插值法更有效。在使用到机器学习的几种算法中，还可发现采用Transformer结构的Interactformer与SwinIR以及使用GAN的EEGAN算法，其MPSNR与MSSIM指标整体高于使用CNN结构的DDRN与SSPSR，这与相关算法在其他领域如分类(Dosovitskiyet al.，2021)分割(Chen et al.，2021b)上表现相一致，这可能是因为算法原理上Transformer与GAN模型能提取到更多的全局特征，致使这些模型的拟合能力更好。
表2.在Pavia Centre数据集上使用不同方法的超分辨率定量比较(加粗代表最好的值)
Figure BDA0004144223260000171
图9和图10分别展示了在比例因子为4时且在Pavia Centre数据集上的超分辨率结果与误差，从中可以看出SST方法整体效果较好，而Bicubic方法无论是在整体还是细节上都不够理想，以及DDRN和SwinIR还出现了棋盘伪影，以及SSPSR和Interactformer在细节上，如建筑物边界，出现了一定程度的扭曲，以及Interactformer方法的表现效果与SST方法较为接近。
(C2)基于Houston Dataset的对比试验：表3展示了在Houston Dataset上使用不同的超分辨率重建方法且采用不同的比例因子的实验结果评估。从表3中可以得出，随着比例因子的增大，各种方法的效果也逐渐降低，但SST方法的各项评价指标都优于其他重建方法。其中，SwinIR方法的SAM与CC指标相较于其余机器学习方法明显较差，这可能是因为SwinIR不是针对遥感影像的超分重建方法，缺乏面向遥感影像超分重建对光谱特征提取的模型相关结构。
表3.在Houston数据集上使用不同方法的超分辨率定量比较(加粗代表最好的值)
Figure BDA0004144223260000181
图11展示了在Pavia Centre数据集上的且比例因子为4的超分辨率结果，可以看出在实验的几种重建方法中，SST方法的超分辨率结果相对较好，因为其更好的还原了地物的边缘特征。SwinIR的超分辨率影像在颜色上与Ground-truth差异较大，其原因可能是因为其模型中缺乏光谱特征提取模块。实验的所有方法在细节层面的还原程度都有所欠缺，例如它们都没有还原出图像中建筑物顶的黑色斑点。如图12所示，从误差图像可以看出SST方法的误差更小(深蓝色像素更多)。
(C3)基于Chikusei Dataset的对比试验：表4展示了在Chikusei Dataset上使用不同的超分辨率方法且采用不同的比例因子的实验结果评估。从表4中可看出各项指标的数值相比于其他两个数据集的结果数值都要出色，如各个方法的MPSNR值、MSSIM值及CC值更高，SAM值更低，这种现象出现的原因可能是因为：①在空间方面，Chikusei数据集大面积区域处于农村，地物类别较为单一，这降低了超分辨率的重建难度；②在光谱方面，由于Chikusei数据集中农作物比重较大，各个像元的光谱响应曲线比较类似，这有利于模型学习其光谱特征，从而具有更高的光谱保真度。从表4中还可以看出，对于各个模型评价结果，SST方法要优于其它几种方法，各个方法的结果表现对比与其它两种数据集相一致。
表4.在Chikusei数据集上使用不同方法的超分辨率定量比较(加粗代表最好的值)
Figure BDA0004144223260000191
图13展示了在Chikusei数据集上的且比例因子为4的超分辨率结果，图中表现出几种机器学习方法的实验结果都比较接近，这说明在Chikusei数据集上各种方法的整体效果都很好，这与表4中评价指标反映出来的信息一致。但在细节方面，SST、SSPSR、Interactformer和EEGAN明显优于其他几种方法，这在图像中地物变化剧烈的区域如图像的右上角体现的更为明显，这在误差图(如图14所示)中也可以很好的体现。
图15展示了在三个数据集上的且基于不同超分重建方法生成的结果图像中，单个像元不同波段的像元值与真实影像像元值之差的绝对值，像元值的数据类型为16位非符号整型，其理论最大值为65535。该图可以反映出各个超分重建算法的光谱保真度，图中粉红色虚线表示SST方法，可见在三个数据集的实验中，SST方法的曲线在大部分波长区间都位于下方的位置，这与评价指标中的SAM与CC所反映的效果一致。
(D)在真实情景下的高光谱遥感影像超分重建实验：为了检验所提SST方法在科研生产工作中的可用性，以及其对高光谱遥感影像超分效果的好坏，本实施例还使用谷歌地球引擎在哨兵2号卫星影像上裁剪了一块区域制作了一个数据集，数据集大小为1356×545，包括13个波段(剔除其它非电磁波波段后)，地面采样距离为10米，地理位置位于中国西部的若尔盖国家公园，影像内容有草地、湖泊、道路、耕地等。实验时将该数据集的70％区域裁剪为48×48像素的正方形块作为训练数据，其余30％区域裁剪为128×128像素的正方形块作为测试数据，由于该实验为模拟模型的真实使用场景，因此测试数据中没有Ground-truth数据，而是直接用比例因子为4的模型生成512×512像素的影像。
图16展示了采用SST方法，在真实场景下高光谱影像的超分实验结果，每张图片中左上角红框内为输入的低分辨率影像，其中(a)为真彩色合成图；(b)为标准假彩色合成图，该波段组合是为了强调健康和不健康的植被；(c)为短波红外波段组合，这种组合中较深的绿色表示植被茂密，棕色指示着裸露的土壤和堆积的区域；(d)中的波段组合通常用于监测农作物的健康状况；(e)为计算出的归一化植被指数(NDVI，Normalized DifferenceVegetation Index)渲染图，它是反映农作物长势和营养信息的重要参数之一；(f)为计算出的归一化水指数(NDWI，Normalized Difference Water Index)渲染图，它可以凸显影像中的水体信息。通过对比以上6中常用的波段组合或计算指数中低分辨影像与其对应超分辨率结果，可以推测出所提SST方法在空间还原度与光谱保真度上都有不错的表现，足以作为日常遥感工作的基础。
由此基于前述步骤S1～S5所描述的高光谱遥感图像超分辨率重建方法，提供了一种基于空间Transformer和光谱Transformer的高光谱遥感图像超分辨率重建方案，即先将多个低分辨率影像作为输入项，以及将多个高分辨率影像作为输出项，导入包括有线性嵌入层、依次连接的K个残差组块、合并层、上采样层、全域跳跃连接和反嵌入层的光谱-空间Transformer模型进行训练，得到图像超分辨率重建模型，然后将待重建的且低分辨率的高光谱遥感图像输入所述图像超分辨率重建模型，输出得到高分辨率的高光谱遥感图像，由于在所述K个残差组块中是采用空间Transformer与光谱Transformer结构分别提取输入影像的空间特征与光谱特征，并将二者相集成用于高光谱遥感影像的超分辨率重建，如此可以避免依赖CNN，并通过实验对比发现超分效果有了很大提升，便于实际应用和推广。
如图17所示，本实施例第二方面提供了一种实现第一方面所述的高光谱遥感图像超分辨率重建方法的虚拟装置，包括有依次通信连接的数据获取单元、影像剪切单元、下采样处理单元、重建模型训练单元和重建模型应用单元；
所述数据获取单元，用于获取真实的高光谱遥感图像数据集；
所述影像剪切单元，用于将从所述高光谱遥感图像数据集的部分区域中剪切出的且尺寸大小分别为
Figure BDA0004144223260000201
的多个方形图像作为在训练集中的多个高分辨率影像，其中，/>
Figure BDA0004144223260000202
和/>
Figure BDA0004144223260000203
分别表示正整数，所述多个方形图像与所述多个高分辨率影像一一对应；
所述下采样处理单元，用于采用比例因子2κ对所述多个高分辨率影像中的各个高分辨率影像分别进行下采样处理，得到与所述多个高分辨率影像一一对应的且尺寸大小分别为H×W的多个低分辨率影像，其中，H表示正整数且有
Figure BDA0004144223260000204
W表示正整数且有/>
Figure BDA0004144223260000205
κ表示正整数；
所述重建模型训练单元，还通信连接所述影像剪切单元，用于将所述多个低分辨率影像作为输入项，以及将所述多个高分辨率影像作为输出项，导入光谱-空间Transformer模型进行训练，得到图像超分辨率重建模型，其中，所述光谱-空间Transformer模型的网络结构包括有线性嵌入层、依次连接的K个残差组块、合并层、上采样层、全域跳跃连接和反嵌入层，所述残差组块由M个集成Transformer模块和一个块内合并层依次串联而成，并在所述M个集成Transformer模块中的首个集成Transformer模块的输入端与所述块内合并层的输出端之间增加有第一残差连接，所述集成Transformer模块包括有一个3D Transformer子模块或两个多头自注意力MSA子模块，所述3D Transformer子模块用于提取局部窗口内所有光谱波段之间的自注意力特征，所述两个多头自注意力MSA子模块包括有作用于光谱域的光谱Transformer子模块和作用于空间域的空间Transformer子模块，所述光谱Transformer子模块用于提取单个像元内不同光谱波段之间的自注意力特征，所述空间Transformer子模块用于提取局部窗口内不同像元之间的自注意力特征，K和M分别表示大于等于2的正整数；
所述线性嵌入层，用于将低分辨率输入影像
Figure BDA0004144223260000211
的光谱波段数目映射至更高维的特征空间，并提取所述低分辨率输入影像ILR的浅层特征，得到嵌入后特征影像
Figure BDA0004144223260000212
F0＝HE(ILR)，其中，Cin表示所述低分辨率输入影像ILR的光谱波段数目，C表示所述嵌入后特征影像F0的通道数，C与Cin的比值为正整数，/>
Figure BDA0004144223260000213
表示真实图像，HE()表示所述线性嵌入层的处理函数；
所述K个残差组块，用于提取所述嵌入后特征影像F0的深层特征，得到深层特征影像
Figure BDA0004144223260000214
Figure BDA0004144223260000215
其中，k表示在区间[1,K]内取值的正整数，/>
Figure BDA0004144223260000216
表示在所述K个残差组块中的第k个残差组块的处理函数；
所述合并层，用于对所述深层特征影像FK进行特征整合，得到提取有更深层次特征的更深层特征影像
Figure BDA0004144223260000217
FM＝HM(FK)，其中，HM( )表示所述合并层的处理函数；
所述上采样层，用于对所述嵌入后特征影像F0和所述更深层特征影像FM进行特征影像的上采样处理，得到上采样后特征影像
Figure BDA0004144223260000218
FHF＝HU(F0+FM)，其中，HU( )表示所述上采样层的处理函数；
所述全域跳跃连接，用于先通过双立方插值法对所述嵌入后特征影像F0进行上采样处理，然后经过边界为1的卷积层对上采样处理结果进行特征提取，最后将提取得到的特征影像与所述上采样后特征影像FHF相加，得到组合特征影像
Figure BDA0004144223260000219
Figure BDA00041442232600002110
其中，Hcov( )表示所述卷积层的处理函数，/>
Figure BDA00041442232600002111
表示基于双立方插值法的上采样处理函数；
所述反嵌入层，用于将所述组合特征影像FSK的所述通道数C还原为所述光谱波段数目Cin，得到作为图像超分辨率重建结果的高分辨率输出影像
Figure BDA00041442232600002112
IHR＝HUE(FSK)，其中，HUE( )表示所述反嵌入层的处理函数；
所述重建模型应用单元，用于将待重建的且低分辨率的高光谱遥感图像输入所述图像超分辨率重建模型，输出得到高分辨率的高光谱遥感图像。
本实施例第二方面提供的前述装置的工作过程、工作细节和技术效果，可以参见第一方面所述的高光谱遥感图像超分辨率重建方法，于此不再赘述。
如图18所示，本实施例第三方面提供了一种执行如第一方面所述的高光谱遥感图像超分辨率重建方法的计算机设备，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面所述的高光谱遥感图像超分辨率重建方法。具体举例的，所述存储器可以但不限于包括随机存取存储器(Random-Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存(Flash Memory)、先进先出存储器(First Input FirstOutput，FIFO)和/或先进后出存储器(First Input Last Output，FILO)等等；所述处理器可以但不限于采用型号为STM32F105系列的微处理器。此外，所述计算机设备还可以但不限于包括有电源模块、显示屏和其它必要的部件。
本实施例第三方面提供的前述计算机设备的工作过程、工作细节和技术效果，可以参见第一方面所述的高光谱遥感图像超分辨率重建方法，于此不再赘述。
本实施例第四方面提供了一种存储包含如第一方面所述的高光谱遥感图像超分辨率重建方法的指令的计算机可读存储介质，即所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面所述的高光谱遥感图像超分辨率重建方法。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等计算机可读存储介质，所述计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。
本实施例第四方面提供的前述计算机可读存储介质的工作过程、工作细节和技术效果，可以参见如第一方面所述的高光谱遥感图像超分辨率重建方法，于此不再赘述。
本实施例第五方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面所述的高光谱遥感图像超分辨率重建方法。其中，所述计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种高光谱遥感图像超分辨率重建方法，其特征在于，包括：
获取真实的高光谱遥感图像数据集；
将从所述高光谱遥感图像数据集的部分区域中剪切出的且尺寸大小分别为
Figure FDA0004144223250000011
的多个方形图像作为在训练集中的多个高分辨率影像，其中，/>
Figure FDA0004144223250000012
和/>
Figure FDA0004144223250000013
分别表示正整数，所述多个方形图像与所述多个高分辨率影像一一对应；
采用比例因子2κ对所述多个高分辨率影像中的各个高分辨率影像分别进行下采样处理，得到与所述多个高分辨率影像一一对应的且尺寸大小分别为H×W的多个低分辨率影像，其中，H表示正整数且有
Figure FDA0004144223250000014
W表示正整数且有/>
Figure FDA0004144223250000015
κ表示正整数；
将所述多个低分辨率影像作为输入项，以及将所述多个高分辨率影像作为输出项，导入光谱-空间Transformer模型进行训练，得到图像超分辨率重建模型，其中，所述光谱-空间Transformer模型的网络结构包括有线性嵌入层、依次连接的K个残差组块、合并层、上采样层、全域跳跃连接和反嵌入层，所述残差组块由M个集成Transformer模块和一个块内合并层依次串联而成，并在所述M个集成Transformer模块中的首个集成Transformer模块的输入端与所述块内合并层的输出端之间增加有第一残差连接，所述集成Transformer模块包括有一个3D Transformer子模块或两个多头自注意力MSA子模块，所述3D Transformer子模块用于提取局部窗口内所有光谱波段之间的自注意力特征，所述两个多头自注意力MSA子模块包括有作用于光谱域的光谱Transformer子模块和作用于空间域的空间Transformer子模块，所述光谱Transformer子模块用于提取单个像元内不同光谱波段之间的自注意力特征，所述空间Transformer子模块用于提取局部窗口内不同像元之间的自注意力特征，K和M分别表示大于等于2的正整数；
所述线性嵌入层，用于将低分辨率输入影像
Figure FDA0004144223250000016
的光谱波段数目映射至更高维的特征空间，并提取所述低分辨率输入影像ILR的浅层特征，得到嵌入后特征影像/>
Figure FDA0004144223250000017
F0＝HE(ILR)，其中，Cin表示所述低分辨率输入影像ILR的光谱波段数目，C表示所述嵌入后特征影像F0的通道数，C与Cin的比值为正整数，/>
Figure FDA0004144223250000018
表示真实图像，HE()表示所述线性嵌入层的处理函数；
所述K个残差组块，用于提取所述嵌入后特征影像F0的深层特征，得到深层特征影像
Figure FDA0004144223250000019
Figure FDA00041442232500000110
其中，k表示在区间[1,K]内取值的正整数，/>
Figure FDA00041442232500000111
表示在所述K个残差组块中的第k个残差组块的处理函数；
所述合并层，用于对所述深层特征影像FK进行特征整合，得到提取有更深层次特征的更深层特征影像
Figure FDA0004144223250000021
FM＝HM(FK)，其中，HM()表示所述合并层的处理函数；
所述上采样层，用于对所述嵌入后特征影像F0和所述更深层特征影像FM进行特征影像的上采样处理，得到上采样后特征影像
Figure FDA0004144223250000022
FHF＝HU(F0+FM)，其中，HU()表示所述上采样层的处理函数；
所述全域跳跃连接，用于先通过双立方插值法对所述嵌入后特征影像F0进行上采样处理，然后经过边界为1的卷积层对上采样处理结果进行特征提取，最后将提取得到的特征影像与所述上采样后特征影像FHF相加，得到组合特征影像
Figure FDA0004144223250000023
Figure FDA0004144223250000024
其中，Hcov()表示所述卷积层的处理函数，/>
Figure FDA0004144223250000025
表示基于双立方插值法的上采样处理函数；
所述反嵌入层，用于将所述组合特征影像FSK的所述通道数C还原为所述光谱波段数目Cin，得到作为图像超分辨率重建结果的高分辨率输出影像
Figure FDA0004144223250000026
IHR＝HUE(FSK)，其中，HUE()表示所述反嵌入层的处理函数；
将待重建的且低分辨率的高光谱遥感图像输入所述图像超分辨率重建模型，输出得到高分辨率的高光谱遥感图像。
2.根据权利要求1所述的高光谱遥感图像超分辨率重建方法，其特征在于，所述集成Transformer模块还包括有第一归一化层、第二归一化层和多层感知机MLP子模块；
所述第一归一化层位于所述3D Transformer子模块或所述两个多头自注意力MSA子模块之前，并在所述第一归一化层的输入端与所述3D Transformer子模块或所述两个多头自注意力MSA子模块的输出端之间增加有第二残差连接；
所述第二归一化层位于所述第二残差连接的相加节点之后且位于所述多层感知机MLP子模块之前，并在所述第二归一化层的输入端与所述多层感知机MLP子模块的输出端之间增加有第三残差连接。
3.根据权利要求1所述的高光谱遥感图像超分辨率重建方法，其特征在于，所述3DTransformer子模块的工作方式如下：
将尺寸大小为H×W×C的输入特征影像分割至(H×W)/(m2)个相互不重叠的局部窗体中，其中，每个局部窗体的尺寸大小为m×m×C且包含有m×m×Cin个光谱波段特征影像，m表示大于等于2的正整数；
针对所述每个局部窗体，单独计算得到对应的且在不同光谱波段之间的自注意力特征。
4.根据权利要求1所述的高光谱遥感图像超分辨率重建方法，其特征在于，所述光谱Transformer子模块的工作方式沿用标准Transformer的多头注意力机制：
在输入特征影像经过多头注意力层时，针对所述输入特征影像中每个输入像元的嵌入元素
Figure FDA0004144223250000031
在每个头中按照如下公式计算得到对应的查询query矩阵/>
Figure FDA0004144223250000032
关键字key矩阵/>
Figure FDA0004144223250000033
和值value矩阵/>
Figure FDA0004144223250000034
Figure FDA0004144223250000035
式中，WQ表示所述查询query矩阵的投影矩阵，WK表示所述关键字key矩阵的投影矩阵，WV表示所述值value矩阵的投影矩阵，这三个投影矩阵在不同的像元之间是共享的，i表示所述每个输入像元在所述输入特征影像中的所在行数，j表示所述每个输入像元在所述输入特征影像中的所在列数，d表示所述查询query矩阵、所述关键字key矩阵和所述值value矩阵的维数；
针对所述每个输入像元，通过并行执行N次Attention函数获取到N个头的计算结果，并将它们串联后乘以权重矩阵WO，得到对应的且在不同光谱波段之间的自注意力特征
Figure FDA0004144223250000036
其中，所述Attention函数的计算公式如下：
Figure FDA0004144223250000037
式中，SoftMax()表示归一化指数函数，T表示矩阵转置符号，B表示相对位置编码，它是一套可学习的参数。
5.根据权利要求1所述的高光谱遥感图像超分辨率重建方法，其特征在于，所述空间Transformer子模块的工作方式如下：
将尺寸大小为H×W×C的输入特征影像分割至(H×W)/(m2)个相互不重叠的局部窗体中，其中，每个局部窗体的尺寸大小为m×m×C，m表示大于等于2的正整数；
针对所述每个局部窗体，单独计算得到对应的且在不同像元之间的自注意力特征。
6.根据权利要求3或5所述的高光谱遥感图像超分辨率重建方法，其特征在于，将尺寸大小为H×W×C的输入特征影像分割至(H×W)/(m2)个相互不重叠的局部窗体中，包括：将尺寸大小为H×W×C的输入特征影像分割至(H×W)/(m2)个相互不重叠的局部窗体中，并在每次分割局部窗体之前将所述输入特征影像向下及向右移动m/2个像元，其中，m表示大于等于2的正整数。
7.根据权利要求1所述的高光谱遥感图像超分辨率重建方法，其特征在于，所述光谱-空间Transformer模型的损失函数Ltotal按照如下公式进行计算：
Figure FDA0004144223250000041
式中，L1表示基于平均绝对误差的损失函数，LG表示光谱梯度损失函数，IGT表示真实的高分辨率影像，
Figure FDA0004144223250000042
表示真实的高分辨率影像的光谱梯度，ISR表示重建输出的高分辨率影像，/>
Figure FDA0004144223250000043
表示重建输出的高分辨率影像的光谱梯度，λ1和λ2表示一组超参数且有λ1+λ2＝1。
8.一种高光谱遥感图像超分辨率重建装置，其特征在于，包括有依次通信连接的数据获取单元、影像剪切单元、下采样处理单元、重建模型训练单元和重建模型应用单元；
所述数据获取单元，用于获取真实的高光谱遥感图像数据集；
所述影像剪切单元，用于将从所述高光谱遥感图像数据集的部分区域中剪切出的且尺寸大小分别为
Figure FDA0004144223250000044
的多个方形图像作为在训练集中的多个高分辨率影像，其中，/>
Figure FDA0004144223250000045
和/>
Figure FDA0004144223250000046
分别表示正整数，所述多个方形图像与所述多个高分辨率影像一一对应；
所述下采样处理单元，用于采用比例因子2κ对所述多个高分辨率影像中的各个高分辨率影像分别进行下采样处理，得到与所述多个高分辨率影像一一对应的且尺寸大小分别为H×W的多个低分辨率影像，其中，H表示正整数且有
Figure FDA0004144223250000047
W表示正整数且有/>
Figure FDA0004144223250000048
κ表示正整数；
所述重建模型训练单元，还通信连接所述影像剪切单元，用于将所述多个低分辨率影像作为输入项，以及将所述多个高分辨率影像作为输出项，导入光谱-空间Transformer模型进行训练，得到图像超分辨率重建模型，其中，所述光谱-空间Transformer模型的网络结构包括有线性嵌入层、依次连接的K个残差组块、合并层、上采样层、全域跳跃连接和反嵌入层，所述残差组块由M个集成Transformer模块和一个块内合并层依次串联而成，并在所述M个集成Transformer模块中的首个集成Transformer模块的输入端与所述块内合并层的输出端之间增加有第一残差连接，所述集成Transformer模块包括有一个3D Transformer子模块或两个多头自注意力MSA子模块，所述3D Transformer子模块用于提取局部窗口内所有光谱波段之间的自注意力特征，所述两个多头自注意力MSA子模块包括有作用于光谱域的光谱Transformer子模块和作用于空间域的空间Transformer子模块，所述光谱Transformer子模块用于提取单个像元内不同光谱波段之间的自注意力特征，所述空间Transformer子模块用于提取局部窗口内不同像元之间的自注意力特征，K和M分别表示大于等于2的正整数；
所述线性嵌入层，用于将低分辨率输入影像
Figure FDA0004144223250000051
的光谱波段数目映射至更高维的特征空间，并提取所述低分辨率输入影像ILR的浅层特征，得到嵌入后特征影像
Figure FDA0004144223250000052
F0＝HE(ILR)，其中，Cin表示所述低分辨率输入影像ILR的光谱波段数目，C表示所述嵌入后特征影像F0的通道数，C与Cin的比值为正整数，/>
Figure FDA0004144223250000053
表示真实图像，HE()表示所述线性嵌入层的处理函数；
所述K个残差组块，用于提取所述嵌入后特征影像F0的深层特征，得到深层特征影像
Figure FDA0004144223250000054
Figure FDA0004144223250000055
其中，k表示在区间[1,K]内取值的正整数，/>
Figure FDA0004144223250000056
表示在所述K个残差组块中的第k个残差组块的处理函数；
所述合并层，用于对所述深层特征影像FK进行特征整合，得到提取有更深层次特征的更深层特征影像
Figure FDA0004144223250000057
FM＝HM(FK)，其中，HM()表示所述合并层的处理函数；
所述上采样层，用于对所述嵌入后特征影像F0和所述更深层特征影像FM进行特征影像的上采样处理，得到上采样后特征影像
Figure FDA0004144223250000058
FHF＝HU(F0+FM)，其中，HU()表示所述上采样层的处理函数；
所述全域跳跃连接，用于先通过双立方插值法对所述嵌入后特征影像F0进行上采样处理，然后经过边界为1的卷积层对上采样处理结果进行特征提取，最后将提取得到的特征影像与所述上采样后特征影像FHF相加，得到组合特征影像
Figure FDA0004144223250000059
Figure FDA00041442232500000510
其中，Hcov()表示所述卷积层的处理函数，/>
Figure FDA00041442232500000511
表示基于双立方插值法的上采样处理函数；
所述反嵌入层，用于将所述组合特征影像FSK的所述通道数C还原为所述光谱波段数目Cin，得到作为图像超分辨率重建结果的高分辨率输出影像
Figure FDA00041442232500000512
IHR＝HUE(FSK)，其中，HUE()表示所述反嵌入层的处理函数；
所述重建模型应用单元，用于将待重建的且低分辨率的高光谱遥感图像输入所述图像超分辨率重建模型，输出得到高分辨率的高光谱遥感图像。
9.一种计算机设备，其特征在于，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如权利要求1～7中任意一项所述的高光谱遥感图像超分辨率重建方法。
10.一种计算机可读存储介质，其特征在于,所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如权利要求1～7中任意一项所述的高光谱遥感图像超分辨率重建方法。
CN202310298937.0A 2023-03-24 2023-03-24 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备 Pending CN116309070A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310298937.0A CN116309070A (zh) 2023-03-24 2023-03-24 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310298937.0A CN116309070A (zh) 2023-03-24 2023-03-24 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备

Publications (1)

Publication Number Publication Date
CN116309070A true CN116309070A (zh) 2023-06-23

Family

ID=86784884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310298937.0A Pending CN116309070A (zh) 2023-03-24 2023-03-24 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN116309070A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503292A (zh) * 2023-06-27 2023-07-28 南京信息工程大学 一种基于SwinIR的高光谱遥感图像去噪方法
CN116777964A (zh) * 2023-08-18 2023-09-19 上海航天空间技术有限公司 基于纹理显著性赋权的遥感影像融合方法及***
CN117274957A (zh) * 2023-11-23 2023-12-22 西南交通大学 一种基于深度学习的道路交通标志检测方法及***
CN117372564A (zh) * 2023-12-04 2024-01-09 长春理工大学 一种重构多光谱图像的方法、***及存储介质
CN118038212A (zh) * 2024-04-10 2024-05-14 北京数慧时空信息技术有限公司 遥感图像超分模型的训练方法和遥感图像超分方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503292A (zh) * 2023-06-27 2023-07-28 南京信息工程大学 一种基于SwinIR的高光谱遥感图像去噪方法
CN116503292B (zh) * 2023-06-27 2023-09-12 南京信息工程大学 一种基于SwinIR的高光谱遥感图像去噪方法
CN116777964A (zh) * 2023-08-18 2023-09-19 上海航天空间技术有限公司 基于纹理显著性赋权的遥感影像融合方法及***
CN116777964B (zh) * 2023-08-18 2023-10-31 上海航天空间技术有限公司 基于纹理显著性赋权的遥感影像融合方法及***
CN117274957A (zh) * 2023-11-23 2023-12-22 西南交通大学 一种基于深度学习的道路交通标志检测方法及***
CN117274957B (zh) * 2023-11-23 2024-03-01 西南交通大学 一种基于深度学习的道路交通标志检测方法及***
CN117372564A (zh) * 2023-12-04 2024-01-09 长春理工大学 一种重构多光谱图像的方法、***及存储介质
CN117372564B (zh) * 2023-12-04 2024-03-08 长春理工大学 一种重构多光谱图像的方法、***及存储介质
CN118038212A (zh) * 2024-04-10 2024-05-14 北京数慧时空信息技术有限公司 遥感图像超分模型的训练方法和遥感图像超分方法

Similar Documents

Publication Publication Date Title
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
Wang et al. Ultra-dense GAN for satellite imagery super-resolution
CN116309070A (zh) 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN108830796B (zh) 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法
Rao et al. A residual convolutional neural network for pan-shaprening
Fu et al. Bidirectional 3D quasi-recurrent neural network for hyperspectral image super-resolution
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
CN114119444B (zh) 一种基于深度神经网络的多源遥感图像融合方法
CN112819737B (zh) 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法
CN111127374A (zh) 一种基于多尺度密集网络的Pan-sharpening方法
CN112819910A (zh) 基于双鬼注意力机制网络的高光谱图像重建方法
CN108288256A (zh) 一种多光谱马赛克图像复原方法
Li et al. HyperNet: A deep network for hyperspectral, multispectral, and panchromatic image fusion
CN113888491B (zh) 基于非局部特征的多级高光谱图像递进超分方法及***
He et al. Remote sensing image super-resolution using deep–shallow cascaded convolutional neural networks
CN113744136A (zh) 基于通道约束多特征融合的图像超分辨率重建方法和***
CN115760814A (zh) 一种基于双耦合深度神经网络的遥感图像融合方法及***
CN117788296B (zh) 基于异构组合深度网络的红外遥感图像超分辨率重建方法
Deng et al. Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution
CN115439325A (zh) 低分辨率高光谱图像处理方法、装置、计算机程序产品
CN115375548A (zh) 一种超分辨率的遥感图像生成方法、***、设备和介质
CN114724023A (zh) 一种基于孪生网络的水体变化检测方法
Xu et al. AACNet: Asymmetric attention convolution network for hyperspectral image dehazing
Zhan et al. A novel cross-scale octave network for hyperspectral and multispectral image fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination