CN114092834B - 基于空谱联合残差修正网络的无监督高光谱图像盲融合方法及*** - Google Patents

基于空谱联合残差修正网络的无监督高光谱图像盲融合方法及*** Download PDF

Info

Publication number
CN114092834B
CN114092834B CN202210076344.5A CN202210076344A CN114092834B CN 114092834 B CN114092834 B CN 114092834B CN 202210076344 A CN202210076344 A CN 202210076344A CN 114092834 B CN114092834 B CN 114092834B
Authority
CN
China
Prior art keywords
network
space
spectrum
spatial
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210076344.5A
Other languages
English (en)
Other versions
CN114092834A (zh
Inventor
徐洋
王婷婷
吴泽彬
韦志辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202210076344.5A priority Critical patent/CN114092834B/zh
Publication of CN114092834A publication Critical patent/CN114092834A/zh
Application granted granted Critical
Publication of CN114092834B publication Critical patent/CN114092834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于空谱联合残差修正网络的无监督高光谱图像盲融合方法及***，方法包括：建立高光谱图像的退化网络结构，用来模拟空间和光谱降采样过程；建立空间和光谱残差融合网络模型，利用退化模型得到的低分辨率结果与训练数据的差值作为融合网络的输入，即空间和光谱维度上的残差进行融合，得到对应于输入数据的残差图；对初始化数据进行修正，并将修正后的结果再送入退化网络和空谱联合修正网络中进行多次迭代以提高融合结果精度。本发明使用适用于无监督高光谱图像盲融合的空谱联合修正网络，空谱联合修正网络可以获得输入高光谱图像和真实值之间的误差图。

Description

基于空谱联合残差修正网络的无监督高光谱图像盲融合方法 及***
技术领域
本发明属于遥感图像处理技术领域，具体涉及一种基于空谱联合残差修正网络的无监督高光谱图像盲融合方法及***。
背景技术
高光谱图像融合是高光谱图像遥感领域的一个重要的应用方向。高光谱图像融合是利用低空间分辨率高光谱图像中丰富的光谱信息和高空间分辨率多光谱图像中丰富的空间信息合成高空间分辨率高光谱图像数据，这些数据可以为后续更复杂的图像处理任务提供高质量的训练集。由于现有传感器自身硬件条件的限制，很难直接获取同时具有高空间分辨率和高光谱分辨率的图像，因此可以通过软件对采集的数据进行后处理以提高遥感图像的空间和光谱分辨率。
高光谱图像融合的难点在于如何有效地利用输入数据的互补信息和冗余信息提高图像的空间和光谱分辨率。成分替换，多分辨率分析和张量分解等传统方法通过假设低分辨率图像和高分辨率图像之间的强关联映射设计重构模型。而从真实场景中获取的数据在空间和光谱方面都有很大的差异，基于假设的模型不能灵活地表达不同的图像结构。与传统方法不同，基于深度学习的高光谱图像融合方法利用神经网络的反向传播和优化算法，可以有效地解决优化问题，取得良好的重建效果；其特征学习能力强，不需特定的先验模型，并且可以直接在一组训练数据上进行训练。
但是基于深度学习的高光谱图像融合仍然存在以下问题：（1）空间下采样算子和光谱响应矩阵这两个参数取决于成像设备，许多超分辨方法通过模拟成像设备信息假设这两个算子已知，假设的算子与实际参数信息的误差越大，融合结果的精度就会越偏离真实的高光谱图像；（2）通过成像设备获取的图像往往是降低一个维度的分辨率来提高另外一个维度的分辨率，即很难直接获取高空间分辨率高光谱图像，那么构建有监督的训练模型并不符合实际需求；（3）在空间退化算子和光谱响应矩阵未知的情况下进行无监督的融合是个高度不适定问题，因为无监督的训练要求损失函数不使用真实的高空间分辨率高光谱图像，则只能间接评估图像质量例如使用输出结果退化后的低分辨率图像和已知数据集进行比较，如何利用有限的低分辨率数据训练无监督的盲融合网络以及设计有效的损失函数是一个难点。
发明内容
本发明的目的在于提供一种基于空谱联合残差修正网络的无监督高光谱图像盲融合方法及***。
实现本发明目的的技术解决方案为：一种基于空谱联合残差修正网络的无监督高光谱图像盲融合方法，包括以下步骤：
步骤1，建立高光谱图像的退化网络结构，包括空间退化模型和光谱退化模型，分别用来模拟在空间下采样算子和光谱响应矩阵未知情况下的空间和光谱降采样过程；
步骤2，建立空间和光谱残差融合网络模型，将步骤1中的退化模型得到的低分辨率结果与训练数据的差值作为融合网络的输入，即空间和光谱维度上的残差进行融合，从而得到对应于输入数据的空谱联合残差图；
步骤3，利用步骤2中得到残差图对输入的高光谱图像进行修正，并将修正后的结果再送入退化模型和残差融合修正网络中进行多次迭代，用参数固定的退化模型对修正结果进行下采样以构建无监督的目标函数。
一种基于空谱联合残差修正网络的无监督高光谱图像盲融合***，包括：
第一模块，用于建立高光谱图像的退化网络结构，包括空间退化模型和光谱退化模型，分别用来模拟在空间下采样算子和光谱响应矩阵未知情况下的空间和光谱降采样过程；
第二模块，用于建立空间和光谱残差融合网络模型，将退化模型得到的低分辨率结果与训练数据的差值作为融合网络的输入，即空间和光谱维度上的残差进行融合，从而得到对应于输入数据的空谱联合残差图；
第三模块，利用残差图对输入的高光谱图像进行修正，并将修正后的结果再送入退化模型和残差融合修正网络中进行多次迭代，用参数固定的退化模型对修正结果进行下采样以构建无监督的目标函数。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的基于空谱联合残差修正网络的无监督高光谱图像盲融合方法。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的基于空谱联合残差修正网络的无监督高光谱图像盲融合方法。
本发明与现有技术相比，其显著优点在于：（1）本发明使用适用于无监督高光谱图像盲融合的空谱联合修正网络，在空间退化算子和光谱响应矩阵未知的情况下训练空间退化网络和光谱退化网络；（2）本发明构建了空谱联合残差修正网络，利用固定参数的退化网络输出的退化结果和已知数据获作差获取空间和光谱上的残差，将残差进行融合并利用融合结果修正初始化高光谱数据；将修正结果进行多次迭代提高精度；利用退化网络对最终输出结果进行降采样并和已知数据一起构建无监督的损失函数，通过网络训练优化损失函数得到最终重建结果；（3）无监督的盲融合网络可以在不需要真实高分辨率数据且空间退化算子和光谱响应矩阵未知情况下训练网络参数，更符合实际应用的同时能取得更好的融合结果。
下面结合附图详细说明本发明提供的无监督高光谱图像盲融合方法。
附图说明
图1是本发明基于空谱联合残差修正网络的无监督高光谱图像盲融合方法流程图。
图2是本发明空谱联合修正网络迭代优化重建过程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
如图1所示，本发明的一种基于空谱联合残差修正网络的无监督高光谱图像盲融合方法，包括以下步骤：
（1）根据高光谱数据建立空间退化和光谱退化模型：
步骤1、从成像设备中获取低空间分辨率高光谱图像
Figure 762020DEST_PATH_IMAGE001
和高空间分辨率多光谱图像
Figure 741478DEST_PATH_IMAGE002
，使用高斯模糊对
Figure 521215DEST_PATH_IMAGE002
进行下采样获取低空间分辨率多光谱图像
Figure 978741DEST_PATH_IMAGE003
，用双三次插值模拟生成高空间分辨率高光谱图像
Figure 793113DEST_PATH_IMAGE004
对应的低分辨率高光谱图像
Figure 677893DEST_PATH_IMAGE005
；
步骤2、建立退化网络结构，包括空间退化网络和光谱退化网络模型，设置好参数，输入
Figure 944926DEST_PATH_IMAGE001
和
Figure 206143DEST_PATH_IMAGE003
图像对训练光谱退化模型，输入
Figure 875022DEST_PATH_IMAGE002
和
Figure 868385DEST_PATH_IMAGE003
图像对训练空间退化模型。
（2）空谱联合修正网络重建高分辨率高光谱图像：
步骤3、建立空间和光谱残差融合网络模型，利用退化模型得到低分辨率结果与训练数据的差值作为融合网络的输入，即空间和光谱维度上的残差进行融合，从而得到对应于输入数据的残差图；
步骤4、利用残差图对初始化数据进行修正，并将修正后的结果再送入退化模型和空谱联合修正网络中进行多次迭代以提高融合结果精度，利于已经固定参数的退化模型对融合结果进行下采样以构建无监督的目标函数。
本发明首先构建高光谱图像的退化网络模型，该模型可以在空间退化算子和光谱响应矩阵未知情况下模拟输入高光谱图像的低空间分辨率图像和多光谱图像。其中空间退化网络由三层神经网络和激活函数构成，而光谱退化网络由一层神经网络和激活函数构成。使用简单的网络结构可以缓解过拟合，使得退化模型更具有泛化性。通过比较已知数据和模拟的低空间分辨多光谱图像来构成退化模型的损失函数然后训练优化损失函数。
根据高光谱数据建立空谱联合修正网络模型过程为：
步骤1，从成像设备中获取低空间分辨率高光谱图像
Figure 685032DEST_PATH_IMAGE001
和高空间分辨率多光谱图像
Figure 422044DEST_PATH_IMAGE002
，使用高斯模糊对
Figure 7746DEST_PATH_IMAGE002
进行下采样获取低空间分辨率多光谱图像
Figure 437590DEST_PATH_IMAGE003
；
不同于基于深度学习的有监督融合方法拟合真实高光谱图像，即在训练过程中需要低分辨率的高光谱图像和对应的高分辨率高光谱图像，本发明提出的融合方法使用无监督的方式训练网络。利用成像设备采集到的数据包括低空间分辨率高光谱图像
Figure 741532DEST_PATH_IMAGE001
和高空间分辨率多光谱图像
Figure 16656DEST_PATH_IMAGE002
，其中
Figure 660127DEST_PATH_IMAGE006
，
Figure 57610DEST_PATH_IMAGE007
，
Figure 786532DEST_PATH_IMAGE008
和
Figure 927663DEST_PATH_IMAGE009
表示光谱维度，
Figure 425641DEST_PATH_IMAGE010
和
Figure 283042DEST_PATH_IMAGE011
表示图像宽度，
Figure 233680DEST_PATH_IMAGE012
和
Figure 178503DEST_PATH_IMAGE013
表示图像长度；使用高斯模糊处理高分辨率多光谱图像
Figure 530986DEST_PATH_IMAGE002
以模拟相同环境下的低分辨率高光谱图像
Figure 473535DEST_PATH_IMAGE003
。
步骤2，建立高光谱图像的退化网络结构，包括空间退化模型
Figure 973786DEST_PATH_IMAGE014
和光谱退化模型
Figure 394403DEST_PATH_IMAGE015
，分别用来模拟在空间下采样算子和光谱响应矩阵未知情况下的空间和光谱降采样过程；
Figure 929290DEST_PATH_IMAGE016
，其中DA为空间退化模型，
Figure 42739DEST_PATH_IMAGE017
为通过空间退化网络对
Figure 967970DEST_PATH_IMAGE002
进行空间降采样后生成的低空间分辨率多光谱图像；
Figure 254595DEST_PATH_IMAGE018
，其中DE为光谱退化模型，
Figure 316092DEST_PATH_IMAGE019
为通过光谱退化网络对
Figure 662759DEST_PATH_IMAGE020
进行光谱降采样后生成的低空间分辨率多光谱图像；
对空间退化网络进行训练，其损失函数为：
Figure 75286DEST_PATH_IMAGE021
对光谱退化网络进行预训练，其目标函数为：
Figure 103285DEST_PATH_IMAGE022
其中
Figure 347185DEST_PATH_IMAGE023
为对已知数据高空间分辨率多光谱图像
Figure 536857DEST_PATH_IMAGE002
进行高斯模糊得到的空间下采样结果，高斯核的平均值为0，标准偏差为2；损失函数采用L1范数函数，因为其实现简单且在高光谱图像超分辨率方面取得了较好的效果。
步骤3，建立空间和光谱残差融合网络模型FS，将退化模型得到的低分辨率结果与训练数据的差值作为融合网络的输入，即空间和光谱维度上的残差进行融合，从而得到对应于输入数据的残差图；
步骤3.1、将
Figure 498997DEST_PATH_IMAGE024
进行双三差值上采样得到高空间分辨率高光谱图像
Figure 65108DEST_PATH_IMAGE025
作为初始化数据，利用步骤1中训练好的退化网络获取初始化高光谱图像的空间和光谱下采样结果：
Figure 429093DEST_PATH_IMAGE026
Figure 789667DEST_PATH_IMAGE027
其中，
Figure 176786DEST_PATH_IMAGE025
为
Figure 608905DEST_PATH_IMAGE024
双三差值上采样的结果，
Figure 499500DEST_PATH_IMAGE028
是对
Figure 358872DEST_PATH_IMAGE025
进行空间下采样得到的低空间分辨率高光谱图像，
Figure 967708DEST_PATH_IMAGE029
是对
Figure 203517DEST_PATH_IMAGE025
进行光谱下采样得到的高空间分辨率多光谱图像；
步骤3.2、将退化后的结果分别和相应的已知数据
Figure 214198DEST_PATH_IMAGE002
和
Figure 244471DEST_PATH_IMAGE024
作差来获得被降采样的数据和真实数据在空间和光谱上的残差，其保留了输入数据的高频信息，保证网络在前向传播过程中不丢失细节信息；然后将空间和光谱残差图送入残差融合网络，利用融合网络对齐空间误差和光谱误差在两个维度上的大小并在保持光谱一致性的同时优化空间细节，最终获得空谱联合的残差图：
Figure 340603DEST_PATH_IMAGE030
Figure 52207DEST_PATH_IMAGE031
Figure 979712DEST_PATH_IMAGE032
步骤4，利用步骤3中得到残差图对初始化数据进行修正，并将修正后的结果再送入退化模型和残差融合修正网络中进行多次迭代，用参数固定的退化模型对修正结果进行下采样以构建无监督的目标函数：
步骤4.1、利用步骤3中得到的空谱联合残差图对本次通过空谱联合修正网络的高光谱图像进行修正：
Figure 118569DEST_PATH_IMAGE033
步骤4.2、将得到的重建结果再送入退化和残差融合修正网络中进行多次迭代以提高重建图像精度：
Figure 764314DEST_PATH_IMAGE034
Figure 14030DEST_PATH_IMAGE035
Figure 61620DEST_PATH_IMAGE036
Figure 371379DEST_PATH_IMAGE037
…
Figure 442103DEST_PATH_IMAGE038
其中
Figure 557827DEST_PATH_IMAGE039
表示经过第i次（
Figure 397607DEST_PATH_IMAGE040
）空谱联合残差修正网络迭代后得到的融合结果，训练过程如图2所示。
步骤4.3、利用参数已经固定的退化模型，对最终输出的高光谱图像进行空间和光谱下采样，得到的结果和已知数据一起构建无监督的损失函数
Figure 940584DEST_PATH_IMAGE041
，
其中
Figure 233025DEST_PATH_IMAGE042
为平衡因子，用来减小使用神经网络模拟退化模型对重建结果造成的误差，
Figure 152439DEST_PATH_IMAGE043
设定为0.1且由经验取得。
本发明的应用需要一定量的数据集支持，包括低分辨率高光谱图像和高空间分辨率多光谱图像，用于学习由神经网络构成的退化模型和空谱联合修正模型；在此基础上构成的无监督盲融合方法比许多有监督的深度学习方法更具有实用性且得到的融合结果精度更高。
本发明还提供一种基于空谱联合残差修正网络的无监督高光谱图像盲融合***，包括：
第一模块，用于建立高光谱图像的退化网络结构，包括空间退化模型和光谱退化模型，分别用来模拟在空间下采样算子和光谱响应矩阵未知情况下的空间和光谱降采样过程；
第二模块，用于建立空间和光谱残差融合网络模型，将退化模型得到的低分辨率结果与训练数据的差值作为融合网络的输入，即空间和光谱维度上的残差进行融合，从而得到对应于输入数据的空谱联合残差图；
第三模块，利用残差图对输入的高光谱图像进行修正，并将修正后的结果再送入退化模型和残差融合修正网络中进行多次迭代，用参数固定的退化模型对修正结果进行下采样以构建无监督的目标函数。
上述第一~第三模块的具体实现方式与前述的无监督高光谱图像盲融合方法相同，此处不再赘述。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (3)

1.一种基于空谱联合残差修正网络的无监督高光谱图像盲融合方法，其特征在于，包括以下步骤：
步骤1，从成像设备中获取低空间分辨率高光谱图像
Figure DEST_PATH_IMAGE001
和高空间分辨率多光谱图像
Figure 568210DEST_PATH_IMAGE002
，使用高斯模糊对
Figure 39643DEST_PATH_IMAGE002
进行下采样获取低空间分辨率多光谱图像
Figure DEST_PATH_IMAGE003
；其中
Figure 31870DEST_PATH_IMAGE004
，
Figure DEST_PATH_IMAGE005
，
Figure 930556DEST_PATH_IMAGE006
，
Figure DEST_PATH_IMAGE007
和
Figure 649812DEST_PATH_IMAGE008
表示光谱维度，
Figure DEST_PATH_IMAGE009
和
Figure 393777DEST_PATH_IMAGE010
表示图像宽度，
Figure DEST_PATH_IMAGE011
和
Figure 771669DEST_PATH_IMAGE012
表示图像长度；
步骤2，建立高光谱图像的退化网络结构，包括空间退化模型DA和光谱退化模型DE，分别用来模拟在空间下采样算子和光谱响应矩阵未知情况下的空间和光谱降采样过程；
Figure DEST_PATH_IMAGE013
，其中DA为空间退化模型，
Figure 575677DEST_PATH_IMAGE014
为通过空间退化网络对
Figure 39019DEST_PATH_IMAGE002
进行空间降采样后生成的低空间分辨率多光谱图像；
Figure DEST_PATH_IMAGE015
，其中DE为光谱退化模型，
Figure 586675DEST_PATH_IMAGE016
为通过光谱退化网络对
Figure DEST_PATH_IMAGE017
进行光谱降采样后生成的低空间分辨率多光谱图像；
对空间退化网络进行训练，其损失函数为：
Figure 553494DEST_PATH_IMAGE018
对光谱退化网络进行预训练，其目标函数为：
Figure DEST_PATH_IMAGE019
其中
Figure 793982DEST_PATH_IMAGE003
为对已知数据高空间分辨率多光谱图像
Figure 744621DEST_PATH_IMAGE002
进行高斯模糊得到的空间下采样结果；损失函数采用L1范数函数；
步骤3，建立空间和光谱残差融合网络模型FS，将退化模型得到的低分辨率结果与训练数据的差值作为融合网络的输入，即空间和光谱维度上的残差进行融合，从而得到对应于输入数据的残差图；
步骤3.1、将
Figure 361547DEST_PATH_IMAGE001
进行双三次插值上采样得到高空间分辨率高光谱图像
Figure 448452DEST_PATH_IMAGE020
作为初始化数据，利用步骤1中训练好的退化网络获取初始化高光谱图像的空间和光谱下采样结果：
Figure DEST_PATH_IMAGE021
其中，
Figure 859841DEST_PATH_IMAGE022
为
Figure DEST_PATH_IMAGE023
双三次插值上采样的结果，
Figure 766618DEST_PATH_IMAGE024
是对
Figure DEST_PATH_IMAGE025
进行空间下采样得到的低空间分辨率高光谱图像，
Figure 921655DEST_PATH_IMAGE026
是对
Figure DEST_PATH_IMAGE027
进行光谱下采样得到的高空间分辨率多光谱图像；
步骤3.2、将退化后的结果分别和相应的已知数据
Figure 863067DEST_PATH_IMAGE028
和
Figure 710937DEST_PATH_IMAGE001
作差来获得被降采样的数据和真实数据在空间和光谱上的残差；然后将空间和光谱残差图送入残差融合网络，利用融合网络对齐空间误差和光谱误差在两个维度上的大小并在保持光谱一致性的同时优化空间细节，最终获得空谱联合的残差图：
Figure DEST_PATH_IMAGE029
Figure 105009DEST_PATH_IMAGE030
Figure DEST_PATH_IMAGE031
Figure 63738DEST_PATH_IMAGE032
表示空间和光谱残差融合网络模型；
步骤4，利用步骤3中得到残差图对初始化数据进行修正，并将修正后的结果再送入退化模型和残差融合修正网络中进行多次迭代，用参数固定的退化模型对修正结果进行下采样以构建无监督的目标函数：
步骤4.1、利用步骤3中得到的空谱联合残差图对本次通过空谱联合修正网络的高光谱图像进行修正：
Figure 859656DEST_PATH_IMAGE033
步骤4.2、将得到的重建结果再送入退化模型和残差融合修正网络中进行多次迭代：
Figure DEST_PATH_IMAGE034
Figure 612848DEST_PATH_IMAGE035
Figure DEST_PATH_IMAGE036
Figure 759795DEST_PATH_IMAGE037
…
Figure DEST_PATH_IMAGE038
其中
Figure 253706DEST_PATH_IMAGE039
表示经过第i次空谱联合残差修正网络迭代后得到的最终融合结果，i≤5；
步骤4.3、利用参数已经固定的退化模型，对最终输出的高光谱图像进行空间和光谱下采样，得到的结果和已知数据一起构建无监督的损失函数
Figure DEST_PATH_IMAGE040
其中
Figure 904130DEST_PATH_IMAGE041
为平衡因子，用来减小使用神经网络模拟退化模型对重建结果造成的误差。
2.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1所述的基于空谱联合残差修正网络的无监督高光谱图像盲融合方法。
3.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1所述的基于空谱联合残差修正网络的无监督高光谱图像盲融合方法。
CN202210076344.5A 2022-01-24 2022-01-24 基于空谱联合残差修正网络的无监督高光谱图像盲融合方法及*** Active CN114092834B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210076344.5A CN114092834B (zh) 2022-01-24 2022-01-24 基于空谱联合残差修正网络的无监督高光谱图像盲融合方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210076344.5A CN114092834B (zh) 2022-01-24 2022-01-24 基于空谱联合残差修正网络的无监督高光谱图像盲融合方法及***

Publications (2)

Publication Number Publication Date
CN114092834A CN114092834A (zh) 2022-02-25
CN114092834B true CN114092834B (zh) 2022-04-15

Family

ID=80309131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210076344.5A Active CN114092834B (zh) 2022-01-24 2022-01-24 基于空谱联合残差修正网络的无监督高光谱图像盲融合方法及***

Country Status (1)

Country Link
CN (1) CN114092834B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972802B (zh) * 2022-04-18 2024-05-31 北京理工大学 一种基于混合监督模型的高光谱图像恢复方法和***
CN115760670B (zh) * 2023-01-06 2023-05-23 之江实验室 基于网络隐式先验的无监督高光谱融合方法及装置
CN116429710B (zh) * 2023-06-15 2023-09-26 武汉大学人民医院（湖北省人民医院） 一种药物组分检测方法、装置、设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052130A (zh) * 2021-04-20 2021-06-29 辽宁工程技术大学 基于深度残差网络和边缘保护滤波的高光谱影像分类方法
CN113129247A (zh) * 2021-04-21 2021-07-16 重庆邮电大学 基于自适应多尺度残差卷积的遥感图像融合方法及介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198463B (zh) * 2013-04-07 2014-08-27 北京航空航天大学 基于整体结构和空间细节信息融合的光谱图像全色锐化方法
US10088662B2 (en) * 2015-04-30 2018-10-02 Farnoud KAZEMZADEH System, method and apparatus for ultra-resolved ultra-wide field-of-view multispectral and hyperspectral holographic microscopy
CN104867124B (zh) * 2015-06-02 2017-10-24 西安电子科技大学 基于对偶稀疏非负矩阵分解的多光谱与全色图像融合方法
CN109360147B (zh) * 2018-09-03 2020-08-14 浙江大学 基于彩色图像融合的多光谱图像超分辨率重建方法
CN110148103B (zh) * 2019-04-29 2020-12-25 中国科学院西安光学精密机械研究所 基于联合优化的高光谱和多光谱图像融合方法、计算机可读存储介质、电子设备
CN110415199B (zh) * 2019-07-26 2021-10-19 河海大学 基于残差学习的多光谱遥感图像融合方法及装置
CN112465733B (zh) * 2020-08-31 2022-06-28 长沙理工大学 基于半监督学习的遥感图像融合方法、装置、介质及设备
CN113763299B (zh) * 2021-08-26 2022-10-14 中国人民解放军军事科学院国防工程研究院工程防护研究所 一种全色与多光谱图像融合方法、装置及其应用
CN113744136A (zh) * 2021-09-30 2021-12-03 华中科技大学 基于通道约束多特征融合的图像超分辨率重建方法和***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052130A (zh) * 2021-04-20 2021-06-29 辽宁工程技术大学 基于深度残差网络和边缘保护滤波的高光谱影像分类方法
CN113129247A (zh) * 2021-04-21 2021-07-16 重庆邮电大学 基于自适应多尺度残差卷积的遥感图像融合方法及介质

Also Published As

Publication number Publication date
CN114092834A (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
CN114092834B (zh) 基于空谱联合残差修正网络的无监督高光谱图像盲融合方法及***
Wang et al. Dnu: Deep non-local unrolling for computational spectral imaging
Xiang et al. Detail-injection-model-inspired deep fusion network for pansharpening
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
CN112184554B (zh) 一种基于残差混合膨胀卷积的遥感图像融合方法
CN112634137A (zh) 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法
CN114119444B (zh) 一种基于深度神经网络的多源遥感图像融合方法
CN109883548B (zh) 基于优化启发的神经网络的光谱成像***的编码优化方法
CN109146787B (zh) 一种基于插值的双相机光谱成像***的实时重建方法
CN109886898B (zh) 基于优化启发的神经网络的光谱成像***的成像方法
CN115272078A (zh) 基于多尺度空-谱特征学习的高光谱图像超分辨率重建方法
Yang et al. License plate image super-resolution based on convolutional neural network
Li et al. CADUI: Cross-attention-based depth unfolding iteration network for pansharpening remote sensing images
CN117252761A (zh) 一种跨传感器遥感图像超分辨率增强方法
Yan et al. Md³net: Integrating model-driven and data-driven approaches for pansharpening
CN115660063A (zh) 一种遥感影像超分辨率模型训练方法和装置
Yang et al. Image super-resolution reconstruction based on improved Dirac residual network
US20210334939A1 (en) Method and architecture for blind image deconvolution
Zhang et al. Degradation learning for unsupervised hyperspectral image super-resolution based on generative adversarial network
CN113689370A (zh) 基于深度卷积神经网络的遥感图像融合方法
CN112330549A (zh) 一种基于盲解卷积网络的模糊图像盲复原方法及***
Su et al. Graph neural net using analytical graph filters and topology optimization for image denoising
CN116612005A (zh) 高光谱图像超分辨率重建方法、装置和电子设备
Xu et al. Spatially varying prior learning for blind hyperspectral image fusion
Wei et al. Diffusion models for spatio-temporal-spectral fusion of homogeneous Gaofen-1 satellite platforms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant