CN113962913B - 一种融合光谱空间信息的深度互学习框架的构建方法 - Google Patents
一种融合光谱空间信息的深度互学习框架的构建方法 Download PDFInfo
- Publication number
- CN113962913B CN113962913B CN202111128666.1A CN202111128666A CN113962913B CN 113962913 B CN113962913 B CN 113962913B CN 202111128666 A CN202111128666 A CN 202111128666A CN 113962913 B CN113962913 B CN 113962913B
- Authority
- CN
- China
- Prior art keywords
- network
- image
- spectral
- hyperspectral
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003595 spectral effect Effects 0.000 title claims abstract description 68
- 238000010276 construction Methods 0.000 title claims abstract description 10
- 230000006870 function Effects 0.000 claims abstract description 37
- 238000001228 spectrum Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims description 54
- 230000004927 fusion Effects 0.000 claims description 47
- 238000012549 training Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 101100391182 Dictyostelium discoideum forI gene Proteins 0.000 claims description 2
- 238000012512 characterization method Methods 0.000 abstract description 2
- 238000013461 design Methods 0.000 description 9
- 230000000052 comparative effect Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 6
- 238000007500 overflow downdraw method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000005065 mining Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000013398 bayesian method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种融合光谱空间信息的深度互学***衡光谱和空间信息损失来联合训练两种深度网络，使得网络的性能获得提高。
Description
技术领域
本发明属于信息技术领域，设计图像处理技术，具体是一种融合光谱空间信息的深度互学习框架的构建方法。
背景技术
高光谱图像通常以数十至数百个连续且细分的光谱波段对目标区域同时成像，具有较高的光谱分辨率，但空间分辨率较低。全色图像通常为可见光范围内的单波段数据，具有较高的空间分辨率，但光谱分辨率较低。由于硬件的限制，高光谱图像往往不能得到较高的空间分辨率。而全色锐化过程被认为是将低分辨率的高光谱图像和高分辨率的全色图像融合生成高分辨率高光谱的过程。
目前，深度学习已经广泛应用于图像处理领域，但在全色锐化领域内出于探索的初级阶段。特别的，由于高光谱数据的高光谱分辨率和全色图像的高空间分辨率特点，近年来，越来越多的研究人员更倾向于探索特定的网络结构来提取高光谱或者全色图像的某一特性。但众所周知，基于深度学习的网络学习某一单独的特征优于学习多个特征。但现有的网络大多设计为提取“光谱+空间”特征的结构，网络在融合两个特征的过程中不免会同时对光谱特征和空间特征造成一定影响。为了减少融合过程中存在的影响，在网络中使用针对某一特性的损失函数也是较为常见的方法，如MSE损失、SAM损失等。
深度互学习策略最开始被应用于图像分类，其策略使用多个独立网络在不同的初始条件下进行训练并相互学习，最终使得所有网络都有所提高。而在全色锐化领域中，网络需要侧重空间维度和光谱维度两个特征。因此，将深度互学习策略引入进全色锐化领域中，通过两个网络分别学习不同特征，利用网络间相互学习来达到共同提高，是一个十分可行但目前没有尝试过的办法。
发明内容
为了充分利用高光谱图像的高光谱分辨率特征，以及全色图像的高空间分辨率特征，来降低图像处理的工作量和提高图像融合的准确度，本发明的目的在于，提供一种融合光谱空间信息的深度互学习框架的构建方法；解决现有技术中遥感图像融合不全面、融合质量和融合效果差的问题。
为了实现上述任务，本发明采用如下技术方案予以实现：
一种融合光谱空间信息的深度互学习框架的构建方法，包括以下步骤：
步骤一：获取同一场景相同角度的全色图像和高光谱图像作为数据集中的一个样本；获取多个场景的多对全色图像和高光谱图像，得到数据集；融合每个样本的全色图像和高光谱图像形成网络初始输入高光谱；
步骤二：网络初始输入高光谱分别输入光谱网络和空间网络，获得光谱网络和空间网络的结果和/>
步骤三：采用混合损失函数，基于深度互学习策略对步骤二中的光谱网络和空间网络进行训练，直至收敛，得到融合结果；
具体采用随机梯度下降算法训练光谱网络和空间网络，光谱网络和空间网络各自的损失函数为：
其中，和/>分别是光谱网络和空间网络各自的损失函数，/>是主损失函数，用来约束整体图像质量，/>和/>分别是约束空间信息的空间损失函数和约束光谱信息的光谱损失函数，λ1和λ2分别是空间损失和光谱损失的权重，y是参考高光谱图像，/>和/>分别是光谱和空间网络的输出高光谱图像。
可选的，对所述的高光谱图像进行上采样处理，达到与全色图像相同的尺寸；对所述的全色图像，首先进行限制对比度自适应直方图均衡化，获得边缘更加清楚的图像；然后通过引导滤波与上采样处理获得的高光谱图像进行融合，获得网络初始输入高光谱。
可选的，所述的上采样处理以及采用限制对比度自适应直方图均衡化处理的方法，包括以下步骤：
步骤2.1，在数据集中，采用双三次插值方法对原始高光谱图像进行间隔为4的上采样，获得与全色图像尺寸相同的低分辨率高光谱图像；
步骤2.2，在数据集中，采用限制对比度自适应直方图均衡化对全色图像进行半径为15，阈值为0.01的均衡化，来增强全色图像的空间细节；
步骤2.3，对于步骤2.1中获得的低分辨率高光谱和步骤2.2中获得的已增强的全色图像，通过引导滤波的方法，将两种数据融合，获得网络初始输入高光谱，即：
Hini＝G(Pg，Hup)；
其中，G为引导滤波，Pg为增强后的全色图像，Hup为获得的低分辨率高光谱，Hini为网络初始输入高光谱。
可选的，步骤二所述的光谱网络和空间网络包括：
步骤3.1，对于光谱网络的结果的获得，首先通过通用的光谱结构获得：
s＝f(P(F))；
其中，F是输入的特征图，P(·)是池化操作，f(·)是激活函数，s是得到的注意力向量；
然后，获得的s与F相乘，以获得注意力特征图
其中，si是注意力向量的第i个值，Fi是输入特征图的第i个特征图；
步骤3.2，对于空间网络的结果的获得，则通过残差的方法进行获得：
y＝y′+rescnn；
其中，y是参考高光谱图像，y′是网络输入的初始高光谱图像，rescnn是空谱网络学习的残差图。
可选的，步骤三所述的混合损失函数，包括：
步骤4.1，对于的选择，使用/>损失对图像的整体质量进行约束：
其中，y是参考高光谱图像，为网络输出图像；
步骤4.2，对于的选择，使用MSE损失对图像的空间信息进行约束：
其中，y是参考高光谱图像，是网络结果图像，MSE损失越小，y与/>之间的空间信息和质量越接近；yi表示参考高光谱图像的第i个通道图，/>表示网络输出高光谱图像的第i个通道图；
步骤4.3，对于的选择，使用SAM损失对图像的光谱信息进行约束：
其中，是参考图像某个像素点在光谱维度上的光谱曲线，/>是网络结果的某一点的光谱曲线，SAM损失越小，y与/>之间的光谱信息越接近；
步骤4.4，根据步骤4.1、4.2和4.3构建出的损失函数，在随机梯度下降算法训练网络过程中，不断进行优化损失，直至收敛。
一种存储介质，所述的存储介质中写入本发明所述的融合光谱空间信息的深度互学习框架的构建方法。
一种运行***，其特征在于，所述的***运行本发明所述的融合光谱空间信息的深度互学习框架的构建方法。
与现有技术相比，本发明具有以下优点：
本发明的技术方案第一次将深度互学习策略引入全色锐化领域，提出了一个SSML框架，并通过实验验证了SSML框架的有效性和泛化能力；基于深度互学习策略，设计了一种混合损失函数，使两个独立的网络在相互学习的同时，增强学习不同的特征，来生成更高质量的高分辨率高光谱图像；在建模求解过程中充分考虑到全色图像和高光谱图像的各自图像特征与图像之间的关系，使得融合更为全面、有效、准确。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是本发明的一种融合光谱-空间信息挖掘的深度互学习框架(SSML)的框架图；
图2是本发明的光谱网络和空间网络结构图。其中，图2(a)为光谱网络的结构，图2(b)为空间网络的结构，其具体细节结构展示在图3中；
图3是本发明中选取的不同融合方法的光谱(空间)提取结构。其中，图3(a)为残差通道注意块的设计结构，图3(b)为光谱注意力模块的设计结构，图3(c)为传统的残差块设计结构，图3(d)为多尺度的残差块设计结构，其细节部分在具体实施方式的步骤2中进行解释说明；
图4是对照组“RCAM&MSR”在“Balloon”图像中融合的结果；其中，图4(a)为CNMF方法融合图像，图4(b)为贝叶斯方法融合图像，图4(c)为GFPCA方法融合图像，图4(d)为PanNet方法融合图像，图4(e)为DDLPS方法融合图像，图4(f)为独立RCAM方法融合图像，图4(g)为独立MSR-Net方法融合图像，图4(h)为SSML中RCAM方法融合图像，图4(i)为SSML中MSR-Net方法融合图像，图4(j)参考图像。
图5是对照组“RCAM&ResNet”在“Flowers”图像中融合的结果；其中，图5(a)为CNMF方法融合图像，图5(b)为贝叶斯方法融合图像，图5(c)为GFPCA方法融合图像，图5(d)为PanNet方法融合图像，图5(e)为DDLPS方法融合图像，图5(f)为独立RCAM方法融合图像，图5(g)为独立ResNet方法融合图像，图5(h)为SSML中RCAM方法融合图像，图5(i)为SSML中ResNet方法融合图像，图5(j)参考图像。
图4和图5中，上一行图为输出的融合图，下一行图为融合结果和参考图像的差值图。
具体实施方式
以下结合具体实施例及说明书附图对本发明的技术方案做详细说明。
本发明的融合光谱空间信息的深度互学习框架的构建方法，设计了两个互相学习的网络，分别称为光谱网络和空间网络，其中光谱网络更加注重光谱特征的学习，空间网络更加注重空间细节信息的学习；相应的，还设计了一个包含光谱和空间信息损失的混合损失函数用于互学习策略中，来增强两个网络之间的相互学习；两个网络最终获得所需的高分辨率高光谱图像，来解决现有技术中遥感图像融合不全面、融合质量和融合效果差的问题。
本实施例给出的一种融合光谱空间信息的深度互学习框架(SSML)，一方面充分利用高光谱图像在光谱维度中的高光谱分辨率，使用光谱提取网络将其特征提取；另一方面，充分利用全色图像在空间中的高空间分辨率，使用空间提取网络将其特征提取；在网络学习时，使用精心设计的混合损失函数，利用光谱损失函数和空间损失函数，将两个网络的特征学习进行交互，达到学习自身特征的同时利用对方网络特征，使得最终图像获得更高的质量。
参见图1：上述一种融合光谱-空间信息挖掘的深度互学习框架(SSML)，具体包括如下步骤：
步骤1，获取一对同一场景相同角度的全色图像和高光谱图像作为数据集中的一个样本；获取多个场景的多对全色图像和高光谱图像，以得到数据集；数据集中以30％的数据作为训练集，70％的数据作为验证集；
对于所有样本，对样本中的高光谱图像进行缩放因子p＝4的上采样处理，以达到与全色图像相同的尺寸；
对于所有样本，对于样本中的全色图像，首先进行限制对比度自适应直方图均衡化对全色图像，以获得边缘更加清楚的图像；然后通过引导滤波与上采样获得的高光谱图像进行融合，以获得网络初始输入高光谱。
上采样选插值法，可以在保留一定空间特征的情况下获得比原图更大尺寸的图像。具体地，在本实施例中，对训练集和测试集中的上采样采用的是双三次插值。双三次插值对比其他插值方法，可以获得更为平滑的图像边缘。不仅如此，使用上采样也是将模型输入的数据对齐。
限制对比度自适应直方图均衡化，可以将全色图像在保留自身空间特征的情况加增强空间细节，以获得更加锐利的图像边缘。具体地，在本实施例中，对训练集和测试集中的全色图像进行半径r＝15，阈值的自适应直方图均衡化，获得增强图像的全色图像Pg。限制对比度自适应直方图均衡化对比其他直方图均衡化，可以获得更为锐化、空间细节更为丰富的图像边缘。
引导滤波，可以将全色图像引导注入高光谱图像的每个波段中，实现高光谱图像和全色图像的初步融合。具体地，在本实施例中，对训练集和测试集中的高光谱图像和全色图像进行半径r＝15，正则化参数λ＝0.0001的引导滤波，从而获得网络输入的初始图像Hini。
步骤2，将初始高光谱输入到SSML框架中的两个深度网络，以获得两个深度网络的结果和/>其中，结果/>和/>的获得，具体地：
步骤2.1，对于光谱网络融合结果首先初始图像Hini通过卷积获得特征图F，然后通过通用的光谱结构获得：
s＝f(P(F))
其中，F是输入的特征图，P(·)是池化操作，f(·)是激活函数，s是得到的注意力向量；
然后，将获得的s与F相乘，以获得注意力特征图
其中，si是注意力向量的第i个值，Fi是输入特征图的第i个特征图；
最终，通过卷积将第i个通过卷积，获得光谱网络结果/>
步骤2.2，对于空间网络融合结果则通过残差的方法进行获得：
y＝y′+rescnn
其中，y是参考高光谱图像，y′是网络输入的初始高光谱图像，rescnn是空谱网络学习的残差图。
最终，网络学习到的rescnn与初始Hini相加，获得空间网络结果
步骤3，采用混合的损失函数，基于深度互学习策略对步骤2中的两个网络进行训练，直至收敛，以得到融合结果；其中，采用混合的损失函数进行训练，具体地：
步骤3.1，两个独立网络的损失函数设计为：
其中，和/>分别是SSML框架内的光谱网络和空间网络各自的损失函数，/>是SSML框架内的主损失函数，用来约束整体图像质量，/>和/>分别是在空间损失和光谱损失函数，λ1和λ2分别是空间损失和光谱损失的权重，y是参考高光谱图像，/>和/>分别是光谱和空间网络的输出高光谱图像。
对于的选择，使用/>损失对图像的整体质量进行约束：
其中，y是参考图像，为网络输出图像；
步骤3.2，对于的选择，使用MSE损失对图像的空间信息进行约束：
其中，y是参考高光谱图像，是网络结果图像。MSE损失越小，y与/>之间的空间信息和质量越接近；yi表示参考高光谱图像的第i个通道图，/>表示网络输出高光谱图像的第i个通道图；
步骤3.3，对于的选择，使用SAM损失对图像的光谱信息进行约束：
其中，是参考图像某个像素点在光谱维度上的光谱曲线，/>是网络结果的某一点的光谱曲线。SAM损失越小，y与/>之间的光谱信息越接近；
步骤3.4，根据步骤3.1、3.2和3.3构建出地损失函数，在随机梯度下降算法训练网络过程中，不断进行优化损失，直至收敛。
具体包括：训练数据集中分别选取p个样本组成一个小批量样本，这里选择p＝32，然后在每次迭代中，进行：
首先，对光谱网络进行随机梯度下降：
其中，为3.4步骤构建出的损失函数/>这里m代表的是p个样本，y和/>分别代表的是参考高光谱图像和网络输出高光谱图像。之后运用梯度下降法更新光谱网络：
这里，是损失函数对参数θi的偏导数。α为模型设定的学习率。
上述步骤后，可以简化为：
式中，表示求得其损失函数的梯度。在每次模型更新时，通过随机采取一个样本来更新参数；
然后，对空间网络进行随机梯度下降：
其中，为3.4步骤构建出的损失函数/>之后与光谱网络类似，采用梯度下降法更新空间网络。
实施例：
本实施例采用两个高光谱遥感图像来验证所提出的融合框架的有效性；两个高光谱图像遥感图像均来自CAVE数据集中；CAVE数据集中的高光谱图像包含了各种真实世界的材料和实验室环境中照明受控的物体，每个图像包含31个波段，波长范围为400-700nm，每10nm为一个波段，分辨率为512×512像素。
为了更好地评估本实施例的一种融合光谱—空间信息挖掘的深度互学习框架(SSML)的实用性，本实施例给出两种实验类型，分别为对照组“RCAM&MSR”和对照组“RCAM&ResNet”。
本实施例给出的一种融合光谱—空间信息挖掘的深度互学习框架(SSML)，主要与以下五种广泛使用的图像融合方法进行比较；基于模型的方法CNMF与朴素贝叶斯模型、基于混合方法的方法GFPCA、基于深度学习的方法PanNet和DDLPS。
实验中，算法部署在Pytorch框架中进行训练网络，大约进行5000次迭代，批量大小设置为21；对于随机梯度下降算法，设置权重衰减为10-3，动量为0.9；本发明设置SSML中各个网络深度为均设置为6。
SSML框架泛化性实验效果分析：
本实施例采用PSNR和SAM这两个客观评价指标对SSML框架进行泛化性的评价；其中PSNR即峰值信噪比，是一种评价图像的客观标准，最优值为无穷；SAM表示全局光谱扭曲测量，反映两个图像之间的光谱角差异，最优值为0。
表1和表2分别为SSML中各对照组分别通过独立训练、通过SSML训练得到的客观指标；图3中，图3(a)为RCAM设计结构，图3(b)为SeAM设计结构，图3(c)为ResNet设计结构，图3(d)为MSR设计结构；从表1和表2可以看到，本实施例中各个对照组经过SSML框架下训练后，客观指标均得到了提高；其中，本实施例在对照组“RCAM&MSR”中，尽管RCAM和MSR在独立训练中的指标均达到较高水准，但RCAM和MSR通过SSML训练后，各自的结果指标均得到了较小的提升；在对照组“SeAM&ResNet”中，SeAM和ResNet的独立训练中指标相较于其他网络较差，但经过SSML训练后，都有较大幅度的提高，这也证明了SSML无论对结果较优的网络进行相互学习，还是对特征表征较差的网络进行学习，均可以对其结果指标进行提升。
表1：SSML中各个对照组在PSNR指标中的表现
表2：SSML中各个对照组在SAM指标中的表现
对比组“RCAM&MSR”在“Balloon”图像实验效果分析：
本实施例采用PSNR、SAM、CC、RMSE和ERGAS这五个客观评价指标对该实施例进行评价；其中PSNR即峰值信噪比，是一种评价图像的客观标准，最优值为无穷；SAM表示全局光谱扭曲测量，反映两个图像之间的光谱角差异，最优值为0；CC表示相关系数，从统计学相关的角度来评估两个图像的各波段图像之间的光谱和空间信息相似程度，最优值为1；SSIM通过从亮度、对比度和结构这三个方面的比较，实现对参考图像与融合结果中每个波段图像结构相似的度量，最优值为1；RMSE通过计算图像间的距离来评估两个图像的相似程度，最优值为0；ERGAS表示融合图像质量的全局指标，最优值为0；。
图4为“RCAM&MSR”在“Balloon”图像实验结果；图4(a)～(e)分别为五种对比方法的融合图像，图4(f)、(g)分别为单独训练的两个网络的融合图像，图4(h)、(i)分别为SSML训练的两个网络的融合图像，图4(j)为参考图像；通过对融合图像和参考图像进行对比，可以看出所有方法都能提高原始高光谱图像的空间分辨率，但很明显的看出CNMF在气球表面上存在明显的光谱扭曲，朴素贝叶斯在可视化图像中存在严重的模糊，PanNet合成的图像边缘过于锐化，朴素贝叶斯、GFPCA和DDLPS图像在图像边缘区域存在显著的光谱扭曲。对于(f)～(i)，可以看出无论在可视化图像中还是在颜色图像中，均差异不大。
表3为对比组“RCAM&MSR”在“Balloon”图像实验中不同融合方法结果的客观指标；从表可以看出，本实施例的大多数客观指标均优于其他方法，其中，以S2作为对比，独立训练的S2可以与其他融合方法的指标相抗衡，但通过SSML训练的S2，图像无论是从图像质量的全局评价指标还是从光谱维度的指标，均得到了小幅度的提升；以S1与其他方法作为对比，其图像指标在经过SSML后，也能得到了小幅度的提升。
综合视觉评价与客观指标评价，本实施例给出的对比组“RCAM&MSR”在融合光谱—空间信息挖掘的深度互学习框架(SSML)中，能很好提高两个独立网络的结果，能更好的得到具有高空间和高光谱分辨率的融合图像。
表3:对比组“RCAM&MSR”在“Balloon”中融合结果的客观指标
对比组“RCAM&ResNet”在“Flowers”图像实验效果分析：
图5为“RCAM&ResNet”在“Flowers”图像实验结果；图5(a)～(e)分别为五种对比方法的融合图像，图5(f)、(g)分别为单独训练的两个网络的融合图像，图5(h)、(i)分别为SSML训练的两个网络的融合图像，图5(j)为参考图像；在可视化图像中，朴素贝叶斯存在明显的图像模糊，PanNet的花瓣边缘过于锐化，GFPCA和DDLPS在花瓣区域有些许模糊；在颜色图中，CNMF、朴素贝叶斯、GFPCA和DDLPS在花瓣的交界处有明显的光谱扭曲，PanNet在花瓣边缘有光谱扭曲，而(f)～(i)有较好的光谱保存。
表4为对比组“RCAM&ResNet”在“Flowers”图像实验中不同融合方法结果的客观指标；从表可以看出，本实施例的客观指标均优于其他方法，其中，以S1作为对比，独立训练的S1可以与其他融合方法的指标相抗衡，但通过SSML训练的S1，图像在空间和光谱指标上有着更进一步的提升，以S2与S1作为对比，尽管S2的指标不如S1，但经过SSML后，双方的指标均得到了提升，这既证明了SSML S2和SSML S1的指标更出色，也证明了SSML框架对双网络学习的有效性。
表4:对比组“RCAM&ResNet”在“Flowers”中融合结果的客观指标
以上详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。
Claims (6)
1.一种融合光谱空间信息的深度互学习框架的构建方法，其特征在于，包括以下步骤：
步骤一：获取同一场景相同角度的全色图像和高光谱图像作为数据集中的一个样本；获取多个场景的多对全色图像和高光谱图像，得到数据集；融合每个样本的全色图像和高光谱图像形成网络初始输入高光谱；
步骤二：网络初始输入高光谱分别输入光谱网络和空间网络，获得光谱网络和空间网络的结果和/>
步骤三：采用混合损失函数，基于深度互学习策略对步骤二中的光谱网络和空间网络进行训练，直至收敛，得到融合结果；
具体采用随机梯度下降算法训练光谱网络和空间网络，光谱网络和空间网络各自的损失函数为：
其中，和/>分别是光谱网络和空间网络各自的损失函数，/>是主损失函数，用来约束整体图像质量，/>和/>分别是约束空间信息的空间损失函数和约束光谱信息的光谱损失函数，λ1和λ2分别是空间损失和光谱损失的权重，y是参考高光谱图像,/>和/>分别是光谱和空间网络的输出高光谱图像；
步骤三所述的混合损失函数，包括：
步骤4.1，对于的选择，使用/>损失对图像的整体质量进行约束：
其中，y是参考高光谱图像，为网络输出图像；
步骤4.2，对于的选择，使用MSE损失对图像的空间信息进行约束：
其中，y是参考高光谱图像，是网络结果图像，MSE损失越小，y与/>之间的空间信息和质量越接近；yi表示参考高光谱图像的第i个通道图，/>表示网络输出高光谱图像的第i个通道图；
步骤4.3，对于的选择，使用SAM损失对图像的光谱信息进行约束：
其中，是参考图像某个像素点在光谱维度上的光谱曲线，/>是网络结果的某一点的光谱曲线，SAM损失越小，y与/>之间的光谱信息越接近；
步骤4.4，根据步骤4.1、4.2和4.3构建出的损失函数，在随机梯度下降算法训练网络过程中，不断进行优化损失，直至收敛。
2.如权利要求1所述的融合光谱空间信息的深度互学习框架的构建方法，其特征在于，对所述的高光谱图像进行上采样处理，达到与全色图像相同的尺寸；
对所述的全色图像，首先进行限制对比度自适应直方图均衡化，获得边缘更加清楚的图像；然后通过引导滤波与上采样处理获得的高光谱图像进行融合，获得网络初始输入高光谱。
3.如权利要求2所述的融合光谱空间信息的深度互学习框架的构建方法，其特征在于，所述的上采样处理以及采用限制对比度自适应直方图均衡化处理的方法，包括以下步骤：
步骤2.1，在数据集中，采用双三次插值方法对原始高光谱图像进行间隔为4的上采样，获得与全色图像尺寸相同的低分辨率高光谱图像；
步骤2.2，在数据集中，采用限制对比度自适应直方图均衡化对全色图像进行半径为15，阈值为0.01的均衡化，来增强全色图像的空间细节；
步骤2.3，对于步骤2.1中获得的低分辨率高光谱和步骤2.2中获得的已增强的全色图像，通过引导滤波的方法，将两种数据融合，获得网络初始输入高光谱，即：
Hini＝G(Pg,Hup)；
其中，G为引导滤波，Pg为增强后的全色图像，Hup为获得的低分辨率高光谱，Hini为网络初始输入高光谱。
4.如权利要求1、2或3所述的融合光谱空间信息的深度互学习框架的构建方法，其特征在于，步骤二所述的光谱网络和空间网络包括：
步骤3.1，对于光谱网络的结果的获得，首先通过通用的光谱结构获得：
s＝f(P(F))；
其中，F是输入的特征图，P(·)是池化操作，f(·)是激活函数，s是得到的注意力向量；
然后，获得的s与F相乘，以获得注意力特征图
其中，si是注意力向量的第i个值，Fi是输入特征图的第i个特征图；
步骤3.2，对于空间网络的结果的获得，则通过残差的方法进行获得：
y＝y′+escnn；
其中，y是参考高光谱图像，y′是网络输入的初始高光谱图像，rescnn是空谱网络学习的残差图。
5.一种存储介质，其特征在于，所述的存储介质中写入权利要求1-4任一所述的融合光谱空间信息的深度互学习框架的构建方法。
6.一种运行***，其特征在于，所述的***运行权利要求1-4任一所述的融合光谱空间信息的深度互学习框架的构建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111128666.1A CN113962913B (zh) | 2021-09-26 | 2021-09-26 | 一种融合光谱空间信息的深度互学习框架的构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111128666.1A CN113962913B (zh) | 2021-09-26 | 2021-09-26 | 一种融合光谱空间信息的深度互学习框架的构建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113962913A CN113962913A (zh) | 2022-01-21 |
| CN113962913B true CN113962913B (zh) | 2023-09-15 |
Family
ID=79462257
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111128666.1A Active CN113962913B (zh) | 2021-09-26 | 2021-09-26 | 一种融合光谱空间信息的深度互学习框架的构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113962913B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738052A (zh) * | 2020-04-13 | 2020-10-02 | 上海海洋大学 | 基于深度学习的多特征融合高光谱遥感地物分类方法 |
| CN112819737A (zh) * | 2021-01-13 | 2021-05-18 | 西北大学 | 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法 |
| CN113222823A (zh) * | 2021-06-02 | 2021-08-06 | 国网湖南省电力有限公司 | 基于混合注意力网络融合的高光谱图像超分辨率方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11195057B2 (en) * | 2014-03-18 | 2021-12-07 | Z Advanced Computing, Inc. | System and method for extremely efficient image and pattern recognition and artificial intelligence platform |
| CN103198463B (zh) * | 2013-04-07 | 2014-08-27 | 北京航空航天大学 | 基于整体结构和空间细节信息融合的光谱图像全色锐化方法 |
| US11367185B2 (en) * | 2019-07-12 | 2022-06-21 | Mayo Foundation For Medical Education And Research | Deep learning-based medical image quality evaluation and virtual clinical trial |
-
2021
- 2021-09-26 CN CN202111128666.1A patent/CN113962913B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738052A (zh) * | 2020-04-13 | 2020-10-02 | 上海海洋大学 | 基于深度学习的多特征融合高光谱遥感地物分类方法 |
| CN112819737A (zh) * | 2021-01-13 | 2021-05-18 | 西北大学 | 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法 |
| CN113222823A (zh) * | 2021-06-02 | 2021-08-06 | 国网湖南省电力有限公司 | 基于混合注意力网络融合的高光谱图像超分辨率方法 |
Non-Patent Citations (3)
| Title |
|---|
| deep mutual learning;ying zhang 等;arXiv;第1-10页 * |
| 基于小样本学习的高光谱遥感图像分类算法;张婧 等;聊城大学学报(自然科学版);第4-14页 * |
| 结合深度学习的非下采样剪切波遥感图像融合;陈清江 等;应用光学;第69-80页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113962913A (zh) | 2022-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110533620B (zh) | 基于aae提取空间特征的高光谱和全色图像融合方法 | |
| CN110363215B (zh) | 基于生成式对抗网络的sar图像转化为光学图像的方法 | |
| CN108734659B (zh) | 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法 | |
| CN108830796B (zh) | 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法 | |
| CN110728192B (zh) | 一种基于新型特征金字塔深度网络的高分遥感图像分类方法 | |
| Xie et al. | Hyperspectral image super-resolution using deep feature matrix factorization | |
| CN109886870B (zh) | 基于双通道神经网络的遥感图像融合方法 | |
| CN110415199B (zh) | 基于残差学习的多光谱遥感图像融合方法及装置 | |
| CN111127374B (zh) | 一种基于多尺度密集网络的Pan-sharpening方法 | |
| CN109214989B (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
| CN112819737B (zh) | 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法 | |
| Hu et al. | Pan-sharpening via multiscale dynamic convolutional neural network | |
| CN102982517B (zh) | 基于光谱与空间局部相关的遥感影像融合方法 | |
| CN111639587B (zh) | 基于多尺度谱空卷积神经网络的高光谱图像分类方法 | |
| CN109712150A (zh) | 基于稀疏表示的光学微波图像融合重建方法和装置 | |
| Xin et al. | Image recognition of crop diseases and insect pests based on deep learning | |
| Li et al. | RGB-induced feature modulation network for hyperspectral image super-resolution | |
| CN111861885B (zh) | 一种用于高光谱超分辨率重建的超像素稀疏表示方法 | |
| CN110458208A (zh) | 基于信息测度的高光谱图像分类方法 | |
| CN110111276A (zh) | 基于空-谱信息深度利用的高光谱遥感影像超分辨率方法 | |
| CN108985301A (zh) | 一种多特征类子字典学习的高光谱图像分类方法 | |
| CN116630209A (zh) | 基于交叉混合注意力的sar与可见光图像融合方法 | |
| CN116523897A (zh) | 一种基于互导学习的半监督浒苔检测方法及*** | |
| CN112184552B (zh) | 一种基于高频特征学习的子像素卷积图像超分辨方法 | |
| CN113962913B (zh) | 一种融合光谱空间信息的深度互学习框架的构建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |