CN113284067A - 基于深度细节注入网络的高光谱全色锐化方法 - Google Patents

基于深度细节注入网络的高光谱全色锐化方法 Download PDF

Info

Publication number
CN113284067A
CN113284067A CN202110602214.6A CN202110602214A CN113284067A CN 113284067 A CN113284067 A CN 113284067A CN 202110602214 A CN202110602214 A CN 202110602214A CN 113284067 A CN113284067 A CN 113284067A
Authority
CN
China
Prior art keywords
image
hyperspectral
formula
residual error
shallow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110602214.6A
Other languages
English (en)
Other versions
CN113284067B (zh
Inventor
赵明华
李停停
胡静
宁家伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202110602214.6A priority Critical patent/CN113284067B/zh
Publication of CN113284067A publication Critical patent/CN113284067A/zh
Application granted granted Critical
Publication of CN113284067B publication Critical patent/CN113284067B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度细节注入网络的高光谱全色锐化方法，首先选取两种分别覆盖室内场景和室外场景的高光谱图像数据集，分别是Cave和PaviaCenter数据集；把低分辨率的高光谱图像进行上采样并与全色图像进行联合，输入到卷积层中提取浅层特征；提取的浅层特征再次送到卷积层中进一步的提取浅层特征；然后将第二次提取的浅层特征输入到残差密集块网络中；最后对所有的残差密集块进行全局特征融合得到联合图像的层次特征；将浅层特征和层次特征进行残差运算；最后进行卷积得到基于深度细节注入网络的高光谱全色锐化方法的融合结果。本发明解决了现有技术中存在的高光谱融合过程中细节提取不够，所导致的融合效果受限的问题。

Description

基于深度细节注入网络的高光谱全色锐化方法
技术领域
本发明属于遥感影像技术领域，具体涉及一种基于深度细节注入网络的高光谱全色锐化方法。
背景技术
高光谱图像是一种包含空间信息和光谱信息的三维立方体数据。在空间域中，每个波段都可以表示为对应波长的场景描述。在光谱上，任何像素在数百个不同波长的响应下形成了一条高分辨率的光谱曲线，可以用来区分不同的物质属性，即光谱识别性。这种高光谱遥感影像特有的光谱识别性使得其在军事救援、环境监测等领域得到了广泛的应用。但是受硬件的限制，光谱成像仪很难获得同时具有高空间分辨率和高光谱分辨率的遥感影像。在实际应用过程中，遥感平台上更多的是通过不同的载荷获取对应的数据。成像光谱仪获取的高光谱图像含有丰富的光谱信息，但是空间分辨率较低，而全色相机获取的遥感图像空间分辨率较高，但波段数少。高光谱全色锐化是指通过融合高光谱图像和全色图像，以得到同时具有高空间分辨率和高光谱分辨率的高光谱图像。
目前高光谱全色融合方法可以分为成分替换、多分辨率分析、基于矩阵分解和基于深度学习的方法。成分替换方法是利用全色图像用替代高光谱图像逆变换后的一个分量。多分辨率分析方法是将全色图像的空间细节信息注入到上采样的高光谱图像中。基于矩阵分解的方法则是通过将目标高光谱图像分解成光谱基和相应的子空间系数，并将生成全色图像和输入的高光谱图像的过程进行建模。为了求解建模函数，需要给定图像的先验知识，而这些预先给定的图像先验知识往往并不能完整的描述影像的特性，造成融合图像的细节失真。
基于深度学习的高光谱全色锐化方法则是通过将高光谱图像和全色图像同时输入网络，并学习输入与输出，即理想的高光谱影像之间的映射关系。利用这种学习到的关系泛化到其余影像中以得到高空间分辨率的高光谱图像。
发明内容
本发明的目的是提供一种基于深度细节注入网络的高光谱全色锐化方法，解决了现有技术中存在的高光谱融合过程中细节提取不够，所导致的融合效果受限的问题。
本发明所采用的技术方案是，基于深度细节注入网络的高光谱全色锐化方法，具体按照以下步骤实施：
步骤1、选取两种高光谱图像的数据集，两种高光谱图像的数据集分别覆盖室内场景和室外场景，室内场景用Cave数据集，室外场景用PaviaCenter数据集代表；
步骤2、把步骤1数据集中低分辨率的高光谱图像先进行上采样，然后和全色图像进行联合，输入到卷积层中提取联合图像的浅层特征；
步骤3、步骤2提取到的浅层特征再次送到卷积层中，进一步的提取浅层特征；然后将第二次提取到的浅层特征输入到残差密集块网络中；最后对所有的残差密集块进行一次全局特征融合得到联合图像的层次特征；
步骤4、将步骤2得到的浅层特征和步骤3得到的层次特征进行残差运算；最后进行一次卷积运算得到基于深度细节注入网络的高光谱全色锐化方法的融合结果。
本发明的特点还在于，
步骤1具体如下：
步骤1.1、采用Cave数据集代表室内场景，Pavia Center数据集代表室外场景；数据集中的原始高光谱作为参考图，模拟低分辨率的高光谱图像是由参考图进行下采样得到的，模拟高分辨率的全色图像是对参考图的第三维进行求均值得到的；
步骤1.2、对Cave数据集和Pavia Center数据集这两个数据集分别进行训练集、验证集和测试集的划分，其中，每个训练集中图像的数量为整个图像数据集的80％，每个测试集中图像的数量为整个图像数据集的10％，每个验证集中图像的数量为整个图像数据集的10％；
步骤1.3、划分数据集之后，进行数据预处理，统一将图像调整大小为64×64。
步骤2具体如下：
步骤2.1、对步骤1.1得到的低分辨率的高光谱图像进行上采样，如公式(1)所示：
Figure BDA0003093080340000031
式中：HSb代表低分辨率的高光谱图像，b＝1，2，3，...，n，其中n为高光谱图像的波段数；fup是指低空间分辨率的高光谱图像进行相对倍数的双三次插值函数，
Figure BDA0003093080340000032
代表上采样的高光谱图像；
步骤2.2、对步骤1.1得到的高分辨率的全色图像和步骤2.1得到的高光谱图像进行联合运算，得到的联合图像具有n+1个波段数，该联合过程如公式(2)所示：
Figure BDA0003093080340000041
式中：B＝1，2，3，...，n，n+1；⊙代表的是全色图像与
Figure BDA0003093080340000042
的联级运算，PAN代表全色图像，
Figure BDA0003093080340000043
代表联合图像；
步骤2.3、在预处理步骤中使用3×3卷积层提取联合图像的浅层特征，公式(3)如下：
F-1＝fCONV(HSin)， (3)
式中：fCONV代表卷积运算；F-1代表联合图像的浅层特征，同时又作为提取层次特征的输入，还用于全局残差学习。
步骤3将步骤2提取到的联合图像的浅层特征再次送到卷积层中，进行再次提取浅层特征；然后将第二次提取到的浅层特征输入到残差密集块网络中；最后对所有的残差密集块进行一次全局特征融合，具体如下：
步骤3.1、将步骤2提取到的浅层特征进行3×3的卷积操作，如公式(4)所示：
F0＝fCONV(F-1)， (4)
式中：F0表示对联合图像进行第二次卷积操作提取到的浅层特征；
步骤3.2、假设残差密集块RDBs包含D个残差密集块RDB，第d个残差密集块RDB，如公式(5)所示，在一个残差密集块RDB中，首先需要将前一个残差密集块RDB的状态传递给当前残差密集块RDB中的每一个卷积层和整流线性单位，如公式(6)所示：
Figure BDA0003093080340000044
Figure BDA0003093080340000045
式中：
Figure BDA0003093080340000046
表示第d个残差密集块RDB的复合函数；
Figure BDA0003093080340000047
表示残差密集块RDB中第i层的权重；
Figure BDA0003093080340000051
表示第d个残差密集块RDB的第i个卷积层；I＝1，2，3，...，i，ReLu代表激活函数；
步骤3.3、其次，把前一个残差密集块RDB的状态和当前残差密集块RDB中整个卷积层的状态经过连接和1×1的卷积自适应融合在一起，如公式(1)所示：
Figure BDA0003093080340000052
式中：
Figure BDA0003093080340000053
代表第d个RDB中1×1卷积层函数，Fd，LF代表第d个残差密集块RDB的局部特征；
步骤3.4、最后是把前一个残差密集块RDB和步骤3.3得到的第d个残差密集块RDB的局部特征进行求和运算得到的公式(8)，如下所示：
Fd＝Fd-1+Fd，LF， (8)
式中：Fd-1表示第d-1个残差密集块RDB,Fd表示第d个残差密集块RDB；
步骤3.5、由步骤3.4得到的所有残差密集块RDBs进行全局特征融合，即把所有RDB提取到的特征自适应的融合在一起，得到全局特征，上述过程定义为公式(9)：
FGFF＝HGFF([F1......，FD])， (9)
式中：[f1......，FD]是第1个RDB到第D个RDB的结果，HGFF是全局特征融合的函数，FGFF表示联合图像的层次特征。
步骤4将步骤2.3获得的浅层特征和步骤3得到的层次特征进行残差运算；最后进行一次卷积运算，得到高分辨的高光谱图像，具体如下：
步骤4.1、步骤2.3获得的浅层特征和步骤3得到的层次特征进行求和运算过程如公式(10)所示：
FRes＝F-1+FGFF， (10)
式中：F-1和FGFF分别代表联合图像的浅层特征和层次特征，FRes代表联合图像的密集特征；
步骤4.2、对步骤4.1得到联合图像的密集特征进行3×3的卷积操作，以得到波段为n的高分辨率的高光谱图像，如公式(11)所示：
HSfus＝fconv(FRes)， (11)
式中：FRes表示联合图像的密集特征；HSfus代表高分辨的高光谱图像。
本发明的有益效果是，基于深度细节注入网络的高光谱全色锐化方法，采用残差密集网络充分利用输入图像的所有层次特征，其次是用残差密集块来提取局部特征，最后是用全局残差学习将浅层特征和深层特征结合在一起从而得到同时具有高空间分辨率和高光谱分辨率的高光谱图像。
附图说明
图1是本发明一种基于深度细节注入网络的高光谱全色锐化方法流程图；
图2是Cave测试集使用采样因子为8的不同融合算法得到融合图像的第30个波段的可视化结果；
图3是Pavia Center测试集使用采样因子为2的不同融合算法得到融合图像的第102个波段的可视化结果。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于深度细节注入网络的高光谱全色锐化方法，流程图如图1所示，结合图2～图3，具体按照以下步骤实施：
步骤1、选取两种高光谱图像的数据集，两种高光谱图像的数据集分别覆盖室内场景和室外场景，室内场景用Cave数据集，室外场景用PaviaCenter数据集代表；
步骤1具体如下：
步骤1.1、构建高光谱图像的数据集，采用Cave数据集代表室内场景，PaviaCenter数据集代表室外场景；据Wald协议，数据集中的原始高光谱作为参考图，模拟低分辨率的高光谱图像是由参考图进行下采样得到的，模拟高分辨率的全色图像是对参考图的第三维进行求均值得到的；
步骤1.2、对Cave数据集和Pavia Center数据集这两个数据集分别进行训练集、验证集和测试集的划分，其中，每个训练集中图像的数量为整个图像数据集的80％，每个测试集中图像的数量为整个图像数据集的10％，每个验证集中图像的数量为整个图像数据集的10％；
步骤1.3、划分数据集之后，进行数据预处理，为了保证代码运行的可行性，我们统一将图像调整大小为64×64。
步骤2、把步骤1数据集中低分辨率的高光谱图像先进行上采样，然后和全色图像进行联合，输入到卷积层中提取联合图像的浅层特征F-1；
步骤2如图1所示，把步骤1数据中低分辨率的高光谱图像先进行上采样，然后和全色图像进行联合，输入到卷积层中，具体如下：
步骤2.1、对步骤1.1得到的低分辨率的高光谱图像进行上采样，如公式(1)所示：
Figure BDA0003093080340000071
式中：HSb代表低分辨率的高光谱图像，b＝1，2，3，...，n，其中n为高光谱图像的波段数；fup是指低空间分辨率的高光谱图像进行相对倍数的双三次插值函数，
Figure BDA0003093080340000072
代表上采样的高光谱图像；
步骤2.2、对步骤1.1得到的高分辨率的全色图像和步骤2.1得到的高光谱图像进行联合运算，得到的联合图像具有n+1个波段数，该联合过程如公式(2)所示：
Figure BDA0003093080340000081
式中：B＝1，2，3，...，n，n+1；⊙代表的是全色图像与
Figure BDA0003093080340000082
的联级运算，PAN代表全色图像，
Figure BDA0003093080340000083
代表联合图像；
步骤2.3、在预处理步骤中使用3×3卷积层提取联合图像的浅层特征，公式(3)如下：
F-1＝fCONV(HSin)， (3)
式中：fCONV代表卷积运算；F-1代表联合图像的浅层特征，同时又作为提取层次特征的输入，还用于全局残差学习。
步骤3、将步骤2提取到的联合图像的浅层特征再次送到卷积层中，进行再次提取浅层特征；然后将第二次提取到的浅层特征输入到残差密集块网络中；最后对所有的残差密集块进行一次全局特征融合，如图1所示，具体如下：
步骤3.1、将步骤2提取到的浅层特征进行3×3的卷积操作，如公式(4)所示：
F0＝fCONV(F-1)， (4)
式中：F0表示对联合图像进行第二次卷积操作提取到的浅层特征；
步骤3.2、假设残差密集块RDBs包含D个残差密集块RDB，第d个残差密集块RDB，如公式(5)所示，在一个残差密集块RDB中，首先需要将前一个残差密集块RDB的状态传递给当前残差密集块RDB中的每一个卷积层和整流线性单位，如公式(6)所示：
Figure BDA0003093080340000091
Figure BDA0003093080340000092
式中：
Figure BDA0003093080340000093
表示第d个残差密集块RDB的复合函数；
Figure BDA0003093080340000094
表示残差密集块RDB中第i层的权重；
Figure BDA0003093080340000097
表示第d个残差密集块RDB的第i个卷积层；I＝1，2，3，...，i，ReLu代表激活函数；
步骤3.3、其次，把前一个残差密集块RDB的状态和当前残差密集块RDB中整个卷积层的状态经过连接和1×1的卷积自适应融合在一起，如公式(1)所示：
Figure BDA0003093080340000095
式中：
Figure BDA0003093080340000096
代表第d个RDB中1×1卷积层函数，Fd，LF代表第d个残差密集块RDB的局部特征；
步骤3.4、最后是把前一个残差密集块RDB和步骤3.3得到的第d个残差密集块RDB的局部特征进行求和运算得到的公式(8)，如下所示：
Fd＝Fd-1+Fd，LF， (8)
式中：Fd-1表示第d-1个残差密集块RDB,Fd表示第d个残差密集块RDB；
步骤3.5、由步骤3.4得到的所有残差密集块RDBs进行全局特征融合，即把所有RDB提取到的特征自适应的融合在一起，得到全局特征，全局特征融合包括1×1和3×3的卷积操作，1x1卷积是融合一系列的特征；3x3卷积是为下一步的全局残差学习进一步提取特征做准备。上述过程定义为公式(9)：
FGFF＝HGFF([f1…...，FD])， (9)
式中：[F1......，FD]是第1个RDB到第D个RDB的结果，HGFF是全局特征融合的函数，FGFF表示联合图像的层次特征。
步骤4、将步骤2得到的浅层特征和步骤3得到的层次特征进行残差运算；最后进行一次卷积运算得到基于深度细节注入网络的高光谱全色锐化方法的融合结果。
步骤4如图1所示，将步骤2.3获得的浅层特征和步骤3得到的层次特征进行残差运算；最后进行一次卷积运算，得到高分辨的高光谱图像，具体如下：
步骤4.1、步骤2.3获得的浅层特征和步骤3得到的层次特征进行求和运算过程如公式(10)所示：
FRes＝F-1+FGFF， (10)
式中：F-1和FGFF分别代表联合图像的浅层特征和层次特征，FRes代表联合图像的密集特征；
步骤4.2、对步骤4.1得到联合图像的密集特征进行3×3的卷积操作，以得到波段为n的高分辨率的高光谱图像，如公式(11)所示：
HSfus＝fconv(FRes)， (11)
式中：FRes表示联合图像的密集特征；HSfus代表高分辨的高光谱图像。
另外，为了对融合图像进行综合评估，我们采用主观评价和客观评价。客观评价指标包括互相关(Cross Correlation，CC)，光谱角映射(Spectral Angle Mapper,SAM)，均方根误差(Root-Mean-Squared Error,RMSE)，相对整体维数综合误差(Erreur RelativeGlobaleAdimensionnelle De Synthèse，ERGAS)，峰值信噪比(Peak SignaltoNoiseRatio，PSNR)和结构相似性(structural similarity,SSIM)。
将本文发明与以下六种算法进行比较：双三次插值(bicubic)，自适应施密特正交变化方法(Gram-Schmidt adaptive，GSA)，基于广义调制传递函数拉普拉斯金字塔方法(MTF-Generalized Laplacian Pyramid，MTF-GLP)，引导滤波主成分分析方法(Guidedfilter principal component analysis，GFPCA)，耦合非负矩阵分解(Couplednonnegativematrix factorization，CNMF)和基于卷积神经网络的全色锐化方法(Pansharpeningby convolutional neural networks,PNN)。
为了主观评价，选取Cave测试集中的Flowers图像，使用采样因子为8，均用融合图像的第三十个波段进行呈现。图2(a)为Flowers的参考图，图2(b)是对Flowers进行双三次插值方法(bicubic)的结果图，图2(c)是对Flowers进行自适应施密特正交变化方法(GSA)的结果图，图2(d)是对Flowers进行基于广义调制传递函数拉普拉斯金字塔方法(MTF-GLP)的结果图，图2(e)是对Flowers进行引导滤波主成分分析方法(GFPCA)的结果图，图2(f)是对Flowers进行耦合非负矩阵分解方法(CNMF)的结果图，图2(g)是对Flowers进行基于卷积神经网络的全色锐化方法(PNN)的结果图，图2(h)是对Flowers进行基于深度细节注入网络的高光谱全色锐化方法的结果图。从图2可以看出，Bicubic的高光谱图像出现了大片的模糊；GSA融合的高光谱图像存在着一定的光谱失真；MTF-GLP融合的高光谱图像丢失了某些空间细节；GFPCA融合的高光谱图像在一些细节区域模糊；CMNF和PNN融合的高光谱图像在光谱信息和空间信息上都保持的比较好；我们提出的算法的融合图像更有效的保持了光谱信息的同时增强了空间信息。表1中列出来了Cave数据集使用采样因子为2倍，4倍和8倍的多种融合算法的平均值，最优值用粗体表示。从实验结果可以看到，无论采样因子是几，本文算法的CC，PSNR和SSIM的数值均最大，SAM，RMSE和ERGAS的数值均最小。
表1Cave数据集使用不同采样因子的多种融合算法的平均值
Figure BDA0003093080340000121
图3是Pavia Center测试集使用采样因子为2的不同融合算法得到融合图像的第102个波段的可视化结果，图3(a)为测试集的参考图，图3(b)是对测试集进行双三次插值方法(bicubic)的结果图，图3(c)是对测试集进行自适应施密特正交变化方法(GSA)的结果图，图3(d)是对测试集进行基于广义调制传递函数拉普拉斯金字塔方法(MTF-GLP)的结果图，图3(e)是对测试集进行引导滤波主成分分析方法(GFPCA)的结果图，图3(f)是对测试集进行耦合非负矩阵分解方法(CNMF)的结果图，图3(g)是对测试集进行基于卷积神经网络的全色锐化方法(PNN)的结果图，图3(h)是对测试集进行基于深度细节注入网络的高光谱全色锐化方法的结果图。Bicubic的结果在细节方面出现小片的模糊；GSA、CMNF和PNN融合的结果有些细节的丢失；MTF-GLP融合的结果出现了轻微的光谱失真，丢失了部分的边缘信息；GFPCA融合的结果在细节信息上表现出不清晰并且图像整体偏暗。相比于以上算法，本文提出的算法在光谱和空间这两方面上都有提升。表2为Pavia数据集使用多种采样因子的多种融合算法的客观评价指标。从表中可以看到，本文算法的每个评价指标都比传统方法中的最优值和PNN的数值要好。
表2PaviaCenter数据集使用不同采样因子的多种融合算法的平均值
Figure BDA0003093080340000131

Claims (5)

1.基于深度细节注入网络的高光谱全色锐化方法，其特征在于，具体按照以下步骤实施：
步骤1、选取两种高光谱图像的数据集，两种高光谱图像的数据集分别覆盖室内场景和室外场景，室内场景用Cave数据集，室外场景用PaviaCenter数据集代表；
步骤2、把步骤1数据集中低分辨率的高光谱图像先进行上采样，然后和全色图像进行联合，输入到卷积层中提取联合图像的浅层特征；
步骤3、步骤2提取到的浅层特征再次送到卷积层中，进一步的提取浅层特征；然后将第二次提取到的浅层特征输入到残差密集块网络中；最后对所有的残差密集块进行一次全局特征融合得到联合图像的层次特征；
步骤4、将步骤2得到的浅层特征和步骤3得到的层次特征进行残差运算；最后进行一次卷积运算得到基于深度细节注入网络的高光谱全色锐化方法的融合结果。
2.根据权利要求1所述的基于深度细节注入网络的高光谱全色锐化方法，其特征在于，所述步骤1具体如下：
步骤1.1、采用Cave数据集代表室内场景，Pavia Center数据集代表室外场景；数据集中的原始高光谱作为参考图，模拟低分辨率的高光谱图像是由参考图进行下采样得到的，模拟高分辨率的全色图像是对参考图的第三维进行求均值得到的；
步骤1.2、对Cave数据集和Pavia Center数据集这两个数据集分别进行训练集、验证集和测试集的划分，其中，每个训练集中图像的数量为整个图像数据集的80％，每个测试集中图像的数量为整个图像数据集的10％，每个验证集中图像的数量为整个图像数据集的10％；
步骤1.3、划分数据集之后，进行数据预处理，统一将图像调整大小为64×64。
3.根据权利要求2所述的基于深度细节注入网络的高光谱全色锐化方法，其特征在于，所述步骤2具体如下：
步骤2.1、对步骤1.1得到的低分辨率的高光谱图像进行上采样，如公式(1)所示：
Figure FDA0003093080330000021
式中:HSb代表低分辨率的高光谱图像，b＝1,2,3,…,n，其中n为高光谱图像的波段数；fup是指低空间分辨率的高光谱图像进行相对倍数的双三次插值函数，
Figure FDA0003093080330000022
代表上采样的高光谱图像；
步骤2.2、对步骤1.1得到的高分辨率的全色图像和步骤2.1得到的高光谱图像进行联合运算，得到的联合图像具有n+1个波段数，该联合过程如公式(2)所示：
Figure FDA0003093080330000023
式中:B＝1,2,3,…,n,n+1；⊙代表的是全色图像与
Figure FDA0003093080330000024
的联级运算，PAN代表全色图像，
Figure FDA0003093080330000025
代表联合图像；
步骤2.3、在预处理步骤中使用3×3卷积层提取联合图像的浅层特征，公式(3)如下:
F-1＝fCONV(HSin), (3)
式中:fCONV代表卷积运算；F-1代表联合图像的浅层特征，同时又作为提取层次特征的输入，还用于全局残差学习。
4.根据权利要求3所述的基于深度细节注入网络的高光谱全色锐化方法，其特征在于，所述步骤3将步骤2提取到的联合图像的浅层特征再次送到卷积层中，进行再次提取浅层特征；然后将第二次提取到的浅层特征输入到残差密集块网络中；最后对所有的残差密集块进行一次全局特征融合，具体如下：
步骤3.1、将步骤2提取到的浅层特征进行3×3的卷积操作，如公式(4)所示：
F0＝fCONV(F-1), (4)
式中：F0表示对联合图像进行第二次卷积操作提取到的浅层特征；
步骤3.2、假设残差密集块RDBs包含D个残差密集块RDB，第d个残差密集块RDB，如公式(5)所示，在一个残差密集块RDB中，首先需要将前一个残差密集块RDB的状态传递给当前残差密集块RDB中的每一个卷积层和整流线性单位，如公式(6)所示：
Figure FDA0003093080330000031
Figure FDA0003093080330000032
式中:
Figure FDA0003093080330000033
表示第d个残差密集块RDB的复合函数；
Figure FDA0003093080330000034
表示残差密集块RDB中第i层的权重；
Figure FDA0003093080330000035
表示第d个残差密集块RDB的第i个卷积层；I＝1,2,3,…,i，ReLu代表激活函数；
步骤3.3、其次，把前一个残差密集块RDB的状态和当前残差密集块RDB中整个卷积层的状态经过连接和1×1的卷积自适应融合在一起，如公式(1)所示：
Figure FDA0003093080330000036
式中:
Figure FDA0003093080330000037
代表第d个RDB中1×1卷积层函数，Fd,LF代表第d个残差密集块RDB的局部特征；
步骤3.4、最后是把前一个残差密集块RDB和步骤3.3得到的第d个残差密集块RDB的局部特征进行求和运算得到的公式(8)，如下所示：
Fd＝Fd-1+Fd,LF, (8)
式中:Fd-1表示第d-1个残差密集块RDB,Fd表示第d个残差密集块RDB；
步骤3.5、由步骤3.4得到的所有残差密集块RDBs进行全局特征融合，即把所有RDB提取到的特征自适应的融合在一起，得到全局特征，上述过程定义为公式(9):
FGFF＝HGFF([F1……,FD]), (9)
式中：[F1 … …,FD]是第1个RDB到第D个RDB的结果，HGFF是全局特征融合的函数，FGFF表示联合图像的层次特征。
5.根据权利要求4所述的基于深度细节注入网络的高光谱全色锐化方法，其特征在于，所述步骤4将步骤2.3获得的浅层特征和步骤3得到的层次特征进行残差运算；最后进行一次卷积运算，得到高分辨的高光谱图像，具体如下：
步骤4.1、步骤2.3获得的浅层特征和步骤3得到的层次特征进行求和运算过程如公式(10)所示：
FRes＝F-1+FGFF, (10)
式中:F-1和FGFF分别代表联合图像的浅层特征和层次特征，FRes代表联合图像的密集特征；
步骤4.2、对步骤4.1得到联合图像的密集特征进行3×3的卷积操作，以得到波段为n的高分辨率的高光谱图像，如公式(11)所示：
HSfus＝fconv(FRes), (11)
式中：FRes表示联合图像的密集特征；HSfus代表高分辨的高光谱图像。
CN202110602214.6A 2021-05-31 2021-05-31 基于深度细节注入网络的高光谱全色锐化方法 Active CN113284067B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110602214.6A CN113284067B (zh) 2021-05-31 2021-05-31 基于深度细节注入网络的高光谱全色锐化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110602214.6A CN113284067B (zh) 2021-05-31 2021-05-31 基于深度细节注入网络的高光谱全色锐化方法

Publications (2)

Publication Number Publication Date
CN113284067A true CN113284067A (zh) 2021-08-20
CN113284067B CN113284067B (zh) 2024-02-09

Family

ID=77282855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110602214.6A Active CN113284067B (zh) 2021-05-31 2021-05-31 基于深度细节注入网络的高光谱全色锐化方法

Country Status (1)

Country Link
CN (1) CN113284067B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114897714A (zh) * 2022-04-15 2022-08-12 华南理工大学 基于双尺度融合网络的高光谱图像锐化方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140301659A1 (en) * 2013-04-07 2014-10-09 Bo Li Panchromatic Sharpening Method of Spectral Image Based on Fusion of Overall Structural Information and Spatial Detail Information
CN109727207A (zh) * 2018-12-06 2019-05-07 华南理工大学 基于光谱预测残差卷积神经网络的高光谱图像锐化方法
CN109903255A (zh) * 2019-03-04 2019-06-18 北京工业大学 一种基于3d卷积神经网络的高光谱图像超分辨率复原方法
CN111127374A (zh) * 2019-11-22 2020-05-08 西北大学 一种基于多尺度密集网络的Pan-sharpening方法
AU2020100200A4 (en) * 2020-02-08 2020-06-11 Huang, Shuying DR Content-guide Residual Network for Image Super-Resolution

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140301659A1 (en) * 2013-04-07 2014-10-09 Bo Li Panchromatic Sharpening Method of Spectral Image Based on Fusion of Overall Structural Information and Spatial Detail Information
CN109727207A (zh) * 2018-12-06 2019-05-07 华南理工大学 基于光谱预测残差卷积神经网络的高光谱图像锐化方法
CN109903255A (zh) * 2019-03-04 2019-06-18 北京工业大学 一种基于3d卷积神经网络的高光谱图像超分辨率复原方法
CN111127374A (zh) * 2019-11-22 2020-05-08 西北大学 一种基于多尺度密集网络的Pan-sharpening方法
AU2020100200A4 (en) * 2020-02-08 2020-06-11 Huang, Shuying DR Content-guide Residual Network for Image Super-Resolution

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张少磊;付光远;汪洪桥;赵玉清;: "基于向量总变差约束局部光谱解混的高光谱图像超分辨", 光学精密工程, no. 12 *
雷鹏程;刘丛;唐坚刚;彭敦陆;: "分层特征融合注意力网络图像超分辨率重建", 中国图象图形学报, no. 09 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114897714A (zh) * 2022-04-15 2022-08-12 华南理工大学 基于双尺度融合网络的高光谱图像锐化方法

Also Published As

Publication number Publication date
CN113284067B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
Shao et al. Remote sensing image fusion with deep convolutional neural network
CN110533620B (zh) 基于aae提取空间特征的高光谱和全色图像融合方法
Zhou et al. Pyramid fully convolutional network for hyperspectral and multispectral image fusion
Acharya et al. Image processing: principles and applications
Loncan et al. Hyperspectral pansharpening: A review
González-Audícana et al. A low computational-cost method to fuse IKONOS images using the spectral response function of its sensors
CN109272010B (zh) 基于卷积神经网络的多尺度遥感图像融合方法
CN106920214B (zh) 空间目标图像超分辨率重建方法
CN110544212B (zh) 基于层级特征融合的卷积神经网络高光谱图像锐化方法
Patel et al. Super-resolution of hyperspectral images: Use of optimum wavelet filter coefficients and sparsity regularization
CN113673590A (zh) 基于多尺度沙漏密集连接网络的去雨方法、***和介质
CN116152120B (zh) 一种融合高低频特征信息的低光图像增强方法及装置
Sdraka et al. Deep learning for downscaling remote sensing images: Fusion and super-resolution
CN113191325B (zh) 一种图像融合方法、***及其应用
CN113793289A (zh) 基于cnn和nsct的多光谱图像和全色图像模糊融合方法
Pan et al. Structure–color preserving network for hyperspectral image super-resolution
Xiao et al. Physics-based GAN with iterative refinement unit for hyperspectral and multispectral image fusion
Nie et al. Unsupervised hyperspectral pansharpening by ratio estimation and residual attention network
Licciardi et al. Fusion of hyperspectral and panchromatic images: A hybrid use of indusion and nonlinear PCA
CN113284067B (zh) 基于深度细节注入网络的高光谱全色锐化方法
CN114511470B (zh) 一种基于注意力机制的双分支全色锐化方法
Jain et al. Multimodal image fusion employing discrete cosine transform
CN115131258A (zh) 一种基于稀疏张量先验的高光谱、多光谱和全色图像融合方法
CN109785253B (zh) 一种基于增强反投影的全色锐化后处理方法
CN114638761A (zh) 一种高光谱图像全色锐化方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant