CN113902650A - 基于平行深度学习网络架构的遥感影像锐化方法 - Google Patents
基于平行深度学习网络架构的遥感影像锐化方法 Download PDFInfo
- Publication number
- CN113902650A CN113902650A CN202111481416.6A CN202111481416A CN113902650A CN 113902650 A CN113902650 A CN 113902650A CN 202111481416 A CN202111481416 A CN 202111481416A CN 113902650 A CN113902650 A CN 113902650A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- remote sensing
- multispectral
- sharpening
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000003707 image sharpening Methods 0.000 title claims abstract description 36
- 238000013135 deep learning Methods 0.000 title claims abstract description 23
- 230000003595 spectral effect Effects 0.000 claims abstract description 39
- 238000013528 artificial neural network Methods 0.000 claims abstract description 16
- 238000001228 spectrum Methods 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims description 46
- 238000013527 convolutional neural network Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 33
- 239000000126 substance Substances 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 16
- 238000009825 accumulation Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于平行深度学习网络架构的遥感影像锐化方法,包括以下步骤:S1、获得遥感全色影像在锐化过程中的光谱要素特征:建立多层次深度卷积神经网络架构,获取遥感影像中多光谱波段与全色波段时空‑光谱之间的定量关系;S2、获得遥感多光谱影像在锐化过程中的纹理要素特征:建立多尺度深度卷积神经网络架构,获取遥感影像全色波段不同地物类型的纹理细节特征;S3、获取遥感影像锐化产品:融合所述光谱要素特征和纹理要素特征,建立深度学习重建网络以获取遥感影像锐化产品。本发明适用于多种遥感影像传感器,同时又能在复杂地物类型中提高遥感影像空间分辨率和光谱信息保真度,解决遥感影像快速、准确生产出锐化产品的问题。
Description
技术领域
本发明属于图像超分辨率/锐化处理技术领域,具体涉及一种基于平行深度学习网络架构的遥感影像锐化方法。
背景技术
具有高空间分辨率的多光谱遥感影像在土地利用/土地覆盖分类、目标检测和语义分割中起着重要的作用。然而,由于传感器的技术局限性和高成本,目前具有高空间分辨率的遥感图像可能无法用于支持区域/全球陆地表面的观测。虽然与多光谱遥感影像一同获取的全色影像具有更高的空间分辨率,但是缺乏丰富的光谱信息。为了同时利用全色影像精细的空间信息和多光谱影像丰富的光谱信息为社会生产生活服务,需要使用遥感影像锐化方法将两类影像进行融合处理,以生成具有丰富空间-光谱信息的更高分辨率的遥感产品。
目前最常使用的遥感影像锐化方法主要分为三种类型:1)基于组件替换的模型;2)基于多分辨率分析的模型; 3)基于优化学习的模型。其中,基于组件替换的模型具有计算速度快,并且易于实现的优点。基于组件替换的模型可以将多光谱遥感影像转换处理后的域分量之一替换为全色影像中的转换域分量,然后通过逆变换将混合的全色影像和多光谱影像的转换域分量重建为新的锐化影像。然而,虽然越来越多的频谱质量控制策略(例如部分替换和局部参数估计)用于基于组件替换的模型中以减少频谱失真的问题,但是由于频谱带宽不匹配,以及全色和多光谱遥感影像之间的转换域分量没有相同的波谱辐射特性,使用该类模型仍存在光谱信息差异的问题。
基于多分辨率分析的模型通常比基于组件替换的模型具有更好的频谱保真度。该类模型首先从全色遥感影像中提取空间结构信息,然后将其高频细节注入到多光谱影像中。然而,尽管基于多分辨率分析的模型可以减少全色和多光谱遥感影像之间光谱信息的差异,但是使用该类模型仍存在空间信息差异的问题。
基于优化学习的模型通常优于基于组件替换的模型和基于多分辨率分析的模型。该类模型将影像锐化过程视为没有唯一解的逆问题,并通过基于能量函数的能量最小化来重建锐化影像。现有基于深度卷积神经网络的遥感影像锐化模型快速发展,深度卷积神经网络的主要原理是建立低空间分辨率多光谱影像和高空间分辨率多光谱预测影像之间复杂的非线性功能映射。目前,基于深度卷积神经网络的遥感锐化模型已经从图像超分辨率网络发展到基于深度卷积神经网络的泛锐化模型,例如,残差网络或者多层次深度网络等。然而,尽管现有的基于深度卷积神经网络的遥感锐化模型表现出良好的性能,但是,针对不同传感器类型和复杂地物场景,其模型稳定性和锐化效果仍需要进一步提高。同时,对于高分辨率全色影像的空间细节特征仍需要进一步挖掘。
发明内容
本发明的目的是针对上述问题,提供基于平行深度学习网络架构的遥感影像锐化方法,可以适用于多种遥感影像传感器,同时又能在复杂地物类型中提高遥感影像空间分辨率和光谱信息保真度,解决利用遥感影像快速、准确生产出锐化产品的问题。
为达到上述目的,本发明采用了下列技术方案:
基于平行深度学习网络架构的遥感影像锐化方法,包括以下步骤:
S1、获得遥感全色影像在锐化过程中的光谱要素特征:建立多层次深度卷积神经网络架构,获取遥感影像中多光谱波段与全色波段时空-光谱之间的定量关系,以提高影像在锐化过程中的光谱信息保真度;
S2、获得遥感多光谱影像在锐化过程中的纹理要素特征:建立多尺度深度卷积神经网络架构,获取遥感影像全色波段不同地物类型的纹理细节特征,以提高影像在锐化过程中的纹理信息保真度;
S3、获取遥感影像锐化产品:融合所述光谱要素特征和纹理要素特征,建立深度学习重建网络以获取遥感影像锐化产品。本发明将经过多层次深度卷积神经网络架构获取的光谱要素特征和经过多尺度深度卷积神经网络架构获取的纹理要素特征进行融合,通过重建网络处理,输出结果不仅包含了不同土地覆盖类型的空间-光谱信息,而且保留了全色影像中丰富的纹理细节信息,得到高质量的遥感影像锐化产品。
进一步的,S1中的获得遥感全色影像在锐化过程中的光谱要素特征的具体步骤包括:
S101、使用双三次插值对原始多光谱影像进行上采样,使原始多光谱影像保持与对应全色影像相同的空间分辨率;
S102、将全色影像和经过上采样的多光谱影像进行堆叠组合,并作为第一特征提取网络的输入数据;
S103、将第一特征提取网络的输出结果送入改进的递归网络,作为改进的递归网络的输入数据;
S104、将改进的递归网络中各层卷积处理的结果进行累加并带入下一层网络,增强不同级别的特征要素,并分别保留各级网络的处理结果。
进一步的,第一特征提取网络包括多层卷积层,第一特征提取网络的第一层的输入为全色影像和经过上采样的多光谱影像的堆叠组合,对于第一特征提取网络的其它层,输入要素均为上一层卷积操作之后的输出结果:
其中,表示卷积处理,表示用于组成多光谱影像和全色影像的映射函数,表示低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像,表示高空间分辨率的全色影像,表示残差结果,表示第一特征提取网络中第一次
卷积运算后得到的要素特征。
本发明经过第一特征提取网络后,输出的要素特征包含了低空间分辨率多光谱影
像经过上采样之后的高空间分辨率多光谱拟合影像和高空间分辨率的全色影像的浅层纹理细节,以及两类影像在局部区域的空间-光谱关联信息。
进一步的,改进的递归网络包括多层卷积层,其中第一层卷积层的输入数据为第一特征提取网络的输出结果,对于改进的递归网络的其它卷积层,输入数据为改进的递归网络中经过当前卷积层之前所有卷积层卷积处理后得到的要素特征累加,
所述改进的递归网络公式如下所示:
本发明通过多层次深度卷积神经网络架构可以增强低空间分辨率多光谱影像经
过上采样之后的高空间分辨率多光谱拟合影像和高空间分辨率的全色影像之
间的区域依赖性,同时也能保留影像从浅层到深层的多层次纹理信息。获取改进的递归网
络中经过当前卷积层之前所有卷积层卷积处理后得到的要素特征输出结果的积累可以迭
代和强化不同网络层级得到的光谱细节特征。
进一步的,S2中获得遥感多光谱影像在锐化过程中的纹理要素特征具体包括以下步骤:
S201、通过多尺度平行网络进行地物类型的特征提取,输出包含不同土地覆被类型的丰富纹理细节的多尺度浅层要素特征集合;
S202、将多尺度平行网络的输出结果输入多尺度深度卷积神经网络架构下的第二特征提取网络,作为所述第二特征提取网络的输入数据。本发明将多尺度平行网络的输出结果输入多尺度深度卷积神经网络架构下的第二特征提取网络,可以增强不同土地覆盖类型的空间依赖性,并提取深层的纹理细节特征。
进一步的,多尺度平行网络包括多个卷积层,且不同的卷积层具有唯一尺寸的滤波器,所述多尺度平行网络中的所有卷积层都处于平行关系。本发明经过多尺度平行网络处理,输出的多尺度浅层要素特征集合包含了不同土地覆被类型的丰富纹理细节。
进一步的,在第二特征提取网络中,第一层卷积层的输入数据是经过多尺度平行
网络处理后的多尺度浅层要素特征集合,对于第二特征提取网络的其它卷积层,输入数据
为上一层卷积层处理得到的要素特征输出结果;经过多尺度深度卷积神经网络架构得到的
输出结果为:
进一步的,S3中的获取遥感影像锐化产品包括以下步骤:
S301、通过利用多层卷积神经网络作为变化影像的重建网络,经过重建网络处理,
输出结果保留低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像和高空间分辨率的全色影像中的多层次光谱信息和多尺度纹理细节特征;
其中,表示最终的遥感影像锐化产品,表示卷积处理,表示用于组成多
光谱影像和全色影像的映射函数,表示多层次要素特征集合,表示多尺度要素特征集
合,表示残差结果,表示低空间分辨率多光谱影像经过上采样之后的高空间分辨率
多光谱拟合影像。
本发明输出结果可以保留低空间分辨率多光谱影像经过上采样之后的高空间分
辨率多光谱拟合影像中的多层次光谱细节和多尺度纹理细节,不仅可以以高空间分
辨率反映不同土地覆盖类型的空间结构,而且能够从高空间分辨率的全色影像中注入
足够丰富的纹理细节信息。
与现有的技术相比,本发明的优点在于:
1.本发明提出了一种基于平行深度学***行深度学***行网络的纹理要素特征进行融合,两者缺一不可,可以解决目前遥感锐化产品存在的模型稳定性不足的问题;
2.本发明在多层次深度神经网络架构中构建了第一特征提取网络和改进的递归网络,可以增强多光谱影像对全色影像的空间-光谱依赖度,获取丰富的多层次光谱特征要素,能够最大程度减少遥感锐化产品的光谱失真度;
3.本发明在多尺度深度神经网络架构中构建了多尺度平行网络和第二特征提取网络,可以进一步增强多光谱影像对全色影像的空间依赖性,获取丰富的多尺度纹理细节特征要素,能够最大程度减少遥感锐化产品的空间失真度。
本发明的其它优点、目标和特征将部分通过下面的说明体现,部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1是本发明的流程图;
图2是本发明多层次深度卷积神经网络架构流程图;
图3是本发明多尺度深度卷积神经网络架构流程图。
具体实施方式
为了使本技术领域的人员更好的理解本发明方案,下面将结合附图,对本发明实施例中的技术方案进行清楚、完整的描述。
如图1所示,本实施例基于平行深度学习网络架构的遥感影像锐化方法,包括以下步骤:
S1、获得遥感全色影像在锐化过程中的光谱要素特征:建立多层次深度卷积神经网络架构,获取遥感影像中多光谱波段与全色波段时空-光谱之间的定量关系,以提高影像在锐化过程中的光谱信息保真度;
S2、获得遥感多光谱影像在锐化过程中的纹理要素特征:建立多尺度深度卷积神经网络架构,获取遥感影像全色波段不同地物类型的纹理细节特征,以提高影像在锐化过程中的纹理信息保真度;
S3、获取遥感影像锐化产品:融合所述光谱要素特征和纹理要素特征,建立深度学习重建网络以获取遥感影像锐化产品。本实施例将光谱要素特征和纹理要素特征进行融合,通过重建网络处理,输出结果不仅包含了不同土地覆盖类型的空间-光谱信息,而且获取了全色影像中丰富的纹理细节信息,得到高质量的遥感影像锐化产品。
本实施例多层次深度卷积神经网络架构的流程图如图2所示,本实施例S1中的获得遥感全色影像在锐化过程中的光谱要素特征包括建立特征提取网络以捕获多光谱影像的浅层特征,以及对应全色影像的纹理细节,具体步骤包括:
S101、使用双三次插值对原始多光谱影像进行上采样,使原始多光谱影像保持与对应全色影像相同的空间分辨率;
S102、将全色影像和经过上采样的多光谱影像进行堆叠组合,并作为第一特征提取网络的输入数据;
S103、将第一特征提取网络的输出结果送入改进的递归网络,作为改进的递归网络的输入数据;其中,在第一特征提取网络之后建立改进的递归网络,可以增强多光谱影像和全色影像的区域依赖性,获取多层次光谱信息;
S104、将改进的递归网络中各层卷积处理的结果进行累加并带入下一层网络,增强不同级别特征要素的积累,并分别保留各级网络处理结果。
本实施例为了捕获遥感多光谱影像的浅层特征和相应全色影像的纹理细节,首先利用了多层卷积神经网络(CNN)即第一特征提取网络进行影像特征提取。在影像的预处理上,通过双三次插值对低空间分辨率的多光谱影像进行上采样处理,以保持与相应全色影像相同的空间分辨率。
本实施例第一特征提取网络包括多层卷积层,将全色影像和经历过上采样处理的多光谱影像堆叠处理,作为第一特征提取网络的输入数据,对于第一特征提取网络的其它层,输入要素均为上一层卷积操作之后的输出结果:
其中,表示卷积处理,表示用于组成多光谱影像和全色影像的映射函数,表示低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像,表示高空间分辨率的全色影像,表示残差结果,表示第一特征提取网络中第一次卷
积运算后得到的要素特征。
本实施例经过第一特征提取网络后,输出的要素特征包含了低空间分辨率多光谱
影像经过上采样之后的高空间分辨率多光谱拟合影像和高空间分辨率的全色影像的浅层纹理细节,以及两类影像在局部区域的空间-光谱关联信息。然而,简单的多层
卷积网络结构只能获得影像的浅层要素特征,不足以提取影像所包含的复杂地表覆盖类型
信息。随着网络深度的不断增加,深层的语义特征虽然可以得到补充,但浅层的纹理细节会
因此不断丢失。针对以上问题,本实施例在多层次深度神经网络架构中提出了一种改进的
递归网络,以增强低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影
像和高空间分辨率的全色影像之间的区域依赖性,同时也能保留影像从浅层到
深层的多层次纹理信息。
本实施例改进的递归网络包括多层卷积层,第一层卷积层的输入数据为第一特征提取网络的输出结果,对于其它卷积层,输入数据为改进的递归网络中经过当前卷积层之前所有卷积层卷积处理后得到的要素特征累加,用以迭代和强化不同网络层级得到的纹理细节,
所述改进的递归网络公式如下所示:
本实施例多尺度深度卷积神经网络架构的流程图如图3所示,本实施例在多尺度深度卷积神经网络架构中,使用了多尺度平行网络结构,即多个平行结构的卷积层。S2中获得遥感多光谱影像在锐化过程中的纹理要素特征具体包括以下步骤:
S201、为了提取复杂地物类型区域的空间结构和地物边缘特征,利用多尺度平行网络进行地物类型的特征提取,经过多尺度平行网络处理,输出的多尺度浅层要素特征集合包含了不同土地覆被类型的丰富纹理细节;
S202、将多尺度平行网络的输出结果送入多尺度深度卷积神经网络架构下的第二特征提取网络中,作为该网络的输入数据。本实施例第二特征提取网络由多层卷积神经网络构成,本实施例多尺度平行网络之后设置了第二特征提取网络,采用第二特征提取网络可以增强全色影像的空间依赖性,并获取多种土地覆被类型之间更深的纹理特征。
本实施例多尺度平行网络包括多个卷积层,且不同的卷积层具有唯一尺寸的滤波
器,多尺度平行网络中的所有卷积层都处于平行关系。本实施例经过多尺度平行网络处理,
输出的多尺度浅层要素特征集合包含了不同土地覆被类型的丰富纹理细节。本实施例多尺
度平行网络中,输入数据是高空间分辨率的全色影像,经过多尺度平行网络处理,输出
结果是来自不同卷积层的合成特征要素,具体包含高空间分辨率的全色影像的多尺度
浅层要素特征集合:
本实施例在第二特征提取网络中,第一层卷积层的输入数据是经过多尺度平行网
络处理后的多尺度浅层要素特征集合,对于第二特征提取网络的其它卷积层,输入数据为
上一层卷积层处理得到的要素特征输出结果;经过多尺度深度卷积神经网络架构得到的输
出结果为:
本实施例S3中的获取遥感影像锐化产品包括以下步骤:
S301、利用多层卷积神经网络作为变化影像的重建网络,经过重建网络处理,输出
结果可以保留低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像和高空间分辨率的全色影像中的多层次、多尺度光谱-纹理细节,不仅可以反映
不同土地覆盖类型的空间结构和光谱信息,而且能够从高空间分辨率的全色影像中注
入足够丰富的纹理细节;
其中,表示卷积处理,表示用于组成多光谱影像和全色影像的映射函数,表
示多层次要素特征集合,表示多尺度要素特征集合,表示残差结果,表示低空间
分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像。
本实施例对于多层卷积神经网络中的第一层,输入要素为多层次深度神经网络架构和多尺度神经网络架构中获取的光谱特征要素和纹理细节特征要素的堆叠组合。
本实施例通过重建网络处理,输出结果不仅包含了不同土地覆盖类型的空间-光谱信息,而且获取了全色影像中丰富的纹理细节信息。最后,通过利用重建网络的输出结果与输入的高分辨率多光谱拟合影像得到最终的高质量遥感影像锐化产品。
本实施例将经过改进的递归网络的光谱要素特征和经过多尺度平行网络的纹理要素特征进行融合,可以进一步提高基于深度卷积神经网络的遥感锐化产品的稳定性。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (10)
1.一种基于平行深度学习网络架构的遥感影像锐化方法,其特征在于,包括以下步骤:
S1、获得遥感全色影像在锐化过程中的光谱要素特征:建立多层次深度卷积神经网络架构,获取遥感影像中多光谱波段与全色波段时空-光谱之间的定量关系;
S2、获得遥感多光谱影像在锐化过程中的纹理要素特征:建立多尺度深度卷积神经网络架构,获取遥感影像全色波段不同地物类型的纹理细节特征;
S3、获取遥感影像锐化产品:融合所述光谱要素特征和纹理要素特征,建立深度学习重建网络以获取遥感影像锐化产品。
2.根据权利要求1所述的基于平行深度学习网络架构的遥感影像锐化方法,其特征在于,所述S1中的获得遥感全色影像在锐化过程中的光谱要素特征的具体步骤包括:
S101、使用双三次插值对原始多光谱影像进行上采样,使原始多光谱影像保持与对应全色影像相同的空间分辨率;
S102、将全色影像和经过上采样的多光谱影像进行堆叠组合,并作为第一特征提取网络的输入数据;
S103、将第一特征提取网络的输出结果送入改进的递归网络,作为该网络的输入数据;
S104、将改进的递归网络中各层卷积处理的结果进行累加并带入下一层网络,增强不同级别的特征要素,并分别保留各级网络的处理结果。
4.根据权利要求2所述的基于平行深度学习网络架构的遥感影像锐化方法,其特征在于,所述改进的递归网络包括多层卷积层,改进的递归网络的第一层卷积层的输入数据为第一特征提取网络的输出结果,对于改进的递归网络的其它卷积层,输入数据为改进的递归网络中经过当前卷积层之前所有卷积层卷积处理后得到的要素特征累加;
所述改进的递归网络公式如下所示:
5.根据权利要求1所述的基于平行深度学习网络架构的遥感影像锐化方法,其特征在于,所述S2中获得遥感多光谱影像在锐化过程中的纹理要素特征具体包括以下步骤:
S201、通过多尺度平行网络进行地物类型的特征提取,输出包含不同土地覆被类型的丰富纹理细节的多尺度浅层要素特征集合;
S202、将多尺度平行网络的输出结果输入多尺度深度卷积神经网络架构下的第二特征提取网络,作为所述第二特征提取网络的输入数据。
6.根据权利要求5所述的基于平行深度学***行网络包括多个卷积层,且不同的卷积层具有唯一尺寸的滤波器,所述多尺度平行网络中的所有卷积层都处于平行关系。
9.根据权利要求1-8任一所述的基于平行深度学习网络架构的遥感影像锐化方法,其特征在于,所述S3中的获取遥感影像锐化产品包括以下步骤:
S301、利用多层卷积神经网络作为变化影像的重建网络,经过重建网络处理,输出结果
保留低空间分辨率多光谱影像经过上采样之后的高空间分辨率多光谱拟合影像和
高空间分辨率的全色影像中的多层次光谱信息和多尺度纹理细节特征;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111481416.6A CN113902650B (zh) | 2021-12-07 | 2021-12-07 | 基于平行深度学习网络架构的遥感影像锐化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111481416.6A CN113902650B (zh) | 2021-12-07 | 2021-12-07 | 基于平行深度学习网络架构的遥感影像锐化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113902650A true CN113902650A (zh) | 2022-01-07 |
CN113902650B CN113902650B (zh) | 2022-04-12 |
Family
ID=79025588
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111481416.6A Active CN113902650B (zh) | 2021-12-07 | 2021-12-07 | 基于平行深度学习网络架构的遥感影像锐化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113902650B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109492527A (zh) * | 2018-09-28 | 2019-03-19 | 南京航空航天大学 | 一种基于全色锐化技术的遥感图像亚像元定位方法 |
CN109801218A (zh) * | 2019-01-08 | 2019-05-24 | 南京理工大学 | 基于多层耦合卷积神经网络的多光谱遥感图像Pan-sharpening方法 |
CN110084747A (zh) * | 2019-03-15 | 2019-08-02 | 南京航空航天大学 | 基于全色锐化技术支持下的空间引力模型亚像元定位方法 |
CN110222728A (zh) * | 2019-05-15 | 2019-09-10 | 图灵深视(南京)科技有限公司 | 物品鉴别模型的训练方法、***及物品鉴别方法、设备 |
CN110599401A (zh) * | 2019-08-19 | 2019-12-20 | 中国科学院电子学研究所 | 遥感图像超分辨率重建方法、处理装置及可读存储介质 |
CN110807746A (zh) * | 2019-10-30 | 2020-02-18 | 华南理工大学 | 一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法 |
CN110930315A (zh) * | 2019-10-23 | 2020-03-27 | 西北工业大学 | 基于双通路卷积网络和层次clstm的多光谱图像全色锐化方法 |
CN111080567A (zh) * | 2019-12-12 | 2020-04-28 | 长沙理工大学 | 基于多尺度动态卷积神经网络的遥感图像融合方法及*** |
CN111340711A (zh) * | 2020-05-21 | 2020-06-26 | 腾讯科技(深圳)有限公司 | 一种超分辨率重建方法、装置、设备和存储介质 |
US20210125308A1 (en) * | 2018-05-22 | 2021-04-29 | Airbus Ds Geo Sa | Method for increasing the spatial resolution of a multispectral image from a panchromatic image |
-
2021
- 2021-12-07 CN CN202111481416.6A patent/CN113902650B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210125308A1 (en) * | 2018-05-22 | 2021-04-29 | Airbus Ds Geo Sa | Method for increasing the spatial resolution of a multispectral image from a panchromatic image |
CN109492527A (zh) * | 2018-09-28 | 2019-03-19 | 南京航空航天大学 | 一种基于全色锐化技术的遥感图像亚像元定位方法 |
CN109801218A (zh) * | 2019-01-08 | 2019-05-24 | 南京理工大学 | 基于多层耦合卷积神经网络的多光谱遥感图像Pan-sharpening方法 |
CN110084747A (zh) * | 2019-03-15 | 2019-08-02 | 南京航空航天大学 | 基于全色锐化技术支持下的空间引力模型亚像元定位方法 |
CN110222728A (zh) * | 2019-05-15 | 2019-09-10 | 图灵深视(南京)科技有限公司 | 物品鉴别模型的训练方法、***及物品鉴别方法、设备 |
CN110599401A (zh) * | 2019-08-19 | 2019-12-20 | 中国科学院电子学研究所 | 遥感图像超分辨率重建方法、处理装置及可读存储介质 |
CN110930315A (zh) * | 2019-10-23 | 2020-03-27 | 西北工业大学 | 基于双通路卷积网络和层次clstm的多光谱图像全色锐化方法 |
CN110807746A (zh) * | 2019-10-30 | 2020-02-18 | 华南理工大学 | 一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法 |
CN111080567A (zh) * | 2019-12-12 | 2020-04-28 | 长沙理工大学 | 基于多尺度动态卷积神经网络的遥感图像融合方法及*** |
CN111340711A (zh) * | 2020-05-21 | 2020-06-26 | 腾讯科技(深圳)有限公司 | 一种超分辨率重建方法、装置、设备和存储介质 |
Non-Patent Citations (3)
Title |
---|
LARABI MEA ET AL: "《Learning Image Downscaling for Pansharpening Using an Improved UNet》", 《IEEE》 * |
YANG Y ET AL: "《PCDRN:Progressive Cascade Deep Residual Network for Pansharpening》", 《MDPI》 * |
王甜甜: "《基于深度残差神经网络的多光谱图像全色锐化算法研究》", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
Also Published As
Publication number | Publication date |
---|---|
CN113902650B (zh) | 2022-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110533620B (zh) | 基于aae提取空间特征的高光谱和全色图像融合方法 | |
Zhou et al. | Pyramid fully convolutional network for hyperspectral and multispectral image fusion | |
CN112634137B (zh) | 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法 | |
CN111127374B (zh) | 一种基于多尺度密集网络的Pan-sharpening方法 | |
CN110415199B (zh) | 基于残差学习的多光谱遥感图像融合方法及装置 | |
He et al. | Spectral-fidelity convolutional neural networks for hyperspectral pansharpening | |
Wang et al. | Spatiotemporal fusion of remote sensing image based on deep learning | |
CN110544212B (zh) | 基于层级特征融合的卷积神经网络高光谱图像锐化方法 | |
CN116152120B (zh) | 一种融合高低频特征信息的低光图像增强方法及装置 | |
Turnes et al. | Atrous cGAN for SAR to optical image translation | |
CN114266957B (zh) | 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法 | |
CN116309070A (zh) | 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备 | |
Xiao et al. | Physics-based GAN with iterative refinement unit for hyperspectral and multispectral image fusion | |
Pan et al. | FDPPGAN: remote sensing image fusion based on deep perceptual patchGAN | |
CN115018750A (zh) | 中波红外高光谱及多光谱图像融合方法、***及介质 | |
CN116645569A (zh) | 一种基于生成对抗网络的红外图像彩色化方法和*** | |
Wang et al. | A group-based embedding learning and integration network for hyperspectral image super-resolution | |
Lei et al. | Convolution neural network with edge structure loss for spatiotemporal remote sensing image fusion | |
CN117593199A (zh) | 一种基于高斯先验分布自注意力的双流遥感图像融合方法 | |
CN113902650B (zh) | 基于平行深度学习网络架构的遥感影像锐化方法 | |
CN116563187A (zh) | 一种基于图神经网络的多光谱图像融合 | |
CN116433548A (zh) | 一种基于多级信息提取的高光谱与全色图像融合方法 | |
CN115082344A (zh) | 基于细节注入的双分支网络全色锐化方法 | |
CN110111254B (zh) | 一种基于多级递归引导和渐进监督的深度图超分辨率方法 | |
CN110807746B (zh) | 一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |