CN111080567B - 基于多尺度动态卷积神经网络的遥感图像融合方法及*** - Google Patents
基于多尺度动态卷积神经网络的遥感图像融合方法及*** Download PDFInfo
- Publication number
- CN111080567B CN111080567B CN201911271164.7A CN201911271164A CN111080567B CN 111080567 B CN111080567 B CN 111080567B CN 201911271164 A CN201911271164 A CN 201911271164A CN 111080567 B CN111080567 B CN 111080567B
- Authority
- CN
- China
- Prior art keywords
- image
- convolution
- scale
- fusion
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 24
- 238000013527 convolutional neural network Methods 0.000 title claims description 13
- 230000004927 fusion Effects 0.000 claims abstract description 83
- 238000000034 method Methods 0.000 claims abstract description 71
- 238000013528 artificial neural network Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 13
- 238000001228 spectrum Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 230000003595 spectral effect Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 6
- 238000001514 detection method Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 11
- 238000002474 experimental method Methods 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多尺度动态卷积神经网络的遥感图像融合方法及***，该方法首先将高分辨率全色图像和低分辨率多光谱图像通过多尺度滤波器生成网络动态产生多尺度滤波器，然后将滤波器与全色图像进行多尺度动态卷积；利用权重生成网络对动态卷积所得到的细节特征进行适当的加权，将加权后的多尺度细节特征通过两个卷积层后得到最终的细节图像，再将细节图像与低分辨率多光谱图像相加得到融合图像。本发明采用多尺度局部自适应动态卷积，可根据每个输入图像在每个像素位置动态产生局部自适应滤波器，加强了网络的自适应性，提高了网络的泛化能力，获得了好的融合效果，可用于目标检测、目标识别等。
Description
技术领域
本发明属于图像处理领域，具体涉及一种基于多尺度动态卷积神经网络的遥感图像融合方法及***。
背景技术
为了高效的利用和整合来自不同传感器的图像，图像融合技术得到了飞速的发展，在民用、军事、医学、计算机视觉等领域得到了广泛的应用。在图像融合技术中，多光谱图像和全色图像的融合应用最为广泛。多光谱图像包含丰富的光谱信息，但是空间分辨率低；而全色图像的空间细节丰富，但缺乏光谱信息，通过多光谱图像和全色图像的融合可以提高多光谱图像的空间分辨率，使其更好地运用于地表物体的识别检测以及其他应用。
传统的图像融合方法主要有以下三种：成分替换法、多分辨率分析法和稀疏表示法。成分替换法首先对低分辨率多光谱图像进行某种空间变换，然后用高分辨全色图像替代变换后多光谱图像的结构分量，最后进行逆变换得到高分辨多光谱图像，该方法虽然简单快速，能获得较好的空间细节，但是有一定的光谱失真；多分辨率分析法的中心思想是在多光谱图像中注入由多分辨率分析所提取的全色图像的结构细节，该方法的光谱保持通常优于成分替换法，但融合图像的结构细节欠佳；稀疏表示法主要是构造或学习字典以及稀疏求解，该方法的融合结果受构造字典的影响，且稀疏求解效率低。
现有的图像融合方法主要是基于深度学习模型的方法，如PNN、PanNet和RSIFNN等，其中PNN方法参见文献Masi,Giuseppe,et al."Pansharpening by convolutionalneural networks."Remote Sensing 8.7(2016):594，PanNet方法参见文献Yang,Junfeng,et al."PanNet:Adeep network architecture for pan-sharpening."Proceedings ofthe IEEE International Conference on Computer Vision.2017，RSIFNN方法参见文献Shao,Zhenfeng,and Jiajun Cai."Remote sensing image fusion with deepconvolutional neural network."IEEE Journal of Selected Topics in AppliedEarth Observations and Remote Sensing 11.5(2018):1656-1669；虽然相比传统的融合方法，融合效果有显著的提高，但是这些方法的网络自适应性不强，结构较简单，导致融合图像的光谱存在一定的扭曲，丢失了部分结构细节。为了使网络具有更好的泛化能力，提升融合性能，基于深度学习模型的图像融合方法仍然需要不断的改进与创新。
发明内容
本发明针对传统的基于卷积神经网络的遥感图像融合方法，滤波器在训练后固定不变，自适应性差，导致融合图像细节丢失、光谱扭曲的问题，提供一种基于多尺度动态卷积神经网络的遥感图像融合方法及***。
一种基于多尺度动态卷积神经网络的遥感图像融合方法，包括以下步骤：
步骤1：利用多尺度滤波器生成网络获取多尺度局部自适应动态滤波器；
步骤2：利用多尺度局部自适应动态滤波器与全色图像进行多尺度动态卷积；
步骤3：利用权重生成网络获得不同尺度的权重，并将权重与对应的尺度的动态卷积结果进行相乘，获得全色图像在不同尺度的细节特征；
步骤4：重构融合图像；
利用不同尺度的细节特征在通道维进行拼接后，将拼接结果依次通过两个不同大小的卷积层，得到最终细节；最后将最终细节与低分辨率多光谱图像相加，获得融合图像。
进一步地，所述多尺度局部自适应动态滤波器是利用低分辨率多光谱图像和全色图像在通道维拼接后，将拼接后的结果输入多尺度滤波器生成网络中获得；
其中，所述多尺度滤波器生成网络包括依次连接的1个3×3的卷积层、4个残差模块、1个3×3的卷积层和1个1×1的卷积层，再连接4个不同通道数的1×1卷积层和矩阵维数变换模块；
所述残差模块包括1个3×3的卷积层和1个1×1的卷积层，输入残差模块的数据依次经过1个3×3的卷积层和1个1×1的卷积层的处理后，再与输入残差模块的数据进行相加，得到残差模块的输出数据；
所述矩阵维数变换模块是指将输入矩阵维数变换模块的矩阵维度由四维转换为五维；
所述4个不同通道数的1×1卷积层的通道数为Cs，Cs＝ks×ks×M，ks表示第s个尺度的动态卷积滤波器的大小，s＝1，2，3，4。
多尺度滤波器生成网络对每个输入图像在每个像素位置动态产生滤波器，提高了网络的自适应能力，网络中的残差模块不仅提高了各残差块之间的信息流通，也有效的避免了网络深度增加所引起的退化问题和梯度消失问题；普通滤波通过同一滤波器平移实现，局部自适应动态滤波是在输入图像的不同位置自适应采用不同滤波器。
利用多尺度动态卷积来提取不同尺度的细节特征，提高了网络的特征提取能力，得到了更高效、更精确的特征图像。
进一步地，所述矩阵维数变换模块采用tensorflow的reshape函数实现；
输入矩阵维数变换模块的矩阵维度大小为N×H×W×Cs，所述矩阵维数变换模块输出的矩阵维度大小为N×H×W×ks 2×M；
其中，N表示输入图像的批量大小，H和W表示待融合图像的高度和宽度，M为设定的动态卷积滤波器个数。
批量大小是训练一次所取的图像数量，如批量大小为32时表明网络一次训练32组低分多光谱图像和全色图像，这里是指输入图像的批量，也就是低分多光谱图像和全色图像的批量。批量大小是卷积神经网络里一个基本的概念；此外，低分辨率多光谱图像，全色图像，融合图像的大小都相同；
进一步地，ks×ks的取值依次为3×3、5×5、7×7、9×9，且M＝16。
进一步地，所述权重生成网络包括依次连接的1个3×3卷积层、1个空洞卷积模块、1个3×3卷积层、1个空洞卷积模块、1个3×3卷积层和1个1×1卷积层；
所述空洞卷积模块包括3个不同膨胀系数的空洞卷积层，输入空洞卷积模块的数据分别经过3个不同膨胀系数的空洞卷积层处理，将处理结果与输入空洞卷积模块的数据进行通道维拼接，得到空洞卷积模块的输出数据。
权重生成网络产生自适应的权重调整各特征图在每个尺度细节特征中的比例关系，网络中采用的空洞卷积在不增加参数的情况下加大感受野，使得每个卷积输出都包含较大范围的信息。
进一步地，所述3个不同膨胀系数的空洞卷积层的膨胀系数分别为1、2、4，且所述空洞卷积层滤波器的大小为3×3。
进一步地，所述多尺度滤波器生成网络、权重生成网络以及重构融合图像中的卷积层的参数，是在利用训练集进行训练时，通过优化损失函数，使得损失函数达到最小时确定；
其中，所述训练集包括多组低分辨率多光谱图像、全色图像和对应的高分辨率多光谱图像；所述损失函数是指将低分辨率多光谱图像、全色图像按照步骤1-步骤4得到的融合图像与对应的高分辨率多光谱图像之间的误差。
进一步地，所述损失函数采用均方误差进行计算。
进一步地，所述损失函数采用均方误差和光谱损失进行权重求和计算；
L＝L1+λL2
其中，L1表示均方误差，L2表示光谱损失，L表示总的损失函数，Y表示将训练集中的低分辨率多光谱图像和全色图像按照步骤1-步骤4得到的融合图像，MS表示训练集中与Y对应的高分辨率多光谱图像，n、m、z表示空间向量坐标，λ表示一个常量，取值为0.8。
一种基于多尺度动态卷积神经网络的遥感图像融合***，包括：
多尺度局部自适应动态滤波器构建单元：利用多尺度滤波器生成网络获取多尺度局部自适应动态滤波器；
多尺度动态卷积单元：利用多尺度局部自适应动态滤波器与全色图像进行多尺度动态卷积；
细节特征调整单元：利用权重生成网络获得不同尺度的权重，并将权重与对应尺度的动态卷积结果进行相乘，获得全色图像在不同尺度的细节特征；
融合图像重构单元：利用不同尺度的细节特征在通道维进行拼接后，将拼接结果依次通过两个不同大小的卷积层，得到最终细节；最后将最终细节与低分辨率多光谱图像相加，获得融合图像。
在所述的融合***中，各单元模块的处理过程按照一种基于多尺度动态卷积神经网络的遥感图像融合方法进行图像数据处理。
有益效果
相较于现有技术，本发明提出的一种基于多尺度动态卷积神经网络的遥感图像融合方法及***有以下显著优点：
1.多尺度滤波器生成网络对每个输入图像在每个像素位置动态产生滤波器，提高了网络的自适应能力，网络中的残差模块不仅提高了各残差块之间的信息流通，也有效的避免了网络深度增加所引起的退化问题和梯度消失问题；传统卷积神经网络使用的滤波器在训练中学习，在实际融合中保持不变，而动态卷积使用的滤波器在实际融合时会根据输入的不同而自适应变化，局部自适应动态滤波是将不同的滤波器应用在输入图像的不同位置进行的。
2.利用多尺度动态卷积来提取不同尺度的细节，提高了网络的特征提取能力，得到了更精确的图像细节。
3.权重生成网络产生自适应的的权重调整各特征图在每个尺度细节特征中的比例关系，网络中采用的空洞卷积在不增加参数的情况下加大感受野，使得每个卷积输出都包含较大范围的信息。
附图说明
图1为本发明实例所述方法的流程示意图；
图2为本发明实例所述方法中的主要网络结构示意图，其中，图2(a)为多尺度滤波器生成网络结构图，图2(b)为权重生成网络结构图；
图3是模拟图像实验中不同融合方法对GeoEye1卫星图像的融合结果示意图，其中，图3(a)为低分辨率多光谱图像，图3(b)为全色图像，图3(c)为高分辨率多光谱参考图像，图3(d)为NMRA方法融合图像，图3(e)为GLP方法融合图像，图3(f)为PanNet方法融合图像，图3(g)为Target-PNN方法融合图像，图3(h)为RSIFNN方法融合图像，图3(i)为应用本发明实例所述方法融合图像；
图4是模拟图像实验中不同融合方法对QuickBird卫星图像的融合结果示意图，其中，图4(a)为低分辨率多光谱图像，图4(b)为全色图像，图4(c)为高分辨率多光谱参考图像，图4(d)为NMRA方法融合图像，图4(e)为GLP方法融合图像，图4(f)为PanNet方法融合图像，图4(g)为Target-PNN方法融合图像，图4(h)为RSIFNN方法融合图像，图4(i)为应用本发明实例所述方法融合图像；
图5是实际图像实验中不同融合方法对GeoEye1卫星图像的融合结果示意图，其中，图5(a)为低分辨率多光谱图像，图5(b)为全色图像，图5(c)为NMRA方法融合图像，图5(d)为GLP方法融合图像，图5(e)为PanNet方法融合图像，图5(f)为Target-PNN方法融合图像，图5(g)为RSIFNN方法融合图像，图5(h)为应用本发明实例所述方法融合图像；
图6是实际图像实验中不同融合方法对QuickBird卫星图像的融合结果示意图，其中，图6(a)为低分辨率多光谱图像，图6(b)为全色图像，图6(c)为NMRA方法融合图像，图6(d)为GLP方法融合图像，图6(e)为PanNet方法融合图像，图6(f)为Target-PNN方法融合图像，图6(g)为RSIFNN方法融合图像，图6(h)为应用本发明实例所述方法融合图像。
具体实施方式
下面结合附图和实施例对本发明作进一步详细的描述。
如图1所示，本发明实例所述的一种基于多尺度动态卷积神经网络的遥感图像融合方法，具体实施步骤如下：
(1)将低分辨率多光谱图像和全色图像在通道维拼接后输入多尺度滤波器生成网络中获得多尺度局部自适应滤波器；多尺度滤波器生成网络结构如图2(a)所示，包括依次连接的一个3×3的卷积层、4个残差模块、一个3×3的卷积层和一个1×1的卷积层，再连接到4个不同通道数的1×1卷积层，这4个卷积层的通道数根据滤波器的大小和个数设置。最后利用tensorflow的reshape函数分别对4个不同通道数的1×1卷积后的结果进行矩阵维数变换，分别生成16个大小为3×3、5×5、7×7、9×9的滤波器。其中，残差模块包括1个3×3的卷积层和1个1×1的卷积层，输入残差模块的数据依次经过1个3×3的卷积层和1个1×1的卷积层的处理后，再与输入残差模块的数据进行相加，得到残差模块的输出数据，残差模块提高了信息流通，避免了由于网络过深所引起的梯度消失问题和退化问题；
(2)利用生成的4种尺度分别为3×3、5×5、7×7、9×9的滤波器与全色图像进行多尺度动态卷积，提取全色图像不同尺度的细节特征。局部动态卷积的滤波器根据输入中每个像素的位置在局部动态生成，单尺度动态卷积可表示为：
其中，Xy+j,x+i表示输入图像，
表示输入的滤波器，s表示尺度，v表示通道数，k表示滤波器的大小，y、x表示空间坐标，
表示动态卷积的结果；
(3)将动态卷积得到的结果D(1)、D(2)、D(3)、D(4)分别输入权重生成网络中生成矩阵大小与D(1)、D(2)、D(3)、D(4)相同的权重，然后将权重分别与D(1)、D(2)、D(3)、D(4)相乘，得到4个不同尺度的细节特征G(1)、G(2)、G(3)、G(4)；权重生成网络结构如图2(b)所示，包括依次连接的一个3×3卷积层、一个空洞卷积模块、一个3×3卷积层、一个空洞卷积模块、一个3×3卷积层和一个1×1卷积层；其中，空洞卷积模块包括3个膨胀系数分别为1、2、4的3×3空洞卷积层，输入空洞卷积模块的数据分别经过3个不同膨胀系数的空洞卷积层处理，将处理结果与输入空洞卷积模块的数据进行通道维拼接，得到空洞卷积模块的输出数据。其中单尺度细节特征可表示为：
其中，
表示权重生成网络所生成的权重，
表示得到的细节特征；
(4)重构融合图像；首先将得到的G(1)、G(2)、G(3)、G(4)在通道维拼接后，然后通过一个3×3的卷积层和一个1×1的卷积层得到最终的细节图像G，最后将G与低分辨率多光谱图像相加，得到融合图像。
实施例
本发明实例采用GeoEye1卫星和QuickBird卫星上的图像来检验提出的融合方法的实用性和有效性，其中多光谱图像包括红、绿、蓝、近红外四个波段。本发明实例给出了模拟图像实验和实际图像实验，模拟实验中的图像通过对实际图像进行退化和下采样得到。其中，模拟低分辨率多光谱图像还要对下采样的图像进行上采样，实际图像实验中先对实际多光谱图像进行上采样，然后再与实际全色图像进行融合。
实验中采用已配准好的全色图像和多光谱图像，本发明实例所述方法主要与NMRA、GLP两种传统融合方法和PanNet、RSIFNN、Target-PNN三种深度学习方法进行比较。
模拟图像实验效果分析：
图3(a)、3(b)和4(a)、4(b)分别为GeoEye1和QuickBird的低分辨率多光谱图像和全色图像，图3(c)和图4(c)为高分辨率多光谱参考图像，图3(d)～(h)和图4(d)～(h)为两个卫星的对比方法融合结果图，图3(i)和图4(i)为本发明实例所提出方法的融合结果图。与高分辨率多光谱参考图像相比，图3(d)～(e)有一定的细节丢失，由图3(i)可以看出本发明实例所述方法的光谱保持较好。图4(d)～(f)和图4(h)的融合图像较模糊，细节丢失严重，图4(i)可以看出本发明实例所述方法细节保存比较好。由融合图像可直观的看出本发明实例所述方法的融合图像与高分辨率多光谱参考图像差异较小，光谱保持和细节注入均较好。
通过对融合图像的分析，可以对融合结果有一个直观的认识，本发明还通过客观评价指标来进一步评估图像融合结果。本发明实例所述方法通过Q(通用图像质量指标)、SAM(光谱角映射)、SCC(空间相关系数)、ERGAS(相对整体维数综合误差)、Q4(4波段图像融合质量评价指标)这五项指标来对融合结果进行评估。其中SAM和ERGAS的最优值为0，Q、SCC和Q4的最优值为1。不同方法融合结果的客观评价指标如表1、表2所示，由表1和表2可看出，本发明实例所述方法在GeoEye1卫星和QuickBird卫星上的各项指标都优于其它方法。其中，与高分辨率多光谱参考图像的光谱和空间信息的相关程度远远高于传统融合方法。
表1 GeoEye1遥感图像融合结果客观评价指标
表2 QuickBird遥感图像融合结果客观评价指标
实际图像融合效果分析：
图5(a)、5(b)和图6(a)、6(b)分别为GeoEye1和QuickBird的低分辨率多光谱图像和全色图像，图5(c)～(f)和图6(c)～(f)为两个卫星的对比方法融合结果图，图5(h)和图5(h)为本发明实例所述方法的融合结果图。与低分辨率多光谱图像进行比较，图5(c)和图5(d)的细节结构欠佳，图5(e)～(g)的光谱保持没有本发明实例所述方法好。图6(d)、6(e)和6(g)有明显的细节丢失，图6(c)和图6(f)的植被部分的光谱和细节没有本发明方法图6(h)好。本发明实例所述方法在保持光谱信息的同时很好的注入了空间细节，达到了较好的融合效果。
由于实际融合过程中，没有高分辨率多光谱参考图像，本发明实例所述方法采用无参考图像的客观指标来评估融合结果。主要指标有QNR(质量无参考指标)、Dλ(光谱扭曲度)、Ds(空间扭曲度)。Dλ评价融合图像的光谱扭曲程度，Ds评价融合图像的空间细节丢失程度，QNR是结合Dλ和Ds的一个综合性指标，最优值为1，Dλ和Ds的最优值为0。表3和表4是不同融合方法在两个卫星图像上的融合结果客观评价指标。在GeoEye1卫星和QuickBird卫星上的实验，本发明实例所述方法的Dλ指标和Ds指标都最小，而且本发明实例所述方法的综合指标QNR最优，实现了较好的光谱保持和空间细节注入。
表3 GeoEye1遥感图像融合结果客观评价指标
表4 QuickBird遥感图像融合结果客观评价指标
一种基于多尺度动态卷积神经网络的遥感图像融合***，包括：
多尺度局部自适应动态滤波器构建单元：利用多尺度滤波器生成网络获取多尺度局部自适应动态滤波器；
多尺度动态卷积单元：利用多尺度局部自适应动态滤波器与全色图像进行多尺度动态卷积；
细节特征调整单元：利用权重生成网络获得不同尺度的权重，并将权重与对应的尺度的动态卷积结果进行相乘，获得全色图像在不同尺度的细节特征；
融合图像重构单元：利用不同尺度的细节特征在通道维进行拼接后，将拼接结果依次通过两个不同大小的卷积层，得到最终细节；最后将最终细节与低分辨率多光谱图像相加，获得融合图像。
在所述的融合***中，各单元模块的处理过程按照一种基于多尺度动态卷积神经网络的遥感图像融合方法进行图像数据处理。
应当理解，本发明各个实施例中的功能单元模块可以集中在一个处理单元中，也可以是各个单元模块单独物理存在，也可以是两个或两个以上的单元模块集成在一个单元模块中，可以采用硬件或软件的形式来实现。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (10)
1.一种基于多尺度动态卷积神经网络的遥感图像融合方法，其特征在于，包括以下步骤：
步骤1：利用多尺度滤波器生成网络获取多尺度局部自适应动态滤波器；
步骤2：利用多尺度局部自适应动态滤波器与全色图像进行多尺度动态卷积；
步骤3：利用权重生成网络获得不同尺度的权重，并将权重与对应尺度的动态卷积结果相乘，获得全色图像在不同尺度的细节特征；
步骤4：重构融合图像；
利用不同尺度的细节特征在通道维进行拼接后，将拼接结果依次通过两个不同大小的卷积层，得到最终细节；最后将最终细节与低分辨率多光谱图像相加，获得融合图像。
2.根据权利要求1所述的方法，其特征在于，所述多尺度局部自适应动态滤波器是利用低分辨率多光谱图像和全色图像在通道维拼接后，将拼接后的结果输入多尺度滤波器生成网络中获得；
其中，所述多尺度滤波器生成网络包括依次连接的1个3×3的卷积层、4个残差模块、1个3×3的卷积层和1个1×1的卷积层，再连接4个不同通道数的1×1卷积层和矩阵维数变换模块；
所述残差模块包括1个3×3的卷积层和1个1×1的卷积层，输入残差模块的数据依次经过1个3×3的卷积层和1个1×1的卷积层的处理后，再与输入残差模块的数据进行相加，得到残差模块的输出数据；
所述矩阵维数变换模块是指将输入矩阵维数变换模块的矩阵维度由四维转换为五维；
所述4个不同通道数的1×1卷积层的通道数为Cs，Cs＝ks×ks×M，ks表示第s个尺度的动态卷积滤波器的大小，s＝1，2，3，4。
3.根据权利要求2所述的方法，其特征在于，所述矩阵维数变换模块采用tensorflow的reshape函数实现；
输入矩阵维数变换模块的矩阵维度大小为N×H×W×Cs，所述矩阵维数变换模块输出的矩阵维度大小为N×H×W×ks 2×M；
其中，N表示输入图像的批量大小，H和W表示待融合图像的高度和宽度，M为设定的动态卷积滤波器个数。
4.根据权利要求2所述的方法，其特征在于，ks×ks的取值依次为3×3、5×5、7×7、9×9，且M＝16。
5.根据权利要求1所述的方法，其特征在于，所述权重生成网络包括依次连接的1个3×3卷积层、1个空洞卷积模块、1个3×3卷积层、1个空洞卷积模块、1个3×3卷积层和1个1×1卷积层；
所述空洞卷积模块包括3个不同膨胀系数的空洞卷积层，输入空洞卷积模块的数据分别经过3个不同膨胀系数的空洞卷积层处理，将处理结果与输入空洞卷积模块的数据进行通道维拼接，得到空洞卷积模块的输出数据。
6.根据权利要求5所述的方法，其特征在于，所述3个不同膨胀系数的空洞卷积层的膨胀系数分别为1、2、4，且所述空洞卷积层滤波器的大小为3×3。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述多尺度滤波器生成网络、权重生成网络以及重构融合图像中的卷积层的参数，是在利用训练集进行训练时，通过优化损失函数，使得损失函数达到最小时确定；
其中，所述训练集包括多组低分辨率多光谱图像、全色图像和对应的高分辨率多光谱图像；所述损失函数是指将低分辨率多光谱图像、全色图像按照步骤1-步骤4得到的融合图像与对应的高分辨率多光谱图像之间的误差。
8.根据权利要求7所述的方法，其特征在于，所述损失函数采用均方误差进行计算。
9.根据权利要求7所述的方法，其特征在于，所述损失函数采用均方误差和光谱损失进行权重求和计算；
L＝L1+λL2
其中，L1表示均方误差，L2表示光谱损失，L表示总的损失函数，Y表示将训练集中的低分辨率多光谱图像和全色图像按照步骤1-步骤4得到的融合图像，MS表示训练集中与Y对应的高分辨率多光谱图像，n、m、z表示空间向量坐标，λ表示一个常量，取值为0.8。
10.一种基于多尺度动态卷积神经网络的遥感图像融合***，其特征在于，包括：
多尺度局部自适应动态滤波器构建单元：利用多尺度滤波器生成网络获取多尺度局部自适应动态滤波器；
多尺度动态卷积单元：利用多尺度局部自适应动态滤波器与全色图像进行多尺度动态卷积；
细节特征调整单元：利用权重生成网络获得不同尺度的权重，并将权重与对应的尺度的动态卷积结果相乘，获得全色图像在不同尺度的细节特征；
融合图像重构单元：利用不同尺度的细节特征在通道维进行拼接后，将拼接结果依次通过两个不同大小的卷积层，得到最终细节；最后将最终细节与低分辨率多光谱图像相加，获得融合图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911271164.7A CN111080567B (zh) | 2019-12-12 | 2019-12-12 | 基于多尺度动态卷积神经网络的遥感图像融合方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911271164.7A CN111080567B (zh) | 2019-12-12 | 2019-12-12 | 基于多尺度动态卷积神经网络的遥感图像融合方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111080567A CN111080567A (zh) | 2020-04-28 |
| CN111080567B true CN111080567B (zh) | 2023-04-21 |
Family
ID=70313927
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911271164.7A Active CN111080567B (zh) | 2019-12-12 | 2019-12-12 | 基于多尺度动态卷积神经网络的遥感图像融合方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111080567B (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111709415B (zh) * | 2020-04-29 | 2023-10-27 | 北京迈格威科技有限公司 | 目标检测方法、装置、计算机设备和存储介质 |
| CN111680722B (zh) * | 2020-05-25 | 2022-09-16 | 腾讯科技（深圳）有限公司 | 内容识别方法、装置、设备及可读存储介质 |
| CN111860764A (zh) * | 2020-06-05 | 2020-10-30 | 北京迈格威科技有限公司 | 视觉任务处理方法及其模型训练方法、装置和电子*** |
| CN112465733B (zh) * | 2020-08-31 | 2022-06-28 | 长沙理工大学 | 基于半监督学习的遥感图像融合方法、装置、介质及设备 |
| CN112733919B (zh) * | 2020-12-31 | 2022-05-20 | 山东师范大学 | 基于空洞卷积和多尺度多分支的图像语义分割方法及*** |
| CN112986210B (zh) * | 2021-02-10 | 2021-12-17 | 四川大学 | 一种尺度自适应的微生物拉曼光谱检测方法及*** |
| CN112949754B (zh) * | 2021-03-29 | 2022-10-14 | 中国科学院合肥物质科学研究院 | 一种基于图像融合的文本识别数据合成方法 |
| CN113111885B (zh) * | 2021-04-14 | 2022-11-29 | 清华大学深圳国际研究生院 | 一种动态分辨率实例分割方法及计算机可读存储介质 |
| CN113128586B (zh) * | 2021-04-16 | 2022-08-23 | 重庆邮电大学 | 基于多尺度机制和串联膨胀卷积遥感图像时空融合方法 |
| CN113191993B (zh) * | 2021-04-20 | 2022-11-04 | 山东师范大学 | 基于深度学习的全色与多光谱图像融合方法 |
| CN113129247B (zh) * | 2021-04-21 | 2023-04-07 | 重庆邮电大学 | 基于自适应多尺度残差卷积的遥感图像融合方法及介质 |
| CN112990164B (zh) * | 2021-05-19 | 2021-07-27 | 湖南大学 | 一种多光谱与全色图像联合配准与模糊核估计方法与*** |
| CN113658054B (zh) * | 2021-07-06 | 2024-03-29 | 北京空间机电研究所 | 一种基于温漂特征线逼近的红外图像拼接校正方法 |
| CN113486908B (zh) * | 2021-07-13 | 2023-08-29 | 杭州海康威视数字技术股份有限公司 | 目标检测方法、装置、电子设备及可读存储介质 |
| CN114092813B (zh) * | 2021-11-25 | 2022-08-05 | 中国科学院空天信息创新研究院 | 一种工业园区图像提取方法、***、电子设备和存储介质 |
| CN113902650B (zh) * | 2021-12-07 | 2022-04-12 | 南湖实验室 | 基于平行深度学习网络架构的遥感影像锐化方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5949914A (en) * | 1997-03-17 | 1999-09-07 | Space Imaging Lp | Enhancing the resolution of multi-spectral image data with panchromatic image data using super resolution pan-sharpening |
| CN109272010A (zh) * | 2018-07-27 | 2019-01-25 | 吉林大学 | 基于卷积神经网络的多尺度遥感图像融合方法 |
| CN109410164A (zh) * | 2018-11-14 | 2019-03-01 | 西北工业大学 | 多尺度卷积神经网络的卫星全色与多光谱图像融合方法 |
| CN109993717A (zh) * | 2018-11-14 | 2019-07-09 | 重庆邮电大学 | 一种结合引导滤波和ihs变换的遥感图像融合方法 |
| CN110428387A (zh) * | 2018-11-16 | 2019-11-08 | 西安电子科技大学 | 基于深度学习与矩阵分解的高光谱与全色图像融合方法 |
| CN110555820A (zh) * | 2019-08-28 | 2019-12-10 | 西北工业大学 | 基于卷积神经网络和动态引导滤波的图像融合方法 |
-
2019
- 2019-12-12 CN CN201911271164.7A patent/CN111080567B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5949914A (en) * | 1997-03-17 | 1999-09-07 | Space Imaging Lp | Enhancing the resolution of multi-spectral image data with panchromatic image data using super resolution pan-sharpening |
| CN109272010A (zh) * | 2018-07-27 | 2019-01-25 | 吉林大学 | 基于卷积神经网络的多尺度遥感图像融合方法 |
| CN109410164A (zh) * | 2018-11-14 | 2019-03-01 | 西北工业大学 | 多尺度卷积神经网络的卫星全色与多光谱图像融合方法 |
| CN109993717A (zh) * | 2018-11-14 | 2019-07-09 | 重庆邮电大学 | 一种结合引导滤波和ihs变换的遥感图像融合方法 |
| CN110428387A (zh) * | 2018-11-16 | 2019-11-08 | 西安电子科技大学 | 基于深度学习与矩阵分解的高光谱与全色图像融合方法 |
| CN110555820A (zh) * | 2019-08-28 | 2019-12-10 | 西北工业大学 | 基于卷积神经网络和动态引导滤波的图像融合方法 |
Non-Patent Citations (4)
| Title |
|---|
| Bert De Brabandere 等.Dynamic Filter Networks.arXiv.2016,全文. * |
| Giuseppe Masi 等.Pansharpening by Convolutional Neural Networks.remote sensing.2016,全文. * |
| Qiangqiang Yuan 等.A Multiscale and Multidepth Convolutional Neural Network for Remote Sensing Imagery Pan-Sharpening.IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING.2018,第11卷(第3期),978-988. * |
| 方帅 等.基于深度金字塔网络的Pan-Sharpening 算法.《计算机辅助设计与图形学学报》.2019,第31卷(第10期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111080567A (zh) | 2020-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111080567B (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及*** | |
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| CN109741256B (zh) | 基于稀疏表示和深度学习的图像超分辨率重建方法 | |
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及*** | |
| CN110533620B (zh) | 基于aae提取空间特征的高光谱和全色图像融合方法 | |
| CN108830796B (zh) | 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法 | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨*** | |
| CN107977932B (zh) | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 | |
| Lin et al. | Hyperspectral image denoising via matrix factorization and deep prior regularization | |
| CN114119444B (zh) | 一种基于深度神经网络的多源遥感图像融合方法 | |
| CN109727207B (zh) | 基于光谱预测残差卷积神经网络的高光谱图像锐化方法 | |
| Tang et al. | Single image dehazing via lightweight multi-scale networks | |
| CN112184554A (zh) | 一种基于残差混合膨胀卷积的遥感图像融合方法 | |
| CN113793289B (zh) | 基于cnn和nsct的多光谱图像和全色图像模糊融合方法 | |
| CN111161141B (zh) | 基于频带间注意力机制对抗学习高光谱单图超分辨率方法 | |
| CN112435162B (zh) | 一种基于复数域神经网络的太赫兹图像超分辨重建方法 | |
| CN113643197B (zh) | 一种结合引导滤波和nsct的两阶轻量型网络全色锐化方法 | |
| CN115880225A (zh) | 一种基于多尺度注意力机制的动态光照人脸图像质量增强方法 | |
| CN114862731B (zh) | 低秩先验与空谱信息引导的多-高光谱影像融合方法 | |
| CN111932452B (zh) | 基于可见光图像增强的红外图像卷积神经网络超分辨方法 | |
| CN112163998A (zh) | 一种匹配自然降质条件的单图像超分辨率分析方法 | |
| CN115331104A (zh) | 一种基于卷积神经网络的农作物种植信息提取方法 | |
| CN116205830A (zh) | 一种基于有监督、无监督学习相结合的遥感图像融合方法 | |
| CN109978802A (zh) | 基于nsct和pcnn的压缩感知域内的高动态范围图像融合方法 | |
| CN117350923A (zh) | 基于GAN和Transformer的全色与多光谱遥感图像融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |