CN113538246A - 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 - Google Patents
基于无监督多阶段融合网络的遥感图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN113538246A CN113538246A CN202110911768.4A CN202110911768A CN113538246A CN 113538246 A CN113538246 A CN 113538246A CN 202110911768 A CN202110911768 A CN 202110911768A CN 113538246 A CN113538246 A CN 113538246A
- Authority
- CN
- China
- Prior art keywords
- network
- resolution
- convolution
- remote sensing
- stage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 77
- 230000006870 function Effects 0.000 claims abstract description 45
- 230000008447 perception Effects 0.000 claims abstract description 35
- 238000000605 extraction Methods 0.000 claims description 28
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000004088 simulation Methods 0.000 description 15
- 238000012360 testing method Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 14
- 238000011156 evaluation Methods 0.000 description 13
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000013441 quality evaluation Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于无监督多阶段融合的遥感图像超分辨率重建方法,主要解决现有遥感图像超分辨率重建方法鲁棒性差和超分后的遥感图像纹理模糊的问题,其实现步骤为:构建由多阶段融合网络;生成非匹配的训练集;利用构建一致性损失函数对网络依次进行内容一致性、感知内容一致性和感知分布一致性三个阶段的训练;对遥感图像进行超分辨率重建。本发明通过有效利用多阶段融合网络中的多层次特征,使用非匹配的真实遥感图像对网络进行训练,使得该方法具有较强鲁棒性,本发明在保留低分辨率遥感图像上的内容的同时挖掘其底层的感知相似性,以获得更加真实清晰的纹理。
Description
技术领域
本发明属于图像处理技术领域,更进一步涉及图像超分辨率重建技术领域中的一种基于无监督多阶段融合网络的遥感图像超分辨率重建方法。本发明可用于对遥感图像中的低分辨率图像进行重建。
背景技术
在遥感领域中图像超分辨率是从低分辨率图像观测中重建高分辨率图像,其中,基于实例学习的图像超分辨率重建方法是假设低分辨率图像与对应高分辨率图像存在一定的映射关系,通过学习这一映射关系,并将其转移到输入的低分辨率特征空间来重建高分辨率图像。因此遥感图像超分辨率方法可以用于环境监测和目标检测。然而由于受到硬件传输设备的影响,图像在传输和压缩过程中会丢失信息,现有的遥感图像超分辨率重建方法对真实遥感图像重建效果差、易产生错误的伪影,难以实际应用。
四川大学在其申请的专利文献“基于自适应联合约束的遥感图像超分辨率重建方法”(专利申请号:201910027043.1;申请公布号:CN109741263A)中公开了一种遥感图像的超分辨率重建方法。该方法使用双三次插值对低分辨率图像进行上采样,将得到的高分辨率图像组成训练集,通过学习到高分辨率图像的字典,利用图像的非局部自相似性,构建非局部稀疏先验;然后提出一个基于图像局部梯度的局部结构滤波器,构建结构保持局部先验;最后融合非局部和局部的先验使用交替迭代方法重构高分辨率图像。该方法存在的不足之处是,对低分辨率图像使用双三次插值上采样,得到匹配的高分辨率图像生成训练集,训练好的网络只能在与训练集具有相同退化环境下的遥感图像表现良好的性能,当未知退化的真实的遥感图像包含传感器噪声和混叠效应时输出的视觉效果差。
Zhang等人在其发表的论文“Unsupervised remote sensing image super-resolution using cycle CNN”(International Geoscience and Remote SensingSymposium.IEEE,2019:3117-3120)中提出了一种基于循环神经网络的无监督遥感图像超分辨率重建方法。该方法受循环生成对抗网络的启发,使用非配对的数据集进行网络的训练,整个网络由两个循环网络组成,第一个循环网络以低分辨率训练图像为输入,经过生成网络一生成高分辨率图像,高分辨率图像再经过生成网络二生成低分辨率图像;第二个循环网络以高分辨率训练图像为输入,经过生成网络二生成低分辨率图像,低分辨率图像再经过生成网络一生成高分辨率图像,整个网络使用2-范数进行约束。虽然该方法的图像重建效果显著,但是,该方法仍然存在的不足之处是,构建的循环网络在像素级别使用2-范数对遥感图像的降质和重建过程约束,忽略了图像全局感知的判别真实度,导致网络重建效果略平滑,纹理细节不足。
发明内容
本发明的目的在于针对上述已有技术的不足,提出一种基于无监督多阶段融合网络的遥感图像超分辨率重建方法,用于解决现有遥感图像超分辨率技术鲁棒性、实用性差的问题,同时还用于解决现有技术超分辨率重建后的遥感图像存在的图像纹理不清晰的问题。
实现本发明目的的思路是:构建由初始特征表示模块、多尺度特征融合模块和图像重建模块组成多阶段融合网络,有效利用深度网络中的多层次特征,对细节信息的恢复和内容的保留起到了积极的作用,并且生成非匹配的高分辨率遥感图像和符合真实降质的低分辨率遥感图像作为训练数据,使多阶段融合网络能更好的对真实低分辨率遥感图像进行超分辨率重建,解决当前遥感图像超分辨率重建技术鲁棒性、实用性差的问题。本发明通过构建内容一致性损失函数、感知内容一致性损失函数和感知分步一致性损失函数,依次对网络进行内容一致性、感知内容一致性和感知分布一致性三个阶段的训练,第一和阶段第二阶段的训练着重于图像像素级别的约束,第三阶段的训练着重与图像全局感知的约束,这种多阶段的训练可以达到在超分过程中保留图像低频信息的同时重建出真实且结构清晰的纹理,获得优秀的视觉效果。
实现本发明目的的技术方案如下:
步骤1,构建多阶段融合网络:
(1a)搭建一个由特征提取子模块组和一个卷积层级联组成多尺度特征融合模块,将卷积层的特征映射图总数设置为64,卷积核大小为3×3,补零为1,步长为1;
所述特征提取子模块组由8个结构相同和参数相等的特征提取子模块密集连接组成,每个特征提取子模块由残差单元组、1个通道融合层和1个卷积层级联组成;将通道融合层的特征映射图总数设置为128,将卷积层的特征映射图总数设置为64,卷积核大小为1×1,步长为1;
(1b)搭建一个由第1卷积层,第2卷积层,激活层,第3卷积层级联的图像重建模块;将第1层卷积层的卷积核的个数设置为64×低分辨率图像的放大倍数×低分辨率图像的放大倍数,卷积核的大小为3×3,补零为1,步长为1;将第2卷积层设置为亚像素卷积层,参数为低分辨率图像的放大倍数;激活层采用线性整流函数;将第3卷积层的卷积核的个数为3,卷积核大小为3×3,补零为1,步长为1;
(1c)将初始特征表示模块,多尺度特征融合模块和图像重建模块级联组成多阶段融合网络;
步骤2,生成非匹配的训练集:
(2a)将至少1000张低分辨率低质量的遥感图像和至少400张高分辨率高质量的遥感图像组成数据集,且对数据集中的每张图像进行预处理;
(2b)将预处理后的每张低分辨率低质量遥感图像随机裁剪为74×74的小图像块,将每张高分辨率高质量遥感图像随机裁剪为74×放大倍数的大图像块;
(2c)将裁剪后所有的低分辨率图像块和高分辨率图像块组成非匹配的训练集;
步骤3,构建一致性损失函数:
(3a)构建内容一致性损失函数lCC如下:
(3b)构建感知内容一致性损失函数lPCC如下:
其中,表示将经过高斯模糊处理后输入VGG19网络中得到的深层特征图,表示将经过双立方插值上采样后输入VGG19网络中得到的深层特征图,表示将经过双立方插值下采样后输入VGG19网络中得到的浅层特征图,表示将输入VGG19网络中得到的浅层特征图;
(3c)构建感知分布一致性损失函数lGen如下:
(3d)构建判别损失函数如下:
其中,lDis表示判别损失函数;
步骤4,对多阶段融合网络进行内容一致性训练:
将训练集所有的低分辨率图像块依次输入到多阶段融合网络,该网络进行前向传播得到超分后的高分辨率图像块,使用内容一致性损失函数计算该阶段网络的误差值,将误差值输入到Adam优化器中,计算网络每个卷积层的每个卷积核的所有梯度,迭代更新多阶段融合网络每个卷积层的每个卷积核的权重500代,完成对多阶段融合网络的内容一致性训练,保存该阶段训练好的多阶段融合网络中每个卷积层的每个卷积核的所有权重;
步骤5,对内容一致性训练后的多阶段融合网络进行感知内容一致性训练:
将训练集所有的低分辨率图像块依次输入到一致性训练后的多阶段融合网络中,该网络进行前向传播得到超分后的高分辨率图像块,使用感知内容一致性损失函数计算该阶段网络的误差值,将网络的误差值输入到Adam优化器中,计算网络每个卷积层的每个卷积核的所有梯度,迭代更新网络每个卷积层的每个卷积核的权重500代,完成对多阶段融合网络的感知内容一致性训练,保存该阶段训练好的多阶段融合网络中每个卷积层的每个卷积核的所有权重;
步骤6,对感知内容一致性训练后的多阶段融合网络进行感知分布一致性训练:
(6a)将训练集所有的低分辨率图像块依次输入到感知内容一致性训练后得多阶段融合网络,该网络进行前向传播得到超分后的高分辨率图像块,使用感知分布一致性损失函数计算该阶段网络误差值;将网络的误差值输入到Adam优化器中,计算网络每个卷积层的每个卷积核的所有梯度,更新多阶段融合网络每个卷积层的每个卷积核的所有权重;
(6b)将重建后的高分辨率图像块和训练集中的高分辨率图像块输入到判别网络中,使用判别损失函数计算判别网络的误差值,将判别网络的误差值输入到Adam优化器中,计算判别网络每个卷积层的每个卷积核的所有梯度,更新判别网络每个卷积层的每个卷积核的所有权重;
(6c)依次重复执行步骤(6a)、(6b),对感知内容一致性训练后的多阶段融合网络和判别网络进行交替训练,迭代更新参数300代,得到最终训练好的多阶段融合,保存训练好多阶段融合网络中每个卷积层的每个卷积核的所有权重;
步骤7,对遥感图像进行超分辨率重建:
将待重建的低分辨率遥感图像输入到训练好的多阶段融合网络,输出该图像的高分辨率图像。
本发明与现有技术相比具有以下优点:
第一,由于本发明可以使用非匹配的高分辨率遥感图像和符合真实降质的低分辨率遥感图像组成的训练数据,达到无监督训练的目的,通过多阶段融合网络,有效利用多阶段融合网络中的多层次特征,解决了现有技术对真实遥感图像重建效果差的缺点,使得本发明在重建真实低分辨率遥感图像时具有较好鲁棒性和实用性。
第二,本发明利用构建的内容一致性损失函数、感知内容一致性损失函数和感知分步一致性损失函数,依次对多阶段融合网络进行内容一致性、感知内容一致性和感知分布一致性三个阶段的训练,在保留低分辨率图像上的内容的同时从低分辨率图像中挖掘其底层的感知相似性,解决了现有技术对遥感图像重建得到的高分辨率图像纹理模糊的问题,使得本发明重建后的高分辨率遥感图像具有真实清晰的纹理,视觉效果突出的优点。
附图说明
图1是本发明的流程图;
图2是用本发明的仿真图。
具体实施方式
下面结合附图和实施例对本发明做进一步的描述。
参照图1,对本发明实现的具体步骤做进一步的描述。
步骤1,构建多阶段融合网络。
搭建一个由特征提取子模块组和一个卷积层级联组成多尺度特征融合模块,将卷积层的特征映射图总数设置为64,卷积核大小为3×3,补零为1,步长为1。
所述特征提取子模块组由8个结构相同和参数相等的特征提取子模块密集连接组成,每个特征提取子模块由残差单元组、1个通道融合层和1个卷积层级联组成;将通道融合层的特征映射图总数设置为128,将卷积层的特征映射图总数设置为64,卷积核大小为1×1,步长为1。
所述的8个结构相同和参数相等的特征提取子模块密集连接指的是,将第一个特征提取子模块的输入与第一个特征提取子模块的输出并联,作为第二个特征提取子模块的输入;将第二个特征提取子模块的输入与第二个特征提取子模块的输出并联,作为第三个特征提取子模块的输入;以此类推至第8个特征提取模块。
所述的残差单元组由8个结构相同和参数相等的残差单元级联组成,每个残差单元由第1卷积层,激活层和第2卷积层组成,每个残差单元中第1卷积层的输入叠加到第2卷积层的输出;所有卷积层的特征映射图总数均设置为64,卷积核大小均为3×3,补零均为1,步长均设置为1,激活层均采用非线性整流函数。
搭建一个由第1卷积层,第2卷积层,激活层,第3卷积层级联的图像重建模块;将第1层卷积层的卷积核的个数设置为64×低分辨率图像的放大倍数×低分辨率图像的放大倍数,卷积核的大小为3×3,补零为1,步长为1;将第2卷积层设置为亚像素卷积层,参数为低分辨率图像的放大倍数;激活层采用线性整流函数;将第3卷积层的卷积核的个数为3,卷积核大小为3×3,补零为1,步长为1。
将初始特征表示模块,多尺度特征融合模块和图像重建模块级联组成多阶段融合网络。
所述的初始特征表示模块由一个卷积层组成,该卷积层特征映射图总数为64,卷积核大小为3×3,补零为1,步长为1。
步骤2,生成非匹配的训练集。
将至少1000张低分辨率低质量的遥感图像和至少400张高分辨率高质量的遥感图像组成数据集,且对数据集中的每张图像进行预处理。
所述的初始化操作是指,对每张图像依次进行归一化、水平翻转和旋转90°。
将预处理后的每张低分辨率低质量遥感图像随机裁剪为74×74的小图像块,将每张高分辨率高质量遥感图像随机裁剪为74×放大倍数的大图像块。
将裁剪后所有的低分辨率图像块和高分辨率图像块组成非匹配的训练集。
步骤3,构建一致性损失函数。
构建内容一致性损失函数lCC如下:
所述的双立方插值下采样操作是由下述公式完成的:
其中,f(a,b)表示对下采样后得到的图像块中位于(a,b)坐标点的像素值,f(am,bn)表示图像块中位于(am,bn)坐标点的像素值,W(a-am)和W(b-bn)均为高斯核函数,可用W(x)描述为:
其中,c表示取值为0.5的常数,x表示像素点(a,b)位置与像素点(am,bn)位置在水平方向上的偏差a-am和竖直方向上的偏差b-bn,|·|表示取绝对值操作。
构建感知内容一致性损失函数lPCC如下:
其中,表示将经过高斯模糊处理后输入VGG19网络中得到的深层特征图,表示将经过双立方插值上采样后输入VGG19网络中得到的深层特征图,表示将经过双立方插值下采样后输入VGG19网络中得到的浅层特征图,表示将输入VGG19网络中得到的浅层特征图。
构建感知分布一致性损失函数lGen如下:
构建判别损失函数如下:
其中,lDis表示判别损失函数。
步骤4,对多阶段融合网络进行内容一致性训练。
将训练集所有的低分辨率图像块依次输入到多阶段融合网络,该网络进行前向传播得到超分后的高分辨率图像块,使用内容一致性损失函数计算该阶段网络的误差值,将误差值输入到Adam优化器中,计算网络每个卷积层的每个卷积核的所有梯度,迭代更新多阶段融合网络每个卷积层的每个卷积核的权重500代,完成对多阶段融合网络的内容一致性训练,保存该阶段训练好的多阶段融合网络中每个卷积层的每个卷积核的所有权重。
步骤5,对内容一致性训练后的多阶段融合网络进行感知内容一致性训练。
将训练集所有的低分辨率图像块依次输入到一致性训练后的多阶段融合网络中,该网络进行前向传播得到超分后的高分辨率图像块,使用感知内容一致性损失函数计算该阶段网络的误差值,将网络的误差值输入到Adam优化器中,计算网络每个卷积层的每个卷积核的所有梯度,迭代更新网络每个卷积层的每个卷积核的权重500代,完成对多阶段融合网络的感知内容一致性训练,保存该阶段训练好的多阶段融合网络中每个卷积层的每个卷积核的所有权重。
步骤6,对感知内容一致性训练后的多阶段融合网络进行感知分布一致性训练。
第1步,将训练集所有的低分辨率图像块依次输入到感知内容一致性训练后得多阶段融合网络,该网络进行前向传播得到超分后的高分辨率图像块,使用感知分布一致性损失函数计算该阶段网络误差值;将网络的误差值输入到Adam优化器中,计算网络每个卷积层的每个卷积核的所有梯度,更新多阶段融合网络每个卷积层的每个卷积核的所有权重。
第2步,将重建后的高分辨率图像块和训练集中的高分辨率图像块输入到判别网络中,使用判别损失函数计算判别网络的误差值,将判别网络的误差值输入到Adam优化器中,计算判别网络每个卷积层的每个卷积核的所有梯度,更新判别网络每个卷积层的每个卷积核的所有权重。
本发明的实施例中判别网络采用是VGG-296网络。
依次重复执行本步骤的第1步和第2步,对感知内容一致性训练后的多阶段融合网络和判别网络进行交替训练,迭代更新参数300代,得到最终训练好的多阶段融合,保存训练好多阶段融合网络中每个卷积层的每个卷积核的所有权重。
步骤7,对遥感图像进行超分辨率重建。
将待重建的低分辨率遥感图像输入到训练好的多阶段融合网络,输出该图像的高分辨率图像。
下面结合仿真实验对本发明的效果做进一步的描述。
1.仿真实验条件:
本发明的仿真实验的硬件平台:处理器为Intel(R)Core(TM)i9-9980XE CPU、主频为3.0GHz、内存为128GB、显卡为三块GeForce RTX Titan。
软件平台:Ubuntu 18.04操作***,Pytorch 1.6。
本发明仿真实验所使用的测试样本集的图像为由武汉大学于2011年发布的WHU-RS19数据集中随机选取的100张遥感图像,该100张遥感图像包含了19个类别的场景影像,图像大小均为600×600个像素,图像格式为jpg。对该100张进行双立方插值下采样得到测试样本集1,对该100张进行高斯模糊处理和双立方插值下采样后得到测试样本集2。
2.仿真内容及其结果分析:
本发明仿真实验是采用本发明和三个现有技术(EDSR方法、RCAN方法、IMDN方法)训练好的网络,分别对输入的测试样本集1和测试样本集2进行超分辨率重建,获得超分辨率结果图。
为了验证本发明的仿真实验效果,将本发明和三个现有技术对测试样本集1重建后的图像分别采用自然图像质量评价NIQE、学习感知图像块相似性LPIPS评价指标,对本发明仿真实验的超分辨率仿真结果进行质量评价,两个评价指标越低,说明重建后的图像效果越好。
为了验证本发明的仿真实验效果,将本发明和三个现有技术对测试样本集2重建后的图像分别采用峰值信噪比PSNR、结构相似度SSIM这两个评价指标作为客观评价指标,对本发明仿真实验的超分辨率仿真结果进行质量评价,两个评价指标越高,说明重建后的图像效果越好。
仿真实验中分别使用本发明及其现有先进方法中的三种方法:
现有技术的EDSR方法是指,Lim等人在其发表的“Enhanced deep residualnetworks for single image super-resolution”(In Proceedings of the IEEEConference on Computer Vision and Pattern Recognition Workshops,21-26July2017,pp.136–144.)中采用的增强的深度残差网络对测试样本进行超分辨率重建方法。
现有技术的RCAN方法是指,Zhang等人在其发表的“Image super-resolutionusing very deep residual channel attention networks.”(In Proceedings of theEuropean Conference on Computer Vision,2018,pp.286–301.)中采用使用非常深的残差通道注意网络进行超分辨率重建方法。
现有技术中的IMDN方法是指,Hui等人在其发表的“Lightweight image super-resolution with information multi-distillation network.”(In Proceedings ofthe MM’19:27th ACM International Conference on Multimedia,2019,pp.2024–2032.)采用信息多级蒸馏的超分辨率重建方法对测试样本进行超分辨率重建方法。
下面从输入的测试样本集1中选取“Desert43”图为例,结合图2对本发明的仿真效果做进一步的描述。其中:图2(a)是测试样本中的高分辨率“Desert43”图,图2(b)是使用双立方插值对低分辨率“Desert43”图进行重建的结果图,图2(c)是使用EDSR对低分辨率“Desert43”图进行重建的结果图,图2(d)是使用RCAN对低分辨率“Desert43”图进行重建的结果图,图2(e)是使用IMDN对低分辨率“Desert43”图进行重建的结果图,图2(f)是使用本发明对低分辨率“Desert43”图进行重建的结果图。
对比图2(c)、图2(d)、图2(e)和图2(f)可以看出,本发明在对沙漠纹理结构轮廓的重建效果较现有技术中的三种方法更加清晰且更加自然。
本发明与上述现有三种方法重建测试样本集1中所有的客观评价指标的平均值的对比结果如表1所示:
表1本发明与对比方法重建图像的客观评价值评价表
由表1可以看出,本发明重建测试样本WHU-RS19后的两个评价指标的平均值均高于上述现有技术中的三种方法,说明本发明重建的图像更接近原始高分辨率的图像,并取得更好的视觉效果。
本发明与上述现有三种方法重建测试样本集2中所有图像的客观评价指标的平均值的对比结果如表2所示:
表2本发明与对比方法重建图像的客观评价值评价表
由表2可以看出,本发明重建测试样本WHU-RS19后的两个客观评价指标的平均值均高于上述现有技术中的三种方法,说明本发明更具有鲁棒性和实用性,取得更好的重建效果。
Claims (6)
1.一种基于无监督多阶段融合网络的遥感图像超分辨率重建方法,其特征在于,构建由初始特征表示模块、多尺度特征融合模块和图像重建模块组成多阶段融合网络;生成包含高分辨率图像块和低分辨率图像块的非匹配的训练集,利用构建一致性损失函数对网络依次进行内容一致性、感知内容一致性和感知分布一致性三个阶段的训练;该重建方法的步骤包括如下:
步骤1,构建多阶段融合网络:
(1a)搭建一个由特征提取子模块组和一个卷积层级联组成多尺度特征融合模块,将卷积层的特征映射图总数设置为64,卷积核大小为3×3,补零为1,步长为1;
所述特征提取子模块组由8个结构相同和参数相等的特征提取子模块密集连接组成,每个特征提取子模块由残差单元组、1个通道融合层和1个卷积层级联组成;将通道融合层的特征映射图总数设置为128,将卷积层的特征映射图总数设置为64,卷积核大小为1×1,步长为1;
(1b)搭建一个由第1卷积层,第2卷积层,激活层,第3卷积层级联的图像重建模块;将第1层卷积层的卷积核的个数设置为64×低分辨率图像的放大倍数×低分辨率图像的放大倍数,卷积核的大小为3×3,补零为1,步长为1;将第2卷积层设置为亚像素卷积层,参数为低分辨率图像的放大倍数;激活层采用线性整流函数;将第3卷积层的卷积核的个数为3,卷积核大小为3×3,补零为1,步长为1;
(1c)将初始特征表示模块,多尺度特征融合模块和图像重建模块级联组成多阶段融合网络;
步骤2,生成非匹配的训练集:
(2a)将至少1000张低分辨率低质量的遥感图像和至少400张高分辨率高质量的遥感图像组成数据集,且对数据集中的每张图像进行预处理;
(2b)将预处理后的每张低分辨率低质量遥感图像随机裁剪为74×74的小图像块,将每张高分辨率高质量遥感图像随机裁剪为74×放大倍数的大图像块;
(2c)将裁剪后所有的低分辨率图像块和高分辨率图像块组成非匹配的训练集;
步骤3,构建一致性损失函数:
(3a)构建内容一致性损失函数lCC如下:
(3b)构建感知内容一致性损失函数lPCC如下:
其中,表示将经过高斯模糊处理后输入VGG19网络中得到的深层特征图,表示将经过双立方插值上采样后输入VGG19网络中得到的深层特征图,表示将经过双立方插值下采样后输入VGG19网络中得到的浅层特征图,表示将输入VGG19网络中得到的浅层特征图;
(3c)构建感知分布一致性损失函数lGen如下:
(3d)构建判别损失函数如下:
其中,lDis表示判别损失函数;
步骤4,对多阶段融合网络进行内容一致性训练:
将训练集所有的低分辨率图像块依次输入到多阶段融合网络,该网络进行前向传播得到超分后的高分辨率图像块,使用内容一致性损失函数计算该阶段网络的误差值,将误差值输入到Adam优化器中,计算网络每个卷积层的每个卷积核的所有梯度,迭代更新多阶段融合网络每个卷积层的每个卷积核的权重500代,完成对多阶段融合网络的内容一致性训练,保存该阶段训练好的多阶段融合网络中每个卷积层的每个卷积核的所有权重;
步骤5,对内容一致性训练后的多阶段融合网络进行感知内容一致性训练:
将训练集所有的低分辨率图像块依次输入到一致性训练后的多阶段融合网络中,该网络进行前向传播得到超分后的高分辨率图像块,使用感知内容一致性损失函数计算该阶段网络的误差值,将网络的误差值输入到Adam优化器中,计算网络每个卷积层的每个卷积核的所有梯度,迭代更新网络每个卷积层的每个卷积核的权重500代,完成对多阶段融合网络的感知内容一致性训练,保存该阶段训练好的多阶段融合网络中每个卷积层的每个卷积核的所有权重;
步骤6,对感知内容一致性训练后的多阶段融合网络进行感知分布一致性训练:
(6a)将训练集所有的低分辨率图像块依次输入到感知内容一致性训练后得多阶段融合网络,该网络进行前向传播得到超分后的高分辨率图像块,使用感知分布一致性损失函数计算该阶段网络误差值;将网络的误差值输入到Adam优化器中,计算网络每个卷积层的每个卷积核的所有梯度,更新多阶段融合网络每个卷积层的每个卷积核的所有权重;
(6b)将重建后的高分辨率图像块和训练集中的高分辨率图像块输入到判别网络中,使用判别损失函数计算判别网络的误差值,将判别网络的误差值输入到Adam优化器中,计算判别网络每个卷积层的每个卷积核的所有梯度,更新判别网络每个卷积层的每个卷积核的所有权重;
(6c)依次重复执行步骤(6a)、(6b),对感知内容一致性训练后的多阶段融合网络和判别网络进行交替训练,迭代更新参数300代,得到最终训练好的多阶段融合,保存训练好多阶段融合网络中每个卷积层的每个卷积核的所有权重;
步骤7,对遥感图像进行超分辨率重建:
将待重建的低分辨率遥感图像输入到训练好的多阶段融合网络,输出该图像的高分辨率图像。
2.根据权利要求1所述的基于无监督多阶段融合网络的遥感图像超分辨率重建方法,其特征在于:步骤(1a)中所述的8个结构相同和参数相等的特征提取子模块密集连接指的是,将第一个特征提取子模块的输入与第一个特征提取子模块的输出并联,作为第二个特征提取子模块的输入;将第二个特征提取子模块的输入与第二个特征提取子模块的输出并联,作为第三个特征提取子模块的输入;以此类推至第8个特征提取模块。
3.根据权利要求1所述的基于无监督多阶段融合网络的遥感图像超分辨率重建方法,其特征在于:步骤(1a)中所述的残差单元组由8个结构相同和参数相等的残差单元级联组成,每个残差单元由第1卷积层,激活层和第2卷积层组成,每个残差单元中第1卷积层的输入叠加到第2卷积层的输出;所有卷积层的特征映射图总数均设置为64,卷积核大小均为3×3,补零均为1,步长均设置为1,激活层均采用非线性整流函数。
4.根据权利要求1所述的基于无监督多阶段融合网络的遥感图像超分辨率重建方法,其特征在于:步骤(1c)中所述的初始特征表示模块由一个卷积层组成,该卷积层特征映射图总数为64,卷积核大小为3×3,补零为1,步长为1。
5.根据权利要求1所述的基于无监督多阶段融合网络的遥感图像超分辨率重建方法,其特征在于:步骤(2a)中所述的初始化操作是指,对每张图像依次进行归一化、水平翻转和旋转90°。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110911768.4A CN113538246B (zh) | 2021-08-10 | 2021-08-10 | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110911768.4A CN113538246B (zh) | 2021-08-10 | 2021-08-10 | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113538246A true CN113538246A (zh) | 2021-10-22 |
CN113538246B CN113538246B (zh) | 2023-04-07 |
Family
ID=78091373
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110911768.4A Active CN113538246B (zh) | 2021-08-10 | 2021-08-10 | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113538246B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114141086A (zh) * | 2021-12-13 | 2022-03-04 | 湖南文理学院 | 一种内置模拟物理力学实验场景的电子装置 |
CN114463177A (zh) * | 2022-01-29 | 2022-05-10 | 北京理工大学 | 基于共源信息传递网络的遥感图像超分辨率重建方法 |
CN116128727A (zh) * | 2023-02-02 | 2023-05-16 | 中国人民解放军国防科技大学 | 极化雷达图像超分辨方法、***、设备及介质 |
CN117314756A (zh) * | 2023-11-30 | 2023-12-29 | 中国平安财产保险股份有限公司 | 基于遥感图像的验保方法、装置、计算机设备及存储介质 |
CN117313818A (zh) * | 2023-09-28 | 2023-12-29 | 四川大学 | 对轻量级卷积神经网络训练的方法及终端设备 |
CN114463177B (zh) * | 2022-01-29 | 2024-06-28 | 北京理工大学 | 基于共源信息传递网络的遥感图像超分辨率重建方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107194872A (zh) * | 2017-05-02 | 2017-09-22 | 武汉大学 | 基于内容感知深度学习网络的遥感图像超分辨率重建方法 |
US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
CN108537731A (zh) * | 2017-12-29 | 2018-09-14 | 西安电子科技大学 | 基于压缩多尺度特征融合网络的图像超分辨率重建方法 |
CN109615582A (zh) * | 2018-11-30 | 2019-04-12 | 北京工业大学 | 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法 |
CN109671018A (zh) * | 2018-12-12 | 2019-04-23 | 华东交通大学 | 一种基于生成式对抗网络和ResNets技术的图像转换方法及*** |
JP2019220176A (ja) * | 2018-06-15 | 2019-12-26 | 大学共同利用機関法人情報・システム研究機構 | 画像処理装置及び方法 |
-
2021
- 2021-08-10 CN CN202110911768.4A patent/CN113538246B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
CN107194872A (zh) * | 2017-05-02 | 2017-09-22 | 武汉大学 | 基于内容感知深度学习网络的遥感图像超分辨率重建方法 |
CN108537731A (zh) * | 2017-12-29 | 2018-09-14 | 西安电子科技大学 | 基于压缩多尺度特征融合网络的图像超分辨率重建方法 |
JP2019220176A (ja) * | 2018-06-15 | 2019-12-26 | 大学共同利用機関法人情報・システム研究機構 | 画像処理装置及び方法 |
CN109615582A (zh) * | 2018-11-30 | 2019-04-12 | 北京工业大学 | 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法 |
CN109671018A (zh) * | 2018-12-12 | 2019-04-23 | 华东交通大学 | 一种基于生成式对抗网络和ResNets技术的图像转换方法及*** |
Non-Patent Citations (4)
Title |
---|
ZHENFENG SHAO等: "Remote Sensing Image Super-Resolution Using Sparse Representation and Coupled Sparse Autoencoder", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 * |
杨宏业等: "基于纹理转移的露天矿区遥感图像超分辨率重建", 《煤炭学报》 * |
薛洋 等: "基于卷积神经网络超分辨率重建的遥感图像融合", 《广西师范大学学报(自然科学版)》 * |
路文 等: "一种利用像素局部相关性的图像质量评价方法", 《西安电子科技大学学报》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114141086A (zh) * | 2021-12-13 | 2022-03-04 | 湖南文理学院 | 一种内置模拟物理力学实验场景的电子装置 |
CN114463177A (zh) * | 2022-01-29 | 2022-05-10 | 北京理工大学 | 基于共源信息传递网络的遥感图像超分辨率重建方法 |
CN114463177B (zh) * | 2022-01-29 | 2024-06-28 | 北京理工大学 | 基于共源信息传递网络的遥感图像超分辨率重建方法 |
CN116128727A (zh) * | 2023-02-02 | 2023-05-16 | 中国人民解放军国防科技大学 | 极化雷达图像超分辨方法、***、设备及介质 |
CN116128727B (zh) * | 2023-02-02 | 2023-06-20 | 中国人民解放军国防科技大学 | 极化雷达图像超分辨方法、***、设备及介质 |
CN117313818A (zh) * | 2023-09-28 | 2023-12-29 | 四川大学 | 对轻量级卷积神经网络训练的方法及终端设备 |
CN117314756A (zh) * | 2023-11-30 | 2023-12-29 | 中国平安财产保险股份有限公司 | 基于遥感图像的验保方法、装置、计算机设备及存储介质 |
CN117314756B (zh) * | 2023-11-30 | 2024-04-05 | 中国平安财产保险股份有限公司 | 基于遥感图像的验保方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113538246B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113538246B (zh) | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 | |
CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨*** | |
CN110599401A (zh) | 遥感图像超分辨率重建方法、处理装置及可读存储介质 | |
CN111598778B (zh) | 一种绝缘子图像超分辨率重建方法 | |
CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
CN112270644B (zh) | 基于空间特征变换和跨尺度特征集成的人脸超分辨方法 | |
CN112070670B (zh) | 全局-局部分离注意力机制的人脸超分辨率方法及*** | |
CN109272452B (zh) | 小波域中基于集团结构子带共同学习超分辨率网络的方法 | |
CN113436076B (zh) | 逐步融合特征的图像超分辨率重建方法及电子设备 | |
CN111681166A (zh) | 一种堆叠注意力机制编解码单元的图像超分辨率重建方法 | |
CN110288524B (zh) | 基于增强型上采样和辨别融合机制的深度学习超分辨率方法 | |
CN111861886B (zh) | 一种基于多尺度反馈网络的图像超分辨率重建方法 | |
CN113269818B (zh) | 一种基于深度学习的地震数据纹理特征重建方法 | |
CN114266957A (zh) | 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法 | |
Li | Image super-resolution using attention based densenet with residual deconvolution | |
CN115713462A (zh) | 超分辨模型训练方法、图像识别方法、装置及设备 | |
CN115578262A (zh) | 基于afan模型的偏振图像超分辨率重建方法 | |
CN113096015B (zh) | 基于渐进式感知和超轻量级网络的图像超分辨率重建方法 | |
CN117575915A (zh) | 一种图像超分辨率重建方法、终端设备及存储介质 | |
CN116188272B (zh) | 适用于多模糊核的两阶段深度网络图像超分辨率重建方法 | |
CN112598604A (zh) | 一种盲脸复原方法及*** | |
CN115272131B (zh) | 基于自适应多光谱编码的图像去摩尔纹***及方法 | |
CN116485654A (zh) | 卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建方法 | |
Liu et al. | Gradient prior dilated convolution network for remote sensing image super-resolution | |
Wang et al. | Deep residual network for single image super-resolution |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |