CN113538247A - 超分辨率生成与条件对抗网络遥感影像样本生成方法 - Google Patents
超分辨率生成与条件对抗网络遥感影像样本生成方法 Download PDFInfo
- Publication number
- CN113538247A CN113538247A CN202110923714.XA CN202110923714A CN113538247A CN 113538247 A CN113538247 A CN 113538247A CN 202110923714 A CN202110923714 A CN 202110923714A CN 113538247 A CN113538247 A CN 113538247A
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- remote sensing
- super
- generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012216 screening Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000002372 labelling Methods 0.000 claims abstract description 17
- 238000005457 optimization Methods 0.000 claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 230000003042 antagnostic effect Effects 0.000 claims description 8
- 238000007689 inspection Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 3
- 238000003908 quality control method Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000011179 visual inspection Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种超分辨率生成与条件对抗网络遥感影像样本生成方法，其特征在于，包括如下步骤：步骤1、准备高、中分辨率影像数据，对目标区域数据进行样本标注，高、中分辨率影像数据匹配后，训练超分辨率优化模型；步骤2、基于步骤1中的高、中分辨率影像数据，基于条件对抗网络进行逆向学习，生成遥感影像样本，并对生成的遥感影像样本进行质量检测，筛选出最终结果。相比于传统样本生成结构的存在的高质量不足、标注信息少和生成样本质量不稳定等问题，通过超分辨率生成结构，有效地解决了高分辨率数据不足的问题，智能生成并筛选样本，实现由计算机给定样本，自动生成高分辨率图像的方法。
Description
技术领域
本发明涉及遥感图像领域，尤其是一种超分辨率生成与条件对抗网络遥感影像样本生成方法。
背景技术
近几年来，深度学习快速发展，深度学习方法也快速地遍及各个领域，各种分类模型纷纷亮相出场，但其中依然有相当的问题存在，模型的泛化能力是深度学习应用中比较显著的一个问题，其导致每次更改研究区域都是对本发明的样本集的一次挑战，其主要是因为本发明用于训练的遥感影像以及标注有着数量上和地理分布上的缺陷。深度学习所需要的数据集标注困难几乎已经成为了一个共识，而相比较之下，遥感影像的标注就要更加困难，并且由于遥感影像的应用的区域大，标注时还会受时相问题的制约。遥感样本标注成本非常高，难以符合实际应用需要，因此，一种不那么依赖于人工标注的技术就显得至关重要。
发明内容
本发明结合深度学习方法，提出了一种智能的样本生成方案，在利用少量样本作为引导的前提下，生成有较高质量的样本。
本发明的技术方案如下：一种应用超分辨率生成网络与条件对抗网络两种神经网络结合生成带有样本标注的高分辨率影像的方法，用于扩充遥感影像样本标注库。为了克服高分辨率遥感影像获取周期较长、成本较高制约遥感影像样本生成的瓶颈问题，基于超分辨率生成网络的相对较少样本训练，从中低分辨率遥感影像中获得大量高分辨率遥感影像。
本发明的一种超分辨率生成与条件对抗网络遥感影像样本生成方法，包括如下步骤；
步骤1、准备高、中分辨率影像数据，对目标区域数据进行样本标注，高、中分辨率影像数据匹配后，训练超分辨率优化模型；
步骤2、基于步骤1中的高、中分辨率影像数据，基于条件对抗网络进行逆向学习，生成遥感影像样本，并对生成的遥感影像样本进行质量检测，筛选出最终结果。
进一步的，所述步骤1、准备高、中分辨率影像数据，对目标区域数据进行样本标注，高、中分辨率影像数据匹配后用于训练超分辨率优化模型，具体包括：
步骤1.1、首先根据目标选择相应的中分辨率和高分辨率影像数据，将两种类型的影像数据做好地理匹配，对目标区域影像数据进行少量的样本标注；
步骤1.2、匹配中分辨率与高分辨率影像数据后，对影像数据进行切分，为超分辨率网络构建做准备；
步骤1.3、通过以中分辨率影像数据为输入，高分辨率影像数据为输出，训练得到超分辨率优化模型。
进一步的，所述步骤1中的超分辨率优化模型，具体如下：
其输入为地理配准的相同空间范围的低分辨率影像；
其输出为高分辨率影像；
其损失函数为生成的高分辨率影像与实际高分辨率影像间的差异；其过程为将中分辨率影像输入，经过低分辨率特征提取网络，得到连续的低层次特征，并且，从提取过程的多层次结构中分别获取每一级的特征，组合形成多尺度的网络特征，合并后输入高分辨率重建网络，在高分辨率重建网络中，通过转置卷积上采样，最终得到所需要的高分辨率输出结果。
进一步的，所述步骤2包括：
将本发明标注输入到条件对抗网络中，在这个过程中，通过对目标大小及分布进行研究，拟合目标的分布函数，以标注划分的背景和前景作为输入，通过对抗训练生成高分辨率影像，并将结果与步骤1超分辨率优化模型生成的高分辨率影像比较误差，最后利用质量判别网络进行质量的把关，输出得到最终的结果。
进一步的，所述步骤2、基于步骤1中的数据，基于条件对抗网络进行逆向学习，生成遥感影像样本，并进行质量检测，其中，样本生成主要包括两个部分，即条件对抗网络生成遥感影像样本与图像质量检测，具体如下：
步骤(2.1)条件对抗网络生成遥感影像样本：基于从数据准备环节获取的标注与超分辨优化生成的高分辨率影像，获得了从标注矢量到遥感影像的映射，应用这种映射，基于对抗学习神经网络训练实现逆向学习，生成需要的遥感影像样本；
步骤(2.2)利用条件对抗网络进行图像质量检测，所述的条件对抗网络具体为：
输入为提供目标的位置，目标轮廓的位置，目标的角度，高斯随机矩阵，具体生成方式为：设定均值与方差，其中均值与方差的设定需迭代计算最佳的随机函数生成；
输出为高分辨率遥感目标图；
损失函数为：真实影像和生成影像的生成损失；
通过对抗生成网络弥补生成图像与真实图像间的差异，以达到生成标注样本的最终目的。
进一步的，所述步骤2对生成的样本进行质量检测，包括：
第一轮自动筛选在生成影像阶段完成，选用生成分数大于阈值的结果；
第二轮本发明采用PSNR指标，将图像与真实图像对比，通过信噪比来比较图像本身的质量；
第三轮人工筛选是在前两轮自动筛选结果之上，通过人工目视检查，剔除明显不合理的合成结果。
进一步的，为第三轮的人工筛选检查设置了一个图像质量检查图片分类网络，来对生成的图像进行质量筛选，其结构包括：由连续三次的卷积-卷积-池化结构进行特征提取，随后经过2层的全连接分类结构输出结果。
有益效果：
本发明将几种深度学习方法有效结合，相比于传统样本生成结构的存在的高质量不足、标注信息少和生成样本质量不稳定等问题，通过超分辨率生成结构，有效地解决了高分辨率数据不足的问题，通过高分辨率生成结构，实现了从人为设计的标注到实际的影像的过程，使得本发明的生成影像中暗含目标的位置和轮廓信息，通过质量检测网络，本发明能更有效地对生成的样本进行质量控制。
附图说明
图1：本发明的方法流程图；
图2：高低分辨率图片对比图；
图3：超分辨率网络结构；
图4：对抗生成网络；
图5：条件对抗网络示意图；
图6：条件生成初始情况与结果示意图；
图7：质量筛查网络示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
如图1所示，为本发明的一种超分辨率生成与条件对抗网络遥感影像样本生成方法流程图，包括如下步骤；
步骤1、准备高、中分辨率数据，对目标区域数据进行样本标注，高、中分辨率数据匹配后，训练超分辨率优化模型；
步骤2、基于步骤1中的数据，基于条件对抗网络进行逆向学习，生成遥感影像样本，并进行质量检测。
根据本发明的实施例，所述步骤1、准备高、中分辨率数据，对目标区域数据进行样本标注，高、中分辨率数据匹配后用于训练超分辨率优化模型，具体包括：
其中数据准备包括高、中分辨率数据的准备以及超分辨率的网络构建，在这个环节，本发明首先根据目标选择相应的中分辨率和高分辨率数据，将两种类型的影像做好地理匹配，对目标区域数据进行少量的样本标注，另一方面，匹配中分辨率与高分辨率数据后，对影像进行切分，为超分辨率网络构建做准备，随后，通过以中分辨率数据为输入，高分辨率数据为输出，训练得到本发明的超分辨率优化模型。
随后，将本发明标注和目标影像输入到条件对抗网络中，在这个过程中，通过对目标大小及分布进行研究，拟合目标的分布函数，以标注划分的背景和前景作为输入，通过对抗训练生成本发明的高分辨率影像图，并将结果与本发明本身的高分辨率影像比较误差，最后利用质量判别网络进行质量的把关，输出得到本发明最终的结果。
根据本发明的一个实施例，上述对数据的获取没有限制，为说明技术的适用性，以两款开源的数据为例，主要使用了哨兵数据与谷歌数据。如果实际应用中能获得质量更高的数据，也可作为技术的实施目标。
其中的中分辨率数据主要是哨兵2号卫星，哨兵－2卫星是高分辨率多光谱成像卫星，主要用于包括陆地植被、土壤以及水资源、内河水道和沿海区在内的全球陆地观测。该卫星具有高分辨率和高重访率，哨兵－2卫星的主要有效载荷是多光谱成像仪(MSI)，工作谱段为可见光、近红外和短波红外，地面分辨率分别为10m、20m和60m，多光谱图像的幅宽为290km，每10天更新一次全球陆地表面成像数据，每个轨道周期的平均观测时间为16.3min，峰值为31min。高分辨率谷歌数据可开源获得，但谷歌地球从各种卫星和航空摄影来源收集数据，在数据出现在地图上之前，可能需要几个月的时间来处理、比较和设置数据。GoogleEarth的图片来自于“捷鸟”卫星(QuickBird)和去年九月发射的“世界之窗”1号卫星(WorldView)(的确是卫星拍摄的)，它们为Google Earth提供了影像分辨率高达0.61的清晰图像。但谷歌数据不同位置质量不一，上述值仅能作为参考。
本发明通过超分辨率网络来持续生成大量高分辨率的数据，相对而言，基于CNN(卷积神经网络)的模型SRCNN将CNN引入SISR(Single-Image-Super-Resolution)中，它仅仅使用三层网络，就取得了先进的结果。在SISR领域，大致分为以下两个大的方向。一种是追求细节的恢复，以PSNR,SSIM等评价标准的算法，其中以SRCNN模型为代表。另外一种以降低感知损失为目标，不注重细节，看重大局观，以SRGAN为代表的一系列算法。两种不同方向的算法，应用的领域也不相同。本发明根据目标的不同选择不同的侧重，一般而言，细节恢复对本发明会更加重要。
根据本发明的一个实施例，所述的超分辨率优化模型，如图3所示，具体如下：
其输入为：地理配准的相同空间范围的低分辨率影像(RGB栅格)；
其输出为：高分辨率影像(RGB栅格)；
其损失函数为：生成的高分辨率影像与实际高分辨率影像间的差异。
其过程为将中分辨率影像输入，经过低分辨率特征提取网络，得到连续的低层次特征，并且，从提取过程的多层次结构中分别获取每一级的特征，组合形成多尺度的网络特征，合并后输入高分辨率重建网络，在高分辨率重建网络中，通过转置卷积上采样本发明的结果，最终得到本发明所需要的高分辨率输出结果。
所述高分辨率影像时间分辨率低，获取特点区域内的数据量可能不够，因此，通过引入低分辨率影像利用超分辨率模型进行补充。
根据本发明的步骤2、基于步骤1中的数据，基于条件对抗网络进行逆向学习，生成遥感影像样本，并进行质量检测，其中，样本生成主要包括两个部分，即条件对抗网络生成遥感影像样本和生成图像质检测，具体如下：
步骤(2.1)条件对抗网络生成遥感影像样本：基于从数据准备环节获取的标注和超分辨优化生成的高分辨率影像，本发明获得了大量的从标注矢量到遥感影像的映射，应用这种映射，基于对抗学习神经网络训练实现逆向学习，生成本发明需要的遥感影像样本，为克服输入影像随机性导致对抗网络鲁棒性不足问题，而本发明通过合适的起始函数选取，来使得对抗结构更稳定。
步骤(2.2)图像质量检测：步骤(1)生成了初级遥感影像样本，但生成过程中难免质量参差不齐，本发明进一步地对这些样本进行质量检测。
近年来，对抗生成网络在各个领域开始发挥效果，如图4所示，GAN有两个部分，生成器和判别器：生成器的基本概念其实很简单，输入一个向量，通过一个NN，输出一个高维向量(可以是图片，文字...)通常Input向量的每一个维度都代表着一些特征。同时GAN还有一个部分，叫做“discriminator”(判别器)，它的输入是你想产生的东西(其实就是生成器产生的output)，比如一张图片，或者一段语音...它的输出是一个标量，这个标量代表的是这个Input的质量如何，这个数字越大，表示这个输入越真实；
其主要过程可以描述为：生成器生成一个东西，输入到判别器中，然后由判别器来判断这个输入是真实的数据还是机器生成的，如果没有骗过判别器，那么生成器继续进化，输出第二代Output，再输入判别器，判别器同时也在进化，对生成器的output有了更严格的要求。这样生成器和判别器不断进化，他们的关系有点像一个竞争的关系，所以有了“生成对抗网络(adversarial)”的名字的由来。
条件对抗网络则是在给原来的GAN添加一定的条件，使得GAN的预测结果收缩到某个小一些的范围，更加地聚焦，根据本发明的一个实施例，所述的条件对抗网络具体如下图5所示：
输入为：通过提供目标，例如建筑物的位置(4个)，目标轮廓的位置(若干个点)，目标的角度(1个)，1个512x512的高斯随机矩阵(用于调整生成目标影像的生成效果，具体生成方式为：设定均值与方差，其中均值与方差的设定需迭代计算最佳的随机函数生成)。
输出为：高分辨率遥感目标图。
损失函数为：真实影像和生成影像的生成损失。
本发明通过对抗生成网络弥补生成图像与真实图像间的差异，以达到生成标注样本的最终目的。条件生成初始情况与结果示意图如图6所示。
根据本发明的实施例，所述的步骤2中，对生成的样本进行质量检测；
本发明针对产生合成图的种种问题，用两轮自动筛选和逐张人工筛选保证最终保留图片的质量。
第一轮自动筛选在生成影像阶段完成，本发明选用生成分数大于0.85的结果。
第二轮本发明采用PSNR指标，将生成图像与原始图像对比，通过信噪比来比较图像本身的质量。为了对图像的整体质量进行把控，本发明通过相似性指标PSNR评价生成图像的质量。PSNR(Peak Signal to Noise Ratio)，峰值信噪比，即峰值信号的能量与噪声的平均能量之比，通常表示的时候取log变成分贝(dB)，由于MSE为真实图像与含噪图像之差的能量均值，而两者的差即为噪声，因此PSNR即峰值信号能量与MSE之比。定义式如下：
其中：
m，n代表行列号，I，K分别代表原始图像和生成图像，i，j代表像素坐标,MaxValue代表影像最大值，bits代表图像的位数；
第三轮人工筛选是在前两轮自动筛选结果之上，通过人工目视检查，剔除明显不合理的合成结果。
为第三轮的人工筛选检查设置了一个图像质量检查图片分类网络，来对本发明生成的图像进行质量筛选，其结构如下图7所示，由连续三次的卷积-卷积-池化结构进行特征提取，随后经过2层的全连接分类结构输出结果。这样设计的优势在于，经过在上述的筛查后，再次经过人工检查的结果将成为本发明的样本，用以训练这个网络结构，随着本发明训练的进行，模型会变得越来越智能，从而为人工筛查减轻工作压力。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
Claims (7)
1.一种超分辨率生成与条件对抗网络遥感影像样本生成方法，其特征在于，包括如下步骤；
步骤1、准备高、中分辨率影像数据，对目标区域数据进行样本标注，高、中分辨率影像数据匹配后，训练超分辨率优化模型；
步骤2、基于步骤1中的高、中分辨率影像数据，基于条件对抗网络进行逆向学习，生成遥感影像样本，并对生成的遥感影像样本进行质量检测，筛选出最终结果。
2.根据权利要求1所述的一种超分辨率生成与条件对抗网络遥感影像样本生成方法，其特征在于，所述步骤1、准备高、中分辨率影像数据，对目标区域数据进行样本标注，高、中分辨率影像数据匹配后用于训练超分辨率优化模型，具体包括：
步骤1.1、首先根据目标选择相应的中分辨率和高分辨率影像数据，将两种类型的影像数据做好地理匹配，对目标区域影像数据进行少量的样本标注；
步骤1.2、匹配中分辨率与高分辨率影像数据后，对影像数据进行切分，为超分辨率网络构建做准备；
步骤1.3、通过以中分辨率影像数据为输入，高分辨率影像数据为输出，训练得到超分辨率优化模型。
3.根据权利要求1所述的一种超分辨率生成与条件对抗网络遥感影像样本生成方法，其特征在于，所述步骤1中的超分辨率优化模型，具体如下：
其输入为地理配准的相同空间范围的低分辨率影像；
其输出为高分辨率影像；
其损失函数为生成的高分辨率影像与实际高分辨率影像间的差异；其过程为将中分辨率影像输入，经过低分辨率特征提取网络，得到连续的低层次特征，并且，从提取过程的多层次结构中分别获取每一级的特征，组合形成多尺度的网络特征，合并后输入高分辨率重建网络，在高分辨率重建网络中，通过转置卷积上采样，最终得到所需要的高分辨率输出结果。
4.根据权利要求1所述的一种超分辨率生成与条件对抗网络遥感影像样本生成方法，其特征在于，所述步骤2包括：
将本发明标注输入到条件对抗网络中，在这个过程中，通过对目标大小及分布进行研究，拟合目标的分布函数，以标注划分的背景和前景作为输入，通过对抗训练生成高分辨率影像，并将结果与步骤1超分辨率优化模型生成的高分辨率影像比较误差，最后利用质量判别网络进行质量的把关，输出得到最终的结果。
5.根据权利要求1所述的一种超分辨率生成与条件对抗网络遥感影像样本生成方法，其特征在于，所述步骤2、基于步骤1中的数据，基于条件对抗网络进行逆向学习，生成遥感影像样本，并进行质量检测，其中，样本生成主要包括两个部分，即条件对抗网络生成遥感影像样本与图像质量检测，具体如下：
步骤(2.1)条件对抗网络生成遥感影像样本：基于从数据准备环节获取的标注与超分辨优化生成的高分辨率影像，获得了从标注矢量到遥感影像的映射，应用这种映射，基于对抗学习神经网络训练实现逆向学习，生成需要的遥感影像样本；
步骤(2.2)利用条件对抗网络进行图像质量检测，所述的条件对抗网络具体为：
输入为提供目标的位置，目标轮廓的位置，目标的角度，高斯随机矩阵，具体生成方式为：设定均值与方差，其中均值与方差的设定需迭代计算最佳的随机函数生成；
输出为高分辨率遥感目标图；
损失函数为：真实影像和生成影像的生成损失；
通过对抗生成网络弥补生成图像与真实图像间的差异，以达到生成标注样本的最终目的。
6.根据权利要求1所述的一种超分辨率生成与条件对抗网络遥感影像样本生成方法，其特征在于，所述步骤2对生成的样本进行质量检测，包括：
第一轮自动筛选在生成影像阶段完成，选用生成分数大于阈值的结果；
第二轮本发明采用PSNR指标，将图像与真实图像对比，通过信噪比来比较图像本身的质量；
第三轮人工筛选是在前两轮自动筛选结果之上，通过人工目视检查，剔除明显不合理的合成结果。
7.根据权利要求6述的一种超分辨率生成与条件对抗网络遥感影像样本生成方法，其特征在于，为第三轮的人工筛选检查设置了一个图像质量检查图片分类网络，来对生成的图像进行质量筛选，其结构包括：由连续三次的卷积-卷积-池化结构进行特征提取，随后经过2层的全连接分类结构输出结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110923714.XA CN113538247B (zh) | 2021-08-12 | 2021-08-12 | 超分辨率生成与条件对抗网络遥感影像样本生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110923714.XA CN113538247B (zh) | 2021-08-12 | 2021-08-12 | 超分辨率生成与条件对抗网络遥感影像样本生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113538247A true CN113538247A (zh) | 2021-10-22 |
| CN113538247B CN113538247B (zh) | 2022-04-15 |
Family
ID=78090949
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110923714.XA Active CN113538247B (zh) | 2021-08-12 | 2021-08-12 | 超分辨率生成与条件对抗网络遥感影像样本生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113538247B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107729922A (zh) * | 2017-09-20 | 2018-02-23 | 千寻位置网络有限公司 | 基于深度学习超分辨率技术的遥感图像道路提取方法 |
| US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
| CN109978762A (zh) * | 2019-02-27 | 2019-07-05 | 南京信息工程大学 | 一种基于条件生成对抗网络的超分辨率重建方法 |
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| CN110490802A (zh) * | 2019-08-06 | 2019-11-22 | 北京观微科技有限公司 | 一种基于超分辨率的卫星影像飞机目标型号识别方法 |
| CN110599401A (zh) * | 2019-08-19 | 2019-12-20 | 中国科学院电子学研究所 | 遥感图像超分辨率重建方法、处理装置及可读存储介质 |
| CN110728658A (zh) * | 2019-09-16 | 2020-01-24 | 武汉大学 | 一种基于深度学习的高分辨率遥感影像弱目标检测方法 |
| CN110992262A (zh) * | 2019-11-26 | 2020-04-10 | 南阳理工学院 | 一种基于生成对抗网络的遥感图像超分辨重建方法 |
| CN111242839A (zh) * | 2020-01-13 | 2020-06-05 | 华南理工大学 | 一种基于尺度等级的图像缩放裁剪方法 |
| CN111428792A (zh) * | 2020-03-26 | 2020-07-17 | 中国科学院空天信息创新研究院 | 遥感信息图像样本标记方法及装置 |
| CN111899172A (zh) * | 2020-07-16 | 2020-11-06 | 武汉大学 | 一种面向遥感应用场景的车辆目标检测方法 |
| CN112001847A (zh) * | 2020-08-28 | 2020-11-27 | 徐州工程学院 | 相对生成对抗超分辨率重建模型生成高质量图像的方法 |
-
2021
- 2021-08-12 CN CN202110923714.XA patent/CN113538247B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
| CN107729922A (zh) * | 2017-09-20 | 2018-02-23 | 千寻位置网络有限公司 | 基于深度学习超分辨率技术的遥感图像道路提取方法 |
| CN109978762A (zh) * | 2019-02-27 | 2019-07-05 | 南京信息工程大学 | 一种基于条件生成对抗网络的超分辨率重建方法 |
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| CN110490802A (zh) * | 2019-08-06 | 2019-11-22 | 北京观微科技有限公司 | 一种基于超分辨率的卫星影像飞机目标型号识别方法 |
| CN110599401A (zh) * | 2019-08-19 | 2019-12-20 | 中国科学院电子学研究所 | 遥感图像超分辨率重建方法、处理装置及可读存储介质 |
| CN110728658A (zh) * | 2019-09-16 | 2020-01-24 | 武汉大学 | 一种基于深度学习的高分辨率遥感影像弱目标检测方法 |
| CN110992262A (zh) * | 2019-11-26 | 2020-04-10 | 南阳理工学院 | 一种基于生成对抗网络的遥感图像超分辨重建方法 |
| CN111242839A (zh) * | 2020-01-13 | 2020-06-05 | 华南理工大学 | 一种基于尺度等级的图像缩放裁剪方法 |
| CN111428792A (zh) * | 2020-03-26 | 2020-07-17 | 中国科学院空天信息创新研究院 | 遥感信息图像样本标记方法及装置 |
| CN111899172A (zh) * | 2020-07-16 | 2020-11-06 | 武汉大学 | 一种面向遥感应用场景的车辆目标检测方法 |
| CN112001847A (zh) * | 2020-08-28 | 2020-11-27 | 徐州工程学院 | 相对生成对抗超分辨率重建模型生成高质量图像的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 任行乐: "基于生成对抗网络的图像超分辨率算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113538247B (zh) | 2022-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Song et al. | Spatiotemporal satellite image fusion using deep convolutional neural networks | |
| Zhang et al. | Remote sensing image spatiotemporal fusion using a generative adversarial network | |
| Yang et al. | CDnet: CNN-based cloud detection for remote sensing imagery | |
| Yang et al. | Building extraction at scale using convolutional neural network: Mapping of the united states | |
| CN108573276B (zh) | 一种基于高分辨率遥感影像的变化检测方法 | |
| CN111652193A (zh) | 基于多源影像的湿地分类方法 | |
| CN111640116B (zh) | 基于深层卷积残差网络的航拍图建筑物分割方法及装置 | |
| Liu et al. | Statistical convolutional neural network for land-cover classification from SAR images | |
| CN116052016A (zh) | 基于深度学习的遥感图像云和云影的精细分割检测方法 | |
| CN112949414A (zh) | 一种宽视域高分六号卫星影像地表水体智能制图方法 | |
| CN114494821A (zh) | 基于特征多尺度感知与自适应聚合的遥感影像云检测方法 | |
| Zhang et al. | Dense haze removal based on dynamic collaborative inference learning for remote sensing images | |
| CN111191704A (zh) | 一种基于任务图卷积网络的地基云分类方法 | |
| Gu et al. | A classification method for polsar images using SLIC superpixel segmentation and deep convolution neural network | |
| Li et al. | A pseudo-siamese deep convolutional neural network for spatiotemporal satellite image fusion | |
| Song et al. | Remote sensing image spatiotemporal fusion via a generative adversarial network with one prior image pair | |
| Ma et al. | Feature-enhanced deep learning network for digital elevation model super-resolution | |
| CN113989612A (zh) | 基于注意力及生成对抗网络的遥感影像目标检测方法 | |
| CN113052121A (zh) | 一种基于遥感影像的多层级网络地图智能生成方法 | |
| CN113538247B (zh) | 超分辨率生成与条件对抗网络遥感影像样本生成方法 | |
| CN116563103A (zh) | 一种基于自适应神经网络的遥感图像时空融合方法 | |
| CN115861756A (zh) | 基于级联组合网络的大地背景小目标识别方法 | |
| Li et al. | ConvFormerSR: Fusing transformers and convolutional neural networks for cross-sensor remote sensing imagery super-resolution | |
| CN115953312A (zh) | 一种基于单幅图像的联合去雾检测方法、装置及存储介质 | |
| CN115909077A (zh) | 基于无监督光谱解混神经网络的高光谱图像变化检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |