CN111625608A - 一种基于gan模型根据遥感影像生成电子地图的方法、*** - Google Patents
一种基于gan模型根据遥感影像生成电子地图的方法、*** Download PDFInfo
- Publication number
- CN111625608A CN111625608A CN202010310125.XA CN202010310125A CN111625608A CN 111625608 A CN111625608 A CN 111625608A CN 202010310125 A CN202010310125 A CN 202010310125A CN 111625608 A CN111625608 A CN 111625608A
- Authority
- CN
- China
- Prior art keywords
- electronic map
- loss
- model
- generator
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013256 Gubra-Amylin NASH model Methods 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000005070 sampling Methods 0.000 claims abstract description 28
- 230000003044 adaptive effect Effects 0.000 claims abstract description 23
- 238000009877 rendering Methods 0.000 claims abstract description 19
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 49
- 230000006870 function Effects 0.000 claims description 36
- 239000011159 matrix material Substances 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 9
- 230000014509 gene expression Effects 0.000 claims description 7
- 150000001875 compounds Chemical class 0.000 claims description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- 238000013519 translation Methods 0.000 abstract description 19
- 238000011156 evaluation Methods 0.000 abstract description 14
- 230000000007 visual effect Effects 0.000 abstract 1
- 238000012360 testing method Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 235000021384 green leafy vegetables Nutrition 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000002028 premature Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于GAN模型根据遥感影像生成电子地图的方法及***。该方法及***改进了GAN模型的生成器架构和损失函数，并提出了针对生成电子地图颜色渲染和道路识别的适应性解决方案。所述GAN模型的生成器架构由三部分组成：下采样层、残差块、上采样层，包含6个残差块和2个跳远连接。模型损失函数除了包含自适应感知损失和自适应对抗损失，还包含用于优化生成电子地图的颜色渲染和道路生成的损失项。此外，本发明还使用特定地物要素的二值图通道控制颜色渲染。结果表明：本发明公开的方法及***生成电子地图的质量无论在直观视觉还是在经典评估指标的评估下，都超越了现有的图片翻译模型，像素级翻译精确度提高40％，FID评估值降低了38％。
Description
技术领域
本发明属于地理科学领域，具体涉及一种根据遥感影像生成电子地图的方法、***及电子装置。
背景技术
图片翻译指输入领域A的图片，经过处理转换，输出对应领域B中的图片。计算机视觉领域的很多问题都可以归结于图片翻译，例如超分问题可以看成是从低分辨率图片到高分辨率图片的转换，图片色彩化可以看成是单通道的灰度图与多通道彩色图的转换。虽然卷积神经网络在解决绘画艺术类的图片翻译任务中取得了非常好的效果，但却存在生成图片质量低、损失函数设计复杂等问题。直到GAN(生成对抗网络)网络模型的出现，在图片翻译任务中提出了一种新的方法，GAN通过训练鉴别器自动学习损失函数较好地解决了卷积神经网络存在的问题并生成了质量更高的图片。
近年来基于GAN的图片翻译模型有很多，例如：pix2pix基于CGAN改进提出，生成器不再从随机噪声生成数据，而是从给定的图片读入，这一工作是后续许多基于GAN的图片翻译模型的基础；CycleGAN由两个生成器和两个鉴别器构成，并在原先GAN的损失函数基础上添加了一个循环限制，解决了在没有成对数据集情况下的图片翻译模型训练问题；VAE+GAN的模型进一步通过添加共享隐空间的设置也解决了这个问题；pix2pixHD通过使用全局生成网络和局部促进网络两个生成器，可以根据语义分割图生成分辨率高达2048*1024的彩色图；TextureGAN通过引入局部纹理损失和局部内容损失实现了对生成图片的纹理控制。
目前，pix2pix和CycleGAN作为通用的图片翻译框架，可直接应用到地图生成任务，但生成的电子地图并不能准确识别并渲染林地、水域、道路等地物要素，同时存在纹理模糊、质量不高等问题。
发明内容
本发明要解决的技术问题在于，针对现有技术存在纹理模糊、质量不高等问题，提供一种基于mapGAN从电子地图生成的具体场景出发建立模型，采用了多项针对性的优化措施，以求提高生成地图的准确性和美观性。
本发明解决其技术问题所采用的技术方案是：构造一种基于GAN模型根据遥感影像生成电子地图的方法，包括以下步骤：
S1、构建GAN-生成对抗网络模型，所述GAN网络模型包括生成器与判别器；所述判别器用于将所述生成器生成的电子地图，与目标地图样本进行比较判别；其中：
生成器包括采用多层卷积来降低特征矩阵宽度和高度的下采样层、M个残差块和采用多层卷积且利用反卷积技术来提高特征矩阵宽度和高度的上采样层；
所述判别器采用大小为70*70的感受野分块对生成器生成的电子地图进行判断，输出一个代表各块判别结果的矩阵；
S2、获取包括若干张遥感影像的训练数据集，将训练数据集输入到步骤S1构建的GAN模型进行网络训练；其中，GAN模型的输入通道包括遥感影像的RGB通道，以及N个代表不同地物要素的二值图通道，每张二值图均使用0-1编码；N>1；
在训练过程中，为促进GAN模型学习利用N个二值图通道信息，构建第一损失项来判别生成的电子地图和目标电子地图在N个不同地物要素方面颜色渲染的差异，所述第一损失项定义为：
式中，i代表第i个地物要素，
和
分别代表生成器生成的电子地图和目标电子地图中针对i要素提取的二值图，
为目标电子地图中i要素占有的像素总数，λ1为第一损失项的权重系数；
S3、将待处理的遥感影像输入到训练好的GAN模型，得到对应的目标电子地图。
本发明公开的一种基于GAN模型根据遥感影像生成电子地图的***，包括以下模块：
生成对抗网络模型构建模块，用于构建GAN-生成对抗网络模型，所述GAN网络模型包括生成器与判别器；所述判别器用于将所述生成器生成的电子地图，与目标地图样本进行比较判别；其中：
生成器包括采用多层卷积来降低特征矩阵宽度和高度的下采样层、M个残差块和采用多层卷积且利用反卷积技术来提高特征矩阵宽度和高度的上采样层；
所述判别器采用感受野分块对生成器生成的电子地图进行判断，输出一个代表各块判别结果的矩阵；
模型训练模块，用于获取包括若干张遥感影像的训练数据集，将训练数据集输入到生成对抗网络模型构建模块构建的GAN模型进行网络训练；其中，GAN模型的输入通道包括遥感影像的RGB通道，以及N个代表不同地物要素的二值图通道，每张二值图均使用0-1编码；N>1；
所述模型训练模块中包括第一损失项构建模块，用于在训练过程中，为促进GAN模型学习利用N个二值图通道信息，构建由下述公式定义的第一损失项，来判别生成的电子地图和目标电子地图在N个不同地物要素方面颜色渲染的差异：
式中，i代表第i个地物要素，
和
分别代表生成器生成的电子地图和目标电子地图中针对i要素提取的二值图，
为目标电子地图中i要素占有的像素总数，λ1为第一损失项的权重系数；
目标电子地图生成模块，用于将待处理的遥感影像输入到训练好的GAN模型，得到对应的目标电子地图。
实施本发明的一种基于GAN模型根据遥感影像生成电子地图的方法、***，具有以下有益效果：
1、在GAN模型的生成器中增加了6个残差块，增加的残差块可以在不产生梯度传播问题的前提下，通过适当增加网络深度提高模型的性能；
2、模型损失函数除了包含自适应感知损失和自适应对抗损失，还包含用于优化生成电子地图的颜色渲染和道路生成的损失项。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是pix2pix和mapGAN模型在Facades数据集上部分测试结果图；
图2是mapGAN模型在照片场景环境从白天转换成夜晚的图片翻译任务中部分测试图。
图3是本发明公开的一种基于GAN模型根据遥感影像生成电子地图的方法步骤流程图；
图4是GAN模型生成器架构图；
图5是因美观性而将绿地渲染成方形的一对训练数据；
图6是本发明公开的一种基于GAN模型根据遥感影像生成电子地图的方法模型结构图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
1、实验条件说明：
本发明的地图翻译任务在1096对遥感-电子数据集进行训练，并在1042对遥感-电子数据集上测试，数据集来源为Google地图上的卫星和电子地图瓦片，图片尺寸为600*600像素。
本发明所实施的实验在载有1块NVIDA M40的GPU、4块Inter Xeon [email protected]的CPU、RAM：30GiB的工作站上进行。
2、电子地图生成质量分析
本实施例使用改进的GAN模型(以下称为mapGAN模型)进行瓦片地图生成翻务，并在相同测试集上与pix2pix，CycleGAN模型对比生成地图的质量。训练阶段，3个二值图通道使用OpenCV库来获取。其中，表1展示了不同评价指标下，mapGAN与其它模型地图生成质量的评估结果，其中，用于计算电子地图真实特征分布的样本数据集包含2000张电子地图，用于计算模型生成电子地图特征分布的样本数据集包含1000张电子地图。结果表明，mapGAN模型的地图生成结果在像素级翻译精确度，Kernel MMD和FID三个指标评估下相较于pix2pix和cycleGAN模型均表现更优。
表1模型在不同评价指标下评估结果
3、模型拓展性分析
虽然mapGAN模型的提出是为了解决从遥感影像精准生成电子地图的具体应用问题，但是将mapGAN中二值图通道的输入控制和相关损失项去掉后，可以作为一种全新的图片翻译模型。为了进一步探究此模型的拓展性，本实施例mapGAN模型做了以下修改：
(1)取消关于高速道路、水域、林地的二值图输入；
(2)取消使用Lroad，Lcolor和Ls损失项；
(3)将Lf_vgg计算的特征损失改成生成器生成的图片与目标生成图之间的比较。其余模型设置保持不变。本发明在两个不同的图片翻译任务上进行了mapGAN拓展性测试。
语义标签翻译生成照片：使用CMP Facades数据集，包含400张训练样本，翻译任务为从建筑体外侧语义分割图到建筑体外侧照片的转换生成。该实验使用pix2pix和mapGAN同时在Facades数据集上进行训练并测试，实验结果见图1。直观上看，mapGAN在该任务上的翻译结果与pix2pix并无太大区别。为了给出更精确的比较结果，进一步使用了Kernel MMD指标评估，数据显示，pix2pix的评估结果为0.13，mapGAN的评估结果为0.11，相比减少15.4％。
将照片场景从白天转换成夜晚：数据集来源为P-Y.Laffont使用过的户外场景数据集，翻译任务为输入某地白天时拍摄的照片，输出该地夜晚时的照片。实验结果见图2。结果表明，mapGAN可以有效分离输入图片中的地物和环境，并正确学习到了夜晚中各种地物的状态属性。这里同样引入pix2pix模型在相同数据集上训练测试，并与mapGAN在KernelMMD评估指标下进行评估，数据显示，pix2pix的评估结果为0.12，mapGAN的评估结果为0.08，相比减少了33.3％。
实施例1：
下面将对本发明公开的一种基于GAN模型根据遥感影像生成电子地图的方法步骤，进行详细说明，具体请参考图3：
具体分为以下3项步骤：
步骤S1：
构建GAN-生成对抗网络模型，所述GAN网络模型包括生成器与判别器；所述判别器用于将所述生成器生成的电子地图，与目标地图样本进行比较判别；其中：
生成器包括采用多层卷积来降低特征矩阵宽度和高度的下采样层、M个残差块和采用多层卷积且利用反卷积技术来提高特征矩阵宽度和高度的上采样层(生成器网络模型的结构请参考图4)；
所述判别器包括感受野分块来对生成器生成的电子地图进行判断，输出一个代表判别结果的矩阵；
当前步骤下，所述GAN-生成对抗网络模型包括一个生成模型(即生成器)和一个判别模型(即判别器)。其中，判别模型用于判断一个给定的图片是不是真实的图片(从数据集里获取的图片)，生成模型的任务是去创造一个看起来像真的图片一样的图片，即通过这个模型来产生一个图片，它可以和你想要的图片很像。
而，在一开始的时候，这两个模型都是没有经过训练的，这两个模型一起对抗训练，生成模型产生一张图片去欺骗判别模型，然后判别模型去判断这张图片是真是假，最终在这两个模型训练的过程中，两个模型的能力越来越强，最终达到稳态。
当前实施例下，对生成器做出了以下2个方面的改进：
1、生成器中包括下采样层、上采样层和残差块都取消使用7*7的卷积核，而采用3个3个3*3的卷积核，这样做的目的也是为了减小卷积核的感受野，增强生成器对每个图片块细节特征的感受力，同时减少训练参数。
2、上述的残差块个数取值为6，即在生成器中，在下采样层与上采样层之间增加了6个残差块，其中，每个残差块由2个卷积层构成，增加的残差块可以在不产生梯度传播问题的前提下，通过适当增加网络深度提高模型的性能。
当前实施例下，对判别器做出了以下的改进：
当前实施例下，所述判别器采用70*70大小的感受野分块来对生成器生成的电子地图进行判断。在卷积神经网络中，感受野(Receptive Field)是指特征图上的某个点能看到的输入图像的区域,即特征图上的点是由输入图像中感受野大小区域的计算得到的。
综上所述，基于对生成器和判别器改进点，步骤S1的关键在于GAN模型的结构设计，当前通过增加残差块，以及减小卷积核的感受野，进一步提高网络模型的性能，增强模型对每个图片块细节特征的感受力。
步骤S2：
获取包括若干张遥感影像的训练数据集，将训练数据集输入到步骤S1构建的GAN模型进行网络训练；其中，GAN模型的输入通道包括遥感影像的RGB通道，以及N个代表不同地物要素的二值图通道，每张二值图均使用0-1编码；N>1；
在训练过程中，为促进GAN模型学习利用N个二值图通道信息，构建由公式(1)定义的第一损失项，来判别生成的电子地图和目标电子地图在N个不同地物要素方面颜色渲染的差异：
式中，i代表第i个地物要素，
和
分别代表生成器生成的电子地图和目标电子地图中针对i要素提取的二值图，
为目标电子地图中i要素占有的像素总数，λ1为第一损失项的权重系数；
当前步骤下，让模型学习如何对生成的电子地图进行正确的颜色渲染面临许多难点，体现如下：(1)标准的电子地图制作在进行颜色渲染时需要参考该地图区域多方面的属性信息，例如根据从地理实体数据库提取到的地理要素信息将高速公路渲染成橘色，将国道省道渲染成黄色，但是这种属性信息神经网络是无法从遥感影像中提取出来的。(2)模型在对生成的电子地图颜色渲染时需要考虑美观性。例如，有时为了增加地图美观性，标准电子地图制作会将绿地渲染成标准的方形，尽管这可能包含了一些非绿地成分，如图5所示。
为克服上述第(1)个困难点，本实施例下，借助于CGAN模型的生成控制思想，将GAN模型的输入通道设计为六个，其分别为：遥感影像RGB通道和3张二值图；其中，3张二值图使用0-1编码其分别代表林地、水域和高速路信息，数值为1的像素范围代表对应要素颜色渲染范围。
当前为了体现颜色差异，通过构建如下第一损失项来判别生成电子地图和目标电子地图在林地、水域、高速路3个要素方面颜色渲染的差异大小：
(a1)式中，i代表第i个地物要素，
和
分别代表生成器网络生成的电子地图和目标电子地图中针对i要素提取的二值图，
为目标电子地图中i要素占有的像素总数，λ1为第一损失项的权重系数。
以上考虑了颜色渲染的差异大小，然而正确识别遥感影像中的道路并显示是电子地图生成的重要任务，其只是之后用于导航等应用的基础。在道路的识别生成方面，模型不仅需要学会连接被零散树木遮挡的道路以保证其连续性，而且生成的道路边界要笔直平滑。为了做到这两点，本实施例构建由公式(a2)定义的第二损失项，增加生成的电子地图在道路连续性和平滑性方面的限制：
(a2)式中，
和
分别代表生成器网络生成的电子地图和目标电子地图中针对道路要素提取的二值图，
为目标电子地图中道路占据的像素总数，λ2为该损失项权重。
由于对抗训练在图片翻译模型中应用广泛，其可以在训练过程中通过使用一个可训练的判别器自动学习损失函数来指导生成器生成更加逼真的图片。
不过，GAN原始的对抗损失函数存在一个问题：即在更新生成器时，当生成的假样本距离决策边界较远，其仍处于真实样本一侧时，使用原先的sigmoid交叉熵损失函数会导致梯度消失。因此，本实施例采用其提出的最小二乘损失函数来解决梯度过早消失问题，同时结合经典的L1损失函数来进一步提高mapGAN模型训练的稳定性。
为了提高mapGAN模型训练的稳定性，在训练过程中，基于公式(a1)-(a2)，本实施例下所述GAN模型最终的损失函数即第三损失项由公式(a3)定义为：
L(D)＝minLadv(D)
L(G)＝min(Ladv(G)+Lcolor+Lroad+Lp)； (a3)
式中，L(D)代表判别器的损失函数，L(G)代表生成器的损失函数。
其中，所述自适应对抗损失项Ladv由公式(a4)-(a5)定义为：
式中，Ladv(D)指判别器的自适应对抗损失函数，Ladv(G)指生成器的自适应对抗损失函数，L1为L1损失函数；λ6和λ7代表对应损失项的权重系数；x代表目标电子地图，c代表生成器输入中所有的二值图通道，y代表输入到GAN模型的遥感影像，p_data(y)和p_data(x)分别代表y和x服从的概率分布；G(y,c)表示生成器以y和c为输入生成的电子地图，D(G(y,c),c,y)表示判别器以G(y,c)、c、y为输入进一步输出的判别概率；D(x,c,y)表示判别器以x、c、y为输入进一步输出的判别概率。
综上所述，步骤S2的关键点在于，GAN模型最终的损失函数即第三损失项的设计，为了提高mapGAN模型训练的稳定性，当前考虑了判别生成的电子地图和目标电子地图在N个不同地物要素方面颜色渲染的差异，以及考虑了电子地图在道路连续性和平滑性方面的限制，在训练过程中通过使用一个可训练的判别器自动学习第三损失项指导生成器生成更加逼真的图片。
步骤S3：
基于前述两项步骤，当前即可以将待处理的遥感影像输入到训练好的GAN模型，从而得到对应的目标电子地图。
实施例2：
为了有效帮助模型在上采样阶段构建电子地图时重新使用下采样提取到的特征，本实施例在下采样层和上采样层之间增加了两个跳远连接，以做到跨层信息传递。具体的请参考图4。
实施例3：
本发明讨论的地图生成可以看成是一种特殊的风格迁移，在本发明的场景中，内容图片就是遥感影像，风格图片就是电子地图，地图生成的目的就是保留遥感影像的一定内容并转换成网络电子地图风格的图片。
风格迁移模型训练时的损失函数一般设计为两项，一项衡量输入内容图片和输出合成图片之间的内容相似性，一项基于Gram矩阵衡量输入风格图片和输出合成图片之间的风格相似性。
本发明在其基础上作出如下改进：(1)加入了由判别器提取特征构成的特征损失项。(2)采用先验测试的方法选取vgg-19模型用于特征损失建立的层数。本实施例下，自适应感知损失函数Lp数学公式如下：
Lp＝Lf_d+Lf_vgg+Ls
式中，Lf_d代表判别器的特征损失，Lf_vgg代表生成器中采用vgg-19模型进行特征提取和匹配构造的特征损失，Ls代表利用生成电子地图和目标电子地图构造的生成器风格损失项，上述各个损失项的数学表达由下述公式定义为：
LS＝λ5(Gram(s)-Gram(x))2；
上述3项公式中，λ3、λ4、λ5代表各个损失项的权重系数；t代表网络层个数，nt代表第t个网络层的特征；D代表判别器，s代表生成的电子地图，x代表目标电子地图，c代表生成器输入中所有的二值图通道；Dt(*)代表判别器以“*”为输入在第t层提取到的特征；V代表在生成器中采用的vgg-19模型，Vt(*)表示vgg-19模型以“*”为输入提取到的图片内容特征；风格损失项Ls通过使用Gram矩阵来表达生成的图片风格特征，所述Gram矩阵定义由下述公式定义为：
式中，
和
分别代表在vgg-19模型第t个网络层中的第j个特征矩阵和第k个特征矩阵，其余变量含义与前文公式相同。Gram矩阵定义为在特定网络层中任意两个特征矩阵的内积之和。
在将本发明公开的一种基于GAN模型根据遥感影像生成电子地图的方法应用到实施***的时候，其***结构请参考图6。
本发明公开的一种基于GAN模型根据遥感影像生成电子地图的***，包括生成对抗网络模型构建模块L1、模型训练模块L2以及目标电子地图生成模块L3，其中：
生成对抗网络模型构建模块L1，其存储了用于执行实施例1-3中公开的步骤S1的执行程序，该步骤具体是用于构建GAN模型；
模型训练模块L2，其存储了用于执行实施例1-3中公开的步骤S2的执行程序，该步骤包括了在训练过程中，构建第一损失函数、第二损失函数以及GAN模型的最终损失函数，其中，所述第一损失函数由模型训练模块L2中的第一损失项构建模块L21来执行构建，所述第二损失函数由模型训练模块L2中的第二损失项构建模块L22来执行构建，所述GAN模型的最终损失函数由模型训练模块L2中的第三损失项构建模块L23来执行构建；
目标电子地图生成模块L3，其存储了用于执行实施例1中公开的步骤S3的执行程序，该步骤具体是用于生成最终的目标电子地图。
以上从实施方法，以及将该实施方法应用于实施***时的执行流程以及***结构的内容说明。该实施方法不仅仅限制于本实施例中公开的实验条件以及实验环境，为达到更好的实施效果可对数据源以及工作站的选取做出适应性调整。
综上所述，本发明的一种基于GAN模型根据遥感影像生成电子地图的方法、***，在GAN模型的生成器中增加了6个残差块，增加的残差块可以在不产生梯度传播问题的前提下，通过适当增加网络深度提高模型的性能；在训练过程中，该模型的损失函数除了包含本身已设定的自适应感知损失项和自适应对抗损失项，还包含用于优化生成电子地图的颜色渲染和道路生成的损失项，通过判别生成的电子地图和目标电子地图在N个不同地物要素方面颜色渲染的差异，以及增加生成的电子地图在道路连续性和平滑性方面的限制，在训练过程中通过使用一个可训练的判别器自动学习损失函数指导生成器生成更加逼真的图片。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (10)
1.一种基于GAN模型根据遥感影像生成电子地图的方法，其特征在于，包括以下步骤：
S1、构建GAN-生成对抗网络模型，所述GAN网络模型包括生成器与判别器；所述判别器用于将所述生成器生成的电子地图，与目标地图样本进行比较判别；其中：
生成器包括采用多层卷积来降低特征矩阵宽度和高度的下采样层、M个残差块和采用多层卷积且利用反卷积技术来提高特征矩阵宽度和高度的上采样层；
所述判别器包括感受野分块来对生成器生成的电子地图进行判断，输出一个代表判别结果的矩阵；
S2、获取包括若干张遥感影像的训练数据集，将训练数据集输入到步骤S1构建的GAN模型进行网络训练；其中，GAN模型的输入通道包括遥感影像的RGB通道，以及N个代表不同地物要素的二值图通道，每张二值图均使用0-1编码；N>1；
在训练过程中，为促进GAN模型学习利用N个二值图通道信息，构建由公式(1)定义的第一损失项，来判别生成的电子地图和目标电子地图在N个不同地物要素方面颜色渲染的差异：
式中，i代表第i个地物要素，
和
分别代表生成器生成的电子地图和目标电子地图中针对i要素提取的二值图，
为目标电子地图中i要素占有的像素总数，λ1为第一损失项的权重系数；
S3、将待处理的遥感影像输入到训练好的GAN模型，得到对应的目标电子地图。
2.根据权利要求1所述的根据遥感影像生成电子地图的方法，其特征在于，步骤S1中，下采样层，残差块和上采样层均3个3*3的卷积核。
3.根据权利要求2所述的根据遥感影像生成电子地图的方法，其特征在于，步骤S1中，在生成器的下采样层和上采样层之间增加两个跳远连接，从而在上采样阶段构建电子地图时使用下采样层提取到的特征，实现跨层信息传递。
4.根据权利要求3所述的根据遥感影像生成电子地图的方法，其特征在于，步骤S1中，所述生成器包括6个残差块，每个残差块由两个卷积层构成。
5.根据权利要求4所述的根据遥感影像生成电子地图的方法，其特征在于，步骤S2中，GAN模型的输入通道包括分别代表林地、水域和道路信息的3个二值图通道；
构建由公式(2)定义的第二损失项，增加生成的电子地图在道路连续性和平滑性方面的限制：
式中，
和
分别代表生成器生成的电子地图和目标电子地图中针对道路要素提取的二值图，
为目标电子地图中道路占据的像素总数，λ2为该损失项的权重系数。
6.根据权利要求5所述的根据遥感影像生成电子地图的方法，其特征在于，所述GAN模型的损失函数还包含自适应感知损失项Lp和自适应对抗损失项Ladv；结合公式(1)-(2)，所述GAN模型最终的损失函数由公式(3)定义为：
L(D)＝minLadv(D)
L(G)＝min(Ladv(G)+Lcolor+Lroad+Lp)； (3)
式中，L(D)代表判别器的损失函数，L(G)代表生成器的损失函数；
所述自适应对抗损失项Ladv由公式(4)-(5)定义为：
式中，Ladv(D)指判别器的自适应对抗损失函数，Ladv(G)指生成器的自适应对抗损失函数，L1为L1损失函数；λ6和λ7代表对应损失项的权重系数；x代表目标电子地图，c代表生成器输入中所有的二值图通道，y代表输入到GAN模型的遥感影像，p_data(y)和p_data(x)分别代表y和x服从的概率分布；G(y,c)表示生成器以y和c为输入生成的电子地图，D(G(y,c),c,y)表示判别器以G(y,c)、c、y为输入进一步输出的判别概率；D(x,c,y)表示判别器以x、c、y为输入进一步输出的判别概率；E(*)为对“*”求均值。
7.根据权利要求6所述的根据遥感影像生成电子地图的方法，其特征在于，所述自适应感知损失项Lp定义为：Lp＝Lf_d+Lf_vgg+Ls，其中：
Lf_d代表判别器的特征损失，Lf_vgg代表生成器中采用vgg-19模型进行特征提取和匹配构造的特征损失，Ls代表利用生成电子地图和目标电子地图构造的生成器风格损失项，上述各个损失项的数学表达由公式(6)-(8)定义为：
Ls＝λ5(Gram(s)-Gram(x))2； (8)
式中，λ3、λ4、λ5代表各个损失项的权重系数；t代表网络层个数，nt代表第t个网络层的特征；D代表判别器，s代表生成的电子地图，x代表目标电子地图，c代表生成器输入中所有的二值图通道；Dt(*)代表判别器以“*”为输入在第t层提取到的特征；V代表在生成器中采用的vgg-19模型，Vt(*)表示vgg-19模型以“*”为输入提取到的图片内容特征；
风格损失项Ls通过使用Gram矩阵来表达生成的图片风格特征，所述Gram矩阵定义由公式(9)所示：
式中，
和
分别代表在vgg-19模型第t个网络层中的第j个特征矩阵和第k个特征矩阵。
8.一种基于GAN模型根据遥感影像生成电子地图的***，其特征在于，包括以下模块：
生成对抗网络模型构建模块，用于构建GAN-生成对抗网络模型，所述GAN网络模型包括生成器与判别器；所述判别器用于将所述生成器生成的电子地图，与目标地图样本进行比较判别；其中：
生成器包括采用多层卷积来降低特征矩阵宽度和高度的下采样层、M个残差块和采用多层卷积且利用反卷积技术来提高特征矩阵宽度和高度的上采样层；
所述判别器采用感受野分块对生成器生成的电子地图进行判断，输出一个代表各块判别结果的矩阵；
模型训练模块，用于获取包括若干张遥感影像的训练数据集，将训练数据集输入到生成对抗网络模型构建模块构建的GAN模型进行网络训练；其中，GAN模型的输入通道包括遥感影像的RGB通道，以及N个代表不同地物要素的二值图通道，每张二值图均使用0-1编码；N>1；
所述模型训练模块中包括第一损失项构建模块，用于在训练过程中，为促进GAN模型学习利用N个二值图通道信息，构建由下述公式定义的第一损失项，来判别生成的电子地图和目标电子地图在N个不同地物要素方面颜色渲染的差异：
式中，i代表第i个地物要素，
和
分别代表生成器生成的电子地图和目标电子地图中针对i要素提取的二值图，
为目标电子地图中i要素占有的像素总数，λ1为第一损失项的权重系数；
目标电子地图生成模块，用于将待处理的遥感影像输入到训练好的GAN模型，得到对应的目标电子地图。
9.根据权利要求8所述的根据遥感影像生成电子地图的***，其特征在于，所述模型训练模块中还包括第二损失项构建模块；
所述第二损失项构建模块，用于在GAN模型的输入通道包括分别代表林地、水域和道路信息的3个二值图通道时，构建第二损失项，增加生成的电子地图在道路连续性和平滑性方面的限制，所述第二损失项的数学表达式为：
式中，
和
分别代表生成器生成的电子地图和目标电子地图中针对道路要素提取的二值图，
为目标电子地图中道路占据的像素总数，λ2为该损失项权重。
10.根据权利要求9所述的根据遥感影像生成电子地图的***，其特征在于，所述模型训练模块中还包括第三损失项构建模块；
所述第三损失项构建模块，用于结合自适应感知损失项Lp和自适应对抗损失项Ladv以及第一、第二损失项，构建所述GAN模型最终的损失函数，其数学表达式为：
L(D)＝minLadv(D)
L(G)＝min(Ladv(G)+Lcolor+Lroad+Lp)；
式中，L(D)代表判别器的损失函数，L(G)代表生成器的损失函数；
其中，所述自适应对抗损失项Ladv由下述公式定义为：
式中，Ladv(D)指判别器的自适应对抗损失函数，Ladv(G)指生成器的自适应对抗损失函数，L1为L1损失函数；λ6和λ7代表对应损失项的权重系数；y代表输入到GAN模型的遥感影像，p_data(y)和p_data(x)分别代表y和x服从的概率分布；G(y,c)表示生成器以y和c为输入生成的电子地图，D(G(y,c),c,y)表示判别器以G(y,c)、c、y为输入进一步输出的判别概率；D(x,c,y)表示判别器以x、c、y为输入进一步输出的判别概率；E(*)为对“*”求均值。
其中，所述自适应感知损失项Lp定义为：Lp＝Lf_d+Lf_vgg+Ls；式中，Lf_d代表判别器的特征损失，Lf_vgg代表生成器中采用vgg-19模型进行特征提取和匹配构造的特征损失，Ls代表利用生成电子地图和目标电子地图构造的生成器风格损失项，上述各个损失项的数学表达由下述公式定义为：
LS＝λ5(Gram(s)-Gram(x))2；
式中，λ3、λ4、λ5代表各个损失项的权重系数；t代表网络层个数，nt 代表第t个网络层的特征；D代表判别器，s代表生成的电子地图，x代表目标电子地图，c代表生成器输入中所有的二值图通道；Dt(*)代表判别器以“*”为输入在第t层提取到的特征；V代表在生成器中采用的vgg-19模型，Vt(*)和代表vgg-19模型以“*”为输入提取到的图片内容特征；风格损失项Ls通过使用Gram矩阵来表达图片的风格特征，所述Gram矩阵定义由下述公式定义为：
式中，
和
分别代表在vgg-19模型第t个网络层中的第j个特征矩阵和第k个特征矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010310125.XA CN111625608B (zh) | 2020-04-20 | 2020-04-20 | 一种基于gan模型根据遥感影像生成电子地图的方法、*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010310125.XA CN111625608B (zh) | 2020-04-20 | 2020-04-20 | 一种基于gan模型根据遥感影像生成电子地图的方法、*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111625608A true CN111625608A (zh) | 2020-09-04 |
| CN111625608B CN111625608B (zh) | 2023-04-07 |
Family
ID=72260052
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010310125.XA Active CN111625608B (zh) | 2020-04-20 | 2020-04-20 | 一种基于gan模型根据遥感影像生成电子地图的方法、*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111625608B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112183727A (zh) * | 2020-09-29 | 2021-01-05 | 中科方寸知微(南京)科技有限公司 | 一种对抗生成网络模型、以及基于所述对抗生成网络模型的散景效果渲染方法及*** |
| CN112487999A (zh) * | 2020-12-02 | 2021-03-12 | 西安邮电大学 | 一种基于CycleGAN的遥感图像鲁棒特征提取方法 |
| CN112860838A (zh) * | 2021-03-16 | 2021-05-28 | 湖北星地智链科技有限公司 | 基于生成式对抗网络的多尺度地图生成方法、***、终端 |
| CN112884640A (zh) * | 2021-03-01 | 2021-06-01 | 深圳追一科技有限公司 | 模型训练方法及相关装置、可读存储介质 |
| CN112991493A (zh) * | 2021-04-09 | 2021-06-18 | 华南理工大学 | 基于vae-gan和混合密度网络的灰度图像着色方法 |
| CN113052121A (zh) * | 2021-04-08 | 2021-06-29 | 北京理工大学 | 一种基于遥感影像的多层级网络地图智能生成方法 |
| CN113076806A (zh) * | 2021-03-10 | 2021-07-06 | 湖北星地智链科技有限公司 | 一种结构增强的半监督在线地图生成方法 |
| CN114418005A (zh) * | 2022-01-21 | 2022-04-29 | 杭州碧游信息技术有限公司 | 基于gan网络的游戏地图自动生成方法、装置、介质及设备 |
| CN114758251A (zh) * | 2022-06-15 | 2022-07-15 | 青岛阅海信息服务有限公司 | 基于内容与风格编码的遥感影像无监督道路提取方法 |
| CN115146349A (zh) * | 2022-07-06 | 2022-10-04 | 北京林业大学 | 局部更新设计的方法及装置 |
| WO2023277793A3 (en) * | 2021-06-30 | 2023-02-09 | Grabtaxi Holdings Pte. Ltd | Segmenting method for extracting a road network for use in vehicle routing, method of training the map segmenter, and method of controlling a vehicle |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108830209A (zh) * | 2018-06-08 | 2018-11-16 | 西安电子科技大学 | 基于生成对抗网络的遥感图像道路提取方法 |
| AU2020100274A4 (en) * | 2020-02-25 | 2020-03-26 | Huang, Shuying DR | A Multi-Scale Feature Fusion Network based on GANs for Haze Removal |
| CN110992262A (zh) * | 2019-11-26 | 2020-04-10 | 南阳理工学院 | 一种基于生成对抗网络的遥感图像超分辨重建方法 |
-
2020
- 2020-04-20 CN CN202010310125.XA patent/CN111625608B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108830209A (zh) * | 2018-06-08 | 2018-11-16 | 西安电子科技大学 | 基于生成对抗网络的遥感图像道路提取方法 |
| CN110992262A (zh) * | 2019-11-26 | 2020-04-10 | 南阳理工学院 | 一种基于生成对抗网络的遥感图像超分辨重建方法 |
| AU2020100274A4 (en) * | 2020-02-25 | 2020-03-26 | Huang, Shuying DR | A Multi-Scale Feature Fusion Network based on GANs for Haze Removal |
Non-Patent Citations (2)
| Title |
|---|
| WENHAO YU, ETC.: "Automated generalization of Facility Points-of-Interest With Service Area Delimitation" * |
| 龚希等: "融合全局和局部深度特征的高分辨率遥感影像场景分类方法" * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112183727A (zh) * | 2020-09-29 | 2021-01-05 | 中科方寸知微(南京)科技有限公司 | 一种对抗生成网络模型、以及基于所述对抗生成网络模型的散景效果渲染方法及*** |
| CN112487999A (zh) * | 2020-12-02 | 2021-03-12 | 西安邮电大学 | 一种基于CycleGAN的遥感图像鲁棒特征提取方法 |
| CN112487999B (zh) * | 2020-12-02 | 2024-06-14 | 西安邮电大学 | 一种基于CycleGAN的遥感图像鲁棒特征提取方法 |
| CN112884640A (zh) * | 2021-03-01 | 2021-06-01 | 深圳追一科技有限公司 | 模型训练方法及相关装置、可读存储介质 |
| CN112884640B (zh) * | 2021-03-01 | 2024-04-09 | 深圳追一科技有限公司 | 模型训练方法及相关装置、可读存储介质 |
| CN113076806A (zh) * | 2021-03-10 | 2021-07-06 | 湖北星地智链科技有限公司 | 一种结构增强的半监督在线地图生成方法 |
| CN112860838A (zh) * | 2021-03-16 | 2021-05-28 | 湖北星地智链科技有限公司 | 基于生成式对抗网络的多尺度地图生成方法、***、终端 |
| CN113052121A (zh) * | 2021-04-08 | 2021-06-29 | 北京理工大学 | 一种基于遥感影像的多层级网络地图智能生成方法 |
| CN113052121B (zh) * | 2021-04-08 | 2022-09-06 | 北京理工大学 | 一种基于遥感影像的多层级网络地图智能生成方法 |
| CN112991493A (zh) * | 2021-04-09 | 2021-06-18 | 华南理工大学 | 基于vae-gan和混合密度网络的灰度图像着色方法 |
| WO2023277793A3 (en) * | 2021-06-30 | 2023-02-09 | Grabtaxi Holdings Pte. Ltd | Segmenting method for extracting a road network for use in vehicle routing, method of training the map segmenter, and method of controlling a vehicle |
| CN114418005A (zh) * | 2022-01-21 | 2022-04-29 | 杭州碧游信息技术有限公司 | 基于gan网络的游戏地图自动生成方法、装置、介质及设备 |
| CN114758251A (zh) * | 2022-06-15 | 2022-07-15 | 青岛阅海信息服务有限公司 | 基于内容与风格编码的遥感影像无监督道路提取方法 |
| CN115146349A (zh) * | 2022-07-06 | 2022-10-04 | 北京林业大学 | 局部更新设计的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111625608B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111625608B (zh) | 一种基于gan模型根据遥感影像生成电子地图的方法、*** | |
| CN110276316B (zh) | 一种基于深度学习的人体关键点检测方法 | |
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨*** | |
| CN109934154B (zh) | 一种遥感影像变化检测方法及检测装置 | |
| CN103208001B (zh) | 结合形状自适应邻域和纹理特征提取的遥感图像处理方法 | |
| CN111738111A (zh) | 基于多分支级联空洞空间金字塔的高分辨遥感图像的道路提取方法 | |
| CN110084108A (zh) | 基于gan神经网络的行人重识别***及方法 | |
| CN106981080A (zh) | 基于红外图像和雷达数据的夜间无人车场景深度估计方法 | |
| CN112396607A (zh) | 一种可变形卷积融合增强的街景图像语义分割方法 | |
| CN111738113A (zh) | 基于双注意力机制与语义约束的高分辨遥感图像的道路提取方法 | |
| CN112489054A (zh) | 一种基于深度学习的遥感图像语义分割方法 | |
| US20230281913A1 (en) | Radiance Fields for Three-Dimensional Reconstruction and Novel View Synthesis in Large-Scale Environments | |
| CN113449691A (zh) | 一种基于非局部注意力机制的人形识别***及方法 | |
| CN113971764B (zh) | 一种基于改进YOLOv3的遥感图像小目标检测方法 | |
| CN111160293A (zh) | 基于特征金字塔网络的小目标船只检测方法及*** | |
| CN112215847A (zh) | 基于对抗学习多尺度特征的重叠染色体自动分割方法 | |
| CN111611925A (zh) | 一种建筑物检测与识别方法及装置 | |
| CN112884893A (zh) | 基于非对称卷积网络和注意力机制的跨视角图像生成方法 | |
| CN116563682A (zh) | 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法 | |
| CN115861756A (zh) | 基于级联组合网络的大地背景小目标识别方法 | |
| CN114612709A (zh) | 图像金字塔特征指导的多尺度目标检测方法 | |
| CN117495718A (zh) | 一种多尺度自适应的遥感图像去雾方法 | |
| CN116863347A (zh) | 一种高效率和精度的遥感图像语义分割方法及应用 | |
| CN115861818A (zh) | 基于注意力机制联合卷积神经网络的细小水体提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |