CN112950780A - 一种基于遥感影像的网络地图智能生成方法及*** - Google Patents

一种基于遥感影像的网络地图智能生成方法及*** Download PDF

Info

Publication number
CN112950780A
CN112950780A CN202110269420.XA CN202110269420A CN112950780A CN 112950780 A CN112950780 A CN 112950780A CN 202110269420 A CN202110269420 A CN 202110269420A CN 112950780 A CN112950780 A CN 112950780A
Authority
CN
China
Prior art keywords
network map
remote sensing
subsystem
sensing image
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110269420.XA
Other languages
English (en)
Other versions
CN112950780B (zh
Inventor
付莹
梁帅哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202110269420.XA priority Critical patent/CN112950780B/zh
Publication of CN112950780A publication Critical patent/CN112950780A/zh
Application granted granted Critical
Publication of CN112950780B publication Critical patent/CN112950780B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种基于遥感影像的网络地图智能生成方法及***，属于计算机视觉技术领域。本发明对采集到的网络地图提取语义类别并重新绘制，使模型训练过程中能够显式的针对网络地图蕴含语义的正误进行纠正，实现网络地图中的色值统一化、标准化。使用地物语义信息预测模块与网络地图生成模块双模块设计，每个模块均能够根据目前最新或未来更新的语义分割技术与图像生成技术进行更新，既能显式的针对遥感图像的地物语义信息进行理解与纠正，又能通过对抗生成的手段自适应的学习网络地图中蕴含的图像风格、制图规范、细节特征等信息。本发明能够在不需要特殊设备、具有较快生成速度的前提下，提高在复杂真实遥感影像下生成地图的准确程度与感官质量。

Description

一种基于遥感影像的网络地图智能生成方法及***
技术领域
本发明涉及一种网络地图智能生成方法及***，具体涉及一种基于遥感影像的网络地图智能生成方法及***，属于计算机视觉技术领域。
背景技术
遥感技术，是指从人造卫星、飞机、无人机或其他飞行器上收集地物目标的电磁辐射信息，以确定地表环境和资源等相关信息的技术。近年来，随着人造地球卫星发射技术的不断优化，人类可用人造卫星的数量与质量都得到了飞速提升，大大推动了遥感技术的发展。
通过从远距离感知目标反射或辐射的电磁波、可见光、红外线等对目标进行探测和识别的技术均属于遥感技术，其中，通过可见光对目标进行探测，并将其按照RGB色彩格式记录形成的影像，通常被称为遥感影像。
网络地图，是利用计算机技术，以数字方式存储和查阅的地图。当前网络地图服务的主要产品是瓦片地图，即，将不同比例尺的矢量数字地图，依据图式规范经过一系列处理和配图之后，根据不同的缩放等级和特定的数学基础，按照指定尺寸和格式进行裁剪切割，预先渲染得到若干行和列的地图图片库。
随着信息技术的发展和移动互联网的到来，高精度网络地图服务已经成为现代人日常生活中不可或缺的一部分，极大地提高了人们自由出行的便捷程度，也促进了网约车、外卖等一些新兴商业领域的快速发展。在地震、洪水、泥石流等极端自然灾害情况下，快速更新的网络地图甚至可以为救援人员提供重要信息，有力协助救援行动的进行。
传统的网络地图生成方法，需要大量的人力进行人工现场测绘获取矢量数据，然后根据该矢量数据参照制图规范进行地图制图，最后按照一定规则切片并导入到计算机，配合网络地图服务***形成完整的网络地图服务。这一流程不但繁琐而又漫长，耗费大量的人力物力，且生成过程受当地地面条件的影响较大，在紧急情况下无法做到迅速反应和更新。
考虑到遥感影像的获取更容易、更快速、成本更低、且不受地面条件的影响，具有更好的适应性，根据遥感影像生成网络地图的方式进入了大家的视野。
在深度学习方法取得快速发展之前，传统方法仅能够利用遥感影像中的颜色、明暗、边界等低层信息，根据人工设计的先验规则进行判断，不仅难以应对网络地图自动生成这样的复杂问题，也容易受到阴影、天气、季节等各类不同影像因素的干扰。
近年来，深度学习技术的快速发展为基于遥感影像自动生成效果较好的网络地图带来了可能。深度学习是机器学习领域中的一个新的研究方向，通常使用深层非线性的神经网络实现复杂函数的逼近，并使用合适的数据与损失函数对其进行训练，改变神经网络中存储的参数，从大量已知数据中学习统计规律，从而对未知事件做出预测。深度学习技术于2012年在图像分类任务上取得突破后便快速发展，随着新算法新思想的不断推陈出新，人类的智慧赋予了机器对图像信息越来越高的理解能力，基于遥感影像自动生成网络地图的问题逐渐变得可以解决。
目前，现有技术通常是将根据遥感影像生成网络地图的问题视作一个带有条件(遥感影像)的图像生成问题或者图像转换问题。近年来，图像内容转换受到了越来越多的关注，主要是指保留图像的结构信息并变换图像的内容，比较有代表性的工作如2017年加州大学伯克利分校Isola等人提出的“pix2pix”框架，这个框架使用了条件生成对抗网络来学习输入到生成图像的映射函数。虽然这类方法可以方便地学习不同域图像之间的映射，为遥感影像转换为网络地图提供了可能的学习框架。
但是，直接采用原生的方法存在生成地图元素失真、全局风格不统一、局部细节模糊等诸多问题。因此，使用该方法进行生成的网络地图无论在信息提供的事实层面，还是人眼感官的风格层面均仍有较大提升空间。
因此，从提升遥感影像自动生成网络地图的准确程度与感官质量，降低网络地图服务获取地图的成本，提升网络地图的更新速度与时效性的需求出发，迫切需要一种能够自动化生成具有合适的图像风格、准确的地图信息的网络地图，并且在情况复杂的真实遥感影像下依然能够保持较好的表现的遥感影像网络地图智能生成方法与遥感影像网络地图智能生成***。
发明内容
本发明的目的是为了克服现有技术存在的缺陷，创造性地提出一种基于遥感影像的网络地图智能生成方法及***。本发明能够在不需要特殊设备、具有较快生成速度的前提下，提高在复杂真实遥感影像下生成地图的准确程度与感官质量。
本发明的创新点在于：将基于遥感影像的网络地图智能生成分为训练阶段和使用阶段。在训练阶段，在遥感影像-网络地图配对的训练数据集中，将处于RGB颜色空间的网络地图通过对像素三色值进行聚类，求出网络地图在地物类别空间的映射掩膜，然后根据网络地图在地物类别空间的映射掩膜重新绘制网络地图，使网络地图中的色值统一化、标准化，减少网络地图制图过程中带来的信息扰动。智能生成算法模型根据输入遥感影像产生一份地物类别掩膜的预测结果与一份生成的网络地图，并将其与真实的地物类别掩膜与真实的网络地图进行对比，计算其损失函数并据此更新模型中的参数；重复上一步骤直到满足某个预设的终止条件后，将网络的结构与模型参数进行保存。在使用阶段，将根据训练阶段保存的模型结构与参数创建网络模型，将采集的遥感影像图像分别输入模型进行运算，并将模型生成的网络地图进行储存。如果使用的遥感影像图像存在对应的真实网络地图，还可以使用***内置的评估方法对生成网络地图与真实网络地图进行对比评估，以判断模型生成网络地图的效果优劣。
为达到以上目的，本发明采用以下技术方案：
一种基于遥感影像的网络地图智能生成方法，包括训练和使用两个阶段。具体包括以下步骤：
步骤1：训练阶段。
使用遥感影像-网络地图配对数据集，迭代修改算法模型的参数字典。
具体地，步骤1包括以下步骤：
步骤1.1：将处于RGB颜色空间的网络地图，通过对像素三色值进行聚类，获得网络地图在地物类别空间的映射。
具体方法如下：
对采集到的网络地图数据中的所有像素点，使用聚类算法对所有像素点进行聚类(优选使用K-均值聚类算法)，并通过控制各类别初始中心点的方式，将网络地图中每种颜色转化为表示该颜色表达的地物语义的类别编号。之后，按照网络地图中各像素的空间位置进行还原，形成与原始网络地图尺寸一致的类别掩膜。最后，所有掩膜将以灰度图像格式进行存储，以备训练使用。
步骤1.2：根据网络地图在类别空间的映射掩膜，重新绘制网络地图。目的是令网络地图中的色值统一化、标准化，减少网络地图制图过程中带来的信息扰动。
具体方法如下：
根据步骤1.1中得到的类别掩膜，为每种类别选取一种标准色值，按照类别-标准色值对照表，将掩膜重新还原为RGB空间的网络地图。
其中，标准色值的选取要满足不同地物类别的标准色值之间均存在明显差距(可以从多种网络地图的主流配色方案中进行选取)。此外，可以参照现有网络地图的制图方法，将道路、建筑物等地物目标的边缘，使用略深颜色进行描边，以增强视觉效果。
最后，将所有重新绘制后的网络地图将进行存储，以备训练使用。
步骤1.3：智能生成算法模型根据输入的遥感影像，产生一份地物类别掩膜的预测结果和一份生成的网络地图，并将它们与真实的地物类别掩膜和真实的网络地图分别进行对比，计算其损失函数并据此更新模型中的参数。
具体方法如下：
从训练数据集中随机选取若干张遥感影像输入算法模型。模型对每张遥感影像输出一张遥感影像地物类别的预测掩膜，并生成一张模型预测的网络地图。其中，地物类别的预测掩膜的宽和高，与输入遥感影像一致。求解空间为[0，(n-1)]上的所有整数，每个整数代表一种地物类别，n为地物类别的总数。模型预测的网络地图为RGB格式的网络地图图片，且尺寸与输入遥感影像一致。
所述智能生成算法模型包括两个模块：地物语义信息预测模块与网络地图生成模块。
当遥感影像输入算法模型后，首先经过地物语义信息预测模块，该模块为全卷积网络，是建立在平移不变性的基础上，卷积层、池化层和激活函数均是在局部输入区域上运算的，并且只依赖于相关的空间坐标。该模块的每一层模型参数都是尺寸为h*w*d的三维数组，其中，h和w是空间维数，d是通道数。第一层是图像，图像大小为h*w以及d个颜色通道。
令地物语义信息预测模块的特定层中位置(i，j)的向量为Xij，在计算之后为yij：
yij＝fks({Xsi+δi，sj+δj}0≤δi，δj≤k) (1)
其中，fks是决定层类型，包括卷积、平均值池化、最大值池化和激活函数；
Figure BDA0002973624830000053
表示参与计算的特征图X中，位置为(si+δi，sj+δj)的向量；k为卷积核大小；s为卷积操作的步长；δi、δj为取值在[0，k]的所有整数，表示参与计算的向量为以(si，sj)为左上顶点，边长为k的卷积核内的所有向量。该模块使用的基础损失函数为最后一层中每个像素的交叉熵损失之和，其中，交叉熵损失函数为：
Figure BDA0002973624830000051
其中，xi表示数据，p表示真实概率分布，q表示预测概率分布。最小化交叉熵损失能够让预测值的概率分布最大程度接近真实分布。
此外，该模型可根据具体细节与训练数据集的不同，选用Focal损失函数、Lovász损失函数等不同损失函数。
之后，网络地图生成模块将同时接收地物语义信息预测模块的输出信息(掩膜或特征图)与原始遥感影像，并生成RGB格式的网络地图。
网络地图生成模块是基于条件的生成对抗网络，其利用目标域的结果真值进行监督式学习，包括一个生成器和一个判别器，其中，生成器与判别器将进行对抗式的训练：生成器根据给定条件产生合成数据，判别器区分生成器的生成数据和真实数据。生成器试图产生尽可能接近真实的数据，相应地，判别器试图完美分辨真实数据与生成数据。在这个过程中，判别器担任了一个通过图像数据学习而得的损失函数，指导生成器生成图像。通过生成器和判别器的互相博弈学习，生成器最终能产生符号质量要求的生成数据。该模块使用的基础损失函数为：
Figure BDA0002973624830000052
其中，A表示遥感影像集合(aerial image)，M表示网络地图集合(map)，E代表数学期望，
Figure BDA0002973624830000054
与
Figure BDA0002973624830000055
表示α与m分别服从遥感影像集合与网络地图集合的概率分布；DM为判别器；GAM为生成器。
此外，本模型还可根据模型具体细节与训练数据集的不同，选用重建损失函数、特征匹配损失函数、感知损失函数、多尺寸判别器损失函数等不同损失函数。
步骤1.4：重复步骤1.3，直到满足设定的终止条件后，将网络的结构与模型参数进行保存。
训练过程中，不断重复向模型输入遥感图像，并根据损失函数动态调整模型中的参数，直到满足预设条件(如：训练轮次达到一定量或某个评估指标优于某个预设值)，训练过程停止，并将模型参数进行储存。
步骤2：使用阶段。
利用步骤1训练阶段得到的模型参数，根据遥感影像图像生成网络地图并进行储存。进一步地，如果存在遥感影像对应的真实网络地图，将生成网络地图与真实网络地图进行评估，并判断模型生成网络地图的效果优劣。
具体地，步骤2包括以下步骤：
步骤2.1：根据训练阶段保存的模型结构与参数创建网络模型，将采集的遥感影像图像分别输入模型进行运算，并对模型生成的网络地图进行储存。
当前，网络地图服务所使用的遥感影像通常为RGB格式，且为大小一致的多个瓦片拼接而成。如果采集到的遥感影像并非该格式，则首先对完整的遥感影像进行切割与储存。之后，根据训练阶段保存的模型结构与参数创建网络模型，并将遥感影像瓦片输入模型，模型分别通过地物语义信息预测模块与网络地图生成模块进行预测，并自动保存最后由网络地图生成模块生成的网络地图，该网络地图将为RGB图像格式，且尺寸与输入遥感影像瓦片保持一致。
步骤2.2：如果使用的遥感影像图像存在对应的真实网络地图，则对生成网络地图与真实网络地图进行对比评估，以判断模型生成网络地图的效果优劣。
为客观的判断模型生成网络地图的效果，可以基于FID(Fréchet InceptionDistance)、WD(Wasserstein Distance)、Kernel MMD(Kernel Maximum MeanDiscrepancy)等，生成图像客观评估指标，可直接将生成网络地图与真实网络地图进行对比评估并计算指标，其中，FID的计算公式为：
Figure BDA0002973624830000061
其中，μ表示平均值，脚标r代表真实图片数据，g代表生成图片数据；Tr代表矩阵的迹；∑为协方差矩阵；
WD的计算公式为：
Figure BDA0002973624830000062
其中，pr、pg分别代表真实图片特征和生成图片特征的概率分布，xr、xg分别表示真实图片样本和生成图片样本，inf表示下界，Γ为联合概率分布符号，γ表示真实图片与生成图片的联合分布，E代表数学期望，d表示距离函数。
Kernel MMD的计算公式为：
Figure BDA0002973624830000071
其中，pr、pg分别表示真实图片特征和生成图片特征的概率分布；E代表数学期望；xr、x′r分别表示两个不同的真实图片样本，xg、x′g分别表示两个不同的生成图片样本；k是高斯核函数，有：
Figure BDA0002973624830000072
其中，σ为函数的宽度超参数，x、y分别为核函数的两个参数。
基于上述方法，本发明提出一种基于遥感影像的网络地图智能生成***，包括：遥感影像预处理子***、遥感影像语义特征提取子***、网络地图生成子***、真实网络地图预处理子***、损失函数计算子***和生成结果评价子***。
其中，所述遥感影像预处理子***包括遥感影像增广模块和遥感影像格式化模块。遥感影像增广模块用于将遥感影像进行随机裁剪、旋转、翻转等操作，以增加遥感影像数据集，使遥感影像尽可能的多样化，从而使得训练模型具有更强的泛化能力；遥感影像格式化模块用于将以位图格式储存的遥感影像转化为张量格式，并对其进行归一化，满足遥感影像语义特征提取子***对输入数据的格式要求；
所述遥感影像语义特征提取子***，包括卷积层、池化层、激活层和跨层连接结构，用于对遥感影像进行逐层特征提取，判断遥感影像中各像素点对应的地物类别，为网络地图的生成提供重要信息；
所述网络地图生成子***，包括网络地图生成器与网络地图判别器。其中，网络地图生成器采用一个对称的编码器-解码器结构，用于根据遥感影像与遥感语义特征生成对应的网络地图；网络地图判别器采用一个下采样的编码器结构，用于区分真实网络地图与生成网络地图，促使网络地图生成器生成更能够以假乱真的网络地图；
所述真实网络地图预处理子***，包括真实网络地图增广模块、真实网络地图地物类别提取模块和真实网络地图重绘模块。真实网络地图增广模块用于配合遥感影像增广模块，制作出与处理后遥感影像空间位置对应的真实网络地图；真实网络地图地物类别提取模块采用预设初始状态的聚类算法，提取每个像素的真实地物类别，即各像素的语义信息，并生成真实语义掩膜；真实网络地图重绘模块根据真实语义掩膜对真实网络地图进行重新绘制，令网络地图中的色值统一化、标准化，更加有利于网络地图生成子***进行学习；
所述损失函数计算子***，包括地物语义损失函数计算模块和网络地图损失函数计算模块。语义特征损失函数计算模块用于根据真实语义掩膜和遥感影像语义特征提取子***提取出的语义掩膜计算语义特征损失，该损失将反向传播，用以更新遥感影像语义特征提取子***中各神经网络层的参数，校正遥感影像语义特征提取子***提取出的语义特征；网络地图损失函数计算模块将根据重绘后的真实网络地图与网络地图生成子***生成的网络地图，计算网络地图损失，该损失将反向传播，用以更新网络地图生成子***中各神经网络层的参数，并通过网络地图生成子***间接影响遥感影像语义特征提取子***中的参数，校正***最终生成的网络地图；
所述生成结果评价子***，用于将生成的网络地图与真实网络地图进行对比，自动计算FID、WD、Kernel MMD等多种生成图像客观评估指标，作为使用者主观感受的补充，帮助使用者量化的了解***生成网络地图的质量。
上述组成***之间的连接关系为：
遥感影像预处理子***与遥感影像语义特征提取子***、网络地图生成子***相连，向遥感影像语义特征提取子***与网络地图生成子***提供经处理符合要求的遥感影像图片；
遥感影像语义特征提取子***与遥感影像预处理子***、网络地图生成子***、损失函数计算子***相连，向网络地图生成子***提供提取出的语义特征，同时接收网络地图生成子***回传的损失值，用以训练自身；
网络地图生成子***与遥感影像预处理子***、遥感影像语义特征提取子***、损失函数计算子***、生成结果评价子***分别相连，其根据遥感影像与语义特征生成网络地图；
真实网络地图预处理子***与损失函数计算子***、生成结果评价子***相连，其对原始网络地图进行处理，根据原始网络地图生成真实语义掩膜，并根据真实语义掩膜重绘真实网络地图，并将生成的真实语义掩膜与真实网络地图提供给其他子***；
损失函数计算子***与遥感影像语义特征提取子***、网络地图生成子***与真实网络地图预处理子***相连，其从真实网络地图预处理子***处获取真实网络地图与真实语义掩膜，然后从遥感影像语义特征提取子***中获取其生成的语义掩膜，与真实语义掩膜对比计算损失值，然后将损失值回传至遥感影像语义特征提取子***用于训练；同时，损失函数计算子***从网络地图生成子***中获取其生成的网络地图与其判别器输出的二值判别结果，与真实网络地图对比计算损失值，然后将损失值回传至网络地图生成子***用于训练；
生成结果评价子***与真实网络地图预处理子***、网络地图生成子***相连，其从真实网络地图预处理子***中获取真实网络地图，从网络地图生成子***中获取生成网络地图，通过对比计算评价指标，用于帮助使用者量化的了解***生成网络地图的质量。
上述***的使用方法如下：
步骤1：将遥感影像输入遥感影像预处理子***，进行数据增广、归一化与格式化，处理后的遥感影像存储于内存中；
步骤2：将网络地图输入真实网络地图预处理子***，进行地物类别提取、重绘、数据增广，确保增广后的区域与步骤1中进行数据增广保留的区域对应。处理后得到的真实网络地图与真实语义掩膜存储待使用；
步骤3：遥感影像语义特征提取子***读取遥感影像，经过神经网络层进行处理，生成语义特征图与语义掩膜，其中语义特征图输送给网络地图生成子***。语义掩膜存储待使用。
步骤4：网络地图生成子***读取遥感影像与语义特征图，其内部的网络地图生成器经过神经网络层处理生成网络地图，然后将生成的网络地图输入其内部的网络地图判别器进行真/假的二值判别，判别结果将用于计算损失函数；生成网络地图存储待使用；
步骤5：损失函数计算子***中的地物语义损失函数计算部分读取真实语义掩膜与生成语义掩膜，对比计算损失值并将损失值回传至遥感影像语义特征提取子***用于训练；损失函数计算子***中的网络地图损失函数计算部分读取真实网络地图、生成网络地图与网络地图生成子***中的判别器输出的二值判别结果，对比计算损失值。然后，将损失值回传至网络地图生成子***用于训练；
步骤6：网络地图生成子***中的各神经网络层根据损失函数计算子***回传的损失值进行参数修改，完成一次训练迭代，并将最前一层的损失值回传给遥感影像语义特征提取子***；
步骤7：遥感影像语义特征提取子***中的各神经网络层根据损失函数计算子***与网络地图生成子***回传的损失值进行参数修改，完成一次训练迭代；
步骤8：重复执行步骤1至7，每当对全部训练数据进行一次遍历使用后，将真实网络地图与生成网络地图送至生成结果评价子***计算指标；若指标满足预设条件，或总迭代次数达到预设的上限，则停止训练，执行步骤9；
步骤9：执行步骤1至4，生成最终的网络地图，并将真实网络地图与生成网络地图送至生成结果评价子***计算最终指标。
有益效果
本发明方法及***，与现有技术相比，具有以下优点：
1.本发明通过对采集到的网络地图进行了提取语义类别的处理，使得模型训练过程中能够显式的针对网络地图蕴含语义的正误进行纠正，满足遥感影像智能转换网络地图任务对生成图像与原始影像中各像素表达语义的一致性的较高要求，其生成网络地图精确度高于已有技术中基于遥感影像自动生成网络地图的方法。
2.本发明对采集到的网络地图进行了重新绘制的处理，使得网络地图中的色值统一化、标准化，减少了网络地图制图与传输过程中带来的信息扰动对神经网络训练的干扰，其生成网络地图精确度高于已有技术中基于遥感影像自动生成网络地图的方法。
3.本发明使用了地物语义信息预测模块与网络地图生成模块双模块的设计，既能显式的针对遥感图像的地物语义信息进行理解与纠正，又能通过对抗生成的手段自适应的学习网络地图中蕴含的图像风格、制图规范、细节特征等信息，因此其生成网络地图在精确度与视觉效果上均优于已有技术中基于遥感影像自动生成网络地图的方法。
4.本发明使用了地物语义信息预测模块与网络地图生成模块双模块的设计方式，其中每个模块均能够根据目前最新或未来更新的语义分割技术与图像生成技术进行更新，且仍能保持比单独使用单个模块更优的生成效果，因此本发明提出的网络模型结构具有良好的可更新、可扩展性。
附图说明
图1是本发明方法的流程图。
图2是本发明方法所述核心算法模型进行训练的示意图。
图3是本发明方法的核心算法模型进行使用与结果评估的示意图。
图4是本发明***的组成示意图。
具体实施方式
为了更好的说明本发明的目的和优点，下面结合附图和实例对发明方法做进一步说明。
实施例
本实施例公开了一种基于遥感影像的网络地图智能生成方法，包括训练阶段和使用阶段。
在训练阶段，在遥感影像-网络地图配对的训练数据集中，把处于RGB颜色空间的网络地图通过对像素三色值进行聚类，求出网络地图在地物类别空间的映射掩膜；根据网络地图在地物类别空间的映射掩膜重新绘制网络地图，使得网络地图中的色值统一化、标准化、减少网络地图制图过程中带来的信息扰动；智能生成算法模型根据输入遥感影像产生一份地物类别掩膜的预测结果与一份生成的网络地图，并将其与真实的地物类别掩膜与真实的网络地图进行对比，计算其损失函数并据此更新模型中的参数；重复上一步骤直到满足某个预设的终止条件后，将网络的结构与模型参数进行保存。使用阶段将根据训练阶段保存的模型结构与参数创建网络模型，将采集的遥感影像图像分别输入模型进行运算，并将模型生成的网络地图进行储存；若使用的遥感影像图像存在对应的真实网络地图，还可使用***内置的评估方法对生成网络地图与真实网络地图进行对比评估，以判断模型生成网络地图的效果优劣。本实施例的流程图如图1所示。
传统的基于遥感影像生成网络地图的流程，是获取相关区域的遥感影像-影像识别与提取-更新矢量数据-地图制图-瓦片地图生成与服务，该流程不仅繁琐漫长，且需要消耗大量的人力物力。近年来，深度学习技术的发展使得基于遥感影像自动生成网络地图成为可能。现有的遥感影像自动生成网络地图算法主要分为两大类，一类将该问题视作图像到图像的跨域转换问题，使用图像转换技术将遥感影像直接翻译为网络地图；另一类将该问题视作对遥感影像每个像素的分类问题，使用语义分割技术对遥感影像进行逐像素的地物类别判断，再将判断结果按照一定规范上色形成网络地图。然而，这两种方法都在生成地图的精度或风格上存在一定问题，因此限制了它们的应用。本实施例公开的一种基于遥感影像的网络地图智能生成方法及***提出了一种双模块的核心算法，其包括地物语义预测模块与网络地图生成模块，并巧妙地将两个模块融合，使整体网络能够充分利用遥感影像中的信息进行训练，使得生成地图同时拥有较高的准确程度与适合的图像风格。基于遥感影像生成网络地图的双模块网络模型训练示意图如图2所示。
本实施例公开的一种基于遥感影像的网络地图智能生成方法，是一种端到端的解决方案，其在使用阶段能够直接根据输入的遥感影像生成网络地图，无需显式的中间步骤与人工干预。基于遥感影像智能生成网络地图算法在使用阶段的流程示意图如图3所示。
本实施例的详细内容如下。
一种基于遥感影像的网络地图智能生成方法，分为训练和使用两个阶段，包括如下步骤：
步骤1：训练阶段使用处理后的遥感影像-网络地图配对数据集迭代修改算法模型的参数字典并储存：
步骤1.1：把处于RGB颜色空间的网络地图通过对像素三色值进行聚类，求出网络地图在地物类别空间的映射。
对采集到的网络地图数据中的所有像素点，使用聚类算法对所有像素点进行聚类，优选使用K-均值聚类算法(详见Hartigan J A，Wong M A.Algorithm AS 136：A k-means clustering algorithm[J].Journal of the Royal Statistical Society.SeriesC(Applied Statistics)，1979，28(1)：100-108.)，并通过控制各类别初始中心点的方式，将网络地图中每种颜色转化为表示该颜色表达的地物语义的类别编号，并按照网络地图中各像素的空间位置进行还原，形成与原始网络地图尺寸一致的类别掩膜。所有掩膜将以灰度图像格式进行存储并以备训练使用。
步骤1.2：根据网络地图在类别空间的映射掩膜重新绘制网络地图，使得网络地图中的色值统一化、标准化、减少网络地图制图过程中带来的信息扰动。
根据步骤1.1中得到的类别掩膜，为每种类别选取一种标准色值，按照类别-标准色值对照表将掩膜重新还原为RGB空间的网络地图；标准色值的选取需满足不同地物类别的标准色值之间均存在较明显差距，通常从多种网络地图的主流配色方案中进行选取；此外，参照目前网络地图主流制图方法，通常将道路、建筑物等地物目标的边缘使用略深的颜色进行描边以增强视觉效果。所有重新绘制后的网络地图将进行存储并以备训练使用。
步骤1.3：智能生成算法模型根据输入遥感影像产生一份地物类别掩膜的预测结果与一份生成的网络地图，并将它们与真实的地物类别掩膜和真实的网络地图分别进行对比，计算其损失函数并据此更新模型中的参数。
从训练数据集中随机选取若干张遥感影像输入算法模型，模型将对每张遥感影像输出一张遥感影像地物类别的预测掩膜，并生成一张模型预测的网络地图。其中地物类别的预测掩膜的宽高与输入遥感影像一致，解空间为[0，(n-1)]上的所有整数，每个整数代表一种地物类别，n为地物类别的总数。模型预测的网络地图为RGB格式的网络地图图片，且尺寸与输入遥感影像一致。
智能生成算法模型由两个模块组成，分别为地物语义预测模块与网络地图生成模块。遥感影像输入算法模型后，首先经过地物语义信息预测模块，该模块的主要思路是全卷积网络，将包含多个具有平移不变性的基础模块，其每一层模型参数都是尺寸为h*w*d的三维数组，其中h和w是空间维数，d是通道数。第一层是图像，图像大小为h*w，d个颜色通道。该模块是建立在平移不变性的基础上的。它的基本组成部分，卷积层、池化层和激活函数均是在局部输入区域上运算的，并且只依赖于相关的空间坐标。特定层中位置(i，j)的向量为xij，在计算之后为yij：
yij＝fks({Xsi+δi，sj+δj}0≤δi，δj≤k) (1)
其中，k为卷积核大小，s是步长，fks决定层类型：卷积、平均值池化、最大值池化、激活函数等等。该模块使用的基础损失函数为最后一层中每个像素的交叉熵损失之和，其中交叉熵损失函数为：
Figure BDA0002973624830000131
其中，xi表示数据，p表示真实概率分布，q表示预测概率分布。最小化交叉熵损失可以让预测值的概率分布尽可能接近真实分布；此外，本模型还可根据模型具体细节与训练数据集的不同，选用Focal损失函数、Lovász损失函数等不同损失函数。
此后，网络地图生成模块将同时接收地物语义预测模块的输出信息(掩膜或特征图)与原始遥感影像作为输入，并生成RGB格式的网络地图。该模块的主要思路是基于条件的生成对抗网络，其利用目标域的结果真值进行监督式学习。其主体由一个生成器和一个判别器组成，生成器与判别器两个网络将进行对抗式的训练：生成器根据给定条件产生合成数据，判别器区分生成器的生成数据和真实数据。生成器试图产生更接近真实的数据，相应地，判别器试图完美地分辨真实数据与生成数据，在这个过程中，判别器则担任了一个通过大量图像数据学习而得的损失函数，指导生成器生成图像。由此，通过生成器和判别器的互相博弈学习，生成器最终能产生相当好的生成数据。该模块使用的基础损失函数为：
Figure BDA0002973624830000141
其中，A表示遥感影像集合(aerial image)，M表示网络地图集合(map)，E代表数学期望，
Figure BDA0002973624830000142
与
Figure BDA0002973624830000143
表示α与m分别服从遥感影像集合与网络地图集合的概率分布；DM为判别器；GAM为生成器。
此外，本模型还可据模型具体细节与训练数据集的不同，选用重建损失函数、特征匹配损失函数、感知损失函数、多尺寸判别器损失函数等不同损失函数。
步骤1.4：重复步骤1.3直到满足某个预设的终止条件后，将网络的结构与模型参数进行保存。
训练过程将重复向模型输入遥感图像，并根据损失函数调整模型中的参数。直到满足某个预设条件，如训练轮次达到一定量或某个评估指标优于某个预设值后，训练过程将停止并将模型参数进行储存。
步骤2：使用阶段将利用步骤1中得到的模型参数，根据遥感影像图像生成网络地图并进行储存；此外，若存在遥感影像对应的真实网络地图，还可将生成网络地图与真实网络地图进行评估并判断模型生成网络地图的效果优劣。
步骤2.1：根据训练阶段保存的模型结构与参数创建网络模型，将采集的遥感影像图像分别输入模型进行运算，并对模型生成的网络地图进行储存。
目前网络地图服务所使用的遥感影像通常为RGB格式，且为大小一致的多个瓦片拼接而成；若采集到的遥感影像不是该格式，需先对完整的遥感影像进行切割与储存。之后，网络地图智能生成***将根据训练阶段保存的模型结构与参数创建网络模型，并将遥感影像瓦片输入模型，模型将分别通过地物语义信息预测模块与网络地图生成模块进行预测，并自动保存最后由网络地图生成模块生成的网络地图，该网络地图将为RGB图像格式，且尺寸与输入遥感影像瓦片保持一致。
步骤2.2：若使用的遥感影像图像存在对应的真实网络地图，***还可使用内置的评估方法对生成网络地图与真实网络地图进行对比评估，以判断模型生成网络地图的效果优劣。
为客观的判断模型生成网络地图的效果，***内置了FID(Fréchet InceptionDistance)、WD(Wasserstein Distance)、Kernel MMD(Kernel Maximum MeanDiscrepancy)等几种生成图像客观评估指标，支持直接将生成网络地图与真实网络地图进行对比评估并计算指标。其中，FID的计算公式为：
Figure BDA0002973624830000151
其中，μ是平均值，脚标r代表真实图片数据，g代表生成图片数据；Tr代表矩阵的迹；∑为协方差矩阵；
WD的计算公式为：
Figure BDA0002973624830000152
其中，pr、pg分别代表真实图片特征和生成图片特征的概率分布，xr、xg分别表示真实图片样本和生成图片样本，inf表示下界，Γ为联合概率分布符号，γ表示真实图片与生成图片的联合分布，E代表数学期望，d表示距离函数。
Kernel MMD的计算公式为：
Figure BDA0002973624830000153
其中，pr，pg代表真实图片特征和生成图片特征的概率分布；E代表数学期望；xr、x′r分别表示两个不同的真实图片样本，xg、x′g分别表示两个不同的生成图片样本；k是高斯核函数：
Figure BDA0002973624830000154
其中，σ为函数的宽度超参数，x、y分别为核函数的两个参数。
此外，为了更好的说明本发明的目的和优点，下面结合附图对发明***做进一步说明。
实施例
本实施例公开的一种基于遥感影像的网络地图智能生成***，具体包括以下组成***：遥感影像预处理子***、遥感影像语义特征提取子***、网络地图生成子***、真实网络地图预处理子***、损失函数计算子***、生成结果评价子***。
其中，所述遥感影像预处理子***包括遥感影像增广子***和遥感影像格式化子***。遥感影像增广子***用于将遥感影像进行随机裁剪、旋转、翻转等操作，以增加遥感影像数据集，使遥感影像尽可能的多样化，从而使得训练模型具有更强的泛化能力；遥感影像格式化子***用于将以位图格式储存的遥感影像转化为张量格式，并对其进行归一化，满足遥感影像语义特征提取子***对输入数据的格式要求；
所述遥感影像语义特征提取子***，包括多个卷积层、池化层、激活层和跨层连接结构，用于对遥感影像进行逐层特征提取，判断遥感影像中各像素点对应的地物类别，为网络地图的生成提供重要信息；
所述网络地图生成子***，由网络地图生成器与网络地图判别器组成，网络地图生成器采用一个对称的编码器-解码器结构，用于根据遥感影像与遥感语义特征生成对应的网络地图；网络地图判别器则采用一个多次下采样的编码器结构，用于区分真实网络地图与生成网络地图，促使网络地图生成器生成更能够以假乱真的网络地图；
所述真实网络地图预处理子***，包括真实网络地图增广子***、真实网络地图地物类别提取子***和真实网络地图重绘子***。真实网络地图增广子***用于配合遥感影像增广子***，制作出与处理后遥感影像空间位置对应的真实网络地图；真实网络地图地物类别提取子***采用预设初始状态的聚类算法提取每个像素的真实地物类别，即各像素的语义信息，并生成真实语义掩膜；真实网络地图重绘子***根据真实语义掩膜对真实网络地图进行重新绘制，令网络地图中的色值统一化、标准化，更加有利于网络地图生成子***进行学习；
所述损失函数计算子***，包括地物语义损失函数计算子***与网络地图损失函数计算子***，语义特征损失函数计算子***用于根据真实语义掩膜与遥感影像语义特征提取子***提取出的语义掩膜计算语义特征损失，该损失将反向传播以更新遥感影像语义特征提取子***中各神经网络层的参数，校正遥感影像语义特征提取子***提取出的语义特征；网络地图损失函数计算子***将根据重绘后的真实网络地图与网络地图生成子***生成的网络地图计算网络地图损失，该损失将反向传播以更新网络地图生成子***中各神经网络层的参数，并通过网络地图生成子***间接影响遥感影像语义特征提取子***中的参数，校正***最终生成的网络地图；
所述生成结果评价子***，可以将***生成的网络地图与真实网络地图进行对比，自动计算FID、WD、Kernel MMD等多种生成图像客观评估指标，作为使用者主观感受的补充，帮助使用者量化的了解***生成网络地图的质量。
上述组成***之间的连接关系为：
遥感影像预处理子***与遥感影像语义特征提取子***、网络地图生成子***相连，向遥感影像语义特征提取子***与网络地图生成子***提供经处理符合要求的遥感影像图片；
遥感影像语义特征提取子***与遥感影像预处理子***、网络地图生成子***、损失函数计算子***相连，向网络地图生成子***提供提取出的语义特征，同时接收网络地图生成子***回传的损失值用以训练自身；
网络地图生成子***与遥感影像预处理子***、遥感影像语义特征提取子***、损失函数计算子***、生成结果评价子***相连，其根据遥感影像与语义特征生成网络地图；
真实网络地图预处理子***与损失函数计算子***、生成结果评价子***相连，其对原始网络地图进行处理，根据原始网络地图生成真实语义掩膜，并根据真实语义掩膜重绘真实网络地图，并将生成的真实语义掩膜与真实网络地图提供给其他子***；
损失函数计算子***与遥感影像语义特征提取子***、网络地图生成子***与真实网络地图预处理子***相连，其从真实网络地图预处理子***处获取真实网络地图与真实语义掩膜，然后从遥感影像语义特征提取子***中获取其生成的语义掩膜，与真实语义掩膜对比计算损失值，然后将损失值回传至遥感影像语义特征提取子***用于训练；同时，损失函数计算子***从网络地图生成子***中获取其生成的网络地图与其判别器输出的二值判别结果，与真实网络地图对比计算损失值，然后将损失值回传至网络地图生成子***用于训练；
生成结果评价子***与真实网络地图预处理子***与网络地图生成子***相连，其从真实网络地图预处理子***中获取真实网络地图，从网络地图生成子***中获取生成网络地图，通过对比计算多种评价指标，用于帮助使用者量化的了解***生成网络地图的质量。
上述***的使用方法如下
步骤1：将遥感影像输入遥感影像预处理子***，进行数据增广、归一化与格式化，处理后的遥感影像存储于内存中待使用；
步骤2：将网络地图输入真实网络地图预处理子***，进行地物类别提取、重绘、数据增广，并确保增广后的区域与步骤1中进行数据增广保留的区域对应；处理后得到的真实网络地图与真实语义掩膜将存储待使用；
步骤3：遥感影像语义特征提取子***读取遥感影像，经过神经网络层进行处理，生成语义特征图与语义掩膜，其中语义特征图输送给网络地图生成子***，语义掩膜存储于内存中待使用；
步骤4：网络地图生成子***读取遥感影像与语义特征图，其内部的网络地图生成器经过多个神经网络层处理生成网络地图，然后生成的网络地图输入其内部的网络地图判别器进行真/假的二值判别，判别结果将存储并用于计算损失函数；生成网络地图也将存储于内存中待使用；
步骤5：损失函数计算子***中的地物语义损失函数计算部分读取真实语义掩膜与生成语义掩膜，对比计算损失值并将损失值回传至遥感影像语义特征提取子***用于训练；损失函数计算子***中的网络地图损失函数计算部分读取真实网络地图、生成网络地图与网络地图生成子***中的判别器输出的二值判别结果，对比计算损失值，然后将损失值回传至网络地图生成子***用于训练；
步骤6：网络地图生成子***中的各神经网络层根据损失函数计算子***回传的损失值进行参数修改，完成一次训练迭代，并将最前一层的损失值回传给遥感影像语义特征提取子***；
步骤7：遥感影像语义特征提取子***中的各神经网络层根据损失函数计算子***与网络地图生成子***回传的损失值进行参数修改，完成一次训练迭代；
步骤8：重复执行步骤1至7，每当对全部训练数据进行一次遍历使用后，将真实网络地图与生成网络地图送至生成结果评价子***计算指标；若指标满足预设条件，或总迭代次数达到预设的上限，则停止训练，执行步骤9；
步骤9：执行步骤1至4，生成最终的网络地图，并将真实网络地图与生成网络地图送至生成结果评价子***计算最终指标。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于遥感影像的网络地图智能生成方法，包括训练和使用两个阶段；具体包括以下步骤：
步骤1：训练阶段，使用遥感影像-网络地图配对数据集，迭代修改算法模型的参数字典；
步骤1.1：将处于RGB颜色空间的网络地图，通过对像素三色值进行聚类，获得网络地图在地物类别空间的映射，形成与原始网络地图尺寸一致的类别掩膜；
步骤1.2：根据网络地图在类别空间的映射掩膜，重新绘制网络地图：
根据步骤1.1中得到的类别掩膜，为每种类别选取一种标准色值，按照类别-标准色值对照表，将掩膜重新还原为RGB空间的网络地图；将所有重新绘制后的网络地图将进行存储，以备训练使用；
步骤1.3：智能生成算法模型根据输入的遥感影像，产生一份地物类别掩膜的预测结果和一份生成的网络地图，并将它们与真实的地物类别掩膜和真实的网络地图分别进行对比，计算其损失函数并据此更新模型中的参数，具体方法如下：
从训练数据集中随机选取若干张遥感影像输入算法模型，模型对每张遥感影像输出一张遥感影像地物类别的预测掩膜，并生成一张模型预测的网络地图；其中，地物类别的预测掩膜的宽和高，与输入遥感影像一致；求解空间为[0,(n-1)]上的所有整数，每个整数代表一种地物类别，n为地物类别的总数；模型预测的网络地图为RGB格式的网络地图图片，且尺寸与输入遥感影像一致；
所述智能生成算法模型包括两个模块：地物语义信息预测模块与网络地图生成模块；
当遥感影像输入算法模型后，首先经过地物语义信息预测模块，该模块为全卷积网络，建立在平移不变性的基础上，卷积层、池化层和激活函数均是在局部输入区域上运算，并且只依赖于相关的空间坐标；该模块的每一层模型参数均为尺寸为h*w*d的三维数组，其中，h和w是空间维数，d是通道数；第一层是图像，图像大小为h*w以及d个颜色通道；
令地物语义信息预测模块的特定层中位置(i，j)的向量为Xij，在计算之后为yij：
yij＝fks({Xsi+δi,sj+δj}0≤δi,δj≤k) (1)
其中，fks是决定层类型，包括卷积、平均值池化、最大值池化和激活函数；
Figure FDA0002973624820000021
表示参与计算的特征图X中，位置为(si+δi,sj+δj)的向量；k为卷积核大小；s为卷积操作的步长；δi、δj为取值在[0,k]的所有整数，表示参与计算的向量为以(si,sj)为左上顶点，边长为k的卷积核内的所有向量；
之后，网络地图生成模块将同时接收地物语义信息预测模块的输出信息与原始遥感影像，并生成RGB格式的网络地图；
网络地图生成模块是基于条件的生成对抗网络，其利用目标域的结果真值进行监督式学习，包括一个生成器和一个判别器，其中，生成器与判别器将进行对抗式的训练：生成器根据给定条件产生合成数据，判别器区分生成器的生成数据和真实数据；生成器试图产生尽可能接近真实的数据，相应地，判别器试图完美分辨真实数据与生成数据；在这个过程中，判别器担任了一个通过图像数据学习而得的损失函数，指导生成器生成图像；通过生成器和判别器的互相博弈学习，生成器最终能产生符号质量要求的生成数据；
步骤1.4：重复步骤1.3，直到满足设定的终止条件后，将网络的结构与模型参数进行保存；
训练过程中，不断重复向模型输入遥感图像，并根据损失函数动态调整模型中的参数，直到满足预设条件，训练过程停止，并将模型参数进行储存；
步骤2：使用阶段，利用步骤1训练阶段得到的模型参数，根据遥感影像图像生成网络地图并进行储存；如果存在遥感影像对应的真实网络地图，则将生成网络地图与真实网络地图进行评估，并判断模型生成网络地图的效果优劣；
步骤2.1：根据训练阶段保存的模型结构与参数创建网络模型，将采集的遥感影像图像分别输入模型进行运算，并对模型生成的网络地图进行储存；
如果采集到的遥感影像并非该格式，首先对完整的遥感影像进行切割与储存；之后，根据训练阶段保存的模型结构与参数创建网络模型，并将遥感影像瓦片输入模型，模型分别通过地物语义信息预测模块与网络地图生成模块进行预测，并自动保存最后由网络地图生成模块生成的网络地图，该网络地图将为RGB图像格式，且尺寸与输入遥感影像瓦片保持一致；
步骤2.2：如果使用的遥感影像图像存在对应的真实网络地图，则对生成网络地图与真实网络地图进行对比评估，以判断模型生成网络地图的效果优劣。
2.如权利要求1所述的一种基于遥感影像的网络地图智能生成方法，其特征在于，步骤1.1的具体实现方法如下：
对采集到的网络地图数据中的所有像素点，使用聚类算法对所有像素点进行聚类，并通过控制各类别初始中心点的方式，将网络地图中每种颜色转化为表示该颜色表达的地物语义的类别编号；
之后，按照网络地图中各像素的空间位置进行还原，形成与原始网络地图尺寸一致的类别掩膜；
最后，所有掩膜以灰度图像格式进行存储，以备训练使用。
3.如权利要求2所述的一种基于遥感影像的网络地图智能生成方法，其特征在于，使用K-均值聚类算法对所有像素点进行聚类。
4.如权利要求1所述的一种基于遥感影像的网络地图智能生成方法，其特征在于，地物语义信息预测模块使用的基础损失函数为最后一层中每个像素的交叉熵损失之和，其中，交叉熵损失函数为：
Figure FDA0002973624820000031
其中，xi表示数据，p表示真实概率分布，q表示预测概率分布；最小化交叉熵损失能够让预测值的概率分布最大程度接近真实分布。
5.如权利要求1所述的一种基于遥感影像的网络地图智能生成方法，其特征在于，网络地图生成模块使用的基础损失函数为：
Figure FDA0002973624820000032
其中，A表示遥感影像集合(aerial image)，M表示网络地图集合(map)，E代表数学期望，
Figure FDA0002973624820000033
与
Figure FDA0002973624820000034
表示ɑ与m分别服从遥感影像集合与网络地图集合的概率分布；DM为判别器；GAM为生成器。
6.如权利要求1所述的一种基于遥感影像的网络地图智能生成方法，其特征在于，为客观的判断模型生成网络地图的效果，基于包括FID、WD和Kernel MMD策略，生成图像客观评估指标，将生成网络地图与真实网络地图进行对比评估并计算指标；
其中，FID的计算公式为：
Figure FDA0002973624820000035
其中，μ表示平均值，脚标r代表真实图片数据，g代表生成图片数据；Tr代表矩阵的迹；Σ为协方差矩阵；
WD的计算公式为:
Figure FDA0002973624820000041
其中，pr、pg分别代表真实图片特征和生成图片特征的概率分布，xr、xg分别表示真实图片样本和生成图片样本，inf表示下界，Γ为联合概率分布符号，γ表示真实图片与生成图片的联合分布，E代表数学期望，d表示距离函数；
Kernel MMD的计算公式为:
Figure FDA0002973624820000042
其中，pr、pg分别表示真实图片特征和生成图片特征的概率分布；E代表数学期望；xr、x′r分别表示两个不同的真实图片样本，xg、x′g分别表示两个不同的生成图片样本；k是高斯核函数，有：
Figure FDA0002973624820000043
其中，σ为函数的宽度超参数，x、y分别为核函数的两个参数。
7.一种基于遥感影像的网络地图智能生成***，其特征在于，包括遥感影像预处理子***、遥感影像语义特征提取子***、网络地图生成子***、真实网络地图预处理子***、损失函数计算子***和生成结果评价子***；
其中，所述遥感影像预处理子***包括遥感影像增广模块和遥感影像格式化模块；遥感影像增广模块用于将遥感影像进行包括随机裁剪、旋转、翻转的操作；遥感影像格式化模块用于将以位图格式储存的遥感影像转化为张量格式，并对其进行归一化；
所述遥感影像语义特征提取子***，包括卷积层、池化层、激活层和跨层连接结构，用于对遥感影像进行逐层特征提取，判断遥感影像中各像素点对应的地物类别，为网络地图的生成提供重要信息；
所述网络地图生成子***，包括网络地图生成器与网络地图判别器；其中，网络地图生成器采用一个对称的编码器-解码器结构，用于根据遥感影像与遥感语义特征生成对应的网络地图；网络地图判别器采用一个下采样的编码器结构，用于区分真实网络地图与生成网络地图，促使网络地图生成器生成更能够以假乱真的网络地图；
所述真实网络地图预处理子***，包括真实网络地图增广模块、真实网络地图地物类别提取模块和真实网络地图重绘模块；其中，真实网络地图增广模块用于配合遥感影像增广模块，制作出与处理后遥感影像空间位置对应的真实网络地图；真实网络地图地物类别提取模块采用预设初始状态的聚类算法，提取每个像素的真实地物类别，即各像素的语义信息，并生成真实语义掩膜；真实网络地图重绘模块根据真实语义掩膜对真实网络地图进行重新绘制，令网络地图中的色值统一化、标准化；
所述损失函数计算子***，包括地物语义损失函数计算模块和网络地图损失函数计算模块；其中，语义特征损失函数计算模块用于根据真实语义掩膜和遥感影像语义特征提取子***提取出的语义掩膜计算语义特征损失，该损失将反向传播，用以更新遥感影像语义特征提取子***中各神经网络层的参数，校正遥感影像语义特征提取子***提取出的语义特征；网络地图损失函数计算模块将根据重绘后的真实网络地图与网络地图生成子***生成的网络地图，计算网络地图损失，该损失将反向传播，用以更新网络地图生成子***中各神经网络层的参数，并通过网络地图生成子***间接影响遥感影像语义特征提取子***中的参数，校正***最终生成的网络地图；
所述生成结果评价子***，用于将生成的网络地图与真实网络地图进行对比，自动计算生成图像客观评估指标，作为使用者主观感受的补充，帮助使用者量化了解***生成网络地图的质量；
上述组成***之间的连接关系为：
遥感影像预处理子***与遥感影像语义特征提取子***、网络地图生成子***相连，向遥感影像语义特征提取子***与网络地图生成子***提供经处理符合要求的遥感影像图片；
遥感影像语义特征提取子***与遥感影像预处理子***、网络地图生成子***、损失函数计算子***相连，向网络地图生成子***提供提取出的语义特征，同时接收网络地图生成子***回传的损失值，用以训练自身；
网络地图生成子***与遥感影像预处理子***、遥感影像语义特征提取子***、损失函数计算子***、生成结果评价子***分别相连，其根据遥感影像与语义特征生成网络地图；
真实网络地图预处理子***与损失函数计算子***、生成结果评价子***相连，其对原始网络地图进行处理，根据原始网络地图生成真实语义掩膜，并根据真实语义掩膜重绘真实网络地图，并将生成的真实语义掩膜与真实网络地图提供给其他子***；
损失函数计算子***与遥感影像语义特征提取子***、网络地图生成子***与真实网络地图预处理子***相连，其从真实网络地图预处理子***处获取真实网络地图与真实语义掩膜，然后从遥感影像语义特征提取子***中获取其生成的语义掩膜，与真实语义掩膜对比计算损失值，然后将损失值回传至遥感影像语义特征提取子***用于训练；同时，损失函数计算子***从网络地图生成子***中获取其生成的网络地图与其判别器输出的二值判别结果，与真实网络地图对比计算损失值，然后将损失值回传至网络地图生成子***用于训练；
生成结果评价子***与真实网络地图预处理子***、网络地图生成子***相连，其从真实网络地图预处理子***中获取真实网络地图，从网络地图生成子***中获取生成网络地图，通过对比计算评价指标，用于帮助使用者量化的了解***生成网络地图的质量。
8.如权利要求7所述的一种基于遥感影像的网络地图智能生成***，其特征在于，***使用方法如下：
步骤1：将遥感影像输入遥感影像预处理子***，进行数据增广、归一化与格式化，处理后的遥感影像存储于内存中；
步骤2：将网络地图输入真实网络地图预处理子***，进行地物类别提取、重绘、数据增广，确保增广后的区域与步骤1中进行数据增广保留的区域对应；处理后得到的真实网络地图与真实语义掩膜存储待使用；
步骤3：遥感影像语义特征提取子***读取遥感影像，经过神经网络层进行处理，生成语义特征图与语义掩膜，其中语义特征图输送给网络地图生成子***；语义掩膜存储待使用；
步骤4：网络地图生成子***读取遥感影像与语义特征图，其内部的网络地图生成器经过神经网络层处理生成网络地图，然后将生成的网络地图输入其内部的网络地图判别器进行真/假的二值判别，判别结果将用于计算损失函数；生成网络地图存储待使用；
步骤5：损失函数计算子***中的地物语义损失函数计算部分读取真实语义掩膜与生成语义掩膜，对比计算损失值并将损失值回传至遥感影像语义特征提取子***用于训练；损失函数计算子***中的网络地图损失函数计算部分读取真实网络地图、生成网络地图与网络地图生成子***中的判别器输出的二值判别结果，对比计算损失值；然后，将损失值回传至网络地图生成子***用于训练；
步骤6：网络地图生成子***中的各神经网络层根据损失函数计算子***回传的损失值进行参数修改，完成一次训练迭代，并将最前一层的损失值回传给遥感影像语义特征提取子***；
步骤7：遥感影像语义特征提取子***中的各神经网络层根据损失函数计算子***与网络地图生成子***回传的损失值进行参数修改，完成一次训练迭代；
步骤8：重复执行步骤1至7，每当对全部训练数据进行一次遍历使用后，将真实网络地图与生成网络地图送至生成结果评价子***计算指标；若指标满足预设条件，或总迭代次数达到预设的上限，则停止训练，执行步骤9；
步骤9：执行步骤1至4，生成最终的网络地图，并将真实网络地图与生成网络地图送至生成结果评价子***计算最终指标。
CN202110269420.XA 2021-03-12 2021-03-12 一种基于遥感影像的网络地图智能生成方法及*** Active CN112950780B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110269420.XA CN112950780B (zh) 2021-03-12 2021-03-12 一种基于遥感影像的网络地图智能生成方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110269420.XA CN112950780B (zh) 2021-03-12 2021-03-12 一种基于遥感影像的网络地图智能生成方法及***

Publications (2)

Publication Number Publication Date
CN112950780A true CN112950780A (zh) 2021-06-11
CN112950780B CN112950780B (zh) 2022-09-06

Family

ID=76229376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110269420.XA Active CN112950780B (zh) 2021-03-12 2021-03-12 一种基于遥感影像的网络地图智能生成方法及***

Country Status (1)

Country Link
CN (1) CN112950780B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113704372A (zh) * 2021-08-18 2021-11-26 中国人民解放军国防科技大学 基于深度对抗网络的遥感影像转换地图迁移方法和装置
CN114265431A (zh) * 2021-12-22 2022-04-01 中国地质大学（武汉） 基于分布式覆盖控制的地灾监测方法及***
CN117173353A (zh) * 2023-09-04 2023-12-05 广东省核工业地质局测绘院 一种基于遥感图像的地质测绘***
CN117422787A (zh) * 2023-12-18 2024-01-19 中国人民解放军国防科技大学 一种融合判别式和生成式模型的遥感影像转换地图方法
CN118015287A (zh) * 2024-04-09 2024-05-10 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种基于域纠正适应器的跨域小样本分割方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378293A (zh) * 2019-07-22 2019-10-25 泰瑞数创科技(北京)有限公司 一种基于实景三维模型生产高精度地图的方法
CN110516539A (zh) * 2019-07-17 2019-11-29 苏州中科天启遥感科技有限公司 基于对抗网络的遥感影像建筑物提取方法、***、存储介质及设备
CN110517575A (zh) * 2019-08-21 2019-11-29 华北水利水电大学 一种地表水体制图方法及装置
CN111325788A (zh) * 2020-02-07 2020-06-23 北京科技大学 一种基于街景图片的建筑物高度确定方法
CN111553303A (zh) * 2020-05-07 2020-08-18 武汉大势智慧科技有限公司 基于卷积神经网络的遥感正射影像密集建筑物提取方法
CN111598101A (zh) * 2020-05-25 2020-08-28 中国测绘科学研究院 基于遥感影像场景分割的城区智能提取方法、***及设备
CN111597283A (zh) * 2020-04-28 2020-08-28 杨军 一种地图瓦片更新的方法、装置、设备和存储介质
WO2020244261A1 (zh) * 2019-06-05 2020-12-10 中国科学院长春光学精密机械与物理研究所 高分辨率遥感图像的场景识别***及模型生成方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020244261A1 (zh) * 2019-06-05 2020-12-10 中国科学院长春光学精密机械与物理研究所 高分辨率遥感图像的场景识别***及模型生成方法
CN110516539A (zh) * 2019-07-17 2019-11-29 苏州中科天启遥感科技有限公司 基于对抗网络的遥感影像建筑物提取方法、***、存储介质及设备
CN110378293A (zh) * 2019-07-22 2019-10-25 泰瑞数创科技(北京)有限公司 一种基于实景三维模型生产高精度地图的方法
CN110517575A (zh) * 2019-08-21 2019-11-29 华北水利水电大学 一种地表水体制图方法及装置
CN111325788A (zh) * 2020-02-07 2020-06-23 北京科技大学 一种基于街景图片的建筑物高度确定方法
CN111597283A (zh) * 2020-04-28 2020-08-28 杨军 一种地图瓦片更新的方法、装置、设备和存储介质
CN111553303A (zh) * 2020-05-07 2020-08-18 武汉大势智慧科技有限公司 基于卷积神经网络的遥感正射影像密集建筑物提取方法
CN111598101A (zh) * 2020-05-25 2020-08-28 中国测绘科学研究院 基于遥感影像场景分割的城区智能提取方法、***及设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113704372A (zh) * 2021-08-18 2021-11-26 中国人民解放军国防科技大学 基于深度对抗网络的遥感影像转换地图迁移方法和装置
CN114265431A (zh) * 2021-12-22 2022-04-01 中国地质大学（武汉） 基于分布式覆盖控制的地灾监测方法及***
CN117173353A (zh) * 2023-09-04 2023-12-05 广东省核工业地质局测绘院 一种基于遥感图像的地质测绘***
CN117422787A (zh) * 2023-12-18 2024-01-19 中国人民解放军国防科技大学 一种融合判别式和生成式模型的遥感影像转换地图方法
CN117422787B (zh) * 2023-12-18 2024-03-08 中国人民解放军国防科技大学 一种融合判别式和生成式模型的遥感影像转换地图方法
CN118015287A (zh) * 2024-04-09 2024-05-10 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种基于域纠正适应器的跨域小样本分割方法

Also Published As

Publication number Publication date
CN112950780B (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN110135267B (zh) 一种大场景sar图像细微目标检测方法
CN108154192B (zh) 基于多尺度卷积与特征融合的高分辨sar地物分类方法
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN108573276B (zh) 一种基于高分辨率遥感影像的变化检测方法
CN111986099B (zh) 基于融合残差修正的卷积神经网络的耕地监测方法及***
CN112966684B (zh) 一种注意力机制下的协同学习文字识别方法
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及***
CN112149547B (zh) 基于图像金字塔引导和像素对匹配的遥感影像水体识别方法
CN105741267B (zh) 聚类引导深度神经网络分类的多源图像变化检测方法
CN108549893A (zh) 一种任意形状的场景文本端到端识别方法
CN111428762B (zh) 联合深度数据学习和本体知识推理的可解释性遥感影像地物分类方法
CN112529015A (zh) 一种基于几何解缠的三维点云处理方法、装置及设备
CN112464911A (zh) 基于改进YOLOv3-tiny的交通标志检测与识别方法
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN106408030A (zh) 基于中层语义属性和卷积神经网络的sar图像分类方法
CN107480620A (zh) 基于异构特征融合的遥感图像自动目标识别方法
CN114694038A (zh) 基于深度学习的高分辨率遥感影像分类方法及***
CN110060273A (zh) 基于深度神经网络的遥感影像滑坡测图方法
CN113838064B (zh) 一种基于分支gan使用多时相遥感数据的云去除方法
CN110334656A (zh) 基于信源概率加权的多源遥感图像水体提取方法及装置
Chen et al. Agricultural remote sensing image cultivated land extraction technology based on deep learning
CN114943876A (zh) 一种多级语义融合的云和云影检测方法、设备及存储介质
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN111079807B (zh) 一种地物分类方法及装置
CN104408731A (zh) 基于区域图和统计相似性编码的sar图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant