CN113052121B - 一种基于遥感影像的多层级网络地图智能生成方法 - Google Patents

Abstract

本发明公开了一种基于遥感影像的多层级网络地图智能生成方法，属于计算机视觉技术领域。本方法使用初步生成算法模型生成初步网络地图，该模型将层级编号拓展为图像尺寸的归一化标识，协助模型习得不同层级地图的绘制特征，使模型能够根据不同层级内容相近的遥感影像准确生成具有各层级不同绘制特征的网络地图，生成有详有略、存在合理差异性的多层级网络地图。使用地图改善算法模型生成精修网络地图，该模型使用高层精修网络地图辅助低层地图生成，使模型学习到不同层级地图间的一致性，保证不同层级对应区域网络地图间的一致性。本方法无需人工收集地面矢量数据，只需利用航空或者卫星拍摄的遥感影像，可自动根据输入的图像完成网络地图的生成。

Description

一种基于遥感影像的多层级网络地图智能生成方法

技术领域

本发明涉及一种多层级网络地图智能生成方法，具体涉及一种基于遥感影像的多层级网络地图智能生成方法，属于计算机视觉技术领域。

背景技术

遥感技术是一种非接触、远距离的探测技术，利用遥感技术获取的记录各种地物电磁波大小的胶片或照片称作遥感影像。遥感影像的收集可以通过无人机、飞机和卫星等高空设备完成，具有更新速度快，收集成本相对较低的特点，且收集过程不受地面情况影响，具有良好的适应性。遥感影像包含大量的地面电磁波信息，可反应出道路、水域、建筑等地物的分布情况，从中可以提取得到地图绘制所需的信息。

多层级网络地图是一种采用多分辨率层次模型的网络地图，其具有使用灵活、便于传输的优点，被越来越多的网络地图服务所使用。多层级网络地图通常采用瓦片地图金字塔模型结构，从瓦片金字塔的底层(第k层)到顶层(第0层)，分辨率越来越低，但表示的地理范围不变。具体来说，第k层瓦片地图的距离像素比是第k-1层的一半，因此具有更大的比例尺，能够显示更精细的内容。在多层级网络地图中，不同层级地图所包含的地理要素保持一致，而展示的详略程度有所差别，因此多层级网络地图存在层级间的一致性与差异性。

传统的多层级网络地图中，各层地图图像通常需根据地图矢量数据，按照一定绘图标准渲染而成，而地图矢量数据的获取通常需要人工现场采集，在效率与成本方面均存在较大的局限性。考虑到遥感影像的获取速度快、收集成本低，根据遥感影像自动生成网络地图成为了一种可行的解决方案。现有方法通常将该任务视为图像语义分割任务或图像转换任务。图像语义分割任务的目的是对图中每个像素根据其所在物体类别进行分类，使用相关技术可将遥感影像各像素按照地物类别进行分类，并用不同颜色进行标记以形成网络地图。图像转换任务通常指将一种风格的图像转换为另一种风格的图像，并保留图像的结构信息，使用相关技术可以将遥感影像风格的图像转换成网络地图风格的图像。

然而，现有方法只考虑生成单层级地图，若使用上述方法分别对多个不同层级进行生成，则无法把握不同层级地图间的一致性与差异性，难以生成信息表达准确一致、且具有较好视觉效果的多层级网络地图。

发明内容

本发明的目的是从现有网络地图服务对多层级网络地图的需求出发，针对传统多层级网络地图生成方法成本高、效率低、紧急情况下难以实时更新的缺点，以及现有网络地图智能生成方法只考虑单层级地图，无法把握不同层级地图间的一致性与差异性的技术问题，提出一种基于遥感影像的多层级网络地图生成方法。本方法适应性强、生成速度快、结果准确度高、视觉效果好，且具有良好的层级间一致性与差异性。

本发明的创新点在于：本方法包括训练阶段和使用阶段。在训练阶段，首先将遥感影像-网络地图配对的训练数据集中的网络地图对像素色值进行聚类，求出网络地图对应的地物类别掩膜。然后，混合使用各层级遥感影像、对应层级信息、对应真实地物类别掩膜、对应真实网络地图训练初步生成算法模型。将训练集中所有遥感影像和对应层级编号分别输入训练好的初步生成算法模型，生成各层级的初步网络地图存储备用。之后，依次利用从高到低各层级遥感影像、初步网络地图、真实地物类别掩膜、真实网络地图训练地图改善算法模型。

在使用阶段，首先，若采集到的遥感影像是单层级影像，需将其拓展为多层级影像。然后依次将各层级遥感影像与对应层级信息输入训练好的初步生成算法模型，生成对应初步网络地图并储存。之后，基于各层级遥感影像与初步网络地图，使用训练好的地图改善算法模型，从高到低地依次生成各层级精修网络地图。最后，将生成的各层级精修网络地图按照编号拼接为多层级网络地图。

本发明采用的技术方案如下：

一种基于遥感影像的多层级网络地图生成方法，包括以下步骤：

步骤1：训练阶段。

具体地，包括以下步骤：

步骤1.1：将遥感影像-网络地图配对的训练数据集中的网络地图对像素色值进行聚类，求出网络地图对应的地物类别掩膜。

具体方法如下：

首先，对训练集中真实网络地图数据的所有像素点，使用聚类算法进行聚类，求出各像素对应的类别编号，并将各类别编号与表达的地物语义类别进行对应。

之后，将各像素对应的语义类别按照网络地图中各像素的原始位置进行还原，生成与真实网络地图一一对应的真实地物类别掩膜并存储。

步骤1.2：混合使用各层级遥感影像、对应层级信息、对应真实地物类别掩膜、对应真实网络地图训练初步生成算法模型。

具体方法如下：

从训练数据集中随机选取遥感影像，并将其对应层级编号通过除以总层级数K的方式进行归一化，将该遥感影像与归一化层级编号输入初步生成算法模型。模型输出一张地物类别掩膜的预测结果与一张网络地图的预测结果。

其中，地物类别掩膜的预测结果的尺寸与输入遥感影像一致，每个像素的解空间为[0,(n-1)]上的所有整数，每个整数代表一种地物类别，n为地物类别的总数。网络地图的预测结果为RGB格式的网络地图图片，且尺寸与输入遥感影像一致。将模型输出的地物类别掩膜预测结果与网络地图预测结果分别和真实的地物类别掩膜和真实的网络地图进行对比，计算损失函数并将损失值反向传播，更新初步生成算法模型中的参数。不断重复上述过程，直到满足设定的迭代次数后，将网络的结构与模型参数进行保存，得到训练完成的初步生成算法模型结构和参数。

所述初步生成算法模型包括两个模块：第一语义提取模块与第一地图绘制模块。

当遥感影像输入初步生成算法模型，首先经过第一语义提取模块，该模块为全卷积网络。第一语义提取模块可以使用交叉熵损失函数进行优化，其中，最小化交叉熵损失函数公式为：

其中，θ是第一语义提取模块F的模型参数，第一语义提取模块F的输出为分割结果和分割结果前的特征图，x∈R^N×H×W指输入的遥感影像，N、H和W分别代表图像通道数、高度和宽度。s∈R^C×H×W为语义分割的真实值，C、H和W分别代表示语义分割真实值的通道数、高度和宽度，s_i为语义分割第i类感兴趣目标的真实值，s_i中取1的位置代表该点为相应类别的感兴趣目标，0代表不是。F_θ(x)_i为第一语义提取模块对第i类感兴趣目标的预测置信度。

此外，该模型可以根据具体细节与训练数据集的不同，选用Focal损失函数、Lovász损失函数等不同损失函数。

之后，第一地图绘制模块将同时接收语义提取模块的输出信息(包括掩膜和特征图)、原始遥感影像和对应层级编号，并生成RGB格式的初步网络地图。其中，层级编号通过除以总层级数K的方式归一化之后填充为1×H×W大小的向量，H和W分别为输入遥感影像的高和宽，该向量代表层级信息。

第一地图绘制模块是基于条件的生成对抗网络，其利用目标域的结果真值进行监督式学习，包括一个生成器和一个判别器，其中，生成器与判别器将进行对抗式的训练：生成器根据给定条件产生合成数据，判别器区分生成器的生成数据和真实数据。生成器试图产生尽可能接近真实的数据，相应地，判别器试图完美分辨真实数据与生成数据。在此过程中，判别器担任一个通过图像数据学习而得的损失函数，指导生成器生成图像。该模块可以使用的基础损失函数为：

其中，φ、

分别是生成器G与判别器D的参数，x,y∈R^C×H×W，x为遥感影像，y为真实网络地图，C、H、W分别代表图像通道数、高度和宽度，p_data(x)、p_data(y)表示遥感影像与真实网络地图的数据分布。k代表遥感影像所属的缩放层级编号，该编号输入模型后拓展为层级信息。F_θ(x)为第一语义提取模块输出的掩膜和特征图。E表示数学期望。

此外，本模型还可以根据模型具体细节与训练数据集的不同，选用重建损失函数、特征匹配损失函数、感知损失函数、多尺寸判别器损失函数等不同损失函数。

步骤1.3：将训练集中所有遥感影像和对应层级编号，分别输入至训练好的初步生成算法模型，生成各层级的初步网络地图，并存储备用。

具体方法如下：

根据步骤1.2保存的初步生成算法模型结构和参数创建初步生成算法模型，并将遥感影像和对应层级信息输入模型，将模型输出的初步网络地图进行保存。初步网络地图生成公式下所示：

y′＝G_φ(x,F_θ(x),k) (3)

其中，y′为初步网络地图，x为遥感影像，k表示遥感影像所属的缩放层级编号，该编号输入模型后拓展为层级信息，F_θ(x)表示第一语义提取模块输出的掩膜和特征图，G表示生成器，φ表示生成器参数。

步骤1.4：依次利用从高到低各层级遥感影像、初步网络地图、真实地物类别掩膜、真实网络地图训练地图，改善算法模型。

具体方法如下：

对于包含K个层级的多层级网络地图训练数据集，其数据层级编号为{0,1,…,K-1}中的所有整数。首先，将第K-1层的初步网络地图作为该层的精修网络地图。然后取k＝K-1，随机选取第k-1层遥感影像、其对应的k-1层初步网络地图和其在第k层对应的4张精修网络地图输入地图改善算法模型，生成一份第k-1层地物类别掩膜预测结果与一份第k-1层网络地图预测结果，并将其分别和真实地物类别掩膜与真实网络地图进行对比，计算损失函数并据此更新地图改善算法模型中的参数。

重复上一步骤，直至满足设定的迭代次数后，使用当前地图改善算法模型对第k-1层所有遥感影像生成对应的第k-1层精修网络地图并储存。然后，从大到小依次取k为{1,2,…,K-2}中的所有整数。对每一个k值重复以上训练过程后，完成地图改善算法模型的训练。

所述地图改善算法模型包括第二语义提取模块与第二地图绘制模块。

当第k-1层遥感影像输入地图改善算法模型，首先经过语义提取模块，该模块为全卷积网络。第二语义提取模块可以使用交叉熵损失函数进行优化，其中，最小化交叉熵损失函数公式为：

其中，θ′是第二语义提取模块F′模型参数，第二语义提取模块F^′的输出为分割结果和分割结果前的特征图，x∈R^N×H×W指输入的遥感影像，N、H、W分别代表图像通道数、高度和宽度。s∈R^C×H×W为语义分割的真实值，C、H和W分别代表示语义分割真实值的通道数、高度和宽度，s_i为语义分割第i类感兴趣目标的真实值，s_i中取1的位置代表该点为相应类别的感兴趣目标，0代表不是。F′_θ′(x)_i为第二语义提取模块对第i类感兴趣目标的预测置信度。

此外，该模型可以根据具体细节与训练数据集的不同，选用Focal损失函数、Lovász损失函数等不同损失函数。

之后，第二地图绘制模块将同时接收第二语义提取模块的输出信息(掩膜和特征图)、该遥感影像对应的第k-1层初步网络地图和其在第k层对应的4张精修网络地图，并生成该遥感影像对应的精修网络地图。

第二地图绘制模块是基于条件的生成对抗网络，其利用目标域的结果真值进行监督式学习，包括一个生成器和一个判别器，其中，生成器与判别器将进行对抗式的训练：生成器根据给定条件产生合成数据，判别器区分生成器的生成数据和真实数据。生成器试图产生尽可能接近真实的数据，相应地，判别器试图完美分辨真实数据与生成数据。在这个过程中，判别器担任了一个通过图像数据学习而得的损失函数，指导生成器生成图像。通过生成器和判别器的互相博弈学习，生成器最终能产生符合质量要求的生成数据。该模块使用的基础损失函数为：

其中，φ′、

分别是生成器G与判别器D的参数，x,y,y′∈R^C×H×W，x为遥感影像，y为真实网络地图，y′为初步网络地图，C、H、W分别代表图像通道数、高度和宽度，下标k-1与下标k代表地图所处缩放层级，p_data(x)、p_data(y)和p_data(y′)分别表示遥感影像、真实网络地图与初步网络地图的数据分布，

表示第k层的精修网络地图经过拼接和下采样后和遥感影像相同尺寸的图像，

y′_k-1、y_k-1和x_k-1表示的实际地理区域的位置和大小相同。F′_θ′(x_k-1)为第二语义提取模块输出的掩膜和特征图。E表示数学期望。

此外，本模型还可根据模型具体细节与训练数据集的不同，选用重建损失函数、特征匹配损失函数、感知损失函数、多尺寸判别器损失函数等不同损失函数。

步骤2：使用阶段。

具体地，包括以下步骤：

步骤2.1：若采集到的遥感影像是单层级影像，将其拓展为多层级影像。

具体方法如下：

将采集到的单层级遥感影像视为第k层，对所有瓦片进行编号，将每相邻的2×2张遥感影像瓦片拼接后，通过插值等方法，下采样至尺寸与原先的单张瓦片相同，对该层所有遥感影像瓦片进行处理后得到第k-1层遥感影像。

重复以上步骤，迭代生成第k-2、k-3等各层图像，直到该层图像数量足够少(如20张以内)或该层图像仅有一行或仅有一列为止。完成各层遥感影像的生成后，将最低一层图像作为第0层，重新对各层进行编号。

步骤2.2：依次将各层级遥感影像与对应层级信息输入训练好的初步生成算法模型，生成对应初步网络地图并储存。

具体方法如下：

根据训练阶段保存的初步生成算法模型结构与参数创建网络模型，并将遥感影像和层级信息输入模型，模型分别通过第一语义提取模块与第一语地图绘制模块进行预测，并自动保存最后由第一语地图绘制模块生成的初步网络地图，该网络地图将为RGB图像格式，且尺寸与输入遥感影像瓦片保持一致。

初步网络地图生成公式如下所示：

y′＝G_φ(x,F_θ(x),k) (6)

其中，y′为初步网络地图，x为遥感地图，k表示遥感影像所属的缩放层级编号，该编号输入模型后拓展为层级信息，F_θ(x)表示第一语义提取模块输出的掩膜和特征图，G表示生成器模块，φ表示生成器模块参数。

步骤2.3：基于各层级遥感影像与初步网络地图，使用训练好的地图改善算法模型，从高到低地依次生成各层级精修网络地图。

对于包含K个层级的多层级遥感影像数据集，其数据层级编号为{0,1,…,K-1}中的所有整数。首先，将第K-1层的初步网络地图作为该层的精修网络地图。然后，根据训练阶段保存的地图改善算法模型结构与参数创建网络模型，取k＝K-1，将第k-1层遥感影像、第k-1层初步网络地图、第k层精修网络地图分别输入模型进行运算，生成的对应的第k-1层精修网络地图并储存。从大到小依次取k为{1,2,…,K-2}中的所有整数，对每一个k值重复以上过程，完成所有层级精修网络地图的生成。

精修网络地图生成公式如下所示：

其中，φ′是生成器模块G的参数，x,y,y′∈R^C×H×W，x为遥感影像，y为真实网络地图，y′为初步网络地图，C、H、W分别代表图像通道数、高度和宽度，下标k、k-1代表地图所处缩放层级，

表示生成器生成的第k-1层精修网络地图，

表示第k层的精修网络地图经过拼接和下采样后和遥感影像相同尺寸的图像，

y′_k-1和x_k-1表示的实际区域位置和大小相同。F′_θ′(x_k-1)为第二语义提取模块输出的掩膜和特征图。

步骤2.4：逐块生成各层级网络地图后，将生成的网络地图按序号进行拼接，得到完整的多层级网络地图。

本方法能够在任意尺度上进行多层级网络地图生成。

有益效果

本发明方法，与现有技术相比，具有以下优点：

1、本方法使用初步生成算法模型生成初步网络地图，该模型将层级信息拓展为图像尺寸的归一化标识，协助模型习得不同层级地图的绘制特征，使得模型能够根据不同层级内容相近的遥感影像准确地生成具有各层级不同绘制特征的网络地图，生成有详有略，存在合理差异性的多层级网络地图。

2、本方法使用地图改善算法模型生成精修网络地图，该模型使用高层精修网络地图辅助低层地图生成，使得模型学习到不同层级地图间的一致性，保证了不同层级对应区域网络地图间的一致性。

3、本方法可以降低网络地图生成成本。相比传统多层级网络地图生成，本方法无需人工收集地面矢量数据，只需要利用航空或者卫星拍摄的遥感影像，网络地图的生成可以自动根据输入的图像完成。

附图说明

图1是本发明方法的流程图。

图2是本发明方法进行多层级网络图像生成的示意图。

图3是本发明方法所述核心算法模型进行多层级网络图像生成的内部细节示意图。

具体实施方式

为了更好的说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。

实施例

一种基于遥感影像的多层级网络地图生成方法，包括训练和使用两个阶段

步骤1：训练阶段。

训练阶段，将遥感影像-网络地图配对的训练数据集中的网络地图对像素色值进行聚类，求出网络地图对应的地物类别掩膜；混合使用各层级遥感影像、对应层级信息、对应真实地物类别掩膜、对应真实网络地图训练初步生成算法模型；将训练集中所有遥感影像和对应层级编号分别输入训练好的初步生成算法模型，生成各层级的初步网络地图存储备用；依次利用从高到低各层级遥感影像、初步网络地图、真实地物类别掩膜、真实网络地图训练地图改善算法模型。

具体地，步骤1包括以下步骤：

步骤1.1：将遥感影像-网络地图配对的训练数据集中的网络地图对像素色值进行聚类，求出网络地图对应的地物类别掩膜。

具体方法如下：

对训练集中真实网络地图数据的所有像素点，使用聚类算法进行聚类，求出各像素对应的类别编号，并将各类别编号与表达的地物语义类别进行对应；之后，将各像素对应的语义类别按照网络地图中各像素的原始位置进行还原，生成与真实网络地图一一对应的真实地物类别掩膜并存储。

步骤1.2：混合使用各层级遥感影像、对应层级信息、对应真实地物类别掩膜、对应真实网络地图训练初步生成算法模型。

具体方法如下：

从训练数据集中随机选取遥感影像，并将其对应层级编号通过除以K(K为总层级数)的方式进行归一化，将该遥感影像与归一化层级信息输入初步生成算法模型。模型输出一张地物类别掩膜的预测结果与一张网络地图的预测结果。其中，地物类别掩膜的预测结果的尺寸与输入遥感影像一致，每个像素的解空间为[0,(n-1)]上的所有整数，每个整数代表一种地物类别，n为地物类别的总数。网络地图的预测结果为RGB格式的网络地图图片，且尺寸与输入遥感影像一致。将模型输出的地物类别掩膜预测结果与网络地图预测结果分别和真实的地物类别掩膜和真实的网络地图进行对比，计算损失函数并将损失值反向传播，更新初步生成算法模型中的参数。不断重复上述过程直到满足设定的迭代次数后，将网络的结构与模型参数进行保存，得到训练完成的初步生成算法模型结构和参数。

所述初步生成算法模型包括两个模块：第一语义提取模块与第一地图绘制模块。

当遥感影像输入初步生成算法模型，首先经过第一语义提取模块，该模块为全卷积网络。第一语义提取模块可以使用交叉熵损失函数进行优化，其中，最小化交叉熵损失函数公式为：

其中，θ是第一语义提取模块F的模型参数，第一语义提取模块F的输出为分割结果和分割结果前的特征图，x∈R^N×H×W指输入的遥感影像，N、H和W分别代表图像通道数、高度和宽度。s∈R^C×H×W为语义分割的真实值，C、H和W分别代表示语义分割真实值的通道数、高度和宽度，s_i为语义分割第i类感兴趣目标的真实值，s_i中取1的位置代表该点为相应类别的感兴趣目标，0代表不是。F_θ(x)_i为第一语义提取模块对第i类感兴趣目标的预测置信度。

此外，该模型可根据具体细节与训练数据集的不同，选用Focal损失函数、Lovász损失函数等不同损失函数。

之后，第一地图绘制模块将同时接收第一语义提取模块的输出信息(掩膜和特征图)、原始遥感影像和对应层级编号，并生成RGB格式的初步网络地图。其中，遥感影像层级编号通过除以K(K为总层级数)的方式归一化之后填充为1×H×W大小的向量，H和W分别为输入遥感影像的高和宽，该向量代表层级信息。

第一地图绘制模块是基于条件的生成对抗网络，其利用目标域的结果真值进行监督式学习，包括一个生成器和一个判别器，其中，生成器与判别器将进行对抗式的训练：生成器根据给定条件产生合成数据，判别器区分生成器的生成数据和真实数据。生成器试图产生尽可能接近真实的数据，相应地，判别器试图完美分辨真实数据与生成数据。在这个过程中，判别器担任了一个通过图像数据学习而得的损失函数，指导生成器生成图像。该模块使用的基础损失函数为：

其中，φ、

分别是生成器G与判别器D的参数，x,y∈R^C×H×W，x为遥感影像，y为真实网络地图，C、H、W分别代表图像通道数、高度和宽度，p_data(x)、p_data(y)表示遥感影像与真实网络地图的数据分布。k代表遥感影像所属的缩放层级编号，该编号输入模型后拓展为层级信息。F_θ(x)为第一语义提取模块输出的掩膜和特征图。

此外，本模型还可根据模型具体细节与训练数据集的不同，选用重建损失函数、特征匹配损失函数、感知损失函数、多尺寸判别器损失函数等不同损失函数。

步骤1.3：将训练集中所有遥感影像和对应层级编号分别输入训练好的初步生成算法模型，生成各层级的初步网络地图存储备用。

具体方法如下：

根据步骤1.2保存的初步生成算法模型结构和参数创建初步生成算法模型，并将遥感影像和对应层级信息输入模型，将模型输出的初步网络地图进行保存。初步网络地图生成公式下所示：

y′＝G_φ(x,F_θ(x),k) (3)

其中，y′为初步网络地图，x为遥感地图，k表示遥感影像所属的缩放层级编号，该编号输入模型后拓展为层级信息，F_θ(x)表示第一语义提取模块输出的掩膜和特征图，G表示生成器，φ表示生成器参数。

步骤1.4：依次利用从高到低各层级遥感影像、初步网络地图、真实地物类别掩膜、真实网络地图训练地图改善算法模型。

具体方法如下：

对于包含K个层级的多层级网络地图训练数据集，其数据层级编号为{0,1,…,K-1}中的所有整数。首先，将第K-1层的初步网络地图作为该层的精修网络地图。然后取k＝K-1，随机选取第k-1层遥感影像、其对应的k-1层初步网络地图和其在第k层对应的4张精修网络地图输入地图改善算法模型，生成一份第k-1层地物类别掩膜预测结果与一份第k-1层网络地图预测结果，并将其分别和真实地物类别掩膜与真实网络地图进行对比，计算损失函数并据此更新地图改善算法模型中的参数；重复上一步骤直至满足设定的迭代次数后，使用当前地图改善算法模型对第k-1层所有遥感影像生成对应的第k-1层精修网络地图并储存；然后，我们从高到低依次取k为{1,2,…,K-2}中的所有整数，对每一个k值重复以上训练过程后完成地图改善算法模型的训练。

所述地图改善算法模型包括两个模块：第二语义提取模块与第二地图绘制模块。

当第k-1层遥感影像输入地图改善算法模型，首先经过第二语义提取模块，该模块为全卷积网络。第二语义提取模块可以使用交叉熵损失函数进行优化，其中，最小化交叉熵损失函数公式为：

其中θ′是第二语义提取模块F′的模型参数，第二语义提取模块F′的输出为分割结果和分割结果前的特征图，x∈R^N×H×W指输入的遥感影像，N、H、W分别代表图像通道数、高度和宽度。s∈R^C×H×W为语义分割的真实值，C、H和W分别代表示语义分割真实值的通道数、高度和宽度，s_i为语义分割第i类感兴趣目标的真实值，s_i中取1的位置代表该点为相应类别的感兴趣目标，0代表不是。F′_θ′(x)_i为第二语义提取模块对第i类感兴趣目标的预测置信度。

此外，该模型可根据具体细节与训练数据集的不同，选用Focal损失函数、Lovász损失函数等不同损失函数。

之后，第二地图绘制模块将同时接收第二语义提取模块的输出信息(掩膜和特征图)、该遥感影像对应的第k-1层初步网络地图和其在第k层对应的4张精修网络地图，并生成该遥感影像对应的精修网络地图。

第二地图绘制模块是基于条件的生成对抗网络，其利用目标域的结果真值进行监督式学习，包括一个生成器和一个判别器，其中，生成器与判别器将进行对抗式的训练：生成器根据给定条件产生合成数据，判别器区分生成器的生成数据和真实数据。生成器试图产生尽可能接近真实的数据，相应地，判别器试图完美分辨真实数据与生成数据。在这个过程中，判别器担任了一个通过图像数据学习而得的损失函数，指导生成器生成图像。通过生成器和判别器的互相博弈学习，生成器最终能产生符合质量要求的生成数据。该模块使用的基础损失函数为：

其中φ′、

分别是生成器G与判别器D的参数，x,y,y′∈R^C×H×W，x为遥感影像，y为真实网络地图，y′为初步网络地图，C、H、W分别代表图像通道数、高度和宽度，下标k-1与下标k代表地图所处缩放层级，p_data(x)、p_data(y)和p_data(y′)分别表示遥感影像、真实网络地图与初步网络地图的数据分布，

表示第k层的精修网络地图经过拼接和下采样后和遥感影像相同尺寸的图像，

y′_k-1、y_k-1和x_k-1表示的实际地理区域的位置和大小相同。F′_θ′(x_k-1)为第二语义提取模块输出的掩膜和特征图。

此外，本模型还可根据模型具体细节与训练数据集的不同，选用重建损失函数、特征匹配损失函数、感知损失函数、多尺寸判别器损失函数等不同损失函数。

步骤2：使用阶段。

在使用阶段，首先，若采集到的遥感影像是单层级影像，需将其拓展为多层级影像；然后依次将各层级遥感影像与对应层级信息输入训练好的初步生成算法模型，生成对应初步网络地图并储存；基于各层级遥感影像与初步网络地图，使用训练好的地图改善算法模型，从高到低地依次生成各层级精修网络地图；最后将生成的各层级精修网络地图按照编号拼接为多层级网络地图。

具体地，步骤2包括以下步骤：

步骤2.1：若采集到的遥感影像是单层级影像，则需要将其拓展为多层级影像。

具体方法如下：

将采集到的单层级遥感影像视为第k层，对所有瓦片进行编号，将每相邻的2×2张遥感影像瓦片拼接后通过插值等方法下采样至尺寸与原先的单张瓦片相同，对该层所有遥感影像瓦片进行处理后得到第k-1层遥感影像。重复以上步骤迭代生成第k-2，k-3等各层图像，直到该层图像数量足够少(如20张以内)或该层图像仅有一行或仅有一列为止。完成各层遥感影像的生成后，将最低一层图像作为第0层，重新对各层进行编号。

步骤2.2：依次将各层级遥感影像与对应层级信息输入训练好的初步生成算法模型，生成对应初步网络地图并储存；。

具体方法如下：

根据训练阶段保存的初步生成算法模型结构与参数创建网络模型，并将遥感影像和层级信息输入模型，模型分别通过第一语义提取模块与第一地图绘制模块进行预测，并自动保存最后由第一地图绘制模块生成的初步网络地图，该网络地图将为RGB图像格式，且尺寸与输入遥感影像瓦片保持一致。初步网络地图生成公式如下所示：

y′＝G_φ(x,F_θ(x),k) (6)

其中y′为初步网络地图，x为遥感地图，k表示遥感影像所属的缩放层级编号，该编号输入模型后拓展为层级信息，F_θ(x)表示第一语义提取模块输出的掩膜和特征图，G表示生成器模块，φ表示生成器模块参数。

步骤2.3：基于各层级遥感影像与初步网络地图，使用训练好的地图改善算法模型，从高到低地依次生成各层级精修网络地图；

对于包含K个层级的多层级遥感影像数据集，其数据层级编号为{0,1,…,K-1}中的所有整数。首先，我们将第K-1层的初步网络地图作为该层的精修网络地图。然后根据训练阶段保存的地图改善算法模型结构与参数创建网络模型，取k＝K-1，将第k-1层遥感影像、第k-1层初步网络地图、第k层精修网络地图分别输入模型进行运算，生成的对应的第k-1层精修网络地图并储存。从高到低依次取k为{1,2,…,K-2}中的所有整数，对每一个k值重复以上过程，完成所有层级精修网络地图的生成。

精修网络地图生成公式如下所示：

其中φ′是生成器模块G的参数，x,y,y′∈R^C×H×W，x为遥感影像，y为真实网络地图，y′为初步网络地图，C、H、W分别代表图像通道数、高度和宽度，下标k，k-1代表地图所处缩放层级，

表示生成器生成的第k-1层精修网络地图，

表示第K层的精修网络地图经过拼接和下采样后和遥感影像相同尺寸的图像，

y′_k-1和x_k-1表示的实际区域位置和大小相同。F′_θ′(x_k-1)为第二语义提取模块输出的掩膜和特征图。

步骤2.4：逐块生成各层级网络地图后，将生成的网络地图按序号进行拼接，得到完整的多层级网络地图。本方法可在任意尺度上进行多层级网络地图生成。

Claims (10)

1.一种基于遥感影像的多层级网络地图生成方法，其特征在于，包括以下步骤：

步骤1：训练阶段；

步骤1.1：将遥感影像-网络地图配对的训练数据集中的网络地图对像素色值进行聚类，求出网络地图对应的地物类别掩膜；

步骤1.2：混合使用各层级遥感影像、对应层级信息、对应真实地物类别掩膜、对应真实网络地图，训练初步生成算法模型，包括以下步骤：

从训练数据集中随机选取遥感影像，并将其对应层级编号通过除以总层级数K的方式进行归一化，将该遥感影像与归一化层级信息输入初步生成算法模型；模型输出一张地物类别掩膜的预测结果与一张网络地图的预测结果；

其中，地物类别掩膜的预测结果的尺寸与输入遥感影像一致，每个像素的解空间为[0,(n-1)]上的所有整数，每个整数代表一种地物类别，n为地物类别的总数；网络地图的预测结果为RGB格式的网络地图图片，且尺寸与输入遥感影像一致；将模型输出的地物类别掩膜预测结果与网络地图预测结果分别和真实的地物类别掩膜和真实的网络地图进行对比，计算损失函数并将损失值反向传播，更新初步生成算法模型中的参数；不断重复上述过程，直到满足设定的迭代次数后，将网络的结构与模型参数进行保存，得到训练完成的初步生成算法模型结构和参数；

所述初步生成算法模型包括两个模块：第一语义提取模块与第一地图绘制模块；

当遥感影像输入初步生成算法模型，首先经过第一语义提取模块，该模块为全卷积网络；之后，第一地图绘制模块将同时接收第一语义提取模块的输出信息、原始遥感影像和对应层级信息，并生成RGB格式的初步网络地图，其中，层级信息是将遥感影像所属的层级编号通过除以总层级数N的方式归一化之后填充为1×H×W大小的向量，H和W分别为输入遥感影像的高和宽；

第一地图绘制模块是基于条件的生成对抗网络，其利用目标域的结果真值进行监督式学习，包括一个生成器和一个判别器，其中，生成器与判别器将进行对抗式的训练：生成器根据给定条件产生合成数据，判别器区分生成器的生成数据和真实数据；在此过程中，判别器担任一个通过图像数据学习而得的损失函数，指导生成器生成图像；

步骤1.3：将训练集中所有遥感影像和对应层级编号分别输入训练好的初步生成算法模型，生成各层级的初步网络地图存储备用；

步骤1.4：依次利用从高到低各层级遥感影像、初步网络地图、真实地物类别掩膜、真实网络地图训练地图改善算法模型，包括以下步骤：

对于包含N个层级的多层级网络地图训练数据集，其数据层级编号为{0,1,…,K-1}中的所有整数；首先，将第K-1层的初步网络地图作为该层的精修网络地图；然后取k＝K-1，随机选取第k-1层遥感影像、其对应的k-1层初步网络地图和其在第k层对应的4张精修网络地图输入地图改善算法模型，生成一份第k-1层地物类别掩膜预测结果与一份第k-1层网络地图预测结果，并将其分别和真实地物类别掩膜与真实网络地图进行对比，计算损失函数并据此更新地图改善算法模型中的参数；

重复上一步骤，直至满足设定的迭代次数后，使用当前地图改善算法模型对第k-1层所有遥感影像生成对应的第k-1层精修网络地图并储存；然后，从大到小依次取k为{1,2,…,K-2}中的所有整数；对每一个k值重复以上训练过程后，完成地图改善算法模型的训练；

所述地图改善算法模型包括第二语义提取模块与第二地图绘制模块；

当第k-1层遥感影像输入地图改善算法模型，首先经过第二语义提取模块，该模块为全卷积网络；

之后，第二地图绘制模块将同时接收第二语义提取模块的输出信息、该遥感影像对应的第k-1层初步网络地图和其在第k层对应的精修网络地图，并生成该遥感影像对应的精修网络地图；

第二地图绘制模块是基于条件的生成对抗网络，其利用目标域的结果真值进行监督式学习，包括一个生成器和一个判别器，其中，生成器与判别器将进行对抗式的训练：生成器根据给定条件产生合成数据，判别器区分生成器的生成数据和真实数据；在这个过程中，判别器担任一个通过图像数据学习而得的损失函数，指导生成器生成图像；通过生成器和判别器的互相博弈学习，生成器最终能产生符合质量要求的生成数据；

步骤2：使用阶段；

步骤2.1：若采集到的遥感影像是单层级影像，将其拓展为多层级影像：

步骤2.2：依次将各层级遥感影像与对应层级信息输入训练好的初步生成算法模型，生成对应初步网络地图并储存；

步骤2.3：基于各层级遥感影像与初步网络地图，使用训练好的地图改善算法模型，从高到低地依次生成各层级精修网络地图；

步骤2.4：将生成的各层级精修网络地图按照编号拼接为多层级网络地图。

2.如权利要求1所述的一种基于遥感影像的多层级网络地图生成方法，其特征在于，训练阶段中，将遥感影像-网络地图配对的训练数据集中的网络地图对像素色值进行聚类，求出网络地图对应的地物类别掩膜的具体实现方法如下：

首先，对训练集中真实网络地图数据的所有像素点，使用聚类算法进行聚类，求出各像素对应的类别编号，并将各类别编号与表达的地物语义类别进行对应；

之后，将各像素对应的语义类别按照网络地图中各像素的原始位置进行还原，生成与真实网络地图一一对应的真实地物类别掩膜并存储。

3.如权利要求1所述的一种基于遥感影像的多层级网络地图生成方法，其特征在于，第一语义提取模块使用交叉熵损失函数进行优化，其中，最小化交叉熵损失函数公式为：

其中，θ是第一语义提取模块F的模型参数，第一语义提取模块F的输出为分割结果和分割结果前的特征图，x∈R^N×H×W指输入的遥感影像，N、H和W分别代表图像通道数、高度和宽度；s∈R^C×H×W为语义分割的真实值，C、H和W分别代表示语义分割真实值的通道数、高度和宽度，s_i为语义分割第i类感兴趣目标的真实值，s_i中取1的位置代表该点为相应类别的感兴趣目标，0代表不是；F_θ(x)_i为语义提取模块对第i类感兴趣目标的预测置信度。

4.如权利要求1所述的一种基于遥感影像的多层级网络地图生成方法，其特征在于，第一地图绘制模块使用的基础损失函数为：

其中，φ、

分别是生成器G与判别器D的参数，x,y∈R^C×H×W，x为遥感影像，y为真实网络地图，C、H、W分别代表图像通道数、高度和宽度，p_data(x)、p_data(y)表示遥感影像与真实网络地图的数据分布；k代表遥感影像所属的缩放层级编号，该编号输入模型后拓展为层级信息；F_θ(x)为第一语义提取模块输出的掩膜和特征图；E表示数学期望。

5.如权利要求1所述的一种基于遥感影像的多层级网络地图生成方法，其特征在于，训练阶段中，生成各层级的初步网络地图的方法如下：

y′＝G_φ(x,F_θ(x),k) (3)

其中，y′为初步网络地图，x为遥感影像，k表示遥感影像所属的缩放层级编号，该编号输入模型后拓展为层级信息，F_θ(x)表示第一语义提取模块输出的掩膜和特征图，G表示生成器，φ表示生成器参数。

6.如权利要求1所述的一种基于遥感影像的多层级网络地图生成方法，其特征在于，第二语义提取模块使用交叉熵损失函数进行优化，其中，最小化交叉熵损失函数公式为：

其中，θ′是第二语义提取模块F′的模型参数，第二语义提取模块F′的输出为分割结果和分割结果前的特征图，x∈R^N×H×W指输入的遥感影像，N、H、W分别代表图像通道数、高度和宽度；s∈R^C×H×W为语义分割的真实值，C、H和W分别代表示语义分割真实值的通道数、高度和宽度，s_i为语义分割第i类感兴趣目标的真实值，s_i中取1的位置代表该点为相应类别的感兴趣目标，0代表不是；F′_θ′(x)_i为第二语义提取模块对第i类感兴趣目标的预测置信度。

7.如权利要求1所述的一种基于遥感影像的多层级网络地图生成方法，其特征在于，第二地图绘制模块使用的基础损失函数为：

其中，φ′、

分别是生成器G与判别器D的参数，x,y,y′∈R^C×H×W，x为遥感影像，y为真实网络地图，y′为初步网络地图，C、H、W分别代表图像通道数、高度和宽度，下标k-1与下标k代表地图所处缩放层级，p_data(x)、p_data(y)和p_data(y′)分别表示遥感影像、真实网络地图与初步网络地图的数据分布，

表示第k层的精修网络地图经过拼接和下采样后和遥感影像相同尺寸的图像，

y′_k-1、y_k-1和x_k-1表示的实际地理区域的位置和大小相同；F′_θ′(x_k-1)为第二语义提取模块输出的掩膜和特征图；E表示数学期望。

8.如权利要求1所述的一种基于遥感影像的多层级网络地图生成方法，其特征在于，在使用阶段，将采集到的单层级遥感影像拓展为多层级影像的方法如下：

将采集到的单层级遥感影像视为第k层，对所有瓦片进行编号，将每相邻的2×2张遥感影像瓦片拼接后，通过插值方法，下采样至尺寸与原先的单张瓦片相同，对该层所有遥感影像瓦片进行处理后得到第k-1层遥感影像；

重复以上步骤，迭代生成各层图像，直到该层图像仅有一行或仅有一列为止；完成各层遥感影像的生成后，将最低一层图像作为第0层，重新对各层进行编号。

9.如权利要求1所述的一种基于遥感影像的多层级网络地图生成方法，其特征在于，在使用阶段，生成对应初步网络地图的具体方法如下：

y′＝G_φ(x,F_θ(x),k) (6)

其中，y′为初步网络地图，x为遥感地图，k表示遥感影像所属的缩放层级编号，该编号输入模型后拓展为层级信息，F_θ(x)表示第一语义提取模块输出的掩膜和特征图，G表示生成器模块，φ表示生成器模块参数。

10.如权利要求1所述的一种基于遥感影像的多层级网络地图生成方法，其特征在于，在使用阶段，基于各层级遥感影像与初步网络地图，使用训练好的地图改善算法模型，从高到低地依次生成各层级精修网络地图的方法如下：

对于包含K个层级的多层级遥感影像数据集，其数据层级编号为{0,1,…,K-1}中的所有整数；首先，将第K-1层的初步网络地图作为该层的精修网络地图；然后，根据训练阶段保存的地图改善算法模型结构与参数创建网络模型，取k＝K-1，将第k-1层遥感影像、第k-1层初步网络地图、k层精修网络地图分别输入模型进行运算，生成的对应的第k-1层精修网络地图并储存；从大到小依次取k为{1,2,…,K-2}中的所有整数，对每一个k值重复以上过程，完成所有层级精修网络地图的生成；

精修网络地图生成公式如下所示：

其中，φ′是生成器模块G的参数，x,y,y′∈R^C×H×W，x为遥感影像，y为真实网络地图，y′为初步网络地图，C、H、W分别代表图像通道数、高度和宽度，下标k、k-1代表地图所处缩放层级，

表示生成器生成的第k-1层精修网络地图，

表示第k层的精修网络地图经过拼接和下采样后和遥感影像相同尺寸的图像，

y′_k-1和x_k-1表示的实际区域位置和大小相同；F′_θ′(x_k-1)为第二语义提取模块输出的掩膜和特征图。

Images