CN114549338A - 一种电子地图的生成方法、装置和计算机可读存储介质 - Google Patents

一种电子地图的生成方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN114549338A
CN114549338A CN202111617710.5A CN202111617710A CN114549338A CN 114549338 A CN114549338 A CN 114549338A CN 202111617710 A CN202111617710 A CN 202111617710A CN 114549338 A CN114549338 A CN 114549338A
Authority
CN
China
Prior art keywords
map
remote sensing
segmentation
building
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111617710.5A
Other languages
English (en)
Inventor
任宇鹏
崔婵婕
黄积晟
汪均轶
李乾坤
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202111617710.5A priority Critical patent/CN114549338A/zh
Publication of CN114549338A publication Critical patent/CN114549338A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种电子地图的生成方法、装置和计算机可读存储介质，该方法包括：获取图像数据集，图像数据集包括多个遥感立体像对，遥感立体像对包括遥感图像；对遥感图像进行分割，得到第一分割预测结果；基于第一分割预测结果，创建第一地图；对遥感图像进行处理，以生成第二地图，第二地图的维度大于第一地图的维度；基于第一地图与第二地图，生成电子地图。通过上述方式，本申请能够通过对遥感立体像对的处理，生成多种维度的地图。

Description

一种电子地图的生成方法、装置和计算机可读存储介质
技术领域
本申请涉及图像处理技术领域，具体涉及一种电子地图的生成方法、装置和计算机可读存储介质。
背景技术
随着计算机等电子设备在制图中的广泛应用，地图不再局限于在纸质介质上的表达，其可以通过数字化的形式显示在屏幕上；卫星遥感图像为地图制图提供了新的多样化数据源，大大丰富了地图的制作形式及展示效果；当前对地图提出了不同的专题分析及可视化要求，然而当前地图服务商提供的地图产品同质化严重，灵活性不强，无法根据研究课题或项目需求进行定制，即使能够进行定制化，也需要支付昂贵的定制费用。
发明内容
本申请提供一种电子地图的生成方法、装置和计算机可读存储介质，能够通过对遥感立体像对的处理，生成多种维度的地图。
为解决上述技术问题，本申请采用的技术方案是：提供一种电子地图的生成方法，该方法包括：获取图像数据集，图像数据集包括多个遥感立体像对，遥感立体像对包括遥感图像；对遥感图像进行分割，得到第一分割预测结果；基于第一分割预测结果，创建第一地图；对遥感图像进行处理，以生成第二地图，第二地图的维度大于第一地图的维度；基于第一地图与第二地图，生成电子地图。
为解决上述技术问题，本申请采用的另一技术方案是：提供一种地图生成装置，该地图生成装置包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的电子地图的生成方法。
为解决上述技术问题，本申请采用的另一技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的电子地图的生成方法。
通过上述方案，本申请的有益效果是：先获取包括多个遥感立体像对的图像数据集，该遥感立体像对包括至少两张遥感图像；然后对遥感图像进行分割生成第一分割预测结果，并利用第一分割预测结果创建第一地图；同时，还对遥感图像进行处理，得到与第一地图的维度不同的第二地图；通过将第一地图与第二地图叠加生成最后的电子地图，能够通过对遥感立体像对的处理，生成多种维度的地图，方便用户了解更多的地形信息，而且无需借助其他辅助工具，实现简单，能够满足不同用户的定制需要。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的电子地图的生成方法一实施例的流程示意图；
图2是本申请提供的电子地图的生成方法另一实施例的流程示意图；
图3是本申请提供的分割模型的结构示意图；
图4是本申请提供的采用分割模型对遥感图像进行分割的流程示意图；
图5是本申请提供的第二提取网络的结构示意图；
图6是本申请提供的遥感图像；
图7是对图6所示的遥感图像进行处理生成的2D地图；
图8是对图6所示的遥感图像进行处理生成的数字高程模型；
图9是对图6所示的遥感图像进行处理生成的2D-2.5D-3D的电子地图；
图10是本申请提供的地图生成装置一实施例的结构示意图；
图11是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面结合附图和实施例，对本申请作进一步的详细描述。特别指出的是，以下实施例仅用于说明本申请，但不对本申请的范围进行限定。同样的，以下实施例仅为本申请的部分实施例而非全部实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
需要说明的是，本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参阅图1，图1是本申请提供的电子地图的生成方法一实施例的流程示意图，该方法包括：
S11：获取图像数据集。
图像数据集包括多个遥感立体像对，遥感立体像对包括至少两张遥感图像；或者，图像数据集包括多视角遥感图像，即采用不同的拍摄方向拍摄生成的不同视角的遥感图像；可对输入的遥感立体像对/多视角遥感图像进行预处理，比如：几何校正、配准或波段融合等操作，获取具有较高定位精度的多光谱遥感图像。
在一具体的实施例中，以遥感卫星为例，其搭载的三线阵相机可以分别获取地面的前视图像、正视图像和后视图像，提供包含2.1m分辨率的正视全色图像、2.5m分辨率的22°前视图像、后视全色图像以及5.8m分辨率的正视多光谱图像(包含近红外、红、绿、蓝四个波段)。在获取到图像后，可对它们进行几何精校正、配准和融合，生成空间分辨率为2.1m的多光谱图像，以便后续模块处理分析，比如：采用预处理后的遥感图像进行遥感智能分析、建筑物的轮廓和高度提取或三维重建。
S12：对遥感图像进行分割，得到第一分割预测结果。
在获取到遥感图像之后，可采用基于深度学习的遥感图像语义分割算法对遥感图像进行分割，以提取遥感图像中的建筑物、道路、水体、植被或裸地等信息，生成第一分割预测结果，该第一分割预测结果包括遥感图像中每个像素点属于每一类的置信度(即概率值)；例如，以将遥感图像中的所有像素点分割为3类为例，假设类别分别为道路、水体以及植被，像素点属于3种类别的概率分别为P1-P3，P1+P2+P3＝1。
可以理解地，可以采用预先训练完的分割模型对遥感图像进行分割处理，比如：UNet网络。
S13：基于第一分割预测结果，创建第一地图。
在获取到第一分割预测结果之后，可先对第一分割预测结果进行矢量化处理，生成矢量图；然后对矢量图进行反锯齿处理，得到第一地图。具体地，第一地图的维度为2维(Dimension，D)，第一分割预测结果可看作对遥感图像进行智能分析生成的遥感图像智能分析结果，可先对遥感图像智能分析结果进行自动矢量化，获取道路、水体、植被或裸地等面状要素，其中，道路对象需提取边界线、中心线及交叉点，以便构建道路的矢量图；对矢量图进行反锯齿操作，保留明显的拐点，并去除冗余的矢量点，最终生成2D矢量地图(即第一地图)。
进一步地，矢量化操作为依次遍历遥感图像的各个角点，以提取连通块轮廓，再对有包含关系的外部连通块添加内轮廓。反锯齿操作为：对矢量轮廓上的任意两点A、B来说，如果在A-B的轮廓路径上存在一点C满足“点C到直线AB的距离小于预设阈值”，则点C为冗余点，将其去除。
S14：对遥感图像进行处理，以生成第二地图。
第二地图可为一种地图或者由至少两种地图拼合而成，例如，可采用提取网络对遥感图像进行提取处理，得到提取结果，该提取结果包括建筑物的轮廓与高度；然后对提取结果进行矢量化处理，得到建筑物模型，并基于建筑物模型构建第二地图，该第二地图的维度大于第一地图的维度。
在另一具体的实施例中，可采用相关技术中的三维重建算法对遥感图像进行重建处理，得到重建结果；然后基于重建结果构建数字高程模型(Digital Elevation Model，DEM)，得到第二地图。
在其他实施例中，第二地图由至少两种地图拼合而成，可采用提取网络对遥感图像进行提取处理，得到提取结果；然后对提取结果进行矢量化处理得到建筑物模型，并基于建筑物模型构建第三地图，该第三地图的维度可以为2.5D；同时，对遥感图像进行重建处理，得到重建结果；然后基于重建结果构建DEM，得到第四地图，该第四地图的维度可以为3D；然后基于第三地图与第四地图，生成第二地图。
S15：基于第一地图与第二地图，生成电子地图。
在获取到第一地图与第二地图之后，可对第一地图与第二地图进行叠加，得到电子地图，以便显示在电子设备上。
本实施例提供了一种基于遥感图像的电子地图制作方法，先对获取到的遥感图像进行预处理；然后对预处理后的遥感图像分别进行遥感智能分析、建筑物的轮廓和高度提取以及三维重建处理；通过对遥感图像智能分析结果进行后处理(如：矢量化)、构建建筑物模型以及构建DEM等，最终可输出2D、2.5D及3D的电子地图。
请参阅图2，图2是本申请提供的电子地图的生成方法另一实施例的流程示意图，该方法包括：
S21：获取图像数据集。
S21与上述实施例中S11相同，在此不再赘述。
S22：采用分割模型对遥感图像进行分割处理，得到第一分割预测结果。
分割模型可采用Cascade编码解码(Encoder Decoder)框架，如图3所示，该分割模型包括Encoder模块、颈部(Neck)模块、Decoder模块和改进(Refine)模块；具体地，如图4所示，采用以下步骤对遥感图像进行分割：
S41：将遥感图像输入分割模型，并采用分割模型中的Encoder模块对遥感图像进行编码处理，生成第一特征。
Encoder模块可以采用Resnet101(Deep residual network，深度残差网络)，如图3所示，Encoder模块包括4个阶段(Stage)，针对输入尺寸为H*W的遥感图像来说，首先使用提取层将遥感图像处理为64通道的、大小为1/2H*1/2W的特征层，该提取层包括一个卷积核为7*7的卷积层、激活层和最大池化(MaxPool)层，激活层可采用线性整流函数(RectifiedLinear Unit，ReLU)；然后分别通过Stage1、Stage2、Stage3、Stage4进行特征提取。
进一步地，Stage1由3个瓶颈层(Bottleneck)组成，输出为256通道的、大小为1/4H*1/4W的特征层；Stage2由4个Bottleneck组成，输出为512通道的、大小为1/8H*1/8W的特征层；Stage3由23个Bottleneck组成，采用膨胀系数为2的空洞卷积替代下采样操作，输出为1024通道的、大小为1/8H*1/8W的特征层；Stage4由3个Bottleneck组成，采用膨胀系数为4的空洞卷积替代下采样操作，输出为2048通道的、大小为1/8H*1/8W的特征层。
S42：采用分割模型中的Neck模块对第一特征进行特征融合处理，得到第二特征。
Neck模块采用特征金字塔网络(Feature Pyramid Networks，FPN)结构进行特征融合，如图3所示，Neck模块由4个Stage组成，每个Stage的输入是上一个Stage的输出和Encoder模块中相应Stage的输出。具体地，首先，将上一个Stage的输出与Encoder模块中相应Stage的输出利用卷积核为3*3的卷积层处理，以将特征层提取为256通道的特征层；其次，将上一个Stage的输出上采样到与Encoder模块中相应的Stage输出的特征层的尺寸相同后，将其与转换后的Encoder模块中相应Stage输出的特征层拼接，最后经过卷积核为3*3的卷积层得到融合后的特征层。
进一步地，Neck模块中的Stage4的特征层为Encoder模块中Stage4输出的特征层经过卷积层的结果；Neck模块中的Stage3的特征层为Neck模块中的Stage4输出的特征层与Encoder模块中的Stage3输出的特征层融合后的结果；Neck模块中的Stage2的特征层为Neck模块中的Stage3输出的特征层与Encoder模块中的Stage2输出的特征层融合后的结果；Neck模块中的Stage1的特征层为Neck模块中的Stage2输出的特征层与Encoder模块中的Stage1输出的特征层融合后的结果。
S43：采用分割模型中的Decoder模块对第二特征进行解码处理，得到第二分割预测结果。
Decoder模块采用FPN结构进行初步分割结果预测，该结构同Neck模块类似，首先将各个Stage输出的特征层提取为通道数为128的特征层，然后将所有特征层双线性插值到1/8H*1/8W的大小后相加，最后采用卷积核为1*1、通道数为分割的类别数的卷积层进行粗粒度分割预测，生成第二分割预测结果。
S44：采用分割模型中的Refine模块对第二分割预测结果进行修正，得到第一分割预测结果。
Refine模块采用一种迭代上采样的方式逐步优化分割的结果，该模块的输入为Decoder模块的输出，即大小为1/8H*1/8W的第二分割预测结果，输出为H*W的第一分割预测结果。
在一具体的实施例中，将第二分割预测结果记作当前分割预测结果，在当前分割预测结果的尺寸小于原图(即输入的遥感图像)的尺寸时，进行迭代优化；具体地，判断当前分割预测结果的尺寸是否与遥感图像的尺寸相同；若当前分割预测结果的尺寸与遥感图像的尺寸不同，则对当前分割预测结果进行插值，得到第三分割预测结果；从第二分割预测结果中筛选出预设数量个第一候选点；基于第一候选点，对第二分割预测结果进行修正，得到第一分割预测结果。例如，预设数量记作N，在每次优化时，对当前分割预测结果进行2倍双线性插值上采样，使得插值后的当前分割预测结果(即第三分割预测结果)的尺寸扩大两倍；然后在第二分割预测结果中挑选N个第一候选点，选点策略为采用均匀分布的方式从第二分割预测结果中随机抽取N个第一候选点。
进一步地，第二分割预测结果包括第一子分割结果，第三分割预测结果包括第二子分割结果，先从预设数量个第一候选点中筛选出第二候选点；具体地，从N个第一候选点中选取βN(β∈[0,1])个最不确定的点，不确定性的度量标准为预设阈值与第一子分割结果中的预测概率之间的距离，该距离越小，不确定性越大，该距离对应的点越可能是第二候选点；例如，预设阈值为0.5，判断第一候选点对应的预测概率与0.5之间的差值是否小于预设差值，如果该差值小于预设差值，则表明其可能为不确定的点，可从所有与0.5之间的差值小于预设差值的第一候选点中，选出差值最小的βN个点作为第二候选点。
然后提取第二候选点的表征向量，该表征向量包括两个部分：①第三分割预测结果，②Neck模块中Stage1输出的特征层；具体地，获取第三分割预测结果中与第二候选点对应的第二子分割结果，得到第一待拼接特征；获取第二特征中与第二候选点对应的特征，得到第二待拼接特征；对第一待拼接特征与第二待拼接特征进行拼接，生成拼接分割结果；采用多层感知器(Multi-Layer Perceptron，MLP)对拼接分割结果进行预测，得到修正分割结果；将第二分割预测结果中与第二候选点对应的第一子分割结果替换为修正分割结果，得到第一分割预测结果，实现对第一分割预测结果的更新。
S23：基于第一分割预测结果，创建第一地图。
S23与上述实施例中S13相同，在此不再赘述。
S24：采用提取网络对遥感图像进行提取处理，得到提取结果。
为了提取建筑物的轮廓及高度，可采用提取网络对遥感图像进行处理，得到提取结果，该提取结果包括建筑物的轮廓与高度。具体地，建筑物的轮廓及高度提取可采用基于深度学习的建筑物屋顶分割及高度预测算法，分割建筑物的屋顶并预测每个像元的高度值及拍摄方向，采用的具体算法可与相关技术相同，在此不再赘述。
可以理解地，本实施例可采用一个网络来获取提取结果，或者也可采用两个网络来获取提取结果，即独立构建建筑物的提取网络和建筑物的高度、拍摄方向的预测网络，下面以利用两个网络来生成提取结果为例进行说明。
提取网络包括第一提取网络与第二提取网络，采用第一提取网络对遥感图像进行特征提取处理，得到遥感图像中的建筑物；例如，采用遥感语义分割算法进行建筑物提取，将输出改为两通道，其中一个通道输出建筑物的信息，另一个通道输出背景的信息，最终能够生成建筑物的掩码图，该掩码图中存在建筑物的位置对应的数值为1，掩码图中不存在建筑物的位置对应的数值为0。
进一步地，由于语义分割不能区分开个体，因此在对建筑物掩码图进行后处理时，先对掩码图对进行开操作，断开相邻的建筑物；然后使用连通域分析提取每个建筑物的实例信息；可使用不同标识(identification，ID)来标识不同的建筑物，并将建筑物的实例信息填入掩码图中，从而得到遥感图像中所有建筑物的信息。
采用第二提取网络对遥感图像进行特征提取处理，得到遥感图像中的建筑物的属性信息，该属性信息包括建筑物的高度与建筑物的拍摄方向。
在一具体的实施例中，如图5所示，第二提取网络包括主干网络、第一分支网络以及第二分支网络，采用主干网络对遥感图像进行处理，生成第一提取特征；采用第一分支网络对第一提取特征进行回归处理，得到建筑物的高度；采用第二分支网络对第一提取特征进行回归处理，得到建筑物的拍摄方向。
进一步地，第二提取网络采用Resnet34作为主要的特征提取网络，结合FPN网络构建出轻量级高度预测网络，第二提取网络的输出包括两个部分，一个部分是全图的拍摄方向，另一个部分是每个像素点的高度信息，高度以像素为单位。
如图5所示，特征提取网络包括四个Stage，对于分辨率为1024×1024的遥感图像来说，首先使用一个7×7的卷积核进行卷积，卷积后数据的分辨率下降至512×512，通道数上升到64；再使用最大池化层将数据的分辨率降至256×256；通过第一个Stage(即Stage1)处理后数据的分辨率下降至128×128，通道数上升到128，Stage1由3个块(block)组成，每个block由两个3×3的卷积层组成；通过第二个Stage(由4个block组成)处理后分辨率下降至64×64，通道数上升到256；通过第三个Stage(由6个block组成)处理后数据的分辨率下降至32×32，通道数上升到512；通过第四个Stage(由3个block组成)处理后数据的分辨率与通道数不变。
而且，引入双重注意力网络(Dual Attention Network，DANet)中的注意力机制，其包含空间注意力模块和通道注意力模块两个部分，将空间注意力模块和通道注意力模块输出的数据融合后输入两个分支(即第一分支网络与第二分支网络)。第一分支网络模拟FPN进行上采样，第一次上采样后数据的分辨率恢复至64×64，通道数降为256，将其与主干网路中Stage4的输出合并后做两次3×3的卷积；第二次上采样后数据的分辨率恢复至128×128，通道数降为128，将其与主干网路中Stage3的输出合并后做两次3×3的卷积；第三次上采样后数据的分辨率恢复至256×256，通道数降为64，将其与主干网路中Stage2的输出合并后做两次3×3的卷积；第四次上采样后数据的分辨率恢复至512×512，通道数降为32，将其与主干网路中Stage1的输出合并后做两次3×3的卷积；最后使用上采样层和两个3×3的卷积层，将数据的分辨率恢复至1024×1024，通道数为1，输出高度图，该高度图包括遥感图像中每个像素点的高度。第二分支网络使用自适应池化层和全连接层，输出一个代表方向的矢量数据(即拍摄方向)，训练时接受损失函数监督。
S25：对提取结果进行矢量化处理得到建筑物模型，并基于建筑物模型构建第三地图。
获取S22输出的第一分割预测结果，该第一分割预测结果包括建筑物的顶面的分割预测结果，将建筑物的顶面按照建筑物的高度与建筑物的拍摄方向平移至建筑物的底面所在的位置，得到建筑物的底面的轮廓，平移后的建筑物的顶面可等效为建筑物的基底；对建筑物的底部的轮廓进行矢量化，并计算每个建筑物的平均高度；基于平均高度和建筑物的底面构建建筑物模型，具体地，将计算获得的高度赋予建筑物的底部的轮廓，作为其高度属性，并可通过可视化展示建筑物模型的效果。
可以理解地，利用建筑物模型生成地图的方法与相关技术中相同，在此不再赘述。
S26：对遥感图像进行重建处理得到重建结果，并基于重建结果构建DEM得到第四地图。
为了实现三维重建，可以采用双目立体匹配方法来处理多个独立的遥感立体像对，随后将重建结果进行融合。具体地，遥感图像的三维重建的流程包括：图像裁剪→有理多项式参数(Rational Polynomial Coefficients，RPC)更新→计算对应点及基础矩阵→极线校正→双目立体匹配→三角测量获得点云→点云去噪、对齐和融合→数字表面模型(Digital Surface Model，DSM)→去除建筑物及植被→DEM，下面进行详细描述。
1)图像裁剪及RPC参数更新
由于卫星成像属于推扫式成像，不同于小孔成像模型，不能通过简单的仿射变换进行极线校正，因此对遥感图像进行裁剪，将其分割为小的图像块(比如：2048*2048)，对小的图像块利用仿射相机针孔成像，去近似推扫成像。该流程要输入遥感立体像对/多视角遥感图像、图像对应的RPC参数及粗分辨率的高程数据，如：航天飞机雷达地形任务(ShuttleRadar Topography Mission，SRTM)生产的DEM数据；RPC参数是对遥感卫星成像模型的近似，它将地面点的大地坐标(经纬度及海拔)与其对象的图像坐标用多项式关联起来。
在一具体的实施例中，遥感立体像对中的遥感图像包括左视遥感图像与右视遥感图像，对左视遥感图像进行裁剪处理，得到多个左视图像块；基于左视遥感图像的RPC参数计算左视图像块的角点的坐标，得到第一角点坐标，该角点可以包括图像块的左上角的像素点与右下角的像素点；对第一角点坐标进行坐标转换处理，得到第二角点坐标(即大地坐标)；由于左视遥感图像和右视遥感图像中同一个物体对应的大地坐标是相同的，因此可以基于右视图的RPC参数与第二角点坐标，计算右视遥感图像中与左视图像块对应的角点坐标，得到第三角点坐标；从右视遥感图像中截取出与第三角点坐标对应的图像块，得到与左视图像块相匹配的右视图像块；基于左视图像块与右视图像块的尺寸，对相应的RPC参数进行更新，得到更新后的RPC参数。
2)计算对应点及基础矩阵
由于遥感图像无法像普通相机获取的双目图像一样进行标定，因此需要获取遥感图像的匹配点，可采用RPC参数来获取两个遥感图像之间的虚拟对应点，比如：根据遥感图像的左右视图的经纬度及高程范围，在该范围内进行随机采样，根据经纬度及高度，分别利用RPC参数获得其对应的两个遥感图像的像素坐标，采用这些点作为虚拟对应点来计算左视图像块与右视图像块之间的基础矩阵(包含内参及旋转平移信息)，并采用基础矩阵对左视图像块与右视图像块进行相应的极线校正。
3)立体匹配
采用半全局块匹配(Semi-Global Block Matching，SGBM)立体匹配算法，计算两张校正后的图像块(包括左视图像块与右视图像块)的视差，SRTM数据可用于估算初始的视差范围；将视差转换为原始图像的对应关系；根据该对应关系，利用改进的RPC参数对点的3D位置进行三角测量，以获取高程。
4)三角测量
对于三角测量来说，两张图像u和v及其投影函数RPC和逆RPC-1定义了对极曲线，假设x为图像u中的一个点，则其在图像v中的极线方程可以定义为：
Figure BDA0003437041280000121
其中，epi为核极线平面图为(epipolar plane image)，h为高度。
该曲线定义了不同的高度h下x可能的对应关系，在已知匹配点对(x，x')的情况下，即已知地理空间中同一个点分别在图像u、v中的投影，则x的对极曲线必然穿过x'，且x'＝epiuxv(h)的高度h即为该点的高程；因此，通过改进的RPC参数实现了测量地理空间中一个点的高程数据。
5)生成DSM与DEM
将图像块的图像坐标变换为通用横墨卡托格网***(Universal TransverseMercator Grid System，UTM)坐标，并获得相应的高程数据，以形成三维点云数据；根据遥感图像的实际分辨率对点云数据进行重采样，并将裁剪后的图像块对应的点云数据进行拼接，生成遥感图像对应的DSM。
进一步地，为了利用DSM数据生成DEM数据，可获取裸露地表的点云数据，同时移除其他非裸地区域的点云数据，并通过插值方法将地表缺失区域补全。具体地，根据遥感图像语义分割算法提取的建筑物、道路或水体轮廓构建掩膜，利用该掩膜去除对应区域的点云数据，在剩余数据中采用滤波的方式获取最低点，并利用最低点的数据补全空洞，生成DEM数据；然后采用相关技术中的方案将DEM数据转换为相应的地图(即第四地图)，该第四地图的维度大于第三地图的维度，第四地图的维度可以为3D。
S27：对第三地图与第四地图进行叠加，得到第二地图。
在获取到2.5D的第三地图与3D的第四地图后，可对第三地图与第四地图进行叠加，生成第二地图。
S28：对第一地图与第二地图进行叠加，生成电子地图。
根据获取到的2D矢量地图、建筑物的轮廓及高度以及区域的DEM，即可输出2D、2.5D及3D的电子地图。例如，如图6-图9所示，图6为遥感图像，图7为2D地图，图8为2.5D地图，图9为2D-2.5D-3D的电子地图，其包括2D地图、2.5地图以及3D地图。
本实施例通过地表物体分割、建筑物及地形三维重建方法，提取遥感图像中的道路、水体、植被或裸地等地表物体信息，提取遥感图像中建筑物的轮廓及高度，构建DSM及DEM，最终生成2D、2.5D、3D的电子地图，只需要遥感立体像对即可实现提取建筑物的高度，无需借助其他外部信息或建模软件，实现简单，且能够满足不同用户的需要。
请参阅图10，图10是本申请提供的地图生成装置一实施例的结构示意图，地图生成装置100包括互相连接的存储器101和处理器102，存储器101用于存储计算机程序，计算机程序在被处理器102执行时，用于实现上述实施例中的电子地图的生成方法。
本实施例通过遥感图像智能分析及三维重建技术，分别获取广域或城市级区域的地表物体(如：建筑物、道路或水体等要素的提取结果)，并结合建筑物和地形三维重建，自动、高效地获取广域区域的2D、2.5D及3D的电子地图，仅使用遥感立体像对作为输入便可输出电子地图，无需借助其他辅助工具和额外信息，实现简单。
请参阅图11，图11是本申请提供的计算机可读存储介质一实施例的结构示意图，计算机可读存储介质110用于存储计算机程序111，计算机程序111在被处理器执行时，用于实现上述实施例中的电子地图的生成方法。
计算机可读存储介质110可以是服务端、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (13)

1.一种电子地图的生成方法，其特征在于，包括：
获取图像数据集，所述图像数据集包括多个遥感立体像对，所述遥感立体像对包括遥感图像；
对所述遥感图像进行分割，得到第一分割预测结果；
基于所述第一分割预测结果，创建第一地图；
对所述遥感图像进行处理，以生成第二地图，所述第二地图的维度大于所述第一地图的维度；
基于所述第一地图与所述第二地图，生成电子地图。
2.根据权利要求1所述的电子地图的生成方法，其特征在于，所述对所述遥感图像进行分割，得到第一分割预测结果的步骤，包括：
将所述遥感图像输入分割模型；
采用所述分割模型中的编码模块对所述遥感图像进行编码处理，生成第一特征；
采用所述分割模型中的颈部模块对所述第一特征进行特征融合处理，得到第二特征；
采用所述分割模型中的解码模块对所述第二特征进行解码处理，得到第二分割预测结果；
采用所述分割模型中的改进模块对所述第二分割预测结果进行修正，得到所述第一分割预测结果。
3.根据权利要求2所述的电子地图的生成方法，其特征在于，所述采用所述分割模型中的改进模块对所述第二分割预测结果进行修正，得到所述第一分割预测结果的步骤，包括：
将所述第二分割预测结果记作当前分割预测结果；
判断所述当前分割预测结果的尺寸是否与所述遥感图像的尺寸相同；
若否，则对所述当前分割预测结果进行插值，得到第三分割预测结果；
从所述第二分割预测结果中筛选出预设数量个第一候选点；
基于所述第一候选点，对所述第二分割预测结果进行修正，得到所述第一分割预测结果。
4.根据权利要求3所述的电子地图的生成方法，其特征在于，所述第二分割预测结果包括第一子分割结果，所述第三分割预测结果包括第二子分割结果，所述基于所述第一候选点，对所述第二分割预测结果进行修正，得到所述第一分割预测结果的步骤，包括：
从所述预设数量个第一候选点中筛选出第二候选点；
获取所述第三分割预测结果中与所述第二候选点对应的第二子分割结果，得到第一待拼接特征；
获取所述第二特征中与所述第二候选点对应的特征，得到第二待拼接特征；
对所述第一待拼接特征与所述第二待拼接特征进行拼接，生成拼接分割结果；
采用多层感知器对所述拼接分割结果进行预测，得到修正分割结果；
将所述第二分割预测结果中与所述第二候选点对应的第一子分割结果替换为所述修正分割结果，得到所述第一分割预测结果。
5.根据权利要求1所述的电子地图的生成方法，其特征在于，所述对所述遥感图像进行处理，以生成第二地图的步骤，包括：
采用提取网络对所述遥感图像进行提取处理，得到提取结果，所述提取结果包括建筑物的轮廓与高度；
对所述提取结果进行矢量化处理，得到建筑物模型，并基于所述建筑物模型，构建所述第二地图。
6.根据权利要求1所述的电子地图的生成方法，其特征在于，所述对所述遥感图像进行处理，以生成第二地图的步骤，包括：
对所述遥感图像进行重建处理，得到重建结果；
基于所述重建结果构建数字高程模型，得到第二地图。
7.根据权利要求1所述的电子地图的生成方法，其特征在于，所述对所述遥感图像进行处理，以生成第二地图的步骤，包括：
采用提取网络对所述遥感图像进行提取处理，得到提取结果，所述提取结果包括建筑物的轮廓与高度；
对所述提取结果进行矢量化处理，得到建筑物模型，并基于所述建筑物模型，构建第三地图；
对所述遥感图像进行重建处理，得到重建结果；
基于所述重建结果构建数字高程模型，得到第四地图，所述第四地图的维度大于所述第三地图的维度；
对所述第三地图与所述第四地图进行叠加，得到所述第二地图；
所述基于所述第一地图与所述第二地图，生成电子地图的步骤，包括：
对所述第一地图与所述第二地图进行叠加，生成所述电子地图。
8.根据权利要求5所述的电子地图的生成方法，其特征在于，所述提取网络包括第一提取网络与第二提取网络，所述采用提取网络对所述遥感图像进行提取处理，得到提取结果的步骤，包括：
采用所述第一提取网络对所述遥感图像进行特征提取处理，得到所述遥感图像中的建筑物；
采用所述第二提取网络对所述遥感图像进行特征提取处理，得到所述遥感图像中的建筑物的属性信息，所述属性信息包括所述建筑物的高度与所述建筑物的拍摄方向。
9.根据权利要求8所述的电子地图的生成方法，其特征在于，所述第二提取网络包括主干网络、第一分支网络以及第二分支网络，所述方法还包括：
采用所述主干网络对所述遥感图像进行处理，生成第一提取特征；
采用所述第一分支网络对所述第一提取特征进行回归处理，得到所述建筑物的高度；
采用所述第二分支网络对所述第一提取特征进行回归处理，得到所述建筑物的拍摄方向。
10.根据权利要求8所述的电子地图的生成方法，其特征在于，所述第一分割预测结果包括建筑物的顶面的分割预测结果，所述对所述提取结果进行矢量化处理，得到建筑物模型的步骤，包括：
将所述建筑物的顶面按照所述建筑物的高度与所述建筑物的拍摄方向平移至所述建筑物的底面所在的位置，得到所述建筑物的底面的轮廓；
对所述建筑物的底部的轮廓进行矢量化，并计算每个所述建筑物的平均高度；
基于所述平均高度和所述建筑物的底面构建所述建筑物模型。
11.根据权利要求4所述的电子地图的生成方法，其特征在于，所述基于所述第一分割预测结果，创建第一地图的步骤，包括：
对所述第一分割预测结果进行矢量化处理，生成矢量图；
对所述矢量图进行反锯齿处理，得到所述第一地图。
12.一种地图生成装置，其特征在于，包括互相连接的存储器和处理器，其中，所述存储器用于存储计算机程序，所述计算机程序在被所述处理器执行时，用于实现权利要求1-11中任一项所述的电子地图的生成方法。
13.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序在被处理器执行时，用于实现权利要求1-11中任一项所述的电子地图的生成方法。
CN202111617710.5A 2021-12-27 2021-12-27 一种电子地图的生成方法、装置和计算机可读存储介质 Pending CN114549338A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111617710.5A CN114549338A (zh) 2021-12-27 2021-12-27 一种电子地图的生成方法、装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111617710.5A CN114549338A (zh) 2021-12-27 2021-12-27 一种电子地图的生成方法、装置和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114549338A true CN114549338A (zh) 2022-05-27

Family

ID=81670511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111617710.5A Pending CN114549338A (zh) 2021-12-27 2021-12-27 一种电子地图的生成方法、装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114549338A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926601A (zh) * 2022-07-21 2022-08-19 广州乐软网络科技有限公司 一种面向对象的地图构建方法及***
CN114936966A (zh) * 2022-07-25 2022-08-23 嘉兴霏云信息科技有限公司 用于电子展示屏的2d地图自动生成2.5d地图的方法
CN115100652A (zh) * 2022-08-02 2022-09-23 北京卫星信息工程研究所 基于高分遥感图像的电子地图自动化生成方法
CN115393733A (zh) * 2022-08-22 2022-11-25 河海大学 一种基于深度学习的水体自动识别方法及***
CN118230265A (zh) * 2024-05-22 2024-06-21 中数智科(杭州)科技有限公司 一种轨道交通道床异物检测方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926601A (zh) * 2022-07-21 2022-08-19 广州乐软网络科技有限公司 一种面向对象的地图构建方法及***
CN114936966A (zh) * 2022-07-25 2022-08-23 嘉兴霏云信息科技有限公司 用于电子展示屏的2d地图自动生成2.5d地图的方法
CN115100652A (zh) * 2022-08-02 2022-09-23 北京卫星信息工程研究所 基于高分遥感图像的电子地图自动化生成方法
CN115393733A (zh) * 2022-08-22 2022-11-25 河海大学 一种基于深度学习的水体自动识别方法及***
CN115393733B (zh) * 2022-08-22 2023-08-18 河海大学 一种基于深度学习的水体自动识别方法及***
CN118230265A (zh) * 2024-05-22 2024-06-21 中数智科(杭州)科技有限公司 一种轨道交通道床异物检测方法

Similar Documents

Publication Publication Date Title
CN114549338A (zh) 一种电子地图的生成方法、装置和计算机可读存储介质
US10678256B2 (en) Generating occlusion-aware bird eye view representations of complex road scenes
CN112085844B (zh) 面向野外未知环境的无人机影像快速三维重建方法
CN107230251B (zh) 创建3d城市模型的方法和混合3d成像装置及存储介质
Johnson‐Roberson et al. Generation and visualization of large‐scale three‐dimensional reconstructions from underwater robotic surveys
US9087408B2 (en) Systems and methods for generating depthmaps
US20140324397A1 (en) Site modeling using image data fusion
JP7273927B2 (ja) 画像ベースの測位方法及びシステム
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
EP3274964B1 (en) Automatic connection of images using visual features
WO2019065536A1 (ja) 再構成方法および再構成装置
CN111753669A (zh) 基于图卷积网络的手部数据识别方法、***和存储介质
CN114758337B (zh) 一种语义实例重建方法、装置、设备及介质
US20160232420A1 (en) Method and apparatus for processing signal data
CN116343103B (zh) 一种基于三维gis场景与视频融合的自然资源监管方法
Kim et al. Interactive 3D building modeling method using panoramic image sequences and digital map
CN113902802A (zh) 视觉定位方法及相关装置、电子设备和存储介质
CN115578702A (zh) 道路元素的提取方法、装置、电子设备、存储介质及车辆
Zhang et al. 3D urban buildings extraction based on airborne lidar and photogrammetric point cloud fusion according to U-Net deep learning model segmentation
KR20210131358A (ko) 객체 두께를 결정하기 위한 이미지 처리
KR20150065302A (ko) 영상정합 기법에 의한 위성영상 3차원 위치결정에 관한 방법
CN115049794A (zh) 通过深度补全生成稠密的全局点云图方法及***
CN115170762A (zh) 一种单视图三维人手重建方法、设备及可读存储介质
CN117132973B (zh) 一种地外行星表面环境重建与增强可视化方法及***
Tripodi et al. Brightearth: Pipeline for on-the-fly 3D reconstruction of urban and rural scenes from one satellite image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination