CN112465970B - 导航地图构建方法、装置、***、电子装置和存储介质 - Google Patents
导航地图构建方法、装置、***、电子装置和存储介质 Download PDFInfo
- Publication number
- CN112465970B CN112465970B CN202011362824.5A CN202011362824A CN112465970B CN 112465970 B CN112465970 B CN 112465970B CN 202011362824 A CN202011362824 A CN 202011362824A CN 112465970 B CN112465970 B CN 112465970B
- Authority
- CN
- China
- Prior art keywords
- map
- orthographic projection
- image
- training
- global
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims abstract description 50
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 230000003068 static effect Effects 0.000 claims abstract description 28
- 238000001914 filtration Methods 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims description 67
- 230000011218 segmentation Effects 0.000 claims description 44
- 238000004590 computer program Methods 0.000 claims description 15
- 238000005192 partition Methods 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 7
- 238000002372 labelling Methods 0.000 abstract description 6
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000005520 cutting process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000005304 joining Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Automation & Control Theory (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computer Hardware Design (AREA)
- Instructional Devices (AREA)
- Navigation (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请涉及一种导航地图构建方法、装置、***、电子装置和存储介质，其中，该导航地图构建方法包括：利用无人机固定高度的航拍获取若干正投影图像；利用训练完备的对抗生成网络模型对根据正投影图像进行地面移动目标过滤，得到对应的静态地图图像；根据静态地图图像利用空中三角建模进行三维场景构建和正投影全局地图生成，得到分区的正投影全局地图；利用训练完备的深度分割模型对正投影全局地图进行分割，并对分割得到的带有道路区域标识的分割地图图像进行拼接，得到带有道路区域标识的导航地图。本申请解决了通过卫星拍摄加人工标注的方式构建的地图精度低，工作量巨大的问题，实现了高效的高精度导航地图构建。
Description
技术领域
本申请涉及地图测绘技术领域，特别是涉及导航地图构建方法、装置、***、电子装置和存储介质。
背景技术
随着传感器、大数据和人工智能领域的快速发展，在此基础上发展的无人驾驶技术能够提高交通运输效率、交通安全和出行便利，近年来已经成为学术界和工业界的研究热点之一。在无人驾驶中，安全性一直是首要的议题，大量实验表明，仅靠现有精度的摄像头，雷达等车载传感器，不足以避免事故的发生，因此自动驾驶需要能在常规感知范围之外获得信息，GPS定位***和预先建立的地图结合导航就是一种解决方案。
传统的导航地图制作方式大多通过卫星拍摄加人工标注的方式，工作量巨大，而且精度通常在10米级，对于道路通常无法判断宽度及自身所在车道的位置，只能作为驾驶的辅助手段，不足以用于自动驾驶的主要技术手段。
目前针对相关技术中，通过卫星拍摄加人工标注的方式构建的地图精度低，工作量巨大的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种导航地图构建方法、装置、***、电子装置和存储介质，以至少解决相关技术中通过卫星拍摄加人工标注的方式构建的地图精度低，工作量巨大的问题。
第一方面，本申请实施例提供了一种导航地图构建方法，包括：
利用无人机固定高度的航拍获取若干正投影图像；
利用训练完备的对抗生成网络模型对所述正投影图像进行地面移动目标过滤，得到对应的静态地图图像；
根据所述静态地图图像利用空中三角建模进行三维场景构建和正投影全局地图生成，得到分区的正投影全局地图；
利用训练完备的深度分割模型对所述正投影全局地图进行分割，并对分割得到的带有道路区域标识的分割地图图像进行拼接，得到带有道路区域标识的导航地图。
在其中一些实施例中，还包括对抗生成网络模型的训练；
所述对抗生成网络模型的训练，包括：
获取若干正投影图像；
根据所述正投影图像生成对比作用的一组图对作为训练集；
根据所述训练集对对抗生成网络模型进行训练，得到训练完备的对抗生成网络模型。
在其中一些实施例中，还包括深度分割模型的训练；
所述深度分割模型的训练，包括：
获取分区的正投影全局地图；
将所述正投影全局地图分成训练集和测试集；
根据所述训练集和测试集对深度分割模型进行训练，得到训练完备的深度分割模型。
在其中一些实施例中，利用无人机固定高度的航拍获取若干正投影图像，包括：
利用无人机固定高度的航拍，获得固定高度、固定区域的若干带有GPS定位信息的正投影图像，并将所述正投影图像进行存储。
在其中一些实施例中，根据所述静态地图图像利用空中三角建模进行三维场景构建和正投影全局地图生成，得到分区的正投影全局地图，包括：
对所述静态地图图像进行相邻区域的同名点检测得到含有空间坐标和RGB像素值的像素点；
根据所述像素点进行栅格场景重建，得到全局3D地图；
按预设的区域划分对全局3D地图进行正投影裁剪拼接，得到分区的正投影全局地图。
在其中一些实施例中，根据所述像素点进行栅格场景重建，得到全局3D地图，包括：
根据所述像素点进行对比相邻点，将相邻的且在同一平面的点合并为栅格，并把像素RGB值用于修饰栅格图像，以建立一系列带有RGB颜色信息的不同角度的栅格，从而建立全局3D地图。
第二方面，本申请实施例提供了一种导航地图构建装置，包括：获取模块、过滤模块、构建分区模块以及分割拼接模块；
所述获取模块，用于利用无人机固定高度的航拍获取若干正投影图像；
所述过滤模块，用于利用训练完备的对抗生成网络模型对所述正投影图像进行地面移动目标过滤，得到对应的静态地图图像；
所述构建分区模块，用于根据所述静态地图图像利用空中三角建模进行三维场景构建和正投影全局地图生成，得到分区的正投影全局地图；
所述分割拼接模块，用于利用训练完备的深度分割模型对所述正投影全局地图进行分割，并对分割得到的带有道路区域标识的分割地图图像进行拼接，得到带有道路区域标识的导航地图。
第三方面，本申请实施例提供了一种导航地图构建***，其特征在于，包括：终端设备、传输设备以及服务器设备；其中，所述终端设备通过传输设备连接服务器设备；
所述终端设备用于获取若干正投影图像；
所述传输设备用于传输若干正投影图像；
所述服务器设备用于执行如上述第一方面所述的导航地图构建方法。
第四方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的导航地图构建方法。
第五方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的导航地图构建方法。
相比于相关技术，本申请实施例提供的导航地图构建方法、装置、***、电子装置和存储介质，利用无人机固定高度的航拍获取若干正投影图像；利用训练完备的对抗生成网络模型对所述正投影图像进行地面移动目标过滤，得到对应的静态地图图像；根据所述静态地图图像利用空中三角建模进行三维场景构建和正投影全局地图生成，得到分区的正投影全局地图；利用训练完备的深度分割模型对所述正投影全局地图进行分割，并对分割得到的带有道路区域标识的分割地图图像进行拼接，得到带有道路区域标识的导航地图。解决了通过卫星拍摄加人工标注的方式构建的地图精度低，工作量巨大的问题，实现了高效的高精度导航地图构建。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请一实施例提供的导航地图构建方法的终端设备的硬件结构框图；
图2是本申请一实施例提供的导航地图构建方法的流程图；
图3是本申请一实施例的对抗生成网络模型训练的流程图；
图4是本申请一实施例的深度分割模型训练的流程图；
图5是本申请一实施例的空中三角测量相邻图像相似点匹配示意图；
图6是本申请一实施例的空中三角测量解算示意图；
图7是本申请一实施例提供的导航地图构建装置的结构框图。
附图说明：210、获取模块；220、过滤模块；230、构建分区模块；240、分割拼接模块。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例，图1是本发明实施例的导航地图构建方法的终端的硬件结构框图。如图1所示，终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的导航地图构建方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端10的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
本实施例提供了一种导航地图构建方法，图2是根据本申请实施例的导航地图构建方法的流程图，如图2所示，该流程包括如下步骤：
步骤S210，利用无人机固定高度的航拍获取若干正投影图像；
步骤S220，利用训练完备的对抗生成网络模型对根据正投影图像进行地面移动目标过滤，得到对应的静态地图图像；
步骤S230，根据静态地图图像利用空中三角建模进行三维场景构建和正投影全局地图生成，得到分区的正投影全局地图；
步骤S240，利用训练完备的深度分割模型对正投影全局地图进行分割，并对分割得到的带有道路区域标识的分割地图图像进行拼接，得到带有道路区域标识的导航地图。
需要说明的是，利用无人机在固定高度进行航拍，以获得固定高度、固定区域的若干带有GPS定位信息的正投影图像，并将正投影图像进行存储。这里的固定高度为100米±2米，拍摄角度为90°垂直于水平面向下，拍摄轨迹为固定区域内S型往复拍摄。航拍时采用固定间隔时间航拍，为5秒/张，保存为5472x3648分辨率的jpg图像文件。且不同时间采集的图像可以分别存放在不同子文件夹下，同一区域的多个文件夹的图像共同构成了正投影图像的原始数据集。于其他实施例中，对于固定拍摄的具体参数并不进行限制，只是采用上述参数拍摄可以提高计算效率。比如，固定高度可以是50米±2米，80米±2米等。通过无人机采集正投影图像，使得数据采集容易；且无人机工作范围大，可以极大地提高工作效率。于其他实施例中，也可以通过卫星图进行高精地图构建。
在获得正投影图像之后，使用利用训练完备的对抗生成网络模型进行地面移动目标过滤，得到对应的静态地图图像；再基于空中三角测量建模的算法进行全局场景地图构建和区域裁剪。于本实施例中，空中三角测量是一种地形测绘技术，通过计算机的辅助应用，它可以由图像，图像的拍摄位置，拍摄焦距，以及拍摄角度等信息反向推算出图像中不同像素点的大致位置，因此可以用来辅助建立3D地图。
步骤S230的算法的文件结构为：
上述算法的使用过程为，在images里导入需要用来构建地图的正投影图像(原始数据集)，在命令行通过docker调用3D构建地图和正投影算法，参数中指定好正投影图像路径，算法运行程序路径和项目路径，算法可自行计算。计算输出结果主要为，用于修饰的图像和3D模型文件、网格文件以及正投影文件。一般可以使用常规的模型读取软件打开.obj格式的模型文件，检验建图效果。正投影图像较大，因此附图中放了压缩后的正投影全景图，同时使用脚本，对原始正投影图像进行切割，将图像边缘由于缺少信息参差不齐的部分切掉删除，截取需要的部分，进行分割，得到多张正投影图像，作为进一步待处理的数据集，切割后尝试拼接检验，拼接成功证明切割的过程没有对图像造成损坏。
最后利用训练完备的深度分割模型对正投影全局地图进行分割，并对分割得到的带有道路区域标识的分割地图图像进行拼接，得到带有道路区域标识的导航地图。
通过上述步骤，解决了通过卫星拍摄加人工标注的方式构建的地图精度低，工作量巨大的问题，实现了高效的高精度导航地图构建。
于本实施例中，需要预先训练两个模型，分别为对抗生成网络模型和深度分割模型，下面对两个模型的训练过程进行详细说明。
在其中一些实施例中，如图3所示，对抗生成网络模型的训练，包括以下步骤；
S310、获取若干正投影图像；
S320、根据正投影图像生成对比作用的一组图对作为训练集；
S330、根据训练集对对抗生成网络模型进行训练，得到训练完备的对抗生成网络模型。
具体的，对抗生成网络模型是用于对地面移动目标的过滤。对抗生成网络有三大模块，三个输入，两个输出。模块分别为提取特征作用的编码器，生成图像的生成器，以及判断生成图像与参考图像相似程度的判别器；输入为含有移动目标的正投影图像，与之对应的人工过滤移动目标的图像集以及添加的高斯随机噪声；输出为生成器的生成结果和判别器的判断结果，这两个分别又输入网络，用来更新模块的参数，从而实现可训练的迭代。对抗生成网络每次迭代时，需要导入对应的两张图像，从而实现训练。
正投影图像是利用无人机固定高度的航拍获取的，由于正投影图像含有地面移动车辆等非静态目标，不能用来直接建图。可以采用基于学习的对抗生成网络进行地面移动目标的过滤。于本实施例中，取一部分正投影图像进行复制备份，作为模型的训练集。对复制备份的正投影图像通过人工对比的方式过滤掉地面移动目标，并通过对目标区域进行临近像素填充。选取要删除的物体的像素区域，计算周围像素中的大致像素值的区间，提取合适的像素在删除区域进行补全。而对于要过滤的目标附近存在其他物体的，比如需要过滤的车辆压了交通指示线的情况，需要在算法过滤后，再进行人工像素补选，于是完成了地面移动目标的过滤。经过人工过滤后，获得了两组图像，对应相同位置的场景，一组有地面移动目标，另一组没有移动目标，这便构成了形成对比作用的一组图对，可以作为对抗生成网络的训练集使用。
训练部署。将上述有对比作用的图对，作为训练集输入对抗生成神经网络(GAN)。GAN通过判别器D和生成器G的对抗，可以生成近似于真的图像。使用建立的图对训练GAN的神经网络，使其可以由带有地面移动目标的图像生成不带有地面移动目标的图像。训练的过程分为生成器和判别器的建立及训练。生成器部分，将未经人工修改的图像输入编码器，通过卷积下采样，将图像的特征进行抽取，同时在特征维度加入高斯噪声，噪声可以使生成网络具有更好的操作性，经过生成网络上采样，还原到图像的维度，从而生成图像，并计算损失函数。判别器部分，将生成器生成的图像和对应的人工过滤的图像输入判别器，进行判断，并计算损失函数。当一次迭代完成后，将判断的结果信息保存并更新生成器和判别器的参数，继续进行迭代训练，从而使生成器的生成图像能力增强，直到生成图像和的人工过滤目标图像高度相似，结束训练。在最后使用训练好的生成器神经网络模型处理所有正投影图像，完成地面移动车辆的过滤任务。
随着训练迭代次数的增加，算法生成的图像地面车辆的过滤效果也逐渐提升，将地面需要过滤的车辆变得模糊，可以成功过滤黑色彩色等和地面颜色差距较大的车辆，将地面的各种车辆完全滤除，生成不含有地面移动车辆的静态地图。最终通过训练的生成器，可以实现由带有地面移动目标的原始正投影图像生成对应的不带有地面移动目标的图像的批量转化，得到静态地图图像，从而达到了的预期。
在其中一些实施例中，如图3所示，深度分割模型的训练，包括以下步骤；
S410、获取分区的正投影全局地图；
S420、将正投影全局地图分成训练集和测试集；
S430、根据训练集和测试集对深度分割模型进行训练，得到训练完备的深度分割模型。
具体的，将分区的正投影地图进行分批，分成训练集和测试集，训练集进行人工语义标定，标注出道路区域，植被区域等车辆不可行驶区域，其中道路与道路之间仅存在白色车道线，是软间隔，道路的边缘的植被，人行横道等是硬间隔。经过标注，取得了一批标注了分割语义的地图数据集。
分割模型架构。针对处理后的地图数据集，进行语义分割，提取出路网，建立高精地图。在本实施例中，可以采用基于编码器和解码器结构的语义分割网络。将地图数据集分批输入语义分割网络，经过多层卷积，池化等操作，抽取出特征，在特征空间进行分类，并将分类结果经过多层卷积和上采样操作，重新投影到图像的对应像素上，从而完成语义分割的任务，其中覆盖可行驶道路的类别，即需要的构建高精地图的路网。
训练和部署应用。将制作好的训练集导入待训练的深度分割模型进行训练，经过多次训练，可以使得语义分割的结果越来越接近正确结果。在训练后，使用测试集测试，可以正确识别道路区域，道路双向分隔线，植被区域，人行道，其他建筑物区域。
语义分割可以识别正投影图像中的不同区域，可以根据标签合并成可行使区域和不可行驶区域。这个分割的结果是像素级别的，也就是说，整个流程采集的原始图像数据越精确越多，分割结果也会越精确，可以精确到厘米级，从而完整获得道路宽度等精确信息。同时，分割结果也可以随地图的拼接一起拼接，从而合并成高精度路网，成功构建高精地图。
在其中一个实施例中，根据静态地图图像利用空中三角建模进行三维场景构建和正投影全局地图生成，得到分区的正投影全局地图，包括以下步骤；
S231、对静态地图图像进行相邻区域的同名点检测得到含有空间坐标和RGB像素值的像素点；
S232、根据像素点进行栅格场景重建，得到全局3D地图；
S233、按预设的区域划分对全局3D地图进行正投影裁剪拼接，得到分区的正投影全局地图。
具体的，静态地图图像在导入基于空中三角建模的算法后，可以查看图像的外部定向信息，即拍照时相机的光心三维位置，三维角元素，查看图像的采集区域和范围等，从而确定不同图像基于GPS的空间分布。
基于相邻区域的同名点检测。在进行空中三角测量计算不同图像中不同像素在空间中的位置后，会将不同图像中的相似区域进行相似点匹配，如图5，如果找到匹配点，就进行储存，带有确定的空间坐标的匹配点，称为控制点。后续重建地图时会以其为基础向四周进行匹配扩展，空间坐标不确定的匹配点，称为连接点，多个连接点可以将不同图像进行连接。在大致确定不同照片的空间相对位置后，算法会继续进行区域像素的匹配。对于有多个照片包含的同一区域，称为加密区，要对其中的像素进行解算处理，从众多含有误差的坐标信息中估计出真实的空间坐标，对较少照片包含的边缘部分，需要进行接边处理，通过判断接边差是否超限，进行匹配，接边差是衡量要判断的两个区域的相似度的量，如图6。通过上述过程，获得了大量含有空间坐标和RGB像素值的像素点。
栅格场景重建。根据已经解算完成的像素点，通过对比相邻点，可以把相邻的且在同一平面的点合并为栅格，并把像素RGB值用于生产用于修饰的栅格图像，如通过插值法等对每个栅格进行颜色构建，以建立一系列带有RGB颜色信息的不同角度的栅格，从而建立全局3D地图。
正投影输出。有了全局3D地图后，可以根据之前的区域划分，输出每个区域的正投影图像。例如按照平面空间进行划分，按照不同经纬度(x，y坐标)划分区域，每个区域内，每个经纬度只取对应的像素点中海拔(z坐标)最高值，输出为一张有限大小的2D平面地图，是原3D地图的局部正投影地图。划分成小块的正投影地图，方便保存，由于是同一张正投影图像裁剪划分而成，因此可以按照编号进行自动拼接，拼接成全局的正投影全局地图。而使得采集的正投影图像可抗干扰，如不同时间采集的正投影图像中，地面移动车辆的位置不同，车辆都会在被过滤掉，从而降低干扰。不同日期采集的图像光照的干扰，会在3D地图构建时被排除。采集的图像越多，抗干扰能力也越强。
在其中一些实施例中，通过训练完备的深度分割模型对正投影全局地图进行分割，可以识别正投影图像中的不同区域，可以根据标签合并成可行使区域和不可行驶区域。这个分割的结果是像素级别的，也就是说，整个流程采集的原始图像数据越精确越多，分割结果也会越精确，可以精确到厘米级，从而完整获得道路宽度等精确信息。同时，分割结果也可以随地图的拼接一起拼接，从而合并成高精度路网，成功构建高精地图。使得本申请可以为无人驾驶***提供厘米级导航，作为无人机是***外界信息的重要来源。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种导航地图构建装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图7是根据本申请实施例的一种导航地图构建装置的结构框图，如图7所示，该装置包括：获取模块210、过滤模块220、构建分区模块230以及分割拼接模块240；
获取模块210，用于利用无人机固定高度的航拍获取若干正投影图像；
过滤模块220，用于利用训练完备的对抗生成网络模型对根据正投影图像进行地面移动目标过滤，得到对应的静态地图图像；
构建分区模块230，用于根据静态地图图像利用空中三角建模进行三维场景构建和正投影全局地图生成，得到分区的正投影全局地图；
分割拼接模块240，用于利用训练完备的深度分割模型对正投影全局地图进行分割，并对分割得到的带有道路区域标识的分割地图图像进行拼接，得到带有道路区域标识的导航地图。
本发明解决了通过卫星拍摄加人工标注的方式构建的地图精度低，工作量巨大的问题，实现了高效的高精度导航地图构建。
在其中一个实施例中，第一训练模块；第一训练模块，用于获取若干正投影图像；根据正投影图像生成对比作用的一组图对作为训练集；根据训练集对对抗生成网络模型进行训练，得到训练完备的对抗生成网络模型。
在其中一个实施例中，第二训练模块；第二训练模块，用于获取分区的正投影全局地图；将正投影全局地图分成训练集和测试集；根据训练集和测试集对深度分割模型进行训练，得到训练完备的深度分割模型。
在其中一个实施例中，获取模块210还用于利用无人机固定高度的航拍，获得固定高度、固定区域的若干带有GPS定位信息的正投影图像，并将正投影图像进行存储。
在其中一个实施例中，构建分区模块230还用于对静态地图图像进行相邻区域的同名点检测得到含有空间坐标和RGB像素值的像素点；根据像素点进行栅格场景重建，得到全局3D地图；按预设的区域划分对全局3D地图进行正投影裁剪拼接，得到分区的正投影全局地图。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，利用无人机固定高度的航拍获取若干正投影图像；
S2，利用训练完备的对抗生成网络模型对根据正投影图像进行地面移动目标过滤，得到对应的静态地图图像；
S3，根据静态地图图像利用空中三角建模进行三维场景构建和正投影全局地图生成，得到分区的正投影全局地图；
S4，利用训练完备的深度分割模型对正投影全局地图进行分割，并对分割得到的带有道路区域标识的分割地图图像进行拼接，得到带有道路区域标识的导航地图。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的导航地图构建方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种导航地图构建方法。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种导航地图构建方法，其特征在于，包括：
利用无人机固定高度的航拍获取若干正投影图像；
利用训练完备的对抗生成网络模型对所述正投影图像进行地面移动目标过滤，得到对应的静态地图图像；
对所述静态地图图像进行相邻区域的同名点检测，得到含有空间坐标和RGB像素值的像素点；
根据所述像素点进行对比相邻点，将相邻的且在同一平面的点合并为栅格，并把像素RGB值用于修饰栅格图像，以建立一系列带有RGB颜色信息的不同角度的栅格，从而建立全局3D地图；
按照不同经纬度划分区域，每个区域内，每个经纬度只取对应的像素点中海拔最高值，输出为一张2D平面地图，所述2D平面地图为所述全局3D地图的局部正投影地图，并根据所述局部正投影地图的编号进行自动拼接，获得正投影全局地图；
利用训练完备的深度分割模型对所述正投影全局地图进行分割，并对分割得到的带有道路区域标识的分割地图图像进行拼接，得到带有道路区域标识的导航地图。
2.根据权利要求1所述的导航地图构建方法，其特征在于，还包括对抗生成网络模型的训练；
所述对抗生成网络模型的训练，包括：
获取若干正投影图像；
根据所述正投影图像生成对比作用的一组图对作为训练集；
根据所述训练集对对抗生成网络模型进行训练，得到训练完备的对抗生成网络模型。
3.根据权利要求1所述的导航地图构建方法，其特征在于，还包括深度分割模型的训练；
所述深度分割模型的训练，包括：
获取分区的正投影全局地图；
将所述正投影全局地图分成训练集和测试集；
根据所述训练集和测试集对深度分割模型进行训练，得到训练完备的深度分割模型。
4.根据权利要求1-3所述任一项的导航地图构建方法，其特征在于，利用无人机固定高度的航拍获取若干正投影图像，包括：
利用无人机固定高度的航拍，获得固定高度、固定区域的若干带有GPS定位信息的正投影图像，并将所述正投影图像进行存储。
5.一种导航地图构建装置，其特征在于，包括：获取模块、过滤模块、构建分区模块以及分割拼接模块；
所述获取模块，用于利用无人机固定高度的航拍获取若干正投影图像；
所述过滤模块，用于利用训练完备的对抗生成网络模型对所述正投影图像进行地面移动目标过滤，得到对应的静态地图图像；
所述构建分区模块，用于对所述静态地图图像进行相邻区域的同名点检测，得到含有空间坐标和RGB像素值的像素点；
根据所述像素点进行栅格场景重建，得到全局3D地图；
根据预设的区域划分以及所述全局3D地图，输出每个区域的正投影图像，并根据所述正投影图像的编号进行自动拼接，获得正投影全局地图；
所述分割拼接模块，用于利用训练完备的深度分割模型对所述正投影全局地图进行分割，并对分割得到的带有道路区域标识的分割地图图像进行拼接，得到带有道路区域标识的导航地图。
6.一种导航地图构建***，其特征在于，包括：终端设备、传输设备以及服务器设备；其中，所述终端设备通过传输设备连接服务器设备；
所述终端设备用于获取若干正投影图像；
所述传输设备用于传输若干正投影图像；
所述服务器设备用于执行如权利要求1至4中任一项所述的导航地图构建方法。
7.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至4中任一项所述的导航地图构建方法。
8.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至4中任一项所述的导航地图构建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011362824.5A CN112465970B (zh) | 2020-11-27 | 2020-11-27 | 导航地图构建方法、装置、***、电子装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011362824.5A CN112465970B (zh) | 2020-11-27 | 2020-11-27 | 导航地图构建方法、装置、***、电子装置和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112465970A CN112465970A (zh) | 2021-03-09 |
| CN112465970B true CN112465970B (zh) | 2024-03-19 |
Family
ID=74808086
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011362824.5A Active CN112465970B (zh) | 2020-11-27 | 2020-11-27 | 导航地图构建方法、装置、***、电子装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112465970B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113076811B (zh) * | 2021-03-12 | 2023-08-15 | 中山大学 | 一种航空图像道路提取方法及设备 |
| CN113050692B (zh) * | 2021-03-26 | 2023-01-13 | 极研(福建)信息科技有限公司 | 一种具有社交功能的智能陪伴设备 |
| CN113344772B (zh) * | 2021-05-21 | 2023-04-07 | 武汉大学 | 一种用于地图艺术化的迁移模型的训练方法和计算机设备 |
| CN114418005B (zh) * | 2022-01-21 | 2022-09-20 | 杭州碧游信息技术有限公司 | 基于gan网络的游戏地图自动生成方法、装置、介质及设备 |
| CN114577191B (zh) * | 2022-05-06 | 2022-07-12 | 成都纵横通达信息工程有限公司 | 基于地理空间信息数据的测绘数据采集方法及*** |
| CN114926601B (zh) * | 2022-07-21 | 2022-10-28 | 广州乐软网络科技有限公司 | 一种面向对象的地图构建方法及*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108710863A (zh) * | 2018-05-24 | 2018-10-26 | 东北大学 | 基于深度学习的无人机航拍场景语义分割方法及*** |
| CN110361010A (zh) * | 2019-08-13 | 2019-10-22 | 中山大学 | 一种基于占据栅格地图且结合imu的移动机器人定位方法 |
| CN111551167A (zh) * | 2020-02-10 | 2020-08-18 | 江苏盖亚环境科技股份有限公司 | 一种基于无人机拍摄和语义分割的全局导航辅助方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110873568B (zh) * | 2018-08-30 | 2021-02-23 | 百度在线网络技术（北京）有限公司 | 高精度地图的生成方法、装置以及计算机设备 |
-
2020
- 2020-11-27 CN CN202011362824.5A patent/CN112465970B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108710863A (zh) * | 2018-05-24 | 2018-10-26 | 东北大学 | 基于深度学习的无人机航拍场景语义分割方法及*** |
| CN110361010A (zh) * | 2019-08-13 | 2019-10-22 | 中山大学 | 一种基于占据栅格地图且结合imu的移动机器人定位方法 |
| CN111551167A (zh) * | 2020-02-10 | 2020-08-18 | 江苏盖亚环境科技股份有限公司 | 一种基于无人机拍摄和语义分割的全局导航辅助方法 |
Non-Patent Citations (1)
| Title |
|---|
| 杨凯.《中国测绘学科发展蓝皮书》.测绘出版社,2005,第2005卷第3-7页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112465970A (zh) | 2021-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112465970B (zh) | 导航地图构建方法、装置、***、电子装置和存储介质 | |
| US11798228B2 (en) | Method for updating road signs and markings on basis of monocular images | |
| CN112085844B (zh) | 面向野外未知环境的无人机影像快速三维重建方法 | |
| US10521694B2 (en) | 3D building extraction apparatus, method and system | |
| CN112085845A (zh) | 基于无人机影像的室外场景快速三维重建装置 | |
| CN108280866B (zh) | 道路点云数据处理方法及*** | |
| CN110176032B (zh) | 一种三维重建方法及装置 | |
| US10477178B2 (en) | High-speed and tunable scene reconstruction systems and methods using stereo imagery | |
| CN110648389A (zh) | 基于无人机和边缘车辆协同的城市街景3d重建方法和*** | |
| WO2018061010A1 (en) | Point cloud transforming in large-scale urban modelling | |
| KR20220064524A (ko) | 이미지 기반 측위 방법 및 시스템 | |
| Gao et al. | Ground and aerial meta-data integration for localization and reconstruction: A review | |
| CN113192193A (zh) | 基于Cesium三维地球框架的高压输电线路走廊三维重建方法 | |
| KR102127679B1 (ko) | 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템 | |
| Kuschk | Large scale urban reconstruction from remote sensing imagery | |
| CN113066112B (zh) | 一种基于三维模型数据的室内外融合方法及装置 | |
| CN108801225B (zh) | 一种无人机倾斜影像定位方法、***、介质及设备 | |
| CN115035235A (zh) | 三维重建方法及装置 | |
| CN114120254A (zh) | 道路信息识别方法、装置及存储介质 | |
| AU2023203583A1 (en) | Method for training neural network model and method for generating image | |
| CN116524324A (zh) | Bev模型训练方法、装置、***、车辆及可读存储介质 | |
| CN107808160B (zh) | 三维建筑物提取方法和装置 | |
| CN114419180A (zh) | 重构高精地图的方法、装置和电子设备 | |
| CN111238524B (zh) | 视觉定位方法以及装置 | |
| Xiao | Automatic building outlining from multi-view oblique images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |