CN108230421A - 一种道路图生成方法、装置、电子设备和计算机存储介质 - Google Patents

一种道路图生成方法、装置、电子设备和计算机存储介质 Download PDF

Info

Publication number
CN108230421A
CN108230421A CN201710848159.2A CN201710848159A CN108230421A CN 108230421 A CN108230421 A CN 108230421A CN 201710848159 A CN201710848159 A CN 201710848159A CN 108230421 A CN108230421 A CN 108230421A
Authority
CN
China
Prior art keywords
road
network
sub
neural network
multichannel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710848159.2A
Other languages
English (en)
Inventor
程光亮
石建萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201710848159.2A priority Critical patent/CN108230421A/zh
Publication of CN108230421A publication Critical patent/CN108230421A/zh
Priority to JP2019558374A priority patent/JP6918139B2/ja
Priority to PCT/CN2018/096332 priority patent/WO2019056845A1/zh
Priority to SG11201909743Q priority patent/SG11201909743QA/en
Priority to US16/655,336 priority patent/US11354893B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G01C21/3822—Road feature data, e.g. slope data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3852—Data derived from aerial or satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Algebra (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Operations Research (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种道路图生成方法、装置、电子设备和计算机存储介质。该方法的一具体实施方式包括：将遥感图像输入第一神经网络，以经所述第一神经网络提取多通道的第一道路特征信息；将所述多通道的第一道路特征信息输入第三神经网络，以经所述第三神经网络提取多通道的第三道路特征信息，其中，所述第三神经网络为至少以道路方向信息为监督而训练完成的神经网络；融合所述第一道路特征信息和所述第三道路特征信息；根据融合结果生成道路图。该实施方式提高了提取遥感图像对道路宽度特征和道路方向特征的准确性。

Description

一种道路图生成方法、装置、电子设备和计算机存储介质
技术领域
本申请涉及数据处理技术领域，具体涉及图像处理技术领域，尤其涉及一种道路图生成方法、装置、电子设备和计算机存储介质。
背景技术
随着科技的发展和社会的进步，地图在人们的出行中起到了越来越重要的作用。地图能够使得人们随时确定自己的位置信息或目的地的位置信息，有利于出行的规划，提高了人们生活的便利性。
随着智能终端的普及，电子地图成为智能终端的常用应用。为了提高电子地图的准确性，需要获取实际的地图图像，然后再从地图图像中找出道路信息。计算机视觉和图像处理技术(如支持向量机、随机森林等方法)等，在道路图像识别中有重要的应用。
发明内容
本申请提供了一种道路图生成方法、装置、电子设备和计算机存储介质，以解决背景技术中提到的技术问题。
第一方面，本申请提供了一种道路图生成方法，该方法包括：将遥感图像输入第一神经网络，以经所述第一神经网络提取多通道的第一道路特征信息；将所述多通道的第一道路特征信息输入第三神经网络，以经所述第三神经网络提取多通道的第三道路特征信息，其中，所述第三神经网络为至少以道路方向信息为监督而训练完成的神经网络；融合所述第一道路特征信息和所述第三道路特征信息；根据融合结果生成道路图。
在一些实施例中，所述融合所述第一道路特征信息和所述第三道路特征信息，包括：相加或加权相加所述第一道路特征信息和所述第三道路特征信息；或者，串接所述第一道路特征信息和所述第三道路特征信息。
在一些实施例中，所述第一神经网络包括：第二子神经网络，其中，所述第二子神经网络为以容许道路宽度信息为监督而训练完成的神经网络；所述将遥感图像输入第一神经网络，以经所述第一神经网络提取多通道的第一道路特征信息，包括：将所述遥感图像输入所述第二子神经网络，以经所述第二子神经网络提取多通道的第二道路特征图。
在一些实施例中，所述第一神经网络包括：第一子神经网络和第二子神经网络；所述将遥感图像输入第一神经网络，以经所述第一神经网络提取多通道的第一道路特征信息，包括：将所述遥感图像输入所述第一子神经网络，以经所述第一子神经网络提取多通道的第一道路特征图；将所述多通道的第一道路特征图输入第二子神经网络，以经所述第二子神经提取多通道的第二道路特征图，其中，所述第二子神经网络为以容许道路宽度信息为监督而训练完成的神经网络。
在一些实施例中，所述第一神经网络包括：第一子神经网络、第二子神经网络和第三子神经网络；所述将遥感图像输入第一神经网络，以经所述第一神经网络提取多通道的第一道路特征信息，包括：将所述遥感图像输入所述第一子神经网络，以经所述第一子神经网络提取多通道的第一道路特征图；将所述多通道的第一道路特征图输入第二子神经网络，以经所述第二子神经提取多通道的第二道路特征图，其中，所述第二子神经网络为以容许道路宽度信息为监督而训练完成的神经网络；将所述多通道的第二道路特征图输入第三子神经网络，以经所述第三子神经提取多通道的第三道路特征图。
在一些实施例中，所述容许道路宽度信息为一容许道路宽度范围，所述道路图中各道路的宽度落入所述容许道路宽度范围；或者，所述容许道路宽度信息为一预定道路宽度，所述道路图中各道路的宽度为所述预定道路宽度。
在一些实施例中，所述根据融合结果生成道路图，包括：将所述融合结果输入第五神经网络，以经所述第五神经网络提取多通道的第四道路特征信息；经所述多通道的第四道路特征信息确定道路图。
在一些实施例中，所述第五神经网络为基于容许道路宽度信息监督信息训练完成的神经网络。
在一些实施例中，经所述第五神经网络获取道路图之后，还包括：确定所述道路图中道路的中心线。
在一些实施例中，经所述第五神经网络获取道路图之后，还包括：将所述道路图进行矢量化处理，获得道路矢量图。
在一些实施例中，所述第三神经网络的训练方法，包括：获取训练用遥感图像的道路方向基准图；将训练用遥感图像或其多通道的道路特征图输入待训练的第三神经网络，以经待训练的第三神经网络提取多通道的第四道路特征图；根据所述多通道的第四道路特征图确定一道路方向回归图；至少将所述道路方向回归图和所述道路方向基准图之间的第一损失回传所述待训练的第三神经网络，以调整所述待训练的第三神经网络的网络参数。
在一些实施例中，所述第二子神经网络的训练方法，包括：获取训练用遥感图像的等宽道路基准图；将训练用的遥感图像或其多通道的道路特征图输入待训练的第二子神经网络，以经待训练的第二子神经网络提取多通道的第五道路特征图；根据所述多通道的第五道路特征图确定一第一道路概率图；至少将所述第一道路概率图和所述等宽道路基准图之间的第二损失回传所述待训练的第二子神经网络，以调整所述待训练的第二子神经网络的网络参数。
在一些实施例中，训练所述第五神经网络的训练方法，包括：获取训练用遥感图像的等宽道路基准图；将训练用的遥感图像或其多通道的道路特征图输入待训练的第五神经网络，以经待训练的第五神经网络提取多通道的第六道路特征图；根据所述多通道的第六道路特征图确定一第二道路概率图；至少将所述第二道路概率图和所述等宽道路基准图之间的第三损失回传所述待训练的第五神经网络，以调整所述待训练的第五神经网络的网络参数。。
在一些实施例中，训练过程中，将所述第一损失、所述第二损失和所述第三损失分别回传包括所述第三神经网络、所述第二子神经网络和所述第五神经网络的神经网络***，以联合调整所述神经网络***的网络参数。
第二方面，本申请提供了一种道路图生成装置，该装置包括：第一道路特征信息获取单元，用于将遥感图像输入第一神经网络，以经所述第一神经网络提取多通道的第一道路特征信息；第三道路特征信息获取单元，用于将所述多通道的第一道路特征信息输入第三神经网络，以经所述第三神经网络提取多通道的第三道路特征信息，其中，所述第三神经网络为至少以道路方向信息为监督而训练完成的神经网络；信息融合单元，用于融合所述第一道路特征信息和所述第三道路特征信息；道路图生成单元，用于根据融合结果生成道路图。
在一些实施例中，所述信息融合单元包括：相加或加权相加所述第一道路特征信息和所述第三道路特征信息；或者，串接所述第一道路特征信息和所述第三道路特征信息。
在一些实施例中，所述第一神经网络包括：第二子神经网络，其中，所述第二子神经网络为以容许道路宽度信息为监督而训练完成的神经网络；所述第一道路特征信息获取单元包括：第二道路特征图获取第一子单元，将所述遥感图像输入所述第二子神经网络，以经所述第二子神经网络提取多通道的第二道路特征图。
在一些实施例中，所述第一神经网络包括：第一子神经网络和第二子神经网络；所述第一道路特征信息获取单元包括：第一道路特征图获取第一子单元，用于将所述遥感图像输入所述第一子神经网络，以经所述第一子神经网络提取多通道的第一道路特征图；第二道路特征图获取第二子单元，用于将所述多通道的第一道路特征图输入第二子神经网络，以经所述第二子神经提取多通道的第二道路特征图，其中，所述第二子神经网络为以容许道路宽度信息为监督而训练完成的神经网络。
在一些实施例中，所述第一神经网络包括：第一子神经网络、第二子神经网络和第三子神经网络；所述第一道路特征信息获取单元包括：第一道路特征图获取第二子单元，用于将所述遥感图像输入所述第一子神经网络，以经所述第一子神经网络提取多通道的第一道路特征图；第二道路特征图获取第三子单元，用于将所述多通道的第一道路特征图输入第二子神经网络，以经所述第二子神经提取多通道的第二道路特征图，其中，所述第二子神经网络为以容许道路宽度信息为监督而训练完成的神经网络；第三道路特征图获取子单元，用于将所述多通道的第二道路特征图输入第三子神经网络，以经所述第三子神经提取多通道的第三道路特征图。
在一些实施例中，所述容许道路宽度信息为一容许道路宽度范围，所述道路图中各道路的宽度落入所述容许道路宽度范围；或者，所述容许道路宽度信息为一预定道路宽度，所述道路图中各道路的宽度为所述预定道路宽度。
在一些实施例中，所述道路图生成单元包括：第四道路特征信息获取子单元，用于将所述融合结果输入第五神经网络，以经所述第五神经网络提取多通道的第四道路特征信息；道路图确定子单元，用于经所述多通道的第四道路特征信息确定道路图。
在一些实施例中，所述第五神经网络为基于容许道路宽度信息监督信息训练完成的神经网络。
在一些实施例中，所述道路图生成单元还包括：中心线确定子单元，用于确定所述道路图中道路的中心线。
在一些实施例中，所述道路图生成单元还包括：道路矢量图获取子单元，用于将所述道路图进行矢量化处理，获得道路矢量图。
在一些实施例中，所述第三神经网络的训练方法，包括：获取训练用遥感图像的道路方向基准图；将训练用遥感图像或其多通道的道路特征图输入待训练的第三神经网络，以经待训练的第三神经网络提取多通道的第四道路特征图；根据所述多通道的第四道路特征图确定一道路方向回归图；至少将所述道路方向回归图和所述道路方向基准图之间的第一损失回传所述待训练的第三神经网络，以调整所述待训练的第三神经网络的网络参数。
在一些实施例中，所述第二子神经网络的训练方法，包括：其获取方式可以是人工标注或机器标注或采用其他方法预先获取的等宽道路基准图；将训练用的遥感图像或其多通道的道路特征图输入待训练的第二子神经网络，以经待训练的第二子神经网络提取多通道的第五道路特征图；根据所述多通道的第五道路特征图确定一第一道路概率图；至少将所述第一道路概率图和所述等宽道路基准图之间的第二损失回传所述待训练的第二子神经网络，以调整所述待训练的第二子神经网络的网络参数。
在一些实施例中，训练所述第五神经网络的训练方法，包括：获取训练用遥感图像的等宽道路基准图；将训练用的遥感图像或其多通道的道路特征图输入待训练的第五神经网络，以经待训练的第五神经网络提取多通道的第六道路特征图；根据所述多通道的第六道路特征图确定一第二道路概率图；至少将所述第二道路概率图和所述等宽道路基准图之间的第三损失回传所述待训练的第五神经网络，以调整所述待训练的第五神经网络的网络参数。
在一些实施例中，训练过程中，将所述第一损失、所述第二损失和所述第三损失分别回传包括所述第三神经网络、所述第二子神经网络和所述第五神经网络的神经网络***，以联合调整所述神经网络***的网络参数。
第三方面，本申请提供了一种电子设备，包括：存储器，用于存储可执行指令；以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成第一方面的所述道路图生成方法的操作。
第四方面，本申请提供了一种计算机存储介质，用于存储计算机可读取的指令，所述指令被执行时执行第一方面的所述道路图生成方法的操作。
本申请提供的一种道路图生成方法、装置、电子设备和计算机存储介质，将遥感图像输入第一神经网络，得到多通道的第一道路特征信息；然后将多通道的第一道路特征信息输入第三申请网络，得到多通道的第三道路特征信息；之后，融合第一道路特征信息和第三道路特征信息，并根据融合结果生成道路图，提高了提取遥感图像对道路宽度特征和道路方向特征的准确性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性***架构图；
图2是根据本申请的道路图生成方法的一个实施例的流程图；
图3a是根据本申请的道路图生成方法的应用场景的一个示意图；
图3b是从对图3a中提取道路特征后得到的道路图；
图4是根据本申请的道路图生成装置的一个实施例的结构示意图；
图5是根据本申请的服务器的一个实施例的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的道路图生成方法和道路图生成装置的实施例的示例性***架构100。
如图1所示，***架构100可以包括终端设备101(例如，航拍对象等)、终端设备102(例如，人造卫星等)，网络103和电子设备104。网络103用以在终端设备101、102和电子设备104之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102通过网络103与电子设备104交互，以接收或发送图像信息等。终端设备101、102是用来搭载传感器的运载工具，常用的有气球、航拍对象和人造卫星等，从远距离获取目标物体的电磁波特性，通过该图像信息的传输、贮存、修正、识别目标物体，最终实现其功能(例如，定时功能、定位功能、定性功能、定量功能)。传感器例如可以是用来探测目标物电磁波特性的仪器设备，常用的有照相机、扫描仪和成像雷达等。
电子设备104可以是提供各种服务的服务器，例如从终端设备101、102上搭载的传感器获取遥感图像的后台图像处理服务器。后台图像处理服务器可以对接收到的遥感图像等数据进行分析等处理，并将处理结果(例如对象检测结果)输出。
需要说明的是，本申请实施例所提供的道路图生成方法一般由电子设备104执行，相应地，道路图生成装置一般设置于服务器104中。
应该理解，图1中的终端设备、网络和电子设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和电子设备。
图2，其示出了一种道路图生成方法的一个实施例的流程图200，该道路图生成方法包括：
步骤201，将遥感图像输入第一神经网络，以经所述第一神经网络提取多通道的第一道路特征信息。
在本实施例中，电子设备(例如图1所示的电子设备104)可以通过有线或无线的方式接收终端设备101、102发来的遥感图像，并对遥感图像进行处理，得到第一道路特征信息。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
获取到包含多通道的遥感图像后，将遥感图像导入第一神经网络，第一神经网络能够从遥感图像中提取多通道的第一道路特征信息。其中，第一道路特征信息可以是从遥感图像中提取的一定道路宽度的道路特征信息。
在本实施例的一些可选的实现方式中，所述第一神经网络可以包括：第二子神经网络，其中，所述第二子神经网络为以容许道路宽度信息为监督而训练完成的神经网络；所述将遥感图像输入第一神经网络，以经所述第一神经网络提取多通道的第一道路特征信息，可以包括：将所述遥感图像输入所述第二子神经网络，以经所述第二子神经网络提取多通道的第二道路特征图(Feature-map)。
获取到遥感图像后，可以直接将遥感图像输入到第二子神经网络。第二子神经网络为以容许道路宽度信息为监督而训练完成的神经网络，第二子神经网络可以对遥感图像中的道路图像进行识别，从遥感图像中提取出包括容许宽度的多通道的第二道路特征图。第二子神经网络可以包含多个卷积层，每个卷积层之后串接一个归一化层和非线性层，最后接一个卷积核为设定大小的分类层后输出多通道的第二道路特征图。
在本实施例的一些可选的实现方式中，所述第一神经网络可以包括：第一子神经网络和第二子神经网络；所述将遥感图像输入第一神经网络，以经所述第一神经网络提取多通道的第一道路特征信息，可以包括：将所述遥感图像输入所述第一子神经网络，以经所述第一子神经网络提取多通道的第一道路特征图；将所述多通道的第一道路特征图输入第二子神经网络，以经所述第二子神经提取多通道的第二道路特征图，其中，所述第二子神经网络为以容许道路宽度信息为监督而训练完成的神经网络。
第一神经网络可以包括第一子神经网络和第二子神经网络。为了加快对遥感图像的数据处理，通过第一子神经网络对遥感图像的尺寸进行缩小。第一子神经网络例如可以是通过卷积和下采样的方式，从遥感图像中提取出多通道的第一道路特征图。之后再将第一道路特征图输入到第二子申请网络，得到包括容许宽度的多通道的第二道路特征图。
在本实施例的一些可选的实现方式中，所述第一神经网络可以包括：第一子神经网络、第二子神经网络和第三子神经网络；所述将遥感图像输入第一神经网络，以经所述第一神经网络提取多通道的第一道路特征信息，可以包括：将所述遥感图像输入所述第一子神经网络，以经所述第一子神经网络提取多通道的第一道路特征图；将所述多通道的第一道路特征图输入第二子神经网络，以经所述第二子神经提取多通道的第二道路特征图，其中，所述第二子神经网络为以容许道路宽度信息为监督而训练完成的神经网络；将所述多通道的第二道路特征图输入第三子神经网络，以经所述第三子神经提取多通道的第三道路特征图。
第一神经网络还可以包括第一子神经网络、第二子神经网络和第三子神经网络。其中，第一子神经网络和第二子神经网络与上述实现方式中的描述相同。在得到多通道的第二道路特征图后，可以将多通道的第二道路特征图输入到第三子神经网络，经第三子神经网络对第二道路特征图去噪后，输出多通道的第三道路特征图。现有方法在获取道路特征图时，由于遥感图像中障碍物遮挡、图像清晰度、提取精度等原因，导致提取到的道路特征图出现毛刺的现象；采用本技术方案，能够得到等宽的平滑道路，改善了道路特征图中出现的毛刺现象。
在本实施例的一些可选的实现方式中，所述容许道路宽度信息为一容许道路宽度范围，所述道路图中各道路的宽度落入所述容许道路宽度范围；或者，所述容许道路宽度信息为一预定道路宽度，所述道路图中各道路的宽度为所述预定道路宽度。
遥感图像可以是不同的高度拍摄的，对于为了得到较为精确的道路图，可以设置容许道路宽度范围，道路图中各道路的宽度落入所述容许道路宽度范围，以尽量符合实际道路的宽度。此外，还可以将道路宽度设定为一预定道路宽度，使得道路图中所有道路的宽度都为预定道路宽度。
在本实施例的一些可选的实现方式中，所述第二子神经网络的训练方法，可以包括：
第一步，获取训练用遥感图像的等宽道路基准图(groundtruth)。
为了通过第二子神经网络提取到等宽道路的特征，需要首选获取遥感图像的等宽道路基准图。等宽道路基准图可以是预先标记有等宽道路的遥感图像，在对第二子神经网络对训练过程中作为监督信息使用，其获取方式可以是人工标注、机器标注或采用其他方法预先获取的。
第二步，将训练用的遥感图像或其多通道的道路特征图输入待训练的第二子神经网络，以经待训练的第二子神经网络提取多通道的第五道路特征图。
第二子神经网络的训练数据可以是遥感图像、也可以是从遥感图像中提取出的多通道的道路特征图，将上述训练数据输入待训练的第二子神经网络后，待训练的第二子神经网络可以从训练用的遥感图像或其多通道的道路特征图中提取到相应的道路宽度特征信息，并得到对应的多通道的第五道路特征图。
第三步，根据所述多通道的第五道路特征图确定一第一道路概率图。
得到第五道路特征图后，可以对第五道路特征图进行图像处理，以确定出第一道路概率图。其中，第一道路概率图用于表征第五道路特征图中每个像素点属于道路的概率。
第四步，至少将所述第一道路概率图和所述等宽道路基准图之间的第二损失回传所述待训练的第二子神经网络，以调整所述待训练的第二子神经网络的网络参数。
上述的等宽道路基准图可以认为是理想状态下的效果图。通常，第一道路概率图和等宽道路基准图之间是有误差的，这个误差可以视为第二损失回，将该第二损失回传给待训练的第二子神经网络，可以对待训练的第二子神经网络的网络参数进行调整，以减小第二损失，提高待训练的第二子神经网络提取等宽道路特征的准确性。
步骤202，将所述多通道的第一道路特征信息输入第三神经网络，以经所述第三神经网络提取多通道的第三道路特征信息。
得到第一道路特征信息后，可以将第一道路特征信息输入到第三神经网络，进而得到第三道路特征信息。第三道路特征信息可以是在第一道路特征信息的基础上，增加了道路的方向信息的特征信息。其中，所述第三神经网络为至少以道路方向信息为监督而训练完成的神经网络。
在本实施例的一些可选的实现方式中，所述第三神经网络的训练方法，可以包括以下步骤：
第一步，获取训练用遥感图像的道路方向基准图(groundtruth)。
为了通过第三神经网络提取到道路的方向特征，需要首先获取遥感图像的道路方向基准图。道路方向基准图可以是预先标记有道路方向的遥感图像，预先标记的方式可以是人工标记、机器标记或者采用其他方式预先取得。
第二步，将训练用遥感图像或其多通道的道路特征图输入待训练的第三神经网络，以经待训练的第三神经网络提取多通道的第四道路特征图。
第三神经网络的训练数据可以是遥感图像、也可以是从遥感图像中提取出的多通道的道路特征图，将上述训练数据输入待训练的第三神经网络后，待训练的第三神经网络可以从训练用的遥感图像或其多通道的道路特征图中提取到相应的方向特征信息，并得到对应的多通道的第四道路特征图。
第三步，根据所述多通道的第四道路特征图确定一道路方向回归图。
得到第四道路特征图后，可以对第四道路特征图进行图像处理，以确定出道路方向回归图。其中，道路方向回归图是用于表征多通道的特征图相应像素的值，不需要进行归一化处理(上述的道路概率图需要归一化处理)。可选的，道路方向回归图中的单个像素的值可以是0-180中的某一数字，表示该像素的道路方向相对于参考方向偏移的角度。
第四步，至少将所述道路方向回归图和所述道路方向基准图之间的第一损失回传所述待训练的第三神经网络，以调整所述待训练的第三神经网络的网络参数。
道路方向基准图为理想状态下道路方向的效果图。通常，道路方向回归图与道路方向基准图之间存在误差，这个误差可以认为是第一损失。将第一损失回传给待训练的第三神经网络，可以对待训练的第三神经网络对网络参数进行调整，以减小第一损失，提高待训练的第三神经网络提取方向特征的准确性。
步骤203，融合所述第一道路特征信息和所述第三道路特征信息。
第一道路特征信息可以是从遥感图像中提取的一定道路宽度的道路特征信息，第三道路特征信息可以是在第一道路特征信息的基础上，增加了道路的方向信息的特征信息，将融合第一道路特征信息和第三道路特征信息，可以使得道路特征信息同时具备道路宽度特征和道路的方向特征。
在本实施例的一些可选的实现方式中，所述融合所述第一道路特征信息和所述第三道路特征信息，可以包括：相加或加权相加所述第一道路特征信息和所述第三道路特征信息；或者，串接所述第一道路特征信息和所述第三道路特征信息。
由上述描述可知，第一道路特征信息可以是从遥感图像中提取的一定道路宽度的道路特征信息。因此，第一道路特征信息可以是包含一定道路宽度的图像。同理，第三道路特征信息可以是包含了道路的方向信息的图像。将第一道路特征信息对应的图像中的像素与第三道路特征信息对应的图像中的像素直接组合(相加)起来，或者按照一定的权重组合(加权)起来，可以实现第一道路特征信息和第三道路特征信息的融合。还可以在第一道路特征信息的基础上，直接将第一道路特征信息对应的图像与第三道路特征信息对应的图像进行串接，实现第一道路特征信息和第三道路特征信息的融合。
步骤204，根据融合结果生成道路图。
将第一道路特征信息和第三道路特征信息进行融合后，可以使得道路特征信息同时具备道路宽度特征和道路的方向特征。基于道路宽度特征和道路的方向特征可以生成道路图。
在本实施例的一些可选的实现方式中，所述根据融合结果生成道路图，可以包括：将所述融合结果输入第五神经网络，以经所述第五神经网络提取多通道的第四道路特征信息；经所述多通道的第四道路特征信息确定道路图。
将第一道路特征信息和第三道路特征信息的融合结果输入到第五神经网络。第五神经网络将道路宽度特征和道路的方向特征结合起来得到多通道的第四道路特征信息，并由多通道的第四道路特征信息确定道路图。其中，第五神经网络为基于容许道路宽度信息监督信息训练完成的神经网络。
为了实现导航、转向、航道保持等自动或辅助驾驶控制，在经所述第五神经网络获取道路图之后，还可以包括：确定所述道路图中道路的中心线。通过中心线可以提高导航、转向、航道保持等自动或辅助驾驶控制的精度。现有方法在获取道路交叉路口图像时，由于遥感图像障碍物遮挡、图像清晰度、提取精度等原因导致提取到的道路交叉路口处中心线的提取效果不佳，可能出现毛刺、不够平滑等现象，通过本技术方案中道路特征和道路方向，能够提取出平滑的中心线，解决了现有技术中心线提取效果不佳的问题。
为了实现对导航、转向、航道保持等自动或辅助驾驶控制，需要读取道路图的数据。为此，在经所述第五神经网络获取道路图之后，还可以包括：将所述道路图进行矢量化处理，获得道路矢量图。通过道路矢量图，可以生成导航、转向、航道保持等自动或辅助驾驶控制的控制指令。
同时，当遥感图像中存在道路遮挡情况时，还可以通过道路宽度特征和道路的方向特征等信息对被遮挡的道路进行补充，以提高道路图中道路的准确度。
在本实施例的一些可选的实现方式中，训练所述第五神经网络的训练方法，可以包括以下步骤：
第一步，获取训练用遥感图像的等宽道路基准图。
第二步，将训练用的遥感图像或其多通道的道路特征图输入待训练的第五神经网络，以经待训练的第五神经网络提取多通道的第六道路特征图。
第三步，根据所述多通道的第六道路特征图确定一第二道路概率图。
第四步，至少将所述第二道路概率图和所述等宽道路基准图之间的第三损失回传所述待训练的第五神经网络，以调整所述待训练的第五神经网络的网络参数。
第五神经网络的训练过程与上述第二子神经网络的训练过程类似，此处不再一一赘述。
在本实施例的一些可选的实现方式中，训练过程中，将所述第一损失、所述第二损失和所述第三损失分别回传包括所述第三神经网络、所述第二子神经网络和所述第五神经网络的神经网络***，以联合调整所述神经网络***的网络参数。
本实施例中的，除了通过第一损失、第二损失和第三损失分别调整第三神经网络、第二子神经网络和第五神经网络的神经网络***的网络参数外，还可以对包括第三神经网络、第二子神经网络和第五神经网络的神经网络***的网络参数进行调整，以提高获取的道路图中的道路宽度和方向的准确度。
继续参见图3a，图3a是根据本实施例的道路图生成方法的应用场景的一个示意图。图3a是一幅实际的遥感图像，可以看到，图3a中包含了道路、建筑物、树木等信息。为了从该遥感图像中提取道路信息，可以首先将遥感图像输入到第一神经网络，得到第一道路特征信息；然后将多通道的第一道路特征信息输入第三申请网络，得到多通道的第三道路特征信息；之后，融合第一道路特征信息和第三道路特征信息，并根据融合结果生成道路图，如图3b所示。
本申请提供的方法提高了提取遥感图像对道路宽度特征和道路方向特征的准确性。
进一步参考图4，作为对上述各图所示方法的实现，本申请提供了一种道路图生成装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图4所示，本实施例上述的道路图生成装置400可以包括：第一道路特征信息获取单元401、第三道路特征信息获取单元402、信息融合单元403和道路图生成单元404。其中，第一道路特征信息获取单元401用于将遥感图像输入第一神经网络，以经所述第一神经网络提取多通道的第一道路特征信息；第三道路特征信息获取单元402用于将所述多通道的第一道路特征信息输入第三神经网络，以经所述第三神经网络提取多通道的第三道路特征信息，其中，所述第三神经网络为至少以道路方向信息为监督而训练完成的神经网络；信息融合单元403用于融合所述第一道路特征信息和所述第三道路特征信息；道路图生成单元404用于根据融合结果生成道路图。
在本实施例的一些可选的实现方式中，所述信息融合单元403可以包括：相加或加权相加所述第一道路特征信息和所述第三道路特征信息；或者，串接所述第一道路特征信息和所述第三道路特征信息。
在本实施例的一些可选的实现方式中，所述第一神经网络可以包括：第二子神经网络，其中，所述第二子神经网络为以容许道路宽度信息为监督而训练完成的神经网络；所述第一道路特征信息获取单元401可以包括：第二道路特征图获取第一子单元(图中未示出)，将所述遥感图像输入所述第二子神经网络，以经所述第二子神经网络提取多通道的第二道路特征图。
在本实施例的一些可选的实现方式中，所述第一神经网络可以包括：第一子神经网络和第二子神经网络；所述第一道路特征信息获取单元401可以包括：第一道路特征图获取第一子单元(图中未示出)和第二道路特征图获取第二子单元(图中未示出)。其中，第一道路特征图获取第一子单元，用于将所述遥感图像输入所述第一子神经网络，以经所述第一子神经网络提取多通道的第一道路特征图；第二道路特征图获取第二子单元，用于将所述多通道的第一道路特征图输入第二子神经网络，以经所述第二子神经提取多通道的第二道路特征图，其中，所述第二子神经网络为以容许道路宽度信息为监督而训练完成的神经网络。
在本实施例的一些可选的实现方式中，所述第一神经网络可以包括：第一子神经网络、第二子神经网络和第三子神经网络；所述第一道路特征信息获取单元401可以包括：第一道路特征图获取第二子单元(图中未示出)、第二道路特征图获取第三子单元(图中未示出)和第三道路特征图获取子单元(图中未示出)。其中，第一道路特征图获取第二子单元，用于将所述遥感图像输入所述第一子神经网络，以经所述第一子神经网络提取多通道的第一道路特征图；第二道路特征图获取第三子单元，用于将所述多通道的第一道路特征图输入第二子神经网络，以经所述第二子神经提取多通道的第二道路特征图，其中，所述第二子神经网络为以容许道路宽度信息为监督而训练完成的神经网络；第三道路特征图获取子单元，用于将所述多通道的第二道路特征图输入第三子神经网络，以经所述第三子神经提取多通道的第三道路特征图。
在本实施例的一些可选的实现方式中，所述容许道路宽度信息为一容许道路宽度范围，所述道路图中各道路的宽度落入所述容许道路宽度范围；或者，所述容许道路宽度信息为一预定道路宽度，所述道路图中各道路的宽度为所述预定道路宽度。
在本实施例的一些可选的实现方式中，所述道路图生成单元404可以包括：第四道路特征信息获取子单元(图中未示出)和道路图确定子单元(图中未示出)。其中，第四道路特征信息获取子单元用于将所述融合结果输入第五神经网络，以经所述第五神经网络提取多通道的第四道路特征信息；道路图确定子单元用于经所述多通道的第四道路特征信息确定道路图。
在本实施例的一些可选的实现方式中，所述第五神经网络为基于容许道路宽度信息监督信息训练完成的神经网络。
在本实施例的一些可选的实现方式中，所述道路图生成单元404还可以包括：中心线确定子单元(图中未示出)，用于确定所述道路图中道路的中心线。
在本实施例的一些可选的实现方式中，所述道路图生成单元404还可以包括：道路矢量图获取子单元(图中未示出)，用于将所述道路图进行矢量化处理，获得道路矢量图。
在本实施例的一些可选的实现方式中，所述第三神经网络的训练方法，可以包括：获取训练用遥感图像的道路方向基准图；将训练用遥感图像或其多通道的道路特征图输入待训练的第三神经网络，以经待训练的第三神经网络提取多通道的第四道路特征图；根据所述多通道的第四道路特征图确定一道路方向回归图；至少将所述道路方向回归图和所述道路方向基准图之间的第一损失回传所述待训练的第三神经网络，以调整所述待训练的第三神经网络的网络参数。
在本实施例的一些可选的实现方式中，所述第二子神经网络的训练方法，可以包括：获取训练用遥感图像的等宽道路基准图；将训练用的遥感图像或其多通道的道路特征图输入待训练的第二子神经网络，以经待训练的第二子神经网络提取多通道的第五道路特征图；根据所述多通道的第五道路特征图确定一第一道路概率图；至少将所述第一道路概率图和所述等宽道路基准图之间的第二损失回传所述待训练的第二子神经网络，以调整所述待训练的第二子神经网络的网络参数。
在本实施例的一些可选的实现方式中，训练所述第五神经网络的训练方法，可以包括：获取训练用遥感图像的等宽道路基准图；将训练用的遥感图像或其多通道的道路特征图输入待训练的第五神经网络，以经待训练的第五神经网络提取多通道的第六道路特征图；根据所述多通道的第六道路特征图确定一第二道路概率图；至少将所述第二道路概率图和所述等宽道路基准图之间的第三损失回传所述待训练的第五神经网络，以调整所述待训练的第五神经网络的网络参数。
在本实施例的一些可选的实现方式中，训练过程中，将所述第一损失、所述第二损失和所述第三损失分别回传包括所述第三神经网络、所述第二子神经网络和所述第五神经网络的神经网络***，以联合调整所述神经网络***的网络参数。
本申请提供了一种电子设备，包括：存储器，用于存储可执行指令；以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成上述道路图生成方法的操作。
本申请提供了一种计算机存储介质，用于存储计算机可读取的指令，上述指令被执行时执行上述道路图生成方法的操作。下面参考图5，其示出了适于用来实现本申请实施例的弹幕服务器的服务器500的结构示意图。
如图5所示，服务器500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM503中，还存储有***500操作所需的各种程序和数据。CPU501、ROM502以及RAM503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，上述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。
附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括第一道路特征信息获取单元、第三道路特征信息获取单元、信息融合单元和道路图生成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，道路图生成单元还可以被描述为“用于获取道路图的单元”。
作为另一方面，本申请还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中上述装置中所包含的非易失性计算机存储介质；也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当上述一个或者多个程序被一个设备执行时，使得上述设备：将遥感图像输入第一神经网络，以经所述第一神经网络提取多通道的第一道路特征信息；将所述多通道的第一道路特征信息输入第三神经网络，以经所述第三神经网络提取多通道的第三道路特征信息，其中，所述第三神经网络为至少以道路方向信息为监督而训练完成的神经网络；融合所述第一道路特征信息和所述第三道路特征信息；根据融合结果生成道路图。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种道路图生成方法，其特征在于，包括：
将遥感图像输入第一神经网络，以经所述第一神经网络提取多通道的第一道路特征信息；
将所述多通道的第一道路特征信息输入第三神经网络，以经所述第三神经网络提取多通道的第三道路特征信息，其中，所述第三神经网络为至少以道路方向信息为监督而训练完成的神经网络；
融合所述第一道路特征信息和所述第三道路特征信息；
根据融合结果生成道路图。
2.根据权利要求1所述的方法，其特征在于，所述融合所述第一道路特征信息和所述第三道路特征信息，包括：
相加或加权相加所述第一道路特征信息和所述第三道路特征信息；或者，
串接所述第一道路特征信息和所述第三道路特征信息。
3.根据权利要求1或2所述的方法，其特征在于，所述第一神经网络包括：第二子神经网络，其中，所述第二子神经网络为以容许道路宽度信息为监督而训练完成的神经网络；
所述将遥感图像输入第一神经网络，以经所述第一神经网络提取多通道的第一道路特征信息，包括：
将所述遥感图像输入所述第二子神经网络，以经所述第二子神经网络提取多通道的第二道路特征图。
4.根据权利要求1或2所述的方法，其特征在于，所述第一神经网络包括：第一子神经网络和第二子神经网络；
所述将遥感图像输入第一神经网络，以经所述第一神经网络提取多通道的第一道路特征信息，包括：
将所述遥感图像输入所述第一子神经网络，以经所述第一子神经网络提取多通道的第一道路特征图；
将所述多通道的第一道路特征图输入第二子神经网络，以经所述第二子神经提取多通道的第二道路特征图，其中，所述第二子神经网络为以容许道路宽度信息为监督而训练完成的神经网络。
5.一种道路图生成装置，其特征在于，包括：
第一道路特征信息获取单元，用于将遥感图像输入第一神经网络，以经所述第一神经网络提取多通道的第一道路特征信息；
第三道路特征信息获取单元，用于将所述多通道的第一道路特征信息输入第三神经网络，以经所述第三神经网络提取多通道的第三道路特征信息，其中，所述第三神经网络为至少以道路方向信息为监督而训练完成的神经网络；
信息融合单元，用于融合所述第一道路特征信息和所述第三道路特征信息；
道路图生成单元，用于根据融合结果生成道路图。
6.根据权利要求5所述的装置，其特征在于，所述信息融合单元包括：
相加或加权相加所述第一道路特征信息和所述第三道路特征信息；或者，
串接所述第一道路特征信息和所述第三道路特征信息。
7.根据权利要求5或6所述的装置，其特征在于，所述第一神经网络包括：第二子神经网络，其中，所述第二子神经网络为以容许道路宽度信息为监督而训练完成的神经网络；
所述第一道路特征信息获取单元包括：
第二道路特征图获取第一子单元，将所述遥感图像输入所述第二子神经网络，以经所述第二子神经网络提取多通道的第二道路特征图。
8.根据权利要求5或6所述的装置，其特征在于，所述第一神经网络包括：第一子神经网络和第二子神经网络；
所述第一道路特征信息获取单元包括：
第一道路特征图获取第一子单元，用于将所述遥感图像输入所述第一子神经网络，以经所述第一子神经网络提取多通道的第一道路特征图；
第二道路特征图获取第二子单元，用于将所述多通道的第一道路特征图输入第二子神经网络，以经所述第二子神经提取多通道的第二道路特征图，其中，所述第二子神经网络为以容许道路宽度信息为监督而训练完成的神经网络。
9.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；以及
处理器，用于与所述存储器通信以执行所述可执行指令从而完成权利要求1至4任意一项所述道路图生成方法的操作。
10.一种计算机存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1至4中任一所述道路图生成方法的操作。
CN201710848159.2A 2017-09-19 2017-09-19 一种道路图生成方法、装置、电子设备和计算机存储介质 Pending CN108230421A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201710848159.2A CN108230421A (zh) 2017-09-19 2017-09-19 一种道路图生成方法、装置、电子设备和计算机存储介质
JP2019558374A JP6918139B2 (ja) 2017-09-19 2018-07-19 道路地図生成方法、装置、電子機器およびコンピュータ記憶媒体
PCT/CN2018/096332 WO2019056845A1 (zh) 2017-09-19 2018-07-19 道路图生成方法、装置、电子设备和计算机存储介质
SG11201909743Q SG11201909743QA (en) 2017-09-19 2018-07-19 Method and apparatus for generating road map, electronic device, and computer storage medium
US16/655,336 US11354893B2 (en) 2017-09-19 2019-10-17 Method and apparatus for generating road map, electronic device, and computer storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710848159.2A CN108230421A (zh) 2017-09-19 2017-09-19 一种道路图生成方法、装置、电子设备和计算机存储介质

Publications (1)

Publication Number Publication Date
CN108230421A true CN108230421A (zh) 2018-06-29

Family

ID=62655449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710848159.2A Pending CN108230421A (zh) 2017-09-19 2017-09-19 一种道路图生成方法、装置、电子设备和计算机存储介质

Country Status (5)

Country Link
US (1) US11354893B2 (zh)
JP (1) JP6918139B2 (zh)
CN (1) CN108230421A (zh)
SG (1) SG11201909743QA (zh)
WO (1) WO2019056845A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359598A (zh) * 2018-10-18 2019-02-19 中国科学院空间应用工程与技术中心 一种识别光学遥感图像道路的y型神经网络***及方法
WO2019056845A1 (zh) * 2017-09-19 2019-03-28 北京市商汤科技开发有限公司 道路图生成方法、装置、电子设备和计算机存储介质
CN109597862A (zh) * 2018-10-31 2019-04-09 百度在线网络技术（北京）有限公司 基于拼图式的地图生成方法、装置及计算机可读存储介质
EP3579144A3 (en) * 2018-09-11 2020-03-04 Baidu Online Network Technology (Beijing) Co., Ltd. Visual perception method, apparatus, device, and medium based on an autonomous vehicle
CN110967028A (zh) * 2019-11-26 2020-04-07 深圳优地科技有限公司 导航地图构建方法、装置、机器人及存储介质
CN111353441A (zh) * 2020-03-03 2020-06-30 成都大成均图科技有限公司 基于位置数据融合的道路提取方法和***
WO2021243576A1 (en) * 2020-06-02 2021-12-09 Huawei Technologies Co., Ltd. Apparatus, system and method for detecting speed bumps and potholes on a road

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047856B (zh) * 2019-04-09 2020-11-10 浙江鸣春纺织股份有限公司 多通道拥堵指数获取平台
CN113496182B (zh) * 2020-04-08 2024-05-21 北京京东叁佰陆拾度电子商务有限公司 基于遥感影像的道路提取方法及装置、存储介质及设备
CN112131233B (zh) * 2020-08-28 2022-11-15 北京百度网讯科技有限公司 识别更新道路的方法、装置、设备和计算机存储介质
KR102352009B1 (ko) * 2020-10-16 2022-01-18 한국항공우주연구원 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 방법 및 지도 정보를 이용한 기계학습 기반 위성영상 기하보정 시스템
CN113033608A (zh) * 2021-02-08 2021-06-25 北京工业大学 遥感影像道路提取方法及装置
US11858514B2 (en) 2021-03-30 2024-01-02 Zoox, Inc. Top-down scene discrimination
US11810225B2 (en) * 2021-03-30 2023-11-07 Zoox, Inc. Top-down scene generation
CN113505627A (zh) * 2021-03-31 2021-10-15 北京苍灵科技有限公司 遥感数据处理方法、装置、电子设备和存储介质
CN113361371B (zh) * 2021-06-02 2023-09-22 北京百度网讯科技有限公司 道路提取方法、装置、设备以及存储介质
EP4363800A1 (en) * 2021-06-30 2024-05-08 Grabtaxi Holdings Pte. Ltd. Server and method for generating road map data
CN113421277B (zh) * 2021-08-25 2021-12-14 中科星图股份有限公司 基于遥感图像的道路提取及异常监控的方法和装置
JP2023132855A (ja) * 2022-03-11 2023-09-22 日立Astemo株式会社 地図情報処理装置
CN116109966B (zh) * 2022-12-19 2023-06-27 中国科学院空天信息创新研究院 一种面向遥感场景的视频大模型构建方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310443A (zh) * 2013-05-20 2013-09-18 华浩博达（北京）技术有限公司 高分辨率遥感影像快速处理方法及***
CN104915636A (zh) * 2015-04-15 2015-09-16 北京工业大学 基于多级框架显著性特征的遥感影像道路识别方法
EP3171292A1 (en) * 2015-09-10 2017-05-24 Baidu Online Network Technology (Beijing) Co., Ltd. Driving lane data processing method, device, storage medium and apparatus
CN106874894A (zh) * 2017-03-28 2017-06-20 电子科技大学 一种基于区域全卷积神经网络的人体目标检测方法
CN106909886A (zh) * 2017-01-20 2017-06-30 中国石油大学(华东) 一种基于深度学习的高精度交通标志检测方法及***

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8675995B2 (en) * 2004-07-09 2014-03-18 Terrago Technologies, Inc. Precisely locating features on geospatial imagery
US7660441B2 (en) * 2004-07-09 2010-02-09 Southern California, University System and method for fusing geospatial data
US7974814B2 (en) * 2007-06-15 2011-07-05 Raytheon Company Multiple sensor fusion engine
JP4825836B2 (ja) * 2008-03-24 2011-11-30 株式会社日立ソリューションズ 道路地図データ作成システム
CN102110364B (zh) * 2009-12-28 2013-12-11 日电（中国）有限公司 基于路口和路段的交通信息处理方法和装置
US9416499B2 (en) * 2009-12-31 2016-08-16 Heatwurx, Inc. System and method for sensing and managing pothole location and pothole characteristics
US8706407B2 (en) * 2011-03-30 2014-04-22 Nokia Corporation Method and apparatus for generating route exceptions
US9317779B2 (en) * 2012-04-06 2016-04-19 Brigham Young University Training an image processing neural network without human selection of features
US9037519B2 (en) * 2012-10-18 2015-05-19 Enjoyor Company Limited Urban traffic state detection based on support vector machine and multilayer perceptron
WO2015130970A1 (en) * 2014-02-26 2015-09-03 Analog Devices, Inc. Systems for providing intelligent vehicular systems and services
US20160379388A1 (en) * 2014-07-16 2016-12-29 Digitalglobe, Inc. System and method for combining geographical and economic data extracted from satellite imagery for use in predictive modeling
US10223816B2 (en) * 2015-02-13 2019-03-05 Here Global B.V. Method and apparatus for generating map geometry based on a received image and probe data
US10089528B2 (en) * 2015-08-18 2018-10-02 Digitalglobe, Inc. Movement intelligence using satellite imagery
CN105184270B (zh) * 2015-09-18 2019-06-18 深圳市数字城市工程研究中心 一种基于脉冲耦合神经网络方法的道路信息遥感提取方法
JP6709283B2 (ja) * 2015-11-16 2020-06-10 オービタル インサイト インコーポレイテッド 低解像度リモートセンシング画像を用いた移動車両の検出及び分析
US9950700B2 (en) * 2016-03-30 2018-04-24 GM Global Technology Operations LLC Road surface condition detection with multi-scale fusion
US20170300763A1 (en) * 2016-04-19 2017-10-19 GM Global Technology Operations LLC Road feature detection using a vehicle camera system
CN107025440A (zh) * 2017-03-27 2017-08-08 北京航空航天大学 一种基于新型卷积神经网络的遥感图像道路提取方法
US10869627B2 (en) * 2017-07-05 2020-12-22 Osr Enterprises Ag System and method for fusing information related to a driver of a vehicle
US10395144B2 (en) * 2017-07-24 2019-08-27 GM Global Technology Operations LLC Deeply integrated fusion architecture for automated driving systems
CN108230421A (zh) * 2017-09-19 2018-06-29 北京市商汤科技开发有限公司 一种道路图生成方法、装置、电子设备和计算机存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310443A (zh) * 2013-05-20 2013-09-18 华浩博达（北京）技术有限公司 高分辨率遥感影像快速处理方法及***
CN104915636A (zh) * 2015-04-15 2015-09-16 北京工业大学 基于多级框架显著性特征的遥感影像道路识别方法
EP3171292A1 (en) * 2015-09-10 2017-05-24 Baidu Online Network Technology (Beijing) Co., Ltd. Driving lane data processing method, device, storage medium and apparatus
CN106909886A (zh) * 2017-01-20 2017-06-30 中国石油大学(华东) 一种基于深度学习的高精度交通标志检测方法及***
CN106874894A (zh) * 2017-03-28 2017-06-20 电子科技大学 一种基于区域全卷积神经网络的人体目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨景超: "《辅助驾驶中基于单幅图像的复杂道路场景分类方法研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑（月刊）》 *
胡阳等: "《一种改进的Ribbon Snake遥感图像道路自动生成算法》", 《计算机应用》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019056845A1 (zh) * 2017-09-19 2019-03-28 北京市商汤科技开发有限公司 道路图生成方法、装置、电子设备和计算机存储介质
US11354893B2 (en) 2017-09-19 2022-06-07 Beijing Sensetime Technology Development Co., Ltd. Method and apparatus for generating road map, electronic device, and computer storage medium
EP3579144A3 (en) * 2018-09-11 2020-03-04 Baidu Online Network Technology (Beijing) Co., Ltd. Visual perception method, apparatus, device, and medium based on an autonomous vehicle
US11120275B2 (en) 2018-09-11 2021-09-14 Baidu Online Network Technology (Beijing) Co., Ltd. Visual perception method, apparatus, device, and medium based on an autonomous vehicle
CN109359598A (zh) * 2018-10-18 2019-02-19 中国科学院空间应用工程与技术中心 一种识别光学遥感图像道路的y型神经网络***及方法
CN109359598B (zh) * 2018-10-18 2019-09-24 中国科学院空间应用工程与技术中心 一种识别光学遥感图像道路的y型神经网络***及方法
CN109597862A (zh) * 2018-10-31 2019-04-09 百度在线网络技术（北京）有限公司 基于拼图式的地图生成方法、装置及计算机可读存储介质
CN110967028A (zh) * 2019-11-26 2020-04-07 深圳优地科技有限公司 导航地图构建方法、装置、机器人及存储介质
CN110967028B (zh) * 2019-11-26 2022-04-12 深圳优地科技有限公司 导航地图构建方法、装置、机器人及存储介质
CN111353441A (zh) * 2020-03-03 2020-06-30 成都大成均图科技有限公司 基于位置数据融合的道路提取方法和***
WO2021243576A1 (en) * 2020-06-02 2021-12-09 Huawei Technologies Co., Ltd. Apparatus, system and method for detecting speed bumps and potholes on a road

Also Published As

Publication number Publication date
JP2020520493A (ja) 2020-07-09
JP6918139B2 (ja) 2021-08-11
WO2019056845A1 (zh) 2019-03-28
US11354893B2 (en) 2022-06-07
US20200050854A1 (en) 2020-02-13
SG11201909743QA (en) 2019-11-28

Similar Documents

Publication Publication Date Title
CN108230421A (zh) 一种道路图生成方法、装置、电子设备和计算机存储介质
CN108229575A (zh) 用于检测目标的方法和装置
CN111340131B (zh) 图像的标注方法、装置、可读介质和电子设备
CN108537326A (zh) 用于自动驾驶车辆的方法、介质和***
CN107609502A (zh) 用于控制无人驾驶车辆的方法和装置
CN107945198A (zh) 用于标注点云数据的方法和装置
CN106909886B (zh) 一种基于深度学习的高精度交通标志检测方法及***
CN107481292A (zh) 车载摄像头的姿态误差估计方法和装置
CN108710885A (zh) 目标对象的检测方法和装置
CN110325981A (zh) 基于变化检测的地图界面更新***
CN109145759A (zh) 车辆属性识别方法、装置、服务器及存储介质
CN109784194A (zh) 目标检测网络构建方法和训练方法、目标检测方法
CN106647805A (zh) 无人机自主飞行的方法、装置以及无人机
CN105210085A (zh) 使用最短连线特征的图像标记
CN108510454A (zh) 用于生成深度图像的方法和装置
CN108389172A (zh) 用于生成信息的方法和装置
US11694359B2 (en) Method and apparatus for calibrating camera
CN111291761B (zh) 用于识别文字的方法和装置
CN107941226A (zh) 用于生成车辆的方向引导线的方法和装置
CN110892760A (zh) 基于深度学习定位终端设备
CN111854763A (zh) 变电站巡检方法、装置及终端设备
CN108509921A (zh) 用于生成信息的方法和装置
CN108133197A (zh) 用于生成信息的方法和装置
CN108170751B (zh) 用于处理图像的方法和装置
CN111401255B (zh) 用于识别分歧路口的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180629