CN117011413B - 道路图像重建方法、装置、计算机设备和存储介质 - Google Patents
道路图像重建方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN117011413B CN117011413B CN202311265854.8A CN202311265854A CN117011413B CN 117011413 B CN117011413 B CN 117011413B CN 202311265854 A CN202311265854 A CN 202311265854A CN 117011413 B CN117011413 B CN 117011413B
- Authority
- CN
- China
- Prior art keywords
- road
- image
- instance
- area
- instantiation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 93
- 230000011218 segmentation Effects 0.000 claims abstract description 61
- 238000004590 computer program Methods 0.000 claims abstract description 21
- 238000005457 optimization Methods 0.000 claims description 16
- 238000003708 edge detection Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 10
- 238000010801 machine learning Methods 0.000 claims description 8
- 238000011282 treatment Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 12
- 238000013473 artificial intelligence Methods 0.000 abstract description 11
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 238000002955 isolation Methods 0.000 description 8
- 239000011800 void material Substances 0.000 description 7
- 238000010276 construction Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000009499 grossing Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种道路图像重建方法、装置、计算机设备、存储介质和计算机程序产品。所述方法可应用于云技术、人工智能、地图等场景，所述方法包括：对道路影像进行实例分割，得到道路面图像；对所述道路面图像中的空洞区域进行空洞填补，并对空洞填补后的道路面图像进行实例化，得到实例化图像；基于所述实例化图像中道路实例的边缘确定各所述道路实例的公共元素；根据各所述道路实例对所述公共元素进行语义划分，得到第一语义信息；基于所述第一语义信息对所述实例化图像中的各道路实例进行图像处理，得到重建道路图像。采用本方法能够提高重建道路图像的准确性。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种道路图像重建方法、装置、计算机设备和存储介质。
背景技术
重建的道路图像包含了道路区域的视觉信息和语义信息，可广泛用于导航、自动驾驶、交通管理等领域以支持准确的路线规划和路径导航。
目前重建道路图像通常是基于从卫星、摄像头或其他传感器中获取的原始道路图像生成的，传感器的质量、天气条件、遮挡或者其他因素可能会导致原始道路图像的质量较差，从而导致重建道路图像的准确性也会受到影响。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高重建道路图像的信息丰富度和准确性的道路图像重建方法、装置、计算机设备和存储介质。
第一方面，本申请提供了一种道路图像重建方法。所述方法包括：
对道路影像进行实例分割，得到道路面图像；
对所述道路面图像中的空洞区域进行空洞填补，并对空洞填补后的道路面图像进行实例化，得到实例化图像；
基于所述实例化图像中道路实例的边缘确定各所述道路实例的公共元素；
根据各所述道路实例对所述公共元素进行语义划分，得到第一语义信息；
基于所述第一语义信息对所述实例化图像中的各道路实例进行图像处理，得到重建道路图像。
第二方面，本申请还提供了一种道路图像重建装置。所述装置包括：
道路面图像生成模块，用于对道路影像进行实例分割，得到道路面图像；
实例化图像生成模块，用于对所述道路面图像中的空洞区域进行空洞填补，并对空洞填补后的道路面图像进行实例化，得到实例化图像；
公共元素确定模块，用于基于所述实例化图像中道路实例的边缘确定各所述道路实例的公共元素；
语义确定模块，用于根据各所述道路实例对所述公共元素进行语义划分，得到第一语义信息；
图像处理模块，用于基于所述第一语义信息对所述实例化图像中的各道路实例进行图像处理，得到重建道路图像。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
对道路影像进行实例分割，得到道路面图像；
对所述道路面图像中的空洞区域进行空洞填补，并对空洞填补后的道路面图像进行实例化，得到实例化图像；
基于所述实例化图像中道路实例的边缘确定各所述道路实例的公共元素；
根据各所述道路实例对所述公共元素进行语义划分，得到第一语义信息；
基于所述第一语义信息对所述实例化图像中的各道路实例进行图像处理，得到重建道路图像。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
对道路影像进行实例分割，得到道路面图像；
对所述道路面图像中的空洞区域进行空洞填补，并对空洞填补后的道路面图像进行实例化，得到实例化图像；
基于所述实例化图像中道路实例的边缘确定各所述道路实例的公共元素；
根据各所述道路实例对所述公共元素进行语义划分，得到第一语义信息；
基于所述第一语义信息对所述实例化图像中的各道路实例进行图像处理，得到重建道路图像。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
对道路影像进行实例分割，得到道路面图像；
对所述道路面图像中的空洞区域进行空洞填补，并对空洞填补后的道路面图像进行实例化，得到实例化图像；
基于所述实例化图像中道路实例的边缘确定各所述道路实例的公共元素；
根据各所述道路实例对所述公共元素进行语义划分，得到第一语义信息；
基于所述第一语义信息对所述实例化图像中的各道路实例进行图像处理，得到重建道路图像。
上述道路图像重建方法、装置、计算机设备、存储介质和计算机程序产品，通过对道路影像进行实例分割，得到道路面图像，通过对道路面图像中的空洞区域进行空洞填补，并对空洞填补后的道路面图像进行实例化，得到实例化图像，基于实例化图像中道路实例的边缘确定各道路实例的公共元素；根据各道路实例对公共元素进行语义划分，得到第一语义信息；基于第一语义信息对实例化图像中的各道路实例进行图像处理，得到重建道路图像，通过空洞填补和实例化处理可以避免由于道路影像的遮挡问题导致重建图像出现空洞，确保最终得到重建道路图像中各道路实例（如路段路面和路口路面）的完整性和连续性，提高了重建道路图像的准确性，通过确定公共元素并进行语义划分可以确定相邻实例之间的关系，进一步结合基于语义信息的图像处理，可以使得最终得到的重建道路图像包含有更加准确且丰富的语义信息，提高了重建道路图像的息丰富度和准确性。
附图说明
图1为一个实施例中道路图像重建方法的应用环境图；
图2为一个实施例中道路图像重建方法的流程示意图；
图3为一个实施例中道路影像示意图；
图4为一个实施例中道路面图像示意图；
图5为一个实施例中实例化图像示意图；
图6为一个实施例中重建道路图像示意图；
图7为另一个实施例中道路图像重建方法的流程示意图；
图8为一个实施例中道路图像重建方法各步骤的处理结果示意图；
图9为一个实施例中路口图像示意图；
图10为一个实施例中传统方案处理结果示意图；
图11为另一个实施例中重建道路图像示意图；
图12为一个实施例中重建道路图像的语义信息示意图；
图13为一个实施例中路口大图的重建结果示意图；
图14为一个实施例中道路图像重建结果示意图；
图15为一个实施例中道路图像重建装置的结构框图；
图16为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的道路图像重建方法涉及人工智能的机器学习、计算机视觉等技术，其中：
人工智能(Artificial Intelligence, AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
计算机视觉技术(Computer Vision, CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例提供的道路图像重建方法，可以应用于智能交通***，智能交通***(Intelligent Traffic System，ITS)又称智能运输***(IntelligentTransportationSystem)，是将先进的科学技术(信息技术、计算机技术、数据通信技术、传感器技术、电子控制技术、自动控制理论、运筹学、人工智能等)有效地综合运用于交通运输、服务控制和车辆制造，加强车辆、道路、使用者三者之间的联系，从而形成一种保障安全、提高效率、改善环境、节约能源的综合运输***。或者；
智能车路协同***(Intelligent Vehicle Infrastructure CooperativeSystems，IVICS)，简称车路协同***，是智能交通***(ITS)的一个发展方向。车路协同***是采用先进的无线通信和新一代互联网等技术，全方位实施车车、车路动态实时信息交互，并在全时空动态交通信息获取与融合的基础上开展车辆主动安全控制和道路协同管理，充分实现人车路的有效协同，保证交通安全，提高通行效率，从而形成的安全、高效和环保的道路交通***。
本申请实施例提供的道路图像重建方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储***可以存储服务器104需要处理的数据。数据存储***可以集成在服务器104上，也可以放在云上或其他服务器上。该道路图像重建方法可以由终端102或服务器104单独执行，或者由终端102和服务器104协同执行，以终端102单独执行为例，终端102对道路影像进行实例分割，得到道路面图像；对道路面图像中的空洞区域进行空洞填补，并对空洞填补后的道路面图像进行实例化，得到实例化图像；基于实例化图像中道路实例的边缘确定各道路实例的公共元素；根据各道路实例对公共元素进行语义划分，得到第一语义信息；基于第一语义信息对实例化图像中的各道路实例进行图像处理，得到重建道路图像。
其中，终端102可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端102以及服务器104可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
在一个实施例中，如图2所示，提供了一种道路图像重建方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：
S202，对道路影像进行实例分割，得到道路面图像。
其中，道路影像是指捕获或记录了道路、街道或马路的图像，具体可以是通过卫星、摄像头、无人机或者其他设备获取的，道路影像包含有道路信息，道路信息也可以称为道路要素，道路要素包括点道路要素、线道路要素和面道路要素，点道路要素是指道路上的特定点或位置，例如交叉路口的中心点、路标的位置、道路上的特定地点，点道路要素可以用来确定路口、标记路线上的特殊位置等；线道路要素是指道路上的线性特征，例如车道线、边缘线、道路中心线等，线道路要素可以用于定义道路的几何形状和布局，以及车辆行驶的路径；面道路要素是指道路区域的闭合区域，通常表示道路的道路表面或车道，面道路要素可用于描述道路的整体形状和表面，道路要素对于许多交通和地理信息***应用都非常重要，比如可以用于地图制作、导航、交通监测、自动驾驶汽车的环境感知等。
实例分割用于将图像中的每个像素分配给其所属的对象或实例。具体来说，实例分割的目标是在图像中检测和分割出不同的物体实例，即使它们属于相同的类别，也要区分开来，例如，在一张图像中，实例分割可以用于识别不同的汽车、行人和自行车，并为每辆汽车、每个行人和每辆自行车分配唯一的标识符。本申请实施例中，实例分割可以使用深度学习方法，如卷积神经网络（CNN），以在图像中检测和分割对象实例。
对道路影像进行实例分割是指将道路影像中的每个像素分配给器所属的道路实例，道路实例道路影像中的每个道路区域或道路对象的实际表示，每个道路实例都具有唯一的标识符或标签，它代表图像中的一个特定部分，可以是一段道路、一个交叉路口、一个车道、一个隔离带或其他道路相关的对象。
道路面图像是用于表征道路的可行驶区域即路面的形状和位置的图像，具体可以是一个二值图像，其中道路区域可以用白色或者其他明显的颜色表示，而非道路区域则用黑色或其他背景颜色表示。如图3所示，为一个实施例中的道路影像，图4为对该道路影像进行实例分割所得到道路面图像，该道路面图像中存在一些空洞区域。
具体的，计算机设备在得到道路影像之后，可以对道路影像进行预处理，得到预处理后道路影像，并对预处理后道路影像进行实例分割，得到实例分割结果，并基于实例分割结果生成道路面图像。
其中，预处理可以是图像去噪处理、尺寸调整处理、对比度增强处理等，图像去噪处理用于去除图像中的噪声或干扰，以提高图像质量，尺寸调整处理用于调整图像的大小，使其适合模型或算法的输入要求，对比度增强处理用于增强图像的对比度，以使图像中的细节更加清晰可见。
S204，对道路面图像中的空洞区域进行空洞填补，并对空洞填补后的道路面图像进行实例化，得到实例化图像。
其中，空洞区域是指道路面图像中为与道路区域内部的被标记为非道路区域的区域，空洞区域可能是由于图像处理中的噪声、遮挡、不完整的数据或其他因素而导致的，它们在道路面图像中表示为未被道路区域覆盖的区域，通常呈现为黑色或其他背景颜色。
空洞填补是指消除道路面图像中的缺失道路区域，以确保道路区域的完整性和准确性。
实例化是指将空洞填补后的道路面图像中的道路区域细分为不同的道路实例，以便更好地理解和处理图像中的道路要素，也就是说，针对空洞填补后的道路面图像中的道路区域的每一个子区域将其分配给特定的道路实例，得到实例化图像，实例化图像能够更精细的标识道路的不同部分。
具体的，计算机设备在得到道路面图像之后，对道路面图像进行空洞检测，得到道路面图像中的空洞区域，并对到路面图像中的空洞区域进行空洞填补，得到空洞填补后的道路面图像，针对空洞填补后的道路面图像中的原始道路区域和空洞填补区域分别进行实例化，得到实例化图像。
如图5所示为一个实例化图像，其中，每个不同的填充区域分别代表不同的实例对象，如表示标识路口路面，图5的中心部分被斜线填充的区域表示路口路面，图5下半部分中的斜正方形网格填充的区域表示隔离带。
S206，基于实例化图像中道路实例的边缘确定各道路实例的公共元素。
其中，边缘指的是实例与其他实例或非道路区域之间的分界线，标识了不同道路实例或道路与非道路区域之间的界限或边界。这些边缘在图像中可视化表示出道路实例的轮廓或边界。
公共元素是指的是不同道路实例之间共享的连接点和连接边中的至少一种，共享的连接点又可以称为关键点，共享的连接边又可以称为关键边，关键点和关键边表示了不同道路实例之间的关联和相邻关系，用于将不同实例连接在一起，以表明它们在图像中的拓扑关系。
具体的，计算机设备在得到实例化图像之后，可以对提取实例化图像中各道路实例的边缘，并基于各道路实例的边缘确定实例化图像中道路实例之间的连接关系，基于所确定的道路实例之间的连接关系确定各道路实例的公共元素。
S208，根据各道路实例对公共元素进行语义划分，得到第一语义信息。
其中，语义划分是指将每个公共元素与特定的语义信息或语义类别向关联的过程，也就是说语义划分是将每个公共元素（如关键点和关键边）分类到不同的语义类别或标签的过程，以表明它们在图像中的含义和作用。
第一语义信息是指公共元素的语义分类或标签，这些语义分类或标签用于表示每个关键元素在图像中的含义和作用，以便更好地理解和处理道路图像。第一语义信息包括边语义信息和点语义信息中的至少一种，可以理解的是，边语义信息是指关键边的语义信息，点语义信息是指关键点的语义信息。
具体的，计算机设备在得到实例化图像中各公共元素之后，针对任意一个公共元素，确定其所属的道路实例，基于其所属的道路实例对该公共元素进行语义划分，得到该公共实例的第一语义信息。
S210，基于第一语义信息对实例化图像中的各道路实例进行图像处理，得到重建道路图像。
其中，图像处理具体可以是基于语义的可视化处理，可以丰富图像的信息量以及提高图像的可读性。基于语义的可视化处理具体可以是颜色标记处理、线宽度和线型标记处理等，颜色标记处理是指根据语义对不同的道路实例以及道路实例的不同部分以不同颜色进行编辑，以区分不同道路要素；线宽度和线型标记处理是指根据语义对不同道路实例的边缘的不同部分以线条对道路上的线条进行粗细和线型标记，以区分不同类型的道路标线。
具体的，计算机设备在得到各公共元素的第一语义信息之后，基于第一语义信息对相应道路实例进行语义优化，得到语义优化后的道路实例，并基于语义优化后的道路实例生成重建道路图像。
如图6所示为一个实施例中的重建道路图像，图6中不同的填充区域代表不同的道路实例，相同填充图案表征相同的语义，即道路实例的类别相同，例如图6的上半部分中斜正方形网格填充的区域表示隔离带，如图6的下半部分中斜正方形网格填充的区域表示隔离带。
上述道路图像重建方法，通过对道路影像进行实例分割，得到道路面图像，通过对道路面图像中的空洞区域进行空洞填补，并对空洞填补后的道路面图像进行实例化，得到实例化图像，基于实例化图像中道路实例的边缘确定各道路实例的公共元素；根据各道路实例对公共元素进行语义划分，得到第一语义信息；基于第一语义信息对实例化图像中的各道路实例进行图像处理，得到重建道路图像，通过空洞填补和实例化处理可以避免由于道路影像的遮挡问题导致重建图像出现空洞，确保最终得到重建道路图像中各道路实例（如路段路面和路口路面）的完整性和连续性，提高了重建道路图像的准确性，通过确定公共元素并进行语义划分可以确定相邻实例之间的关系，进一步结合基于语义信息的图像处理，可以使得最终得到的重建道路图像包含有更加准确且丰富的语义信息，提高了重建道路图像的信息丰富度和准确性。
在一个实施例中，计算机设备对道路影像进行实例分割，得到道路面图像的过程包括以下步骤：从道路影像中分割出不同的道路实例；对各道路实例进行区域融合，得到融合了至少一个道路实例的路面区域；以融合了至少一个道路实例的路面区域为前景生成道路面图像。
其中，区域融合是指将相邻或重叠的道路实例所对应的路面区域合并为更大的连续区域。
具体的，计算机设备在得到道路影像之后，采用预训练的分割模型对道路影像进行特征提取，得到道路特征，并基于道路特征进行实例分割处理，得到实例分割结果，实例分割结果中包括分割出的不同的道路实例、各道路实例对应的语义类别以及各道路实例所对应的实例标识，每个道路实例分别对应于道路区域的一个子区域，在得到各个道路实例之后，对各道路实例所对应的子区域按照各自在道路影像中的位置，依次进行合并，直至对全部的道路实例合并完成，得到路面区域，将融合所得的路面区域作为前景，将背景设置为背景颜色，如黑色或其他背景颜色，生成道路面图像。
例如，对道路影像进行实例分割得到各道路实例的语义掩码（mask），并对各语义mask进行融合，得到合并的mask，并将合并的mask作前景语义生成道路面图像。
上述实施例中，计算机设备通过从道路影像中分割出不同的道路实例；对各道路实例进行区域融合，得到融合了至少一个道路实例的路面区域；以融合了至少一个道路实例的路面区域为前景生成道路面图像，从而可以得到包含基础的路面区域的道路面图像，为后续的道路图像重建和处理提供基础。
在一个实施例中，计算机设备对道路面图像中的空洞区域进行空洞填补的过程包括以下步骤：对道路面图像进行空洞检测，得到候选空洞区域；确定候选空洞区域中满足填补条件的空洞区域；对道路面图像中空洞区域的邻接路面区域进行膨胀处理，得到空洞填补后的道路面图像。
其中，空洞检测是指对道路面图像中的空洞区域进行识别并定位，空洞区域是指道路面图像中为与道路区域内部的被标记为非道路区域的区域，空洞区域可能是由于图像处理中的噪声、遮挡、不完整的数据或其他因素而导致的，它们在道路面图像中表示为未被道路区域覆盖的区域，通常呈现为黑色或其他背景颜色。
候选空洞区域是指被识别为潜在空洞或需要进行填补的区域，这些区域在空洞检测阶段被标识为可能的候选，但需要进一步验证其是否真正需要进行填补。
填补条件是指用于确定候选空洞区域是否需要进行填补的条件，具体可以包括空洞尺寸条件、空洞形状条件、空洞位置条件、上下文信息条件中的至少一种，空洞尺寸条件用于确定需要空洞的最小和最大允许尺寸，可以理解的是，过小的空洞可能被视为噪声而不进行填补，而过大的空洞可能并不是真正的空洞，因此也无需填补；空洞形状条件用于确定需要填补的空洞的形状，例如，可以限制填补的空洞为矩形、圆形或其他规则的形状；空洞位置条件用于确定需要填补的空洞的位置，例如空洞位于道路的非核心区域或位于车辆行至的非主要路径上则不需要填补；上下文信息条件用于限制填补的空洞与周围的道路区域的关系，例如只有在足够的上下文信息表明空洞是合理的时，才对其进行填补。
膨胀处理用于对道路区域进行扩张到周围像素，以实现对空洞区域的填补。
具体的，计算机设备在得到道路面图像之后，可以对道路面图像进行连通域分析，得到连通域分析结果，基于连通域分析结果确定候选空洞区域，并确定各候选空洞区域是否满足填补条件，以从各候选空洞区域中筛选出满足填补条件的空洞区域以进行空洞填补，在进行空洞填补时，可以确定空洞区域对应的邻接路面区域，并基于所确定的邻接路面区域与空洞区域之间的位置关系和大小关系确定膨胀参数，并基于膨胀参数对邻接路面区域进行膨胀处理，使得临街路面区域的像素扩张到空洞区域，从而实现对空洞区域的填补，得到空洞填补后的道路面图像。
例如，将合并的mask作前景语义生成道路面图像之后，可以对合并的mask进行膨胀处理，从而实现对道路面图像中的空洞图像进行填补，得到空洞填补后的道路面图像。
上述实施例中，计算机设备对道路面图像进行空洞检测，得到候选空洞区域；确定候选空洞区域中满足填补条件的空洞区域；对道路面图像中空洞区域的邻接路面区域进行膨胀处理，得到空洞填补后的道路面图像，从而提高了道路面图像中道路区域形状和位置信息的准确性，进而使得后面基于空洞填补后的道路面图像所生成的重建道路图像更加符合实际道路情况，提高了重建道路图像的准确性。
在一个实施例中，空洞填补后的道路面图像包括空洞填补区域和其他路面区域，计算机设备对空洞填补后的道路面图像进行实例化，得到实例化图像的过程包括以下步骤：对其他路面区域进行实例化，得到初始实例化图像；对初始实例化图像中的空洞填补区域进行实例化，得到实例化图像。
其中，空洞填补区域是指对空洞区域进行填补后所得到的路面区域；其他路面区域道路面图像中原始的对道路实例进行区域融合所得到的路面区域。
具体的，计算机设备在得到空洞填补后的道路面图像以后，针对道路面图像中的其他路面区域，可以基于对原始的道路影像的实例识别结果对其进行实例化，得到初始实例化图像，针对初始实例化图像中的空洞填补区域，根据空洞填补区域的尺寸特征，对其进行实例化，得到实例化图像。
在一个实施例中，针对各空洞填补区域可以按照其尺寸特征将其划分为第一空洞填补区域和第二空洞填补区域，其中第一空洞填补区域是指空洞尺寸达到了尺寸阈值的空洞填补区域，第二空洞填补区域是指空洞尺寸未达到尺寸阈值的空洞填补区域，例如将空洞面积达到面积阈值的空洞填补区域确定为第一空洞填补区域，将空洞面积未达到面积阈值的空洞填补区域确定为第二空洞填补区域；针对第一空洞填补区域，可以按照第一实例化方式对其进行实例化，针对第二空洞填补区域，可以按照第二实例化方式对其进行实例化。
上述实施例中，计算机设备通过对其他路面区域进行实例化，得到初始实例化图像；对初始实例化图像中的空洞填补区域进行实例化，得到实例化图像，从而可以将路面区域的不同子区域划分成不同的道路实例，从而可以更好地对道路影像中的道路要素进行建模和处理，提高了重建道路图像的准确性。
在一个实施例中，计算机设备对其他路面区域进行实例化，得到初始实例化图像的过程包括以下步骤：获取对道路影像进行实例分割所得到的实例分割结果；实例分割结果包括至少两个道路实例和对应的置信度；针对空洞填补后的道路面图像中各路面区域的子区域，确定至少两个道路实例中与子区域的形状和位置匹配的候选道路实例；当候选道路实例的数量为至少两个时，从候选道路实例中选取置信度满足置信度条件的目标道路实例；基于目标道路实例对子区域进行填充，得到初始实例化图像。
其中，置信度用于表征对相应道路实例识别的可信程度，高置信度表征识别结果非常可靠，而低置信度表示识别结果存在一定的不确定性。
具体的，计算机设备针对空洞填补后的道路面图像中各路面区域的子区域，确定各道路实例与子区域的形状和位置的匹配度，并根据匹配度从各道路实例中选取与子区域匹配的候选道路实例，当候选道路实例的数量为一个时，直接将该候选道路实例确定为目标道路实例，并基于该目标道路实例对子区域进行填充；当候选道路实例的数量为至少两个时，从各候选道路实例中选取置信度的满足置信度条件的目标道路实例，并基于该目标道路实例对子区域进行填充，在将分割得到的全部道路实例填充至其他道路区域之后，得到初始实例化图像。
需要说明的是，本申请实施例中，基于目标道路实例对子区域进行填充具体可以是基于目标道路实例的实例标识对子区域进行填充，例如不同的目标道路实例使用不同的填充图案，采用目标道路实例的实例标识所对应的填充图案对子区域进行填充，从而得到如图5所示的填充结果；此外，也可以是基于目标道路实例的语义类别对子区域进行填充，例如基于目标道路实例的语义类别确定对应的填充图案，基于所确定的填充图案对相应的子区域进行填充。
上述实施例中，计算机设备在基于对原始的道路影像的实例识别结果对其他路面区域进行实例化时，针对任一子区域，通过选取与其形状和位置均匹配的目标道路实例来对其进行填充，从而可以确保最终得到的实例化图像保留了原始的道路影像中的道路实例信息，并且通过选取置信度满足置信度条件的目标道路实例来对其进行填充，可以提高填充的准确性，进一步提高了实例化图像中的道路实例与原始的道路影像中的道路实例的一致性，进而提高了最终所得到的重建道路图像的准确性。
在一个实施例中，空洞填补区域包括第一空洞填补区域和第二空洞填补区域；第一空洞填补区域的面积大于第二空洞填补区域的面积；初始实例化图像也可以称为第一实例化图像，计算机设备对初始实例化图像中的空洞填补区域进行实例化，得到实例化图像的过程包括以下步骤：基于第一空洞填补区域的邻接实例，确定实例类别；在第一实例化图像中，按照实例类别在第一空洞填补区域生成新道路实例，得到第二实例化图像；确定第二空洞填补区域归属的道路实例；在第二实例化图像中，基于归属的道路实例对第二空洞填补区域进行实例化，得到实例化图像。
其中，邻接实例是第一实例化图像中与第一空洞填补区域邻接的道路实例；所确定的实例类别为第一空洞填补区域可能的道路实例的语义类别，例如，某个长条形的第一空洞填补区域其周围邻接的道路实例为路段、路口等实例，则可以确定出该第一空洞填补区域对应的实例类别为隔离带。
具体的，计算机设备在得到第一实例化图像后，针对第一实例化图像中的任意一个第一空洞填补区域，获取该第一空洞填补区域的邻接实例，通过预训练的机器学习模型基于邻接实例的语义类别确定该第一空洞填补区域所对应的实例类别，并按照所确定的实例类别在第一空洞填补区域生成新道路实例，在完成对每个第一空洞填补区域的实例化之后，得到第二实例化图像，在得到第二实例化图像之后，针对第二实例化图像中的第二空洞填补区域，确定第二空洞填补区域的邻接实例，并按照预设的归属规则从各邻接实例中选取第二空洞填补区域可归属的道路实例，并将该第二空洞区域归属到该道路实例中，具体可以基于归属的道路实例的语义对第二空洞填补区域进行填充，并将第二空洞填补区域与归属的道路实例之间的公共边界线消除，实现第二空洞区域的归属，在完成对全部第二空洞填补区域的实例化处理之后，得到第二实例化图像。
其中，归属规则可以基于邻接实例的类型、位置、形状、颜色等属性进行预先设置。
上述实施例中，计算机设备通过基于第一空洞填补区域的邻接实例，确定实例类别；在第一实例化图像中，按照实例类别在第一空洞填补区域生成新道路实例，得到第二实例化图像；确定第二空洞填补区域归属的道路实例；在第二实例化图像中，基于归属的道路实例对第二空洞填补区域进行实例化，得到实例化图像，从而可以对空洞填补区域进行准确的实例化处理，提高了实例化图像中的道路实例与原始的道路影像中的道路实例的一致性，进而提高了最终所得到的重建道路图像的准确性。
在一个实施例中，计算机设备基于实例化图像中道路实例的边缘确定各道路实例的公共元素包括：对实例化图像进行边缘检测，得到实例化图像中道路实例的边缘；基于边缘确定实例化图像中的道路实例骨架；基于道路实例骨架中的连接关系，确定各道路实例的公共元素。
其中，边缘检测用于识别实例化图像中各道路实例的轮廓，所得到的边缘具体可以是道路实例的内边缘。道路实例骨架是从道路图像中提取出的道路实例的主要结构表示，其实质是一系列相互连接的线段，线段的相互连接表征了道路实例之间的关系。
公共元素包括关键点和关键边中的至少一种，关键点通常为挂架中的特殊位置，如交叉点，关键边是连接关键点的线段。
具体的，计算机设备在得到实例化图像之后，可以采用预设的边缘检测算法对实例化图像进行边缘检测，得到实例化图像中各道路实例的边缘，采用语义骨架提取算法对边缘进行处理，得到实例化图像中道路实例骨架，基于道路实例骨架中的连接关系对道路实例骨架进行分析，以识别其中的关键点，并根据关键点之间的连接关系识别出关键边，从而得到各道路实例的共元素。
其中，预设的边缘检测算法可以是Sobel算子、Canny边缘检测、拉普拉斯算子或边缘检测滤波器。语义骨架提取算法用于从实例化图像中提取具有语义信息的骨架结构。
上述实施例中，计算机设备对实例化图像进行边缘检测，得到实例化图像中道路实例的边缘；基于边缘确定实例化图像中的道路实例骨架；基于道路实例骨架中的连接关系，确定各道路实例的公共元素，通过边缘检测和骨架分析从而可以自动识别公共元素，提高了公共元素识别的准确性和效率，从而后续可以进一步确定出公共元素的语义信息以重建道路图像，提高了重建道路图像的准确性并丰富了道路识别图像的信息量。
在一个实施例中，公共元素包括关键边，第一语义信息包括边语义信息，计算机设备根据各道路实例对公共元素进行语义划分，得到第一语义信息的过程包括以下步骤：确定关键边所属的目标道路实例；基于目标道路实例的语义信息对关键边进行语义划分，得到边语义信息。
其中，目标道路实例是包含关键边的道路实例，在道路场景中，关键边通常位于不同道路实例之间的交汇处，关键边通过与其所属的目标道路实例相关联，可以表示出关键边的准确语义信息。
具体的，针对任意一个关键边，计算机设备可以分析该关键边所连接的道路实例之间的关系，并根据连接关系分析结果确定该关键边所属的目标道路实例，获取目标道路实例的语义信息，基于目标道路实例的语义信息对关键边进行语义划分，得到该关键边的边语义信息。
上述实施例中，计算机设备通过确定关键边所属的目标道路实例，基于目标道路实例的语义信息对关键边进行语义划分，得到边语义信息，从而可以将图像中的关键边与目标道路实例关联，并赋予它们语义信息，以便后续将所得到的边语义信息添加到重建道路图像中，从而提高重建道路图像的信息量。
在一个实施例中，公共元素包括关键点，第一语义信息包括点语义信息，计算机设备根据各道路实例对公共元素进行语义划分，得到第一语义信息的过程包括以下步骤：确定关键点所属的目标道路实例；基于目标道路实例的语义信息对关键点进行语义划分，得到点语义信息。
其中，目标道路实例是包含关键点的道路实例，在道路场景中，关键点通常位于不同道路实例之间的交汇处，关键点通过与其所属的目标道路实例相关联，可以表示出关键点的准确语义信息。
具体的，针对任意一个关键点，计算机设备可以分析该关键点所连接的道路实例之间的关系，并根据连接关系分析结果确定该关键点所属的目标道路实例，获取目标道路实例的语义信息，基于目标道路实例的语义信息对关键点进行语义划分，得到该关键点的点语义信息。
上述实施例中，计算机设备通过确定关键点所属的目标道路实例，基于目标道路实例的语义信息对关键点进行语义划分，得到点语义信息，从而可以将图像中的关键点与目标道路实例关联，并赋予它们语义信息，以便后续将所得到的点语义信息添加到重建道路图像中，从而提高重建道路图像的信息量。
在一个实施例中，计算机设备还可以基于目标道路实例的语义信息，确定关键边的处理方式；按照处理方式对关键边进行优化处理，得到处理后关键边；基于目标道路实例的语义信息对处理后关键边进行语义划分，得到边语义信息。
其中，处理方式是指对关键边的优化方式，具体可以是参数化处理或者平滑处理，参数化处理是指通过参数来表达关键边的形状从而实现对关键边形状的优化，例如将曲线形状的关键边通过曲线函数来进行建模，使其更加规则；平滑处理是指通过减少关键边的不规则性来实现对关键边形状的优化，例如将锯齿状关键边变得更加平滑。
具体的，计算机设备基于目标道路实例的语义信息和关键边的形状信息，确定关键边的处理方式，按照处理方式对关键边进行优化处理，得到处理后关键边；基于目标道路实例的语义信息对处理后关键边进行语义划分，得到边语义信息。
需要说明的是，可以预先配置有处理方式库，处理方式库中包含有各种处理方式和对应的语义条件和形状条件，计算机设备可以将目标道路实例的语义信息和关键边的形状信息与语义条件和形状条件进行匹配，基于匹配结果从处理方式库中选取匹配的处理方式，并按照所选取的处理方式对关键边进行优化处理。
例如，某一关键边的所属目标路段实例为路口和非路段隔离、且该关键边的形状近似圆弧，则可以确定对该关键边的处理方式为参数化处理，具体可以将该关键边的曲线进行参数化建模，也就是将该关键边的曲线表示为圆弧的参数方程，并根据该参数方程生成圆滑弧度曲线，该圆滑弧度曲线即为优化后关键边，优化后关键边近似于原关键边的形状，但更平滑；某一关键边的所属目标路段实例为路段和隔离，且该关键边的形状为包括锯齿状的特征，如在拐角处为锯齿状，则可以确定对该关键边的处理方式为平滑处理，具体可以对关键边的形状进行处理，以减少锯齿或拐角的数量和尖锐度，得到平滑后关键边，平滑后关键边即为优化后关键边，优化后关键边相比于原关键边更加平滑和规则。
上述实施例中，计算机设备通过基于目标道路实例的语义信息，确定关键边的处理方式；按照处理方式对关键边进行优化处理，得到处理后关键边，根据不同的语义信息，选择适当的处理方式，可以改善关键边的视觉效果，例如减少锯齿、拐角和不规则性，使道路实例在图像中更加平滑和自然，提高了可视化效果；并且处理后的关键边能够更好地反映实际道路的特征，进而提高了基于处理后的关键边所生成的重建道路图像的准确性。
在一个实施例中，计算机设备基于第一语义信息对实例化图像中的各道路实例进行图像处理，得到重建道路图像的过程包括以下步骤：基于第一语义信息为实例化图像中的各道路实例添加语义标签，得到语义优化后道路实例；基于语义优化后道路实例生成重建道路图像。
具体的计算机设备在得到关键边的边语义信息以及关键点的点语义信息之后，针对道路实例的任意一个关键边，可以将该关键边的边语义信息所对应的语义标签与该关键边进行关联，针对道路实例的任意一个关键点，可以将该关键点的点语义信息所对应的语义标签与该关键点进行关联，得到语义优化后道路实例，在重建图像时，针对各语义优化后道路实例的点、线和面中各元素所关联的语义标签绘制相应的语义优化后道路实例，从而得到重建道路图像。
上述实施例中，计算机设备通过基于第一语义信息为实例化图像中的各道路实例添加语义标签，得到语义优化后道路实例，从而使得道路实例的不同元素都与特定的语义信息相关联，进而基于语义优化后道路实例生成重建道路图像，包含更加丰富的信息，提高了重建道路图像信息量和准确性，使得重建道路图像的内容更容易理解和分析；并且，重建道路图像在应用到道路规划、自动驾驶和城市规划等领域时，使得用户更容易地理解和分析图像中的道路结构和元素。
在一个实施例中，计算机设备得到重建道路图像之后，还可以获取待添加道路要素；确定待添加道路要素在重建道路图像中的要素添加位置；按照待添加要素对应的第二语义信息，在要素添加位置处绘制待添加道路要素，得到要素优化后重建道路图像。
其中，待添加道路要素是指需要在重建道路图像中添加的额外要素，这些要素与道路场景相关，具体可以是新的道路段、路标和交通标志、行人和车辆、交通灯和信号、道路标线和路缘带、路面状况、建筑物和环境等，添加新的道路段是指在重建道路图像中添加新的道路段或道路延伸，以扩展或连接现有道；添加路标和交通标志是指在重建道路图像中添加路标、交通标志、指示牌等，以标识道路上的信息、规则和路况；添加行人和车辆是指在重建道路图像中添加行人、自行车、汽车、公交车等交通参与者，以模拟交通流和行为；添加交通灯和信号是指在重建道路图像中交叉口或路段上添加交通灯、行人信号等，以模拟交通控制和交通流；添加道路标线和路缘带是指在重建道路图像中绘制道路标线、中心线、路缘带等，以增强道路的可辨识性和真实感；添加路面状况是指在重建道路图像中添加雨水、积水、冰雪等路面状况，以模拟不同的天气和道路条件；添加建筑物和环境是指在重建道路图像中道路周围添加建筑物、树木、灯杆、广告牌等环境元素，以提供更真实的场景。
具体的，计算机设备可以获取待添加要素的要素信息，具体可以包括待添加要素的第二语义信息、形状、材质等信息，并根据实际的地理数据或场景需求确定待添加要素的要素添加位置，然后使用图像处理工具根据待添加要素对应的第二语义信息，在要素添加位置处绘制待添加道路要素，得到要素优化后重建道路图像。
上述实施例中，计算机设备通过获取待添加道路要素；确定待添加道路要素在重建道路图像中的要素添加位置；按照待添加要素对应的第二语义信息，在要素添加位置处绘制待添加道路要素，得到要素优化后重建道路图像，从而可以提高重建道路图像中的信息量，使得要素优化后重建道路图像更加贴近真实的道路场景。
在一个实施例中，如图7所示，还提供了一种道路图像重建方法，提供了一种道路图像重建方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：
S702，从道路影像中分割出不同的道路实例；对各道路实例进行区域融合，得到融合了全部道路实例的路面区域；以融合了全部道路实例的路面区域为前景生成道路面图像。
S704，对道路面图像进行空洞检测，得到候选空洞区域；确定候选空洞区域中满足填补条件的空洞区域；对道路面图像中空洞区域的邻接路面区域进行膨胀处理，得到空洞填补后的道路面图像。
其中，空洞填补后的道路面图像包括空洞填补区域和其他路面区域；空洞填补区域包括第一空洞填补区域和第二空洞填补区域，第一空洞填补区域的面积大于第二空洞填补区域的面积。
S706，基于对道路影像进行实例分割所得到的实例分割结果对其他路面区域进行实例化，得到初始实例化图像；初始实例化图像为第一实例化图像。
S708，基于第一空洞填补区域的邻接实例，确定实例类别；在第一实例化图像中，按照实例类别在第一空洞填补区域生成新道路实例，得到第二实例化图像。
S710，确定第二空洞填补区域归属的道路实例；在第二实例化图像中，基于归属的道路实例对第二空洞填补区域进行实例化，得到实例化图像。
S712，对实例化图像进行边缘检测，得到实例化图像中道路实例的边缘；基于边缘确定实例化图像中的道路实例骨架；基于道路实例骨架中的连接关系，确定各道路实例的公共元素。
S714，确定关键边所属的目标道路实例；基于目标道路实例的语义信息，确定关键边的处理方式；按照处理方式对关键边进行优化处理，得到处理后关键边。
S716，基于目标道路实例的语义信息对处理后关键边进行语义划分，得到第一语义信息；基于第一语义信息对实例化图像中的各道路实例进行图像处理，得到重建道路图像。
S718，确定待添加道路要素在重建道路图像中的要素添加位置；按照待添加要素对应的第二语义信息，在要素添加位置处绘制待添加道路要素，得到要素优化后重建道路图像。
本申请还提供一种应用场景，该应用场景具体可以应用上述道路图像重建方法，该方法具体包括以下步骤：
步骤1、获取原始卫片感知结果
通过实例分割算法对道路卫星影像进行实例分割处理，得到实例分割结果，实例分割结果也可以称为卫片感知结果，实例分割结果包括各分割出的各道路实例，例如路口，路段，隔离，导流带，主辅路出入口，掉头口，环岛等。可以理解的是若直接基于该实例分割结果进行道路图像重建，如图8中的（1）所示，所得到的重建图像会存在压盖、不贴合或空洞等问题，并且也无法知晓相邻实例之间的关系，且实例的形态结构也无法保证与实际情况一致。
例如对图9所示的路口大图直接基于实例分割结果进行图像重建，可能会出现图10中的（a）所示的漏洞（也即空洞）、连通性差的问题，也可能出现图10中的（b）所示的漏洞、隔离带缺失、形态差的问题，还可能会出现图10中的（c）所示的漏洞、形态差隔离带缺失的问题。
步骤2、生成空洞填补后的可行驶区域的道路面
将步骤1中所识别出的全部的道路实例融合为一个mask图，变为前背景语义mask，得到包含道路区域的道路面图像，并检测道路面图像中的候选空洞区域，将从候选空洞区域中选取符合条件的空洞区域，并对道路面图像中前景mask执行膨胀与腐蚀操作，实现对道路面图像中的空洞区域进行填补，得到空洞填补后的道路面图像，如图8中的（2）所示道路面图像中的路面区域无空洞。
可以理解的是，本步骤中所生成的空洞填补后的道路面图像中的可行驶区域即整个全路面，这是整体的数据基底，以便后续实现道路图像的重建。
步骤3、道路面实例化
基于步骤1得到的实例分割结果，对道路面图像中的原始路面区域进行实例填充，也即覆盖性路面赋值实例语义；对于道路面图像中的空洞填补区域中的大面积区域进行新实例生成操作，对于空洞填补区域中的小面积区域就近归属到其它实例中，从而实现对道路面图像的全部路面区域进行实例填充，也即实例语义像素填满道路面，不留任何缝隙，得到实例化图像，如图8中的（3）所示，整个路面区域被全部被实例填充。
步骤4、提取实例边缘
对步骤3中实例化图像进行边缘提取，所提取的边缘可以是实例的内边缘，如图8中的（4）所示，生成了实例的所有边缘，缘厚度为2，且无实例间的共边体现，也无多实例间共点的表达，因此步骤4中的边缘只是基础边缘。
步骤5、实例间公共元素提取
使用语义骨架边缘提取算法，基于所提取的边缘确定联通关系，基于连通关系求解全量实例的关键点与关键边，如图8中的（5）所示，图中黑色圆点为关键点，连接黑色圆点的线段为关键边，关键点和关键边连接出各个实例（路口、路段、隔离等）。
步骤6、公共元素优化处理
根据实例语义对关键边进行平滑拟合等处理，如路口边缘进行参数化表达，生成圆滑弧度，对一些路段隔离的边缘线进行平滑或拉直处理，如图8中的（6）所示，让每个实例都更美观规整。其中，每调整一条关键边，实际是对2个实例边缘进行调整，可联动同步修性多个实例。
步骤7、实例边属性解构
对各实例进行实例化参数化的表达解析，路口路段实例化定义如下：如路口分为：路口面，交点，路口边界，路面出入边；解析路口路段等实例生成矢量化语义的路口定义-路口面，路口边缘，路口出入边，端点。
根据公共元素所属的实例进行语义划分，如路口与路段的关键边为路面出入边，如路口实例与非可行驶区域的共边则为路面边界；关键点为不同属性关键边的连接点，关键点与关键边组合为整个路口面。
根据语义划分结果生成重建道路图像，如图8中的（7）所示为得到的重建道路图像，图中各元素均被语义填充，也即图8中的（7）中的每个点、每条线、每个面均有实际的语义，具体可以参考图11和图12，图11为重建道路图像，图11中点、每条线、每个面的实际语义如图12所示。
步骤8、填充新要素
在前7个步骤生成的路口路段实例化的基础上，添加车道线，停止线，导流带，隔离带，地面车线的要素，完善这个路面的信息，得到要素优化后重建道路图像，如图8中的（8）所示。
本申请还提供一种应用场景，该应用场景具体可以地图场景，地图应用在得到道路影像之后，自动化采用本申请提供的道路图像重建方法，可以自动化实现6级多车道数据建图得到重建道路图像，同步在重建道路图像中输出车道线及其相关属性；此外还可以实现路口大图自动化，以结构化路口路段数据为基础，结合空间数据（sd）基础信息，完成路口大图全自动数据建图，满足路口大图渲染要求，渲染新一代路口实景图。具体地，计算机设备可以自动获取路口的道路影像，对道路影像进行实例分割处理，基于实例分割结果生成道路面图像，并对道路面图像中的空洞区域（如因原始的道路影像中的遮挡问题所形成的空洞）进行填补得到空洞填补后的道路面图像，对空洞填补后的道路面图像中的原始道路区域和空洞填补区域分别进行实例化，并提取实例化图像中道路实例的关键点和关键边，对关键边进行优化处理，确定各关键点和关键边的语义信息，并基于各关键点和关键边的语义信息对实例化图像中的各道路实例进行图像处理，得到重建道路图像，从而实现道路图像的自动化重建。为了更好的应用到车道级导航、自动驾驶、道路规划和城市规划等领域，还可以对重建道路图像添加道路要素，例如添加路标、交通标志、道路标线、路缘带、路面状况、建筑物和环境等要素，从而得到要素优化后的重建道路图像（如路口大图，参考图13所示路口大图的重建结果示意图），将要素优化后的重建道路图像作为电子地图中的地图图像，一方面可以使得用户更容易地理解和分析道路结构和元素，另一方面在进行车道级导航和自动驾驶时，可以基于该地图图像实现车道级的路径规划，并且在进行车道级导航时，在该地图图像中显示车道级的导航指引；此外，在道路规划和城市规划等领域，重建道路图像可以辅助实现路网可视化或城市环境可视化，使得规划者可以基于重建道路图像模拟评估道路网络、土地利用和交通流量等数据，以制定合理的规划方案。
此外还分别采用本申请提供的道路图像重建方法和传统重建方法对图14中的（a）所示的卫片影像进行图像重建，得到如图14中的（b）所示的传统方案的建图效果，以及如图14中的（c）所示的本申请提供的道路图像重建方法的建图效果，从图中可以看出本申请提供的道路图像重建方法的建图效果更好，如各道路实例更加完整和规则。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的道路图像重建方法的道路图像重建装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个道路图像重建装置实施例中的具体限定可以参见上文中对于道路图像重建方法的限定，在此不再赘述。
在一个实施例中，如图15所示，提供了一种道路图像重建装置，包括：道路面图像生成模块1502、实例化图像生成模块1504、公共元素确定模块1506、语义确定模块1508和图像处理模块1510，其中：
道路面图像生成模块1502，用于对道路影像进行实例分割，得到道路面图像。
实例化图像生成模块1504，用于对道路面图像中的空洞区域进行空洞填补，并对空洞填补后的道路面图像进行实例化，得到实例化图像。
公共元素确定模块1506，用于基于实例化图像中道路实例的边缘确定各道路实例的公共元素。
语义确定模块1508，用于根据各道路实例对公共元素进行语义划分，得到第一语义信息。
图像处理模块1510，用于基于第一语义信息对实例化图像中的各道路实例进行图像处理，得到重建道路图像。
上述实施例中，通过对道路影像进行实例分割，得到道路面图像，通过对道路面图像中的空洞区域进行空洞填补，并对空洞填补后的道路面图像进行实例化，得到实例化图像，基于实例化图像中道路实例的边缘确定各道路实例的公共元素；根据各道路实例对公共元素进行语义划分，得到第一语义信息；基于第一语义信息对实例化图像中的各道路实例进行图像处理，得到重建道路图像，通过空洞填补和实例化处理可以避免由于道路影像的遮挡问题导致重建图像出现空洞，确保最终得到重建道路图像中各道路实例（如路段路面和路口路面）的完整性和连续性，提高了重建道路图像的准确性，通过确定公共元素并进行语义划分可以确定相邻实例之间的关系，进一步结合基于语义信息的图像处理，可以使得最终得到的重建道路图像包含有更加准确且丰富的语义信息，提高了重建道路图像的息丰富度和准确性。
在一个实施例中，道路面图像生成模块1502还用于：从道路影像中分割出不同的道路实例；对各道路实例进行区域融合，得到融合了至少一个道路实例的路面区域；以融合了至少一个道路实例的路面区域为前景生成道路面图像。
在一个实施例中，实例化图像生成模块1504，还用于：对道路面图像进行空洞检测，得到候选空洞区域；确定候选空洞区域中满足填补条件的空洞区域；对道路面图像中空洞区域的邻接路面区域进行膨胀处理，得到空洞填补后的道路面图像。
在一个实施例中，空洞填补后的道路面图像包括空洞填补区域和其他路面区域；实例化图像生成模块1504，还用于：对其他路面区域进行实例化，得到初始实例化图像；对初始实例化图像中的空洞填补区域进行实例化，得到实例化图像。
在一个实施例中，实例化图像生成模块1504，还用于：获取对道路影像进行实例分割所得到的实例分割结果；实例分割结果包括至少两个道路实例和对应的置信度；针对空洞填补后的道路面图像中各路面区域的子区域，确定至少两个道路实例中与子区域的形状和位置匹配的候选道路实例；当候选道路实例的数量为至少两个时，从候选道路实例中选取置信度满足置信度条件的目标道路实例；基于目标道路实例对子区域进行填充，得到初始实例化图像。
在一个实施例中，空洞填补区域包括第一空洞填补区域和第二空洞填补区域，第一空洞填补区域的面积大于第二空洞填补区域的面积；初始实例化图像为第一实例化图像；实例化图像生成模块1504，还用于：基于第一空洞填补区域的邻接实例，确定实例类别；在第一实例化图像中，按照实例类别在第一空洞填补区域生成新道路实例，得到第二实例化图像；确定第二空洞填补区域归属的道路实例；在第二实例化图像中，基于归属的道路实例对第二空洞填补区域进行实例化，得到实例化图像。
在一个实施例中，公共元素确定模块1506，还用于：对实例化图像进行边缘检测，得到实例化图像中道路实例的边缘；基于边缘确定实例化图像中的道路实例骨架；基于道路实例骨架中的连接关系，确定各道路实例的公共元素。
在一个实施例中，公共元素包括关键边，第一语义信息包括边语义信息；语义确定模块1508，还用于：确定关键边所属的目标道路实例；基于目标道路实例的语义信息对关键边进行语义划分，得到边语义信息。
在一个实施例中，语义确定模块1508，还用于：基于目标道路实例的语义信息，确定关键边的处理方式；按照处理方式对关键边进行优化处理，得到处理后关键边；基于目标道路实例的语义信息对处理后关键边进行语义划分，得到边语义信息。
在一个实施例中，图像处理模块1510，还用于：基于第一语义信息为实例化图像中的各道路实例添加语义标签，得到语义优化后道路实例；基于语义优化后道路实例生成重建道路图像。
在一个实施例中，图像处理模块1510，还用于：获取待添加道路要素；确定待添加道路要素在重建道路图像中的要素添加位置；按照待添加要素对应的第二语义信息，在要素添加位置处绘制待添加道路要素，得到要素优化后重建道路图像。
上述道路图像重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图16所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过***总线连接，通信接口通过输入/输出接口连接到***总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储道路图像数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种道路图像重建方法。
本领域技术人员可以理解，图16中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric RandomAccess Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccessMemory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (24)
1.一种道路图像重建方法，其特征在于，所述方法包括：
对道路影像进行实例分割，得到道路面图像；
对所述道路面图像中的空洞区域进行空洞填补，得到空洞填补后的道路面图像；所述空洞填补后的道路面图像包括空洞填补区域和其他路面区域；所述空洞填补区域包括第一空洞填补区域和第二空洞填补区域，所述第一空洞填补区域的面积大于第二空洞填补区域的面积；
对所述其他路面区域进行实例化，得到第一实例化图像；基于所述第一空洞填补区域的邻接实例，确定实例类别；在所述第一实例化图像中，按照所述实例类别在所述第一空洞填补区域生成新道路实例，得到第二实例化图像；确定所述第二空洞填补区域归属的道路实例；在所述第二实例化图像中，基于所述归属的道路实例对所述第二空洞填补区域进行实例化，得到实例化图像；
基于所述实例化图像中道路实例的边缘确定各所述道路实例的公共元素；
根据各所述道路实例对所述公共元素进行语义划分，得到第一语义信息；
基于所述第一语义信息对所述实例化图像中的各道路实例进行图像处理，得到重建道路图像。
2.根据权利要求1所述的方法，其特征在于，所述对道路影像进行实例分割，得到道路面图像，包括：
从道路影像中分割出不同的道路实例；
对各所述道路实例进行区域融合，得到融合了至少一个所述道路实例的路面区域；
以融合了至少一个所述道路实例的路面区域为前景生成道路面图像。
3.根据权利要求1所述的方法，其特征在于，所述对所述道路面图像中的空洞区域进行空洞填补，包括：
对所述道路面图像进行空洞检测，得到候选空洞区域；
确定所述候选空洞区域中满足填补条件的空洞区域；
对所述道路面图像中所述空洞区域的邻接路面区域进行膨胀处理，得到空洞填补后的道路面图像。
4.根据权利要求1所述的方法，其特征在于，所述对所述其他路面区域进行实例化，得到第一实例化图像，包括：
基于对所述道路影像进行实例分割所得到的实例分割结果对所述其他路面区域进行实例化，得到第一实例化图像。
5.根据权利要求4所述的方法，其特征在于，所述基于对所述道路影像进行实例分割所得到的实例分割结果对所述其他路面区域进行实例化，得到第一实例化图像，包括：
获取对所述道路影像进行实例分割所得到的实例分割结果；所述实例分割结果包括至少两个道路实例和对应的置信度；
针对所述空洞填补后的道路面图像中各路面区域的子区域，确定所述至少两个道路实例中与所述子区域的形状和位置匹配的候选道路实例；
当所述候选道路实例的数量为至少两个时，从所述候选道路实例中选取所述置信度满足置信度条件的目标道路实例；
基于所述目标道路实例对所述子区域进行填充，得到第一实例化图像。
6.根据权利要求1所述的方法，其特征在于，所述基于所述第一空洞填补区域的邻接实例，确定实例类别，包括：
获取所述第一空洞填补区域的邻接实例；
通过预训练的机器学习模型对邻接实例的语义类别进行处理，得到所述第一空洞填补区域所对应的实例类别。
7.根据权利要求1所述的方法，其特征在于，所述基于所述实例化图像中道路实例的边缘确定各所述道路实例的公共元素，包括：
对所述实例化图像进行边缘检测，得到所述实例化图像中道路实例的边缘；
基于所述边缘确定所述实例化图像中的道路实例骨架；
基于所述道路实例骨架中的连接关系，确定各所述道路实例的公共元素。
8.根据权利要求1所述的方法，其特征在于，所述公共元素包括关键边，所述第一语义信息包括边语义信息；所述根据各所述道路实例对所述公共元素进行语义划分，得到第一语义信息，包括：
确定所述关键边所属的目标道路实例；
基于所述目标道路实例的语义信息对所述关键边进行语义划分，得到边语义信息。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
基于所述目标道路实例的语义信息，确定所述关键边的处理方式；
按照所述处理方式对所述关键边进行优化处理，得到处理后关键边；
所述基于所述目标道路实例的语义信息对所述关键边进行语义划分，得到边语义信息，包括：
基于所述目标道路实例的语义信息对所述处理后关键边进行语义划分，得到边语义信息。
10.根据权利要求1至9中任一项所述的方法，其特征在于，所述基于所述第一语义信息对所述实例化图像中的各道路实例进行图像处理，得到重建道路图像，包括：
基于所述第一语义信息为所述实例化图像中的各道路实例添加语义标签，得到语义优化后道路实例；
基于所述语义优化后道路实例生成重建道路图像。
11.根据权利要求1至9中任一项所述的方法，其特征在于，所述得到重建道路图像之后，所述方法还包括：
获取待添加道路要素；
确定所述待添加道路要素在所述重建道路图像中的要素添加位置；
按照待添加要素对应的第二语义信息，在所述要素添加位置处绘制所述待添加道路要素，得到要素优化后重建道路图像。
12.一种道路图像重建装置，其特征在于，所述装置包括：
道路面图像生成模块，用于对道路影像进行实例分割，得到道路面图像；
实例化图像生成模块，用于对所述道路面图像中的空洞区域进行空洞填补，得到空洞填补后的道路面图像；所述空洞填补后的道路面图像包括空洞填补区域和其他路面区域；所述空洞填补区域包括第一空洞填补区域和第二空洞填补区域，所述第一空洞填补区域的面积大于第二空洞填补区域的面积；对所述其他路面区域进行实例化，得到第一实例化图像；基于所述第一空洞填补区域的邻接实例，确定实例类别；在所述第一实例化图像中，按照所述实例类别在所述第一空洞填补区域生成新道路实例，得到第二实例化图像；确定所述第二空洞填补区域归属的道路实例；在所述第二实例化图像中，基于所述归属的道路实例对所述第二空洞填补区域进行实例化，得到实例化图像；
公共元素确定模块，用于基于所述实例化图像中道路实例的边缘确定各所述道路实例的公共元素；
语义确定模块，用于根据各所述道路实例对所述公共元素进行语义划分，得到第一语义信息；
图像处理模块，用于基于所述第一语义信息对所述实例化图像中的各道路实例进行图像处理，得到重建道路图像。
13.根据权利要求12所述的装置，其特征在于，所述道路面图像生成模块，还用于：
从道路影像中分割出不同的道路实例；
对各所述道路实例进行区域融合，得到融合了至少一个所述道路实例的路面区域；
以融合了至少一个所述道路实例的路面区域为前景生成道路面图像。
14.根据权利要求12所述的装置，其特征在于，所述实例化图像生成模块，还用于：
对所述道路面图像进行空洞检测，得到候选空洞区域；
确定所述候选空洞区域中满足填补条件的空洞区域；
对所述道路面图像中所述空洞区域的邻接路面区域进行膨胀处理，得到空洞填补后的道路面图像。
15.根据权利要求12所述的装置，其特征在于，所述实例化图像生成模块，还用于：
基于对所述道路影像进行实例分割所得到的实例分割结果对所述其他路面区域进行实例化，得到第一实例化图像。
16.根据权利要求15所述的装置，其特征在于，所述实例化图像生成模块，还用于：
获取对所述道路影像进行实例分割所得到的实例分割结果；所述实例分割结果包括至少两个道路实例和对应的置信度；
针对所述空洞填补后的道路面图像中各路面区域的子区域，确定所述至少两个道路实例中与所述子区域的形状和位置匹配的候选道路实例；
当所述候选道路实例的数量为至少两个时，从所述候选道路实例中选取所述置信度满足置信度条件的目标道路实例；
基于所述目标道路实例对所述子区域进行填充，得到第一实例化图像。
17.根据权利要求12所述的装置，其特征在于，所述实例化图像生成模块，还用于：
获取所述第一空洞填补区域的邻接实例；
通过预训练的机器学习模型对邻接实例的语义类别进行处理，得到所述第一空洞填补区域所对应的实例类别。
18.根据权利要求12所述的装置，其特征在于，所述公共元素确定模块，还用于：
对所述实例化图像进行边缘检测，得到所述实例化图像中道路实例的边缘；
基于所述边缘确定所述实例化图像中的道路实例骨架；
基于所述道路实例骨架中的连接关系，确定各所述道路实例的公共元素。
19.根据权利要求12所述的装置，其特征在于，所述公共元素包括关键边，所述第一语义信息包括边语义信息；所述语义确定模块，还用于：
确定所述关键边所属的目标道路实例；
基于所述目标道路实例的语义信息对所述关键边进行语义划分，得到边语义信息。
20.根据权利要求19所述的装置，其特征在于，所述语义确定模块还用于：
基于所述目标道路实例的语义信息，确定所述关键边的处理方式；
按照所述处理方式对所述关键边进行优化处理，得到处理后关键边；
基于所述目标道路实例的语义信息对所述处理后关键边进行语义划分，得到边语义信息。
21.根据权利要求12至20中任一项所述的装置，其特征在于，所述图像处理模块，还用于：
基于所述第一语义信息为所述实例化图像中的各道路实例添加语义标签，得到语义优化后道路实例；
基于所述语义优化后道路实例生成重建道路图像。
22.根据权利要求12至20中任一项所述的装置，其特征在于，所述图像处理模块，还用于：
获取待添加道路要素；
确定所述待添加道路要素在所述重建道路图像中的要素添加位置；
按照待添加要素对应的第二语义信息，在所述要素添加位置处绘制所述待添加道路要素，得到要素优化后重建道路图像。
23.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
24.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311265854.8A CN117011413B (zh) | 2023-09-28 | 2023-09-28 | 道路图像重建方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311265854.8A CN117011413B (zh) | 2023-09-28 | 2023-09-28 | 道路图像重建方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117011413A CN117011413A (zh) | 2023-11-07 |
| CN117011413B true CN117011413B (zh) | 2024-01-09 |
Family
ID=88562130
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311265854.8A Active CN117011413B (zh) | 2023-09-28 | 2023-09-28 | 道路图像重建方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117011413B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117789066B (zh) * | 2024-02-26 | 2024-05-28 | 中国铁路设计集团有限公司 | 基于深度学习的无人机多视角影像钢轨线自动提取方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111460921A (zh) * | 2020-03-13 | 2020-07-28 | 华南理工大学 | 一种基于多任务语义分割的车道线检测方法 |
| CN111462275A (zh) * | 2019-01-22 | 2020-07-28 | 北京京东尚科信息技术有限公司 | 一种基于激光点云的地图生产方法和装置 |
| CN111950469A (zh) * | 2020-08-14 | 2020-11-17 | 上海云从汇临人工智能科技有限公司 | 一种道路标识检测方法、***、设备和介质 |
| CN112017189A (zh) * | 2020-10-26 | 2020-12-01 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、计算机设备和存储介质 |
| CN112686197A (zh) * | 2021-01-07 | 2021-04-20 | 腾讯科技（深圳）有限公司 | 一种数据处理方法和相关装置 |
| CN112801907A (zh) * | 2021-02-03 | 2021-05-14 | 北京字节跳动网络技术有限公司 | 深度图像的处理方法、装置、设备和存储介质 |
| CN114332823A (zh) * | 2022-01-31 | 2022-04-12 | 重庆长安汽车股份有限公司 | 基于语义分割的可行驶区域检测方法 |
| CN114429528A (zh) * | 2022-01-24 | 2022-05-03 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备、计算机程序及存储介质 |
| CN114862889A (zh) * | 2022-05-05 | 2022-08-05 | 国交空间信息技术（北京）有限公司 | 基于遥感图像的道路边缘提取方法和装置 |
| CN115033967A (zh) * | 2022-06-27 | 2022-09-09 | 北京航空航天大学 | 一种基于点云数据的建筑物模板实例化建模方法 |
-
2023
- 2023-09-28 CN CN202311265854.8A patent/CN117011413B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111462275A (zh) * | 2019-01-22 | 2020-07-28 | 北京京东尚科信息技术有限公司 | 一种基于激光点云的地图生产方法和装置 |
| CN111460921A (zh) * | 2020-03-13 | 2020-07-28 | 华南理工大学 | 一种基于多任务语义分割的车道线检测方法 |
| CN111950469A (zh) * | 2020-08-14 | 2020-11-17 | 上海云从汇临人工智能科技有限公司 | 一种道路标识检测方法、***、设备和介质 |
| CN112017189A (zh) * | 2020-10-26 | 2020-12-01 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、计算机设备和存储介质 |
| CN112686197A (zh) * | 2021-01-07 | 2021-04-20 | 腾讯科技（深圳）有限公司 | 一种数据处理方法和相关装置 |
| CN112801907A (zh) * | 2021-02-03 | 2021-05-14 | 北京字节跳动网络技术有限公司 | 深度图像的处理方法、装置、设备和存储介质 |
| CN114429528A (zh) * | 2022-01-24 | 2022-05-03 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备、计算机程序及存储介质 |
| CN114332823A (zh) * | 2022-01-31 | 2022-04-12 | 重庆长安汽车股份有限公司 | 基于语义分割的可行驶区域检测方法 |
| CN114862889A (zh) * | 2022-05-05 | 2022-08-05 | 国交空间信息技术（北京）有限公司 | 基于遥感图像的道路边缘提取方法和装置 |
| CN115033967A (zh) * | 2022-06-27 | 2022-09-09 | 北京航空航天大学 | 一种基于点云数据的建筑物模板实例化建模方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于迁移学习的城市道路交通图像语义分割研究;熊峻峰;《中国优秀硕士学位论文全文数据库工程科技II辑》;第1-128页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117011413A (zh) | 2023-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wen et al. | A deep learning framework for road marking extraction, classification and completion from mobile laser scanning point clouds | |
| CN111666921B (zh) | 车辆控制方法、装置、计算机设备和计算机可读存储介质 | |
| WO2018068653A1 (zh) | 点云数据处理方法、装置及存储介质 | |
| CN117011413B (zh) | 道路图像重建方法、装置、计算机设备和存储介质 | |
| CN109657614B (zh) | 航拍道路交通事故现场勘查中道路自动识别方法 | |
| Kong et al. | Enhanced facade parsing for street-level images using convolutional neural networks | |
| CN115346012A (zh) | 路口面的生成方法、装置、设备、存储介质和程序产品 | |
| CN111291811A (zh) | 区域划分和分类方法、装置和计算机可读存储介质 | |
| Li et al. | Fusing taxi trajectories and RS images to build road map via DCNN | |
| CN111931683A (zh) | 图像识别方法、装置及计算机可读存储介质 | |
| CN116433860A (zh) | 路口面生成方法、装置、设备、存储介质和程序产品 | |
| CN114519819B (zh) | 一种基于全局上下文感知的遥感图像目标检测方法 | |
| CN113808251A (zh) | 一种基于语义分割的稠密重建的方法、***、装置和介质 | |
| CN112700464B (zh) | 地图信息的处理方法、装置、电子设备以及存储介质 | |
| CN114419338B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN117011692A (zh) | 一种道路识别的方法以及相关装置 | |
| Shi et al. | Lane-level road network construction based on street-view images | |
| CN112529116B (zh) | 场景元素融合处理方法、装置和设备及计算机存储介质 | |
| CN112215205B (zh) | 目标识别方法、装置、计算机设备和存储介质 | |
| CN114332805A (zh) | 车道位置获取方法、装置、计算机设备和存储介质 | |
| CN114067120A (zh) | 基于增强现实的导航铺路方法、装置、计算机可读介质 | |
| CN114820931A (zh) | 基于虚拟现实的智慧城市cim可视化实时成像方法 | |
| de Mesquita et al. | Street pavement classification based on navigation through street view imagery | |
| Yao et al. | Lane marking detection algorithm based on high‐precision map and multisensor fusion | |
| CN117723073B (zh) | 高程调整方法、装置、设备、存储介质和计算机程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40097792 Country of ref document: HK |