CN115239903A - 地图的生成方法、装置、电子设备和存储介质 - Google Patents

地图的生成方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN115239903A
CN115239903A CN202210971129.1A CN202210971129A CN115239903A CN 115239903 A CN115239903 A CN 115239903A CN 202210971129 A CN202210971129 A CN 202210971129A CN 115239903 A CN115239903 A CN 115239903A
Authority
CN
China
Prior art keywords
image data
point cloud
determining
pixel
target area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210971129.1A
Other languages
English (en)
Inventor
邱舒翰
隋伟
张骞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Horizon Information Technology Co Ltd
Original Assignee
Beijing Horizon Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Horizon Information Technology Co Ltd filed Critical Beijing Horizon Information Technology Co Ltd
Priority to CN202210971129.1A priority Critical patent/CN115239903A/zh
Publication of CN115239903A publication Critical patent/CN115239903A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例公开了一种地图的生成方法、装置、电子设备和存储介质，其中，方法包括：获取目标区域范围内的多个第一图像数据；基于各第一图像数据，确定各第一图像数据分别对应的语义特征信息；基于各第一图像数据分别对应的语义特征信息，确定各第一图像数据中两两之间的像素匹配结果；基于各第一图像数据中两两之间的像素匹配结果，确定目标区域范围对应的第一稀疏点云；基于第一稀疏点云，确定目标区域范围对应的稠密点云；基于稠密点云，生成目标区域范围对应三维地图。本公开实施例实现了基于较少类型的传感器数据的三维地图重建，有效降低重建计算量，提高重建效率。

Description

地图的生成方法、装置、电子设备和存储介质
技术领域
本公开涉及地图重建技术，尤其是一种地图的生成方法、装置、电子设备和存储介质。
背景技术
在道路测绘建图场景，目标区域道路重建对后续道路感知技术的研发和应用具有重要作用，相关技术的道路重建通常是生成全局道路的高精地图，但高精地图的生成需要依赖多种传感器采集道路环境信息，地图重建计算量大，重建效率较低。
发明内容
为了解决上述道路地图重建效率较低等技术问题，提出了本公开。本公开的实施例提供了一种地图的生成方法、装置、电子设备和存储介质。
根据本公开实施例的一个方面，提供了一种地图的生成方法，包括：获取目标区域范围内的多个第一图像数据；基于各所述第一图像数据，确定各所述第一图像数据分别对应的语义特征信息；基于各所述第一图像数据分别对应的所述语义特征信息，确定各所述第一图像数据中两两之间的像素匹配结果；基于各所述第一图像数据中两两之间的所述像素匹配结果，确定所述目标区域范围对应的第一稀疏点云；基于所述第一稀疏点云，确定所述目标区域范围对应的稠密点云；基于所述稠密点云，生成所述目标区域范围对应三维地图。
根据本公开实施例的另一个方面，提供了一种地图的生成装置，包括：第一获取模块，用于获取目标区域范围内的多个第一图像数据；第一处理模块，用于基于各所述第一图像数据，确定各所述第一图像数据分别对应的语义特征信息；第二处理模块，用于基于各所述第一图像数据分别对应的所述语义特征信息，确定各所述第一图像数据中两两之间的像素匹配结果；第三处理模块，用于基于各所述第一图像数据中两两之间的所述像素匹配结果，确定所述目标区域范围对应的第一稀疏点云；第四处理模块，用于基于所述第一稀疏点云，确定所述目标区域范围对应的稠密点云；第五处理模块，用于基于所述稠密点云，生成所述目标区域范围对应三维地图。
根据本公开实施例的再一方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的地图的生成方法。
根据本公开实施例的又一方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的地图的生成方法。
基于本公开上述实施例提供的地图的生成方法、装置、电子设备和存储介质，基于目标区域范围内的图像数据进行语义特征信息提取，进而通过语义特征信息的像素级匹配结果，采用位姿图优化方式优化各图像对应的相机位姿，进而基于相机位姿获得目标区域范围的稀疏点云，基于稀疏点云实现稠密点云重建，获得目标区域范围的稠密点云，最终可以基于稠密点云生成目标区域范围的三维地图，实现了仅基于图像数据的轻量级三维地图重建，有效提高地图重建效率，解决现有技术道路地图重建效率较低等问题。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本公开提供的地图的生成方法的一个示例性的应用场景；
图2是本公开一示例性实施例提供的地图的生成方法的流程示意图；
图3是本公开另一示例性实施例提供的地图的生成方法的流程示意图；
图4是本公开再一示例性实施例提供的地图的生成方法的流程示意图；
图5是本公开又一示例性实施例提供的地图的生成方法的流程示意图；
图6是本公开一示例性实施例提供的步骤2012b的流程示意图；
图7是本公开一示例性实施例提供的步骤2051的流程示意图；
图8是本公开一示例实施例提供的步骤2051a的流程示意图；
图9是本公开一示例性实施例提供的地图的生成装置的结构示意图；
图10是本公开一示例性实施例提供的第二处理模块503的结构示意图；
图11是本公开另一示例性实施例提供的地图的生成装置的结构示意图；
图12是本公开一示例性实施例提供的第一获取模块501的结构示意图；
图13是本公开一示例性实施例提供的第四处理模块505的结构示意图；
图14是本公开电子设备一个应用实施例的结构示意图。
具体实施方式
下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机***、服务器等电子设备，其可与众多其它通用或专用计算***环境或配置一起操作。适于与终端设备、计算机***、服务器等电子设备一起使用的众所周知的终端设备、计算***、环境和/或配置的例子包括但不限于：个人计算机***、服务器计算机***、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的***、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机***﹑大型计算机***和包括上述任何***的分布式云计算技术环境，等等。
终端设备、计算机***、服务器等电子设备可以在由计算机***执行的计算机***可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机***/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算***存储介质上。
本公开概述
在实现本公开的过程中，发明人发现，在道路测绘建图场景，目标区域道路重建对后续道路感知技术的研发和应用具有重要作用，相关技术的道路重建通常是生成全局道路的高精地图，但高精地图的生成需要依赖多种传感器采集道路环境信息，地图重建计算量大，重建效率较低。
示例性概述
图1是本公开提供的地图的生成方法的一个示例性的应用场景。
在道路测绘建图场景，利用本公开的地图的生成方法，服务器可以从载有摄像头(或称相机)的一个或多个车辆获取目标区域范围内的多个第一图像数据，对各第一图像数据进行语义特征提取获得各第一图像数据分别对应的语义特征信息，进而基于各第一图像数据分别对应的语义特征信息进行两两第一图像数据之间的像素匹配，获得各第一图像数据中两两之间的像素匹配结果，基于各像素匹配结果可以确定目标区域范围对应的第一稀疏点云，通过稠密点云重建可以基于第一稀疏点云确定目标区域范围的稠密点云，最终可以基于稠密点云生成目标区域范围内道路的三维地图，实现基于较少类型的传感器采集数据的轻量三维道路地图重建，有效降低地图重建计算量，提高重建效率。其中，目标区域范围可以是任意需要进行道路重建的区域范围。道路重建内容可以包括道路元素(比如车道线位置、类型、宽度，等)和道路周边固定对象(比如交通信号灯、交通标志、障碍物、路边地标，等等)，基于道路重建内容形成路网的三维地图。
在实际应用中，本公开的地图的生成方法不限于在服务器上实现，可以根据实际需求在任意可能的电子设备上实现。用于采集第一图像数据的车辆可以是专用的采集车辆，也可以是经用户授权的用户车辆，比如通过众包方式获取授权的用户车辆采集的第一图像数据，具体不作限定。
示例性方法
图2是本公开一示例性实施例提供的地图的生成方法的流程示意图。本实施例可应用在电子设备上，电子设备可以包括服务器、终端等具备相应处理能力的设备，如图2所示，包括如下步骤：
步骤201，获取目标区域范围内的多个第一图像数据。
其中，目标区域范围可以是任意需要进行道路重建的区域范围。第一图像数据可以通过载有摄像头(或称相机)的一个或多个车辆采集获得。用于采集第一图像数据的车辆可以是专用的采集车辆，也可以是经用户授权的用户车辆，比如通过众包方式获取经过授权的用户车辆采集的第一图像数据，再比如通过专用采集车辆在目标区域范围的同一道路多趟采集获得该目标区域范围的多个第一图像数据，从而使得该多个第一图像数据中包括至少一个元素(比如道路元素、道路周边固定对象元素)的不同视角的第一图像数据。对于专用采集车辆，可以获取各摄像头的相关信息(可以称为原相机信息)，比如相机原位姿、外参、内参等。对于用户车辆，可以协议在第一图像数据中携带有采集该第一图像数据的摄像头的相关信息，比如相机外参、内参，并可以获取第一图像数据对应的车辆位姿信息，原相机信息用于后续的处理流程。
步骤202，基于各第一图像数据，确定各第一图像数据分别对应的语义特征信息。
其中，语义特征信息是具有一定意义的元素的特征信息，比如道路元素、道路周边固定对象元素等的特征信息，具体可以根据实际需求设置，比如道路元素可以包括车道线元素，车道线元素的特征信息可以包括车道线位置、类型、宽度等，还可以包括第一图像数据中属于车道线的点、线、面等信息，具体可以根据实际需求设置。道路周边固定对象元素可以包括交通信号灯、交通标志、障碍物、路边地标，等等。语义特征信息的确定可以基于预先训练获得的语义特征提取模型实现。语义特征提取模块可以采用任意可实施的模型，比如，基于深度学习的语义特征提取模型，具体可以根据实际需求设置，本公开不作限定。
步骤203，基于各第一图像数据分别对应的语义特征信息，确定各第一图像数据中两两之间的像素匹配结果。
其中，对于任意两个第一图像数据，其对应的像素匹配结果包括该两个第一图像数据中满足预设匹配条件的像素匹配对，其中预设匹配条件可以根据实际需求设置，比如可以设置为两像素点的特征之间的欧式距离小于距离阈值，具体不作限定。示例性的，比如第一图像数据A与第一图像数据B，将A的语义特征信息中每一个像素点的特征与B的语义特征信息中每一个像素点的特征进行匹配，确定出像素匹配对，作为A和B之间的像素匹配结果，并可以将A和B作为图像对于其像素匹配结果一起对应存储。若A和B中没有像素匹配对，则A和B不是图像对，也无需记录像素匹配结果，或者记录像素匹配结果为0或空，具体记录方式可以根据实际需求设置。基于此，多个第一图像数据两两之间进行匹配可以获得一组或多组图像对及各图像对分别对应的像素匹配结果。比如图像对包括A与B、B与C、C与D、A与C，等等。
步骤204，基于各第一图像数据中两两之间的像素匹配结果，确定目标区域范围对应的第一稀疏点云。
其中，第一稀疏点云包括了目标区域范围内稀疏的三维坐标点，该三维坐标点可以是GPS(Global Positioning System，全球定位***)坐标系下的坐标点。像素匹配结果表征了两个第一图像数据中包含的相同元素，从而可以确定出同一元素的不同视角的第一图像数据。进而基于同一元素的不同视角的第一图像数据，可以恢复出该元素的三维坐标点，通过大量像素匹配结果，可以确定出目标区域范围内的多个三维坐标点，形成目标区域范围内的第一稀疏点云。
步骤205，基于第一稀疏点云，确定目标区域范围对应的稠密点云。
其中，稠密点云是基于第一稀疏点云进行稠密化(稠密点云重建)获得，稠密点云重建可以采用任意可实施的重建方式，比如基于深度图像的稠密点云重建、基于深度学习的稠密点云重建，等等，具体可以根据实际需求设置。
步骤206，基于稠密点云，生成目标区域范围对应三维地图。
其中，稠密点云包括了目标区域范围内稠密的三维坐标点，能够用于表征目标区域范围的三维特征，因此可以基于稠密点云生成目标区域范围的三维模型，基于三维模型即可获得目标区域范围对应的三维地图。
本实施例提供的地图的生成方法，通过目标区域范围内的多个第一图像数据的语义特征信息的像素匹配，可以确定出各第一图像数据中属于同一元素的不同视角的图像分组，从而可以基于该元素的不同视角的图像确定出该元素的三维坐标点，基于大量第一图像数据即可获得目标区域范围内多个元素的三维坐标点，从而形成目标区域范围的第一稀疏点云，实现目标区域范围的第一稀疏点云的重建，进而基于第一稀疏点云进行稠密点云重建，获得目标区域范围的稠密点云，基于该稠密点云即可生成目标区域范围对应的三维地图，实现了基于较少类型的传感器数据的三维地图重建，有效降低重建计算量，提高重建效率。
图3是本公开另一示例性实施例提供的地图的生成方法的流程示意图。
在一个可选示例中，步骤203的基于各第一图像数据分别对应的语义特征信息，确定各第一图像数据中两两之间的像素匹配结果，包括：
步骤2031，对于各第一图像数据中的任意两个第一图像数据，将该两个第一图像数据分别对应的语义特征信息进行像素级匹配，确定该两个第一图像数据中的一个第一图像数据的任一第一像素点对应的语义特征信息与另一个第一图像数据的各第二像素点对应的语义特征信息是否满足预设匹配条件。
其中，预设匹配条件可以根据实际需求设置，比如可以设置为两像素点的特征之间的欧式距离小于距离阈值。像素级匹配是指将两个第一图像数据中的一个第一图像数据的语义特征信息中每个像素点(称为第一像素点)的特征信息与另一个第一图像数据的语义特征信息中的每个像素点(称为第二像素点)的特征信息进行匹配，确定出第一像素点和第二像素点是否满足预设匹配条件。当某第一像素点的语义特征信息与某第二像素点的语义特征信息之间的欧式距离小于距离阈值，确定该第一像素点与该第二像素点满足预设匹配条件，遍历各第一像素点，将每个第一像素点与每个第二像素点进行匹配，确定出所有满足预设匹配条件的第一像素点和第二像素点。
步骤2032，将满足预设匹配条件的第一像素点和第二像素点，作为像素匹配对。
其中，第一像素点和第二像素点满足预设匹配条件表示该两个第一像素点分别为同一元素在两个第一图像数据中的像素点，将该第一像素点和第二像素点作为像素匹配对进行记录。对于具有至少一个像素匹配对的两个第一图像数据，可以称为一个图像对。基于上述步骤，可以获得各图像对分别对应的像素匹配对。
步骤2033，将各像素匹配对作为该两个第一图像数据之间的像素匹配结果。
对于包括两个第一图像数据的一个图像对，将该图像对对应的各像素匹配对作为该图像对对应的像素匹配结果。
本公开通过语义特征信息的像素级匹配确定出各第一图像数据两两之间的像素匹配结果，可以用于确定各第一图像数据之间的关系，为目标区域范围的稀疏点云的重建提供有效的数据支撑。
图4是本公开再一示例性实施例提供的地图的生成方法的流程示意图。
在一个可选示例中，在步骤203的基于各第一图像数据分别对应的语义特征信息，确定各第一图像数据中两两之间的像素匹配结果之后，本公开的方法还包括：
步骤301，将各像素匹配结果中像素匹配对数量小于预设数量阈值的像素匹配结果滤除，获得过滤后的像素匹配结果。
其中，预设数量阈值可以根据实际需求设置。像素匹配对数量过少在后续无法有效确定出两个第一图像数据对应的相机位姿的转换关系，因此，需要将像素匹配对数量小于预设数量阈值的像素匹配结果滤除，获得过滤后的像素匹配结果。像素匹配结果滤除表示其对应的图像对也滤除，后续不再考虑该图像对所对应的两个第一图像数据之间的关系。
相应的，步骤204的基于各第一图像数据中两两之间的像素匹配结果，确定目标区域范围对应的第一稀疏点云，包括：
步骤2041a，基于过滤后的像素匹配结果，确定第一稀疏点云。
其中，基于过滤后的像素匹配结果确定第一稀疏点云的原理与上述步骤204类似，在此不再赘述。
本公开通过对像素匹配结果进行过滤，提高像素匹配结果的有效性，进而基于过滤后的像素匹配结果确定第一稀疏点云，可以提高第一稀疏点云的准确性。
在一个可选示例中，步骤201的获取目标区域范围内的多个第一图像数据，包括：
步骤2011a，基于预先获得的车辆位姿信息及车辆位姿信息对应的原始图像数据，获取目标区域范围内的原始图像数据作为第一图像数据。
其中，车辆位姿信息可以是车辆GPS获得的位姿信息，原始图像数据是指车辆摄像头采集的图像数据，车辆位姿信息对应的原始图像数据是指车辆在该车辆位姿信息对应的位姿下采集的图像数据。具体来说，可以预先收集并存储大量的车辆位姿信息及车辆位姿信息对应的原始图像数据。当需要对目标区域范围进行地图重建时，可以从该大量的车辆位姿信息及原始图像数据中筛选出目标区域范围内的原始图像数据作为第一图像数据。其中，大量车辆位姿信息及对应的原始图像数据的收集方式不作限定，比如可以是通过专用采集车辆收集，也可以通过用户授权的用户车辆收集。
本公开通过预先收集大量的车辆位姿信息及对应的原始图像数据，为目标区域范围的三维重建提供有效的数据支撑。
图5是本公开又一示例性实施例提供的地图的生成方法的流程示意图。
在一个可选示例中，步骤201的获取目标区域范围内的多个第一图像数据，包括：
步骤2011b，获取目标区域范围内的多个原始图像数据。
其中，原始图像数据的获取方式参见前述内容，在此不再赘述。
步骤2012b，对各原始图像数据进行预处理，获得各原始图像数据分别对应的预处理后的图像数据。
其中，预处理可以包括去畸变处理，还可以包括裁剪处理及其他可能的预处理，具体可以根据实际需求设置，本示例不作限定。
步骤2013b，将各预处理后的图像数据，作为第一图像数据。
本公开通过对摄像头采集的原始图像数据进行预处理，可以有效提高图像质量，进而在用于后续的第一稀疏点云重建时，可以进一步提高第一稀疏点云的准确性。
图6是本公开一示例性实施例提供的步骤2012b的流程示意图。
在一个可选示例中，对各原始图像数据进行预处理，获得各原始图像数据分别对应的预处理后的图像数据，包括：
2012b1，对各原始图像数据进行去畸变处理，获得各原始图像数据分别对应的无畸变图像数据。
其中，由于相机成像产生畸变是不可避免的，其主要是由于透镜成像原理导致，图像畸变可以包括切向畸变和径向畸变。为了进一步提高第一稀疏点云的准确性，需要对原始图像数据进行去畸变处理。去畸变处理可以采用任意可实施的方式，比如，基于预设去畸变算法进行去畸变处理。具体来说，可以基于标定获得的畸变系数(包括径向系数和切向系数)按照畸变数学模型计算无畸变图像中像素点映射到畸变图像数据中的像素坐标，由于畸变图像数据(原始图像数据)是已知的，因此基于畸变图像数据及无畸变图像数据的像素点与畸变图像数据像素点的映射关系即可获得该无畸变图像数据。其中，无畸变图像的像素点坐标为整数，但经畸变数学模型映射到畸变图像的像素坐标不一定为整数，对于非整数的像素坐标处的像素值需要通过畸变图像数据中各像素点的像素值插值获得。具体插值原理不再赘述。
2012b2，将各无畸变图像数据，按照预设尺寸进行裁剪，获得各无畸变图像数据分别对应的裁剪后图像数据。
其中，为了满足后续处理对图像尺寸的需求，还需要对无畸变图像数据进行裁剪，获得预设尺寸的裁剪后图像数据，用于后续的语义特征提取，裁剪方式可以采用任意可实施的方式，本实施例不作限定。
2012b3，将各裁剪后图像数据作为各预处理后的图像数据。
本公开通过对原始图像数据进行去畸变处理和裁剪，获得裁剪后的无畸变图像数据作为第一图像数据用于后续的三维地图重建，进一步提高三维地图的准确性。
在一个可选示例中，步骤2012b1的对各原始图像数据进行去畸变处理，获得各原始图像数据分别对应的无畸变图像数据，具体包括：对各原始图像数据进行去畸变处理，获得各原始图像数据分别对应的无畸变图像数据和各无畸变图像数据分别对应的第一相机内参；在步骤2012b2的将各无畸变图像数据，按照预设尺寸进行裁剪，获得各无畸变图像数据分别对应的裁剪后图像数据之后，还包括：基于各无畸变图像数据分别对应的第一相机内参，确定各裁剪后图像数据分别对应的第二相机内参。
其中，第一相机内参是在去畸变处理过程中对原始图像数据对应的相机原内参进行更新获得。在对无畸变图像数据进行裁剪后，会对相机内参中的主点产生影响，因此还需要基于裁剪相关信息(比如包括裁剪方式(比如中心裁剪、随机裁剪)、裁剪起点、裁剪后图像尺寸等信息)对第一相机内参进行更新，获得各裁剪后图像数据分别对应的第二相机内参。示例性的，对于中心裁剪，已知裁剪前的主点坐标(cx,cy)，通过裁剪前的图像坐标系和裁剪后的图像坐标系在两坐标轴方向的距离，即可计算获得裁剪后的主点坐标(cx_new,cy_new)，进而基于裁剪后的主点坐标可以获得裁剪后图像数据对应的第二相机内参，具体原理不再赘述。
步骤204的基于各第一图像数据中两两之间的像素匹配结果，确定目标区域范围对应的第一稀疏点云，包括：
步骤2041b，基于各第一图像数据中两两之间的像素匹配结果、各第一图像数据分别对应的相机原位姿及第二相机内参，采用位姿图优化方式，确定目标区域范围对应的第一稀疏点云。
其中，相机原位姿可以通过第一图像数据对应的GPS和相机的外参获得，位姿图(pose graph)优化是把位姿和空间点放在一起进行优化，本公开中位姿图优化是指相机位姿的位姿图优化，通过局部优化获得各帧位姿，再计算获得相邻关键帧间的相对位姿，构建一个涵盖长时间跨度的关键帧的全局优化问题，平摊累积误差。具体来说，位姿图优化包括构建位姿图和优化位姿图两个任务，位姿图由相机位姿构成一个图，该图有节点(相机位姿)和边构成，边代表各个相机位姿之间的关系，具体可以包括对应图像对的上述像素匹配结果以及通过五点法分解出的两相机的相对旋转和相对平移，通过相机位姿轨迹三角化确定三维坐标点。优化位姿图是指调整相机位姿使得调整后的相机位姿满足边的约束。具***姿图优化可以采用任意可实施的位姿图优化方式，比如g2o位姿图优化、李代数位姿图优化、基于BA(Bundle Adjustment，捆绑调整)算法的位姿图优化等方式实现，具体可以根据实际需求设置。比如以BA算法为例，当所有的两两匹配图像对被确定后，可以基于各像素匹配结果把多个第一图像数据中都出现的共同特征匹配点连接起来，形成轨迹，进而可以找到每个特征点在所有第一图像数据中的完整轨迹，当确定出完整轨迹后，可以构造位姿图，包含第一图像数据对应的相机位姿的节点和初始三维坐标点投影到该相机位姿对应的图像坐标系下的投影点像素坐标，其中初始三维坐标点可以通过五点法(比如两个第一图像数据中5个像素匹配对)估计初始化图像对的相机外参，通过轨迹三角化确定初始三维坐标点(3个不同视角的第一图像数据中具有共同元素对应的像素点，通过三角测量确定该共同元素对应的三维坐标点)，对初始化图像对开始进行第一次捆绑调整(BA)，不断增加新的相机位姿和三维坐标点进行捆绑调整，直至剩下的相机观察到的点不超过预设值为止，捆绑调整的目的是投影误差最小化，投影误差基于三维坐标点投影到相机位姿对应的图像坐标系上的投影点像素坐标与相应的第一图像数据中的真实像素点之间的距离获得，调整对象是相机位姿，相机位姿的调整影响三维坐标点的投影点像素坐标，基于此不断调整相机位姿，获得使投影误差最小化的相机新位姿及各三维坐标点，各三维坐标点即为目标区域范围的第一稀疏点云。
本公开通过位姿图优化方式实现相机位姿与三维坐标一起优化，确定出目标区域范围对应的第一稀疏点云，实现了基于图像的区域稀疏点云重建，进而可以实现三维地图重建，无需采用多种采集环境信息的传感器，减少不同类型数据之间的配准融合计算，有效提高重建效率。
在一个可选示例中还可以基于深度学习实现相机位姿和三维坐标点的优化。
在一个可选示例中，步骤205的基于第一稀疏点云，确定目标区域范围对应的稠密点云，包括：
步骤2051，基于第一稀疏点云，确定目标区域范围对应的深度图像。
其中，深度图像包括第一稀疏点云在对应的图像坐标系下的像素点及其周围像素点的深度信息，具体可以通过深度恢复和区域增长，获得目标区域范围对应的深度图像。
步骤2052，基于深度图像，确定稠密点云。
具体的，根据深度图像中每个像素的深度，利用相机的逆投影矩阵可以将深度像素点投影到三维空间，获得稠密点云，具体原理不再赘述。
图7是本公开一示例性实施例提供的步骤2051的流程示意图。
在一个可选示例中，步骤2051的基于第一稀疏点云，确定目标区域范围对应的深度图像，包括：
步骤20511，对第一稀疏点云进行深度恢复，生成第一稀疏点云中各点分别对应的目标像素点的深度信息，目标像素点为参考图像数据中的像素点，参考图像数据包括至少一个第一图像数据。
其中，参考图像数据是从各第一图像数据中筛选出的至少一帧图像数据，并通过预设指标从第一图像数据中筛选出符合要求的其他图像数据，筛选原则是他们相邻图像视场之间的拍摄视场角合适，比如可以设置视场角范围，使得相邻图像视场角在预设视场角范围内。在获得第一稀疏点云后，可以确定第一稀疏点云中各点在参考图像数据上对应的目标像素点，获得目标像素点对应的深度和法向量，并对这些像素点的深度和法向量进行优化，获得这些像素点最终的深度信息。具体来说，可以从第一稀疏点云中筛选出可以投影到参考图像上的三维坐标点，并且该三维坐标点能够投影到至少一帧其他图像数据中，将该三维坐标点投影到参考图像数据上，以该三维坐标点到参考图像对应的相机坐标系原点的距离作为该三维坐标点对应的目标像素点的初始深度，该三维坐标点到相机坐标系原点的方向为初始法向量，以目标像素点为中心建立模板，将模板中的所有像素点投影到三维坐标中获得投影三维坐标，以一个模板为例，再次把该模板对应的投影三维坐标点投影到其他图像数据上获得投影像素点，优化投影像素点的深度与法向量信息使得在参考图像上的模板与在其他图像上的模板投影差异尽可能小，基于此获得目标像素点优化后的深度信息和法向量信息。建立模板的目的是为了衡量参考图像上的这个目标像素点与其他图像上对应像素点的相似性。
步骤20512，基于各目标像素点的深度信息，采用区域生长方式，确定各目标像素点的周围像素点的深度信息。
具体的，在获得目标像素点优化后的深度信息与法向量信息后，将目标像素点添加到队列中，并按照置信度进行排序，置信度可以是基于光度一致性确定，衡量目标像素点对应的两个模板的相似度，随后可以将目标像素点的周围像素点按照上述目标像素点的方式进行深度恢复，将目标像素点优化后的深度信息和法向量作为周围像素点的初始深度和初始法向量，以此类推，获得周围像素点的深度信息。
步骤20513，基于各目标像素点的深度信息、及各目标像素点的周围像素点的深度信息，生成深度图像。
具体的，在获得了各目标像素点的深度信息和周围像素点的深度信息后，通过像素点融合即可获得相应的深度图像。
在一个可选示例中，步骤202的基于各第一图像数据，确定各第一图像数据分别对应的语义特征信息，包括：
步骤2021，基于预先训练获得的语义特征提取模型对各第一图像数据进行语义特征提取，获得各第一图像数据分别对应的语义特征信息。
其中，语义特征提取模型可以为任意可实施的模型，比如基于深度学习的语义特征提取模型，具体不做限定。
在一个可选示例中，本公开的方法还包括：
步骤401，获取基于里程计和/或即时定位与地图构建确定的目标区域范围的第二稀疏点云。
其中，第二稀疏点云可以是基于里程计和/或即时定位与地图构建(SimultaneousLocalization And Mapping，SLAM)采用SFM(Structure From Motion，)算法确定的目标区域范围的点云，SFM算法具体原理不再赘述。
相应的，步骤205的基于第一稀疏点云，确定目标区域范围对应的稠密点云，包括：
步骤2051a，基于第一稀疏云和第二稀疏点云，确定目标区域范围对应的稠密点云。
综合第一稀疏点云和第二稀疏点云，通过上述的深度恢复，获得目标区域范围对应的深度图像，进而基于深度图像获得稠密点云，具体原理参见前述内容，在此不再赘述。
图8是本公开一示例实施例提供的步骤2051a的流程示意图。
在一个可选示例中，步骤2051a的基于第一稀疏云和第二稀疏点云，确定目标区域范围对应的稠密点云，包括：
步骤2051a1，基于预设路面深度有效范围，对第一稀疏点云和第二稀疏点云进行筛选，获得筛选后的第三稀疏点云。
其中，预设路面深度有效范围可以根据实际需求设置，为了保证道路三维重建的准确性，对于路面区域，可以基于预设路面深度有效范围对第一稀疏点云和第二稀疏点云进行筛选，去除不符合路面深度特征的三维特征点。具体通过稀疏点云中各点的Z坐标是否在预设路面深度有效范围内进行筛选，从而保证道路重建的准确性。
步骤2051a2，基于第三稀疏点云，确定稠密点云。
该步骤的具体操作参见前述内容，在此不再赘述。
本公开基于相机采集的图像数据实现目标区域范围的稀疏点云重建，进而基于深度恢复实现稠密点云重建，最终获得目标区域范围的三维地图，实现了基于较少传感器数据的轻量三维地图重建，有效提高了重建及更新迭代效率。
本公开上述各实施例或可选示例可以单独实施也可以在不冲突的情况下以任意组合方式结合实施，具体可以根据实际需求设置，本公开不做限定。
本公开实施例提供的任一种地图的生成方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种地图的生成方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种地图的生成方法。下文不再赘述。
示例性装置
图9是本公开一示例性实施例提供的地图的生成装置的结构示意图。该实施例的装置可用于实现本公开相应的方法实施例，如图9所示的装置包括：第一获取模块501、第一处理模块502、第二处理模块503、第三处理模块504、第四处理模块505和第五处理模块506。
第一获取模块501，用于获取目标区域范围内的多个第一图像数据；第一处理模块502，用于基于第一获取模块501获取的各第一图像数据，确定各第一图像数据分别对应的语义特征信息；第二处理模块503，用于基于第一处理模块502确定的各第一图像数据分别对应的语义特征信息，确定各第一图像数据中两两之间的像素匹配结果；第三处理模块504，用于基于第二处理模块503获得的各第一图像数据中两两之间的像素匹配结果，确定目标区域范围对应的第一稀疏点云；第四处理模块505，用于基于第三处理模块504获得的第一稀疏点云，确定目标区域范围对应的稠密点云；第五处理模块506，用于基于第四处理模块505获得的稠密点云，生成目标区域范围对应三维地图。
在一个可选示例中，图10是本公开一示例性实施例提供的第二处理模块503的结构示意图。本示例中，第二处理模块503包括：第一处理单元5031、第二处理单元5032和第三处理单元5033。
第一处理单元5031，用于对于各第一图像数据中的任意两个第一图像数据，将该两个第一图像数据分别对应的语义特征信息进行像素级匹配，确定该两个第一图像数据中的一个第一图像数据的任一第一像素点对应的语义特征信息与另一个第一图像数据的各第二像素点对应的语义特征信息是否满足预设匹配条件；第二处理单元5032，用于将满足预设匹配条件的第一像素点和第二像素点，作为像素匹配对；第三处理单元5033，用于将各像素匹配对作为该两个第一图像数据之间的像素匹配结果。
图11是本公开另一示例性实施例提供的地图的生成装置的结构示意图。
在一个可选示例中，本公开的装置还包括：过滤模块507，用于将各像素匹配结果中像素匹配对数量小于预设数量阈值的像素匹配结果滤除，获得过滤后的像素匹配结果；第三处理模块504，还可以用于基于过滤后的像素匹配结果，确定第一稀疏点云。
在一个可选示例中，第一获取模块501包括：第一获取单元5011a，用于基于预先获得的车辆位姿信息及车辆位姿信息对应的原始图像数据，获取目标区域范围内的原始图像数据作为第一图像数据。
图12是本公开一示例性实施例提供的第一获取模块501的结构示意图。
在一个可选示例中，第一获取模块501包括：第二获取单元5011b、预处理单元5012b和第一确定单元5013b。
第二获取单元5011b，用于获取目标区域范围内的多个原始图像数据；预处理单元5012b，用于对各原始图像数据进行预处理，获得各原始图像数据分别对应的预处理后的图像数据；第一确定单元5013b，用于将各预处理后的图像数据，作为第一图像数据。
在一个可选示例中，预处理单元5012b具体用于：对各原始图像数据进行去畸变处理，获得各原始图像数据分别对应的无畸变图像数据；将各无畸变图像数据，按照预设尺寸进行裁剪，获得各无畸变图像数据分别对应的裁剪后图像数据；将各裁剪后图像数据作为各预处理后的图像数据。
在一个可选示例中，预处理单元5012b具体用于：对各原始图像数据进行去畸变处理，获得各原始图像数据分别对应的无畸变图像数据和各无畸变图像数据分别对应的第一相机内参；在将各无畸变图像数据，按照预设尺寸进行裁剪，获得各无畸变图像数据分别对应的裁剪后图像数据之后，基于各无畸变图像数据分别对应的第一相机内参，确定各裁剪后图像数据分别对应的第二相机内参；相应的，第三处理模块504具体用于：基于各第一图像数据中两两之间的像素匹配结果、各第一图像数据分别对应的相机原位姿及第二相机内参，采用位姿图优化方式，确定目标区域范围对应的第一稀疏点云。
图13是本公开一示例性实施例提供的第四处理模块505的结构示意图。
在一个可选示例中，第四处理模块505包括：第二确定单元5051和第三确定单元5052。
第二确定单元5051，用于基于第一稀疏点云，确定目标区域范围对应的深度图像；第三确定单元5052，用于基于深度图像，确定稠密点云。
在一个可选示例中，第二确定单元5051具体用于：对第一稀疏点云进行深度恢复，生成第一稀疏点云中各点分别对应的目标像素点的深度信息，目标像素点为参考图像数据中的像素点，参考图像数据包括至少一个第一图像数据；基于各目标像素点的深度信息，采用区域生长方式，确定各目标像素点的周围像素点的深度信息；基于各目标像素点的深度信息、及各目标像素点的周围像素点的深度信息，生成深度图像。
在一个可选示例中，第一处理模块502包括：第四处理单元5021，用于基于预先训练获得的语义特征提取模型对各第一图像数据进行语义特征提取，获得各第一图像数据分别对应的语义特征信息。
在一个可选示例中，本公开的装置还包括：
第二获取模块508，用于获取基于里程计和/或即时定位与地图构建确定的目标区域范围的第二稀疏点云；相应的，第四处理模块505，包括：第四确定单元5053，用于基于第一稀疏云和第二稀疏点云，确定目标区域范围对应的稠密点云。
在一个可选示例中，第四确定单元5053具体用于：基于预设路面深度有效范围，对第一稀疏点云和第二稀疏点云进行筛选，获得筛选后的第三稀疏点云；基于第三稀疏点云，确定稠密点云。
示例性电子设备
本公开实施例还提供了一种电子设备，包括：存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本公开上述任一实施例所述的地图的生成方法。
图14是本公开电子设备一个应用实施例的结构示意图。本实施例中，该电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本公开的各个实施例的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线***和/或其他形式的连接机构(未示出)互连。
例如，该输入装置13可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。
此外，该输入装置13还可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图14中仅示出了该电子设备10中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于***实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (15)

1.一种地图的生成方法，包括：
获取目标区域范围内的多个第一图像数据；
基于各所述第一图像数据，确定各所述第一图像数据分别对应的语义特征信息；
基于各所述第一图像数据分别对应的所述语义特征信息，确定各所述第一图像数据中两两之间的像素匹配结果；
基于各所述第一图像数据中两两之间的所述像素匹配结果，确定所述目标区域范围对应的第一稀疏点云；
基于所述第一稀疏点云，确定所述目标区域范围对应的稠密点云；
基于所述稠密点云，生成所述目标区域范围对应三维地图。
2.根据权利要求1所述的方法，其中，所述基于各所述第一图像数据分别对应的所述语义特征信息，确定各所述第一图像数据中两两之间的像素匹配结果，包括：
对于各所述第一图像数据中的任意两个第一图像数据，将该两个第一图像数据分别对应的所述语义特征信息进行像素级匹配，确定该两个第一图像数据中的一个第一图像数据的任一第一像素点对应的所述语义特征信息与另一个第一图像数据的各第二像素点对应的所述语义特征信息是否满足预设匹配条件；
将满足所述预设匹配条件的所述第一像素点和所述第二像素点，作为像素匹配对；
将各所述像素匹配对作为该两个第一图像数据之间的像素匹配结果。
3.根据权利要求2所述的方法，其中，在基于各所述第一图像数据分别对应的所述语义特征信息，确定各所述第一图像数据中两两之间的像素匹配结果之后，所述方法还包括：
将各所述像素匹配结果中所述像素匹配对数量小于预设数量阈值的像素匹配结果滤除，获得过滤后的像素匹配结果；
所述基于各所述第一图像数据中两两之间的所述像素匹配结果，确定所述目标区域范围对应的第一稀疏点云，包括：
基于所述过滤后的像素匹配结果，确定所述第一稀疏点云。
4.根据权利要求1所述的方法，其中，所述获取目标区域范围内的多个第一图像数据，包括：
基于预先获得的车辆位姿信息及所述车辆位姿信息对应的原始图像数据，获取所述目标区域范围内的所述原始图像数据作为所述第一图像数据。
5.根据权利要求1所述的方法，其中，所述获取目标区域范围内的多个第一图像数据，包括：
获取所述目标区域范围内的多个原始图像数据；
对各所述原始图像数据进行预处理，获得各所述原始图像数据分别对应的预处理后的图像数据；
将各所述预处理后的图像数据，作为所述第一图像数据。
6.根据权利要求5所述的方法，其中，所述对各所述原始图像数据进行预处理，获得各所述原始图像数据分别对应的预处理后的图像数据，包括：
对各所述原始图像数据进行去畸变处理，获得各所述原始图像数据分别对应的无畸变图像数据；
将各所述无畸变图像数据，按照预设尺寸进行裁剪，获得各所述无畸变图像数据分别对应的裁剪后图像数据；
将各所述裁剪后图像数据作为各所述预处理后的图像数据。
7.根据权利要求6所述的方法，其中，所述对各所述原始图像数据进行去畸变处理，获得各所述原始图像数据分别对应的无畸变图像数据，包括：
对各所述原始图像数据进行去畸变处理，获得各所述原始图像数据分别对应的无畸变图像数据和各所述无畸变图像数据分别对应的第一相机内参；
在所述将各所述无畸变图像数据，按照预设尺寸进行裁剪，获得各所述无畸变图像数据分别对应的裁剪后图像数据之后，还包括：
基于各所述无畸变图像数据分别对应的所述第一相机内参，确定各所述裁剪后图像数据分别对应的第二相机内参；
所述基于各所述第一图像数据中两两之间的所述像素匹配结果，确定所述目标区域范围对应的第一稀疏点云，包括：
基于各所述第一图像数据中两两之间的所述像素匹配结果、各所述第一图像数据分别对应的相机原位姿及所述第二相机内参，采用位姿图优化方式，确定所述目标区域范围对应的所述第一稀疏点云。
8.根据权利要求1所述的方法，其中，所述基于所述第一稀疏点云，确定所述目标区域范围对应的稠密点云，包括：
基于所述第一稀疏点云，确定所述目标区域范围对应的深度图像；
基于所述深度图像，确定所述稠密点云。
9.根据权利要求8所述的方法，其中，所述基于所述第一稀疏点云，确定所述目标区域范围对应的深度图像，包括：
对所述第一稀疏点云进行深度恢复，生成所述第一稀疏点云中各点分别对应的目标像素点的深度信息，所述目标像素点为参考图像数据中的像素点，所述参考图像数据包括至少一个所述第一图像数据；
基于各所述目标像素点的深度信息，采用区域生长方式，确定各所述目标像素点的周围像素点的深度信息；
基于各所述目标像素点的深度信息、及各所述目标像素点的所述周围像素点的深度信息，生成所述深度图像。
10.根据权利要求1所述的方法，其中，所述基于各所述第一图像数据，确定各所述第一图像数据分别对应的语义特征信息，包括：
基于预先训练获得的语义特征提取模型对各所述第一图像数据进行语义特征提取，获得各所述第一图像数据分别对应的所述语义特征信息。
11.根据权利要求1-10任一所述的方法，还包括：
获取基于里程计和/或即时定位与地图构建确定的所述目标区域范围的第二稀疏点云；
所述基于所述第一稀疏点云，确定所述目标区域范围对应的稠密点云，包括：
基于所述第一稀疏云和所述第二稀疏点云，确定所述目标区域范围对应的所述稠密点云。
12.根据权利要求11所述的方法，其中，所述基于所述第一稀疏云和所述第二稀疏点云，确定所述目标区域范围对应的所述稠密点云，包括：
基于预设路面深度有效范围，对所述第一稀疏点云和所述第二稀疏点云进行筛选，获得筛选后的第三稀疏点云；
基于所述第三稀疏点云，确定所述稠密点云。
13.一种地图的生成装置，包括：
第一获取模块，用于获取目标区域范围内的多个第一图像数据；
第一处理模块，用于基于各所述第一图像数据，确定各所述第一图像数据分别对应的语义特征信息；
第二处理模块，用于基于各所述第一图像数据分别对应的所述语义特征信息，确定各所述第一图像数据中两两之间的像素匹配结果；
第三处理模块，用于基于各所述第一图像数据中两两之间的所述像素匹配结果，确定所述目标区域范围对应的第一稀疏点云；
第四处理模块，用于基于所述第一稀疏点云，确定所述目标区域范围对应的稠密点云；
第五处理模块，用于基于所述稠密点云，生成所述目标区域范围对应三维地图。
14.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-12任一所述的地图的生成方法。
15.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-12任一所述的地图的生成方法。
CN202210971129.1A 2022-08-12 2022-08-12 地图的生成方法、装置、电子设备和存储介质 Pending CN115239903A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210971129.1A CN115239903A (zh) 2022-08-12 2022-08-12 地图的生成方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210971129.1A CN115239903A (zh) 2022-08-12 2022-08-12 地图的生成方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN115239903A true CN115239903A (zh) 2022-10-25

Family

ID=83678662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210971129.1A Pending CN115239903A (zh) 2022-08-12 2022-08-12 地图的生成方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN115239903A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487741A (zh) * 2021-06-01 2021-10-08 中国科学院自动化研究所 稠密三维地图更新方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487741A (zh) * 2021-06-01 2021-10-08 中国科学院自动化研究所 稠密三维地图更新方法及装置
CN113487741B (zh) * 2021-06-01 2024-05-28 中国科学院自动化研究所 稠密三维地图更新方法及装置

Similar Documents

Publication Publication Date Title
CN108961327B (zh) 一种单目深度估计方法及其装置、设备和存储介质
CN111145238B (zh) 单目内窥镜图像的三维重建方法、装置及终端设备
EP3304492B1 (en) Modelling a three-dimensional space
US8355565B1 (en) Producing high quality depth maps
CA2326816C (en) Face recognition from video images
KR102458242B1 (ko) 스테레오 카메라로부터 획득된 이미지 페어를 처리하는 장치 및 방법
JP6874850B2 (ja) 物体検知装置、物体検知方法、及びプログラム
CN112733672B (zh) 基于单目相机的三维目标检测方法、装置和计算机设备
GB2567245A (en) Methods and apparatuses for depth rectification processing
WO2024077935A1 (zh) 一种基于视觉slam的车辆定位方法及装置
CN117079117B (zh) 水下图像处理及目标识别的方法及装置、存储介质及电子设备
CN115239903A (zh) 地图的生成方法、装置、电子设备和存储介质
CN113592706B (zh) 调整单应性矩阵参数的方法和装置
CN117593702B (zh) 远程监控方法、装置、设备及存储介质
CN114981845A (zh) 图像扫描方法及装置、设备、存储介质
US20210118172A1 (en) Target detection method, target detection apparatus, and unmanned aerial vehicle
CN113763438B (zh) 一种点云配准方法、装置、设备及存储介质
KR20180127185A (ko) 360도 영상을 처리하는 방법 및 장치
KR101726692B1 (ko) 객체 추출 장치 및 방법
Toledo et al. Real-time stereo semi-global matching for video processing using previous incremental information
CN114648639B (zh) 一种目标车辆的检测方法、***及装置
US20230326126A1 (en) Generation of a 3d point cloud of a scene
KR102225321B1 (ko) 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법
CN112634331A (zh) 一种光流预测方法及装置
JP2022080303A (ja) オプティカルフローを用いたライダー位置推定

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination