CN117392347B - 一种地图构建方法、装置、计算机设备及可读存储介质 - Google Patents
一种地图构建方法、装置、计算机设备及可读存储介质 Download PDFInfo
- Publication number
- CN117392347B CN117392347B CN202311330820.2A CN202311330820A CN117392347B CN 117392347 B CN117392347 B CN 117392347B CN 202311330820 A CN202311330820 A CN 202311330820A CN 117392347 B CN117392347 B CN 117392347B
- Authority
- CN
- China
- Prior art keywords
- semantic
- grid
- graph
- dimensional
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims abstract description 57
- 230000000007 visual effect Effects 0.000 claims abstract description 79
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000002372 labelling Methods 0.000 claims description 32
- 238000013507 mapping Methods 0.000 claims description 23
- 239000013598 vector Substances 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 230000000694 effects Effects 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 11
- 239000000463 material Substances 0.000 claims description 7
- 230000001960 triggered effect Effects 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 abstract description 9
- 230000008859 change Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 10
- 238000005457 optimization Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 5
- 230000001186 cumulative effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请实施例公开一种地图构建方法、装置、计算机设备及可读存储介质。该方法在获取到传感器信号之后，基于预先训练得到的网络模型得到传感器信号对应的三维语义信息，也即三维空间中每个语义网格的位置信息和语义类别，进而再基于三维语义信息，以及各传感器信号之间的相对位姿进行地图构建，可以理解，将地图中各目标表示为三维语义网格后，由于其为三维表示，因此，即使在视角变换等情况下，各三维语义网格也不会有变化，从而该方案可以抗视角变换，能够提高地图构建的鲁棒性。并且，在针对每个语义网格进行地图构建时，只有未被建立时才新建该语义网格，当已被建立时，仅对该语义网格进行校验，避免重复构建，从而可以提高地图构建的准确性。
Description
技术领域
本申请涉及地图构建技术领域，具体而言，涉及一种地图构建方法、装置、计算机设备及可读存储介质。
背景技术
在多种应用中，如定位、仿真、环境测量、环境监控等，都需要依赖于所构建的地图，地图构建过程也可以称为建图。建图，即三维重建出一个环境的3D和语义信息。
已知的建图方法，通常为基于特征点描述子，如SIFT(Scale-invariant featuretransform，尺度不变特征转换)等，进行三维重建。然而，这种方法中，提取特征点描述子时，完全依赖于所拍摄的图像，在视角变换等情况下，拍摄图像中目标的角度发生改变时，所提取的特征点描述子也将发生改变，进而影响地图构建结果。也就是说，上述方法中图像很容易失效，地图构建的鲁棒性较低。因此，如何提高地图构建的鲁棒性，成为一个亟待解决的技术问题。
发明内容
本申请提供了一种地图构建方法、装置、计算机设备及可读存储介质，以提高地图构建的鲁棒性。具体的技术方案如下。
第一方面，本申请实施例提供一种地图构建方法，所述方法包括：
获取多传感器信号，所述多传感器信号至少包括：轮传感器信号和视觉信号；所述多传感器信号之间均已完成时间同步；
至少基于所述轮传感器信号，对载体进行位姿估计，得到每相邻两帧传感器信号之间的相对位姿；
将所述视觉信号输入预先训练得到的网络模型中，得到每帧所述视觉信号对应的三维语义信息；所述三维语义信息至少包括三维空间中每个语义网格的位置信息和语义类别；所述网络模型是预先根据样本视觉信号和每帧所述样本视觉信号对应的标注三维语义信息训练得到的；
在所述多传感器信号中确定各关键帧，并针对每个所述关键帧，根据该关键帧中每个语义网格的语义类别，确定感兴趣语义网格，并针对每个所述感兴趣语义网格，根据该感兴趣语义网格的位置信息，以及该关键帧与上一关键帧之间的相对位姿，确定该感兴趣语义网格是否已被建立；
当该感兴趣语义网格已被建立时，确定该感兴趣语义网格的语义类别与已建立的感兴趣语义网格的语义类别是否一致，如果一致，则确定该感兴趣语义网格在关键帧中的累积观测次数，并在所述累积观测次数达到预设数值时，将该感兴趣语义网格标识为成熟；
当该感兴趣语义网格未被建立时，在当前子图中建立该感兴趣语义网格，并将该感兴趣语义网格标识为未成熟；
判断所述当前子图是否构建完成，如果完成，将所述当前子图中所有成熟的感兴趣语义网格添加至三维地图中。
本申请实施例中，可以在获取到传感器信号之后，基于预先训练得到的网络模型得到传感器信号对应的三维语义信息，也即三维空间中每个语义网格的位置信息和语义类别，进而再基于三维语义信息，以及各传感器信号之间的相对位姿进行地图构建，可以理解，将地图中各目标表示为三维语义网格后，由于其为三维表示，因此，即使在视角变换等情况下，各三维语义网格也不会有变化，从而该方案可以抗视角变换，能够提高地图构建的鲁棒性。并且，在针对每个关键帧中的每个语义网格进行地图构建时，均首先确定该语义网格是否已被建立，只有未被建立时才新建该语义网格，当已被建立时，仅对该语义网格进行再次校验，避免重复构建，从而可以提高地图构建的准确性。在当前子图构建完成时，仅将当前子图中包括的成熟的语义网格添加至三维地图中，也就是仅将观测次数足够大的目标添加至三维地图中，能够避免将偶然观测到的、突然出现在视角中的目标添加至地图中，进一步提高了地图构建的准确性。
可选的，所述方法还包括：
基于所述各关键帧或所述当前子图，确定是否触发回环；
当触发回环时，确定所述载体第一次到达目标位置对应的第一子图，以及所述载体第二次到达所述目标位置对应的第二子图，计算所述第一子图和所述第二子图之间的偏移量，并根据所述偏移量对所述三维地图进行修正。
可选的，所述基于所述各关键帧或所述当前子图，确定是否触发回环的步骤包括：
针对每个所述关键帧，计算该关键帧对应的当前描述向量，并在已构建所述三维地图的关键帧的参考描述向量中，查找是否存在与所述当前描述向量相似度大于第一预设阈值的目标描述向量，如果存在，则确定触发回环；或
检测所述当前子图是否与任一历史子图存在重叠，或者所述当前子图内的目标距离任一历史子图的目标的距离小于第二预设阈值，如果是，则确定触发回环。
可选的，所述计算所述第一子图和所述第二子图之间的偏移量，并根据所述偏移量对所述三维地图进行修正的步骤包括：
获取各关键帧的位姿x，以及各关键帧与上一关键帧之间的相对位姿Δx；x包含3自由度的位置以及3自由度的旋转；
计算所述第一子图和所述第二子图之间的偏移量Δxt-α；其中，α为所述载体第一次来目标位置的时刻，t为所述载体第二次来所述目标位置的时刻；
构建下列非线性优化器，当误差eij最小化时得到每个x的修正量：
可选的，所述三维语义信息还包括：每个所述语义网格的属性信息，所述属性信息包括以下至少其一：材质、软硬、对所述载体有影响或对所述载体无影响。
可选的，所述网络模型的训练过程包括：
构建初始网络；
获取样本视觉信号，以及各样本视觉信号对应的标注三维语义信息；所述标注三维语义信息基于预设标注器或人工标注得到；
将所述样本视觉信号以及对应的标注三维语义信息输入所述初始网络中，得到各样本视觉信号对应的预测三维语义信息，并根据所述预测三维语义信息和所述标注三维语义信息对所述初始网络进行参数调整，得到识别精度满足条件的初始网络，作为所述网络模型。
可选的，所述方法还包括：
在所述当前子图构建完成后，提取所述当前子图中包括的各目标的描述信息，并将所述描述信息以八叉树的方式***地图管理器中。
第二方面，本申请实施例提供一种地图构建装置，所述装置包括：
信号获取模块，用于获取多传感器信号，所述多传感器信号至少包括：轮传感器信号和视觉信号；所述多传感器信号之间均已完成时间同步；
位姿估计模块，用于至少基于所述轮传感器信号，对载体进行位姿估计，得到每相邻两帧传感器信号之间的相对位姿；
语义确定模块，用于将所述视觉信号输入预先训练得到的网络模型中，得到每帧所述视觉信号对应的三维语义信息；所述三维语义信息至少包括三维空间中每个语义网格的位置信息和语义类别；所述网络模型是预先根据样本视觉信号和每帧所述样本视觉信号对应的标注三维语义信息训练得到的；
网格判断模块，用于在所述多传感器信号中确定各关键帧，并针对每个所述关键帧，根据该关键帧中每个语义网格的语义类别，确定感兴趣语义网格，并针对每个所述感兴趣语义网格，根据该感兴趣语义网格的位置信息，以及该关键帧与上一关键帧之间的相对位姿，确定该感兴趣语义网格是否已被建立；
网格观测模块，用于当所述网格判断模块确定该感兴趣语义网格已被建立时，确定该感兴趣语义网格的语义类别与已建立的感兴趣语义网格的语义类别是否一致，如果一致，则确定该感兴趣语义网格在关键帧中的累积观测次数，并在所述累积观测次数达到预设数值时，将该感兴趣语义网格标识为成熟；
网格建立模块，用于当所述网格判断模块确定该感兴趣语义网格未被建立时，在当前子图中建立该感兴趣语义网格，并将该感兴趣语义网格标识为未成熟；
地图构建模块，用于判断所述当前子图是否构建完成，如果完成，将所述当前子图中所有成熟的感兴趣语义网格添加至三维地图中。
可选的，所述装置还包括：
回环检测模块，用于基于所述各关键帧或所述当前子图，确定是否触发回环；
地图修正模块，用于当触发回环时，确定所述载体第一次到达目标位置对应的第一子图，以及所述载体第二次到达所述目标位置对应的第二子图，计算所述第一子图和所述第二子图之间的偏移量，并根据所述偏移量对所述三维地图进行修正。
可选的，所述回环检测模块，具体用于：
针对每个所述关键帧，计算该关键帧对应的当前描述向量，并在已构建所述三维地图的关键帧的参考描述向量中，查找是否存在与所述当前描述向量相似度大于第一预设阈值的目标描述向量，如果存在，则确定触发回环；或
检测所述当前子图是否与任一历史子图存在重叠，或者所述当前子图内的目标距离任一历史子图的目标的距离小于第二预设阈值，如果是，则确定触发回环。
可选的，所述地图修正模块，具体用于：
获取各关键帧的位姿x，以及各关键帧与上一关键帧之间的相对位姿Δx；x包含3自由度的位置以及3自由度的旋转；
计算所述第一子图和所述第二子图之间的偏移量Δxt-α；其中，α为所述载体第一次来目标位置的时刻，t为所述载体第二次来所述目标位置的时刻；
构建下列非线性优化器，当误差eij最小化时得到每个x的修正量：
可选的，所述三维语义信息还包括：每个所述语义网格的属性信息，所述属性信息包括以下至少其一：材质、软硬、对所述载体有影响或对所述载体无影响。
可选的，所述装置还包括：模型训练模块；所述模型训练模块，具体用于：
构建初始网络；
获取样本视觉信号，以及各样本视觉信号对应的标注三维语义信息；所述标注三维语义信息基于预设标注器或人工标注得到；
将所述样本视觉信号以及对应的标注三维语义信息输入所述初始网络中，得到各样本视觉信号对应的预测三维语义信息，并根据所述预测三维语义信息和所述标注三维语义信息对所述初始网络进行参数调整，得到识别精度满足条件的初始网络，作为所述网络模型。
可选的，所述装置还包括：
信息提取模块，用于在所述当前子图构建完成后，提取所述当前子图中包括的各目标的描述信息，并将所述描述信息以八叉树的方式***地图管理器中。
第三方面，本申请实施例提供一种计算机设备，包括：存储器和处理器、所述存储器和所述处理器耦合；
所述存储器用于存储一条或多条计算机指令；
所述处理器用于执行所述一条或多条计算机指令，以实现如第一方面所述的地图构建方法。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有一条或多条计算机指令，该指令被处理器执行以实现如上述第一方面所述的地图构建方法。
第五方面，本申请提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的地图构建方法。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种地图构建方法的流程示意图；
图2为本申请实施例中原始图像和对应三维语义信息的示意图；
图3为本申请实施例中任一建图结果示意图；
图4为本申请实施例的建图***框图示意图；
图5为本申请实施例提供的一种地图构建装置的结构示意图；
图6为本申请实施例提供的计算机设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本申请实施例提供一种地图构建方法、装置、计算机设备及可读存储介质，能够提高地图构建的鲁棒性。
图1为本申请实施例提供的一种地图构建方法的流程示意图，该方法可以应用于电子设备，该方法包括以下步骤：
S110：获取多传感器信号，多传感器信号至少包括：轮传感器信号和视觉信号；多传感器信号之间均已完成时间同步。
在本申请实施例中，可以通过一载体在需要构建地图的区域行驶来采集建图所需要的数据。其中，该载体例如可以为自动驾驶车辆、机器人等，这都是可以的，本申请实施例不对载体的具体类别做限定。具体的，可以在载体中安装各种类型的传感器，例如，至少可以包括：轮传感器和视觉传感器，从而可以获取到轮传感器信号和视觉信号。其中，轮传感器可以包括轮速传感器和轮转角传感器，视觉传感器可以包括相机，这都是可以的。
可选的，上述传感器还可以包括：IMU(inertial measurement unit惯性测量单元)，激光雷达、GPS(Global Positioning System，全球定位***)等。并且，载体中安装的上述各传感器的数量可以为一个或多个。例如，视觉传感器可以为一台相机，或一个相机组，分别安装在载体的不同位置，以获取到载体行驶过程中不同方位的环境信息。
载体在行驶过程中，可以将各传感器采集到的传感器信号存储至一固定存储空间中，在进行地图构建时，电子设备即可从对应存储空间获取到多传感器信号。可以理解，载体中安装的传感器可以包括多种类别，其获取到的传感器信号类别也对应为多种，电子设备在建图时，可以根据需要获取全部或部分类别的传感器信号，这都是可以的。
载体在获取多种传感器信号时，需要首先对各传感器进行时间同步，从而可以保证获取到的多种传感器信号也已实现时间同步，例如，为了保证建图的精度，各传感器信号可以实现毫秒级时间同步。
S120：至少基于轮传感器信号，对载体进行位姿估计，得到每相邻两帧传感器信号之间的相对位姿。
获取到多传感器信号后，电子设备可以对多传感器信号进行位姿估计，得到帧之间的相对位姿。例如，电子设备可以仅根据轮传感器信号计算每相邻两帧传感器信号之间的相对位姿，或者，还可以加入视觉信号，如图像、激光雷达等，根据多种传感器信号对载体进行位姿估计。利用多种类型的传感器信号对载体进行位姿估计，可以提高位姿估计的准确性。
在一种实现方式中，可以通过一多传感器里程计对载体进行位姿估计，其输入为完成时间同步的多传感器信号，输出即为帧之间的相对位姿，其中，该相对位姿可以包括3自由度的位置以及3自由度的旋转。
S130：将视觉信号输入预先训练得到的网络模型中，得到每帧视觉信号对应的三维语义信息；三维语义信息至少包括三维空间中每个语义网格的位置信息和语义类别；网络模型是预先根据样本视觉信号和每帧样本视觉信号对应的标注三维语义信息训练得到的。
在本申请实施例中，为了提高地图构建的鲁棒性，抗视角变换，可以基于语义网格(也可以称为语义占据网格)进行地图构建。语义占据网格：是一个局部空间的表示方法，一个M*N*H的空间可以被分割为m*n*h的排列的格子，每个格子有对应的语义信息。
具体的，可以预先训练得到一网络模型，该网络模型的输入可以为视觉信号，如图像，和/或，激光雷达点云等，输出即为该视觉信号对应的三维语义信息，也就是，该视觉信号对应的三维空间中每个语义网格的位置信息和语义类别。该语义类别可以是已知物体类别(几百种)之一，或是未知类别。例如可以包括：路灯杆、车位线、人行道、建筑物等。更进一步的，该网络模型还可以输出每个语义网格的属性信息，包括但不限于材质、软硬、对载体有影响或对载体无影响。
其中，上述网络模型的训练过程可以包括：构建初始网络；获取样本视觉信号，以及各样本视觉信号对应的标注三维语义信息；标注三维语义信息基于预设标注器或人工标注得到；将样本视觉信号以及对应的标注三维语义信息输入初始网络中，得到各样本视觉信号对应的预测三维语义信息，并根据预测三维语义信息和标注三维语义信息对初始网络进行参数调整，得到识别精度满足条件的初始网络，作为网络模型。
该初始网络的结构可以为任意神经网络结构，只要能完成特征提取以及分类即可，本申请实施例不对初始网络的结构做限定。样本视觉信号例如可以为图像，和/或激光雷达点云。可以理解，样本视觉信号和建图过程所用到的视觉信号需要保持一致；例如，当样本视觉信号为图像时，建图过程中，输入网络模型的视觉信号也仅可以为图像；当样本视觉信号为激光雷达点云时，建图过程中，输入网络模型的视觉信号也仅可以为激光雷达点云，其他情况类似，在此不一一列举。
上述标注三维语义信息可以基于预设标注器或人工标注得到。具体的，当视觉信号为图像时，可以由人工直接在图像进行标注，标注出每个三维语义网格对应的语义信息；或者，可以将图像输入标注器中，标注器即可输出该图像对应的三维语义信息，这都是可以的。
图2示出了一原始图像和对应三维语义信息的示意图。如图2所示，在原始图像对应的三维语义信息中，可以用不同的像素值代表不同的语义类别，图中的箭头示出了图像中部分目标和三维语义信息中该目标位置的对应关系。
S140：在多传感器信号中确定各关键帧，并针对每个关键帧，根据该关键帧中每个语义网格的语义类别，确定感兴趣语义网格，并针对每个感兴趣语义网格，根据该感兴趣语义网格的位置信息，以及该关键帧与上一关键帧之间的相对位姿，确定该感兴趣语义网格是否已被建立，如果是，执行步骤S150，如果否，执行步骤S160。
得到帧之间的相对位姿，以及各传感器信号的三维语义信息之后，即可对感兴趣的语义网格进行三维重建。
可以理解，传感器获取传感器信号的周期通常比较短，一般为毫秒级，这种情况下，相邻传感器信号之间的差异会比较小。在本申请实施例中，为了提高地图构建的效率，提升算法执行速度，可以首先在所有的传感器信号中确定一些关键帧，后续可以仅根据关键帧进行地图构建。例如，可以依据设定的选取规则，如每隔5帧确定一关键帧，或者，也可以根据其他选取规则来确定关键帧，这都是可以的。
并且，在建图过程中，三维空间中出现的所有目标并不都是需要建立在地图中的。可以理解，通常情况下，我们关注的是环境中的固有目标，如建筑物、路灯杆等，这些目标的位置、形态等属性信息，一般不会随着时间推移有所改变，并且这些目标是后续使用地图时需要关注的重点；而环境中出现的车辆、行人等移动的目标，具有偶然性，这些目标的位置、状态不固定，不是我们建图时需要关注的目标。
因此，在本申请实施例中，进行地图构建时，可以首先针对每个关键帧，根据该关键帧中每个语义网格的语义类别确定感兴趣语义网格，也就是某些固定类别的语义网格。其中，该感兴趣语义网格即为环境中的固有目标，具体需要将哪些类别的语义网格确定为感兴趣语义网格可以预先设定，本申请实施例不对此做具体限定。
确定感兴趣语义网格之后，即可将该感兴趣语义网格建立在地图中。如上所述，载体获取到的各传感器信号之间存在重叠的部分，因此，可能存在对当前关键帧进行建图时，其中的部分感兴趣语义网格已经建立的情况。在本申请实施例中，可以针对每个感兴趣语义网格，根据该感兴趣语义网格的位置信息，以及该关键帧与上一关键帧之间的相对位姿，确定该感兴趣语义网格是否已被建立。也就是说，可以针对每个感兴趣语义网格，根据该感兴趣语义网格的位置信息，以及该关键帧与上一关键帧之间的相对位姿，确定该感兴趣语义网格是否已经在当前子图中占据了对应位置，如果是，表明该感兴趣语义网格已被建立。
S150：确定该感兴趣语义网格的语义类别与已建立的感兴趣语义网格的语义类别是否一致，如果一致，则确定该感兴趣语义网格在关键帧中的累积观测次数，并在累积观测次数达到预设数值时，将该感兴趣语义网格标识为成熟。
当确定该感兴趣语义网格已被建立时，为了避免生成重复的语义网格，则不再建立该感兴趣语义网格，仅基于当前关键帧对已建立的语义网格进行校验，已确认其是否准确。具体的，可以确定该感兴趣语义网格的语义类别与已建立的感兴趣语义网格的语义类别是否一致，如果一致，则表明两次观测结果一致，这种情况下，可以进一步确定该感兴趣语义网格在关键帧中的累积观测次数，也就是该感兴趣语义网格被观测到的次数。在累积观测次数达到预设数值(如5、6、8等)时，将该感兴趣语义网格标识为成熟。
同一感兴趣语义网格出现在多个关键帧中，并且其位置和类别的观测结果均一致，则可以将该语义网格作为一个成熟的语义网格加入到地图中。当确认观测结果一致，但累积观测次数未达到预设数值时，可以记录该累积观测次数，但该感兴趣语义网格的标识信息仍为不成熟。
S160：在当前子图中建立该感兴趣语义网格，并将该感兴趣语义网格标识为未成熟。
当确定该感兴趣语义网格未被建立时，可以在当前子图中建立该感兴趣语义网格，并将该感兴趣语义网格标识为未成熟。也就是说，该感兴趣语义网格仅被观测到一次，还不能作为一个成熟的目标添加至地图中，需要后续进行多次校验。
S170：判断当前子图是否构建完成，如果完成，将当前子图中所有成熟的感兴趣语义网格添加至三维地图中。
例如，可以根据当前子图的面积大小、包括的目标数量、已构建目标的完整度等，来确定是否构建完成，在当前子图构建完成时，仅将当前子图中所有成熟的感兴趣语义网格添加至三维地图中，未成熟的感兴趣语义网格则不添加至三维地图中。
图3示出了任一建图结果示意图。可以看出，所构建的目标包括：车道线、标识箭头、车位线、柱子、人行道等固有目标。
本申请实施例中，可以在获取到传感器信号之后，基于预先训练得到的网络模型得到传感器信号对应的三维语义信息，也即三维空间中每个语义网格的位置信息和语义类别，进而再基于三维语义信息，以及各传感器信号之间的相对位姿进行地图构建，可以理解，将地图中各目标表示为三维语义网格后，由于其为三维表示，因此，即使在视角变换等情况下，各三维语义网格也不会有变化，从而该方案可以抗视角变换，能够提高地图构建的鲁棒性。并且，在针对每个关键帧中的每个语义网格进行地图构建时，均首先确定该语义网格是否已被建立，只有未被建立时才新建该语义网格，当已被建立时，仅对该语义网格进行再次校验，避免重复构建，从而可以提高地图构建的准确性。在当前子图构建完成时，仅将当前子图中包括的成熟的语义网格添加至三维地图中，也就是仅将观测次数足够大的目标添加至三维地图中，能够避免将偶然观测到的、突然出现在视角中的目标添加至地图中，进一步提高了地图构建的准确性。
在本申请实施例中，因为里程计的方法误差是累计的，在缺少全局观测或者全局观测精度不佳的情况下，随着***的运行，误差会逐渐累积。因此，为了提高地图构建的准确性，可以进行回环检测并做全局优化。具体的，当载体回到同一地点的时候，***可以识别出这是曾经来过的区域，然后将数据之间建立约束，然后用全局优化的方式使得地图更加准确。
在一种实现方式中，回环检测与全局优化的过程可以包括以下步骤：
步骤一：基于各关键帧或当前子图，确定是否触发回环。
也就是说，可以基于各关键帧或当前子图，确定载体是否回到了同一地点。例如，可以针对每个关键帧，计算该关键帧对应的当前描述向量，并在已构建三维地图的关键帧的参考描述向量中，查找是否存在与当前描述向量相似度大于第一预设阈值的目标描述向量，如果存在，则确定触发回环。或者，可以检测当前子图是否与任一历史子图存在重叠，或者当前子图内的目标距离任一历史子图的目标的距离小于第二预设阈值，如果是，则确定触发回环。
两关键帧的描述向量相似度较高，或者，当前子图与历史子图存在重叠，或者，当前子图内的目标距离任一历史子图的目标距离较小，均可以表明载体可能回到了同一地点，这种情况下，关键帧中可能出现相同目标的语义网格，如果不做全局优化，则可能出现重影等情况，影响地图构建的精度。
其中，上述第一预设阈值可以根据要求设定，如可以为80％、90％、95％等，这都是可以的，本申请实施例不对其具体取值做限定。上述第二预设阈值可以根据要求设定，如可以设定为两个子图之间的距离乘以发散率，该发散率例如可以预设为0.5％，1％，1.5％等，发散率对应里程计精度的估计，这都是可以的，本申请实施例不对其具体取值做限定。
步骤二：当触发回环时，确定载体第一次到达目标位置对应的第一子图，以及载体第二次到达目标位置对应的第二子图，计算第一子图和第二子图之间的偏移量，并根据偏移量对三维地图进行修正。
具体的，可以首先获取各关键帧的位姿x，以及各关键帧与上一关键帧之间的相对位姿Δx；x包含3自由度的位置以及3自由度的旋转；之后计算第一子图和第二子图之间的偏移量Δxt-α；其中，α为载体第一次来目标位置的时刻，t为载体第二次来目标位置的时刻；最后构建下列非线性优化器，当误差eij最小化时得到每个x的修正量：
得到每个x的修正量后，即可根据其对地图中每个目标进行位置修正，提高地图构建的精度。
作为本申请实施例的一种实施方式，在当前子图构建完成后，还可以提取当前子图中包括的各目标的描述信息，并将描述信息以八叉树的方式***地图管理器中。其中，上述描述信息可以包括：目标类别、形状等信息。
地图管理器有两个功能，第一，可以在局部建图模块输出地图元素时确定地图元素的密度，并支持对地图元素高效的增删改查。假设把体素的大小设置为2cm*2cm*2cm，那么在这个边长为2cm的立方体内就只会存在一个地图元素。第二，在回环检测和优化过程中，因为检测到回环信息优化了关键帧的位姿以后，地图管理器会更新所有对应占据网格的位置并把合并的多余占据网格通过八叉树的方式滤除。
图4示出了本申请实施例的建图***框图示意图，下面结合图4，对本申请实施例提供的建图方案进行详细说明。
本建图方案基于SLAM技术进行搭建。SLAM，即时定位与地图构建(Simultaneouslocalization and mapping，SLAM)技术。基于SLAM为基础进行搭建使得本建图***可以在缺乏GPS等全局位置信息的情况下也可以建图。
如图4所示，本方案的***框架分四块：多传感器里程计、语义占据网格感知模块、局部建图和回环检测全局优化模块，最终的建图结果会在地图管理器中进行汇聚。
多传感器里程计的输入是完成毫秒级同步的多传感器信号,主传感器是轮传感器，可以加入单路或者多路图像数据，激光雷达、惯导等传感器。它的主要作用是利用多传感器融合进行位姿估计，然后输出帧之间的相对位姿。
语义占据网格感知模块的输入是多传感器信号，输出语义占据网格。
语义占据网格感知模块的输入是多传感组信号，可以是多帧的相机图像或(和)激光雷达点云。该模块通过神经网络的计算，给出在当前时刻下，每个网格的3D位置信息以及对应的语义信息。具体来说，对于每一个空间网格，它的语义可以是已知物体类别(几百种)之一，或是未知类别。更进一步的，该模块还可以计算每个空间网格的属性，包括但不限于材质、软硬、对机器人有/无影响等。
局部建图模块在有了每个时刻语义网格的输入的和对应时刻的准确位姿以后，就对自己感兴趣的语义网格进行三维重建。我们以地库场景为例描述此方案功能，特别的，该方案可以在语义占据网格感知模块工作的情况下在任何场景工作，包括室内、室外、地库、公开道路等。
当一帧被判定为关键帧时，算法会判断每一个语义占据网格是否被建出。如果没有，***则为生成一个新的占据网格占据地图中的对应位置。每次根据新的关键帧生成占据网格的时候都会做此判断，避免同一个地方生成重复的占据网格。每个占据网格会根据连续帧的观测来计算类别和是否成熟。举例说明，假设一个占据网格在关键帧中被判定为车位线类别，其对应的占据网格也被建立。该占据网格会计算附近其他帧对应位置的观测是否一致，这里一致的定义涵盖两种:一是类别是否一致；二是该占据网格的相对位置对应其他帧的观测是否在一定范围内。如果两项都被满足，则该占据网格会被判定是成熟的并加入到地图中。
因为里程计的方法误差是累计的，在缺少全局观测或者全局观测精度不佳的情况下，随着***的运行，误差会逐渐累积。由于回环检测模块的作用，当载体回到同一地点的时候，***可以识别出这是曾经来过的区域，然后将数据之间建立约束，然后用全局优化的方式使得地图更加准确。
回环检测可以是如下二种形式，视觉回环检测，将每一帧的图像转化为一种基于视觉特征的词袋的描述向量，在有新的关键帧被***时，该关键帧会尝试寻找相似的描述向量；另一种方法为，当算法检测到当前子图和历史上其他子图有重叠部分，或者当前子图内的地图目标物距离其他子图的地图目标物距离小于一个阈值的时候，***会认为可能发生了一个回环，随后将当前子图和所有可能与其有重叠部分的子图进行匹配。
上述两种方法都会完成回环检测的功能，在新旧两个子图匹配完成后，算法会计算出两个子图之间的偏移量并做全局优化修正地图中相关的轨迹和地图元素。
地图管理器以一种层级的形式管理所有的地图元素；在建图过程中，里程计模块会往局部建图模块中不断的***关键帧，每一个关键帧会被用来生成占据网格并***子图中。当一个子图被判定为建设完毕后，子图会提取对象级的描述信息，如车道线，箭头和人行道等地图目标物，相应的信息会被***地图管理器中。
如图5所示，其示出了本申请实施例提供的一种地图构建装置的结构示意图，所述装置包括：
信号获取模块510，用于获取多传感器信号，所述多传感器信号至少包括：轮传感器信号和视觉信号；所述多传感器信号之间均已完成时间同步；
位姿估计模块520，用于至少基于所述轮传感器信号，对载体进行位姿估计，得到每相邻两帧传感器信号之间的相对位姿；
语义确定模块530，用于将所述视觉信号输入预先训练得到的网络模型中，得到每帧所述视觉信号对应的三维语义信息；所述三维语义信息至少包括三维空间中每个语义网格的位置信息和语义类别；所述网络模型是预先根据样本视觉信号和每帧所述样本视觉信号对应的标注三维语义信息训练得到的；
网格判断模块540，用于在所述多传感器信号中确定各关键帧，并针对每个所述关键帧，根据该关键帧中每个语义网格的语义类别，确定感兴趣语义网格，并针对每个所述感兴趣语义网格，根据该感兴趣语义网格的位置信息，以及该关键帧与上一关键帧之间的相对位姿，确定该感兴趣语义网格是否已被建立；
网格观测模块550，用于当所述网格判断模块540确定该感兴趣语义网格已被建立时，确定该感兴趣语义网格的语义类别与已建立的感兴趣语义网格的语义类别是否一致，如果一致，则确定该感兴趣语义网格在关键帧中的累积观测次数，并在所述累积观测次数达到预设数值时，将该感兴趣语义网格标识为成熟；
网格建立模块560，用于当所述网格判断模块540确定该感兴趣语义网格未被建立时，在当前子图中建立该感兴趣语义网格，并将该感兴趣语义网格标识为未成熟；
地图构建模块570，用于判断所述当前子图是否构建完成，如果完成，将所述当前子图中所有成熟的感兴趣语义网格添加至三维地图中。
可选的，所述装置还包括：
回环检测模块，用于基于所述各关键帧或所述当前子图，确定是否触发回环；
地图修正模块，用于当触发回环时，确定所述载体第一次到达目标位置对应的第一子图，以及所述载体第二次到达所述目标位置对应的第二子图，计算所述第一子图和所述第二子图之间的偏移量，并根据所述偏移量对所述三维地图进行修正。
可选的，所述回环检测模块，具体用于：
针对每个所述关键帧，计算该关键帧对应的当前描述向量，并在已构建所述三维地图的关键帧的参考描述向量中，查找是否存在与所述当前描述向量相似度大于第一预设阈值的目标描述向量，如果存在，则确定触发回环；或
检测所述当前子图是否与任一历史子图存在重叠，或者所述当前子图内的目标距离任一历史子图的目标的距离小于第二预设阈值，如果是，则确定触发回环。
可选的，所述地图修正模块，具体用于：
获取各关键帧的位姿x，以及各关键帧与上一关键帧之间的相对位姿Δx；x包含3自由度的位置以及3自由度的旋转；
计算所述第一子图和所述第二子图之间的偏移量Δxt-α；其中，α为所述载体第一次来目标位置的时刻，t为所述载体第二次来所述目标位置的时刻；
构建下列非线性优化器，当误差eij最小化时得到每个x的修正量：
可选的，所述三维语义信息还包括：每个所述语义网格的属性信息，所述属性信息包括以下至少其一：材质、软硬、对所述载体有影响或对所述载体无影响。
可选的，所述装置还包括：模型训练模块；所述模型训练模块，具体用于：
构建初始网络；
获取样本视觉信号，以及各样本视觉信号对应的标注三维语义信息；所述标注三维语义信息基于预设标注器或人工标注得到；
将所述样本视觉信号以及对应的标注三维语义信息输入所述初始网络中，得到各样本视觉信号对应的预测三维语义信息，并根据所述预测三维语义信息和所述标注三维语义信息对所述初始网络进行参数调整，得到识别精度满足条件的初始网络，作为所述网络模型。
可选的，所述装置还包括：
信息提取模块，用于在所述当前子图构建完成后，提取所述当前子图中包括的各目标的描述信息，并将所述描述信息以八叉树的方式***地图管理器中。
本申请实施例中，可以在获取到传感器信号之后，基于预先训练得到的网络模型得到传感器信号对应的三维语义信息，也即三维空间中每个语义网格的位置信息和语义类别，进而再基于三维语义信息，以及各传感器信号之间的相对位姿进行地图构建，可以理解，将地图中各目标表示为三维语义网格后，由于其为三维表示，因此，即使在视角变换等情况下，各三维语义网格也不会有变化，从而该方案可以抗视角变换，能够提高地图构建的鲁棒性。并且，在针对每个关键帧中的每个语义网格进行地图构建时，均首先确定该语义网格是否已被建立，只有未被建立时才新建该语义网格，当已被建立时，仅对该语义网格进行再次校验，避免重复构建，从而可以提高地图构建的准确性。在当前子图构建完成时，仅将当前子图中包括的成熟的语义网格添加至三维地图中，也就是仅将观测次数足够大的目标添加至三维地图中，能够避免将偶然观测到的、突然出现在视角中的目标添加至地图中，进一步提高了地图构建的准确性。
上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。
接下来介绍本申请实施例提供的一种计算机设备，请参阅图6，图6为本申请实施例提供的计算机设备的一种结构示意图，该计算机设备包括：
一个或多个处理器40；
所述处理器40与存储装置41耦合，所述存储装置41用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器40执行，使得所述电子设备实现如图1至图4所述的一种地图构建方法的技术方案。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如图1至图4所述的一种地图构建方法的技术方案。
本申请提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如图1至图4所述的一种地图构建方法的技术方案。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本申请所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。
Claims (16)
1.一种地图构建方法，其特征在于，所述方法包括：
获取多传感器信号，所述多传感器信号至少包括：轮传感器信号和视觉信号；所述多传感器信号之间均已完成时间同步；
至少基于所述轮传感器信号，对载体进行位姿估计，得到每相邻两帧传感器信号之间的相对位姿；
将所述视觉信号输入预先训练得到的网络模型中，得到每帧所述视觉信号对应的三维语义信息；所述三维语义信息至少包括三维空间中每个语义网格的位置信息和语义类别；所述网络模型是预先根据样本视觉信号和每帧所述样本视觉信号对应的标注三维语义信息训练得到的；
在所述多传感器信号中确定各关键帧，并针对每个所述关键帧，根据该关键帧中每个语义网格的语义类别，确定感兴趣语义网格，并针对每个所述感兴趣语义网格，根据该感兴趣语义网格的位置信息，以及该关键帧与上一关键帧之间的相对位姿，确定该感兴趣语义网格是否已被建立；
当该感兴趣语义网格已被建立时，确定该感兴趣语义网格的语义类别与已建立的感兴趣语义网格的语义类别是否一致，如果一致，则确定该感兴趣语义网格在关键帧中的累积观测次数，并在所述累积观测次数达到预设数值时，将该感兴趣语义网格标识为成熟；
当该感兴趣语义网格未被建立时，在当前子图中建立该感兴趣语义网格，并将该感兴趣语义网格标识为未成熟；
判断所述当前子图是否构建完成，如果完成，将所述当前子图中所有成熟的感兴趣语义网格添加至三维地图中。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述各关键帧或所述当前子图，确定是否触发回环；
当触发回环时，确定所述载体第一次到达目标位置对应的第一子图，以及所述载体第二次到达所述目标位置对应的第二子图，计算所述第一子图和所述第二子图之间的偏移量，并根据所述偏移量对所述三维地图进行修正。
3.根据权利要求2所述的方法，其特征在于，所述基于所述各关键帧或所述当前子图，确定是否触发回环的步骤包括：
针对每个所述关键帧，计算该关键帧对应的当前描述向量，并在已构建所述三维地图的关键帧的参考描述向量中，查找是否存在与所述当前描述向量相似度大于第一预设阈值的目标描述向量，如果存在，则确定触发回环；或
检测所述当前子图是否与任一历史子图存在重叠，或者所述当前子图内的目标距离任一历史子图的目标的距离小于第二预设阈值，如果是，则确定触发回环。
4.根据权利要求2所述的方法，其特征在于，所述计算所述第一子图和所述第二子图之间的偏移量，并根据所述偏移量对所述三维地图进行修正的步骤包括：
获取各关键帧的位姿x，以及各关键帧与上一关键帧之间的相对位姿Δx；x包含3自由度的位置以及3自由度的旋转；
计算所述第一子图和所述第二子图之间的偏移量Δxt-α；其中，α为所述载体第一次来目标位置的时刻，t为所述载体第二次来所述目标位置的时刻；
构建下列非线性优化器，当误差eij最小化时得到每个x的修正量：
5.根据权利要求1-4任一项所述的方法，其特征在于，所述三维语义信息还包括：每个所述语义网格的属性信息，所述属性信息包括以下至少其一：材质、软硬、对所述载体有影响或对所述载体无影响。
6.根据权利要求1-4任一项所述的方法，其特征在于，所述网络模型的训练过程包括：
构建初始网络；
获取样本视觉信号，以及各样本视觉信号对应的标注三维语义信息；所述标注三维语义信息基于预设标注器或人工标注得到；
将所述样本视觉信号以及对应的标注三维语义信息输入所述初始网络中，得到各样本视觉信号对应的预测三维语义信息，并根据所述预测三维语义信息和所述标注三维语义信息对所述初始网络进行参数调整，得到识别精度满足条件的初始网络，作为所述网络模型。
7.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
在所述当前子图构建完成后，提取所述当前子图中包括的各目标的描述信息，并将所述描述信息以八叉树的方式***地图管理器中。
8.一种地图构建装置，其特征在于，所述装置包括：
信号获取模块，用于获取多传感器信号，所述多传感器信号至少包括：轮传感器信号和视觉信号；所述多传感器信号之间均已完成时间同步；
位姿估计模块，用于至少基于所述轮传感器信号，对载体进行位姿估计，得到每相邻两帧传感器信号之间的相对位姿；
语义确定模块，用于将所述视觉信号输入预先训练得到的网络模型中，得到每帧所述视觉信号对应的三维语义信息；所述三维语义信息至少包括三维空间中每个语义网格的位置信息和语义类别；所述网络模型是预先根据样本视觉信号和每帧所述样本视觉信号对应的标注三维语义信息训练得到的；
网格判断模块，用于在所述多传感器信号中确定各关键帧，并针对每个所述关键帧，根据该关键帧中每个语义网格的语义类别，确定感兴趣语义网格，并针对每个所述感兴趣语义网格，根据该感兴趣语义网格的位置信息，以及该关键帧与上一关键帧之间的相对位姿，确定该感兴趣语义网格是否已被建立；
网格观测模块，用于当所述网格判断模块确定该感兴趣语义网格已被建立时，确定该感兴趣语义网格的语义类别与已建立的感兴趣语义网格的语义类别是否一致，如果一致，则确定该感兴趣语义网格在关键帧中的累积观测次数，并在所述累积观测次数达到预设数值时，将该感兴趣语义网格标识为成熟；
网格建立模块，用于当所述网格判断模块确定该感兴趣语义网格未被建立时，在当前子图中建立该感兴趣语义网格，并将该感兴趣语义网格标识为未成熟；
地图构建模块，用于判断所述当前子图是否构建完成，如果完成，将所述当前子图中所有成熟的感兴趣语义网格添加至三维地图中。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
回环检测模块，用于基于所述各关键帧或所述当前子图，确定是否触发回环；
地图修正模块，用于当触发回环时，确定所述载体第一次到达目标位置对应的第一子图，以及所述载体第二次到达所述目标位置对应的第二子图，计算所述第一子图和所述第二子图之间的偏移量，并根据所述偏移量对所述三维地图进行修正。
10.根据权利要求9所述的装置，其特征在于，所述回环检测模块，具体用于：
针对每个所述关键帧，计算该关键帧对应的当前描述向量，并在已构建所述三维地图的关键帧的参考描述向量中，查找是否存在与所述当前描述向量相似度大于第一预设阈值的目标描述向量，如果存在，则确定触发回环；或
检测所述当前子图是否与任一历史子图存在重叠，或者所述当前子图内的目标距离任一历史子图的目标的距离小于第二预设阈值，如果是，则确定触发回环。
11.根据权利要求9所述的装置，其特征在于，所述地图修正模块，具体用于：
获取各关键帧的位姿x，以及各关键帧与上一关键帧之间的相对位姿Δx；x包含3自由度的位置以及3自由度的旋转；
计算所述第一子图和所述第二子图之间的偏移量Δxt-α；其中，α为所述载体第一次来目标位置的时刻，t为所述载体第二次来所述目标位置的时刻；
构建下列非线性优化器，当误差eij最小化时得到每个x的修正量：
12.根据权利要求8-11任一项所述的装置，其特征在于，所述三维语义信息还包括：每个所述语义网格的属性信息，所述属性信息包括以下至少其一：材质、软硬、对所述载体有影响或对所述载体无影响。
13.根据权利要求8-11任一项所述的装置，其特征在于，所述装置还包括：模型训练模块；所述模型训练模块，具体用于：
构建初始网络；
获取样本视觉信号，以及各样本视觉信号对应的标注三维语义信息；所述标注三维语义信息基于预设标注器或人工标注得到；
将所述样本视觉信号以及对应的标注三维语义信息输入所述初始网络中，得到各样本视觉信号对应的预测三维语义信息，并根据所述预测三维语义信息和所述标注三维语义信息对所述初始网络进行参数调整，得到识别精度满足条件的初始网络，作为所述网络模型。
14.根据权利要求8-11任一项所述的装置，其特征在于，所述装置还包括：
信息提取模块，用于在所述当前子图构建完成后，提取所述当前子图中包括的各目标的描述信息，并将所述描述信息以八叉树的方式***地图管理器中。
15.一种计算机设备，其特征在于，包括：存储器和处理器、所述存储器和所述处理器耦合；
所述存储器用于存储一条或多条计算机指令；
所述处理器用于执行所述一条或多条计算机指令，以实现如权利要求1至7任一项所述的地图构建方法。
16.一种可读存储介质，其上存储有一条或多条计算机指令，其特征在于，该指令被处理器执行以实现如权利要求1至7任一项所述的地图构建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311330820.2A CN117392347B (zh) | 2023-10-13 | 2023-10-13 | 一种地图构建方法、装置、计算机设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311330820.2A CN117392347B (zh) | 2023-10-13 | 2023-10-13 | 一种地图构建方法、装置、计算机设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117392347A CN117392347A (zh) | 2024-01-12 |
| CN117392347B true CN117392347B (zh) | 2024-04-30 |
Family
ID=89467791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311330820.2A Active CN117392347B (zh) | 2023-10-13 | 2023-10-13 | 一种地图构建方法、装置、计算机设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117392347B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111462135A (zh) * | 2020-03-31 | 2020-07-28 | 华东理工大学 | 基于视觉slam与二维语义分割的语义建图方法 |
| CN112734845A (zh) * | 2021-01-08 | 2021-04-30 | 浙江大学 | 一种融合场景语义的室外单目同步建图与定位方法 |
| WO2022007385A1 (zh) * | 2020-07-09 | 2022-01-13 | 上海思岚科技有限公司 | 一种激光、视觉定位融合的方法及设备 |
| WO2022041596A1 (zh) * | 2020-08-31 | 2022-03-03 | 同济人工智能研究院(苏州)有限公司 | 一种适用于室内动态环境的视觉slam方法 |
| CN114332221A (zh) * | 2021-12-28 | 2022-04-12 | 北京易航远智科技有限公司 | 基于语义的回环检测方法、装置、电子设备及存储介质 |
| CN115661341A (zh) * | 2022-10-14 | 2023-01-31 | 中国电子科技南湖研究院 | 一种基于多传感器融合的实时动态语义建图方法与*** |
| CN116704029A (zh) * | 2023-06-08 | 2023-09-05 | Oppo广东移动通信有限公司 | 稠密物体语义地图构建方法、装置、存储介质及电子设备 |
-
2023
- 2023-10-13 CN CN202311330820.2A patent/CN117392347B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111462135A (zh) * | 2020-03-31 | 2020-07-28 | 华东理工大学 | 基于视觉slam与二维语义分割的语义建图方法 |
| WO2022007385A1 (zh) * | 2020-07-09 | 2022-01-13 | 上海思岚科技有限公司 | 一种激光、视觉定位融合的方法及设备 |
| WO2022041596A1 (zh) * | 2020-08-31 | 2022-03-03 | 同济人工智能研究院(苏州)有限公司 | 一种适用于室内动态环境的视觉slam方法 |
| CN112734845A (zh) * | 2021-01-08 | 2021-04-30 | 浙江大学 | 一种融合场景语义的室外单目同步建图与定位方法 |
| CN114332221A (zh) * | 2021-12-28 | 2022-04-12 | 北京易航远智科技有限公司 | 基于语义的回环检测方法、装置、电子设备及存储介质 |
| CN115661341A (zh) * | 2022-10-14 | 2023-01-31 | 中国电子科技南湖研究院 | 一种基于多传感器融合的实时动态语义建图方法与*** |
| CN116704029A (zh) * | 2023-06-08 | 2023-09-05 | Oppo广东移动通信有限公司 | 稠密物体语义地图构建方法、装置、存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117392347A (zh) | 2024-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Alcantarilla et al. | Street-view change detection with deconvolutional networks | |
| CN107967457B (zh) | 一种适应视觉特征变化的地点识别与相对定位方法及*** | |
| Qin et al. | 3D change detection–approaches and applications | |
| CN110869559A (zh) | 用于自动驾驶车辆中的集成的全局式与分布式学习的方法和*** | |
| CN110753953A (zh) | 用于自动驾驶车辆中经由交叉模态验证的以物体为中心的立体视觉的方法和*** | |
| Ding et al. | Vehicle pose and shape estimation through multiple monocular vision | |
| CN110599545B (zh) | 一种基于特征的构建稠密地图的*** | |
| Agostinho et al. | A practical survey on visual odometry for autonomous driving in challenging scenarios and conditions | |
| CN108428254A (zh) | 三维地图的构建方法及装置 | |
| EP4377913A1 (en) | Training method for training a change detection system, training set generating method therefor, and change detection system | |
| CN115638787A (zh) | 一种数字地图生成方法、计算机可读存储介质及电子设备 | |
| CN115527050A (zh) | 图像特征匹配方法、计算机设备和可读存储介质 | |
| CN115077519A (zh) | 基于模板匹配与激光惯导松耦合的定位建图方法和装置 | |
| Sun et al. | Geographic, geometrical and semantic reconstruction of urban scene from high resolution oblique aerial images. | |
| Li et al. | 3D map system for tree monitoring in hong kong using *** street view imagery and deep learning | |
| Zhanabatyrova et al. | Automatic map update using dashcam videos | |
| Mohedano et al. | Camera localization usingtrajectories and maps | |
| CN111754388B (zh) | 一种建图方法及车载终端 | |
| CN112184906A (zh) | 一种三维模型的构建方法及装置 | |
| Chiu et al. | Sub-meter vehicle navigation using efficient pre-mapped visual landmarks | |
| WO2023222671A1 (en) | Position determination of a vehicle using image segmentations | |
| CN116817891A (zh) | 一种实时多模态感知的高精地图构建方法 | |
| CN117392347B (zh) | 一种地图构建方法、装置、计算机设备及可读存储介质 | |
| CN113227713A (zh) | 生成用于定位的环境模型的方法和*** | |
| CN115457084A (zh) | 一种多相机目标检测跟踪方法、装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |