CN115690733A - 泊车地图构建方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种泊车地图构建方法、装置、电子设备及存储介质，该泊车地图构建方法包括：根据车辆上的车载摄像头拍摄的图像，获得全景图像信息；根据所述全景图像信息获取视觉栅格地图；根据车辆上的雷达输出的点云数据，获得点云图；根据所述点云图获取毫米波栅格地图；将所述视觉栅格地图与所述毫米波栅格地图融合，得到泊车地图。通过融合手段将视觉栅格地图与毫米波栅格地图进行融合，获取泊车地图，不仅克服了摄像头无法准确获取障碍物距离信息的缺点，同时还克服了雷达传感器无法准确识别障碍物类别信息的缺点，提高了泊车地图的精准度，从而提高了自动泊车的效率以及准确性。

Description

泊车地图构建方法、装置、电子设备及存储介质

技术领域

本申请涉及自动驾驶技术领域，更具体地，涉及一种泊车地图构建方法、装置、电子设备及存储介质。

背景技术

对于现有的自动泊车***来说，使用单一的传感器来构建泊车地图，无法为自动泊车***提供足够的环境障碍物信息及构建精确的局部泊车地图。

发明内容

鉴于上述问题，本申请提出了一种泊车地图构建方法、装置、电子设备及存储介质。

第一方面，本申请实施例提供了一种泊车地图构建方法，所述方法包括：根据车辆上的车载摄像头拍摄的图像，获得全景图像信息；根据所述全景图像信息获取视觉栅格地图；根据车辆上的雷达输出的点云数据，获得点云图；根据所述点云图获取毫米波栅格地图；将所述视觉栅格地图与所述毫米波栅格地图融合，得到泊车地图。

第二方面，本申请实施例提供了一种泊车地图构建装置，所述装置包括：全景图像信息获取模块，用于根据车辆上的车载摄像头拍摄的图像，获得全景图像信息；视觉栅格地图获取模块，用于根据所述全景图像信息获取视觉栅格地图；点云图获取模块，用于根据车辆上的雷达输出的点云数据，获得点云图；毫米波栅格地图获取模块，用于根据所述点云图获取毫米波栅格地图；泊车地图获取模块，用于将所述视觉栅格地图与所述毫米波栅格地图融合，得到泊车地图。

第三方面，本申请实施例提供了一种电子设备，所述电子设备包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面提供的泊车地图构建方法。

第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的泊车地图构建方法。

本申请提供的方案，首先通过车辆上的车载摄像头获取以车辆为中心的全景图像信息，基于全景图像信息构建视觉栅格地图，由于图像信息可以辨别出障碍物的类别，因此通过图像信息构建的视觉栅格地图可以辨别出障碍物类别，再根据车辆上雷达进行扫描，获取以车辆为中心的点云图，基于点云图构建毫米波栅格地图，由于雷达扫描过程中生成的点云数据具有障碍物距离信息，因此通过雷达扫描获得的毫米波栅格地图，可以获得障碍物与车辆之间的距离。通过融合手段将视觉栅格地图与毫米波栅格地图进行融合，获取泊车地图，不仅克服了摄像头无法准确获取障碍物距离信息的缺点，同时还克服了雷达传感器无法准确识别障碍物类别信息的缺点，提高了泊车地图的精准度，从而提高了自动泊车的效率以及准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一实施例提供的泊车地图构建方法的流程示意图。

图2示出了本申请另一实施例提供的泊车地图构建方法的流程示意图。

图3示出了本申请实施例中车辆的全景图像信息示意图。

图4示出了本申请一实施例中步骤S252的流程示意图。

图5示出了本申请实施例提供的泊车地图构建装置的结构框图。

图6示出了本申请实施例提供的用于执行根据本申请实施例的泊车地图构建方法的电子设备的结构框图。

图7示出了本申请实施例提供的用于保存或者携带实现根据本申请实施例的泊车地图构建方法的程序代码的存储介质。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

对于自动泊车等停车场场景内的自动驾驶功能来说，车辆对泊车过程中车辆周围障碍物信息的感知能力及地图生成十分重要，因为这将直接决定泊车的成功率和准确率。对于泊车过程中障碍物探测和局部地图构建，目前使用的主流传感器有两种，一种是摄像头传感器，一种是毫米波传感器。然而，无论是摄像头传感器还是毫米波传感器，自身都存在一些传感器天然的缺陷，例如摄像头传感器往往无法准确地获取障碍物的距离信息，毫米波传感器往往无法准确地分辨障碍物的类别信息等等。由于单一的传感器无法为自动泊车***提供足够的环境信息，导致无法构建精确的局部泊车地图。

针对上述问题，发明人尝试将两种或多种传感器同时对泊车地图进行构建，因此，发明人提出了本申请实施例提供的泊车地图构建方法、装置、车辆以及存储介质，首先通过车辆上的车载摄像头获取以车辆为中心的全景图像信息，基于全景图像信息构建视觉栅格地图，由于图像信息可以辨别出障碍物的类别，因此通过图像信息构建的视觉栅格地图可以辨别出障碍物类别，再根据车辆上雷达进行扫描，获取以车辆为中心的点云图，基于点云图构建毫米波栅格地图，由于雷达扫描过程中生成的点云数据具有障碍物距离信息，因此通过雷达扫描获得的毫米波栅格地图，可以获得障碍物与车辆之间的距离。通过融合手段将视觉栅格地图与毫米波栅格地图进行融合，获取泊车地图，不仅克服了摄像头无法准确获取障碍物距离信息的缺点，同时还克服了雷达传感器无法准确识别障碍物类别信息的缺点，提高了泊车地图的精准度，从而提高了自动泊车的效率以及准确性。

下面将结合附图，对本申请实施例提供的泊车地图构建方法、装置、车辆以及存储介质进行详细的说明。

请参阅图1，图1示出了本申请一个实施例提供的泊车地图构建方法的流程示意图。在具体的实施例中，所述泊车地图构建方法应用于如图5所示的泊车地图构建装置300以及配置有所述泊车地图构建装置300的电子设备100(图6)。

下面将以车辆为例，说明本实施例的具体流程。所述泊车地图构建方法具体可以包括以下步骤：

步骤S110：根据车辆上的车载摄像头拍摄的图像，获得全景图像信息。

全景图像信息是指符合人的双眼正常有效视角(大约水平90度，垂直70度)或包括双眼余光视角(大约水平180度，垂直90度)以上，乃至360度完整场景范围拍摄的照片。

固定的车载摄像头无法获取车辆附近的全景图像信息，因此需要多个固定的车载摄像头或将固定的车载摄像头更换为全景摄像头，从而获取车辆附近的全景图像信息。

以多个固定的车载摄像头为例，可以将车载摄像头设置在车辆的尾部的多个位置，也可以在车辆的头部、中部以及尾部分别设置多个车载摄像头，摄像头的设置位置、个数以及摄像头种类在此不做限定。通过多个位置的车载摄像头获取泊车过程中车辆周围的图像信息，再由这些不同角度的图像信息获得全景图像信息。

步骤S120：根据所述全景图像信息获取视觉栅格地图。

栅格地图也称光栅图像，是指在空间和亮度上都已经离散化了的图像。把一幅栅格图像考虑为一个矩阵，矩阵中的任一元素对应于图像中的一个点，而相应的值对应于该点的灰度级，数字矩阵中的元素叫做像素。

视觉栅格地图是指利用视觉信息来进行定位，获得图像中的点，通过图像中的多个点，建立视觉栅格地图。本申请方案中，利用车载摄像头获取的全景图像信息来建立视觉栅格地图。

步骤S130：根据车辆上的雷达输出的点云数据，获得点云图。

点云数据(point cloud data)是指在一个三维坐标***中的一组向量的集合。扫描资料以点的形式记录，每一个点包含有三维坐标，有些可能含有颜色信息(RGB)或反射强度信息(Intensity)。

通过车辆上的雷达来对外界进行扫描，获取基于扫描结果的点云数据，多个雷达获取的点云数据汇集为点云图。雷达可以是激光雷达，也可以是毫米波雷达，雷达的类型、个数以及位置在此不做限定。

步骤S140：根据所述点云图获取毫米波栅格地图。

对点云图中的点云数据进行分析，建立基于点云图的毫米波栅格地图。

步骤S150：将所述视觉栅格地图与所述毫米波栅格地图融合，得到泊车地图。

视觉栅格地图的图像数据与毫米波栅格地图中的点云数据进行重叠，并基于该重叠数据进行两个栅格地图的融合，得到泊车地图。

本实施例提供的方案，首先通过车辆上的车载摄像头获取以车辆为中心的全景图像信息，基于全景图像信息构建视觉栅格地图，由于图像信息可以辨别出障碍物的类别，因此通过图像信息构建的视觉栅格地图可以辨别出障碍物类别，再根据车辆上雷达进行扫描，获取以车辆为中心的点云图，基于点云图构建毫米波栅格地图，由于雷达扫描过程中生成的点云数据具有障碍物距离信息，因此通过雷达扫描获得的毫米波栅格地图，可以获得障碍物与车辆之间的距离。通过融合手段将视觉栅格地图与毫米波栅格地图进行融合，获取泊车地图，不仅克服了摄像头无法准确获取障碍物距离信息的缺点，同时还克服了雷达传感器无法准确识别障碍物类别信息的缺点，提高了泊车地图的精准度，从而提高了自动泊车的效率以及准确性。

请参阅图2，图2示出了本申请另一实施例提供的泊车地图构建方法的流程示意图。

步骤S212：获取所述车辆多个位置的车载摄像头拍摄的原始图像信息。

步骤S214：对所述原始图像信息进行校正，获取校正后图像信息。

对各个方向的原始图像信息进行去噪和校正。去噪的目的是为了减少原始图像信息在数字化和传输过程中常受到成像设备与外部环境噪声的干扰，使成像结果更加和真实的环境相符合，有利于提升拼接图的精确度。由于在泊车场景下，噪声的分布相对较为常见，根据场景的不同使用不同的去噪方式，去噪方式包括但不限于中值滤波器或自适应维纳滤波器。

校正是指对失真图像进行复原性处理，在图像采集的过程中相机的运动会导致图像发生几何形变，摄像头自身的问题也会使采集的图像无法还原真实世界中的场景。原始图像信息可以通过几何校正方式或灰度校正方式进行图像矫正，还原真实场景。

对原始图像信息进行去噪和校正处理，使得校正后的图像信息更接近真实场景。

步骤S216：根据方向对所述校正后图像信息进行拼接，获取所述全景图像信息。

本申请方案中，车载摄像头优选为环视鱼眼摄像头，且摄像头设置位置优选为车辆的前后左右四个方位。获取安装在车辆前、后、左、右四个方向的环视鱼眼摄像头的原始图像信息，然后按照方向的对原始图像信息进行拼接。拼接时，需要对各个方向的图像进行空间域上的匹配和融合。本申请方案中，使用像素级的图像融合，对匹配后的原始图像信息进行像素合并处理及拼接缝合并处理，最终生成汽车车身周围360度全景图像信息，请参见图3，图3示出了本申请实施例中车辆的全景图像信息示意图。

步骤S220：根据所述全景图像信息获取视觉栅格地图。

具体的，将所述全景图像信息输入第一深度学习语义分割网络，获取视觉栅格地图，所述第一深度学习语义分割网络用于基于输入的全景图像信息，输出对应全景图像信息的视觉栅格地图。

图像语义分割任务是对图像进行像素级分类，将每个像素点的类别识别出来达到对图像分割的效果。第一深度学习语义分割网络是基于卷积神经网络进行的图像语义分割。第一深度学习语义分割网络可以是摄像机网(CameraNet)，CameraNet是一个基于编解码(encoder-decoders)架构的全卷积网络，示例性的，CameraNet网络结构可以如下表所示：

表1

由表1可知，CameraNet可以具有至少13个网络层，卷积核最大尺寸为3x3。输入维度为572x572，若全景环视图不满足该输入维度，则会先进行裁剪，直至满足输入维度。输出维度是指即视觉栅格地图的尺寸，取决于摄像头传感器的最大感知范围，本申请方案中优选输出维度200x200。每个栅格的分辨率为10cmx10cm，通过每个栅格被占据数值判断该栅格是否被占据，栅格被占据数值含有三级分类或多级分类，本申请方案中优选三级分类，三个分类分别可以为数值0，0.5以及1，0用于表示该栅格没有被占据，即栅格中没有存在障碍物，1用于表示该栅格被占据，即表示栅格中存在有障碍物，0.5用于表示有该栅格被占据部分，即表示不确定是否为障碍物，需要对占据数值为0.5的栅格进行进一步确定，从而判断是否为障碍物。

步骤S232：获取所述车辆上多个位置的雷达输出的原始点云数据。

步骤S234：对所述原始点云数据按照预设规则进行过滤，获得过滤后点云数据。

获取安装在车辆各个位置雷达的原始点云数据，对各个雷达的原始点云数据进行过滤。由于雷达传感器的硬件缺陷，导致原始点云数据会包含一些“杂点”，即在真实场景中该点所在的位置并不存在任何障碍物目标。杂点的存在会影响最终生成的毫米波栅格地图的质量，因此需要设置一些规则将杂点进行过滤。

对原始点云数据进行遍历，对每一个点计算改点到其临近2个点的欧式距离D1和D2，若D1和D2皆大于一个预设的阈值T，则将该点从点云图中去除。

步骤S236：将所述过滤后点云数据投影至一个新的点云图中，获取所述点云图。

将各个雷达过滤后点云数据按照点在车辆坐标系下的位置，统一投影到一个新的点云图中或者生成一个新的点云图，从而获得以车辆为中心的全车360度毫米波点云图。

步骤S240：根据所述点云图获取毫米波栅格地图。

具体的，将所述点云图输入第二深度学习语义分割网络，获取毫米波栅格地图，所述第二深度学习语义分割网络用于基于输入的点云图，输出对应所述点云图的毫米波栅格地图。

第二深度学习语义分割网络可以是雷达网(RadarNet)。RadarNet可以基于输入的点云图，输出对应点云图生成的毫米波栅格地图。RadarNet需要提前使用大量训练要样本进行训练。对于样本的训练，和CamearNet的训练方式方法一致。

RadarNet网络结构如下表所示：

表2

RadarNet除了采用和CameraNet一样架构的全卷积网络，还尽可能利用1x1的卷积核来提高下采样的速度。同时，考虑到毫米波点云的维度大小要小于摄像头图像维度的大小，RadarNet的卷积层数也较CameraNet要小，卷积核最大尺寸也不超过3x3，可以有效满足计算实时性。RadarNet输出维度取决于毫米波传感器的最大感知范围。本申请方案中优选输出维度200x200。每个栅格的分辨率为10cmx10cm，通过每个栅格被占据数值判断该栅格是否被占据，栅格被占据数值含有三级分类或多级分类，本申请方案中优选三级分类，三个分类分别可以为数值0，0.5以及1，0用于表示该栅格没有被占据，即栅格中没有存在障碍物，1用于表示该栅格被占据，即表示栅格中存在有障碍物，0.5用于表示有该栅格被占据部分，即表示不确定是否为障碍物，需要对占据数值为0.5的栅格进行进一步确定，从而判断是否为障碍物。

步骤S252：将所述视觉栅格地图与所述毫米波栅格地图输入学习模型中，获得所述视觉栅格地图对应的视觉栅格质量以及毫米波栅格地图对应的毫米波栅格质量。

可以对视觉栅格地图与毫米波栅格地图的进行量化，获得视觉栅格地图对应的视觉栅格质量以及毫米波栅格地图对应的毫米波栅格质量，通过对视觉栅格质量以及毫米波栅格质量的数据参考，判断出视觉栅格地图以及毫米波栅格地图的好坏。

请参见图4，在一些实施方式中，步骤S252可以包括步骤S2520-步骤S2526，详细介绍如下：

步骤S2520：通过所述学***均偏离距离以及毫米波栅格地图对应的毫米波栅格平均偏离距离。

平均偏离距离，用于描述建立的栅格地图中被占据的栅格与实际物体之间的距离。计算公式如下：

其中d_i表示建立的栅格地图中第i个被占据的栅格与实际真值栅格地图中距离最近的被占据栅格之间的距离，N表示建立的栅格地图中被占据栅格的总数。

步骤S2522：通过所述学习模型获取所述视觉栅格地图对应的视觉栅格检测比例以及所述毫米波栅格地图对应的毫米波栅格检测比例。

检测比例，用于描述建立的栅格地图中有多少真实被占据的栅格被正确地检测到。计算公式如下：

其中N_orb，j表示经过第i次扩展占据区域后，建立的栅格地图与实际真值栅格地图的对应位置都被占据的栅格总数，Nor表示实际真值栅格地图中被占据栅格的总数。

步骤S2524：通过所述学***均偏离距离以及所述视觉栅格检测比例，获取所述视觉栅格质量。

步骤S2526：根据所述预设质量计算方式、所述毫米波栅格平均偏离距离以及毫米波栅格检测比例获取所述毫米波栅格质量。

质量计算公式如下：

其中，l为平均偏移距离，p为检测比例。

通过以上公式，可以分别计算出视觉栅格地图的质量得分和毫米波栅格地图的质量得分。

步骤S254：通过预设平均权重计算公式分别获取所述视觉栅格质量对应的视觉栅格平均权重以及所述毫米波栅格质量对应的毫米波栅格平均权重。

通过视觉栅格地图对应的质量得分以及毫米波栅格地图对应的质量得分可以获得视觉栅格地图对应的权重以及毫米波栅格地图对应的权重。权重计算公式如下：

将计算出的多个视觉栅格地图对应的权重δ₁以及毫米波栅格地图对应的权重δ₂，计算获取多个视觉栅格地图对应的权重的平均值以及毫米栅格地图对应的权重的平均值，得到视觉栅格地图平均质量得分δ₁`和毫米波栅格地图平均质量得分δ<sub>2</sub>`。

步骤S256：根据所述视觉栅格平均权重以及所述毫米波栅格平均权重，对所述视觉栅格地图以及所述毫米波栅格地图进行融合，得到泊车地图。

根据检测得出的视觉栅格地图中的所有栅格中的栅格被占据数值乘以δ₁`，毫米波栅格地图中的所有栅格中的栅格被占据数值乘以δ<sub>2</sub>`，再通过栅格融合算法将两个栅格地图对应位置的占据栅格数值进行叠加，最终得到融合后的占据栅格地图，作为泊车地图。

例如，视觉栅格地图中所有栅格中的栅格被占据数值为A1，毫米波栅格地图中所有栅格中的栅格被占据数值为B1，A1所代表的视觉栅格地图中的位置与B1所代表的毫米波栅格地图中的位置相对应，此时A1*δ₁`+B1*δ<sub>2</sub>`对应的占据栅格数值为融合后的栅格地图中的占据栅格数值。

本申请实施例方案中，先通过深度学习语义分割网络分别将全景图像以及点云图进行构建视觉栅格地图以及毫米波栅格地图，在通过栅格融合算法将视觉栅格地图与毫米波栅格地图进行融合，利用栅格来对视觉栅格地图以及毫米波栅格地图进行融合，代替了传统的基于规则的融合方式，能够更加有效地权衡摄像头和毫米波雷达各自的栅格地图生成效果，有效提升不同泊车场景下栅格地图生成的鲁棒性及稳定性。

请参阅图5，其示出了本申请实施例提供的一种泊车地图构建装置300的结构框图。该泊车地图构建装置300应用于电子设备100，该泊车地图构建装置300包括：全景图像信息获取模块310，用于根据车辆上的车载摄像头拍摄的图像，获得全景图像信息；视觉栅格地图获取模块320，用于根据所述全景图像信息获取视觉栅格地图；点云图获取模块330，用于根据车辆上的雷达输出的点云数据，获得点云图；毫米波栅格地图获取模块340，用于根据所述点云图获取毫米波栅格地图；泊车地图获取模块350，用于将所述视觉栅格地图与所述毫米波栅格地图融合，得到泊车地图。

在本申请的一些实施方式中，全景图像信息获取模块310包括：原始图像信息获取模块，用于获取所述车辆多个位置的车载摄像头拍摄的原始图像信息；校正模块，用于对所述原始图像信息进行校正，获取校正后图像信息；拼接模块，用于根据方向对所述校正后图像信息进行拼接，获取所述全景图像信息。

在本申请的一些实施方式中，视觉栅格地图获取模块320包括：视觉栅格地图具体获取模块，用于将所述全景图像信息输入第一深度学习语义分割网络，获取视觉栅格地图，所述第一深度学习语义分割网络用于基于输入的全景图像信息，输出对应全景图像信息的视觉栅格地图。

在本申请的一些实施方式中，点云图获取模块330包括：原始点云数据获取模块，用于获取所述车辆上多个位置的雷达输出的原始点云数据；过滤后点云数据获取模块，用于对所述原始点云数据按照预设规则进行过滤，获得过滤后点云数据；根据过滤后点云数据获取点云图模块，用于将所述过滤后点云数据投影至一个新的点云图中，获取所述点云图。

在本申请的一些实施方式中，毫米波栅格地图获取模块340包括：毫米波栅格地图具体获取模块将所述点云图输入第二深度学习语义分割网络，获取毫米波栅格地图，所述第二深度学习语义分割网络用于基于输入的点云图，输出对应所述点云图的毫米波栅格地图。

在本申请的一些实施方式中，泊车地图获取模块350包括：视觉栅格质量与毫米波栅格质量获取模块，用于将所述视觉栅格地图与所述毫米波栅格地图输入学***均权重与毫米波栅格平均权重获取模块，用于通过预设平均权重计算公式分别获取所述视觉栅格质量对应的视觉栅格平均权重以及所述毫米波栅格质量对应的毫米波栅格平均权重；融合模块，用于根据所述视觉栅格平均权重以及所述毫米波栅格平均权重，对所述视觉栅格地图以及所述毫米波栅格地图进行融合，得到泊车地图。

在本申请的一些实施方式中，视觉栅格质量与毫米波栅格质量获取模块包括：平均偏离距离获取模块，用于通过所述学***均偏离距离以及毫米波栅格地图对应的毫米波栅格平均偏离距离；检测比例获取模块，用于通过所述学***均偏离距离以及所述视觉栅格检测比例，获取所述视觉栅格质量；毫米波栅格质量具体获取模块，用于根据所述预设质量计算方式、所述毫米波栅格平均偏离距离以及毫米波栅格检测比例获取所述毫米波栅格质量。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

综上所述，本申请提供的方案，使用深度学习模型生成栅格地图的方法，代替了传统的逆传感器模型+贝叶斯滤波生成栅格地图的方法，解决了摄像头传感器、毫米波传感器等自动驾驶常见传感器难以获取精确逆传感器模型的问题，提升了生成栅格地图的准确性。且获取逆传感器模型需要花费大量时间进行传感器的参数标定与质量验证，使用深度学习模型对传感器的标定要求较低，能够有效减少开发过程中前期标定和测试的时间。

使用基于栅格地图质量得分来对不同传感器生成的栅格地图进行融合，代替了传统的基于规则的融合方式，能够更加有效地权衡摄像头和毫米波雷达各自的栅格地图生成效果，有效提升不同泊车场景下栅格地图生成的鲁棒性及稳定性。

本申请实施例提供的一种电子设备的结构框图。请参考图6，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备100可以是终端或服务器等能够运行应用程序的电子设备。本申请中的电子设备100可以包括一个或多个如下部件：处理器101、存储器102、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器102中并被配置为由一个或多个处理器101执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器101可以包括一个或者多个处理核。处理器101利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器102内的指令、程序、代码集或指令集，以及调用存储在存储器102内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器101可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogicArray，PLA)中的至少一种硬件形式来实现。处理器101可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器101中，单独通过一块通信芯片进行实现。

存储器102可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器102可用于存储指令、程序、代码、代码集或指令集。存储器102可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参考图7，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质200中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质200可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质200包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质200具有执行上述方法中的任何方法步骤的程序代码210的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码210可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种泊车地图构建方法，其特征在于，所述方法包括：

根据车辆上的车载摄像头拍摄的图像，获得全景图像信息；

根据所述全景图像信息获取视觉栅格地图；

根据车辆上的雷达输出的点云数据，获得点云图；

根据所述点云图获取毫米波栅格地图；

将所述视觉栅格地图与所述毫米波栅格地图融合，得到泊车地图。

2.根据权利要求1所述的方法，其特征在于，所述将所述视觉栅格地图与所述毫米波栅格地图融合，得到泊车地图，包括：

将所述视觉栅格地图与所述毫米波栅格地图输入学习模型中，获得所述视觉栅格地图对应的视觉栅格质量以及毫米波栅格地图对应的毫米波栅格质量；

通过预设平均权重计算公式分别获取所述视觉栅格质量对应的视觉栅格平均权重以及所述毫米波栅格质量对应的毫米波栅格平均权重；

根据所述视觉栅格平均权重以及所述毫米波栅格平均权重，对所述视觉栅格地图以及所述毫米波栅格地图进行融合，得到泊车地图。

3.根据权利要求2所述的方法，其特征在于，所述将所述视觉栅格地图与所述毫米波栅格地图输入学习模型中，获得所述视觉栅格地图对应的视觉栅格质量以及毫米波栅格地图对应的毫米波栅格质量，包括：

将所述视觉栅格地图与所述毫米波栅格地图输入学***均偏离距离以及毫米波栅格地图对应的毫米波栅格平均偏离距离；

通过所述学习模型获取所述视觉栅格地图对应的视觉栅格检测比例以及所述毫米波栅格地图对应的毫米波栅格检测比例；

通过所述学***均偏离距离以及所述视觉栅格检测比例，获取所述视觉栅格质量；

根据所述预设质量计算方式、所述毫米波栅格平均偏离距离以及毫米波栅格检测比例获取所述毫米波栅格质量。

4.根据权利要求1所述的方法，其特征在于，所述根据车辆上的车载摄像头拍摄的图像，获得全景图像信息，包括：

获取所述车辆多个位置的车载摄像头拍摄的原始图像信息；

对所述原始图像信息进行校正，获取校正后图像信息；

根据方向对所述校正后图像信息进行拼接，获取所述全景图像信息。

5.根据权利要求1所述的方法，其特征在于，所述根据所述全景图像信息获取视觉栅格地图，包括：

将所述全景图像信息输入第一深度学习语义分割网络，获取视觉栅格地图，所述第一深度学习语义分割网络用于基于输入的全景图像信息，输出对应全景图像信息的视觉栅格地图。

6.根据权利要求1所述的方法，其特征在于，所述根据车辆上的雷达输出的点云数据，获得点云图，包括：

获取所述车辆上多个位置的雷达输出的原始点云数据；

对所述原始点云数据按照预设规则进行过滤，获得过滤后点云数据；

将所述过滤后点云数据投影至一个新的点云图中，获取所述点云图。

7.根据权利要求1所述的方法，其特征在于，所述根据所述点云图获取毫米波栅格地图，包括：

将所述点云图输入第二深度学习语义分割网络，获取毫米波栅格地图，所述第二深度学习语义分割网络用于基于输入的点云图，输出对应所述点云图的毫米波栅格地图。

8.一种泊车地图构建装置，其特征在于，所述装置包括：

全景图像信息获取模块，用于根据车辆上的车载摄像头拍摄的图像，获得全景图像信息；

视觉栅格地图获取模块，用于根据所述全景图像信息获取视觉栅格地图；

点云图获取模块，用于根据车辆上的雷达输出的点云数据，获得点云图；

毫米波栅格地图获取模块，用于根据所述点云图获取毫米波栅格地图；

泊车地图获取模块，用于将所述视觉栅格地图与所述毫米波栅格地图融合，得到泊车地图。

9.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1至7任一项所述的方法。

10.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-7任一项所述的方法。

Images