CN118082811A - 一种泊车控制方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了一种泊车控制方法、装置、设备及介质，涉及泊车技术领域。相比于之前的采用俯视图像确定车位的方式，本发明提供的泊车控制方法中，在确定车位时，是从柱状图像和俯视图像中识别出用于表征车位线的线段，从而根据识别出的线段确定出车位。由于柱状图像不存在图像拼接，故而不存在图片扭曲程度大，且不易受到光照环境的影响，柱状图视角的车位线识别精度较高，识别出的车位的抖动也较小，而通过俯视图像可以获得全局视图信息，故而，综合柱状图像和俯视图像确定出的车位的方式，车位的泊车释放率，提高了泊车的效率；且通过对识别出的第一线段和第二线段进行过滤，使得用来建立车位的泊车线条较为准确，提高了建立的车位的准确性。

Description

一种泊车控制方法、装置、设备及介质

技术领域

本发明涉及泊车技术领域，特别是涉及一种泊车控制方法、装置、设备及介质。

背景技术

车辆在行驶结束后，需进行泊车。只有在识别出车位后，才能进行泊车。

在相关的泊车技术中，大部分厂家基于车上安装的四个环视摄像头采集的图像，组成俯视图来识别车位。但是拼接图片的扭曲程度较大，且容易受到光照环境的影响，导致识别出的车位会有较大的抖动，在泊车过程中不断跳动的车位线会影响泊车效率和精度。

由此可见，如何较准确地对车位进行识别，以提高泊车的效率和精度是本领域人员亟需解决的技术问题。

发明内容

本发明的目的是提供一种泊车控制方法、装置、设备及介质，以解决车位识别的准确率低、泊车效率低的技术问题。

为解决上述技术问题，本发明提供一种泊车控制方法，应用于安装有视觉传感器的车辆，包括：

获取采集的柱状图像以及俯视图像；

从所述柱状图像中识别第一线段以及从所述俯视图像中识别第二线段；其中，所述第一线段、所述第二线段均为用于表征车位线的线段；

将所述第一线段进行滤波处理以获取第三线段，以及将所述第二线段进行滤波处理以获取第四线段；

根据所述第三线段和所述第四线段确定车位；

控制车辆在车位的位置进行泊车。

优选地，从所述柱状图像中识别所述第一线段包括：

将采集的当前柱状图像分别输入至预先建立的第一深度学习模型中；其中，建立所述第一深度学习模型包括：获取采集的样本柱状图像、标注出所述样本柱状图像中的车位线以及提取车位线上的多个点；将所述样本柱状图像、车位线上的多个点输入至所述第一深度学习模型中进行训练以建立所述第一深度学习模型；

获取所述第一深度学习模型根据识别出的当前柱状图像上的多个点建立的所述第一线段。

优选地，从所述俯视图像中识别所述第二线段包括：

将当前俯视图像输入至预先建立的第二深度学习模型中；其中，建立所述第二深度学习模型包括：获取样本俯视图像、标注出所述样本俯视图像中车位的角点、车位类别；将所述样本俯视图像、标注出的所述样本俯视图像中车位的四个角点、车位类别输入至所述第二深度学习模型中进行训练以建立所述第二深度学习模型；

获取所述第二深度学习模型输出的当前俯视图中车位的四个角点以及车位类别；

根据当前俯视图中车位的四个角点、车位类别确定出车位；

从车位上的四个角点的位置将车位拆分成四条线段，以作为从当前俯视图中识别到的所述第二线段。

优选地，所述将所述第一线段进行滤波处理以获取第三线段，以及将所述第二线段进行滤波处理以获取第四线段包括：

在将所述第一线段和所述第二线段由二维空间坐标转换到世界坐标系之前，从所有所述第一线段和所述第二线段中剔除满足第一预设要求的线段或线段上的点，以得到第一剩余线段和第二剩余线段，并将所述第一剩余线段和所述第二剩余线段存储在卡尔曼跟踪容器中；其中，所述第一预设要求至少包括以下之一：线段上的点的数量小于预设数量、不同的两条线段上的点之间的距离大于第一预设距离、柱状图像的感兴趣区域外的线段上的点；

将所述第一剩余线段和所述第二剩余线段由二维空间坐标转换到世界坐标系；

在当前计算周期内，获取识别到的各线段以及在识别到各线段的时刻获取第一里程计坐标；其中，各线段包含所述第一剩余线段和所述第二剩余线段；

在当前计算周期的下一个计算周期内，获取第二里程计坐标，以及根据第二里程计坐标与第一里程计坐标之间的差值确定当前里程计行程的距离；根据当前里程计行程的距离预测各线段的理论位置；

获取当前计算周期的下一个计算周期内识别到的各线段的实际位置；

将各线段的实际位置与各线段对应的理论位置进行匹配，根据匹配结果更新卡尔曼滤波参数，并更新所述卡尔曼跟踪容器中的车位线；

根据成功匹配的次数达到预设次数的第一剩余线段确定所述第三线段，以及根据成功匹配的次数达到预设次数的第二剩余线段确定第四线段。

优选地，所述根据成功匹配的次数达到预设次数的第一剩余线段确定所述第三线段，以及根据成功匹配的次数达到预设次数的第二剩余线段确定所述第四线段包括：

从成功匹配的次数达到预设次数的第一剩余线段和成功匹配的次数达到预设次数的第二剩余线段中获取满足第二预设要求的线段；其中，所述第二预设要求至少包括以下之一：距离车后轴中心距离小于或等于预设值、与当前车辆的角度小于预设角度；

获取满足所述第二预设要求的线段中的平行线段，并合并平行线段之间的距离小于第三预设值的线段；

获取满足所述第二预设要求的线段中的非平行线段；

在相邻两条非平行线之间存在距离的情况下，将非平行线段进行延伸处理，以确定所述第三线段和所述第四线段。

优选地，所述控制车辆在车位的位置进行泊车包括：

在检测到车位内不存在用于表征禁止泊车的提示信息的情况下，获取车辆的当前姿态和车位世界坐标；

根据当前姿态和车位世界坐标确定泊车路径；

按照泊车路径控制车辆在车位的位置进行泊车。

优选地，所述控制车辆在车位的位置进行泊车包括：

在泊车过程中，获取距离视觉传感器第二预设距离内的线段；

将距离视觉传感器所述第二预设距离内的线段加入到所述卡尔曼跟踪容器中；

根据所述卡尔曼跟踪容器中的线段确定新的车位；

控制所述车辆在新的车位的位置进行泊车。

为了解决上述技术问题，本发明还提供一种泊车控制装置，应用于安装有视觉传感器的车辆，包括：

获取模块，用于获取采集的柱状图像以及俯视图像；

识别模块，用于从所述柱状图像中识别第一线段以及从所述俯视图像中识别第二线段；其中，所述第一线段、所述第二线段均为用于表征车位线的线段；

滤波及获取模块，用于将所述第一线段进行滤波处理以获取第三线段，以及将所述第二线段进行滤波处理以获取第四线段；

确定模块，用于根据所述第三线段和所述第四线段确定车位；

控制模块，用于控制车辆在车位的位置进行泊车。

为了解决上述技术问题，本发明还提供一种泊车控制设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述的泊车控制方法的步骤。

为了解决上述技术问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的泊车控制方法的步骤。

本发明所提供的泊车控制方法，应用于安装有视觉传感器的车辆，包括：获取采集的柱状图像以及俯视图像；从柱状图像中识别第一线段以及从俯视图像中识别第二线段；其中，第一线段、第二线段均为用于表征车位线的线段；将第一线段进行滤波处理以获取第三线段，以及将第二线段进行滤波处理以获取第四线段；根据第三线段和第四线段确定车位；控制车辆在车位的位置进行泊车。相比于之前的采用俯视图像确定车位的方式，本发明提供的泊车控制方法中，在确定车位时，是从柱状图像和俯视图像中识别出用于表征车位线的线段，从而根据识别出的线段确定出车位。由于柱状图像不存在图像拼接，故而不存在图片扭曲程度大，且不易受到光照环境的影响，柱状图视角的车位线识别精度较高，识别出的车位的抖动也较小；此外，通过俯视图像可以获得全局视图信息；故而，综合柱状图像和俯视图像确定出的车位的方式，车位的泊车释放率，提高了泊车的效率；且通过对识别出的第一线段和第二线段进行过滤，使得用来建立车位的泊车线条较为准确，提高了建立的车位的准确性。

另外，本发明还提供一种泊车控制装置、泊车控制设备以及计算机可读存储介质，与上述提到的泊车控制方法具有相同或相对应的技术特征，效果同上。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种泊车控制方法的流程图；

图2为本发明实施例提供的一种角标车位的示意图；

图3为本发明实施例提供的一种多视图融合泊车方法的流程图；

图4为本发明的一实施例提供的泊车控制装置的结构图；

图5为本发明另一实施例提供的泊车控制设备的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。

本发明的核心是提供一种泊车控制方法、装置、设备及介质，以解决车位识别的准确率低、泊车效率低的技术问题。

相关的泊车技术中是通过对车上安装的四个环视摄像头采集的图像进行拼接后得到的俯视图来识别车位，受拼接图像以及光照环境的影响，导致车位识别的精度以及泊车效率下降。故而，本发明实施例提供一种泊车控制方法，通过融合柱状图和俯视图的方式来识别车位，根据车位所在的位置进行泊车控制，以此来提高车位识别的精度以及提高泊车效率。

需要说明的是，本发明提供的基于柱状图和俯视图这种多视图融合的思想除了应用于本发明提供的泊车技术中，当应用在其他场景下也是在本发明的保护范围内。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。本发明实施例提供的一种泊车控制方法应用于安装有视觉传感器（如摄像头）的车辆。图1为本发明实施例提供的一种泊车控制方法的流程图，如图1所示，该方法包括：

S10：获取采集的柱状图像以及俯视图像；

S11：从柱状图像中识别第一线段以及从俯视图像中识别第二线段；其中，第一线段、第二线段均为用于表征车位线的线段；

S12：将第一线段进行滤波处理以获取第三线段，以及将第二线段进行滤波处理以获取第四线段；

S13：根据第三线段和第四线段确定车位；

S14：控制车辆在车位的位置进行泊车。

该车辆可以是具备自动泊车功能的车辆。对于车辆上安装的视觉传感器（如摄像头）的数量不作限定。通常情况下，车辆上是使用4颗195度超鱼眼镜头，分别安装在车辆前后和左右倒镜位置；超声波12颗，前后各4颗，左右各两颗，基本覆盖车辆周围所有区域。四颗摄像头需提前做静态标定，获取相机内参，外参在摄像头安装在车辆后标定，即摄像头相对于车辆的姿态。

通过安装在车上的摄像头采集车辆周围的图像。获取各摄像头采集的柱状图像以及将各摄像头采集的柱状图像进行拼接得到的俯视图。对于获取两类视图（柱状图像和俯视图像）的时间不作限定，但是，本发明后续在根据柱状图像和俯视图像上的线段确定车位时，为了尽可能地保证不存在线段融合的问题，两类视图在前端图像采集时必须要做好时间同步，确保都是同一个时刻的图，这样不同类别的车位线同时输入时基本不存在线段融合问题，即使出现类别误识别情况，同一时刻产生的两条线精度差异不大。

在获取到柱状图像和俯视图像后，分别从柱状图像和俯视图像上提取用于表征车位线的线段。对于提取车位线的方式不作限定，只要能够提取到即可。本发明实施例中通过深度学习模型来从两类视图上提取车位线。实际中识别到的线段中会存在一些无法构成车位线的线段（如非常短的线、超过预设范围的线等），导致确定出的车位不准确或无法确定出车位，故而，在从柱状图像中识别到第一线段和从俯视图像中识别到第二线段后，对第一线段进行滤波处理后得到第三线段以及对第二线段进行滤波处理后得到第四线段，进而根据第三线段和第四线段确定车位。需要说明的是，本发明实施例中的车位可以是常规的车位（如四条车位线完全存在），也可以是特殊的车位，如砖草车位、角标车位。图2为本发明实施例提供的一种角标车位的示意图。图2中，四个角为T形的角标，每个T形角标的线段长度可能会不同，如第一类型的T形角标中的一个线段的长度为27cm，宽度为7cm；第二类型的T形角标中的一个线段的长度为60cm，宽度为10cm。

在确定好车位后，当车辆是具有泊车功能的车辆，自动泊车功能需用户通过可视化大屏点击进入，如果附近有可泊入空间车位或者线条车位，可以通过可视化界面选择并点击开始泊车，车辆会自动按照识别到的车位规划路径进行泊车，直到车辆停到选定位置内。

本发明实施例所提供的泊车控制方法，应用于安装有视觉传感器的车辆，包括：获取采集的柱状图像以及俯视图像；从柱状图像中识别第一线段以及从俯视图像中识别第二线段；其中，第一线段、第二线段均为用于表征车位线的线段；将第一线段进行滤波处理以获取第三线段，以及将第二线段进行滤波处理以获取第四线段；根据第三线段和第四线段确定车位；控制车辆在车位的位置进行泊车。相比于之前的采用俯视图像确定车位的方式，本发明实施例提供的泊车控制方法中，在确定车位时，是从柱状图像和俯视图像中识别出用于表征车位线的线段，从而根据识别出的线段确定出车位。由于柱状图像不存在图像拼接，故而不存在图片扭曲程度大，且不易受到光照环境的影响，柱状图视角的车位线识别精度较高，识别出的车位的抖动也较小；此外，通过俯视图像可以获得全局视图信息，故而，综合柱状图像和俯视图像确定出的车位的方式，车位的泊车释放率，提高了泊车的效率；且通过对识别出的第一线段和第二线段进行过滤，使得用来建立车位的泊车线条较为准确，提高了建立的车位的准确性。

为了识别柱状图中的用于表征车位线的第一线段，在一些实施例中，从柱状图像中识别第一线段包括：

将采集的当前柱状图像分别输入至预先建立的第一深度学习模型中；其中，建立第一深度学习模型包括：获取采集的样本柱状图像、标注出样本柱状图像中的车位线以及提取车位线上的多个点；将样本柱状图像、车位线上的多个点输入至第一深度学习模型中进行训练以建立第一深度学习模型；

获取第一深度学习模型根据识别出的当前柱状图像上的多个点建立的第一线段。

四颗摄像头获取柱状图像后，可将图像进行压缩，如压缩到640像素×786像素，分别将压缩后的图像输入到深度学习模型中，获取线段识别结果。深度学习模型的backbone和neck部分类似resnet18，head部分loss设计是提取线段的点做分类和坐标回归。模型训练前采集大量数据并标注，标注方式是将一条条车位线标注出来，训练时提取线段中多个点作为标准，用上面设计的模型训练。对于每个线段上提取的点的数量不作限定，根据实际情况确定。推理时获取的是一组类似标注线段的点，然后聚类出线段。通过本实施例提供的方法，实现了对柱状图像上的车位线的识别。

为了识别俯视图像上的车位线，在一些实施例中，从俯视图像中识别第二线段包括：

将当前俯视图像输入至预先建立的第二深度学习模型中；其中，建立第二深度学习模型包括：获取样本俯视图像、标注出样本俯视图像中车位的角点、车位类别；将样本俯视图像、标注出的样本俯视图像中车位的四个角点、车位类别输入至第二深度学习模型中进行训练以建立第二深度学习模型；

获取第二深度学习模型输出的当前俯视图中车位的四个角点以及车位类别；

根据当前俯视图中车位的四个角点、车位类别确定出车位；

从车位上的四个角点的位置将车位拆分成四条线段，以作为从当前俯视图中识别到的第二线段。

俯视图是将前后左右四个鱼眼摄像头图片压缩到640像素×480像素，转换图像视角到俯视图，然后拼接在一起，形成一张从车顶向下俯看视角的图片，图片尺寸384像素×384像素。识别是用旋转目标检测的方式，主干网络基于YOLOv7，搭建深度学习模型识别出车位的四个角点和车位类别（砖草车位、角标车位），形成一个完整的车位。模型训练时只输入角标车位和砖草车位图片标注信息训练，输出车位也只有该类别标志信息。从车位上的四个角点的位置将车位拆分成四条线段，得到俯视图上的车位线。

需要说明的是，上文中描述的第一深度学习模型是用来识别柱状图上的第一线段，本实施例提供的第二深度学习模型是用来识别俯视图上第二线段，故而，第一深度学习模型即为柱状图模型，第二深度学习模型即为俯视图模型。在对第一深度学习模型、第二深度学习模型进行训练时，可以训练识别常规车位，也可以训练识别特殊车位（如转草车位、角标车位等），还可以是既训练识别常规车位、也训练识别特殊车位。但是，考虑到俯视图像容易受到光照环境的影响，影响车位识别的精度，故而，本发明实施例中在训练第二深度学习模型时，通过俯视图训练的是识别特殊车位。为了使得模型训练更具有针对性，在训练第一深度学习模型时，只训练常规线条车位，所以识别出的结果是常规线车位线；在训练第二深度学习模型时，只训练特殊车位，所以识别出的车位线是特殊车位线（如砖草车位线、角标车位线）。通过本实施例提供的方法，实现了对俯视图像上的车位线的识别。

综合柱状图像和俯视图像，提高了对特殊边界的车位（如转草车位、角标车位等）的泊车释放率，提高了泊车的效率。

深度学习识别出来的线段会有很多错误识别，因此，在识别到第一线段和第二线段后，为了能够根据第一线段和第二线段较准确地确定车位，首先，需要对第一线段和第二线段进行滤波处理。在一些实施例中，将第一线段进行滤波处理以获取第三线段，以及将第二线段进行滤波处理以获取第四线段包括：

在将第一线段和第二线段由二维空间坐标转换到世界坐标系之前，从所有第一线段和第二线段中剔除满足第一预设要求的线段或线段上的点，以得到第一剩余线段和第二剩余线段，并将第一剩余线段和第二剩余线段存储在卡尔曼跟踪容器中；其中，第一预设要求至少包括以下之一：线段上的点的数量小于预设数量（如预设数量为3个）、不同的两条线段上的点之间的距离大于第一预设距离（如在X方向上设置的第一预设距离为100个像素，在Y方向上设置的第一预设距离为80像素）、柱状图像的感兴趣区域外的线段上的点。对于设置的感兴趣区域不作限定，如设置柱状图像中图像下方45%区域为感兴趣区域；

将第一剩余线段和第二剩余线段由二维空间坐标转换到世界坐标系；

在当前计算周期内，获取识别到的各线段以及在识别到各线段的时刻获取第一里程计坐标；其中，各线段包含第一剩余线段和第二剩余线段；

在当前计算周期的下一个计算周期内，获取第二里程计坐标，以及根据第二里程计坐标与第一里程计坐标之间的差值确定当前里程计行程的距离；根据当前里程计行程的距离预测各线段的理论位置；

获取当前计算周期的下一个计算周期内识别到的各线段的实际位置；

将各线段的实际位置与各线段对应的理论位置进行匹配，根据匹配结果更新卡尔曼滤波参数，并更新卡尔曼跟踪容器中的车位线；

根据成功匹配的次数达到预设次数的第一剩余线段确定第三线段，以及根据成功匹配的次数达到预设次数的第二剩余线段确定第四线段。

具体地，在将线段转换到世界坐标系前，将第一线段与第二线段一起做初步过滤，这个过程将俯视图和柱状图的车位线融合在一起不做区分处理，只在线段存储容器中增加类别数据性。先做初步过滤，剔除越界的线、非常短线、两个点距离特别远的线，另外设置感兴趣区域，剔除左右距离远的线和前方太远的线，这样减少计算量也剔除精度较低线段，因为195度超鱼眼相机中心区域精度高，四周的精度逐渐降低。

在初步过滤后，将线段由二维空间转换到三维空间（即世界坐标系）。具体地，基于提前标定好的摄像头内外参，建立从图像坐标系到世界坐标系的矩阵转换关系，以自车后轴中心为原点建立车头为X正方向，车左侧为Y正方向坐标系，将深度学习识别到图像坐标系下线段转换成世界坐标系。

将世界坐标系中的车位线逐一经过卡尔曼滤波。第一个计算周期中，将第一次识别到的线段存入已经跟踪到线段容器中，该线段同时还获取线段识别时刻的里程计坐标，当下一个计算周期到来时，已跟踪线段容器中的线段根据当前里程计行走的距离预测跟踪的线段当前理论位置，然后将容器内的所有预测后的线段与当前识别到的线段进行匹配，匹配度越高，匹配到的次数越多，线段的得分值越高。将预测结果与识别结果融合，更新卡尔曼滤波参数，并用融合后的结果更新当前容器中匹配到的车位线。对于成功匹配的次数不作限定，如设置线段需至少成功匹配两次才释放到车位组成阶段，否则放弃该线段。

在经过卡尔曼滤波后，还可能会出现太短的线或距离车辆较远的线等，为了提高建立的车位的准确性，进一步地，根据成功匹配的次数达到预设次数的第一剩余线段确定第三线段，以及根据成功匹配的次数达到预设次数的第二剩余线段确定第四线段包括：

从成功匹配的次数达到预设次数的第一剩余线段和成功匹配的次数达到预设次数的第二剩余线段中获取满足第二预设要求的线段；其中，第二预设要求至少包括以下之一：距离车后轴中心距离小于或等于预设值、与当前车辆的角度小于预设角度；

获取满足第二预设要求的线段中的平行线段，并合并平行线段之间的距离小于第三预设值的线段；

获取满足第二预设要求的线段中的非平行线段；

在相邻两条非平行线之间存在距离的情况下，将非平行线段进行延伸处理，以确定第三线段和第四线段。

距离车后轴中心距离小于或等于预设值，该预设值可以为15m；与当前车辆的角度小于预设角度，该预设角度可以是175度；第三预设值可以为0.5m。即线段经过卡尔曼滤波后再次做合并和过滤，删除距离车后轴中心超过15m与当前车辆角度超过175度线段，合并平行线段距离小于0.5m的线段，延伸0.5m距离内即将相交线段，使其形成交点。此外，在车位处理时，将两条线段角度12度偏差以内，各自外接矩形的重合区域大于10%，合并成同一条车位线输出。

遍历每个过滤完的线段与其它线段的平行度，宽度，线段置信度等，每个线车位至少包含两条车位线，如果符合条件则形成线车位。如平行度小于10度，宽度小于2m或2.5m等。

本实施例提供的方法中，通过对深度学习识别出来的线段通过过滤、跟踪，然后拟合出优质的泊车线条，提高了建立的车位的准确性。

在确定出车位后，可控制车辆进行泊车。在一些实施例中，在控制车辆在车位的位置进行泊车包括：

在检测到车位内不存在用于表征禁止泊车的提示信息的情况下，获取车辆的当前姿态和车位世界坐标；

根据当前姿态和车位世界坐标确定泊车路径；

按照泊车路径控制车辆在车位的位置进行泊车。

用于表征禁止泊车的提示信息可以是如车位内有行人、锥筒等不可泊入障碍物。当车位内有用于表征禁止泊车的提示信息，则不会释放该车位，障碍物探测方式有视觉识别到的障碍物也有超声波识别到波障碍物，即使车位释放后也实时探测视觉和超声波障碍物，如果发现则提示停止泊入。此时可视化大屏中会看到车位释放，可点击泊车。根据车辆当前姿态和车位世界坐标，规划一段或者多段路径，完成控制泊车，泊入过程中会判断限位块与车辆的距离，作为前后停止位置的参考，减少停入车位过深碰撞到限位块产生的不良体验。

在泊车过程中，可能会因为一些因素导致泊车位置偏移的情况的发生，其中，视觉识别到的车位线的坐标精度跟车位线与车辆位置有关，距离摄像头越远，精度越低，这是导致泊车位置偏移的主要因素之一，另外一个主要因素是开始泊车到车辆停止阶段产生的运动误差。故而，为了尽可能地减少泊车位置偏移，在一些实施例中，控制车辆在车位的位置进行泊车包括：

在泊车过程中，获取距离视觉传感器第二预设距离内的线段；

将距离视觉传感器第二预设距离内的线段加入到卡尔曼跟踪容器中；

根据卡尔曼跟踪容器中的线段确定新的车位；

控制车辆在新的车位的位置进行泊车。

对于第二预设距离值不作限定，如第四预设值为3m。在泊车过程中实时识别该线车位，只将距离摄像头3m范围内的线段加入到卡尔曼跟踪容器中，并增加线段与摄像头距离值相对于模型更新的置信度，距离越近的线段置信度越高，也就是更加相信距离近的线段，那么形成的三维坐标系下的线车位在倒车泊入过程中精度越来越高，规划模块根据实时修正的线车位调整规划路径，减少远距离的精度误差和运动误差的影响，使得车辆最终停在一个精准的位置上。

此外，在有的车位上可能会存在障碍物，但是该车位是可进行泊车的，此时，为了设置合理的停车位置，在修正的过程中结合超声波感知信号，判断车辆左右与相邻障碍物的距离超过0.25m时，按照正常线车位规划位置停靠，当两侧障碍物小于该阈值时，在不超越车位线的前提下使车停靠在障碍物和另一侧车位线的中间位置，减少泊出刮蹭/开门刮蹭的风险，同时满足停靠位置正确且合理的需求。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。图3为本发明实施例提供的一种多视图融合泊车方法的流程图，如图3所示，该方法包括：

S15：获取鱼眼图像；

S16：车位线段识别；

S17：线段过滤和跟踪；

S18：线段组合形成车位；

S19：获取车位姿态与车身姿态规划泊车路径；

S20：泊车过程中持续更新识别到的车位线并更新形成车位；

S21：实时获取超声波障碍信息，调整规划路径；

S22：路径规划结果控制泊车入库；

S23：判断泊车姿态是否符合阈值；若是，则进入步骤S24；若否，则返回步骤S19；

S24：结束泊车。

其中，在S16的车位线段识别中，具体包含柱状图像中线段的识别以及俯视图像中线段。在识别柱状图像中的线段时，将鱼眼图像进行图像大小转换，如转换到640像素×786像素，然后再识别压缩后的图像中的线段；在识别俯视图像中的线段时，将鱼眼图像进行拼接，可将拼接后的图像压缩到384像素×384像素大小，识别压缩后的图像中的车位，然后将车位拆分成四条线段；将柱状图像中识别到的车位线与俯视图像中的车位线由二维空间转换到三维空间。在步骤S23中的泊车姿态阈值如偏航3度。

本发明实施例提供的泊车控制方法中，在确定车位时，是从柱状图像和俯视图像中识别出用于表征车位线的线段，从而根据识别出的线段确定出车位。由于柱状图像不存在图像拼接，故而不存在图片扭曲程度大，且不易受到光照环境的影响，柱状图视角的车位线识别精度较高，识别出的车位的抖动也较小；此外，通过俯视图像可以获得全局视图信息，提高了对特殊边界的车位（如转草车位、角标车位等）的泊车释放率，提高了泊车的效率；且将深度学习识别出来的线段，通过过滤、跟踪，拟合出优质的泊车线条，最终确定出车位，提高了建立的车位的准确性；另外，在泊车时，对车位上的障碍物进行检测以及根据障碍物的位置确定停车的位置，使得停车位置合理。

在上述实施例中，对于泊车控制方法进行了详细描述，本发明还提供泊车控制装置、泊车控制设备对应的实施例。需要说明的是，本发明从两个角度对装置部分的实施例进行描述，一种是基于功能模块的角度，另一种是基于硬件的角度。

图4为本发明的一实施例提供的泊车控制装置的结构图。本实施例基于功能模块的角度，包括：

获取模块10，用于获取采集的柱状图像以及俯视图像；

识别模块11，用于从柱状图像中识别第一线段以及从俯视图像中识别第二线段；其中，第一线段、第二线段均为用于表征车位线的线段；

滤波及获取模块12，用于将第一线段进行滤波处理以获取第三线段，以及将第二线段进行滤波处理以获取第四线段；

确定模块13，用于根据第三线段和第四线段确定车位；

控制模块14，用于控制车辆在车位的位置进行泊车。

由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。并且具有与上述提到的泊车控制方法相同的有益效果。

图5为本发明另一实施例提供的泊车控制设备的结构图。本实施例基于硬件角度，如图5所示，泊车控制设备包括：

存储器20，用于存储计算机程序；

处理器21，用于执行计算机程序时实现如上述实施例中所提到的泊车控制方法的步骤。

其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用数字信号处理器（Digital Signal Processor，DSP）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）、可编程逻辑阵列（Programmable LogicArray，PLA）中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器（CentralProcessing Unit，CPU）；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以集成有图形处理器（Graphics Processing Unit，GPU），GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括人工智能（Artificial Intelligence，AI）处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器20可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器20还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器20至少用于存储以下计算机程序201，其中，该计算机程序被处理器21加载并执行之后，能够实现前述任一实施例公开的泊车控制方法的相关步骤。另外，存储器20所存储的资源还可以包括操作***202和数据203等，存储方式可以是短暂存储或者永久存储。其中，操作***202可以包括Windows、Unix、Linux等。数据203可以包括但不限于上述所提到的泊车控制方法所涉及到的数据等。

在一些实施例中，泊车控制设备还可包括有显示屏22、输入输出接口23、通信接口24、电源25以及通信总线26。

本领域技术人员可以理解，图5中示出的结构并不构成对泊车控制设备的限定，可以包括比图示更多或更少的组件。

本发明实施例提供的泊车控制设备，包括存储器和处理器，处理器在执行存储器存储的程序时，能够实现如下方法：泊车控制方法，效果同上。

最后，本发明还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述方法实施例中记载的步骤。

可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

本发明提供的计算机可读存储介质包括上述提到的泊车控制方法，效果同上。

以上对本发明所提供的一种泊车控制方法、装置、设备及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种泊车控制方法，其特征在于，应用于安装有视觉传感器的车辆，包括：

获取采集的柱状图像以及俯视图像；

从所述柱状图像中识别第一线段以及从所述俯视图像中识别第二线段；其中，所述第一线段、所述第二线段均为用于表征车位线的线段；

将所述第一线段进行滤波处理以获取第三线段，以及将所述第二线段进行滤波处理以获取第四线段；

根据所述第三线段和所述第四线段确定车位；

控制车辆在车位的位置进行泊车。

2.根据权利要求1所述的泊车控制方法，其特征在于，从所述柱状图像中识别所述第一线段包括：

将采集的当前柱状图像分别输入至预先建立的第一深度学习模型中；其中，建立所述第一深度学习模型包括：获取采集的样本柱状图像、标注出所述样本柱状图像中的车位线以及提取车位线上的多个点；将所述样本柱状图像、车位线上的多个点输入至所述第一深度学习模型中进行训练以建立所述第一深度学习模型；

获取所述第一深度学习模型根据识别出的当前柱状图像上的多个点建立的所述第一线段。

3.根据权利要求1所述的泊车控制方法，其特征在于，从所述俯视图像中识别所述第二线段包括：

将当前俯视图像输入至预先建立的第二深度学习模型中；其中，建立所述第二深度学习模型包括：获取样本俯视图像、标注出所述样本俯视图像中车位的角点、车位类别；将所述样本俯视图像、标注出的所述样本俯视图像中车位的四个角点、车位类别输入至所述第二深度学习模型中进行训练以建立所述第二深度学习模型；

获取所述第二深度学习模型输出的当前俯视图中车位的四个角点以及车位类别；

根据当前俯视图中车位的四个角点、车位类别确定出车位；

从车位上的四个角点的位置将车位拆分成四条线段，以作为从当前俯视图中识别到的所述第二线段。

4.根据权利要求1至3任意一项所述的泊车控制方法，其特征在于，所述将所述第一线段进行滤波处理以获取第三线段，以及将所述第二线段进行滤波处理以获取第四线段包括：

在将所述第一线段和所述第二线段由二维空间坐标转换到世界坐标系之前，从所有所述第一线段和所述第二线段中剔除满足第一预设要求的线段或线段上的点，以得到第一剩余线段和第二剩余线段，并将所述第一剩余线段和所述第二剩余线段存储在卡尔曼跟踪容器中；其中，所述第一预设要求至少包括以下之一：线段上的点的数量小于预设数量、不同的两条线段上的点之间的距离大于第一预设距离、柱状图像的感兴趣区域外的线段上的点；

将所述第一剩余线段和所述第二剩余线段由二维空间坐标转换到世界坐标系；

在当前计算周期内，获取识别到的各线段以及在识别到各线段的时刻获取第一里程计坐标；其中，各线段包含所述第一剩余线段和所述第二剩余线段；

在当前计算周期的下一个计算周期内，获取第二里程计坐标，以及根据第二里程计坐标与第一里程计坐标之间的差值确定当前里程计行程的距离；根据当前里程计行程的距离预测各线段的理论位置；

获取当前计算周期的下一个计算周期内识别到的各线段的实际位置；

将各线段的实际位置与各线段对应的理论位置进行匹配，根据匹配结果更新卡尔曼滤波参数，并更新所述卡尔曼跟踪容器中的车位线；

根据成功匹配的次数达到预设次数的第一剩余线段确定所述第三线段，以及根据成功匹配的次数达到预设次数的第二剩余线段确定所述第四线段。

5.根据权利要求4所述的泊车控制方法，其特征在于，所述根据成功匹配的次数达到预设次数的第一剩余线段确定所述第三线段，以及根据成功匹配的次数达到预设次数的第二剩余线段确定所述第四线段包括：

从成功匹配的次数达到预设次数的第一剩余线段和成功匹配的次数达到预设次数的第二剩余线段中获取满足第二预设要求的线段；其中，所述第二预设要求至少包括以下之一：距离车后轴中心距离小于或等于预设值、与当前车辆的角度小于预设角度；

获取满足所述第二预设要求的线段中的平行线段，并合并平行线段之间的距离小于第三预设值的线段；

获取满足所述第二预设要求的线段中的非平行线段；

在相邻两条非平行线之间存在距离的情况下，将非平行线段进行延伸处理，以确定所述第三线段和所述第四线段。

6.根据权利要求1所述的泊车控制方法，其特征在于，所述控制车辆在车位的位置进行泊车包括：

在检测到车位内不存在用于表征禁止泊车的提示信息的情况下，获取车辆的当前姿态和车位世界坐标；

根据当前姿态和车位世界坐标确定泊车路径；

按照泊车路径控制车辆在车位的位置进行泊车。

7.根据权利要求4所述的泊车控制方法，其特征在于，所述控制车辆在车位的位置进行泊车包括：

在泊车过程中，获取距离视觉传感器第二预设距离内的线段；

将距离视觉传感器所述第二预设距离内的线段加入到所述卡尔曼跟踪容器中；

根据所述卡尔曼跟踪容器中的线段确定新的车位；

控制所述车辆在新的车位的位置进行泊车。

8.一种泊车控制装置，其特征在于，应用于安装有视觉传感器的车辆，包括：

获取模块，用于获取采集的柱状图像以及俯视图像；

识别模块，用于从所述柱状图像中识别第一线段以及从所述俯视图像中识别第二线段；其中，所述第一线段、所述第二线段均为用于表征车位线的线段；

滤波及获取模块，用于将所述第一线段进行滤波处理以获取第三线段，以及将所述第二线段进行滤波处理以获取第四线段；

确定模块，用于根据所述第三线段和所述第四线段确定车位；

控制模块，用于控制车辆在车位的位置进行泊车。

9.一种泊车控制设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的泊车控制方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的泊车控制方法的步骤。