CN115512316A - 静态障碍物接地轮廓线多帧融合方法、装置及介质 - Google Patents

Abstract

本申请公开了一种静态障碍物接地轮廓线多帧融合方法、装置及介质，属于自动驾驶技术领域。该方法包括：预处理过程；单帧点获取过程；单帧点分簇过程；单帧点簇匹配过程；以及多帧融合过程，将单帧点簇匹配过程中被匹配到任一点簇类中的所有单帧点，转化到全局笛卡尔坐标系，并在其周围进行栅格化，得到临时地图，若连续多帧环境图像的相应单帧点已经出现在临时地图的一个栅格内的总出现次数大于单帧点出现次数阈值，则将该栅格的信息存储到稳定地图。本申请的静态障碍物接地轮廓线多帧融合方法，计算过程的复杂度接近线性，从而计算量小，处理速度快，能够满足自动驾驶对静态障碍物的识别速度、识别精确度、识别稳定度的要求。

Description

静态障碍物接地轮廓线多帧融合方法、装置及介质

技术领域

本申请涉及自动驾驶技术领域，尤其涉及一种静态障碍物接地轮廓线多帧融合方法、装置及介质。

背景技术

在自动驾驶过程中，为保证驾驶的安全性，需要对自动驾驶的路线进行实时规划，以避免碰触甚至撞击可能的障碍物。这就需要在自动驾驶的过程中，动态实时地识别和确定障碍物的准确位置。在现有技术中，对障碍物的探测，大多是通过在车辆上安装激光雷达、超声波传感器等探测设备，直接测量障碍物与自动驾驶车辆之间的距离。然而，激光雷达、超声波传感器等设备的成本较高，并且，直接利用所测量到的障碍物与行驶车辆之间的距离进行车辆避障规划时，所需的计算量巨大，数据处理和传输的延迟过大，很难直接应用于对实时性要求很高的自动驾驶。同时数据的稳定性较差且存在大量噪音，直接应用于自动驾驶会严重干扰算法的判断。

发明内容

针对现有技术中，进行车辆避障规划时，所需的计算量过大，从而数据处理和传输的延迟过大的技术问题，本申请提出一种静态障碍物接地轮廓线多帧融合方法、装置及介质。

在本申请的一个技术方案中，提供一种静态障碍物接地轮廓线多帧融合方法，其包括：预处理过程，针对车辆四周部署的相机拍摄到的每一帧环境图像，提取障碍物轮廓点，并过滤丢掉障碍物轮廓点当中位于预定几何范围之外的点，得到经过滤的障碍物轮廓点；单帧点获取过程，将每一帧环境图像对应的经过滤的障碍物轮廓点，转化到以车辆的中心为极坐标系原点的极坐标系下，在具有相同角度坐标的所有经过滤的障碍物轮廓点当中，保留距离极坐标系原点最近的点，作为单帧点；单帧点分簇过程，将所有单帧点按角度坐标值大小顺序排序后，对于每一个单帧点，取其最邻近的另一单帧点，计算该两个单帧点之间的角度坐标差值以及相对距离，若角度坐标差值小于角度坐标差阈值，并且相对距离小于相对距离阈值，则将两个单帧点分簇到同一单帧点簇；单帧点簇匹配过程，遍历单帧点簇当中属于当前帧环境图像的当前帧点簇以及属于临近的历史帧环境图像的历史帧点簇，若当前帧点簇和历史帧点簇之间的距离小于第一距离阈值，并且当前帧点簇与历史帧点簇相互投影的重合程度大于重合程度阈值，则将当前帧点簇和历史帧点簇匹配到同一点簇类；以及多帧融合过程，将单帧点簇匹配过程中被匹配到任一点簇类中的所有单帧点，转化到全局笛卡尔坐标系，并在其周围进行栅格化，得到临时地图，若连续多帧环境图像的相应单帧点已经出现在临时地图的一个栅格内的总出现次数大于单帧点出现次数阈值，则将该栅格的信息存储到稳定地图。

在本申请的另一个技术方案中，提供一种静态障碍物接地轮廓线多帧融合装置，其包括：预处理模块，针对车辆四周部署的相机拍摄到的每一帧环境图像，提取障碍物轮廓点，并过滤丢掉障碍物轮廓点当中位于预定几何范围之外的点，得到经过滤的障碍物轮廓点；单帧点获取模块，将每一帧环境图像对应的经过滤的障碍物轮廓点，转化到以车辆的中心为极坐标系原点的极坐标系下，在具有相同角度坐标的所有经过滤的障碍物轮廓点当中，保留距离极坐标系原点最近的点，作为单帧点；单帧点分簇模块，将所有单帧点按角度坐标值大小顺序排序后，对于每一个单帧点，取其最邻近的另一单帧点，计算该两个单帧点之间的角度坐标差值以及相对距离，若角度坐标差值小于角度坐标差阈值，并且相对距离小于相对距离阈值，则将两个单帧点分簇到同一单帧点簇；单帧点簇匹配模块，遍历单帧点簇当中属于当前帧环境图像的当前帧点簇以及属于临近的历史帧环境图像的历史帧点簇，若当前帧点簇和历史帧点簇之间的距离小于第一距离阈值，并且当前帧点簇与历史帧点簇相互投影的重合程度大于重合程度阈值，则将当前帧点簇和历史帧点簇匹配到同一点簇类；以及多帧融合模块，将单帧点簇匹配过程中被匹配到任一点簇类中的所有单帧点，转化到全局笛卡尔坐标系，并在其周围进行栅格化，得到临时地图，若连续多帧环境图像的相应单帧点已经出现在临时地图的一个栅格内的总出现次数大于单帧点出现次数阈值，则将该栅格的信息存储到稳定地图。

在本申请的另一个技术方案中，提供一种计算机可读存储介质，其存储有计算机指令，计算机指令***作以执行上述技术方案中的静态障碍物接地轮廓线多帧融合方法。

在本申请的另一个技术方案中，提供一种计算机设备，其包括：存储器，其存储有计算机指令；以及处理器，其操作计算机指令以执行上述技术方案中的静态障碍物接地轮廓线多帧融合方法。

通过采用上述技术方案，本申请能够达到如下技术效果：计算过程的复杂度接近线性，从而计算量小，处理速度快，能够满足自动驾驶对静态障碍物的识别速度、识别精确度、识别稳定度的要求。

附图说明

为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对本申请具体实施方式或现有技术描述中所需要使用的附图进行简要说明。显然，下面说明的附图针对的是本申请的一些具体实施方式，对于本领域技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图，直接毫无疑义地确定与具体实施方式的等价替换或变形所对应的其他附图。

图1示出了本申请的静态障碍物接地轮廓线多帧融合方法的一个具体实施方式的流程示意图；

图2示出了本申请的静态障碍物接地轮廓线多帧融合方法的一个具体实施方式中的单帧点簇匹配过程的一个实例的示意图；

图3示出了本申请的静态障碍物接地轮廓线多帧融合方法的一个具体实施方式中的多帧融合过程的一个实例的示意图；

图4示出了本申请的静态障碍物接地轮廓线多帧融合装置的一个具体实施方式的构成模块示意图。

通过上述附图，已经清楚明确地示出了本申请的一些具体实施方式，针对这些具体实施方式，后文将有更加详细的文字说明。这些附图和文字说明的目的，并不是要以任何方式限制本申请发明构思所涵盖的保护范围，而是要通过一些特定的具体实施方式，使本领域技术人员能够更方便地理解本申请的发明思想。

具体实施方式

为使本领域技术人员更加方便地理解本申请的技术方案，将结合附图，对本申请技术方案的一些具体实施方式进行清楚、完整地说明。显然，所描述的具体实施方式只是本申请技术方案的一部分具体实施方式，而不是全部的具体实施方式。基于本申请中已经描述的具体实施方式，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。

应该说明的是，本申请中提及的术语“第一”、“第二”、“第三”“第四”等(如果有)，是用于区别类似的对象，而不必然理解成用于描述特定的顺序或先后次序。应该理解，这些数字在适当情况下可以互换，以便这里描述的本申请的技术方案，比如能够以除了图示或描述的那样以外的顺序进行实施。另外，术语“包括”和“具有”以及他们的任何变形，并非意指仅覆盖排他性的包含，例如，包含了一系列步骤的方法，或包含了若干单元、模块的产品或设备，并不必然理解成仅限于列明的那些步骤、单元、模块，而是还可以包括没有列明的或对于这些方法、产品或设备本身理应固有的其它步骤、单元、模块。

另外，下面对本发明技术方案的不同部分进行详细说明的多个具体实施方式、多个实施例、多个实例等，在不相互排斥的情况下，可以相互结合成为本发明的一个完整的技术方案。对于在某一具体实施方式、实施例、实例等中已经描述过的相同或相似的概念、过程等，可能在其他具体实施方式、实施例、实例等中不再赘述。

下面，结合附图，对本申请的一些具体实施方式、实施例、实例等进行详细说明。

图1是本申请的静态障碍物接地轮廓线多帧融合方法的一个具体实施方式的流程示意图。

在图1所示的实施方式中，本申请的静态障碍物接地轮廓线多帧融合方法包括：S101，预处理过程。

在S101表示的预处理过程中，针对车辆四周部署的相机拍摄到的每一帧环境图像，提取障碍物轮廓点，并过滤丢掉障碍物轮廓点当中位于预定几何范围之外的点，得到经过滤的障碍物轮廓点。

在本实施方式的一个实施例中，车辆四周部署的相机可以为一个或多个。当车辆相机为多个时，多个车辆相机可以分别安装在车辆的不同位置。相机拍摄到的每一帧环境图像可以为多个车辆相机拍摄的相应环境图像经多相机融合后得到的该帧环境图像。

在本实施方式的一个实施例中，针对车辆四周部署的相机拍摄到的每一帧环境图像，提取障碍物轮廓点的过程，可以采用专用的基于深度学习的神经网络算法进行障碍物轮廓点的提取，也可以是采用现有的其他技术进行提取。

在本实施方式的一个实施例中，过滤丢掉障碍物轮廓点当中位于预定几何范围之外的点，得到经过滤的障碍物轮廓点的过程，可以包括：在所述障碍物轮廓点当中，去除超出所述相机的视野角度阈值的点，并去除距所述相机的距离小于第二距离阈值或大于第三距离阈值的点，其中，所述第二距离阈值小于所述第三距离阈值。

在本实施例的一个实例中，上述视野角度阈值可以是90-150度中的任意值，第二距离阈值可以是3-7米中的任意值，第三距离阈值可以是8-12米中的任意值。可选的，视野角度的夹角为120度，第二距离阈值为6米，第三距离阈值为10米。这些阈值，与车辆相机拍摄精度良好的拍摄距离范围有关，当采用不同的车辆相机时，这些阈值可以相应调整，甚至调整到超出上述范围。

在本实施方式的一个实施例中，针对车辆四周部署的相机拍摄到的每一帧环境图像，将其中超出车辆相机的视野角度阈值的障碍物轮廓点去除，并将距相机的距离过小或过大的像素点去除。这样，在后续S101表示的单帧点获取过程中，就能够仅对满足阈值要求的障碍物轮廓点进行处理，增加处理的针对性，并且减少处理的计算量，减少不必要的过多噪声，提高本申请技术方案的处理速度，使得本申请的技术方案能更好地适用于对实时性要求很高的自动驾驶。

在图1所示的实施方式中，本申请的静态障碍物接地轮廓线多帧融合方法包括：S102，单帧点获取过程。

在S102表示的单帧点获取过程中，将每一帧环境图像对应的经过滤的障碍物轮廓点，转化到以车辆的中心为极坐标系原点的极坐标系下，在具有相同角度坐标的所有经过滤的障碍物轮廓点当中，保留距离极坐标系原点最近的点，作为单帧点。

在本实施方式的一个实施例中，车辆的中心，及极坐标系原点，可以是车辆的四个角形成的四边形的对角线的交点。

在本实施方式的一个实施例中，极坐标系的上述角度坐标的坐标值个数可以是360的整数倍或整数分之一，例如，可以是360个、720个、180个，等。下面以极坐标系的多个角度坐标值的坐标值个数为360个为例进行说明。

当极坐标系的多个角度坐标的坐标值个数为360个时，即，以车辆中心为极坐标系原点，可以按照360度旋转一周,这样以1度的分辨率，形成极坐标系下360条以原点为起点的射线。将原点用P₀表示，360条射线对应的角度坐标值用θ表示，这样极坐标系的角度坐标值θ便有360个取值。

由上可知，极坐标系的角度坐标值θ的每一个取值对应一条以极坐标系原点为起点的射线。该射线在车辆相机拍摄到的每一帧环境图像中进行投射，若投射到一个或多个像素点，被认为是投射到了障碍物轮廓上的相应点，则将极坐标系的距离坐标值最小的像素点，即投射到的多个像素点中距车辆中心最近的障碍物轮廓点，作为单帧点，该单帧点被认为是障碍物面向车辆相机方向的接地轮廓线上的相应点。这种情况下，将该单帧点记录并保留下来。可选的，对单帧点的记录可以是记录该单帧点的坐标。

同理，可以得到极坐标系的多个角度坐标值的坐标值个数为其他个数时相应的具体实施例。

在本实施方式的一个实施例中，S102表示的单帧点获取过程还可以包括距离平滑过程，即，将单帧点按相应的角度坐标相等间隔地分成相邻的多个组，利用高斯算法，对每一组单帧点内多个单帧点的距离坐标进行加权平均。

在该实施例的距离平滑过程中，以上述实施例中极坐标系的多个角度坐标值的坐标值个数为360个的情况为例，可以按角度坐标间隔5度为一组，将单帧点分成多个组。

可选的，在每一组内，对于单帧点中距离坐标值落入一预定距离范围之外的，可以将其距离坐标值重置为零。该预定距离范围，与车辆相机拍摄精度良好的拍摄距离范围有关，例如，该预定距离范围可以为距车辆相机的坐标中心0.5-6.5米。当采用不同的车辆相机时，该预定距离范围可以相应调整，从而不拘泥于上述数值范围。

另外，可选的，可以采用权重{1/9,2/9,3/9,2/9,1/9}，利用高斯算法对单帧点的距离坐标进行加权平均。

利用高斯算法对每一组单帧点的距离坐标进行加权平均，能够起到对距离坐标进行平滑的作用，并且能够填补各组单帧点构成的连线时所缺失的漏洞点，这样，利用本申请的技术方案得到的静态障碍物接地轮廓线的平滑程度能够得以提高。

在该实施例中，S102表示的单帧点获取过程还可以进一步包括边界梯度锐化过程，即，对上述距离平滑过程处理完成的每一组单帧点内多个单帧点的距离坐标，利用sobel算子，进一步进行加权平均。这样，可以起到锐化边界梯度的作用。从而，可以使本申请的技术方案得到的静态障碍物接地轮廓线的线条更加清晰。

可选的，还以上述距离平滑过程的具体实例为例，可以对采用权重{1/9,2/9,3/9,2/9,1/9}，利用高斯算法对单帧点的距离坐标进行加权平均之后的距离坐标，紧接着运用sobel算子权重{-1,-2,0,2,1}进一步锐化处理加权平均距离。

在图1所示的实施方式中，本申请的静态障碍物接地轮廓线多帧融合方法还包括：S103，单帧点分簇过程。

在S103表示的单帧点分簇过程中，将所有单帧点按角度坐标值大小顺序排序后，对于每一个单帧点，取其最邻近的另一单帧点，计算该两个单帧点之间的角度坐标差值以及相对距离，若角度坐标差值小于角度坐标差阈值，并且相对距离小于相对距离阈值，则将两个单帧点分簇到同一单帧点簇。

在单帧点分簇过程中，先将所有单帧点按角度坐标值大小顺序排序，然后取每一单帧点最邻近的另一单帧点，计算它们之间的角度坐标差值以及相对距离。而不是无序地任意两个单帧点两两遍历。这样，可以极大降低计算的复杂度，提高本申请技术方案的处理速度，使本申请的技术方案能更好地适用于对实时性要求很高的自动驾驶。

在本申请的一个实施例中，相对距离可以是相应的两个单帧点之间的距离，该距离可以通过两个单帧点的极坐标系角度坐标和距离坐标计算得出，也可以通过两个单帧点的全局笛卡尔坐标系的坐标计算得出。

在本实施方式中，通过将小于角度坐标差阈值和相对距离阈值的所有成对的单帧点，分簇到同一单帧点簇中，能够确保同一个单帧点簇中的单帧点往往属于同一个静态障碍物的接地轮廓线上的点。

在本实施方式的一个实施例中，两个单帧点在以车辆中心为原点的上述极坐标系内的角度坐标差阈值可以是3-6度范围内任一角度值，可选的，该角度坐标差阈值为5度。并且，该两个单帧点的相对距离阈值可以是0.3-0.7米范围内的任意值，可选的，该相对距离阈值为0.5米。

在本实施方式的另一个实施例中，S103表示的单帧点分簇过程还可以包括单帧点簇去除过程，即，将包含单帧点的数目小于单帧点数目阈值的单帧点簇去除。

可选的，单帧点数目阈值可以是5-10的自然数。

将包含单帧点的数目小于单帧点数目阈值的单帧点簇去除，避免将临时出现的动态障碍物图像或并非障碍物的图像误认作静态障碍物，保证障碍物识别的准确性，进而确保静态障碍物接地轮廓线的准确性。

在图1所示的实施方式中，本申请的静态障碍物接地轮廓线多帧融合方法还包括：S104，单帧点簇匹配过程。

在S103表示的单帧点簇匹配过程中，遍历单帧点簇当中属于当前帧环境图像的当前帧点簇以及属于历史帧环境图像的历史帧点簇，若当前帧点簇和历史帧点簇之间的距离小于第一距离阈值，并且当前帧点簇与历史帧点簇相互投影的重合程度大于重合程度阈值，则将当前帧点簇和历史帧点簇匹配到同一点簇类。

在本实施方式的一个实施例中，当前帧点簇和历史帧点簇之间的距离，可以为当前帧点簇和历史帧点簇在笛卡尔坐标系内的水平坐标距离。当前帧点簇与历史帧点簇相互投影的重合程度，可以为当前帧点簇和历史帧点簇各自在笛卡尔坐标系内覆盖的水平坐标范围之间的重合程度。

可选的，当前帧点簇和历史帧点簇在笛卡尔坐标系内的水平坐标距离，可以为能代表当前帧点簇的特征点与能代表历史帧点簇的特征点之间的在水平坐标平面内的投影点之间的距离。

可选的，当前帧点簇的特征点可以是当前帧点簇中的所有或部分单帧点的质心点，历史帧点簇的特征点可以是历史帧点簇中的所有或部分单帧点的质心点。

尤其是，如图2所示，当前帧点簇的特征点可以是当前帧点簇中的单帧点在水平坐标面上的投影点当中相距最远的两个端点P1、P2之间连线的中点C1，历史帧点簇的特征点可以是历史帧点簇中的单帧点在水平坐标面上的投影点当中相距最远的两个端点Q1、Q2之间连线的中点C2。

相应的，当前帧点簇和历史帧点簇在笛卡尔坐标系内的水平坐标距离，为当前帧点簇中的单帧点在水平坐标面上的投影点当中相距最远的两个端点P1、P2连线的中点C1，与历史帧点簇中的单帧点在水平坐标面上的投影点当中相距最远的两个端点Q1、Q2连线的中点C2之间的距离。

在该实施例中，第一距离阈值可以是0.3-0.7米范围内的任意值，可选的，第一距离阈值为0.5米。这样，在当前帧点簇和历史帧点簇之间的距离满足小于第一距离阈值的条件下，可以确保当前帧点簇和历史帧点簇往往属于同一静态障碍物的接地轮廓线。

在本实施方式的一个实施例中，当前帧点簇与历史帧点簇相互投影的重合程度，可以为当前帧点簇和历史帧点簇各自在笛卡尔坐标系内覆盖的水平坐标范围之间的重合程度。

尤其是，如图2所示，当前帧点簇和历史帧点簇各自在笛卡尔坐标系内覆盖的水平坐标范围之间的重合程度，可以是当前帧点簇中的单帧点在水平坐标面上的投影点当中相距最远的两个端点P1、P2之间连线，与历史帧点簇中的单帧点在水平坐标面上的投影点当中相距最远的两个端点Q1、Q2之间连线，在笛卡尔坐标系的水平坐标平面内相互投影的重合程度。即，相互投影得到的投影线段Q1’P2的长度占线段P1P2长度的比例|Q1'-P2|/|P1-P2|，以及线段Q1P2’的长度占线段Q1Q2长度的比例|Q1-P2'|/|Q1-Q2|，其中，Q1’为Q1在线段P1P2上的投影点，P2’为P2在线段Q1Q2上的投影点。

在该实施例中，重合程度阈值可以是0.3-0.7范围内的任意值，可选的，重合程度阈值为0.5。

在当前帧点簇与历史帧点簇相互投影的重合程度大于重合程度阈值的条件下，可以确保当前帧点簇和历史帧点簇往往属于同一静态障碍物的接地轮廓线。

在图1所示的实施方式中，本申请的静态障碍物接地轮廓线多帧融合方法还包括：S105，多帧融合过程。

在S105表示的多帧融合过程中，将单帧点簇匹配过程中被匹配到任一点簇类中的所有单帧点，转化到全局笛卡尔坐标系，并在其周围进行栅格化，得到临时地图，若连续多帧环境图像的相应单帧点已经出现在临时地图的一个栅格内的总出现次数大于单帧点出现次数阈值，则将该栅格的信息存储到稳定地图。

这里，稳定地图作为S105表示的多帧融合过程的最终结果。

在本实施方式的一个实施例中，单帧点出现次数阈值可以是3至6当中的任一自然数，可选的，单帧点出现次数阈值可以是4。

只有当连续多帧环境图像的相应单帧点已经出现在临时地图的一个栅格内的总出现次数大于单帧点出现次数阈值，才将该栅格的信息存储到稳定地图，这样，可以防止将临时出现的动态障碍物图像或并非障碍物的图像误认作静态障碍物，保证障碍物识别的准确性，进而确保静态障碍物接地轮廓线的准确性。

通过仅存储在栅格中出现的多个单帧点的统计平均位置，而不是存储多个单帧点的位置信息，从而能够实时更新统计平均位置且不需要存储所有单帧点，相应地降低计算量，并且降低对存储空间的过高要求。

在本实施方式的一个实施例中，栅格的信息可以包括：该栅格的全局笛卡尔坐标信息、在该栅格中出现的单帧点的统计平均位置、以及在该栅格中出现单帧点的总出现次数。

作为该实施例的一个实例，如图3所示，统计平均位置可以是相应栅格内的单帧点的几何中心平均位置。

在图3中，当连续N帧都有单帧点落入某个栅格时，该栅格就作为激活栅格，例如，图3中栅格内的实心点表示单帧点，右上方栅格及右下方栅格内的空心点表示该栅格内多个实心点的几何中心平均位置，即，对该栅格内所有实心点的几何中心坐标求平均值之后得到的坐标所表示的位置。

在本实施方式的一个实施例中，S105表示的多帧融合过程还可以包括地图更新过程，即，针对当前帧环境图像，判断在当前帧获取过程中获取的相应所有单帧点，落入稳定地图已经存储的任一栅格的比例，是否大于击中率阈值，若大于击中率阈值，则将当前帧图像相应的所有单帧点加入稳定地图，否则，仅更新相应的单帧点出现在临时地图的相应栅格的信息。

在本实施例中，“击中”即用每一帧新的环境图像，及当前帧环境图像，在S102所示的当前帧获取过程中获取的相应所有单帧点，去“击”稳定地图已经存储的所有栅格。当前帧环境图像的所有单帧点当中，“击中”即落入稳定地图已经存储的任一栅格中的点，占当前帧环境图像的所有单帧点的比例，即“击中率”。击中率阈值可以是65％至100％范围内的任意值，可选的，击中率阈值可以是70％，75％，80％，85％。

在本实施例中，当击中率大于击中率阈值时，判定当前帧中的单帧点所表示的障碍物在此时间之前的多帧环境图像中均已稳定存在。

否则，若击中率不大于击中率阈值，则判定当前帧中的单帧点所表示的障碍物在此时间之前的多帧环境图像中并未稳定存在。因此，仅更新这些单帧点在临时地图的相应栅格的信息。

在本实施方式的一个实施例中，每个栅格可以运用哈希表计算一个key键值，从而用哈希表表示临时地图和稳定地图。

并且，作为一个实例，可以将激活栅格的笛卡尔坐标信息作为哈希表的key键值，例如，key键值可以是相应激活栅格的横坐标值与纵坐标值的和。这样，可以在哈希表的若干key键值当中查询是否存在某一激活栅格的笛卡尔坐标信息，若未查询到，则说明之前在临时地图和/或稳定地图中并未存储过该激活栅格的相关信息，则将该激活栅格的笛卡尔坐标信息、与各个激活栅格的笛卡尔坐标信息各自关联的统计平均位置、以及与各个激活栅格的笛卡尔坐标信息各自关联的单帧点出现次数添加到哈希表中；若查询到，则说明之前在稳定地图已存储过该激活栅格的相关信息，则在哈希表中仅更新相应的统计平均位置和相应的单帧点出现次数。

在该实施例中，通过利用例如哈希表这样的临时地图和稳定地图，通过激活栅格的坐标信息这样一个信息，就能够实现对临时地图和稳定地图的快速查询，以确定是否需要添加新的多帧融合点的相关信息或者更新历史多帧融合点的相关信息。这里的多帧融合点指的是，通过本申请的上述静态障碍物接地轮廓线多帧融合方案，得到的相应统计平均位置对应的点。这样，可以将静态障碍物接地轮廓线多帧融合方案的算法时间复杂度极度降低，能够使该算法时间复杂度接近于线性，因此，使本申请方案的计算速度快，从而能极好地适应对实时性要求很高的自动驾驶。

图4示出了本申请的静态障碍物接地轮廓线多帧融合装置的一个具体实施方式的构成模块示意图。

在该具体实施方式中，静态障碍物接地轮廓线多帧融合装置包括：预处理模块401，针对车辆四周部署的相机拍摄到的每一帧环境图像，提取障碍物轮廓点，并过滤丢掉障碍物轮廓点当中位于预定几何范围之外的点，得到经过滤的障碍物轮廓点；单帧点获取模块402，将每一帧环境图像对应的经过滤的障碍物轮廓点，转化到以车辆的中心为极坐标系原点的极坐标系下，在具有相同角度坐标的所有经过滤的障碍物轮廓点当中，保留距离极坐标系原点最近的点，作为单帧点；单帧点分簇模块403，将所有单帧点按角度坐标值大小顺序排序后，对于每一个单帧点，取其最邻近的另一单帧点，计算该两个单帧点之间的角度坐标差值以及相对距离，若角度坐标差值小于角度坐标差阈值，并且相对距离小于相对距离阈值，则将两个单帧点分簇到同一单帧点簇；单帧点簇匹配模块404，遍历单帧点簇当中属于当前帧环境图像的当前帧点簇以及属于临近的历史帧环境图像的历史帧点簇，若当前帧点簇和历史帧点簇之间的距离小于第一距离阈值，并且当前帧点簇与历史帧点簇相互投影的重合程度大于重合程度阈值，则将当前帧点簇和历史帧点簇匹配到同一点簇类；以及多帧融合模块405，将单帧点簇匹配过程中被匹配到任一点簇类中的所有单帧点，转化到全局笛卡尔坐标系，并在其周围进行栅格化，得到临时地图，若连续多帧环境图像的相应单帧点已经出现在临时地图的一个栅格内的总出现次数大于单帧点出现次数阈值，则将该栅格的信息存储到稳定地图。

在该具体实施方式中，预处理模块401、单帧点获取模块402、单帧点分簇模块403、单帧点簇匹配模块404、多帧融合模块405，可以具体执行图1所示的静态障碍物接地轮廓线多帧融合方法的预处理过程S101、单帧点获取过程S102、单帧点分簇过程S103、单帧点簇匹配过程S104、多帧融合过程S105的上述具体实施方式、实施例、实例等描述的相应过程，能够达到图1所示的静态障碍物接地轮廓线多帧融合方法的上述具体实施方式、实施例、实例等描述的相应过程所达到的相应技术效果。

在本申请的一个具体实施方式中，提供了一种计算机可读存储介质，其存储有计算机指令，其中计算机指令***作以执行任一上述实施方式、实施例、实例等描述的静态障碍物接地轮廓线多帧融合方法。其中，该存储介质存储的计算机指令，可以直接存储在硬件中、存储在由处理器执行的软件模块中、或者存储在两者的组合中。

软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸盘、CD-ROM或可用于存储计算机指令的任何其它形式的存储介质中。通常，存储介质可以在处理器的控制下，使处理器可从存储介质读取信息和向存储介质写入信息。

处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)、现场可编程门阵列(英文：Field Programmable Gate Array，简称：FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合等。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器、结合DSP核心的一个或一个以上微处理器或任何其它此类配置。在替代方案中，存储介质与处理器可以是一体的。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替代方案中，处理器和存储介质可作为离散组件驻留在用户终端中。

在本申请的一个具体实施方式中，提供了一种计算机设备，其包括处理器和存储器，存储器存储有计算机指令，其中：处理器操作计算机指令以执行上述任一实施方式、实施例、实例等描述的静态障碍物接地轮廓线多帧融合方法。

在本申请所提供的实施方式中，应该理解到，所公开的装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请的技术方案的目的。

以上仅为本申请的实施例，并非因此限制本申请的专利保护范围，凡是利用本申请说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (13)

1.一种静态障碍物接地轮廓线多帧融合方法，其特征在于，包括：

预处理过程，针对车辆四周部署的相机拍摄到的每一帧环境图像，提取障碍物轮廓点，并过滤丢掉所述障碍物轮廓点当中位于预定几何范围之外的点，得到经过滤的障碍物轮廓点；

单帧点获取过程，将所述每一帧环境图像对应的所述经过滤的障碍物轮廓点，转化到以所述车辆的中心为极坐标系原点的极坐标系下，在具有相同角度坐标的所有所述经过滤的障碍物轮廓点当中，保留距离所述极坐标系原点最近的点，作为单帧点；

单帧点分簇过程，将所有所述单帧点按角度坐标值大小顺序排序后，对于每一个所述单帧点，取其最邻近的另一单帧点，计算该两个单帧点之间的角度坐标差值以及相对距离，若所述角度坐标差值小于角度坐标差阈值，并且所述相对距离小于相对距离阈值，则将所述两个单帧点分簇到同一单帧点簇；

单帧点簇匹配过程，遍历所述单帧点簇当中属于当前帧环境图像的当前帧点簇以及属于临近的历史帧环境图像的历史帧点簇，若所述当前帧点簇和所述历史帧点簇之间的距离小于第一距离阈值，并且所述当前帧点簇与所述历史帧点簇相互投影的重合程度大于重合程度阈值，则将所述当前帧点簇和所述历史帧点簇匹配到同一点簇类；以及

多帧融合过程，将所述单帧点簇匹配过程中被匹配到任一所述点簇类中的所有所述单帧点，转化到全局笛卡尔坐标系，并在其周围进行栅格化，得到临时地图，若连续多帧所述环境图像的相应所述单帧点已经出现在所述临时地图的一个栅格内的总出现次数大于单帧点出现次数阈值，则将该栅格的信息存储到稳定地图。

2.根据权利要求1所述的静态障碍物接地轮廓线多帧融合方法，其特征在于，所述栅格的信息包括：该栅格的全局笛卡尔坐标信息、在该栅格中出现的所述单帧点的统计平均位置、以及在该栅格中出现所述单帧点的所述总出现次数。

3.根据权利要求2所述的静态障碍物接地轮廓线多帧融合方法，其特征在于，

所述统计平均位置，为相应所述栅格内的所述单帧点的几何中心平均位置。

4.根据权利要求1所述的静态障碍物接地轮廓线多帧融合方法，其特征在于，所述多帧融合过程还包括：

地图更新过程，针对所述当前帧环境图像，判断在所述当前帧获取过程中获取的相应所有所述单帧点，落入所述稳定地图已经存储的任一栅格的比例，是否大于击中率阈值，若大于所述击中率阈值，则将所述当前帧图像相应的所有所述单帧点加入所述稳定地图，否则，仅更新相应的所述单帧点出现在所述临时地图的相应栅格的信息。

5.根据权利要求1所述的静态障碍物接地轮廓线多帧融合方法，其特征在于，

所述当前帧点簇和所述历史帧点簇之间的距离，为所述当前帧点簇和所述历史帧点簇在笛卡尔坐标系内的水平坐标距离；和/或

所述当前帧点簇与所述历史帧点簇相互投影的重合程度，为所述当前帧点簇和所述历史帧点簇各自在笛卡尔坐标系内覆盖的水平坐标范围之间的重合程度。

6.根据权利要求5所述的静态障碍物接地轮廓线多帧融合方法，其特征在于，

所述当前帧点簇和所述历史帧点簇在笛卡尔坐标系内的水平坐标距离，为所述当前帧点簇中的所述单帧点在水平坐标面上的投影点当中相距最远的两个端点连线的中点，与所述历史帧点簇中的所述单帧点在水平坐标面上的投影点当中相距最远的两个端点连线的中点之间的距离。

7.根据权利要求1所述的静态障碍物接地轮廓线多帧融合方法，其特征在于，所述单帧点分簇过程还包括：

单帧点簇去除过程，将包含所述单帧点的数目小于单帧点数目阈值的所述单帧点簇去除。

8.根据权利要求1所述的静态障碍物接地轮廓线多帧融合方法，其特征在于，所述单帧点获取过程还包括：

距离平滑过程，将所述单帧点按相应的角度坐标相等间隔地分成相邻的多个组，利用高斯算法，对每一组单帧点内多个单帧点的距离坐标进行加权平均。

9.根据权利要求8所述的静态障碍物接地轮廓线多帧融合方法，其特征在于，所述单帧点获取过程还包括：

边界梯度锐化过程，对所述距离平滑过程处理完成的所述每一组单帧点内多个单帧点的距离坐标，利用sobel算子，进一步进行加权平均。

10.根据权利要求1所述的静态障碍物接地轮廓线多帧融合方法，其特征在于，在所述预处理过程中，所述过滤丢掉所述障碍物轮廓点当中位于预定几何范围之外的点的过程包括：

在所述障碍物轮廓点当中，去除超出所述相机的视野角度阈值的点，并去除距所述相机的距离小于第二距离阈值或大于第三距离阈值的点，其中，所述第二距离阈值小于所述第三距离阈值。

11.一种静态障碍物接地轮廓线多帧融合装置，其特征在于，包括：

预处理模块，针对车辆四周部署的相机拍摄到的每一帧环境图像，提取障碍物轮廓点，并过滤丢掉所述障碍物轮廓点当中位于预定几何范围之外的点，得到经过滤的障碍物轮廓点；

单帧点获取模块，将所述每一帧环境图像对应的所述经过滤的障碍物轮廓点，转化到以所述车辆的中心为极坐标系原点的极坐标系下，在具有相同角度坐标的所有所述经过滤的障碍物轮廓点当中，保留距离所述极坐标系原点最近的点，作为单帧点；

单帧点分簇模块，将所有所述单帧点按角度坐标值大小顺序排序后，对于每一个所述单帧点，取其最邻近的另一单帧点，计算该两个单帧点之间的角度坐标差值以及相对距离差值，若所述角度坐标差值小于角度坐标差阈值，并且所述相对距离差值小于相对距离差阈值，则将所述两个单帧点分簇到同一单帧点簇；

单帧点簇匹配模块，遍历所述单帧点簇当中属于当前帧环境图像的当前帧点簇以及属于临近的历史帧环境图像的历史帧点簇，若所述当前帧点簇和所述历史帧点簇之间的距离小于第一距离阈值，并且所述当前帧点簇与所述历史帧点簇相互投影的重合程度大于重合程度阈值，则将所述当前帧点簇和所述历史帧点簇匹配到同一点簇类；以及

多帧融合模块，将所述单帧点簇匹配过程中被匹配到任一所述点簇类中的所有所述单帧点，转化到全局笛卡尔坐标系，并在其周围进行栅格化，得到临时地图，若连续多帧所述环境图像的相应所述单帧点已经出现在所述临时地图的一个栅格内的总出现次数大于单帧点出现次数阈值，则将该栅格的信息存储到稳定地图。

12.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机指令，所述计算机指令***作以执行权利要求1-10中任一项所述的静态障碍物接地轮廓线多帧融合方法。

13.一种计算机设备，其特征在于，包括：

存储器，其存储有计算机指令；以及

处理器，其操作所述计算机指令以执行权利要求1-10中任一项所述的静态障碍物接地轮廓线多帧融合方法。

Images