CN113160398A - 一种快速三维栅格构建***、方法、介质、设备、无人车 - Google Patents

Abstract

本发明属于无人驾驶技术领域，公开了一种快速三维栅格构建***、方法、介质、设备、无人车，***首先将多线激光雷达产生的三维点云投影生成一幅深度图像；将纵向连续排列的三维栅格组合成一个立柱，并以该立柱作为处理基元，对于任意一个立柱，其对应于深度图像中某一个矩形区域；最后，将立柱中每一个三维栅格的期望深度与其在深度图像某一个矩形区域中所对应像素的观测深度进行对比，即可对立柱中每一个三维栅格的状态属性进行更新。本发明选择使用三维栅格图中的立柱作为处理基元，并利用二维深度图像加速处理三维栅格图，实现对无人车周围三维栅格状态的实时更新。在公开数据集上的实验表明该方法能够很好地消除动态物体的影响。

Description

一种快速三维栅格构建***、方法、介质、设备、无人车

技术领域

本发明属于无人驾驶技术领域，尤其涉及一种快速三维栅格构建***、方法、介质、设备、无人车。

背景技术

目前，自主车辆的环境感知模块主要包括两个任务：对于环境中静态部分的建图(地形、静态障碍物等)和对于环境中运动目标的检测。这两个任务是互相交错的。执行这两项任务的先决条件是一种有效的环境表示模型。

在现有的环境表示方法中，占据栅格图由于其高效且简单的优点，是最受欢迎的一种。这种方法将环境离散化为了等距栅格，并且每个栅格单元都存储了其被占据的概率。

对于二维激光雷达、毫米波雷达等传感器，传感器的逆向模型通常用于生成占据栅格图。在这个模型中，光线被投射在传感器原点和传感器的每个光束读数之间。传感器光束读数附近的栅格状态属性将被更新为占据，而光线所穿过的栅状态属性将被更新为空闲。这种光线投射操作可以有效地利用Bresenham 所提出的光线投射算法实现。

现如今，虽然三维传感器如多线激光雷达已经在无人驾驶车辆中普遍存在，但二维占据栅格图仍然在普遍使用。很少有研究试图直接使用三维占据栅格图。这主要有三个方面的原因：首先，由于车辆大多数情况下在平面上行驶，因此二维占据栅格图在大多数情况下是够用的。其次，激光雷达数据在三维空间中非常稀疏，尤其是沿垂直方向。因此，某些三维栅格单元可能始终无法被更新。第三，三维占据栅格图的计算成本非常高，以至于许多工作必须利用GPU来进行实时计算。尽管计算复杂度较高，但是三维占据栅格图对于自动驾驶汽车而言是一个更理想的选择。这是因为实际上车辆是在三维空间中行驶，对环境进行三维表示之后，大多数环境信息将被保留。这将对于后续的环境感知模块，如地形建模或动态目标跟踪具有很大的帮助。

目前的无人驾驶汽车大多采用二维栅格图作为环境表示模型。而二维栅格图是对三维环境的一种简化处理，其难以反映车辆的俯仰和横滚变化，且在从三维环境投影至二维栅格时会产生大量的信息损失。与二维栅格图相比，三维栅格图是一种对环境的更精确的描述方法，但由于其计算量较大，因此鲜有研究将其应用于无人驾驶汽车中。

通过上述分析，现有技术存在的问题及缺陷为：现有无人驾驶汽车的环境表示模型采用二维栅格，难以反映车辆的俯仰和横滚变化，且在从三维环境投影至二维栅格时会产生大量的信息损失，缺少三维栅格对环境的描述方法。

解决以上问题及缺陷的难度为：三维栅格图的计算成本非常高，对于每一个三维栅格的状态属性进行更新的速度很慢，无法满足无人驾驶实时性的要求。

解决以上问题及缺陷的意义为：利用三维栅格图对环境进行三维表示之后，绝大多数传感器所获取的环境信息将被保留。这对于实现环境的精确建模以及对于后续的环境感知模块，如地形建模或动态目标跟踪均具有很大的帮助。

发明内容

针对现有技术存在的问题，本发明提供了一种快速三维栅格构建***、方法、介质、设备、无人车。

本发明是这样实现的，一种快速三维栅格构建方法包括：

步骤一，将多线激光雷达产生的三维点云投影生成一幅深度图像；

步骤二，将纵向连续排列的三维栅格组合成一个立柱，并以该立柱作为处理基元，对于任意一个立柱，其对应于深度图像中的某一个矩形区域；

步骤三，将立柱中每一个三维栅格的期望深度与其在深度图像某一个矩形区域中所对应像素的观测深度进行对比，即可对立柱中每一个三维栅格的状态属性进行更新。

进一步，所述快速三维栅格构建方法具体包括：

多线激光雷达产生的每帧三维点云首先被投影转换为深度图像；其中对于每一个三维点p_i＝{x_i，y_i，z_i}，其在深度图像中所对应的像素坐标(u，v)为：

其中ω和h分别是深度图像的宽度和高度，f_down和f_up分别代表激光雷达的最小和最大垂直视场角，D_i＝||p_i||₂是点p_i到激光雷达原点的距离，D_i会作为像素值存储在深度图像中。，三维栅格图每个轴上的分辨率分别定义为r_x、r_y和r_z，另外，激光雷达的安装高度为h₁，三维栅格图纵向的实际范围为[Z_min，Z_max]。

将三维栅格图的每一列定义为一个立柱，对于每个立柱，它对应于深度图像中的矩形区域S_i＝[v_up，v_down]×[u_left，u_right]；

对于每一个立柱，其XY坐标可以表示为(x_i，y_i)，首先计算立柱中三维栅格的最大期望深度

和最小期望深度

然后使用等式计算出当前立柱在深度图像中所对应矩形区域的纵坐标上界v₁和下界v₂：

计算出当前立柱在深度图像中所对应矩形区域的纵坐标上界v₁和下界v₂的等式为：

v₁＝(-arcsin(Z_max/D₁)+f_up)/(f_down+f_up)·h

υ₂＝(-arcsin(Z_min/D₂)+f_up)/(f_down+f_up)·h；

由于v₁可能小于0，v₂也可能大于h，这种情况下当前立柱没有被完整地观测；最终当前立柱在深度图像中所对应线段的纵坐标上界v_up和下界v_down计算如下：

υ_up＝max(0，v₁)，

v_down＝min(h，v₂)，

将立柱在XY平面上的投影视为一个正方形，选择正方形的左上顶点与右下顶点来计算方位角范围，令(m_v，n_v)表示在XY平面中激光雷达原点的坐标， (m_i，n_i)表示在XY平面中立柱的坐标，则相对方位角θ_l和θ_r由下式进行计算：

根据计算得到的θ_l和θ_r，可以进一步计算当前立柱在深度图像中所对应矩形区域的横坐标左边界u_left和右边界u_right：

最终，可以将矩形区域S_i＝[v_up，v_down]×[u_left，u_right]中所包含的像素对应的观测深度值组合成一维向量：

对于立柱中的每一个三维栅格，其预测深度值为

然后将该预测深度值与D_i中相应的观测深度值进行比较，如果|d_i-D_i|<∈，则可将当前三维栅格的状态属性更新为占用；如果d_i＜D_i，则更新为空闲，否则更新为遮挡。

s本发明的另一目的在于提供一种快速三维栅格构建***，其特征在于，所述快速三维栅格构建***包括：

深度图像生成模块，用于将多线激光雷达产生的三维点云投影生成一幅深度图像；

处理基元构建模块，用于将纵向连续排列的三维栅格组合成立柱，并以该立柱作为处理基元，并且找到任意一个立柱在深度图像中所对应的矩形区域；

状态更新模块，将立柱中每一个三维栅格的期望深度与其在深度图像某一个矩形区域中所对应像素的观测深度进行对比，从而对立柱中每一个三维栅格的状态属性进行更新。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明选择使用三维栅格图中的立柱作为处理基元，并利用二维深度图像加速处理三维栅格图，可以实现对无人车周围三维栅格状态的实时更新；。在KITTI数据集上的实验表明该方法能够很好地消除动态物体的影响。

本发明通过利用激光雷达数据的内在特性深度图像，这是激光雷达的一个紧凑的数据表示形式，可以用来有效地更新三维占据栅格图。在实际数据集上的实验表明本发明的方法比传统的三维光线投射方法更快且更加有效。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的快速三维栅格构建方法流程图。

图2是本发明实施例提供的多线激光雷达生成的三维点云效果图、点云所投影生成的二维深度图像以及最终生成的三维占据栅格图。

图3是本发明实施例提供的原始点云与二维深度图像以及三维占据栅格图之间的关系示意图。

图4是本发明实施例提供的相对方位角计算示意图。

图5是本发明实施例提供的用不同的方法对多帧点云数据拼接所生成的地图效果图，最左侧是直接将多帧点云数据进行拼接的效果图；中间是利用三维光线投射算法将多帧点云数据进行拼接的效果图；最右侧是利用本发明所提出的方法将多帧点云数据进行拼接的效果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种快速三维栅格构建***、方法、介质、设备、无人车，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的快速三维栅格构建方法包括：

S101，将多线激光雷达产生的三维点云投影生成一幅深度图像；

S102，将纵向连续排列的三维栅格组合成一个立柱，并以该立柱作为处理基元，对于任意一个立柱，其对应于深度图像中的某一个矩形区域；

S103，将立柱中每一个三维栅格的期望深度与其在深度图像某一个矩形区域中所对应像素的观测深度进行对比，即可对立柱中每一个三维栅格的状态属性进行更新。

进一步，所述快速三维栅格构建方法具体包括：

多线激光雷达产生的每帧三维点云首先被投影转换为深度图像；其中对于每一个三维点p_i＝{x_i,y_i,z_i}，其在深度图像中所对应的像素坐标(u,v)为：

其中ω和h分别是深度图像的宽度和高度，f_down和f_up分别代表激光雷达的最小和最大垂直视场角，D_i＝||p_i||₂是点p_i到激光雷达原点的距离，D_i会作为像素值存储在深度图像中。，三维栅格图每个轴上的分辨率分别定义为r_x、r_y和r_z，另外，激光雷达的安装高度为h_l，三维栅格图纵向的实际范围为[Z_min，Z_max]。

将三维栅格图的每一列定义为一个立柱，对于每个立柱，它对应于深度图像中的矩形区域S_i＝[v_up,v_down]×[u_left,u_right]；

对于每一个立柱，其XY坐标可以表示为(x_i，y_i)，首先计算立柱中三维栅格的最大期望深度

和最小期望深度

然后使用等式计算出当前立柱在深度图像中所对应矩形区域的纵坐标上界v₁和下界v₂：

计算出当前立柱在深度图像中所对应矩形区域的纵坐标上界v₁和下界v₂的等式为：

υ₁＝(-arcsin(Z_max/D₁)+f_up)/(f_down+f_up)·h

v₂＝(-arcsin(Z_min/D₂)+f_up)/(f_down+f_up)·h；

由于v₁可能小于0，v₂也可能大于h，这种情况下当前立柱没有被完整地观测；最终当前立柱在深度图像中所对应线段的纵坐标上界v_up和下界v_down计算如下：

v_up＝max(0，v₁)，

v_down＝min(h，v₂)，

将立柱在XY平面上的投影视为一个正方形，选择正方形的左上顶点与右下顶点来计算方位角范围，令(m_v，n_v)表示在XY平面中激光雷达原点的坐标， (m_i，n_i)表示在XY平面中立柱的坐标，则相对方位角θ_l和θ_r由下式进行计算：

根据计算得到的θ_l和θ_r，可以进一步计算当前立柱在深度图像中所对应矩形区域的横坐标左边界u_left和右边界u_right：

最终，可以将矩形区域S_i＝[v_up，v_down]×[u_left，u_right]中所包含的像素对应的观测深度值组合成一维向量：

对于立柱中的每一个三维栅格，其预测深度值为

然后将该预测深度值与D_i中相应的观测深度值进行比较，如果|d_i-D_i|<∈，则可将当前三维栅格的状态属性更新为占用；如果d_i＜D_i，则更新为空闲，否则更新为遮挡。

本发明实施例提供的一种快速三维栅格构建***包括：

深度图像生成模块，用于将多线激光雷达产生的三维点云投影生成一幅深度图像；

处理基元构建模块，用于将纵向连续排列的三维栅格组合成立柱，并以该立柱作为处理基元，并且找到任意一个立柱在深度图像中所对应的矩形区域；

状态更新模块，将立柱中每一个三维栅格的期望深度与其在深度图像某一个矩形区域中所对应像素的观测深度进行对比，从而对立柱中每一个三维栅格的状态属性进行更新。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行***，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种快速三维栅格构建方法，其特征在于，所述快速三维栅格构建方法包括：

将多线激光雷达产生的三维点云投影生成一幅深度图像；

将纵向连续排列的三维栅格组合成一个立柱，并以该立柱作为处理基元，对于任意一个立柱，其对应于深度图像中的某一个矩形区域；

将立柱中每一个三维栅格的期望深度与其在深度图像某一个矩形区域中所对应像素的观测深度进行对比，即可对立柱中每一个三维栅格的状态属性进行更新。

2.如权利要求1所述的快速三维栅格构建方法，其特征在于，所述快速三维栅格构建方法具体包括：多线激光雷达产生的每帧三维点云首先被投影转换为深度图像；其中对于每一个三维点p_i＝{x_i,y_i,z_i}，其在深度图像中所对应的像素坐标(u,v)为：

其中ω和h分别是深度图像的宽度和高度，f_down和f_up分别代表激光雷达的最小和最大垂直视场角，D_i＝||p_i||₂是点p_i到激光雷达原点的距离，D_i会作为像素值存储在深度图像中。，三维栅格图每个轴上的分辨率分别定义为r_x、r_y和r_z，另外，激光雷达的安装高度为h_l，三维栅格图纵向的实际范围为[Z_min，Z_max]。

3.如权利要求2所述的快速三维栅格构建方法，其特征在于，将三维栅格图的每一列定义为一个立柱，对于每个立柱，它对应于深度图像中的矩形区域S_i＝[v_up,v_down]×[u_left,u_right]；

对于每一个立柱，其XY坐标可以表示为(x_i，y_i)，首先计算立柱中三维栅格的最大期望深度

和最小期望深度

然后使用等式计算出当前立柱在深度图像中所对应矩形区域的纵坐标上界v₁和下界v₂：

计算出当前立柱在深度图像中所对应矩形区域的纵坐标上界v₁和下界v₂的等式为：

v₁＝(-arcsin(Z_max/D₁)+f_up)/(f_down+f_up)·h

v₂＝(-arcsin(Z_min/D₂)+f_up)/(f_down+f_up)·h；

由于v₁可能小于0，v₂也可能大于h，这种情况下当前立柱没有被完整地观测；最终当前立柱在深度图像中所对应线段的纵坐标上界v_up和下界v_down计算如下：

v_up＝max(0，v₁)，

v_down＝min(h，v₂)。

4.如权利要求3所述的快速三维栅格构建方法，其特征在于，将立柱在XY平面上的投影视为一个正方形，选择正方形的左上顶点与右下顶点来计算方位角范围，令(m_v，n_v)表示在XY平面中激光雷达原点的坐标，(m_i，n_i)表示在XY平面中立柱的坐标，则相对方位角θ_l和θ_r由下式进行计算：

根据计算得到的θ_l和θ_r，可以进一步计算当前立柱在深度图像中所对应矩形区域的横坐标左边界u_left和右边界u_right：

最终，可以将矩形区域S_i＝[v_up，v_down]×[u_left，u_right]中所包含的像素对应的观测深度值组合成一维向量：

5.如权利要求4所述的快速三维栅格构建方法，其特征在于，对于立柱中的每一个三维栅格，其预测深度值为

然后将该预测深度值与D_i中相应的观测深度值进行比较，如果|d_i-D_i|＜∈，则可将当前三维栅格的状态属性更新为占用；如果d_i＜D_i，则更新为空闲，否则更新为遮挡。

6.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

将多线激光雷达产生的三维点云投影生成一幅深度图像；

将纵向连续排列的三维栅格组合成一个立柱，并以该立柱作为处理基元，对于任意一个立柱，其对应于深度图像中的某一个矩形区域；

将立柱中每一个三维栅格的期望深度与其在深度图像某一个矩形区域中所对应像素的观测深度进行对比，即可对立柱中每一个三维栅格的状态属性进行更新。

7.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

将多线激光雷达产生的三维点云投影生成一幅深度图像；

将纵向连续排列的三维栅格组合成一个立柱，并以该立柱作为处理基元，对于任意一个立柱，其对应于深度图像中的某一个矩形区域；

将立柱中每一个三维栅格的期望深度与其在深度图像某一个矩形区域中所对应像素的观测深度进行对比，即可对立柱中每一个三维栅格的状态属性进行更新。

8.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现权利要求1～5任意一项所述的快速三维栅格构建方法。

9.一种用于权利要求1～5任意一项所述的快速三维栅格构建方法的快速三维栅格构建***，其特征在于，所述快速三维栅格构建***包括：

深度图像生成模块，用于将多线激光雷达产生的三维点云投影生成一幅深度图像；

处理基元构建模块，用于将纵向连续排列的三维栅格组合成立柱，并以该立柱作为处理基元，并且找到任意一个立柱在深度图像中所对应的矩形区域；

状态更新模块，将立柱中每一个三维栅格的期望深度与其在深度图像某一个矩形区域中所对应像素的观测深度进行对比，从而对立柱中每一个三维栅格的状态属性进行更新。

10.一种无人车，其特征在于，所述无人车安装有权利要求9所述的快速三维栅格构建***。

Images