CN111079652A - 一种基于点云数据简易编码的3d目标检测方法 - Google Patents

Abstract

本发明公开了一种基于点云数据简易编码的3D目标检测方法，该方法将点云数据栅格化，然后通过计算单个栅格内的几何信息和密度信息完成对单个栅格内点集的编码，通过特征拼接和M×N卷积的方式，进行高效的特征降维，最终构建基于点云数据的可应用于卷积神经网络的二维特征图，最后采用一套多尺度卷积的特征提取网络进行特征提取和3D目标检测。所述方法能够高效地将3D特征图降维为2D特征图，从而可以应用于不同2D卷积神经网络进行特征提取和3D目标检测。

Description

一种基于点云数据简易编码的3D目标检测方法

技术领域

本发明涉及激光雷达数据处理与目标识别技术领域，尤其涉及一种基于激光雷达的点云数据栅格化简易编码为二维特征图的方法。

背景技术

对于支撑实现自动驾驶功能的车载智能计算平台而言，激光雷达是车辆进行周围环境感知的一种重要设备。基于激光雷达点云数据的3D目标检测是实现3D感知重要方式。3D目标检测指的是检测周围环境的物体的类别和具体的3D位置。激光雷达是车辆以及机器人进行周围环境感知的一种重要手段，激光雷达包括激光发射***、激光接收***和转动组件，激光发射***一般由一个单束多线窄带激光器组成，激光器以一定的频率向朝向方向发射激光脉冲，激光脉冲在衰减距离内如果打在物体表面就会反射回来，最后被接收***接收。转动组件通过不间断的转动，使单束多线激光脉冲实现360度周围环境信息的采集，发射器的发射频率可以达到每秒上百万个脉冲，与此同时，接收器也会在相应的时间内接收这些脉冲反射回的激光点，由大量的激光点共同构成可以勾勒周边环境的点云特征图。其中，任意单个点的特征记为p_i＝(x_i,y_i,z_i,r_i)，x_i,y_i,z_i分别为X、Y、Z轴下的空间坐标值，r_i为反射强度。通过大量点集进行坐标描述，从而可以将该点云数据应用于不同的感知方法，实现对周围环境3D感知。

由激光雷达的工作特性可知，激光脉冲沿直线运动，已知光的速度是确定的，根据发射时间和接收时间的时间差，可以得到物体表面与发射点的直线距离。同时结合激光脉冲的发射角度，如果以激光雷达中心做为坐标系原点，则可以得到激光反射点精确的X、Y、Z相对坐标信息。从而可以还原周围环境精确的空间信息。

但由于激光雷达的特殊的感知特性，导致激光雷达产生的点云数据存在稀疏、无序及存在噪声的特点，其稀疏性体现在两个方面，一方面是由于激光雷达单位时间内产生的激光脉冲有限，所以是对周边障碍物信息进行离散采样，这种离散采样的特性导致即使在物体表面形成的局部点云特征具有稀疏的特性；另一方面空间障碍物相较于整个空间存在稀疏性。相较于相机等传感器产生的自然图像，点云数据在描述空间特性是时点的次序无关。除此之外激光雷达在接收激光脉冲时，存在少数噪声反射点，导致形成的点云数据存在部分孤立的、错误的噪声点。因此，设计恰当的感知算法进行3D目标检测是十分重要的。大多数表现优良的目标检测算法均基于自然图像，例如卷积神经网络。但是由于激光雷达点云数据以上的诸多特性，导致难以应用这些相关算法，为了可以采用基于卷积神经神经网络的目标检测算法，可以对点云数据通过栅格化编码的方法，通常将点云数据转换为类似于自然图像的特征图形式。但由于编码后的点云数据一般形成的是3D特征图，相较于自然图像，需要采用3D卷积神经网络，而3D卷积神经网络计算量巨大，所以在编码后需要进行特征图降维，将3D特征图降维为2D特征图，才能够更好的应用于卷积神经网络，从而实现基于激光雷达点云数据的3D目标检测方法。

发明内容

本发明针对上述研究现状和实际需求，提供一种基于点云数据简易编码的3D目标检测方法，该方法将点云数据栅格化，然后通过计算单个栅格内的几何信息和密度信息完成对单个栅格内点集的编码，通过特征拼接和1×1卷积的方式，进行高效的特征降维，最终构建基于点云数据的可应用于卷积神经网络的二维特征图，最后采用一套多尺度卷积的特征提取网络进行特征提取和3D目标检测。所述方法能够高效地将3D特征图降维为2D特征图，从而可以应用于不同2D卷积神经网络进行特征提取和3D目标检测。

本发明的具体技术方案如下：

一种基于点云数据简易编码的3D目标检测方法，包括如下步骤：

S1接收激光雷达反射的点云数据，存置于计算机的内存中，所述点云数据由大量的点构成，在所述激光雷达坐标系中，每个点的特征由X、Y、Z轴的空间坐标值和反射强度r表示；

S2对所述点云数据，根据需要选定目标区域，对于不在目标区域的点，进行丢弃；

S3对选定的目标区域进行栅格化，将其分隔成具有三维栅格的栅格化空间；

S4对于栅格化后的每个栅格，均从栅格内的点集中随机选择m个点来计算几何信息和密度信息，作为该栅格的特征向量，对所有栅格进行编码后，将栅格化的点云数据编码为3D特征图；

S5根据栅格化过程中高度方向的划分，对所有栅格编码后的特征向量进行拼接，使3D特征图降维为2D特征图；

S6对所述2D特征图进行M×N卷积操作，其中M的值为1-3，N的值为1-3，将高度信息编码至通道信息中，生成用于卷积神经网络的2D特征图；

S7对步骤S6生成的2D特征图，采用基于卷积神经网络的特征提取网络进行充分的特征提取；

S8基于步骤S7获得的特征提取的2D特征图，实现3D目标检测。

优选的，所述步骤S3具体包括：

S31针对选定的目标区域，选择合适的栅格大小，将目标区域对应的三维空间进行栅格化，形成L×W×H栅格化的目标区域，其中L、W、H分别为目标区域在X、Y、Z轴方向的栅格个数；

S32针对选定的目标区域内的点，根据其空间坐标值，分配至对应的栅格中。

优选的，所述步骤S4具体包括：

S41对于栅格化后形成的三维栅格，令每个栅格内分配的点集为T，若T不为空，则进行步骤S42；

S42对每个栅格内的点集T，随机选择m个点，当栅格内点总个数小于m时，则选择该栅格内的全部点，形成单个栅格内待编点集T'；

S43将点集T'内的点的坐标值提取出来，准备进一步编码；

S44对每个栅格内的待编码点集T'，计算T'的的几何信息，所述几何信息为该点集内的点在各个坐标轴上的最大坐标值、最小坐标值和反射强度的最大值和最小值。

S45分别计算每个栅格内的待编码点集T'的密度信息，所述密度信息为该点集内的点在各个坐标轴上的坐标值的均值、反射强度的均值以及T或者T'内点的总个数；

S46将每个栅格的几何信息和密度信息汇总，形成所对应栅格编码后的特征向量；

S47对于栅格化后形成的三维栅格中没有点的栅格，将其编码为长度相等值为0的特征向量。

优选的，所述S5具体包括：

S51对于栅格化编码后形成的带有通道信息的L×W×H的3D特征图，所述通道信息为栅格编码后的特征向量，长度记为C；

S52将所述3D特征图沿着Z轴方向划分，将通道信息拼接对3D特征图进行降维，形成L×W的2D特征图，通道信息长度变为H×C。

优选的，所述步骤S6具体包括：

对所述步骤S52拼接后的2D特征图，选择K个卷积核，卷积核大小为1×1的卷积神经网络，以步长为1将长度为H×C的通道信息编码为长度为K的通道信息，生成用于卷积神经网络的的2D特征图。

本发明的有益效果为：

(1)使用几何信息和密度信息对栅格内点云数据进行简易编码，一方面尽可能保留了更好的编码性能；另一方面，极大的加快了编码速度。提升了编码效率。

(2)采用基于沿高度方向特征拼接方式将三维特征图降维为二维特征图，极大的加快了特征降维的速度。

(3)通过1×1卷积神经网络的方式，将高度信息编码至通道信息中，一方面保留了更好的特征表达能力；另一方面，通过控制卷积核的数量，对减少最终特征图的通道数也有很大的意义。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本发明基于点云数据简易编码的3D目标检测方法的流程示意图；

图2是本发明对点云数据进行栅格化的示意图；

图3是本发明对单个栅格内点集编码流程图；

图4是本发明对单个栅格内点集编码的示意图；

图5是本发明对栅格化编码后特征拼接降维示意图；

图6是本发明特征提取网络示意图；

图7是本发明SECOND目标检测网络结构图。

具体实施方式

下面将结合本申请实施方式中的附图，对本申请的实施方式中的技术方案进行清楚、完整的描述，显然，所描述的实施方式仅仅是作为例示，并非用于限制本申请。

下面结合附图1对本发明的实施例作详细的描述。

图1为本发明提供的基于点云数据简易编码的3D目标检测方法的流程示意图。在本实施方式中，包括如下步骤：

S1由车载计算平台接受激光雷达输入的点云数据，点云为孤立点的集合，用P_cloud来表示某一帧记录的所有点的集合，P_cloud＝{p₁,p₂,p₃,......p_i,......,p_n}，其中p_i为P_cloud中任意一点，每个点具体的特征为p_i＝[x_i,y_i,z_i,r_i]，分别为该点在以激光雷达坐标系下的坐标值x_i,y_i,z_i和反射强度r_i。

S2对于输入的点云数据P_cloud，选择目标区域：x∈[X₁,X₂],y∈[Y₁,Y₂],z∈[Z₁,Z₂]，其中[X₁,X₂]表示在坐标轴下的以X坐标轴上以X₁为起始，X₂为结束的区间；[Y₁,Y₂]表示在坐标轴下的以Y坐标轴上以Y₁为起始，Y₂为结束的区间；[Z₁,Z₂]表示在坐标轴下的以Z坐标轴上以Z₁为起始，Z₂为结束的区间。当点云P_cloud中任意一点p_i＝[x_i,y_i,z_i,r_i]，当x_i,y_i,z均属于该区间的，则选入目标区域点云集合P′_cloud，否则丢弃。

S3对选择的目标区域进行栅格化。

S31针对目标区域，选择栅格大小(l_a,w_a,h_a)进行栅格化，其中：l_a为在X坐标轴上的栅格大小；w_a为在Y坐标轴上的栅格大小；h_a为在Z坐标轴上的栅格大小。形成L×W×H的三维栅格。其中：L指在X坐标轴上的栅格个数；W指在Y坐标轴上的栅格个数；H指在Z坐标轴上的栅格个数。S_l,w,h表示栅格化空间中任意一个栅格，其中下标_l,w,h值为在不同坐标轴上的索引。

S32将目标区域点云集合P′_cloud按照坐标关系，分配至栅格化后的每个栅格中。其中，任意一个栅格S_i中的点集为T_i。

S4对于包含点集的栅格，提取集几何信息和密度信息，进行编码生成长度为C的特征向量，如附图3。若栅格内没有点，则编码为长度相等值为0特征向量。

S41对于任意一个栅格S_i，该栅格内的点集为T_i，若T_i不为空，则T_i＝{p_i1,p_i2,......,p_ij,,p_ig}，其中p_ij＝[x_ij,y_ij,z_ij,r_ij]为T_i内任意一点，下标j为该点的索引值，下标g为该点集内的点的总个数。[x_ij,y_ij,z_ij,r_ij]分别为该点的坐标值和反射强度。

S42对于T_i，设置固定值m，当g>m时，随机选择m个点，当g<＝m时，则选择全部g个点，形成新的点集T_i'用于编码。

S43对于待编码点集T_i′＝{p′_i1,p′_i2,......,p′_ij,......,p′_iv}，其中：p′_ij＝(x′_ij,y′_ij,z′_ij,r′_ij)为点集T_i'内任意一点，v为该点集T_i'内点的总个数，当g>m时，v＝m；当g<＝m时，v＝g。对于点集合T_i'＝{p′_i1,p′_i2,......,p′_ij,......,p′_iv}，可以写为如下形式：

S44对T_i'＝{p′_i1,p′_i2,......,p′_ij,......,p′_iv}内的点，求在X、Y、Z轴上的最大坐标值和最小坐标值，以及反射强度的最大值和最小值。作为该栅格内点集的几何信息。具体计算方法如下：

S45对T_i'＝{p′_i1,p′_i2,......,p′_ij,......,p′_iv}内的点，求在X、Y、Z轴上坐标值均值，以及反射强度的均值，结合点集T_i'＝{p′_i1,p′_i2,......,p′_ij,......,p′_iv}内的点个数v，作为该栅格内点集的密度信息。具体计算方法如下：

S46对于每个栅格求的的几何信息和密度信息，进行拼接形成特征向量

作为该栅格的特征表达。

S47对于栅格内没有点的的栅格，编码为等长度的值为0的特征向量

f＝[0,0,0,0,0,0,0,0,0,0,0,0,0]。

S5通过上述编码，可以将栅格化后形成的三维栅格L×W×H编码为大小为L×W×H的3D特征图，通道长度为特征向量的长度C。对该3D特征图进行特征图降维，将通道信息长度为C大小为L×W×H的特征图降维为通道长度为H×C的大小为L×W的2D特征图，具体做法如下：

栅格化后形成的三维栅格大小为L×W×H，经过编码后，每个栅格的特征向量长度为C，其中，沿Z轴方向的划分为H个栅格。将通道信息沿Z轴方向进行拼接，形成的长度信息为H×C通道信息，特征图大小变为L×W。拼接方式如图5所示。

S6采用K个卷积核，卷积大小为1×1，步长为1的卷积层。将长度为H×C的通道信息编码为长度为K的通道信息，特征图大小保持不变为L×W，形成可用于2D卷积神经网络的，大小为L×W、通道数为K的2D特征图。

S7采用卷积层数为13层的多尺度卷积神经网络进行特征提取，网络结构如图6所示。

S8采用基于SECOND目标检测网络的检测层设计，进行检测框的回归分类和方向分类，完成最终的3D目标检测。

尽管为了说明的目的，已描述了本发明的示例性实施方式，但是本领域的技术人员将理解，不脱离所附权利要求中公开的发明的范围和精神的情况下，可以在形式和细节上进行各种修改、添加和替换等的改变，而所有这些改变都应属于本发明所附权利要求的保护范围，并且本发明要求保护的产品各个部门和方法中的各个步骤，可以以任意组合的形式组合在一起。因此，对本发明中所公开的实施方式的描述并非为了限制本发明的范围，而是用于描述本发明。相应地，本发明的范围不受以上实施方式的限制，而是由权利要求或其等同物进行限定。

Claims (5)

1.一种基于点云数据简易编码的3D目标检测方法，其特征在于，包括如下步骤：

S1接收激光雷达反射的点云数据，存置于计算机的内存中，所述点云数据由大量的点构成，在所述激光雷达坐标系中，每个点的特征由X、Y、Z轴的空间坐标值和反射强度r表示；

S2对所述点云数据，根据需要选定目标区域，对于不在目标区域的点，进行丢弃；

S3对选定的目标区域进行栅格化，将其分隔成具有三维栅格的栅格化空间；

S4对于栅格化后的每个栅格，均从栅格内的点集中随机选择m个点来计算几何信息和密度信息，作为该栅格的特征向量，对所有栅格进行编码后，将栅格化的点云数据编码为3D特征图；

S5根据栅格化过程中高度方向的划分，对所有栅格编码后的特征向量进行拼接，使3D特征图降维为2D特征图；

S6对所述2D特征图进行M×N卷积操作，其中M的值为1-3，N的值为1-3，将高度信息编码至通道信息中，生成用于卷积神经网络的2D特征图；

S7对步骤S6生成的2D特征图，采用基于卷积神经网络的特征提取网络进行充分的特征提取；

S8基于步骤S7获得的特征提取的2D特征图，进行实现3D目标检测。

2.根据权利要求1所述的方法，其特征在于，所述步骤S3具体包括：

S31、针对选定的目标区域，选择合适的栅格大小，将目标区域对应的三维空间进行栅格化，形成L×W×H栅格化的目标区域，其中L、W、H分别为目标区域在X、Y、Z轴方向的栅格个数；

S32，针对选定的目标区域内的点，根据其空间坐标值，分配至对应的栅格中。

3.根据权利要求2所述的方法，其特征在于，所述步骤S4具体包括：

S41、对于栅格化后形成的三维栅格，令每个栅格内分配的点集为T，若T不为空，则进行步骤S42；

S42、对每个栅格内的点集T，随机选择m个点，当栅格内点总个数小于m时，则选择该栅格内的全部点，形成单个栅格内待编点集T'；

S43、将点集T'内的点的坐标值提取出来，准备进一步编码；

S44、对每个栅格内的待编码点集T'，计算T'的的几何信息，所述几何信息为该点集内的点在各个坐标轴上的最大坐标值、最小坐标值和反射强度的最大值和最小值。

S45、分别计算每个栅格内的待编码点集T'的密度信息，所述密度信息为该点集内的点在各个坐标轴上的坐标值的均值、反射强度的均值以及T或者T'内点的总个数；

S46、将每个栅格的几何信息和密度信息汇总，采用汇总信息的全部或者部分形成所对应栅格编码后的特征向量；

S47、对于栅格化后形成的三维栅格中没有点的栅格，将其编码为长度相等值为0的特征向量。

4.根据权利要求3所述的方法，其特征在于，所述S5具体包括：

S51、对于栅格化编码后形成的带有通道信息的L×W×H的3D特征图，所述通道信息为栅格编码后的特征向量，长度记为C；

S52、将所述3D特征图沿着Z轴方向划分，将通道信息拼接对3D特征图进行降维，形成L×W的2D特征图，通道信息长度变为H×C。

5.根据权利要求4所述的方法，其特征在于，所述步骤S6具体包括：

对所述步骤S52拼接后的2D特征图，选择K个卷积核，卷积核大小为1×1的卷积神经网络，以步长为1将长度为H×C的通道信息编码为长度为K的通道信息，生成用于卷积神经网络的的2D特征图。

Images