CN111079765B - 一种基于深度图的稀疏点云稠密化及路面去除方法 - Google Patents

Abstract

本发明公开了一种基于深度图的稀疏点云稠密化及路面去除方法，涉及激光雷达数据处理及应用领域。本发明首先利用传感器参数矩阵对稀疏点云进行投影得到稀疏深度图，采用基于Delaunay三角剖分(DT)的线性插值方法得到粗糙稠密深度图，接着应用从稀疏深度图提取的掩模得到精细稠密深度图。在空间坐标系中对稀疏点云进行RANSAC地面拟合并去除，滤除离群点，然后投影得到无地面稀疏深度图并生成掩模，并对精细稠密深度图进一步应用，得到无路面精细稠密深度图。最后对这两种深度图进行反向投影，得到有路面和无路面的稠密点云。本方法能够在不结合其他数据的前提下对感兴趣的点云数据进行稠密化和路面去除，且速度较快，较好地保证了点云数据信息的有效性。

Description

一种基于深度图的稀疏点云稠密化及路面去除方法

技术领域

本发明涉及自动驾驶中环境感知和目标检测的激光雷达数据处理及应用领域。

背景技术

在自动驾驶领域，激光雷达因其对目标对象的精确定位而被广泛使用。激光雷达作为一种主动式传感器，其通过接收物体反射的激光脉冲，实现物体的探测，可以以较高的频率提供准确的距离信息，并且对环境光的强弱和物体色彩有很强的鲁棒性，可以弥补传统相机在这方面的不足，因此，经常被用来作为环境感知和目标检测的重要组成构件。在过去激光雷达常用于机器人的实时定位与建图(SLAM)。近年来，随着多线束激光雷达的出现，激光雷达感知能力得到极大提高，目前能够在多变天气，复杂交通场景下实现对障碍物的精准感知。然而激光雷达数据的具有离散及稀疏的特点，很难直接在后续的算法中直接使用。因此对点云数据进行稠密化是一项具有现实意义的工作。在目标检测过程中，目标往往位于路面之上，而点云数据中的路面点则被视为目标检测中的干扰点，需要予以去除。先稠密化点云再去除地面点会增加计算量和计算耗时，而先去除地面点再稠密化点云则会降低稠密化后的点云准确度，如何在保证准确度和降低计算量的前提下对稀疏点云进行稠密化并去除路面，这是一项具有挑战的工作。

现有的点云稠密化方法主要分为基于图像的方法、基于点云的方法和基于图像和点云的方法。Rashidi,A等人提出了基于双目视觉匹配生成视差图再转为稠密深度图，最后生成稠密点云的方法。相似地，Zhenfeng Shao等人提出了基于多视角低海拔遥感图像的稠密点云生成算法。Kai-Han Lo等人提出了利用联合三边滤波器将彩色图像和稀疏深度图结合的方法来稠密化深度图。然而上述算法数据主要来源于图像或与图像相结合，生成的数据对光照和颜色变化不具有鲁棒性，很难利用激光雷达的优势并后续利用。传统的只基于点云的稠密化方法主要通过在空间坐标系对原始点云直接上采样展开，这种方法存在计算量大，实时性差等缺点。

发明内容

本发明所要解决的技术问题就是提供一种自动驾驶环境下稀疏点云的快速稠密化及路面去除方法，将稀疏点云投影转换为稀疏深度图并用DT线性插值来进行稠密化操作得到初始稠密深度图，同时对稀疏点云进行RANSAC地面去除操作和滤除离群点并转换为无地面稀疏深度图，接着利用两种稀疏深度图生成掩模对初始稠密深度图精细化处理，最后反向投影得到有路面和无路面的稠密点云。该方法可以快速对点云进行稠密化和路面滤除，并较好地保证了点云数据的完整性，有效解决了现有激光雷达采集数据过于稀疏的问题，可以作为自动驾驶的数据预处理的有效手段，也可在此基础上进一步进行3D重建。

为了解决上述技术问题，达到上述目的，本发明所采用的技术方案如下所述。

一种基于深度图的稀疏点云稠密化及路面去除方法，其特征在于，包括如下步骤：

步骤1：输入原始稀疏点云C_points，利用传感器校准得到的内外参数矩阵T对点云坐标进行转换，并提取稀疏深度图DM_origin，转入步骤2；

步骤2：对步骤1提取的稀疏深度图DM_origin，进行Delaunay三角剖分线性插值，得到初始的粗糙稠密深度图DDM_wild，转入步骤3；

步骤3：利用步骤1提取的稀疏深度图DM_origin，生成掩模mask_detailed，并应用至DDM_wild，得到精细稠密深度图DDM_detailed，转入步骤4；

步骤4：对步骤1中的原始稀疏点云C_points，进行RANSAC地面拟合并去除地面，接着滤除离群点，提取无地面稀疏深度图DM_ng，转入步骤5；

步骤5：利用步骤4提取的无地面稀疏深度图DM_ng，生成掩模mask_ng，并应用至DDM_detailed，得到无地面精细稠密深度图DDM_ng，转入步骤6；

步骤6：对步骤3得到的精细稠密深度图DDM_detailed和步骤5得到的无地面精细稠密深度图DDM_ng，利用内外参数矩阵T进行反向投影，得到稠密点云DC_points和稠密点云DC_{points_ng}。

上述技术方案中，所述步骤1中具体有以下几个步骤：

步骤1.1：输入原始稀疏点云C_points，其数据格式为[X,Y,Z]，即点云的空间坐标数据，对传感器进行校准(参照现有技术文献《A toolbox for automatic calibration ofrange and camera sensors using a single shot》)得到内外参数矩阵T；

步骤1.2：利用内外参数矩阵T对稀疏点云C_points进行坐标投影转换得到C_img(用来表示点云的空间坐标系格式数据转换为图像坐标系格式下的数据)，其数据格式为[xX,yY,X]，并调整格式得到C′_img其数据格式为[x,y,X]，即C_points在图像空间的坐标x、y和空间坐标系的X坐标(深度)，转换公式如下：

C_img＝T·C_points

步骤1.3：滤掉C′_img中在图像边界(h,w)外的点，对C′_img中的x、y取整，然后按照深度X从小到大进行排序，并去除x、y坐标重复的点，得到修正后的稀疏点云C″_img；

步骤1.4：构造大小为(h,w)的全零矩阵I₀，利用修正后的稀疏点云C″_img的数据[x,y,X]，在I₀的坐标(y,x)中填入相应的深度X，得到稀疏深度图DM_origin；

上述技术方案中，所述步骤2的具体步骤如下：

步骤2.1：利用Delaunay三角剖分对稀疏深度图DM_origin的坐标(y,x)进行三角网格生成，产生孤立的三角网格集Δ＝{δ₁,…,δ_n}，每个三角形δ中包含三个坐标n₁、n₂和n₃；这里n₁、n₂和n₃实际上就是深度图的坐标在三角形网格里的标号，表示要在这三个坐标构成的三角形中进行插值运算；

步骤2.2：利用三角形δ三个坐标上的深度X进行线性插值估计三角形内部点上深度，最终得到粗糙的稠密深度图DDM_wild；

上述技术方案中，所述步骤3具体步骤如下：

步骤3.1：构造大小为(h,w)的全零矩阵mask₀；

步骤3.2：对步骤1得到的稀疏深度图DM_origin，每一列从上到下寻找第一个深度X不为0的点的坐标索引u，将mask₀每一列第u个元素到最后一个元素全部置为1，得到mask′₀；

步骤3.3：以横向方形结构元对mask′₀进行形态学横向膨胀，得到掩模mask_detailed；

步骤3.4：将mask_detailed与DDM_wild相乘得到精细稠密深度图DDM_detailed；

上述技术方案中，所述步骤4具体步骤如下：

步骤4.1：输入原始稀疏点云C_points，采用RANSAC算法进行地面拟合，并移除地面，得到无地面的稀疏点云C_{points_ng}；

步骤4.2：采用欧式距离统计无地面的稀疏点云C_{points_ng}中每个点周围m个点，并计算每个点与其周围m个点的平均距离

计算这个m个点相对于

的偏差，将偏差大于阈值ρ的点标记为离群点进行剔除，得到C_{points_ng_d}；

步骤4.3：对C_{points_ng_d}采用与步骤1相同的步骤，生成无地面稀疏深度图DM_ng；

上述技术方案中，所述步骤5具体有以下几个步骤：

步骤5.1：构造大小为(h,w)的全零矩阵mask₀₁；

步骤5.2：对步骤4得到的无地面稀疏深度图DM_ng，每一列从上到下寻找第一个深度X不为0的点和最后一个非零点的坐标索引uv，将mask₀₁每一列第u个元素到第v个元素全部置为1，得到mask′₀₁；

步骤5.3：以椭圆形结构元对mask′₀₁进行形态学纵向开运算，得到掩模mask_ng；

步骤5.4：将mask_ng与DDM_detailed相乘得到无地面精细稠密深度图DDM_ng；

上述技术方案中，所述步骤6中反向具体步骤如下：

步骤6.1：对步骤3得到的精细稠密深度图DDM_detailed和步骤5得到的无地面精细稠密深度图DDM_ng，分别找到其中的非零点坐标和坐标对应的深度X，构造格式为[x,y,X]，形状为n×3，n为非零点个数，得到点云C；

步骤6.2：用传感器内外参数矩阵T的逆乘以C，得到稠密点云DC。

因为本发明采用上述技术方案因此具备以下有益效果：

本发明能够在不结合其他数据的前提下对点云数据进行稠密化和路面去除，该方法在稀疏点云进行RANSAC地面拟合去除，基于深度图进行稠密化，这两点使其具有速度快，能较好地保证点云数据信息的有效性等特点。

附图说明

图1为一种基于深度图的稀疏点云稠密化及路面去除方法设计流程；

图2为输入原始点云；

图3为稠密点云及其对应深度图；

图4为去除路面的稠密点云及其对应深度图

图1中mask2为掩模mask_ng，mask1为掩模mask_detailed。

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

本发明提出了一种基于深度图的稀疏点云稠密化及路面去除方法，能够在不结合其他数据的前提下对点云数据进行稠密化和路面去除，具有速度快，能较好地保证点云数据信息的有效性等特点，整个算法设计方案流程如图1所示，包括步骤：

步骤1：输入原始稀疏点云C_points，利用传感器校准得到的内外参数矩阵T对点云坐标进行转换，并提取稀疏深度图DM_origin，转入步骤2；

步骤2：对步骤1提取的稀疏深度图DM_origin，进行Delaunay三角剖分线性插值，得到初始的粗糙稠密深度图DDM_wild，转入步骤3；

步骤3：利用步骤1提取的稀疏深度图DM_origin，生成掩模mask_detailed，并应用至DDM_wild，得到精细稠密深度图DDm_detailed，转入步骤4；

步骤4：对步骤1中的原始稀疏点云C_points，进行RANSAC地面拟合并去除地面，接着滤除离群点，提取无地面稀疏深度图DM_ng，转入步骤5；

步骤5：利用步骤4提取的无地面稀疏深度图DM_ng，生成掩模mask_ng，并应用至DDM_detailed，得到无地面精细稠密深度图DM_ng，转入步骤6；

步骤6：对步骤3得到的精细稠密深度图DDM_detailed和步骤5得到的无地面精细稠密深度图DDM_ng，利用内外参数矩阵T进行反向投影，得到稠密点云DC_points和稠密点云DC_{points_ng}。

上述技术方案中，所述步骤1中具体有以下几个步骤：

步骤1.1：输入原始稀疏点云C_points，其数据格式为[X,Y,Z]，即点云的空间坐标数据，对传感器进行校准得到内外参数矩阵T；

步骤1.2：利用内外参数矩阵T对稀疏点云C_points进行坐标投影转换得到C_img，其数据格式为[xX,yY,X]，并调整格式得到C′_img其数据格式为[x,y,X]，即C_points在图像空间的坐标x、y和空间坐标系的X坐标(深度)，转换公式如下：

C_img＝T.C_points

步骤1.3：对滤掉C′_img中在图像边界(h,w)外的点，对C′_img中的x、y取整，然后按照深度X从小到大进行排序，并去除x、y坐标重复的点，得到修正后的稀疏点云C″_img；

步骤1.4：构造大小为(h,w)的全零矩阵I₀，利用稀疏点云C″_img的数据[x,y,X]，在I₀的坐标(y,x)中填入相应的深度X，得到稀疏深度图DM_origin；

上述技术方案中，所述步骤2的具体步骤如下：

步骤2.1：利用Delaunay三角剖分对稀疏深度图DM_origin的坐标(y,x)进行三角网格生成，产生孤立的三角网格集Δ＝{δ₁,…,δ_n}，每个三角形δ中包含三个坐标n_k(k＝1,2,3)；

步骤2.2：利用三角形δ三个坐标上的深度X进行线性插值估计三角形内部点上深度，最终得到粗糙的稠密深度图DDM_wild；

其中，线性插值的具体步骤为：设点P为三角形ΔP₁P₂P₃中的一个点，P₁、P₂、P₃的值已知，则点P的值可以由下式1.1表示：

p＝(1-u-v)P₁+uP₂+vP₃ (1.1)

将值与点的坐标进行关联，P₁、P₂、P₃以及P的坐标已知，可列如下公式：

解得参数u、v，再带入(1.1)中，即可得点P的值。

上述技术方案中，所述步骤3具体步骤如下：

步骤3.1：构造大小为(h,w)的全零矩阵mask₀；

步骤3.2：对步骤1得到的稀疏深度图DM_origin，每一列从上到下寻找第一个深度X不为0的点的坐标(每一列第一个非零点坐标)索引u，将mask₀每一列第u个元素到最后一个元素全部置为1，得到mask′₀；

步骤3.3：以高为2，宽为10的方形结构元对mask′₀进行形态学横向膨胀，得到掩模mask_detailed；

步骤3.4：将mask_detailed与DDM_wild相乘得到精细稠密深度图DDM_detailed；

上述技术方案中，所述步骤4具体步骤如下：

步骤4.1：输入原始稀疏点云C_points，采用RANSAC算法进行地面拟合，并移除地面，得到C_{points_ng}；本示例中，RANSAC地面拟合由PCL库中的函数计算，设置拟合参数r＝0.1；

步骤4.2：采用欧式距离统计C_{points_ng}中每个点周围最近的50个点，计算平均距离

计算这个50个点相对于

的偏差，将偏差大于0.1的点标记为离群点进行剔除，得到C_{points_ng_d}；

步骤4.3：对C_{points_ng_d}采用与步骤1相同的步骤，生成无地面稀疏深度图DM_ng；

上述技术方案中，所述步骤5具体有以下几个步骤：

步骤5.1：构造大小为(h,w)的全零矩阵mask₀₁；

步骤5.2：对步骤4得到的无地面稀疏深度图DM_ng，每一列从上到下寻找第一个深度X不为0的点和最后一个非零点的坐标索引u、v，将mask₀₁每一列第u个元素到第v个元素全部置为1，得到mask′₀₁；

步骤5.3：以位于高为15，宽为2长方形内的椭圆形结构元对mask′₀₁进行形态学纵向开运算，得到掩模mask_ng；

步骤5.4：将mask_ng与DDM_detailed相乘得到无地面精细稠密深度图DDM_ng；

上述技术方案中，所述步骤6中反向具体步骤如下：

步骤6.1：对步骤3得到的精细稠密深度图DDM_detailed和步骤5得到的无地面精细稠密深度图DDM_ng，分别找到其中的非零点坐标和坐标对应的深度X，构造格式为[x,y,X]，形状为n×3，n为非零点个数，得到点云C；

步骤6.2：用C乘以内外参数矩阵T的逆，得到稠密点云DC。

Claims (7)

1.一种基于深度图的稀疏点云稠密化及路面去除方法，其特征在于，包括如下步骤：

步骤1：输入原始稀疏点云C_points，利用传感器校准得到的内外参数矩阵T对点云坐标进行转换，并提取稀疏深度图DM_origin，转入步骤2；

步骤2：对步骤1提取的稀疏深度图DM_origin，进行Delaunay三角剖分线性插值，得到初始的粗糙稠密深度图DDM_wild，转入步骤3；

步骤3：利用步骤1提取的稀疏深度图DM_origin，生成掩模mask_detailed，并应用至初始的粗糙稠密深度图DDM_wild，得到精细稠密深度图DDM_detailed，转入步骤4；

步骤4：对步骤1中的原始稀疏点云C_points，进行RANSAC地面拟合并去除地面，接着滤除离群点，提取无地面稀疏深度图DM_ng，转入步骤5；

步骤5：利用步骤4提取的无地面稀疏深度图DM_ng，生成掩模mask_ng，并应用至精细稠密深度图DDM_detailed，得到无地面 精细稠密深度图DDM_ng，转入步骤6；

步骤6：对步骤3得到的精细稠密深度图DDM_detailed和步骤5得到的无地面精细稠密深度图DDM_ng，利用内外参数矩阵T进行反向投影，得到稠密点云DC_points和稠密点云DC_{points_ng}。

2.根据权利要求1所述的一种基于深度图的稀疏点云稠密化及路面去除方法，其特征在于：所述步骤1具体步骤如下：

步骤1.1：输入原始稀疏点云C_points，其数据格式为[X,Y,Z]，即点云的空间坐标数据，对传感器进行校准得到内外参数矩阵T；

步骤1.2：利用内外参数矩阵T对稀疏点云C_points进行坐标投影转换得到C_img，并调整格式得到C′_img其数据格式为[x,y,X]，即C_points在图像空间的坐标x、y和空间坐标系的X坐标，转换公式如下：

C_img＝T·C_points

步骤1.3：滤掉C′_img中在图像边界(h,w)外的点，对C′_img中的x、y取整，然后按照深度X从小到大进行排序，并去除x、y坐标重复的点，得到修正后的稀疏点云C″_img；

步骤1.4：构造大小为(h,w)的全零矩阵I₀，利用修正后的稀疏点云C″_img的数据[x,y,X]，在I₀的坐标(y,x)中填入相应的深度X，得到稀疏深度图DM_origin。

3.根据权利要求1所述的一种基于深度图的稀疏点云稠密化及路面去除方法，其特征在于：所述步骤2的具体步骤如下：

步骤2.1：利用Delaunay三角剖分对稀疏深度图DM_origin的坐标(y,x)进行三角网格生成，产生孤立的三角网格集Δ＝{δ₁,…,δ_n}，每个三角形δ中包含三个坐标n₁、n₂和n₃；这里n₁、n₂和n₃实际上就是深度图的坐标在三角形网格里的标号，表示要在这三个坐标构成的三角形中进行插值运算；

步骤2.2：利用三角形δ三个坐标上的深度X进行线性插值估计三角形内部点上深度，最终得到粗糙的稠密深度图DDM_wild。

4.根据权利要求1所述的一种基于深度图的稀疏点云稠密化及路面去除方法，其特征在于：所述步骤3具体步骤如下：

步骤3.1：构造大小为(h,w)的全零矩阵mask₀；

步骤3.2：对步骤1得到的稀疏深度图DM_origin，每一列从上到下寻找第一个深度X不为0的点的坐标索引u，将mask₀每一列第u个元素到最后一个元素全部置为1，得到mask′₀；

步骤3.3：以横向方形结构元对mask′₀进行形态学横向膨胀，得到掩模mask_detailed；

步骤3.4：将mask_detailed与DDM_wild相乘得到精细稠密深度图DDM_detailed。

5.根据权利要求2所述的一种基于深度图的稀疏点云稠密化及路面去除方法，其特征在于：所述步骤4具体步骤如下：

步骤4.1：输入原始稀疏点云C_points，采用RANSAC算法进行地面拟合，并移除地面，得到无地面的稀疏点云C_{points_ng}；

步骤4.2：采用欧式距离统计无地面的稀疏点云C_{points_ng}中每个点周围m个点，并计算每个点与其周围m个点的平均距离

计算这个m个点相对于

的偏差，将偏差大于阈值ρ的点标记为离群点进行剔除，得到C_{points_ng_d}；

步骤4.3：对C_{points_ng_d}采用与步骤1相同的步骤，生成无地面稀疏深度图DM_ng。

6.根据权利要求1所述的一种基于深度图的稀疏点云稠密化及路面去除方法，其特征在于：所述步骤5具体有以下几个步骤：

步骤5.1：构造大小为(h,w)的全零矩阵mask₀₁；

步骤5.2：对步骤4得到的无地面稀疏深度图DM_ng，每一列从上到下寻找第一个深度X不为0的点和最后一个非零点的坐标索引uv，将mask₀₁每一列第u个元素到第v个元素全部置为1，得到mask′₀₁；

步骤5.3：以椭圆形结构元对mask′₀₁进行形态学纵向开运算，得到掩模mask_ng；

步骤5.4：将mask_ng与DDM_detailed相乘得到无地面精细稠密深度图DDM_ng。

7.根据权利要求1所述的一种基于深度图的稀疏点云稠密化及路面去除方法，其特征在于：所述步骤6中反向投影具体步骤如下：

步骤6.1：对步骤3得到的精细稠密深度图DDM_detailed和步骤5得到的无地面精细稠密深度图DDM_ng，分别找到其中的非零点坐标和坐标对应的深度X，构造格式为[x,y,X]，形状为n×3，n为非零点个数，得到点云C；

步骤6.2：用传感器内外参数矩阵T的逆乘以C，得到稠密点云DC。

Images