CN109816664B - 一种三维点云分割方法及装置 - Google Patents

Abstract

本发明公开了一种三维点云分割方法及装置，以平行于平面区域的方向，采集三维点云；对三维点云进行预处理操作，获得预处理后的三维点云；根据预处理后三维点云中每个三维点的深度值大小，获得非平面区域的三维点云，获得初始凹陷区域三维点云；采用边缘搜索的方法对初始凹陷区域三维点云中所有三维点进行处理，获得多个三维点组成凹陷区域边缘；获得凹陷区域三维点云；本发明提供的分割方法通过滤波降采样等方法，去除了错误及冗余点云，精简三维点云中三维点的数量，有效提高了坑槽区域分割速度；利用深度阈值去除平面区域，保留非平面区域能够快速的将坑槽的大致区域分割出来，降低分割方法的复杂度，提高了分割速度。

Description

一种三维点云分割方法及装置

技术领域

本发明涉及三维点云处理方法及装置，具体涉及一种三维点云分割方法及装置。

背景技术

三维点云是一种空间信息表达方式中最常见，最基础的三维模型。点云模型往往由测量直接获得，每个点对应一个测量点，未经其他方法处理，因此包含有目标最大的信息量。三维点云主要用于表征三维空间中的数据，和平面二维图形相比，三维点云拥有深度方向信息，天然的可以将目标及背景在深度方向上解耦。另外，对于三维视觉测量来说，三维点云是其主要的依托手段，通过对目标三维点云的提取，可以得到目标在空间中的实际物理几何信息。

在实际应用中，由于实际获取的点云包含大量噪声，并且获取到的三维点云并不包含目标完整信息，且在不同角度存在旋转变换，导致同一目标点云形状千差万别，尤其是面对既含有凹陷区域又含有平面区域的三维点云数据，例如包含坑槽的路面的三维点云时，路面本身是一个平面，但是在平面之中又包括了坑槽的凹陷区域，在对这种三维点云再进行分割时，由于噪声较多，无法准确的找到凹陷区域与平面区域之间的分割线，导致分割难度较大，因此现有技术中的三维点云分割方法在面对包含凹陷区域的三维点云时，无法准确地进行分割。

发明内容

本发明的目的在于提供三维点云分割方法及装置，用以解决现有技术中的三维点云分割方法在面对包含凹陷区域的三维点云时，无法准确地进行分割的问题。

为了实现上述任务，本发明采用以下技术方案：

一种三维点云分割方法，用于在含有凹陷区域以及平面区域的三维点云中将凹陷区域三维点云分割出来，所述的方法按照以下步骤执行：

步骤1、以平行于所述平面区域的方向，采集含有凹陷区域以及平面区域的三维点云；

步骤2、对所述的三维点云进行预处理操作，获得预处理后的三维点云，所述的预处理操作包括依次执行的降采样操作以及滤波操作；

步骤3、根据预处理后三维点云中每个三维点的深度值大小，将三维点的深度值小于深度阈值的所有三维点删除，获得非平面区域的三维点云，所述的深度阈值为预处理后三维点云中所有三维点深度值平均值的两倍；

步骤4、在所述的非平面区域的三维点云中，将深度值最大的三维点作为种子点，采用区域生长的方法获得初始凹陷区域三维点云；

步骤5、采用边缘搜索的方法对所述初始凹陷区域三维点云中所有三维点进行处理，获得多个三维点组成凹陷区域边缘；

步骤6、将所述凹陷区域边缘以内所有的三维点集合，获得所述的凹陷区域三维点云。

进一步地，所述的步骤2按照以下步骤执行：

步骤21、对所述的三维点云利用体素网格滤波的方法进行降采样，获得降采样后的三维点云；

步骤22、对所述的降采样后的三维点云进行直通滤波，获得直通滤波后的三维点云；

步骤23、对所述的直通滤波后的三维点云进行统计滤波，获得处理后的三维点云。

进一步地，所述的步骤3中，根据预处理后三维点云中每个三维点的深度值大小，采用RANSAC算法将三维点的深度值小于深度阈值的所有三维点删除，获得非平面区域的三维点云。

进一步地，所述的采用边缘搜索的方法对所述初始凹陷区域三维点云中所有三维点进行处理时，将所述初始凹陷区域三维点云的一个顶点作为起始边界点，利用边界点最大角原理依次获得多个三维点组成凹陷区域边缘。

一种三维点云分割装置，用于实现所述的三维点云分割方法，所述的装置包括三维点云获取模块、三维点云预处理模块、平面区域三维点云去除模块以及凹陷区域三维点云分割模块；

所述的三维点云获取模块与三维点云预处理模块连接，用于以平行于所述平面区域的方向，采集含有凹陷区域以及平面区域的三维点云；

所述的三维点云预处理模块与所述的平面区域三维点云去除模块连接，用于对所述的三维点云进行预处理操作，获得预处理后的三维点云，所述的预处理操作包括依次执行的降采样操作以及滤波操作；

所述的平面区域三维点云去除模块与所述的凹陷区域三维点云分割模块连接，用于在所述的非平面区域的三维点云中，将深度值最大的三维点作为种子点，采用区域生长的方法获得初始凹陷区域三维点云；

还用于采用边缘搜索的方法对所述初始凹陷区域三维点云中所有三维点进行处理，获得多个三维点组成凹陷区域边缘；

还用于将所述凹陷区域边缘以内所有的三维点集合，获得所述的凹陷区域三维点云。

进一步地，所述的三维点云预处理模块、平面区域三维点云去除模块以及凹陷区域三维点云分割模块均为智能移动设备。

进一步地，所述的智能移动设备为手机。

本发明与现有技术相比具有以下技术效果：

1、本发明提供的三维点云分割方法及装置在对凹陷区域进行分割时，通过滤波降采样等方法，去除了错误及冗余点云，精简三维点云中三维点的数量，有效提高了凹陷区域分割速度；

2、本发明提供的三维点云分割方法及装置在对凹陷区域进行分割时，利用深度阈值去除平面区域，保留非平面区域能够快速的将凹陷区域的大致区域分割出来，降低分割方法的复杂度，提高了分割速度；

3、本发明提供的三维点云分割方法及装置在对凹陷区域进行分割时，首先采用区域生成方法获得初始凹陷区域，在此基础上再使用边缘搜索的方法以获得完整的凹陷区域的边缘，提高了凹陷区域分割的完整性以及准确性；

4、本发明提供的三维点云分割方法及装置在对凹陷区域进行分割时，利用边界点最大角原理依次获得多个三维点组成凹陷区域边缘，进一步地提高了凹陷区域分割的准确性。

附图说明

图1为本发明提供的三维点云分割方法的流程图；

图2为本发明的一个实施例中用于重建路面三维点云时的左右相机图像；

图3为本发明的一个实施例中采集的路面三维点云；

图4为本发明的一个实施例中分割获得的坑槽区域三维点云；

图5为本发明的一个实施例中提供的三维点云分割装置结构示意图。

具体实施方式

三维点云：由多个三维点构成，每个三维点都有横坐标值、纵坐标值以及深度值，以相机左镜头为坐标系原点，一般来说横坐标值、纵坐标值以及深度值都是正值。

边界点最大角原理：在某一边界点的多个邻近点中，边界点与任一个邻近点均存在夹角(该夹角不包含其它邻近点)，因此会存在多个夹角，而最大的两个夹角之间差值对应的两个临近点必为边界点。

实施例一

一种三维点云分割方法，用于在含有凹陷区域以及平面区域的三维点云中将凹陷区域三维点云分割出来，如图1所示，分割方法按照以下步骤执行：

步骤1、以平行于所述平面区域的方向，采集含有凹陷区域以及平面区域的三维点云；

在本步骤中首先采用双目立体相机等三维成像设备获取含有凹陷区域以及平面区域的三维点云，将该三维点云作为本实施例中提供的测量方法的输入。

拍摄时注意成像设备正对平面拍摄，并且覆盖完整凹陷区域范围。

在本实施例中，对如图2所示的双目相机的左右相机图像，进行三维重建获得到的路面三维点云如图3所示。

在本步骤中，对三维点云进行分割时，现有的方法有欧几里得算法、kdTree算法以及OcTree算法，但是以上几种算法在面对路面三维点云时，会出现分割准确率不高的问题。

由于采集到的三维点云包含的数据量较大，并且含有噪声，如果直接进行处理，会出现分割速度慢以及分割效果差的现象，因此在本步骤中，首先对三维点云进行降维后再滤波。

步骤2、对所述的三维点云进行预处理操作，获得预处理后的三维点云，所述的预处理操作包括依次执行的降采样操作以及滤波操作；

首先对三维点云进行降采样，采用体素网格滤波的方法对三维点云进行降采样，以减少冗余数据量，提高点云处理速度，滤波时能够在深度方向上保持细节，减少深度方向的细节损失。

具体过程为：通过输入的三维点云创建一个三维体素网格，体素网格相当于空间三维立方体的集合，然后在每个体素内，用体素中所有点的重心来近似显示体素中其他点，这样该体素网格内所有点最终就用一个重心点表示，所有点云都按体素网格处理后得到降采样点云，获得准确的采样点对应曲面的表示。

步骤22、对所述的降采样后的三维点云进行直通滤波，获得直通滤波后的三维点云；

在本步骤中，对降采样后的三维点云进行滤波，采用直通滤波的方法，具体是通过设定三维点云深度方向数据范围，例如0.8-1.2m之间，在此范围之外的点云都将作为干扰点去除。

步骤23、对所述的直通滤波后的三维点云进行统计滤波，获得处理后的三维点云。

在本步骤中，对直通滤波后的三维点云采用统计滤波方法，对每个点的邻域进行一个统计分析，并去除一些不符合标准的点云，减少孤立冗余点云，统计滤波对每个点的邻域进行一个统计分析，并修剪掉那些不符合设定标准的点。具体地，在本实施例中采用了稀疏离群点移除方法，基于在输入三维点云中对点到邻近点的距离分布的计算。对每一个三维点，计算它到自身所有邻近点的平均距离，得到的结果是一个高斯分布，其形状由均值和标准差决定，平均距离在标准范围(由全局距离平均值和方差定义)之外的三维点为离群点，并从三维点云中去除掉。

在本实施例中对凹陷区域进行分割时，利用深度阈值去除平面区域，保留非平面区域能够快速的将凹陷区域大致分割出来，降低分割方法的复杂度，提高了分割速度。

步骤3、根据预处理后三维点云中每个三维点的深度值大小，将三维点的深度值小于深度阈值的所有三维点删除，获得非平面区域的三维点云，所述的深度阈值为预处理后三维点云中所有三维点深度值平均值的两倍；

在本步骤中，由于三维点云在获取时是平行于平面区域获得的，因此平面区域三维点云中深度值应该都是一样的，通过这个特征，可以将平面三维点云找到。

优选地，根据预处理后三维点云中每个三维点的深度值大小，采用RANSAC算法将三维点的深度值小于深度阈值的所有三维点删除，获得非平面区域的三维点云。

在本步骤中，采用RANSAC算法提取平面时，设定了深度阈值，深度阈值是根据平面的厚度设定的，例如对路面坑槽区域进行分割时，要分割出2mm深度的路平面，在本实施例提供的测量方法中将会把路平面附近2mm深度内的所有点作为路平面三维点，这一步骤相当于将三维点云在深度方向上进行切削，把路平面削掉。

在本步骤中，提取到平面点云的同时，已经将其他非平面部分点云(包含凹陷点云)分割出来。在正常情况下，由于噪声及无匹配错误点云点的干扰，此时并不能提出完整精确的凹陷不部分点云，需要进一步的处理。

因此，可选地，在执行所述的步骤23之前，首先对所述的非平面区域的三维点云采用统计滤波的方式进行二次滤波，获得滤波后的非平面区域的三维点云，将所述的滤波后的非平面区域的三维点云输入至所述的步骤23中。

在本步骤中，二次滤波时再次采用统计滤波的方式，设定滤波参数，去除无用的范围较小的孤立点云，通过设定每个点云在一定距离内包含的三维点总数，如果小于设定的最小三维点总数阈值，则认为是孤立点云，如果大于设定的最大三维点总数阈值，也认为是无效的三维点云。例如统计某个三维点周围5厘米内的三维点数量，如果统计结果小于500个，则将该三维点以及三维点周围5厘米内的所有三维点视为孤立点云，如果统计结果大于50000则视为超过理论凹陷数据量的无效点云团，也将去除，例如在图3中的坑槽区域，最大的坑槽区域旁边还有一些小的坑槽区域，在本步骤中，将这些小的坑槽区域进行去除，这些小的坑槽区域就是孤立点云。

步骤4、在所述的非平面区域的三维点云中，将深度值最大的三维点作为种子点，采用区域生长的方法获得初始凹陷区域三维点云；

在本步骤中，根据降采样时设定的深度阈值作为区域生长的方法中的距离阈值，以深度值最大的三维点为起点，搜寻距离阈值范围内的点，以新搜寻到的点迭代新为的起点，继续搜寻，直到搜寻到分割出凹陷区域边缘三维点，获得初始凹陷区域三维点云。

为了提高分割的准确率，因此在本实施例中对初始凹陷区域三维点云进行再一次的边缘搜索，以获得完整的凹陷区域的边缘。

步骤5、采用边缘搜索的方法对所述初始凹陷区域三维点云中所有三维点进行处理，获得多个三维点组成凹陷区域边缘；

在本步骤中，边缘搜索的方法可以是深度阈值检测、梯度差值阈值检测的方法等，但现有技术中这些方法在面对平面中凹陷区域时，尤其是当凹陷的边缘具有斜度时，因此采用现有的阈值检测的方法都无法良好的找到凹陷区域的边缘，导致凹陷区域分割的不准确。

因此在本实施例中提供了一种不断逼近的迭代边缘搜索方法，将所述初始凹陷区域三维点云的一个顶点作为起始边界点，利用边界点最大角原理依次获得多个三维点组成凹陷区域边缘。

具体地，按照以下步骤执行：

步骤I、清空边界三维点集合；

步骤II、采用k邻近算法找到所述起始边界点周围的多个邻近三维点；

在本步骤中，具体是以所述起始边界点为球心，以距离阈值为球的半径，建立选择球体，将所述选择球体内所有的三维点作为邻近三维点，获得多个邻近三维点，所述的距离阈值为经过二次滤波后三维点云中所有三维点深度值平均值的两倍；

步骤III、计算每个邻近三维点与所述起始边界点之间的夹角，获得多个夹角值；

步骤IV、将所有的夹角值按照大小降序排列，计算相邻两个夹角值之间的角度差，获得多个角度差；

步骤V、从所有的角度差中选择最大角度差，将最大角度差对应的两个夹角值对应的两个邻近三维点作为两个边界三维点；

步骤VI、若此时边界三维点集合为空，则执行步骤VIII；否则执行VII；

步骤VII、判断步骤V中获得的两个边界三维点是否有一个在所述的边界三维点集合中；

若有一个在所述的边界三维点集合中，则将另外一个不在边界三维点集合中的边界三维点作为新的起始边界点后，再放入边界三维点集合后执行步骤IX中；

若两个边界三维点都在所述的边界三维点集合中，则选择距离起始三维点距离最远的一个点作为新的起始边界点；

否则，首先将两个边界三维点放入边界三维点集合中，再分别计算两个边界三维点与所述起始边界点之间的角度值，选择角度值最大的边界三维点作为新的起始边界点后，执行步骤IX；

步骤IX、将新的起始边界点作为输入，重复步骤II至步骤IX，直至本次获得的新的起始三维点为第一次执行步骤II时选取的初始凹陷区域三维点云的一个顶点后，执行步骤X；

在本实施例中，利用边界点最大角原理依次获得多个三维点组成凹陷区域边缘，进一步地提高了凹陷分割的准确性。

步骤X、从所述初始凹陷区域三维点云中提取所述边界三维点集合中所有边界三维点，获得多个三维点组成凹陷区域边缘。

所述的步骤X中，从所述初始凹陷区域三维点云中提取所述边界三维点集合中所有边界三维点后，此时的多个边界三维点是稀疏边界三维点，直接通过稀疏边界三维点获得凹陷区域三维点云的话，凹陷区域三维点云会存在噪点，即分割不准确的情况，因此在本实施例中对所有的边界三维点进行稠密化，获得多个三维点组成凹陷区域边缘。

在本步骤中，对所有的边界三维点进行稠密化，稠密化的方法可以是插值等方法，但是在本实施例中，为了提高稠密化的准确率，使得分割后的凹陷区域能够更加完整以及准确，边界稠密化是将稀疏边界点演化成稠密点云，就是将稀疏点连线上的边界点也加入到边界点云中。

具体地，在本实施例中按照以下步骤对所有的边界三维点进行稠密化：

步骤A、从所有的边界三维点中找到相邻的两个边界三维点分别作为端点和终点；

步骤B、以端点为球心，以距离阈值为球的半径，建立选择球体，将选择球体内所有三维点作为邻近边界三维点，获得多个邻近边界三维点；

本步骤中的距离阈值与步骤II中的距离阈值相同。

步骤C、计算所有邻近边界三维点到由端点和终点组成的直线之间的距离，获得多个邻近边界三维点的距离值；

步骤D、将小于稠密距离阈值的距离值对应邻近边界三维点作为稠密边界三维点，获得多个稠密边界三维点，稠密距离阈值为二次滤波后三维点云的密度值；

步骤E、重复步骤A至步骤E直至所有的边界三维点均作为端点过，获得多个稠密边界三维点；

步骤F、将所有稠密边界三维点与所有边界三维点结合，获得多个三维点组成凹陷区域边缘。

步骤25、将所述凹陷区域边缘以内所有的三维点集合，获得所述的凹陷区域三维点云。

因此，凹陷区域边缘是在步骤F中获得的由稠密边界点和所有边界三维点组成的边缘，将在该边缘以内的所有三维点取出，包括该边缘，得到了凹陷区域三维点云。

在本实施例中，对如图3所示的路面三维点云图像，采用本实施例中提供的边缘搜索以及边缘稠密化的方法，获得了如图4所示的坑槽区域，该坑槽区域的边缘即由稠密三维边界点和三维边界点构成的。

在本实施例中对凹陷区域进行分割时，首先采用区域生成方法获得初始凹陷区域，在此基础上再使用边缘搜索的方法以获得完整的凹陷区域的边缘，提高了凹陷区域分割的完整性以及准确性，并且提供了对稀疏边缘的稠密化的方法，以获得更为精确的凹陷区域。

实施例二

在本实施例中公开了一种三维点云分割装置，用于实施例一中的三维点云分割方法，如图5所示，所述的装置包括三维点云获取模块、三维点云预处理模块、平面区域三维点云去除模块以及凹陷区域三维点云分割模块；

所述的三维点云获取模块与三维点云预处理模块连接，用于以平行于所述平面区域的方向，采集含有凹陷区域以及平面区域的三维点云；

在本实施例中三维点云获取模块可以是双目相机等能够采集三维点云数据的设备。

所述的三维点云预处理模块与所述的平面区域三维点云去除模块连接，用于对所述的三维点云进行预处理操作，获得预处理后的三维点云，所述的预处理操作包括依次执行的降采样操作以及滤波操作；

所述的平面区域三维点云去除模块与所述的凹陷区域三维点云分割模块连接，用于在所述的非平面区域的三维点云中，将深度值最大的三维点作为种子点，采用区域生长的方法获得初始凹陷区域三维点云；

还用于采用边缘搜索的方法对所述初始凹陷区域三维点云中所有三维点进行处理，获得多个三维点组成凹陷区域边缘；

还用于将所述凹陷区域边缘以内所有的三维点集合，获得所述的凹陷区域三维点云。

可选地，所述的三维点云预处理模块、平面区域三维点云去除模块以及凹陷区域三维点云分割模块均为智能移动设备。

在本实施例中，为了能够实时地采集凹陷区域三维点云，并且能够实时的处理凹陷区域三维点云以对其进行分割，将三维点云预处理模块、平面区域三维点云去除模块以及凹陷区域三维点云分割模块均设置在智能移动设备上，智能移动设备可以是可移动的电脑、手机等硬件设备。

可选地，所述的智能移动设备为手机。

在本实施例中，为了更加方便的实际使用，智能移动设备为手机，例如在对路面坑槽区域进行分割时，路面养护人员可以直接用其手机与三维点云获取模块(双目相机等设备)进行连接，将三维点云采集模块采集到的路面三维点云传输至手机中，利用手机APP进行处理，获得分割后的坑槽区域进行后续处理。

Claims (7)

1.一种三维点云分割方法，用于在含有凹陷区域以及平面区域的三维点云中将凹陷区域三维点云分割出来，其特征在于，所述的方法按照以下步骤执行：

步骤1、以平行于所述平面区域的方向，采集含有凹陷区域以及平面区域的三维点云；

步骤2、对所述的三维点云进行预处理操作，获得预处理后的三维点云，所述的预处理操作包括依次执行的降采样操作以及滤波操作；

步骤3、根据预处理后三维点云中每个三维点的深度值大小，将三维点的深度值小于深度阈值的所有三维点删除，获得非平面区域的三维点云，所述的深度阈值为预处理后三维点云中所有三维点深度值平均值的两倍；

步骤4、在所述的非平面区域的三维点云中，将深度值最大的三维点作为种子点，采用区域生长的方法获得初始凹陷区域三维点云；

步骤5、采用边缘搜索的方法对所述初始凹陷区域三维点云中所有三维点进行处理，获得多个三维点组成凹陷区域边缘；

步骤6、将所述凹陷区域边缘以内所有的三维点集合，获得所述的凹陷区域三维点云。

2.如权利要求1所述的三维点云分割方法，其特征在于，所述的步骤2按照以下步骤执行：

步骤21、对所述的三维点云利用体素网格滤波的方法进行降采样，获得降采样后的三维点云；

步骤22、对所述的降采样后的三维点云进行直通滤波，获得直通滤波后的三维点云；

步骤23、对所述的直通滤波后的三维点云进行统计滤波，获得处理后的三维点云。

3.如权利要求2所述的三维点云分割方法，其特征在于，所述的步骤3中，根据预处理后三维点云中每个三维点的深度值大小，采用RANSAC算法将三维点的深度值小于深度阈值的所有三维点删除，获得非平面区域的三维点云。

4.如权利要求1所述的三维点云分割方法，其特征在于，所述的采用边缘搜索的方法对所述初始凹陷区域三维点云中所有三维点进行处理时，将所述初始凹陷区域三维点云的一个顶点作为起始边界点，利用边界点最大角原理依次获得多个三维点组成凹陷区域边缘。

5.一种三维点云分割装置，用于实现权利要求1-4中任一项权利要求所述的三维点云分割方法，所述的装置包括三维点云获取模块、三维点云预处理模块、平面区域三维点云去除模块以及凹陷区域三维点云分割模块；

所述的三维点云获取模块与三维点云预处理模块连接，用于以平行于所述平面区域的方向，采集含有凹陷区域以及平面区域的三维点云；

所述的三维点云预处理模块与所述的平面区域三维点云去除模块连接，用于对所述的三维点云进行预处理操作，获得预处理后的三维点云，所述的预处理操作包括依次执行的降采样操作以及滤波操作；

所述的平面区域三维点云去除模块与所述的凹陷区域三维点云分割模块连接，用于在所述的非平面区域的三维点云中，将深度值最大的三维点作为种子点，采用区域生长的方法获得初始凹陷区域三维点云；

还用于采用边缘搜索的方法对所述初始凹陷区域三维点云中所有三维点进行处理，获得多个三维点组成凹陷区域边缘；

还用于将所述凹陷区域边缘以内所有的三维点集合，获得所述的凹陷区域三维点云。

6.如权利要求5所述的三维点云分割装置，其特征在于，所述的三维点云预处理模块、平面区域三维点云去除模块以及凹陷区域三维点云分割模块均为智能移动设备。

7.如权利要求6所述的三维点云分割装置，其特征在于，所述的智能移动设备为手机。

Images