CN112907602B - 一种基于改进k-近邻算法的三维场景点云分割方法 - Google Patents

Abstract

本发明公开了一种基于改进K‑近邻算法的三维场景点云分割方法，属于机器视觉技术领域。为优化局部特征提取网络，提高点云模型的分割精度，在深度神经网络PointNet基础上，结合改进K‑近邻算法的局部特征提取方法，将加入局部特征提取方法的神经网络命名为PointNet‑KNN。本发明以点的k邻域特征代替单个点特征作为输入进行特征提取，通过调节局部特征提取的网络深度，增强了局部邻域点与点之间的相互关联。在K‑近邻算法的改进上，本发明对局部邻域划分区域，将其划分为k个圆形邻域，根据局部邻域样本数据分布密度的差异计算待测点对于k个圆形邻域的加权分类情况，从而对待测点精准分类，最后将改进的K‑近邻算法应用于PointNet‑KNN点云分割网络具有更高的分割精度。

Description

一种基于改进K-近邻算法的三维场景点云分割方法

技术领域

本发明属于机器视觉技术领域，具体涉及一种基于改进K-近邻算法的三维场景点云分割方法。

背景技术

随着传感器技术的发展，越来越多的设备可以获取3D信息，这些传感器获取的3D数据包括物体的颜色、三维坐标和深度信息。3D数据在不同领域具有众多应用，包括自动驾驶、机器人技术、无线遥感、医疗和建筑设计行业。同时3D数据具有丰富的表示格式，其中包括深度图像、点云和体素网格。点云数据是一种通常使用的3D数据格式，它将原始几何信息保留在3D空间中，在保留数据点信息方面，相比于体素网格显得更为出色，因此，点云作为一种3D数据表达形式是许多场景理解相关应用程序(自动驾驶和机器人技术)的首选格式。近几年来，随着深度学习的发展以及硬件设备的提高，大规模三维场景识别与理解进入众多学者和科研人员的视线，迎来了前所未有的机遇，但在技术创新方面也面临着新的挑战。语义分割作为三维场景理解中的重要一步，已成为众多科学领域诸如导航定位、计算机视觉、智能机器人、测绘地理信息等领域的重要研究方向。

近年来，随着深度学习在3D数据方面研究方法的不断加深以及硬件条件的高速发展，2017年Charles团队提出了点云分类和分割网络PointNet，它是一种直接以点云数据作为输入对象的深度学习神经网络。分割网络利用多层感知器(MLP，MultilayerPerceptron)提取全局特征向量，并利用对称函数解决无序的问题，取得了不错的目标识别效果和较高的分割精度。然而该网络只能学习到点云全局特征，忽略了局部特征，因此该网络对于场景细节的分割精度欠佳。针对该问题Charles团队对PointNet进行了改进，提出了PointNet++，该网络在局部特征领域考虑到了空间中点与点之间的距离度量，通过局部邻域特征的提取，有效利用了局部区域的特征信息，使网络在目标识别和分割精度都获得一定程度的提高。2018年Yang yanLi等人在PointNet基础上进行改进，提出了PointCNN网络结构模型，该模型通过对点云特性的分析，提出了一种从点云中学习得到的X变换矩阵，然后将其与点关联的输入特征(坐标、颜色等)进行卷积，将这些特征信息重新排列成潜在隐含的规范顺序。虽然所提算法对点云卷积处理的性能有所提高，但X变换矩阵还有较大的改进空间，尤其是在对点云的排序方面其表现并不理想。2020年Li Jiang等人在目前研究的基础上提出了新的端到端自底向上的体系结构，特别是通过探索对象之间的空白空间来更好地对点进行分组。在聚类分量的基础上，利用原始点和偏移点坐标集的互补性，建立记分网来评估候选实例，再使用非最大抑制来消除重复。该网络在点云场景的分割上取得了较好的效果。这些网络结构的出现为之后基于深度学习的点云分割方法指引了方向，具有重要的理论研究价值。

发明内容

为优化局部特征提取网络，提高点云模型的分割精度，本发明提供了一种基于改进K-近邻算法的三维场景点云分割方法。

为了达到上述目的，本发明采用了下列技术方案：

一种基于改进K-近邻算法的三维场景点云分割方法，包括以下步骤：

步骤1，选定样本空间，以待测样本点为圆心，r为半径划定圆形区域；

步骤2，将步骤1中的圆形区域划分出k个圆形邻域，其中k-1个圆形邻域分布在距离待测样本点等距的位置，待测样本点位置设有1个圆形邻域，然后对k个圆形邻域中每个圆形邻域所包含样本点的不同类别的数量进行分类，得到初步分类数据；

步骤3，将步骤2得到的初步分类数据，进行加权求和得出分类结果，即完成改进K-近邻算法；

步骤4，采用PointNet分割网络提取点特征，在点特征提取的基础上，通过将步骤3改进后的K-近邻算法引入PointNet分割网络选取局部邻域进行局部特征提取，并命名该网络为PointNet-KNN，同时将局部邻域特征与点特征对应维度通过多层感知器获得n*1024维局部邻域特征，通过Max Pooling将局部特征与点特征融合；

步骤5，将带有像素级语义标注的语义数据集S3DIS引入步骤4的PointNet-KNN网络进行训练和测试，然后对网络进行评价，获取分割结果。

进一步所述步骤3中加权求和的具体方法是：根据k个圆形邻域所处位置的不同密度而有差异，通过对待测样本点附近的k个圆形邻域内样本的密度赋予权重并与步骤2计算出的初步分类数据相乘，最后对k个圆形邻域分类结果类别数据求和，最多的一类为待测样本点的类别。

进一步，所述步骤4中PointNet分割网络的设置方法：首先主干网络由经典的PointNet组成，网络输入n*3的数据，n就是采样点的个数，3表示三维坐标，经过多层感知器获得n*1024维的采样点特征。

进一步，所述步骤4中局部特征提取是通过改进后的K-近邻算法搜索局部邻域，将局部邻域点云数据提取到的特征使用多层感知器MLP升高维度，以此扩大感受野，方便提取不同层次下的点云特征，然后通过MLP降低维度再使用Max pooling提取查询点邻域内的局部特征，作为查询点的新特征。使用点的K邻域代替单个点作为输入进行高维特征提取，增强点与点之间的相互关联。

进一步，所述步骤5对网络进行评价的具体方法是：引入平均类别准确度mAcc、平均类别交并比mIou、总体准确度oAcc对训练网络进行评价。

进一步，所述步骤5将带有像素级语义标注的语义数据集S3DIS引入步骤4的PointNet-KNN网络进行训练和测试的具体方法是：

S3DIS数据集分为Area_1、Area_2、Area_3、Area_4、Area_5、Area_6共6个区域271个房间，使用Matterport相机(结合3个不同间距的结构光传感器)，扫描后生成重建3D纹理网格，RGB-D图像数据，并通过对PointNet-KNN网格进行采样来制作点云，对点云中的每个点都加上了1个语义标签；

再以S3DIS数据集中的Area_1、Area_2、Area_3、Area_4、Area_6为训练集，Area_5为测试集进行实验；

对于S3DIS数据集中的每一个场景，将输入的点云数据分为9个通道，具体表达为{X、Y、Z、R、G、B、X⁰、Y⁰、Z⁰}，其中X、Y、Z表示目标物表面点云的空间坐标信息，是用来描述点云信息必不可少的特征，R、G、B表示目标物体影像在点云上的颜色纹理映射，X⁰、Y⁰、Z⁰表示输入点云的归一化坐标；设置每个批处理Batch的大小为4096个点，并设置训练次数epoch为120；调节K-近邻算法的k值，通过多次测试得出分割结果。

进一步，所述k值为20。

与现有技术相比本发明具有以下优点：本发明方法适用于大型室内三维场景的点云分割，用于机器视觉的语义分割，对于大型且密度不均匀数据集采用改进K-近邻算法搜索局部邻域，在保证极少特征损失的情况下，提高了局部邻域特征提取的效率。本发明将改进的K-近邻算法应用于三维场景点云模型的分割网络中，加强了点与点之间的相互联系，使分割网络取得了更好的分割结果。

附图说明

图1是PointNet-KNN分割网络；

图2是局部邻域待测点归类效果图；

图3是局部特征提取模块网络设计图；

图4是原始RGB点云、真实分割、PointNet分割、PointNet++分割可视化结果图；

图5是本发明方法的可视化结果图。

具体实施方式

实施例1

一种基于改进K-近邻算法的三维场景点云分割方法，包括以下步骤：

步骤1，选定样本空间，以待测样本点为圆心，r为半径划定圆形区域；

步骤2，将步骤1中的圆形区域划分出k个圆形邻域，其中k-1个圆形邻域分布在距离待测样本点等距的位置，待测样本点位置设有1个圆形邻域，然后对k个圆形邻域中每个圆形邻域所包含样本点的不同类别的数量进行分类，得到初步分类数据；如图2局部邻域待测点归类效果图所示：在划定的局部区域内，选取k个圆形邻域，这k个圆形邻域分布在中心区域以及距离待测样本点等距的位置，每个圆形邻域所包含样本点的数量根据所处位置的密度不均而有差异。

步骤3，将步骤2得到的初步分类数据，根据k个圆形邻域所处位置的不同密度而有差异，通过对待测样本点附近的k个圆形邻域内样本的密度赋予权重并与步骤2计算出的初步分类数据相乘，最后对k个圆形邻域分类结果类别数据求和，最多的一类为待测样本点的类别，得出分类结果，即完成改进K-近邻算法；

步骤4，采用PointNet分割网络提取点特征，首先主干网络由经典的PointNet组成，网络输入n*3的数据，n就是采样点的个数，3表示三维坐标，经过多层感知器获得n*1024维的采样点特征，在点特征提取的基础上，通过将步骤3改进后的K-近邻算法引入PointNet分割网络选取局部邻域进行局部特征提取，并命名该网络为PointNet-KNN，通过改进后的K-近邻算法搜索局部邻域，将局部邻域点云数据提取到的特征使用多层感知器MLP升高维度，以此扩大感受野，方便提取不同层次下的点云特征，然后通过MLP降低维度再使用Maxpooling提取查询点邻域内的局部特征，作为查询点的新特征。同时将局部邻域特征与点特征对应维度通过多层感知器获得n*1024维局部邻域特征，通过Max Pooling将局部特征与点特征融合；如图3局部特征提取模块网络设计图所示；以特征维度64时为例，通过改进K-近邻算法搜索局部邻域，将局部邻域点云数据提取到的特征使用MLP升高维度，以此扩大感受野，方便提取不同层次下的点云特征，然后通过MLP降低维度再使用Max pooling提取查询点邻域内的局部特征，作为查询点的新特征。

步骤5，将带有像素级语义标注的语义数据集S3DIS引入步骤4的PointNet-KNN网络进行训练和测试，S3DIS数据集分为Area_1、Area_2、Area_3、Area_4、Area_5、Area_6共6个区域271个房间，通过扫描后生成重建3D纹理网格，RGB-D图像数据，并通过对PointNet-KNN网格进行采样来制作点云，对点云中的每个点都加上了1个语义标签；

再以S3DIS数据集中的Area_1、Area_2、Area_3、Area_4、Area_6为训练集，Area_5为测试集进行实验；

对于S3DIS数据集中的每一个场景，将输入的点云数据分为9个通道，具体表达为{X、Y、Z、R、G、B、X⁰、Y⁰、Z⁰}，其中X、Y、Z表示目标物表面点云的空间坐标信息，是用来描述点云信息必不可少的特征，R、G、B表示目标物体影像在点云上的颜色纹理映射，X⁰、Y⁰、Z⁰表示输入点云的归一化坐标；设置每个批处理Batch的大小为4096个点，并设置训练次数epoch为120；调节K-近邻算法的k值为20，通过多次测试得出分割结果，然后引入平均类别准确度mAcc、平均类别交并比mIou、总体准确度oAcc对训练网络进行评价，获取分割结果。

实验结果在平均类别准确度mAcc、平均类别交并比mIou、总体准确度oAcc分别达到了81.5％、56.3％和85.8％。

为了验证PointNet应用改进K-近邻算法提取局部特征的有效性和可行性，选取S3DIS数据集中Area6_conferenceRoom_1作为可视化分割场景样本，将本发明方法对于Area6_conferenceRoom_1的原始RGB点云、真实分割结果、PointNet分割结果和PointNet++分割结果图进行对比，如图4、5可视化分割结果对比。

表1改进后K-近邻算法分割网络与其它分割网络实验结果对比

从表1可以看出，采用改进后的K-近邻算法应用于分割网络中，通过加强局部信息的提取，使得分割结果在平均类别准确度(mAcc)、平均类别交并比(mIou)和总体准确度(oAcc)上都有了不同程度的提升。

表2 S3DIS数据集13种语义类别IoU结果对比

结果如表2所示，在对S3DIS数据集上的13种语义类别的IoU结果测试方面，使用本发明的点云分割网络同PointNet、PointNet++等当前较为流行的点云处理网络做出对比，在整个S3DIS数据集上，本发明算法在13种语义类别的分割上，一共有13种类别的交并比(IoU)超过PointNet，12种类别的交并比(IoU)超过了PointNet++。除此之外，本发明算法在天花板、地板、墙壁、横梁、窗户、门、椅子和桌子的平均交并比(mIou)达到了70％以上，这8个类别在整个数据集中占据的数量比较大，因此在训练中学习到的特征比较强，得到的分割精度比较高。其他的类别所占比重较小，相应学习到的特征比较弱，得到的分割结果相对较差。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (6)

1.一种基于改进K-近邻算法的三维场景点云分割方法，其特征在于：包括以下步骤：

步骤1，选定样本空间，以待测样本点为圆心，r为半径划定圆形区域；

步骤2，将步骤1中的圆形区域划分出k个圆形邻域，其中k-1个圆形邻域分布在距离待测样本点等距的位置，待测样本点位置设有1个圆形邻域，然后对k个圆形领域中每个圆形邻域所包含样本点的不同类别的数量进行分类，得到初步分类数据；

步骤3，将步骤2得到的初步分类数据，进行加权求和得出分类结果，即完成改进K-近邻算法；

步骤4，采用PointNet分割网络提取点特征，在点特征提取的基础上，通过将步骤3改进后的K-近邻算法引入PointNet分割网络选取局部邻域进行局部特征提取，并命名该网络为PointNet-KNN，同时将局部邻域特征与点特征对应维度通过多层感知器获得n*1024维局部邻域特征，通过Max Pooling将局部特征与点特征融合；

步骤5，将带有像素级语义标注的语义数据集S3DIS引入步骤4的PointNet-KNN网络进行训练和测试，然后对网络进行评价，获取分割结果；

所述步骤3中加权求和的具体方法是：根据k个圆形邻域所处位置的不同密度而有差异，通过对待测样本点附近的k个圆形邻域内样本的密度赋予权重并与步骤2计算出的初步分类数据相乘，最后对k个圆形邻域分类结果类别数据求和，最多的一类为待测样本点的类别。

2.根据权利要求1所述的一种基于改进K-近邻算法的三维场景点云分割方法，其特征在于：所述步骤4中PointNet分割网络的设置方法：首先主干网络由经典的PointNet组成，网络输入n*3的数据，n就是采样点的个数，3表示三维坐标，经过多层感知器获得n*1024维的采样点特征。

3.根据权利要求2所述的一种基于改进K-近邻算法的三维场景点云分割方法，其特征在于：所述步骤4中局部特征提取是通过改进后的K-近邻算法搜索局部邻域，将局部邻域点云数据提取到的特征使用多层感知器MLP升高维度，以此扩大感受野，方便提取不同层次下的点云特征，然后通过MLP降低维度再使用Max pooling提取查询点邻域内的局部特征，作为查询点的新特征。

4.根据权利要求3所述的一种基于改进K-近邻算法的三维场景点云分割方法，其特征在于：所述步骤5对网络进行评价的具体方法是：引入平均类别准确度mAcc、平均类别交并比mIou、总体准确度oAcc对训练网络进行评价。

5.根据权利要求4所述的一种基于改进K-近邻算法的三维场景点云分割方法，其特征在于：所述步骤5将带有像素级语义标注的语义数据集S3DIS引入步骤4的PointNet-KNN网络进行训练和测试的具体方法是：

S3DIS数据集分为Area_1、Area_2、Area_3、Area_4、Area_5、Area_6共6个区域271个房间，通过扫描后生成重建3D纹理网格，RGB-D图像数据，并通过对PointNet-KNN网格进行采样来制作点云，对点云中的每个点都加上了1个语义标签；

再以S3DIS数据集中的Area_1、Area_2、Area_3、Area_4、Area_6为训练集，Area_5为测试集进行实验；

对于S3DIS数据集中的每一个场景，将输入的点云数据分为9个通道，具体表达为{X、Y、Z、R、G、B、X⁰、Y⁰、Z⁰}，其中X、Y、Z表示目标物表面点云的空间坐标信息，是用来描述点云信息必不可少的特征，R、G、B表示目标物体影像在点云上的颜色纹理映射，X⁰、Y⁰、Z⁰表示输入点云的归一化坐标；设置每个批处理Batch的大小为4096个点，并设置训练次数epoch为120；调节K-近邻算法的k值，通过多次测试得出分割结果。

6.根据权利要求5所述的一种基于改进K-近邻算法的三维场景点云分割方法，其特征在于：所述k值为20。

Images