CN116563310A - 点云分割方法、装置、设备及存储介质 - Google Patents

点云分割方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116563310A
CN116563310A CN202310554730.5A CN202310554730A CN116563310A CN 116563310 A CN116563310 A CN 116563310A CN 202310554730 A CN202310554730 A CN 202310554730A CN 116563310 A CN116563310 A CN 116563310A
Authority
CN
China
Prior art keywords
feature
point cloud
point
local
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310554730.5A
Other languages
English (en)
Inventor
杨志新
朱蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Macau
Original Assignee
University of Macau
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Macau filed Critical University of Macau
Priority to CN202310554730.5A priority Critical patent/CN116563310A/zh
Publication of CN116563310A publication Critical patent/CN116563310A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种点云分割方法、装置、设备及存储介质，其中，该方法包括：对三维点云切层，得到三维点云的多个点云层；对各点云层进行特征点提取，得到点云层中的多个特征点；分别确定各特征点的K近邻邻域以及测地线邻域，并将特征点在K近邻邻域以及测地线邻域的特征表达作为特征点的局部特征；通过特征点的局部特征学习特征点的全局特征，并将全局特征以及局部特征串联以确定特征点的特征表达向量；最后根据各点云层中各特征点的特征表达向量，对三维点云中的各点按照点的分类结果进行聚合，得到三维点云的点云分割结果。本申请的方法可以增强点云的局部信息量，提高点云分割的精确度。

Description

点云分割方法、装置、设备及存储介质
技术领域
本申请涉及点云分割技术领域，具体而言，涉及一种点云分割方法、装置、设备及存储介质。
背景技术
对三维环境的有效认知与识别是智能机器人完成自主行为的前提和基础，三维空间的物体通常用点云的形式表达。因此，点云的精确分割工作至关重要。
现有技术中通常使用传感器对物体的点云数据进行采集，将采集到的点云数据体素化、表面网格化，或是从多视角将三维点云转化为易于表达的形式从而完成物体分割。
但是现有技术中传感器采集到的点云稀疏，存在上下文信息缺失的问题，因此导致分割出的物体独立性差，点云分割的精确度低。
发明内容
本申请的目的在于，针对上述现有技术中的不足，提供一种点云分割方法、装置、设备及存储介质，以解决现有技术中点云分割的精确度低的问题。
为实现上述目的，本申请采用的技术方案如下：
第一方面，本申请提供了一种点云分割方法，所述方法包括：
对三维点云切层，得到所述三维点云的多个点云层；
对各点云层进行特征点提取，得到所述点云层中的多个特征点；
分别确定各特征点的K近邻邻域以及测地线邻域，并根据所述特征点的K近邻邻域以及测地线邻域得到所述特征点的局部特征；
根据所述特征点的局部特征确定所述特征点的全局特征，并根据所述全局特征以及所述局部特征确定所述特征点的特征表达向量，所述特征表达向量用于表征所述特征点的类别；
根据各点云层中各特征点的特征表达向量，对所述三维点云进行分割，得到所述三维点云的点云分割结果。
可选的，所述分别确定各特征点的K近邻邻域以及测地线邻域，并根据所述特征点的K近邻邻域以及测地线邻域得到所述特征点的局部特征，包括：
采用K近邻算法确定所述特征点的K近邻邻域；
基于测地线距离确定所述特征点的测地线邻域；
根据所述K近邻邻域得到所述特征点的第一局部特征，根据所述测地线邻域得到所述特征点的第二局部特征，将所述第一局部特征和所述第二局部特征拼接，得到所述特征点的局部特征。
可选的，所述基于测地线距离确定所述特征点的测地线邻域，包括：
以所述特征点为起始点，确定与所述特征点的测地线距离满足预设距离阈值的K个邻近点，将K个邻近点组成的区域作为所述特征点的测地线邻域。
可选的，所述根据所述K近邻邻域得到所述特征点的第一局部特征，根据所述测地线邻域得到所述特征点的第二局部特征，将所述第一局部特征和所述第二局部特征拼接，得到所述特征点的局部特征，包括：
将所述K近邻邻域、所述测地线邻域以及所述特征点输入预先训练的神经网络模型，由所述神经网络模型分别提取得到所述第一局部特征和所述第二局部特征，并将所述第一局部特征和所述第二局部特征拼接，得到所述特征点的局部特征。
可选的，所述根据所述特征点的局部特征确定所述特征点的全局特征，并根据所述全局特征以及所述局部特征确定所述特征点的特征表达向量，包括：
由所述神经网络模型将所述特征点的局部特征进行最大池化处理，得到所述特征点的全局特征，并根据所述全局特征以及所述局部特征确定所述特征点的特征表达向量。
可选的，所述根据所述全局特征以及所述局部特征确定所述特征点的特征表达向量，包括：
将所述全局特征和所述局部特征拼接，得到所述特征点的特征表达向量。
可选的，所述根据各点云层中各特征点的特征表达向量，对所述三维点云进行分割，得到所述三维点云的点云分割结果，包括：
基于所述特征表达向量得到所述特征点的类别；
将三维点云中的特征点按照类别进行聚合，得到所述三维点云的点云分割结果。
第二方面，本申请提供了一种点云分割装置，所述装置包括：
切层模块，用于对三维点云切层，得到所述三维点云的多个点云层；
提取模块，用于对各点云层进行特征点提取，得到所述点云层中的多个特征点；
第一确定模块，用于分别确定各特征点的K近邻邻域以及测地线邻域，并根据所述特征点的K近邻邻域以及测地线邻域得到所述特征点的局部特征；
第二确定模块，用于根据所述特征点的局部特征确定所述特征点的全局特征，并根据所述全局特征以及所述局部特征确定所述特征点的特征表达向量，所述特征表达向量用于表征所述特征点的类别；
分割模块，用于根据各点云层中各特征点的特征表达向量，对所述三维点云进行分割，得到所述三维点云的点云分割结果。
可选的，所述第一确定模块具体用于：
采用K近邻算法确定所述特征点的K近邻邻域；
基于测地线距离确定所述特征点的测地线邻域；
根据所述K近邻邻域得到所述特征点的第一局部特征，根据所述测地线邻域得到所述特征点的第二局部特征，将所述第一局部特征和所述第二局部特征拼接，得到所述特征点的局部特征。
可选的，所述第一确定模块还具体用于：
以所述特征点为起始点，确定与所述特征点的测地线距离满足预设距离阈值的K个邻近点，将K个邻近点组成的区域作为所述特征点的测地线邻域。
可选的，所述第一确定模块还具体用于：
将所述K近邻邻域、所述测地线邻域以及所述特征点输入预先训练的神经网络模型，由所述神经网络模型分别提取得到所述第一局部特征和所述第二局部特征，并将所述第一局部特征和所述第二局部特征拼接，得到所述特征点的局部特征。
可选的，所述第二确定模块还具体用于：
由所述神经网络模型将所述特征点的局部特征进行最大池化处理，得到所述特征点的全局特征，并根据所述全局特征以及所述局部特征确定所述特征点的特征表达向量。
可选的，所述第二确定模块还具体用于：
将所述全局特征和所述局部特征拼接，得到所述特征点的特征表达向量。
可选的，所述分割模块还具体用于：
基于所述特征表达向量得到所述特征点的类别；
将三维点云中的特征点按照类别进行聚合，得到所述三维点云的点云分割结果。
第三方面，本申请提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上述点云分割方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述点云分割方法的步骤。
本申请的有益效果是：通过对传感器采集到的点云数据直接进行特征点提取，而非借助于预处理工作如体素化、网格化等进行特征点提取，可以最大限度的保留点云数据的真实性和可靠性。通过K近邻邻域以及测地线邻域共同确定特征点的局部特征，可以使得局部特征能够同时表征点的位置特征信息和表面测地线拓扑关联信息，从而增强点云的局部信息量，使得局部特征能够更多地表达物体的有效信息。通过局部特征与全局特征确定的特征表达向量也能够更精确的表示特征点所属的类别，由此根据特征表达向量对三维点云进行分割时，也能够大大提高点云分割的精确度。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的一种应用场景的示意图；
图2示出了本申请实施例提供的一种点云分割方法的流程图；
图3示出了本申请实施例提供的一种确定局部特征的流程图；
图4示出了本申请实施例提供的一种对点云进行聚类的流程图；
图5示出了本申请实施例提供的又一种点云分割方法的流程图；
图6示出了本申请实施例提供的一种确定第二局部特征的流程图；
图7示出了本申请实施例提供的一种点云分割装置的结构示意图；
图8示出了本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
传感器采集到的点云数据是稀疏的，并且在数据采集过程中，存在物体扫描被遮挡、传感器含噪声以及物体刚性旋转的问题，因此点云数据难以有效表达物体的信息。
因此，基于传感器采集到的点云数据进行点云分割时，由于上下文信息的缺失，因此存在分割出的物体独立性差的问题，这无疑大大降低了点云分割的精确度。
基于上述问题，本申请提出一种点云分割方法，基于测地线距离构建点云模型的拓扑距离关联，并将此信息与点云基于欧式距离的特征相结合，实现点云局部特征信息的增强，并通过深度神经网络学习点云特征点的特征表达，进而实现点云分割。
本申请的点云分割方法可以应用于图1所示的应用场景中，传感器采集到物体A的点云数据后，将点云数据发送给电子设备，电子设备基于本申请的点云分割方法对点云数据进行分割，并最终输出物体A点云数据的分割结果。
接下来结合图2，对本申请的点云分割方法进行说明，该方法的执行主体可以是图1所示的电子设备，如图2所示，该方法包括：
S201：对三维点云切层，得到三维点云的多个点云层。
可选的，三维点云可以是物体的点云数据，用于描述物体的三维特征，可以采用传感器进行点云数据采集，得到物体的点云数据。
采集到点云数据之后，本申请中可以对点云数据切层，示例性的，可以将点云模型沿z轴切成5层，每一个点云层中都包括多个特征点。
值得说明的是，现有技术中采集到点云数据之后，多会对点云数据进行预处理，如体素化、表面网格化或从多视角将三维点云转化为易于表达的形式，再完成物体分割，而在对点云数据进行预处理的过程中，会不可避免地对点云数据进行人为的修改，这无疑会降低点云数据的可靠性和真实性。
本申请中直接对传感器采集到的被采集物体的点云数据进行分层和后续的特征提取，并不会进行预处理工作，从而提高点云数据的真实性和可靠性。
参照图1，机器人载体上的传感器，如深度相机或激光雷达等，将激光照射到物体表面，物体所反射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行扫描，便会边扫描边记录到反射的激光点信息，由于扫描极为精细，则能够得到大量的激光点，因而就可形成激光点云，即点云数据。
S202：对各点云层进行特征点提取，得到点云层中的多个特征点。
本申请中可以利用最远点采样法(Farthest Point Sample，FPS)对传感器采集到的点云数据中每个点云层分别进行特征点提取，得到点云层中的多个特征点。
S203：分别确定各特征点的K近邻邻域以及测地线邻域，并根据特征点的K近邻邻域以及测地线邻域得到特征点的局部特征。
可选的，K近邻邻域可以是对特征点进行K近邻查询得到的与该特征点最为近邻的多个特征点组成的区域。
其中，K近邻邻域可以表征点云基于欧式距离的位置特征信息，描述点云中每个点的空间位置。
可选的，测地线邻域可以是基于测地线距离确定的与该特征点最为近邻的多个特征点组成的区域。测地线指的是空间中局部最短的连接两个特征点的曲线。
其中，测地线距离可以描述三维点云中局部点的拓扑关联约束，有效的分离点云中的独立物体，从而更加精确的描述点云中的物体。
需要说明的是，本申请中可以对三维点云中的每个特征点逐个执行本步骤，以得到该特征点的K近邻邻域以及测地线邻域，并根据特征点的K近邻邻域以及测地线邻域得到特征点的局部特征，其中，特征点可以是三维点云的任一点云层中的任一特征点。
本申请中，基于K近邻邻域以及测地线邻域得到局部特征，可以增强点云的局部特征信息量，从而提高三维点云的数据分割精度。
S204：根据特征点的目标局部特征确定特征点的全局特征，并根据全局特征以及局部特征确定特征点的特征表达向量，特征表达向量表达用于表征特征点的类别。
可选的，可以由PointNet网络学习点云中各个特征点的全局特征。PointNet网络是一个可以端到端的处理点云数据的神经网络架构，可以对输入的点云数据进行特征提取，首先得到点云数据中特征点的局部特征，再根据局部特征得到最终的全局特征。
可选的，特征点的特征表达向量可以表征特征点对应于数据库中点云类别的最大可能性所对应的点云标签，该点云标签可以描述特征点的类别。
需要说明的是，本申请中可以对点云数据中的每个特征点都执行S203-S204步骤，以得到每个特征点的局部特征和全局特征，并根据局部特征和全局特征得到该特征点的特征表达向量。
S205：根据各点云层中各特征点的特征表达向量，对三维点云进行分割，得到三维点云的点云分割结果。
可选的，特征表达向量可以描述特征点的类别，因此，基于特征点的特征表达向量可以将相同类别的特征点聚合到一起，对三维点云进行分割，以得到三维点云的点云分割结果。
三维点云的点云分割结果中，处于相同类别的点可以表征物体的同一个零部件，示例性的，对椅子进行三维点云数据分割后，椅子的椅背上的所有点会被分割为相同类别的特征点，椅背和椅子腿的点会被分割为不同类别的特征点。
在本申请实施例中，对传感器采集到的点云数据进行特征点提取，而不借助于预处理工作，如体素化、网格化等，可以最大限度的保留点云数据的真实性和可靠性。通过K近邻邻域以及测地线邻域共同确定特征点的局部特征，可以使得局部特征能够同时表征点的位置特征信息和表面测地线拓扑关联信息，从而增强点云的局部信息量，使得局部特征能够更多地表达物体的有效信息。通过局部特征与全局特征确定的特征表达向量也能够更精确的表示特征点所属的类别，由此根据特征表达向量对三维点云进行分割时，也能够大大提高点云分割的精确度。
接下来对上述分别确定各特征点的K近邻邻域以及测地线邻域，并根据特征点的K近邻邻域以及测地线邻域得到特征点的局部特征的步骤进行说明，如图3所示，上述S203步骤包括：
S301：采用K近邻算法确定特征点的K近邻邻域。
K近邻算法中首先通过点云数据中的所有的特征点构筑起一个特征空间，特征空间的维数就是特征点的个数，然后针对某个特征点，按照参数K在特征空间内寻找与它最为近邻的K个特征点，从而确定特征点的K近邻邻域。其中，在特征空间内寻找与它最为近邻的K个特征点进行距离度量时，可以基于欧氏距离进行度量。
本申请中确定出的K近邻邻域可以更专注于空间位置相关性，从而衔接起点云数据中小部分的缺失，以便学习到更多的上下文信息，补全缺失的部分。
S302：基于测地线距离确定特征点的测地线邻域。
可选的，测地线是空间中局部最短的连接两点的曲线，测地线距离可以有效分离出独立的个体，它专注于沿着表面拓扑进行学习，因此本申请中通过测地线邻域可以有效的提高点云数据中物体的独立性。
S303：根据K近邻邻域得到特征点的第一局部特征，根据测地线邻域得到特征点的第二局部特征，将第一局部特征和第二局部特征拼接，得到特征点的局部特征。
可选的，第一局部特征可以是特征点在K近邻邻域中提取到的局部特征，第二局部特征可以是特征点在测地线邻域中提取到的局部特征。
对于每一个特征点都会包括第一局部特征和第二局部特征，将第一局部特征和第二局部特征拼接之后，可以得到特征点的局部特征。
以下是对上述S302：基于测地线距离确定特征点的测地线邻域的进一步说明。
以特征点为起始点，确定与特征点的测地线距离满足预设距离阈值的K个邻近点，将K个邻近点组成的区域作为特征点的测地线邻域。
本申请中可以分别以每个特征点为起始点利用约翰逊算法(Johnson’salgorithms)计算距离该特征点满足预设距离阈值的K个点，并收集这些点作为该特征点的测地线邻域。其中，K的取值可以是任意正整数，距离阈值可以由本领域人员根据实际情况确定，本申请在此不做限制。
由于测地线是空间中局部最短的连接两点的曲线，可以有效分离出独立的个体，并且专注于沿着表面拓扑进行学习。因此，独立的个体不能通过测地线连通。
示例性的，假设K的取值为64，将点云数据沿z轴切层，在每一层的子点云中，选取任一特征点作为起始点，计算所有可以与起始点形成拓扑连接的点到起始特征点的测地线距离。
如果在这一层中有超过64个点能通过测地线拓扑连接到起始点，那么取测地线距离最小的64个点作为该特征点的测地线邻域；如果在这一层中能够拓扑连接到起始点的点云数不足64，那么取所有满足的点，并随机复制这些点，直到满足64个点；如果这一层中没有点能拓扑连接到起始点，那么复制该起始点本身，直至收集到64个点。以上收集到的点作为特征点的测地线邻域，并将测地线邻域作为输入，利用PointNet学习其特征，得到点云基于测地线距离的第二局部特征。
接下来对上述根据K近邻邻域得到特征点的第一局部特征，根据测地线邻域得到特征点的第二局部特征，将第一局部特征和第二局部特征拼接，得到特征点的局部特征的步骤进行说明，上述S303步骤包括：
将K近邻邻域、测地线邻域以及特征点输入预先训练的神经网络模型，由神经网络模型分别提取得到第一局部特征和第二局部特征，并将第一局部特征和第二局部特征拼接，得到特征点的局部特征。
可选的，预先训练的神经网络模型可以是PointNet网络，PointNet网络可以分别对同一特征点的K近邻邻域以及测地线邻域提取特征，得到特征点的第一局部特征和第二局部特征，并将第一局部特征和第二局部特征拼接，得到特征点的局部特征。
以下是对上述根据特征点的局部特征确定特征点的全局特征，并根据全局特征以及局部特征确定特征点的特征表达向量的步骤说明，上述S204步骤包括：
由神经网络模型将特征点的局部特征进行最大池化处理，得到特征点的全局特征，并根据全局特征以及局部特征确定目标特征点的特征表达向量。
可选的，神经网络模型中可以包括最大池化层，将特征点的局部特征作为最大池化层的输入，就可以得到特征点的全局特征。
在确定特征点的全局特征之后，本申请中还可以根据全局特征以及局部特征确定特征点的特征表达向量，该步骤包括：
将全局特征和局部特征拼接，得到特征点的特征表达向量。
值得说明的是，神经网络模型中可以包括两个最大池化层，其中，第一个最大池化层可以根据输入的特征点的局部特征得到特征点的全局特征，将全局特征和局部特征拼接后输入第二个最大池化层，可以得到特征点的特征表达向量。
以下是对上述根据各点云层中各特征点的特征表达向量，对三维点云进行分割，得到三维点云的点云分割结果的步骤说明，如图4所示，上述S205步骤包括：
S401：基于特征表达向量得到特征点的类别。
可选的，特征表达向量可以表征特征点所属的类别，类别可以表征该特征点所属的物体，或是属于物体的哪一个零部件。
S402：将三维点云中的特征点按照类别进行聚合，得到三维点云的点云分割结果。
需要说明的是，传感器采集到的点云数据中可能包括多个物体，每一个物体的每一个零部件都可以被分为不同的类别，因此将三维点云中的特征点按照类别进行聚合，就可以将不同的物体，以及同一物体的不同部件分割，得到点云数据的分割结果。
如图5所示，是本申请给出的一种点云分割的流程图，如图5所示，将点云数据输入电子设备后，电子设备可以首先对点云数据进行切层，然后对每一层采用最远点采样法进行特征点的提取，对于每一个特征点，可以分别基于K近邻算法和测地线距离确定特征点的局部特征，然后通过PointNet网络学习特征点的全局特征，将全局特征和局部特征连接之后输入最大池化层，得到特征点的特征表达向量，最后基于特征表达向量对点云数据进行分割，得到最终的分割结果。
其中，图5中的MLP指的是多层感知层(Multilayer Perceptron，MLP)，用于对特征点进行局部特征提取、全局特征提取以及局部特征以及全局特征的拼接。
如图6所示，是本申请给出的一种基于测地线距离确定第二局部特征的流程图。对每个点云层可以先进行栅格化，然后基于测地线的拓扑约束确定特征点的测地线邻域，然后通过PointNet网络在测地线邻域中学习局部特征，将局部特征最大池化后输出第二局部特征。
本申请实施例中可以利用机器人载体上的三维扫描设备，例如深度相机或激光雷达获取周围环境信息，例如室内环境物体的点云数据，不借助于体素化、网格化等常规预处理工作，而直接处理点云数据中每个点的x,y,z坐标，使用3D空间变换矩阵预测网络，即T-Net学习到的转换矩阵将点云数据对齐，以保证点云数据的空间旋转不变性，然后使用FPS对点云数据进行特征点提取并用T-Net对特征点进行对齐，最后对特征点的局部特征和全局特征进行连接和最大池化，从而获得特征点的类别。
基于同一发明构思，本申请实施例中还提供了与点云分割方法对应的点云分割装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述点云分割方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图7所示，为本申请实施例提供的一种点云分割装置的示意图，所述装置包括：切层模块701、提取模块702、第一确定模块703以及第二确定模块704；其中：
切层模块701，用于对三维点云切层，得到三维点云的多个点云层；
提取模块，用于对各点云层进行特征点提取，得到点云层中的多个特征点；
第一确定模块702，用于分别确定各特征点的K近邻邻域以及测地线邻域，并根据特征点的K近邻邻域以及测地线邻域得到特征点的局部特征；
第二确定模块703，用于根据特征点的局部特征确定特征点的全局特征，并根据全局特征以及局部特征确定特征点的特征表达向量，特征表达向量用于表征特征点的类别；
分割模块704，用于根据各点云层中各特征点的特征表达向量，对三维点云进行分割，得到三维点云的点云分割结果。
可选的，第一确定模块702具体用于：
采用K近邻算法确定特征点的K近邻邻域；
基于测地线距离确定特征点的测地线邻域；
根据K近邻邻域得到特征点的第一局部特征，根据测地线邻域得到特征点的第二局部特征，将第一局部特征和第二局部特征拼接，得到特征点的局部特征。
可选的，第一确定模块702还具体用于：
以特征点为起始点，确定与特征点的测地线距离满足预设距离阈值的K个邻近点，将K个邻近点组成的区域作为特征点的测地线邻域。
可选的，第一确定模块702还具体用于：
将K近邻邻域、测地线邻域以及特征点输入预先训练的神经网络模型，由神经网络模型分别提取得到第一局部特征和第二局部特征，并将第一局部特征和第二局部特征拼接，得到特征点的局部特征。
可选的，第二确定模块703还具体用于：
由神经网络模型将特征点的局部特征进行最大池化处理，得到特征点的全局特征，并根据全局特征以及局部特征确定特征点的特征表达向量。
可选的，第二确定模块703还具体用于：
将全局特征和局部特征拼接，得到特征点的特征表达向量。
可选的，分割模块704还具体用于：
基于特征表达向量得到特征点的类别；
将三维点云中的特征点按照类别进行聚合，得到三维点云的点云分割结果。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
本申请实施例通过对传感器采集到的点云数据直接进行特征点提取，而非借助于预处理工作如体素化、网格化等进行特征点提取，可以最大限度的保留点云数据的真实性和可靠性。通过K近邻邻域以及测地线邻域共同确定特征点的局部特征，可以使得局部特征能够同时表征点的位置特征信息和表面测地线拓扑关联信息，从而增强点云的局部信息量，使得局部特征能够更多地表达物体的有效信息。通过局部特征与全局特征确定的特征表达向量也能够更精确的表示特征点所属的类别，由此根据特征表达向量对三维点云进行分割时，也能够大大提高点云分割的精确度。
本申请实施例还提供了一种电子设备，如图8所示，为本申请实施例提供的电子设备结构示意图，包括：处理器801、存储器802和总线。所述存储器802存储有所述处理器801可执行的机器可读指令(比如，图7中的装置中切层模块701、提取模块702、第一确定模块703以及第二确定模块704对应的执行指令等)，当计算机设备运行时，所述处理器801与所述存储器802之间通过总线通信，所述机器可读指令被所述处理器801执行时执行上述点云分割方法的处理。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述点云分割方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种点云分割方法，其特征在于，包括：
对三维点云切层，得到所述三维点云的多个点云层；
对各点云层进行特征点提取，得到所述点云层中的多个特征点；
分别确定各特征点的K近邻邻域以及测地线邻域，并根据所述特征点的K近邻邻域以及测地线邻域得到所述特征点的局部特征；
根据所述特征点的局部特征确定所述特征点的全局特征，并根据所述全局特征以及所述局部特征确定所述特征点的特征表达向量，所述特征表达向量用于表征所述特征点的类别；
根据各点云层中各特征点的特征表达向量，对所述三维点云进行分割，得到所述三维点云的点云分割结果。
2.根据权利要求1所述的方法，其特征在于，所述分别确定各特征点的K近邻邻域以及测地线邻域，并根据所述特征点的K近邻邻域以及测地线邻域得到所述特征点的局部特征，包括：
采用K近邻算法确定所述特征点的K近邻邻域；
基于测地线距离确定所述特征点的测地线邻域；
根据所述K近邻邻域得到所述特征点的第一局部特征，根据所述测地线邻域得到所述特征点的第二局部特征，将所述第一局部特征和所述第二局部特征拼接，得到所述特征点的局部特征。
3.根据权利要求2所述的方法，其特征在于，所述基于测地线距离确定所述特征点的测地线邻域，包括：
以所述特征点为起始点，确定与所述特征点的测地线距离满足预设距离阈值的K个邻近点，将K个邻近点组成的区域作为所述特征点的测地线邻域。
4.根据权利要求2所述的方法，其特征在于，所述根据所述K近邻邻域得到所述特征点的第一局部特征，根据所述测地线邻域得到所述特征点的第二局部特征，将所述第一局部特征和所述第二局部特征拼接，得到所述特征点的局部特征，包括：
将所述K近邻邻域、所述测地线邻域以及所述特征点输入预先训练的神经网络模型，由所述神经网络模型分别提取得到所述第一局部特征和所述第二局部特征，并将所述第一局部特征和所述第二局部特征拼接，得到所述特征点的局部特征。
5.根据权利要求4所述的方法，其特征在于，所述根据所述特征点的局部特征确定所述特征点的全局特征，并根据所述全局特征以及所述局部特征确定所述特征点的特征表达向量，包括：
由所述神经网络模型将所述特征点的局部特征进行最大池化处理，得到所述特征点的全局特征，并根据所述全局特征以及所述局部特征确定所述特征点的特征表达向量。
6.根据权利要求5所述的方法，其特征在于，所述根据所述全局特征以及所述局部特征确定所述特征点的特征表达向量，包括：
将所述全局特征和所述局部特征拼接，得到所述特征点的特征表达向量。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述根据各点云层中各特征点的特征表达向量，对所述三维点云进行分割，得到所述三维点云的点云分割结果，包括：
基于所述特征表达向量得到所述特征点的类别；
将三维点云中的特征点按照类别进行聚合，得到所述三维点云的点云分割结果。
8.一种点云分割装置，其特征在于，包括：
切层模块，用于对三维点云切层，得到所述三维点云的多个点云层；
提取模块，用于对各点云层进行特征点提取，得到所述点云层中的多个特征点；
第一确定模块，用于分别确定各特征点的K近邻邻域以及测地线邻域，并根据所述特征点的K近邻邻域以及测地线邻域得到所述特征点的局部特征；
第二确定模块，用于根据所述特征点的局部特征确定所述特征点的全局特征，并根据所述全局特征以及所述局部特征确定所述特征点的特征表达向量，所述特征表达向量用于表征所述特征点的类别；
分割模块，用于根据各点云层中各特征点的特征表达向量，对所述三维点云进行分割，得到所述三维点云的点云分割结果。
9.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行如权利要求1至7任一项所述的点云分割方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一项所述的点云分割方法的步骤。
CN202310554730.5A 2023-05-16 2023-05-16 点云分割方法、装置、设备及存储介质 Pending CN116563310A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310554730.5A CN116563310A (zh) 2023-05-16 2023-05-16 点云分割方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310554730.5A CN116563310A (zh) 2023-05-16 2023-05-16 点云分割方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116563310A true CN116563310A (zh) 2023-08-08

Family

ID=87489590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310554730.5A Pending CN116563310A (zh) 2023-05-16 2023-05-16 点云分割方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116563310A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117201685A (zh) * 2023-11-06 2023-12-08 中国民航大学 一种三维物体的表面覆盖扫描方法、装置、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117201685A (zh) * 2023-11-06 2023-12-08 中国民航大学 一种三维物体的表面覆盖扫描方法、装置、设备及介质
CN117201685B (zh) * 2023-11-06 2024-01-26 中国民航大学 一种三维物体的表面覆盖扫描方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN110111345B (zh) 一种基于注意力网络的3d点云分割方法
EP3633615A1 (en) Deep learning network and average drift-based automatic vessel tracking method and system
CN110163108B (zh) 基于双路径特征融合网络的鲁棒声呐目标检测方法
CN108801268A (zh) 目标对象的定位方法、装置及机器人
JP2020038660A (ja) ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を利用して車線を検出するための学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ＬＥＡＲＮＩＮＧ ＭＥＴＨＯＤ， ＬＥＡＲＮＩＮＧ ＤＥＶＩＣＥ ＦＯＲ ＤＥＴＥＣＴＩＮＧ ＬＡＮＥ ＵＳＩＮＧ ＣＮＮ ＡＮＤ ＴＥＳＴ ＭＥＴＨＯＤ， ＴＥＳＴ ＤＥＶＩＣＥ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ｝
JP2020038661A (ja) 車線モデルを利用して車線を検出し得る学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｌａｎｅ ｕｓｉｎｇ ｌａｎｅ ｍｏｄｅｌ ａｎｄ ｔｅｓｔ ｍｅｔｈｏｄ， ｔｅｓｔ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
Zelener et al. Cnn-based object segmentation in urban lidar with missing points
CN114187310A (zh) 基于八叉树和PointNet++网络的大规模点云分割方法
CN116563310A (zh) 点云分割方法、装置、设备及存储介质
Valappil et al. CNN-SVM based vehicle detection for UAV platform
CN115731545A (zh) 一种基于融合感知的电缆隧道巡检方法及装置
CN110569387B (zh) 基于深度哈希算法的雷达-图像跨模态检索方法
CN113936210A (zh) 塔吊防撞方法
CN112733971B (zh) 扫描设备的位姿确定方法、装置、设备及存储介质
CN116946610B (zh) 一种智能仓储***货物拾取方法及装置
CN114218999A (zh) 一种基于融合图像特征的毫米波雷达目标检测方法及***
CN117671480A (zh) 基于视觉大模型的滑坡自动识别方法、***和计算机设备
Zhou et al. Place recognition and navigation of outdoor mobile robots based on random Forest learning with a 3D LiDAR
CN114120095A (zh) 一种基于空中三维模型的移动机器人自主定位***及方法
CN116797789A (zh) 一种基于注意力架构的场景语义分割方法
CN113723833B (zh) 造林实绩质量评价方法、***、终端设备及存储介质
Sayed et al. Point clouds reduction model based on 3D feature extraction
CN114581978A (zh) 人脸识别的方法和***
Damodaran et al. Extraction of Overhead Transmission Towers from UAV Images
CN115018910A (zh) 点云数据中目标的检测方法、装置和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination