CN116468892A - 三维点云的语义分割方法、装置、电子设备和存储介质 - Google Patents

三维点云的语义分割方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN116468892A
CN116468892A CN202310444546.5A CN202310444546A CN116468892A CN 116468892 A CN116468892 A CN 116468892A CN 202310444546 A CN202310444546 A CN 202310444546A CN 116468892 A CN116468892 A CN 116468892A
Authority
CN
China
Prior art keywords
feature
dimensional
point
point cloud
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310444546.5A
Other languages
English (en)
Inventor
胡敏
李冬冬
李立江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongke Ruitu Technology Co ltd
Original Assignee
Beijing Zhongke Ruitu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongke Ruitu Technology Co ltd filed Critical Beijing Zhongke Ruitu Technology Co ltd
Priority to CN202310444546.5A priority Critical patent/CN116468892A/zh
Publication of CN116468892A publication Critical patent/CN116468892A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种三维点云的语义分割方法、装置、电子设备和存储介质，该方法包括：获取待处理的三维点云数据；分别以三维点云数据中的各点为中心，按预设搜索半径在与所述点对应的八个子空间内搜索所述点的最近邻点，若子空间内存在最近邻点，将最近邻点的特征作为子空间特征，否则将所述点的点特征作为子空间特征；将各子空间特征与点特征进行融合，得到点的融合特征；根据各融合特征确定三维点云数据的点云特征，并基于预设聚合函数对点云特征进行特征聚合，得到语义分割结果，以此在提取特征之前加入点与点之间的局部关系，减少了信息的损失，实现了更加准确的对三维点云进行语义分割。

Description

三维点云的语义分割方法、装置、电子设备和存储介质
技术领域
本申请涉及计算机视觉技术领域，更具体地，涉及一种三维点云的语义分割方法、装置、电子设备和存储介质。
背景技术
近年来，计算机视觉和自动驾驶等技术正处于迅猛发展时期，二维数据的研究已经不能满足现阶段的社会需求，三维数据的处理随之受到越来越多的关注，计算机视觉任务在三维领域迎来了崭新的发展阶段。三维点云语义分割任务，是指根据给定点云的语义信息,将同一类点归类为一个子集。语义分割在实际场景中应用广泛，准确快速的语义分割问题是目前的研究热点之一。
现有技术中，PointNet是将神经网络直接处理点云的开山之作，但是该方法并没有考虑点云之间的局部结构关系；PointNet++虽然将点云分组为不同的局部点云，但是在每个局部点云中同样也是对每个点单独处理，并没有考虑点与点之间的联系。在此之后的工作主要依赖于使用卷积、图形或注意力机制探索复杂的局部几何提取器，虽然这些方法在性能上有是一定的提高，但是模块的复杂性也使得模型的运行速度不高，而之后提出的PointNeXt在没有采用复杂的局部特征提取器前提下达到了不错的效果，但是也忽略了局部区域之中点和点的相互关系，势必会造成信息的损失。
因此，如何更加准确的对三维点云进行语义分割，是目前有待解决的技术问题。
发明内容
本申请实施例提出了一种三维点云的语义分割方法、装置、电子设备和存储介质，用以更加准确的对三维点云进行语义分割。
第一方面，提供一种三维点云的语义分割方法，所述方法包括：获取待处理的三维点云数据；分别以所述三维点云数据中的各点为中心，按预设搜索半径在与所述点对应的八个子空间内搜索所述点的最近邻点，其中，八个所述子空间对应以所述点为原点的空间坐标系中的八个象限；若所述子空间内存在所述最近邻点，将所述最近邻点的特征作为子空间特征，否则将所述点的点特征作为所述子空间特征；将各所述子空间特征与所述点特征进行融合，得到所述点的融合特征；根据各所述融合特征确定所述三维点云数据的点云特征，并基于预设聚合函数对所述点云特征进行特征聚合，得到语义分割结果。
第二方面，提供一种三维点云的语义分割装置，所述装置包括：获取模块，用于获取待处理的三维点云数据；搜索模块，用于分别以所述三维点云数据中的各点为中心，按预设搜索半径在与所述点对应的八个子空间内搜索所述点的最近邻点，其中，八个所述子空间对应以所述点为原点的空间坐标系中的八个象限；确定模块，用于若所述子空间内存在所述最近邻点，将所述最近邻点的特征作为子空间特征，否则将所述点的点特征作为所述子空间特征；融合模块，用于将各所述子空间特征与所述点特征进行融合，得到所述点的融合特征；聚合模块，用于根据各所述融合特征确定所述三维点云数据的点云特征，并基于预设聚合函数对所述点云特征进行特征聚合，得到语义分割结果。
第三方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行第一方面所述的三维点云的语义分割方法。
第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的三维点云的语义分割方法。
通过应用以上技术方案，获取待处理的三维点云数据；分别以所述三维点云数据中的各点为中心，按预设搜索半径在与所述点对应的八个子空间内搜索所述点的最近邻点，其中，八个所述子空间对应以所述点为原点的空间坐标系中的八个象限；若所述子空间内存在所述最近邻点，将所述最近邻点的特征作为子空间特征，否则将所述点的点特征作为所述子空间特征；将各所述子空间特征与所述点特征进行融合，得到所述点的融合特征；根据各所述融合特征确定所述三维点云数据的点云特征，并基于预设聚合函数对所述点云特征进行特征聚合，得到语义分割结果，以此在提取特征之前加入点与点之间的局部关系，减少了信息的损失，实现了更加准确的对三维点云进行语义分割。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例提出的一种三维点云的语义分割方法的流程示意图；
图2示出了本发明另一实施例提出的一种三维点云的语义分割方法的原理示意图；
图3示出了本发明实施例中搜索最近邻点的示意图；
图4示出了本发明实施例中进行卷积操作的原理示意图；
图5示出了本发明实施例提出的一种三维点云的语义分割装置的结构示意图；
图6示出了本发明实施例提出的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求部分指出。
应当理解的是，本申请并不局限于下面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
本申请可用于众多通用或专用的计算装置环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本申请实施例提供一种三维点云的语义分割方法，如图1所示，该方法包括以下步骤：
步骤S101，获取待处理的三维点云数据。
待处理的三维点云数据可以是实时采集的，例如基于激光雷达对指定三维空间进行数据采集，得到待处理的三维点云数据。待处理的三维点云数据也可以是用户上传或从其他服务器获取的。
在本申请一些实施例中，所述获取待处理的三维点云数据，包括：
获取原始三维点云数据；
根据公式二对所述原始三维点云数据进行变换，得到所述三维点云数据，所述公式二具体为：
其中，{fi,j}为分组后的fi∈Rd的k个局部邻域点，每个邻域点fi,j都是一个d维向量，j＝1,...,k∈Rk×d，α∈Rd是可学习参数，⊙表示Hadamard乘积，∈＝1e-5是用于保证数值稳定性的小数值，σ是一个表征所有局部分组和通道的特征偏差的标量。
本实施例中，可基于激光雷达对指定三维空间进行数据采集，得到原始三维点云数据，由于点云数据具有不规则性和局部区域稀疏不定的特性，这些特性会使模型在简单地深度MLP结构中的稳定性不强，因此，为了增强模型的鲁棒性，根据公式二对原始三维点云数据进行变换，得到待处理的三维点云数据，从而提高了后续语义分割过程中的稳定性。
步骤S102，分别以所述三维点云数据中的各点为中心，按预设搜索半径在与所述点对应的八个子空间内搜索所述点的最近邻点。
本实施例中，由于需要将三维点云数据中点与点之间的相互关系加入点云特征，先搜索每个点的最近邻点，具体的，分别以三维点云数据中的各点为中心，按预设搜索半径在与所述点对应的八个子空间内搜索，判断各子空间内是否存在距离所述点不大于预设搜索半径的最近邻点，其中，八个子空间对应以所述点为原点的空间坐标系中的八个象限，该八个象限是以坐标轴的正负方向划分空间坐标系后形成的。如图3所示为本发明实施例中搜索最近邻点的示意图。
步骤S103，若所述子空间内存在所述最近邻点，将所述最近邻点的特征作为子空间特征，否则将所述点的点特征作为所述子空间特征。
按预设搜索半径进行搜索时，对于存在最近邻点的子空间，将最近邻点的特征作为子空间特征；对于不存在最近邻点的子空间，即该子空间中不存在距离所述点不大于预设搜索半径的相关点，则将所述点的点特征作为子空间特征。
步骤S104，将各所述子空间特征与所述点特征进行融合，得到所述点的融合特征。
在获取各子空间特征后，将各子空间特征与所述点特征进行融合，得到所述点的融合特征，该融合特征中涵盖了点与点之间的关系。
在本申请一些实施例中，所述将各所述子空间特征与所述点特征进行融合，得到所述点的融合特征，包括：
对各所述子空间特征与所述点特征进行编码，得到所述点的编码特征；
按所述点的X轴、Y轴和Z轴依次对所述编码特征进行卷积操作，得到所述融合特征。
本实施例中，通过卷积操作进行特征提取，为了高效的进行卷积操作，先对子空间特征与所述点特征进行编码，得到所述点的编码特征，然后按所述点的X轴、Y轴和Z轴依次对编码特征进行卷积操作，实现将点与点之间的方向信息加入卷积操作，卷积操作完成后，提取到融合特征，从而提高了融合特征的准确性。
在本申请一些实施例中，按所述点的X轴、Y轴和Z轴依次对所述编码特征进行卷积操作，得到所述融合特征，包括：
按所述X轴对所述编码特征进行一次卷积操作，以将所述点的八个所述子空间特征进行两两结合，得到四维度特征；
按所述Y轴对所述四维度特征进行一次卷积操作，以将所述四维度特征按维度进行两两结合，得到两维度特征；
按所述Z轴对所述两维度特征进行一次卷积操作，以将所述两维度特征按维度进行结合，得到单维度特征；
将所述单维度特征和所述点特征拼接，得到所述融合特征。
本实施例中，四维度特征带有四个维度，两维度特征带有两个维度，单维度特征带有一个维度。依次按X轴、Y轴、Z轴分别进行一次卷积操作，将编码特征中八个子空间特征转换为单维度特征，然后将该单维度特征和点特征拼接，得到融合特征，从而进一步提高了融合特征的准确性。例如，若点特征为d维特征，则编码特征为2×2×2×d维特征，八个子空间特征转换为单维度特征后，得到的融合特征也为d维特征。
步骤S105，根据各所述融合特征确定所述三维点云数据的点云特征，并基于预设聚合函数对所述点云特征进行特征聚合，得到语义分割结果。
在获取各点的融合特征后，基于各融合特征确定三维点云数据的点云特征，然后基于预设聚合函数对点云特征进行特征聚合，从而完成对点云特征的分类，得到语义分割结果。
在本申请一些实施例中，所述预设聚合函数包括采用最大池化操作的第一聚合函数和采用平均池化操作的第二聚合函数，所述基于预设聚合函数对所述点云特征进行特征聚合，得到语义分割结果，包括：
根据公式一确定各所述点的聚合特征，所述公式一具体为：
根据各所述聚合特征确定所述语义分割结果；
其中，fout为所述聚合特征，A(·)为所述第一聚合函数，B(·)为所述第二聚合函数，为残差MLP块，gi为所述点云特征中第i个点的特征，j为第i个点的K个局部邻域点。
在特征聚合时，采用最大池化方法虽然能够保留较好的纹理特征，但是只取最大值会丢失其他特征信息。本实施例中，采样第一聚合函数和第二聚合函数分别进行最大池化操作和平均池化操作，保证了提取的特征的完整性，另外，采用残差MLP(MultilayerPerceptron，多层感知机)进行特征提取，避免使用复杂的局部特征提取器，降低了运算开销，提高了分割效率。
可选的，残差MLP块由FC层、归一化层和激活层(重复两次)组合而成。
通过应用以上技术方案，获取待处理的三维点云数据；分别以所述三维点云数据中的各点为中心，按预设搜索半径在与所述点对应的八个子空间内搜索所述点的最近邻点，其中，八个所述子空间对应以所述点为原点的空间坐标系中的八个象限；若所述子空间内存在所述最近邻点，将所述最近邻点的特征作为子空间特征，否则将所述点的点特征作为所述子空间特征；将各所述子空间特征与所述点特征进行融合，得到所述点的融合特征；根据各所述融合特征确定所述三维点云数据的点云特征，并基于预设聚合函数对所述点云特征进行特征聚合，得到语义分割结果，以此在提取特征之前加入点与点之间的局部关系，减少了信息的损失，实现了更加准确的对三维点云进行语义分割。
为了进一步阐述本发明的技术思想，现结合具体的应用场景，对本发明的技术方案进行说明。
本申请实施例提供一种三维点云的语义分割方法，如图2所示，包括以下步骤：
步骤S201，获取原始三维点云数据。
步骤S202，对原始三维点云数据进行线性处理。
具体的，根据公式二对原始三维点云数据进行变换，得到待处理的三维点云数据，公式二具体为：
其中，{fi,j}为分组后的fi∈Rd的k个局部邻域点，每个邻域点fi,j都是一个d维向量，j＝1,...,k∈Rk×d，α∈Rd是可学习参数，⊙表示Hadamard乘积，∈＝1e-5是用于保证数值稳定性的小数值，σ是一个表征所有局部分组和通道的特征偏差的标量。
步骤S203，处理邻域点相互关系。
具体的，如图3所示，分别以三维点云数据中的各点为中心，按预设搜索半径在与所述点对应的八个子空间内搜索点的最近邻点；若子空间内存在最近邻点，将最近邻点的特征作为子空间特征，否则将点的点特征作为子空间特征。
对各子空间特征与点特征进行编码，得到点的编码特征M∈R2×2×2×d。按点的X轴、Y轴和Z轴依次对编码特征进行卷积操作，得到融合特征。具体的，如图4中自左向右第一个图形所示，按X轴对编码特征进行一次卷积操作，以将所述点的八个子空间特征进行两两结合，得到四维度特征；如图4中自左向右第二个图形所示，按Y轴对四维度特征进行一次卷积操作，以将四维度特征按维度进行两两结合，得到两维度特征；如图4中自左向右第三个和第四个图形所示，按Z轴对两维度特征进行一次卷积操作，以将两维度特征按维度进行结合，得到单维度特征；最后将单维度特征和点特征拼接，得到包括d维向量的融合特征。
步骤S204，根据各融合特征确定三维点云数据的点云特征，并基于预设聚合函数对点云特征进行特征聚合，得到语义分割结果。
具体的，预设聚合函数包括采用最大池化操作的第一聚合函数和采用平均池化操作的第二聚合函数，根据公式一确定各点的聚合特征，公式一具体为：
根据各聚合特征确定语义分割结果；
其中，fout为聚合特征，A(·)为第一聚合函数，B(·)为第二聚合函数，为残差MLP块，gi为点云特征中第i个点的特征，j为第i个点的K个局部邻域点。
通过应用以上技术方案，与现有技术相比，存在以下有益效果：
1)现有的基于MLP的方法没有考虑局部点关系，而致力于复杂局部特征提取器的方法又会增加运算开销，本发明实施例将局部点之间的相互关系添加到简洁的残差MLP特征提取之中，使得模型在保证降低运算开销的同时，充分考虑数据点与点之间原本的几何关系，有效减少了信息的损失；
2)现有技术中普遍采用最大池化方法，在特征聚合时虽然能够保留较好的纹理特征，但是只取最大值会丢失其他特征信息，所以本申请实施例在特征提取时将最大池化结果和平均值池化结果拼接，从而保证了提取的特征的完整性。
本申请实施例还提出了一种三维点云的语义分割装置，如图5所示，所述装置包括：获取模块501，用于获取待处理的三维点云数据；搜索模块502，用于分别以所述三维点云数据中的各点为中心，按预设搜索半径在与所述点对应的八个子空间内搜索所述点的最近邻点，其中，八个所述子空间对应以所述点为原点的空间坐标系中的八个象限；确定模块503，用于若所述子空间内存在所述最近邻点，将所述最近邻点的特征作为子空间特征，否则将所述点的点特征作为所述子空间特征；融合模块504，用于将各所述子空间特征与所述点特征进行融合，得到所述点的融合特征；聚合模块505，用于根据各所述融合特征确定所述三维点云数据的点云特征，并基于预设聚合函数对所述点云特征进行特征聚合，得到语义分割结果。
在具体的应用场景中，融合模块504，具体用于：对各所述子空间特征与所述点特征进行编码，得到所述点的编码特征；按所述点的X轴、Y轴和Z轴依次对所述编码特征进行卷积操作，得到所述融合特征。
在具体的应用场景中，融合模块504，还具体用于：按所述X轴对所述编码特征进行一次卷积操作，以将所述点的八个所述子空间特征进行两两结合，得到四维度特征；按所述Y轴对所述四维度特征进行一次卷积操作，以将所述四维度特征按维度进行两两结合，得到两维度特征；按所述Z轴对所述两维度特征进行一次卷积操作，以将所述两维度特征按维度进行结合，得到单维度特征；将所述单维度特征和所述点特征拼接，得到所述融合特征。
在具体的应用场景中，所述预设聚合函数包括采用最大池化操作的第一聚合函数和采用平均池化操作的第二聚合函数，聚合模块505，具体用于：根据公式一确定各所述点的聚合特征，所述公式一具体为：
根据各所述聚合特征确定所述语义分割结果；
其中，fout为所述聚合特征，A(·)为所述第一聚合函数，B(·)为所述第二聚合函数，为残差MLP块，gi为所述点云特征中第i个点的特征，j为第i个点的K个局部邻域点。
在具体的应用场景中，获取模块501，具体用于：获取原始三维点云数据；根据公式二对所述原始三维点云数据进行变换，得到所述三维点云数据，所述公式二具体为：
其中，{fi,j}为分组后的fi∈Rd的k个局部邻域点，每个邻域点fi,j都是一个d维向量，j＝1,...,k∈Rk×d，α∈Rd是可学习参数，⊙表示Hadamard乘积，∈＝1e-5是用于保证数值稳定性的小数值，σ是一个表征所有局部分组和通道的特征偏差的标量。
本发明实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存储处理器的可执行指令；
处理器601，被配置为经由执行所述可执行指令来执行：
获取待处理的三维点云数据；分别以所述三维点云数据中的各点为中心，按预设搜索半径在与所述点对应的八个子空间内搜索所述点的最近邻点，其中，八个所述子空间分别对应所述点在三维空间中的八个方向；若所述子空间内存在所述最近邻点，将所述最近邻点的特征作为子空间特征，否则将所述点的点特征作为所述子空间特征；将各所述子空间特征与所述点特征进行融合，得到所述点的融合特征；根据各所述融合特征确定所述三维点云数据的点云特征，并基于预设聚合函数对所述点云特征进行特征聚合，得到语义分割结果。
上述通信总线可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(Extended Industry Standard Architecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括非易失性存储器，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的三维点云的语义分割方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如上所述的三维点云的语义分割方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘)等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种三维点云的语义分割方法，其特征在于，所述方法包括：
获取待处理的三维点云数据；
分别以所述三维点云数据中的各点为中心，按预设搜索半径在与所述点对应的八个子空间内搜索所述点的最近邻点，其中，八个所述子空间对应以所述点为原点的空间坐标系中的八个象限；
若所述子空间内存在所述最近邻点，将所述最近邻点的特征作为子空间特征，否则将所述点的点特征作为所述子空间特征；
将各所述子空间特征与所述点特征进行融合，得到所述点的融合特征；
根据各所述融合特征确定所述三维点云数据的点云特征，并基于预设聚合函数对所述点云特征进行特征聚合，得到语义分割结果。
2.如权利要求1所述的方法，其特征在于，所述将各所述子空间特征与所述点特征进行融合，得到所述点的融合特征，包括：
对各所述子空间特征与所述点特征进行编码，得到所述点的编码特征；
按所述点的X轴、Y轴和Z轴依次对所述编码特征进行卷积操作，得到所述融合特征。
3.如权利要求2所述的方法，其特征在于，按所述点的X轴、Y轴和Z轴依次对所述编码特征进行卷积操作，得到所述融合特征，包括：
按所述X轴对所述编码特征进行一次卷积操作，以将所述点的八个所述子空间特征进行两两结合，得到四维度特征；
按所述Y轴对所述四维度特征进行一次卷积操作，以将所述四维度特征按维度进行两两结合，得到两维度特征；
按所述Z轴对所述两维度特征进行一次卷积操作，以将所述两维度特征按维度进行结合，得到单维度特征；
将所述单维度特征和所述点特征拼接，得到所述融合特征。
4.如权利要求1所述的方法，其特征在于，所述预设聚合函数包括采用最大池化操作的第一聚合函数和采用平均池化操作的第二聚合函数，所述基于预设聚合函数对所述点云特征进行特征聚合，得到语义分割结果，包括：
根据公式一确定各所述点的聚合特征，所述公式一具体为：
根据各所述聚合特征确定所述语义分割结果；
其中，fout为所述聚合特征，A(·)为所述第一聚合函数，B(·)为所述第二聚合函数，为残差MLP块，gi为所述点云特征中第i个点的特征，j为第i个点的K个局部邻域点。
5.如权利要求1所述的方法，其特征在于，所述获取待处理的三维点云数据，包括：
获取原始三维点云数据；
根据公式二对所述原始三维点云数据进行变换，得到所述三维点云数据，所述公式二具体为：
其中，{fi,j}为分组后的fi∈Rd的k个局部邻域点，每个邻域点fi,j都是一个d维向量，j＝1,...,k∈Rk×d，α∈Rd是可学习参数，⊙表示Hadamard乘积，∈＝1e-5是用于保证数值稳定性的小数值，σ是一个表征所有局部分组和通道的特征偏差的标量。
6.一种三维点云的语义分割装置，其特征在于，所述装置包括：
获取模块，用于获取待处理的三维点云数据；
搜索模块，用于分别以所述三维点云数据中的各点为中心，按预设搜索半径在与所述点对应的八个子空间内搜索所述点的最近邻点，其中，八个所述子空间对应以所述点为原点的空间坐标系中的八个象限；
确定模块，用于若所述子空间内存在所述最近邻点，将所述最近邻点的特征作为子空间特征，否则将所述点的点特征作为所述子空间特征；
融合模块，用于将各所述子空间特征与所述点特征进行融合，得到所述点的融合特征；
聚合模块，用于根据各所述融合特征确定所述三维点云数据的点云特征，并基于预设聚合函数对所述点云特征进行特征聚合，得到语义分割结果。
7.如权利要求6所述的装置，其特征在于，所述融合模块，具体用于：
对各所述子空间特征与所述点特征进行编码，得到所述点的编码特征；
按所述点的X轴、Y轴和Z轴依次对所述编码特征进行卷积操作，得到所述融合特征。
8.如权利要求7所述的装置，其特征在于，所述融合模块，还具体用于：
按所述X轴对所述编码特征进行一次卷积操作，以将所述点的八个所述子空间特征进行两两结合，得到四维度特征；
按所述Y轴对所述四维度特征进行一次卷积操作，以将所述四维度特征按维度进行两两结合，得到两维度特征；
按所述Z轴对所述两维度特征进行一次卷积操作，以将所述两维度特征按维度进行结合，得到单维度特征；
将所述单维度特征和所述点特征拼接，得到所述融合特征。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～5中任意一项所述的三维点云的语义分割方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～5中任意一项所述的三维点云的语义分割方法。
CN202310444546.5A 2023-04-24 2023-04-24 三维点云的语义分割方法、装置、电子设备和存储介质 Pending CN116468892A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310444546.5A CN116468892A (zh) 2023-04-24 2023-04-24 三维点云的语义分割方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310444546.5A CN116468892A (zh) 2023-04-24 2023-04-24 三维点云的语义分割方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN116468892A true CN116468892A (zh) 2023-07-21

Family

ID=87178628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310444546.5A Pending CN116468892A (zh) 2023-04-24 2023-04-24 三维点云的语义分割方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN116468892A (zh)

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069883A (zh) * 2020-07-28 2020-12-11 浙江工业大学 一种融合一维二维卷积神经网络的深度学习信号分类方法
CN112183330A (zh) * 2020-09-28 2021-01-05 北京航空航天大学 基于点云的目标检测方法
CN112418235A (zh) * 2020-11-20 2021-02-26 中南大学 一种基于膨胀最近邻特征增强的点云语义分割方法
CN112801015A (zh) * 2021-02-08 2021-05-14 华南理工大学 一种基于注意力机制的多模态人脸识别方法
CN113052835A (zh) * 2021-04-20 2021-06-29 江苏迅捷装具科技有限公司 一种基于三维点云与图像数据融合的药盒检测方法及其检测***
KR20210106703A (ko) * 2020-02-21 2021-08-31 전남대학교산학협력단 3차원 공간의 의미적 분할 시스템 및 이를 이용한 3차원 공간의 의미적 분할 방법
CN113658122A (zh) * 2021-08-09 2021-11-16 深圳市欢太科技有限公司 图像质量评价方法、装置、存储介质与电子设备
CN114092803A (zh) * 2021-11-01 2022-02-25 武汉卓目科技有限公司 基于遥感图像的云检测方法、装置、电子设备及介质
CN114255238A (zh) * 2021-11-26 2022-03-29 电子科技大学长三角研究院(湖州) 一种融合图像特征的三维点云场景分割方法及***
CN114266891A (zh) * 2021-11-17 2022-04-01 京沪高速铁路股份有限公司 基于图像与激光数据融合的铁路运行环境异常辨识方法
WO2022088676A1 (zh) * 2020-10-29 2022-05-05 平安科技（深圳）有限公司 三维点云语义分割方法、装置、设备及介质
CN114581411A (zh) * 2022-02-28 2022-06-03 北京科技大学 一种卷积核生成方法和装置、电子设备
CN114723764A (zh) * 2022-02-28 2022-07-08 西安理工大学 一种点云物体的参数化边缘曲线提取方法
CN114863062A (zh) * 2022-06-07 2022-08-05 南京航空航天大学深圳研究院 基于点、体素特征表示的工业场景3d点云模型构建方法
CN115409989A (zh) * 2022-09-22 2022-11-29 沈阳工业大学 一种优化边界的三维点云语义分割方法
CN115457395A (zh) * 2022-09-22 2022-12-09 南京信息工程大学 基于通道注意力与多尺度特征融合的轻量级遥感目标检测方法
CN115471641A (zh) * 2022-08-31 2022-12-13 广东三维家信息科技有限公司 一种三维室内场景补全方法、装置、设备及存储介质
US20230052595A1 (en) * 2021-08-16 2023-02-16 GE Precision Healthcare LLC Deep learning-based image quality enhancement of three-dimensional anatomy scan images
CN115861619A (zh) * 2022-12-20 2023-03-28 重庆大学 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与***
CN115937507A (zh) * 2022-04-17 2023-04-07 北京工业大学 一种基于点空洞方向卷积的点云语义分割方法

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210106703A (ko) * 2020-02-21 2021-08-31 전남대학교산학협력단 3차원 공간의 의미적 분할 시스템 및 이를 이용한 3차원 공간의 의미적 분할 방법
CN112069883A (zh) * 2020-07-28 2020-12-11 浙江工业大学 一种融合一维二维卷积神经网络的深度学习信号分类方法
CN112183330A (zh) * 2020-09-28 2021-01-05 北京航空航天大学 基于点云的目标检测方法
WO2022088676A1 (zh) * 2020-10-29 2022-05-05 平安科技（深圳）有限公司 三维点云语义分割方法、装置、设备及介质
CN112418235A (zh) * 2020-11-20 2021-02-26 中南大学 一种基于膨胀最近邻特征增强的点云语义分割方法
CN112801015A (zh) * 2021-02-08 2021-05-14 华南理工大学 一种基于注意力机制的多模态人脸识别方法
CN113052835A (zh) * 2021-04-20 2021-06-29 江苏迅捷装具科技有限公司 一种基于三维点云与图像数据融合的药盒检测方法及其检测***
CN113658122A (zh) * 2021-08-09 2021-11-16 深圳市欢太科技有限公司 图像质量评价方法、装置、存储介质与电子设备
US20230052595A1 (en) * 2021-08-16 2023-02-16 GE Precision Healthcare LLC Deep learning-based image quality enhancement of three-dimensional anatomy scan images
CN114092803A (zh) * 2021-11-01 2022-02-25 武汉卓目科技有限公司 基于遥感图像的云检测方法、装置、电子设备及介质
CN114266891A (zh) * 2021-11-17 2022-04-01 京沪高速铁路股份有限公司 基于图像与激光数据融合的铁路运行环境异常辨识方法
CN114255238A (zh) * 2021-11-26 2022-03-29 电子科技大学长三角研究院(湖州) 一种融合图像特征的三维点云场景分割方法及***
CN114723764A (zh) * 2022-02-28 2022-07-08 西安理工大学 一种点云物体的参数化边缘曲线提取方法
CN114581411A (zh) * 2022-02-28 2022-06-03 北京科技大学 一种卷积核生成方法和装置、电子设备
CN115937507A (zh) * 2022-04-17 2023-04-07 北京工业大学 一种基于点空洞方向卷积的点云语义分割方法
CN114863062A (zh) * 2022-06-07 2022-08-05 南京航空航天大学深圳研究院 基于点、体素特征表示的工业场景3d点云模型构建方法
CN115471641A (zh) * 2022-08-31 2022-12-13 广东三维家信息科技有限公司 一种三维室内场景补全方法、装置、设备及存储介质
CN115409989A (zh) * 2022-09-22 2022-11-29 沈阳工业大学 一种优化边界的三维点云语义分割方法
CN115457395A (zh) * 2022-09-22 2022-12-09 南京信息工程大学 基于通道注意力与多尺度特征融合的轻量级遥感目标检测方法
CN115861619A (zh) * 2022-12-20 2023-03-28 重庆大学 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHARLES R. QI ET AL.: "PointNet++:Deep Hierachical Feature Learning on Point Sets in a Metric Space", 《ARXIV.ORG》, pages 1 - 14 *
MINGYANG JIANG ET AL.: "PointSIFT: A SIFT-like Network Module for 3D Point Cloud Semantic Segmentation", 《ARXIV.ORG》, pages 1 - 10 *
彭玉旭: "基于注意力机制的三维点云车辆目标检测", 《计算机***应用》, vol. 30, no. 12, pages 211 - 217 *

Similar Documents

Publication Publication Date Title
Daradkeh et al. Development of effective methods for structural image recognition using the principles of data granulation and apparatus of fuzzy logic
WO2022166400A1 (zh) 一种处理三维点云的方法、装置、设备以及存储介质
CN113095370B (zh) 图像识别方法、装置、电子设备及存储介质
CN111428805B (zh) 显著性物体的检测方法、模型、存储介质及电子设备
WO2022193335A1 (zh) 点云数据处理方法、装置、计算机设备和存储介质
CN115374186B (zh) 基于大数据的数据处理方法及ai***
CN110298296B (zh) 应用于边缘计算设备的人脸识别方法
CN111553946A (zh) 用于去除地面点云的方法及装置、障碍物检测方法及装置
CN112336342A (zh) 手部关键点检测方法、装置及终端设备
CN110889323A (zh) 通用车牌的识别方法、装置、计算机设备及存储介质
CN112435193A (zh) 一种点云数据去噪的方法、装置、存储介质和电子设备
CN109993026B (zh) 亲属识别网络模型的训练方法及装置
CN110060264B (zh) 神经网络训练方法、视频帧处理方法、装置及***
Qi et al. Fast and robust homography estimation method with algebraic outlier rejection
CN115546574A (zh) 图像分类、模型训练方法、设备、存储介质及计算机程序
Liu et al. CMLocate: A cross‐modal automatic visual geo‐localization framework for a natural environment without GNSS information
CN116468892A (zh) 三维点云的语义分割方法、装置、电子设备和存储介质
CN111930858A (zh) 一种异质信息网络的表示学习方法、装置及电子设备
CN116704254A (zh) 点云分类方法、装置、计算机设备及存储介质
CN112699260A (zh) 物种识别方法及装置
CN115830342A (zh) 检测框的确定方法、装置、存储介质及电子装置
CN115685133A (zh) 自动驾驶车辆的定位方法、控制装置、存储介质及车辆
López‐Martinez et al. Vanishing point detection using the teaching learning‐based optimisation algorithm
CN115018710A (zh) 一种基于fpfh特征和深度神经网络的点云超分辨率方法
CN113468604A (zh) 基于人工智能的大数据隐私信息解析方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination