CN114241226A - 一种基于混合模型多邻域特征的三维点云语义分割方法 - Google Patents

一种基于混合模型多邻域特征的三维点云语义分割方法 Download PDF

Info

Publication number
CN114241226A
CN114241226A CN202111486128.XA CN202111486128A CN114241226A CN 114241226 A CN114241226 A CN 114241226A CN 202111486128 A CN202111486128 A CN 202111486128A CN 114241226 A CN114241226 A CN 114241226A
Authority
CN
China
Prior art keywords
point cloud
network layer
network
dimensional
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111486128.XA
Other languages
English (en)
Inventor
肖卓凌
宋濡君
何汉
覃昊洁
阎波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202111486128.XA priority Critical patent/CN114241226A/zh
Publication of CN114241226A publication Critical patent/CN114241226A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于混合模型多邻域特征的三维点云语义分割方法，解决了基于传统或深度学习的单一模型在三维点云语义分割方法中鲁棒性较差的问题，充分实现了聚类算法对点云数据的邻域点间关系的发掘，构建了有效处理点云数据的深度学习网络来提取丰富的点数据特征，最终准确且鲁棒地实现三维点云的语义分割。

Description

一种基于混合模型多邻域特征的三维点云语义分割方法
技术领域
本发明属于三维点云识别技术领域，具体涉及一种基于混合模型多邻域特征的三维点云语义分割方法。
背景技术
近年来，随着物联网相关应用的迅速发展，带动了基于场景理解服务的需求飞涨，这使得对场景的高精度识别与场景语义分割的需求日益迫切。稳定、准确、轻量级的场景理解***是实现诸如无人驾驶、机器人控制、虚拟现实(VR)和3D重建等物联网应用的重要保障。
在现存的各种场景理解技术中，三维点云语义分割技术是其中一项重要的研究任务。三维点云语义分割技术的目标是区分环境中实例物体的边界并将语义标签分配给三维空间中的点，该技术对精细化场景理解的应用至关重要。尽管二维图像数据也可以用于描述真实世界，但二维空间数据存在对环境深度描述的不确定性，无法使智能机器人拥有人类般对场景的理解，无法获得诸如空间物体近大远小的先验认知。而利用三维点云数据进行语义分割进而实现对场景的理解是解决以上问题的一种有效途径，此技术具备适用场景广泛、场景空间结构信息丰富等诸多优点。
尽管当前基于学习方法的模型在处理图像数据方面取得了巨大进步，但点云数据因其形状的不规则性和非结构化，使得点云语义分割技术在直接处理非结构化三维点云时仍然存在诸多挑战。因此能够有效地处理点云数据并提取出重要的空间特征是实现高精度三维点云语义分割技术的关键。现阶段，实现高精度的三维点云语义分割技术的常见方法有：1)传统的基于边缘、区域或点云属性等特征的点云语义分割方法。如点云语义分割的边缘检测技术可以通过计算点云表面法向量的梯度变化来分类不同物体的点云边缘进而实现点云分割。2)以深度学习方法为基础的点云语义分割方法。如PointNet点云分割网络通过多个串联的多层感知器(MLP)对点云数据提取全局和单点特征实现点云分割任务。3)基于混合模型实现的点云语义分割方法。如基于K最近邻和PointNet的混合模型就是通过首先筛选邻域点再提取点特征实现的三维点云分割技术。但是，第一种方法不但对点云分割的先验信息依赖性高，还对点云数据中的噪声信息敏感。其主要表现在传统方法提取点云数据特征的需要人工筛选和先验理解，同时采集数据时的噪声会影响点云数据的稳定性从而造成不同物体的点云信息边缘模糊。此外，第二种方法则仅仅考虑了点云中基于单点的特征而忽略了相邻点间的空间几何关系，使得分类***存在局限性。其主要表现在当点云数据具有明显的三维空间约束关系时，单点信息无法体现点间关系从而严重影响语义分割的效果。因此利用机器学习方法充分学习点云数据的领域点间的空间关联性，同时融合深度学习方法自适应地提取多领域点云数据特征最终实现三维点云的语义分割是一种通用且有效的方案。此外，对于基于混合模型的多邻域特征的三维点云语义分割的实现，选取合适的机器学习聚类方法来学习邻域数据点的空间关系并且设计有效的基于深度学习的特征提取与分类网络是提高三维点云语义分割模型精度的关键。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于混合模型多邻域特征的三维点云语义分割方法解决了基于传统或深度学习的单一模型在三维点云语义分割方法中鲁棒性较差的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种基于混合模型多邻域特征的三维点云语义分割方法，包括以下步骤：
S1、通过激光雷达采集三维空间中的点云数据，并对点云数据进行特征提取，得到点云全局特征、单点特征和网络层的中间特征；
S2、通过聚类算法对点云数据进行聚类，保存各聚类点子集中的点索引，通过索引分类得到网络层的中间特征聚类子集；
S3、将网络层的中间特征聚类子集进行特征映射，得到每个网络层的中间特征聚类子集对应的高维多邻域特征；
S4、通过对点云全局特征、单点特征和高维多邻域特征进行拼接融合，进而通过第三人工神经网络计算最终得到每个点的语义分类标签。
进一步地：所述步骤S1中，点云数据的表示形式具体为七维度形式(x,y,z,intensity,r,g,b)，其中，x、y和z分别为点云数据在三维空间的x轴的空间信息、y轴的空间信息和z轴的空间信息；intensity为激光雷达的反射值强度；r、g和b分别为点云数据颜色信息的红色信息、绿色信息和蓝色信息。
进一步地：所述步骤S1中，对点云数据进行特征提取的方法具体为：
通过第一人工神经网络对点云数据进行特征提取；其中，第一人工神经网络包括相互连接的共用多层感知器和二分支结构；
所述共用多层感知器包括依次连接的第一网络层、第二网络层和第三网络层，其中，第一网络层、第二网络层和第三网络层的尺度分别为7、10和64；
所述二分支结构包括第一分支网络和第二分支网络，第一分支网络和第二分支网络均与共用多层感知器连接。
上述进一步方案的有益效果为：二分支结构分别用于产生点云数据的单点特征和点云全局特征信息。
进一步地：所述第一分支网络设置有第一多层感知器；
其中，所述第一多层感知器包括相互连接的第四网络层和第五网络层，第四网络层和第五网络层的尺度分别为64和128；
上述进一步方案的有益效果为：第一分支可以提取点云数据特征中的高维点云单点特征。
所述第二分支网络包括相互连接的第二多层感知器和第一最大池化层；
其中，所述第二多层感知器包括相互连接的第六网络层和第七网络层，第六网络层和第七网络层的尺度分别为64和512；第一最大池化层的尺度为n×1，其中n为点云数据的总数。
进一步地：所述第四网络层和第六网络层的输出公式相同，第四网络层和第六网络层的输出F的表达式具体为：
Figure BDA0003396631490000041
式中，x1×i为输入的点云特征，Wj×i为待训练的权重矩阵，b1×j为偏置矩阵，T为矩阵转置操作，(i,j)为二维空间上的位置编号，.为矩阵乘法操作，+为矩阵加法操作，Relu(·)为激活函数；
第一最大池化层的表达式具体为：
Figure BDA0003396631490000042
式中，
Figure BDA0003396631490000043
为第一最大池化层计算后的输出，xi,j为第一最大池化层的输入，r为池化核的尺寸大小。
上述进一步方案的有益效果为：第一最大池化层可以提取高维点云数据特征中的点云全局特征。
进一步地：所述步骤S2中，聚类算法为K均值聚类算法或均值漂移聚类算法；
其中，设置的K均值聚类算法的聚类参数K＝10，设置的均值漂移聚类算法的均值漂移带宽例尺寸Meanshift Radius＝0.2，均值漂移聚类类别中最少包含的点数目Meanshift MinPts＝10；
所述步骤S2具体为：通过聚类算法对点云数据进行聚类，进而通过索引各聚类结果中的点编号对网络层的中间特征进行分类，得到特征聚类子集。
进一步地：所述步骤S3具体为：
通过第二人工神经网络对每个特征聚类子集进行高维邻域特征提取，得到每个特征聚类子集对应的高维多邻域特征；
其中，所述第二人工神经网络具体为多分支结构，所述多分支结构中的每个分支结构相同，均包括相互连接的第三多层感知器和第二最大池化层；
所述第三多层感知器包括第八网络层和第九网络层，其中，所述第八网络层和第九网络层的尺度分别为64和512，所述第二最大池化层的尺度为ni×1，其中，ni为第i个特征聚类子集中点的总数。
进一步地：所述步骤S4具体为：
拼接点云全局特征和高维多邻域特征，得到尺寸为1024的点云空间特征信息，将点云空间特征信息复制并与单点特征拼接，得到点云特征，进而通过第三人工神经网络对点云特征进行高维映射，得到每个点的语义分类标签；
其中，点云特征的尺度为n×1152。
上述进一步方案的有益效果为：本发明的第三人工神经网络可以实现特征高维映射和预测语义标签。
进一步地：所述第三人工神经网络包括相互连接的第四多层感知器和归一化指数函数层；
其中，第四多层感知器包括依次连接的第十网络层、第十一网络层和第十二网络层；第十网络层、第十一网络层和第十二网络层的尺度分别为1152、256和m，m为语义分割的类别数；
归一化指数函数层输出p的表达式具体为：
Figure BDA0003396631490000061
式中，m为第三人工神经网络的语义分割的类别数，vn为第十二网络层第n个类别输出值的输出向量，n为类别序数，vc为第十二网络层第c个类别输出值的输出向量，c为当前需要计算的类别，输出p值在(0,1)范围内。
本发明的有益效果为：
(1)本发明基于三维点云数据输入，通过设计基于混合模型多邻域特征的三维点云语义分割方法来实现三维点云的语义分割。
(2)本发明还利用聚类算法来挖掘三维点云数据中领域点的特征关系，并利用深度学习网络模型提取出点云数据的多邻域特征，通过拼接提取到的点云的单点、全局以及多领域特征，实现混合模型对多维度点云特征的融合和利用，最终得到高精度的三维点云语义分割结果。
(3)本方法能够在不需要预先人工提取点云特征的情况下直接处理无序的三维数据，并基于融合机器学习与深度学习算法的混合模型实现语义分割网络对不同维度下点云特征的提取和利用，使模型在挖掘更多隐藏空间特征后得到更精确的点云语义分割结果，实现自主高鲁棒的三维点云语义分割预测模型。
附图说明
图1为一种基于混合模型多邻域特征的三维点云语义分割方法的流程图；
图2为本发明的第一人工神经网络结构框图；
图3为本发明的第二人工神经网络结构框图；
图4为本发明的第三人工神经网络结构框图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
实施例1：
如图1所示，在本发明的一个实施例中，一种基于混合模型多邻域特征的三维点云语义分割方法，包括以下步骤：
S1、通过激光雷达采集三维空间中的点云数据，并对点云数据进行特征提取，得到点云全局特征、单点特征和网络层的中间特征；
S2、通过聚类算法对点云数据进行聚类，保存各聚类点子集中的点索引，通过索引分类得到网络层的中间特征聚类子集；
S3、将网络层的中间特征聚类子集进行特征映射，得到每个网络层的中间特征聚类子集对应的高维多邻域特征；
S4、通过对点云全局特征、单点特征和高维多邻域特征进行拼接融合，进而通过第三人工神经网络计算得到每个点的语义分类标签。
所述步骤S1中，点云数据的表示形式具体为七维度形式(x,y,z,intensity,r,g,b)，其中，x、y和z分别为点云数据在三维空间的x轴的空间信息、y轴的空间信息和z轴的空间信息；intensity为激光雷达的反射值强度；r、g和b分别为点云数据颜色信息的红色信息、绿色信息和蓝色信息。
所述步骤S1中，对点云数据进行特征提取的方法具体为：
如图2所示，通过第一人工神经网络对点云数据进行特征提取；其中，第一人工神经网络包括相互连接的共用多层感知器和二分支结构；
所述共用多层感知器包括依次连接的第一网络层、第二网络层和第三网络层，其中，第一网络层、第二网络层和第三网络层的尺度分别为7、10和64；
所述二分支结构包括第一分支网络和第二分支网络，第一分支网络和第二分支网络均与共用多层感知器连接。
在本实施例中，用于提取单点特征和点云全局特征的第一人工神经网络包括共用多层感知器和二分支结构，其中，共用多层感知器的输出即为网络层的中间特征，其后的二分支结构分别用于产生点云数据的单点特征和点云全局特征。
在本实施例中，第三网络层输出的网络层的中间特征的维度为(n×64)。
所述第一分支网络设置有第一多层感知器；
其中，所述第一多层感知器包括相互连接的第四网络层和第五网络层，第四网络层和第五网络层的尺度分别为64和128；
所述第二分支网络包括相互连接的第二多层感知器和第一最大池化层；
其中，所述第二多层感知器包括相互连接的第六网络层和第七网络层，第六网络层和第七网络层的尺度分别为64和512；第一最大池化层的尺度为n×1，其中n为点云数据的总数。
在本实施例中，二分支结构中用于产生云数据的单点特征的分支网络包含一个第一多层感知器，此多层感知器具有两层网络层，尺寸分别为64和128，最终得到的单点特征尺寸为(n×128)；二分支结构中用于产生全局特征的分支网络包含一个第二多层感知器和一个串联的第一最大池化层；第二多层感知器包含两层网络层，尺寸分别为64和512，最后一层网络层输出维度为(n×512)；最大池化层的池化尺寸为n×1；最终得到的全局特征尺寸为512。
所述第四网络层和第六网络层的输出公式相同，第四网络层和第六网络层的输出F的表达式具体为：
Figure BDA0003396631490000091
式中，x1×i为输入的点云特征，Wj×i为待训练的权重矩阵，b1×j为偏置矩阵，T为矩阵转置操作，(i,j)为二维空间上的位置编号，.为矩阵乘法操作，+为矩阵加法操作，Relu(·)为激活函数；通过激活函数可以进行非线性映射。
第一最大池化层的表达式具体为：
Figure BDA0003396631490000092
式中，
Figure BDA0003396631490000093
为第一最大池化层计算后的输出，xi,j为第一最大池化层的输入，r为池化核的尺寸大小。
所述步骤S2中，聚类算法为K均值聚类算法或均值漂移聚类算法；
其中，设置的K均值聚类算法的聚类参数K＝10，设置的均值漂移聚类算法的均值漂移带宽例尺寸Meanshift Radius＝0.2，均值漂移聚类类别中最少包含的点数目Meanshift MinPts＝10；
所述步骤S2具体为：通过聚类算法对点云数据进行聚类，进而通过索引各聚类结果中的点编号对网络层的中间特征进行分类，得到网络层的中间特征聚类子集。
所述步骤S3具体为：
通过第二人工神经网络对每个网络层的中间特征聚类子集特征进行高维邻域特征提取，得到每个网络层的中间特征聚类子集对应的高维多邻域特征；
如图3所示，所述第二人工神经网络具体为多分支结构，所述多分支结构中的每个分支结构相同，均包括相互连接的第三多层感知器和第二最大池化层；
所述第三多层感知器包括第八网络层和第九网络层，其中，所述第八网络层和第九网络层的尺度分别为64和512，所述第二最大池化层的尺度为ni×1，其中，ni为第i个特征聚类子集中点的总数。
在本实施例中，第二人工神经网络中的每个分支处理一个中间特征聚类子集特征，提取高维邻域特征，最终每个分支得到的高维邻域特征尺寸为512。
所述步骤S4具体为：
拼接点云全局特征和高维多邻域特征，得到尺寸为1024的点云空间特征信息，将点云空间特征信息复制并与单点特征拼接，得到点云特征，进而通过第三人工神经网络对点云特征进行高维映射，得到每个点的语义分类标签；
其中，点云特征的尺度为n×1152。
如图4所示，所述第三人工神经网络包括相互连接的第四多层感知器和归一化指数函数层；
其中，第四多层感知器包括依次连接的第十网络层、第十一网络层和第十二网络层；第十网络层、第十一网络层和第十二网络层的尺度分别为1152、256和m，m为语义分割的类别数；
归一化指数函数层输出p的表达式具体为：
Figure BDA0003396631490000101
式中，m为第三人工神经网络的语义分割的类别数，vn为第十二网络层第n个类别输出值的输出向量，n为类别序数，vc为第十二网络层第c个类别输出值的输出向量，c为当前需要计算的类别，输出p值在(0,1)范围内。
在本发明的实施例中，第三人工神经网络用于实现特征高维映射和预测语义标签。
本发明方法的实施过程为：获取激光雷达采集到的三维空间中的点云数据，再将点云数据中每个点的数据处理为7维度的格式，然后输入至本发明的混合模型中，基于混合模型多邻域特征的三维点云语义分割方法首先通过第一人工神经网络对输入的点云数据提取单点特征和点云全局特征，并保存网络层的中间特征用于后续聚类算法的处理和应用，基于点云的空间信息采用机器学习的聚类算法对三维点云数据进行聚类，并通过索引各个点云聚类结果中的点编号对网络层的中间特征进行分类。然后，通过第二人工神经网络对聚类分类后的网络层中间特征提取出对应的高维邻域特征信息。最后，通过第三人工神经网络对点云全局特征、单点特征以及每个网络层的中间特征聚类子集提取而来的多邻域特征进行拼接融合，最终得到每个点的语义分类标签，实现三维点云的语义分割。在具体实施过程中，可以采用标记好的数据对本发明***的网络参数进行训练。
本发明的有益效果为：本发明基于三维点云数据输入，通过设计基于混合模型多邻域特征的三维点云语义分割方法来实现三维点云的语义分割。
本发明还利用聚类算法来挖掘三维点云数据中领域点的特征关系，并利用深度学习网络模型提取出点云数据的多邻域特征，通过拼接提取到的点云的单点、全局以及多领域特征，实现混合模型对多维度点云特征的融合和利用，最终得到高精度的三维点云语义分割结果。
本方法能够在不需要预先人工提取点云特征的情况下直接处理无序的三维数据，并基于融合机器学习与深度学习算法的混合模型实现语义分割网络对不同维度下点云特征的提取和利用，使模型在挖掘更多隐藏空间特征后得到更精确的点云语义分割结果，实现自主高鲁棒的三维点云语义分割预测模型。
在本发明的描述中，需要理解的是，术语“中心”、“厚度”、“上”、“下”、“水平”、“顶”、“底”、“内”、“外”、“径向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或隐含指明的技术特征的数量。因此，限定由“第一”、“第二”、“第三”的特征可以明示或隐含地包括一个或者更多个该特征。

Claims (9)

1.一种基于混合模型多邻域特征的三维点云语义分割方法，其特征在于，包括以下步骤：
S1、通过激光雷达采集三维空间中的点云数据，并对点云数据进行特征提取，得到点云全局特征、单点特征和网络层的中间特征；
S2、通过聚类算法对点云数据进行聚类，保存各聚类点子集中的点索引，通过索引分类得到网络层的中间特征聚类子集；
S3、将网络层的中间特征聚类子集进行特征映射，得到每个网络层的中间特征聚类子集对应的高维多邻域特征；
S4、通过对点云全局特征、单点特征和高维多邻域特征进行拼接融合，进而通过第三人工神经网络计算得到每个点的语义分类标签。
2.根据权利要求1所述的基于混合模型多邻域特征的三维点云语义分割方法，其特征在于，所述步骤S1中，点云数据的表示形式具体为七维度形式(x，y，z，intensity，r，g，b)，其中，x、y和z分别为点云数据在三维空间的x轴的空间信息、y轴的空间信息和z轴的空间信息；intensity为激光雷达的反射值强度；r、g和b分别为点云数据颜色信息的红色信息、绿色信息和蓝色信息。
3.根据权利要求1所述的基于混合模型多邻域特征的三维点云语义分割方法，其特征在于，所述步骤S1中，对点云数据进行特征提取的方法具体为：
通过第一人工神经网络对点云数据进行特征提取；其中，第一人工神经网络包括相互连接的共用多层感知器和二分支结构；
所述共用多层感知器包括依次连接的第一网络层、第二网络层和第三网络层，其中，第一网络层、第二网络层和第三网络层的尺度分别为7、10和64；
所述二分支结构包括第一分支网络和第二分支网络，第一分支网络和第二分支网络均与共用多层感知器连接。
4.根据权利要求3所述的基于混合模型多邻域特征的三维点云语义分割方法，其特征在于，所述第一分支网络设置有第一多层感知器；
其中，所述第一多层感知器包括相互连接的第四网络层和第五网络层，第四网络层和第五网络层的尺度分别为64和128；
所述第二分支网络包括相互连接的第二多层感知器和第一最大池化层；
其中，所述第二多层感知器包括相互连接的第六网络层和第七网络层，第六网络层和第七网络层的尺度分别为64和512；第一最大池化层的尺度为n×1，其中n为点云数据中点的总数。
5.根据权利要求4所述的基于混合模型多邻域特征的三维点云语义分割方法，其特征在于，所述第四网络层和第六网络层的输出公式相同，第四网络层和第六网络层的输出F的表达式具体为：
Figure FDA0003396631480000021
式中，x1×i为输入的点云特征，Wj×i为待训练的权重矩阵，b1×j为偏置矩阵，T为矩阵转置操作，(i，j)为二维空间上的位置编号，.为矩阵乘法操作，+为矩阵加法操作，Relu(·)为激活函数；
第一最大池化层的表达式具体为：
Figure FDA0003396631480000022
式中，
Figure FDA0003396631480000023
为第一最大池化层计算后的输出，xi，j为第一最大池化层的输入，r为池化核的尺寸大小。
6.根据权利要求1所述的基于混合模型多邻域特征的三维点云语义分割方法，其特征在于，所述步骤S2中，聚类算法为K均值聚类算法或均值漂移聚类算法；
其中，设置的K均值聚类算法的聚类参数K＝10，设置的均值漂移聚类算法的均值漂移带宽例尺寸Meanshift Radius＝0.2，均值漂移聚类类别中最少包含的点数目MeanshiftMinPts＝10；
所述步骤S2具体为：通过聚类算法对点云数据进行聚类，进而通过索引各聚类结果中的点编号对网络层的中间特征进行分类，得到网络层的中间特征聚类子集。
7.根据权利要求1所述的基于混合模型多邻域特征的三维点云语义分割方法，其特征在于，所述步骤S3具体为：
通过第二人工神经网络对每个网络层的中间特征聚类子集特征进行高维邻域特征提取，得到每个网络层的中间特征聚类子集对应的高维多邻域特征；
其中，所述第二人工神经网络具体为多分支结构，所述多分支结构中的每个分支结构相同，均包括相互连接的第三多层感知器和第二最大池化层；
所述第三多层感知器包括第八网络层和第九网络层，其中，所述第八网络层和第九网络层的尺度分别为64和512，所述第二最大池化层的尺度为ni×1，其中，ni为第i个特征聚类子集中点的总数。
8.根据权利要求1所述的基于混合模型多邻域特征的三维点云语义分割方法，其特征在于，所述步骤S4具体为：
拼接点云全局特征和高维多邻域特征，得到尺寸为1024的点云空间特征信息，将点云空间特征信息复制并与单点特征拼接，得到点云特征，进而通过第三人工神经网络对点云特征进行高维映射，得到每个点的语义分类标签；
其中，点云特征的尺度为n×1152。
9.根据权利要求8所述的基于混合模型多邻域特征的三维点云语义分割方法，所述第三人工神经网络包括相互连接的第四多层感知器和归一化指数函数层；
其中，第四多层感知器包括依次连接的第十网络层、第十一网络层和第十二网络层；第十网络层、第十一网络层和第十二网络层的尺度分别为1152、256和m，m为语义分割的类别数；
归一化指数函数层输出p的表达式具体为：
Figure FDA0003396631480000041
式中，m为第三人工神经网络的语义分割的类别数，vn为第十二网络层第n个类别输出值的输出向量，n为类别序数，vc为第十二网络层第c个类别输出值的输出向量，c为当前需要计算的类别，输出p值在(0，1)范围内。
CN202111486128.XA 2021-12-07 2021-12-07 一种基于混合模型多邻域特征的三维点云语义分割方法 Pending CN114241226A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111486128.XA CN114241226A (zh) 2021-12-07 2021-12-07 一种基于混合模型多邻域特征的三维点云语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111486128.XA CN114241226A (zh) 2021-12-07 2021-12-07 一种基于混合模型多邻域特征的三维点云语义分割方法

Publications (1)

Publication Number Publication Date
CN114241226A true CN114241226A (zh) 2022-03-25

Family

ID=80753691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111486128.XA Pending CN114241226A (zh) 2021-12-07 2021-12-07 一种基于混合模型多邻域特征的三维点云语义分割方法

Country Status (1)

Country Link
CN (1) CN114241226A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116168046A (zh) * 2023-04-26 2023-05-26 山东省凯麟环保设备股份有限公司 复杂环境下的3d点云语义分割方法、***、介质及设备
CN116958553A (zh) * 2023-07-27 2023-10-27 石河子大学 基于无参注意力和点级卷积的轻量级植物点云分割方法
CN117649530A (zh) * 2024-01-30 2024-03-05 武汉理工大学 基于语义级拓扑结构的点云特征提取方法、***及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110660062A (zh) * 2019-08-31 2020-01-07 南京理工大学 一种基于PointNet的点云实例分割方法及***
CN111489358A (zh) * 2020-03-18 2020-08-04 华中科技大学 一种基于深度学习的三维点云语义分割方法
CN112907602A (zh) * 2021-01-28 2021-06-04 中北大学 一种基于改进k-近邻算法的三维场景点云分割方法
US20210350183A1 (en) * 2019-02-25 2021-11-11 Tencent Technology (Shenzhen) Company Limited Point cloud segmentation method, computer-readable storage medium, and computer device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210350183A1 (en) * 2019-02-25 2021-11-11 Tencent Technology (Shenzhen) Company Limited Point cloud segmentation method, computer-readable storage medium, and computer device
CN110660062A (zh) * 2019-08-31 2020-01-07 南京理工大学 一种基于PointNet的点云实例分割方法及***
CN111489358A (zh) * 2020-03-18 2020-08-04 华中科技大学 一种基于深度学习的三维点云语义分割方法
CN112907602A (zh) * 2021-01-28 2021-06-04 中北大学 一种基于改进k-近邻算法的三维场景点云分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RUJUN SONG 等: "HyPNet: Hybrid Multi-features Network for Point Cloud Semantic Segmentation" *
牛辰庚;刘玉杰;李宗民;李华;: "基于点云数据的三维目标识别和模型分割方法" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116168046A (zh) * 2023-04-26 2023-05-26 山东省凯麟环保设备股份有限公司 复杂环境下的3d点云语义分割方法、***、介质及设备
CN116168046B (zh) * 2023-04-26 2023-08-25 山东省凯麟环保设备股份有限公司 复杂环境下的3d点云语义分割方法、***、介质及设备
CN116958553A (zh) * 2023-07-27 2023-10-27 石河子大学 基于无参注意力和点级卷积的轻量级植物点云分割方法
CN116958553B (zh) * 2023-07-27 2024-04-16 石河子大学 基于无参注意力和点级卷积的轻量级植物点云分割方法
CN117649530A (zh) * 2024-01-30 2024-03-05 武汉理工大学 基于语义级拓扑结构的点云特征提取方法、***及设备
CN117649530B (zh) * 2024-01-30 2024-04-23 武汉理工大学 基于语义级拓扑结构的点云特征提取方法、***及设备

Similar Documents

Publication Publication Date Title
CN111368896B (zh) 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法
CN111275688B (zh) 基于注意力机制的上下文特征融合筛选的小目标检测方法
CN108416394B (zh) 基于卷积神经网络的多目标检测模型构建方法
CN106250812B (zh) 一种基于快速r-cnn深度神经网络的车型识别方法
CN114241226A (zh) 一种基于混合模型多邻域特征的三维点云语义分割方法
CN109559320A (zh) 基于空洞卷积深度神经网络实现视觉slam语义建图功能的方法及***
CN110046671A (zh) 一种基于胶囊网络的文本分类方法
CN109190635A (zh) 基于分类cnn的目标追踪方法、装置及电子设备
CN112347970B (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN112907602B (zh) 一种基于改进k-近邻算法的三维场景点云分割方法
CN114821014B (zh) 基于多模态与对抗学习的多任务目标检测识别方法及装置
US20190279011A1 (en) Data anonymization using neural networks
CN102867192B (zh) 一种基于监督测地线传播的场景语义迁移方法
CN113743417A (zh) 语义分割方法和语义分割装置
CN108509567B (zh) 一种数字文化内容库搭建的方法及装置
CN109657082A (zh) 基于全卷积神经网络的遥感图像多标签检索方法及***
CN117456480B (zh) 一种基于多源信息融合的轻量化车辆再辨识方法
CN114120270A (zh) 一种基于注意力和采样学习的点云目标检测方法
CN112381730B (zh) 一种遥感影像数据扩增方法
CN109271833A (zh) 基于栈式稀疏自编码器的目标识别方法、装置及电子设备
CN114708321B (zh) 一种基于语义的相机位姿估计方法及***
CN116958624A (zh) 指定材质的识别方法、装置、设备、介质及程序产品
CN115965819A (zh) 一种基于Transformer结构的轻量化害虫识别方法
CN115830322A (zh) 一种基于弱监督网络的建筑物语义分割标签扩充方法
CN114283289A (zh) 一种基于多模型融合的图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220325

RJ01 Rejection of invention patent application after publication