CN110660062A - 一种基于PointNet的点云实例分割方法及*** - Google Patents
一种基于PointNet的点云实例分割方法及*** Download PDFInfo
- Publication number
- CN110660062A CN110660062A CN201910820019.3A CN201910820019A CN110660062A CN 110660062 A CN110660062 A CN 110660062A CN 201910820019 A CN201910820019 A CN 201910820019A CN 110660062 A CN110660062 A CN 110660062A
- Authority
- CN
- China
- Prior art keywords
- matrix
- segmentation
- point
- point cloud
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于PointNet的点云实例分割方法及***,点云数据预处理模块进行分块、采样、平移和归一化操作;PointNet神经网络训练模块通过PointNet神经网络,提取点云特征矩阵;矩阵计算模块,包括训练相似网络、置信网络和语义分割网络,通过三个网络分支提取点云特征的相似矩阵、置信度矩阵和语义分割矩阵;聚类合并模块确定有效的分割实例组后,进行去噪去重操作,完成实例物体得分割。本发明可有效的对室内场景的点云数据进行实例分割,为场景理解提供了可参考的解决方法。
Description
技术领域
本发明涉及点云分割技术,特别涉及一种基于PointNet的点云实例分割方法及***。
背景技术
点云分割即根据空间、几何和纹理等特征将点云分为多个同质区域,使得同一划分内的点云拥有相似的特征,是许多应用的前提。点云分割分为两种:语义分割和实例分割,其中点云语义分割是给场景中的每个点打上语义标签,指出这个点是桌子还是椅子。而点云实例分割是在语义分割的基础上,把每个不同的物体分割出来,指出这个点是椅子1还是椅子2,是三维重建、场景理解和目标识别跟踪等各项任务处理的基础。目前,点云实例分割多通过对体素化三维数据进行卷积完成分割,由于进行了体素操作,处理的数据量大,时间和空间复杂度高,此外由于仅使用了部分几何结构信息,分割的准确率较低。
发明内容
本发明的目的在于提供一种基于PointNet的点云实例分割方法及***。
实现本发明目的的技术解决方案为:一种基于PointNet的点云实例分割方法,包括如下步骤:
步骤1、进行点云数据预处理,包括分块、采样、平移和归一化操作;
步骤2、训练PointNet神经网络,提取点云特征矩阵;
步骤3、训练相似网络、置信网络和语义分割网络,确定特征矩阵的相似矩阵、置信度矩阵和语义分割矩阵;
步骤4、根据相似网络和置信网络确定有效的分割实例组,去噪去重后得到完整的分割实例物体。
一种基于PointNet的点云实例分割***,包括:
点云数据预处理模块,用于分块、采样、平移和归一化操作;
PointNet神经网络训练模块,用于训练PointNet神经网络,提取点云特征矩阵;
矩阵计算模块,包括训练相似网络、置信网络和语义分割网络,用于提取点云特征的相似矩阵、置信度矩阵和语义分割矩阵;
聚类合并模块,用于确定有效的分割实例组,通过去噪去重操作完成实例物体得分割完成实例物体得分割。
本发明与现有技术相比,其显著优点为:在PointNet神经网络基础上设计了三个分支网络结构,通过训练网络获得每个点的实例标签,提高了点云实例分割的精度。
附图说明
图1为本发明基于PointNet的点云实例分割***的工作流程图。
图2为本发明数据处理模块的工作流程图。
图3为PointNet神经网络的结构示意图。
图4为本发明矩阵计算模块的工作流程图。
具体实施方式
下面结合附图和具体实施例,进一步说明本发明方案。
本发明在PointNet神经网络的基础上设计了三个分支网络结构,通过计算相应的属性矩阵获得每个点的实例标签,提高了点云实例分割的精度,包括数据处理模块、特征提取模块、矩阵计算模块和聚类合并模块,具体工作步骤如下:
步骤1、数据处理模块完成点云数据预处理,包括分块、采样、平移和归一化四个步骤,如2所示,具体流程如下:
首先将点云数据分成若干立方块,然后在每个块中随机采样,当块中点数大于设定阈值时,丢弃掉多出的点,点数小于设定阈值时,从块中随机挑点进行复制直到点数达到设定阈值,完成数据采样。点云数据是包括XYZ坐标值和RGB颜色值的6维向量,为了训练方便,以XYZ的最小坐标值的点为坐标原点,用公式(1)相应地计算其他点的坐标值,完成数据平移。为了提高分割精度,用公式(2)对XYZ进行归一化,增加3维新的坐标值xyz(0到1),用公式(3)对RGB进行归一化,得到归一化后的颜色值R′G′B′(0-1),最后输出处理后的9维点云数据。
X=X-Xmin,Y=Y-Ymin,Z=Z-Zmin (1)
步骤2、特征提取模块通过PointNet神经网络提取点云特征;
假设Np为点的个数,PointNet神经网络包括5层多层感知机(MLP),提取点云特征时,首先将Np×9维的点云数据输入PointNet网络,经过五层MLP和最大池化后,得到点云的全局特征矩阵;然后将全局特征与第三层MLP操作输出的局部特征拼接起来,接着经过第四、五两层MLP操作,得到最终的特征矩阵F。
以图3所示的PointNet神经网络为例,前三层感知机大小为64,第四层感知机大小为128,第五层感知机大小为1024,经过五层的MLP得到每个点的维度为1024的特征矩阵,对Np×1024特征矩阵采用最大池化操作,得到点云的全局特征。获取第三层MLP操作后的维度为64的局部特征,将全局特征和局部特征拼接起来得到Np×1088特征矩阵,接着经过两层的MLP得到Np×256的特征矩阵F。
步骤3、矩阵计算模块包括相似网络、置信网络和语义分割网络三个网络分支,根据提取的特征分别计算相似矩阵、置信度矩阵和语义分割矩阵。如图4所示,具体流程如下:
a、相似网络设计
特征矩阵F经过相似网络(一层128维的MLP)得到特征矩阵FSIM。相似矩阵(Similarity Matrix),简称为S,需要在特征矩阵FSIM的基础上进行计算。记点对{Pi,Pj}在特征矩阵FSIM中对应的特征向量为{FSIMi,FSIMj},则相似矩阵S中每个元素为:Sij=||FSIMi-FSIMj||2,表示点Pi和Pj在特征空间上的欧氏距离即特征相似度,距离越小特征相似度越高,当Sij小于设定阈值时,则认为点Pi和Pj在特征空间上有着高相似度,属于同一个候选的分割实例组。对于Np×256的特征矩阵F,相似矩阵的大小为Np×Np,每一行都可以看作是一个候选的分割实例组。
设计相似网络的损失函数LSIM,首先需要给点对{Pi,Pj}定义如下三种潜在的情况:
1、Pi和Pj属于同一实例类别;
2、Pi和Pj属于相同语义但不同实例类别;
3、Pi和Pj属于不同语义类别。
直观上,满足情况1的点对欧式距离应小于满足情况2的点对欧式距离;满足情况2的点对欧式距离应小于满足情况3的点对欧式距离。
受到Triplet损失函数的启发,基于相似矩阵设计如下Double-Triplet损失函数:
b、置信网络设计
特征矩阵F分别经过置信网络(一层128维和一层1维的MLP)得到特征矩阵FCM。置信度矩阵(Confidence Map),简称为CM,就是大小为Np×1的特征矩阵FCM,用来给每个候选的分割实例组一个置信度。置信度高于某个阈值时,则认为是有效的分割实例组,删减(Pruning)低于这个阈值的分割实例组。一般来说,两个不同分割实例的边界区域置信度很低,同一个分割实例的置信度较高。
设计置信网络的损失函数LCF,首先需要根据点云数据的真实标签类别获得与相似矩阵S相同大小的相似真值矩阵G,G是相似矩阵S的标签。每个元素Gij都用one-hot码表示,点Pi和Pj属于相同类别的记为1,不同类别记为0,如果点Pi是背景点,不属于任何物体,那么Gi那一行的值都为0。之后计算S和G之间的IoU(Intersection over Union)值得到置信度真值矩阵CF,同样地,CF是置信度矩阵CM的标签,每个元素CFi的计算公式如下:
其中,1{·}为指示函数。
损失函数LCF由置信度矩阵CM和置信度真值矩阵CF之间的L2损失计算得到,公式如下:
c、语义分割网络设计
特征矩阵F分别经过语义分割网络(一层128维和一层NC维的MLP)得到特征矩阵FSEM,NC为语义分割类别数。语义分割矩阵MSEM,就是大小为Np×NC的特征矩阵FSEM,语义分割矩阵中的每个元素表示点Pi属于语义类别Cj的概率。
语义分割网络的损失函数LSEM,通过计算语义分割矩阵中每行元素的交叉熵损失的加权和得到,如公式(7)所示:
ac(Cj)=medianfreq/freq(Cj) (8)
其中,1{·}为指示函数,yi是点Pi的语义类别。公式(8)中的ac(Cj)用来给损失函数加权,freq(Cj)表示属于类别Cj的总点数,medianfreq表示所有freq(Cj)的中位数。
网络训练时,优化整个***网络的损失函数和:L=LSIM+LCF+LSEM,输出损失函数和最小的网络结构。
步骤4、聚类合并模块将分割实例组合并成完整的实例物体。
一个分割实例组可以看成是若干点形成的一个聚类。相似矩阵产生的候选的分割实例组经过置信矩阵的删减后得到了若干有效的分割实例组。由于有效的分割实例组依然存在较多的噪声和重叠组,因此首先删除组内点数小于20的分割实例组,用来去除噪声,之后使用非极大值抑制的方法,得到没有重叠的分割实例组,完成将若干分割实例组合并成完整的实例物体。
非极大值抑制(Non-Maximum Suppression,NMS)首先将分割实例组根据置信度矩阵给出的置信度排序,并将所有的分割实例组添加到一张候选列表中。接着,从候选列表里选择置信度最高的分割实例组Gmax,并将其从候选列表中删除。最后,计算Gmax与候选列表中所有实例组的IoU,删除所有IoU大于0.6的实例组,将它们与Gmax合并。重复上述过程直到候选列表为空,将若干分割实例组合并成完整的实例物体。
本发明在PointNet神经网络基础上设计了三个分支网络结构,计算相应的属性矩阵,通过训练网络获得每个点的实例标签,提高了点云实例分割的精度。
实施例
为了验证本发明方案的有效性,以室内场景点云数据集S3DIS(Stanford 3DIndoor Semantic Dataset)作为实验数据,进行如下仿真实验,以预测每个点的实例标签。数据集包括6个场景271个房间的扫描数据,每一个点都标注了语义标签和实例标签,***具体工作步骤如下:
步骤1、点云数据预处理模块,进行分块、采样、平移和归一化四个操作。先将点云数据按照每个房间分成若干边长为1米的立方块,在每个块中随机采样4096个点,当块中点数大于4096时,丢弃掉多出的点,点数小于4096时,从块中随机挑点进行复制直到点数达到这个数值,完成采样;接着按照公式1-3完成数据的平移和归一化操作。
步骤2、PointNet神经网络模块,用于训练PointNet神经网络提取点云特征,得到4096×256的特征矩阵F。
步骤3、矩阵计算模块的三个分支网络中,将特征矩阵F输入到矩阵计算模块后,得到三个属性矩阵,三个分支网络具体如下:
a、相似网络设计
特征矩阵F经过一层128维的MLP得到的特征矩阵FSIM,大小为4096×128。相似矩阵S中的每个元素Sij小于10时,则认为点Pi和Pj属于同一个候选的分割实例组。相似矩阵大小为4096×4096,每一行都可以看作是一个候选的分割实例组。
b、置信网络设计
特征矩阵F分别经过一层128维和一层1维的MLP得到特征矩阵FCM。置信度矩阵CM,就是大小为4096×1的特征矩阵FCM,用来给每个候选的分割实例组一个置信度。置信度高于0.1时,则认为是有效的分割实例组,删减(Pruning)低于0.1的分割实例组。
c、语义分割网络设计
特征矩阵F分别经过一层128维和一层13维的MLP得到特征矩阵FSEM,13为语义分割类别数。语义分割矩阵MSEM,就是大小为4096×13的特征矩阵FSEM。
本发明通过Tensorflow训练整个***网络,包括步骤2的PointNet神经网络,以及步骤3的三个分支网络,方法为:
首先对基于相似网络设计的损失函数LSIM中涉及的三个参数:α、m1、m2进行初始化,设置α初始值为2,每训练5个周期(epoch)上升到原来的2倍,直到α等于10时停止上升,设置m1、m2分别为10和80。使用大小为32的batch训练网络,保留训练参数作为预训练模型对网络进行参数初始化。之后设置batch大小为4,并且采用带动量参数为0.9的ADAM算法优化整个***网络的损失函数L=LSIM+LCF+LSEM,使得损失降到网络的最小值。实验采取变化的学习率进行学习,初始化学习率为0.0001,每训练20个周期学习率下降到原来的0.5倍,直到学习率小于0.000001时停止下降。实验采用了早停止的策略,训练了200个周期。
步骤4、聚类合并模块,将分割实例组合删减、去噪、去重,分割完整的实例物体。
Claims (10)
1.一种基于PointNet的点云实例分割方法,其特征在于,包括如下步骤:
步骤1、进行点云数据预处理,包括分块、采样、平移和归一化操作;
步骤2、训练PointNet神经网络,提取点云特征矩阵;
步骤3、训练相似网络、置信网络和语义分割网络,确定特征矩阵的相似矩阵、置信度矩阵和语义分割矩阵;
步骤4、根据相似网络和置信网络确定有效的分割实例组,去噪去重后得到完整的分割实例物体。
2.根据权利要求1所述的基于PointNet的点云实例分割,其特征在于,步骤1中,点云数据预处理的具体方法为:
首先将点云数据分成若干立方块,然后在每个块中随机采样,当块中点数大于设定阈值时,丢弃掉多出的点,点数小于设定阈值时,从块中随机挑点进行复制直到点数达到设定阈值,完成数据采样;点云数据是包括XYZ坐标值和RGB颜色值的6维向量,为了训练方便,以XYZ的最小坐标值的点为坐标原点,用公式(1)相应地计算其他点的坐标值,完成数据平移;为了提高分割精度,用公式(2)对XYZ进行归一化,增加3维新的坐标值xyz(0到1),用公式(3)对RGB进行归一化,得到归一化后的颜色值R'G'B'(0-1),最后输出处理后的9维点云数据:
X=X-Xmin,Y=Y-Ymin,Z=Z-Zmin (1)
3.根据权利要求1所述的基于PointNet的点云实例分割,其特征在于,步骤2中,PointNet神经网络包括5层多层感知机(MLP),假设Np为点的个数,提取点云特征时,首先将Np×9维的点云数据输入PointNet网络,经过五层MLP和最大池化后,得到点云的全局特征矩阵;然后将全局特征与第三层MLP操作输出的局部特征拼接起来,接着经过第四、五两层MLP操作,得到最终的特征矩阵F。
4.根据权利要求1所述的基于PointNet的点云实例分割,其特征在于,步骤3中,三个网络具体为:
a、相似网络设计
特征矩阵F经过一层128维的MLP得到特征矩阵FSIM,相似矩阵S,需要在特征矩阵FSIM的基础上进行计算,记点对{Pi,Pj}在特征矩阵FSIM中对应的特征向量为{FSIMi,FSIMj},则相似矩阵S中每个元素为:Sij=||FSIMi-FSIMj||2,表示点Pi和Pj在特征空间上的欧氏距离即特征相似度,距离越小特征相似度越高,当Sij小于设定阈值时,则认为点Pi和Pj在特征空间上有着高相似度,属于同一个候选的分割实例组;
设计相似网络的损失函数LSIM,首先需要给点对{Pi,Pj}定义如下三种潜在的情况:
1、Pi和Pj属于同一实例类别;
2、Pi和Pj属于相同语义但不同实例类别;
3、Pi和Pj属于不同语义类别。
直观上,满足情况1的点对欧式距离应小于满足情况2的点对欧式距离;满足情况2的点对欧式距离应小于满足情况3的点对欧式距离;
受到Triplet损失函数的启发,基于相似矩阵设计如下Double-Triplet损失函数:
分别表示属于情况1、情况2和情况3的点对集合,[·]+表示函数max(0,·),α、m1、m2均是常量,α>1,m1>m2;
b、置信网络设计
特征矩阵F分别经过一层128维和一层1维的MLP得到特征矩阵FCM,置信度矩阵CM,就是大小为Np×1的特征矩阵FCM,用来给每个候选的分割实例组一个置信度,置信度高于某个阈值时,则认为是有效的分割实例组,删减低于这个阈值的分割实例组,一般来说,两个不同分割实例的边界区域置信度很低,同一个分割实例的置信度较高;
设计置信网络的损失函数LCF,首先需要根据点云数据的真实标签类别获得与相似矩阵S相同大小的相似真值矩阵G,G是相似矩阵S的标签;每个元素Gij都用one-hot码表示,点Pi和Pj属于相同类别的记为1,不同类别记为0,如果点Pi是背景点,不属于任何物体,那么Gi那一行的值都为0;之后计算S和G之间的IoU值得到置信度真值矩阵CF,同样地,CF是置信度矩阵CM的标签,每个元素CFi的计算公式如下:
其中,1{·}为指示函数。
损失函数LCF由置信度矩阵CM和置信度真值矩阵CF之间的L2损失计算得到,公式如下:
c、语义分割网络设计
特征矩阵F分别经过一层128维和一层NC维的MLP得到特征矩阵FSEM,NC为语义分割类别数,语义分割矩阵MSEM,就是大小为Np×NC的特征矩阵FSEM,语义分割矩阵中的每个元素表示点Pi属于语义类别Cj的概率;
语义分割网络的损失函数LSEM,通过计算语义分割矩阵中每行元素的交叉熵损失的加权和得到,如公式(7)所示:
ac(Cj)=medianfreq/freq(Cj) (8)
其中,1{·}为指示函数,yi是点Pi的语义类别,公式(8)中的ac(Cj)用来给损失函数加权,freq(Cj)表示属于类别Cj的总点数,medianfreq表示所有freq(Cj)的中位数;
网络训练时,优化整个***网络的损失函数和:L=LSIM+LCF+LSEM,输出损失函数和最小的网络结构。
5.根据权利要求1所述的基于PointNet的点云实例分割,其特征在于,步骤4中,将相似矩阵产生的候选的分割实例组经过置信矩阵的删减后得到了若干有效的分割实例组;由于有效的分割实例组依然存在较多的噪声和重叠组,因此首先删除组内点数小于20的分割实例组,用来去除噪声,之后使用非极大值抑制的方法,得到没有重叠的分割实例组,即得完整的分割实例物体。
6.一种基于PointNet的点云实例分割***,其特征在于,包括:
点云数据预处理模块,用于分块、采样、平移和归一化操作;
PointNet神经网络训练模块,用于训练PointNet神经网络,提取点云特征矩阵;
矩阵计算模块,包括训练相似网络、置信网络和语义分割网络,用于提取点云特征的相似矩阵、置信度矩阵和语义分割矩阵;
聚类合并模块,用于确定有效的分割实例组,通过去噪去重操作完成实例物体得分割完成实例物体得分割。
7.根据权利要求6所述的基于PointNet的点云实例分割***,其特征在于,点云数据预处理模块进行如下操作:
首先将点云数据分成若干立方块,然后在每个块中随机采样,当块中点数大于设定阈值时,丢弃掉多出的点,点数小于设定阈值时,从块中随机挑点进行复制直到点数达到设定阈值,完成数据采样;点云数据是包括XYZ坐标值和RGB颜色值的6维向量,为了训练方便,以XYZ的最小坐标值的点为坐标原点,用公式(1)相应地计算其他点的坐标值,完成数据平移;为了提高分割精度,用公式(2)对XYZ进行归一化,增加3维新的坐标值xyz(0到1),用公式(3)对RGB进行归一化,得到归一化后的颜色值R'G'B'(0-1),最后输出处理后的9维点云数据:
X=X-Xmin,Y=Y-Ymin,Z=Z-Zmin (1)
8.根据权利要求6所述的基于PointNet的点云实例分割***,其特征在于,PointNet神经网络训练模块训练的神经网络由5层多层感知机构成,假设Np为点的个数,提取点云特征时,首先将Np×9维的点云数据输入PointNet网络,经过五层MLP和最大池化后,得到点云的全局特征矩阵;然后将全局特征与第三层MLP操作输出的局部特征拼接起来,接着经过第四、五两层MLP操作,得到最终的特征矩阵F。
9.根据权利要求6所述的基于PointNet的点云实例分割***,其特征在于,矩阵计算模块的三个网络具体为:
a、相似网络设计
特征矩阵F经过一层128维的MLP得到特征矩阵FSIM,相似矩阵S,需要在特征矩阵FSIM的基础上进行计算,记点对{Pi,Pj}在特征矩阵FSIM中对应的特征向量为{FSIMi,FSIMj},则相似矩阵S中每个元素为:Sij=||FSIMi-FSIMj||2,表示点Pi和Pj在特征空间上的欧氏距离即特征相似度,距离越小特征相似度越高,当Sij小于设定阈值时,则认为点Pi和Pj在特征空间上有着高相似度,属于同一个候选的分割实例组;
设计相似网络的损失函数LSIM,首先需要给点对{Pi,Pj}定义如下三种潜在的情况:
1、Pi和Pj属于同一实例类别;
2、Pi和Pj属于相同语义但不同实例类别;
3、Pi和Pj属于不同语义类别。
直观上,满足情况1的点对欧式距离应小于满足情况2的点对欧式距离;满足情况2的点对欧式距离应小于满足情况3的点对欧式距离;
受到Triplet损失函数的启发,基于相似矩阵设计如下Double-Triplet损失函数:
分别表示属于情况1、情况2和情况3的点对集合,[·]+表示函数max(0,·),α、m1、m2均是常量,α>1,m1>m2;
b、置信网络设计
特征矩阵F分别经过一层128维和一层1维的MLP得到特征矩阵FCM,置信度矩阵CM,就是大小为Np×1的特征矩阵FCM,用来给每个候选的分割实例组一个置信度,置信度高于某个阈值时,则认为是有效的分割实例组,删减低于这个阈值的分割实例组,一般来说,两个不同分割实例的边界区域置信度很低,同一个分割实例的置信度较高;
设计置信网络的损失函数LCF,首先需要根据点云数据的真实标签类别获得与相似矩阵S相同大小的相似真值矩阵G,G是相似矩阵S的标签;每个元素Gij都用one-hot码表示,点Pi和Pj属于相同类别的记为1,不同类别记为0,如果点Pi是背景点,不属于任何物体,那么Gi那一行的值都为0;之后计算S和G之间的IoU值得到置信度真值矩阵CF,同样地,CF是置信度矩阵CM的标签,每个元素CFi的计算公式如下:
其中,1{·}为指示函数。
损失函数LCF由置信度矩阵CM和置信度真值矩阵CF之间的L2损失计算得到,公式如下:
c、语义分割网络设计
特征矩阵F分别经过一层128维和一层NC维的MLP得到特征矩阵FSEM,NC为语义分割类别数,语义分割矩阵MSEM,就是大小为Np×NC的特征矩阵FSEM,语义分割矩阵中的每个元素表示点Pi属于语义类别Cj的概率;
语义分割网络的损失函数LSEM,通过计算语义分割矩阵中每行元素的交叉熵损失的加权和得到,如公式(7)所示:
ac(Cj)=medianfreq/freq(Cj) (8)
其中,1{·}为指示函数,yi是点Pi的语义类别,公式(8)中的ac(Cj)用来给损失函数加权,freq(Cj)表示属于类别Cj的总点数,medianfreq表示所有freq(Cj)的中位数;
网络训练时,优化整个***网络的损失函数和:L=LSIM+LCF+LSEM,输出损失函数和最小的网络结构。
10.根据权利要求6所述的基于PointNet的点云实例分割***,其特征在于,聚类合并模块将相似矩阵产生的候选的分割实例组经过置信矩阵的删减后得到了若干有效的分割实例组;由于有效的分割实例组依然存在较多的噪声和重叠组,因此首先删除组内点数小于20的分割实例组,用来去除噪声,之后使用非极大值抑制的方法,得到没有重叠的分割实例组,即得完整的分割实例物体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910820019.3A CN110660062B (zh) | 2019-08-31 | 2019-08-31 | 一种基于PointNet的点云实例分割方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910820019.3A CN110660062B (zh) | 2019-08-31 | 2019-08-31 | 一种基于PointNet的点云实例分割方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110660062A true CN110660062A (zh) | 2020-01-07 |
CN110660062B CN110660062B (zh) | 2022-10-18 |
Family
ID=69036602
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910820019.3A Active CN110660062B (zh) | 2019-08-31 | 2019-08-31 | 一种基于PointNet的点云实例分割方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110660062B (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111260660A (zh) * | 2020-01-14 | 2020-06-09 | 电子科技大学 | 一种基于元学习的3d点云语义分割迁移方法 |
CN111489358A (zh) * | 2020-03-18 | 2020-08-04 | 华中科技大学 | 一种基于深度学习的三维点云语义分割方法 |
CN111583263A (zh) * | 2020-04-30 | 2020-08-25 | 北京工业大学 | 一种基于联合动态图卷积的点云分割方法 |
CN111753698A (zh) * | 2020-06-17 | 2020-10-09 | 东南大学 | 一种多模态三维点云分割***和方法 |
CN111881790A (zh) * | 2020-07-14 | 2020-11-03 | 武汉中海庭数据技术有限公司 | 一种高精度地图制作中道路人行横道自动化提取方法和装置 |
CN111968133A (zh) * | 2020-07-31 | 2020-11-20 | 上海交通大学 | 自动驾驶场景下的三维点云数据实例分割方法及*** |
CN112927248A (zh) * | 2021-03-23 | 2021-06-08 | 重庆邮电大学 | 一种基于局部特征增强和条件随机场的点云分割方法 |
CN113129311A (zh) * | 2021-03-10 | 2021-07-16 | 西北大学 | 一种标签优化点云实例分割方法 |
CN113379898A (zh) * | 2021-06-17 | 2021-09-10 | 西安理工大学 | 一种基于语义分割的三维室内场景重建方法 |
CN113420846A (zh) * | 2021-08-24 | 2021-09-21 | 天津云圣智能科技有限责任公司 | 点云分割方法、装置及终端设备 |
CN113850811A (zh) * | 2021-03-25 | 2021-12-28 | 北京大学 | 基于多尺度聚类和掩码打分的三维点云实例分割方法 |
CN114004934A (zh) * | 2021-11-02 | 2022-02-01 | 国网浙江省电力有限公司湖州供电公司 | 一种基于分组分批归一化的输电线路点云分类方法 |
CN114241226A (zh) * | 2021-12-07 | 2022-03-25 | 电子科技大学 | 一种基于混合模型多邻域特征的三维点云语义分割方法 |
CN114882224A (zh) * | 2022-06-06 | 2022-08-09 | 中国电建集团中南勘测设计研究院有限公司 | 模型结构、模型训练方法、单体化方法、设备及介质 |
CN115019048A (zh) * | 2022-07-08 | 2022-09-06 | 北京百度网讯科技有限公司 | 三维场景分割方法、模型训练方法、装置和电子设备 |
WO2022252274A1 (zh) * | 2021-05-31 | 2022-12-08 | 北京理工大学 | 基于PointNet网络点云分割及虚拟环境生成方法和装置 |
CN117876686A (zh) * | 2024-01-15 | 2024-04-12 | 广东科学技术职业学院 | 一种基于深度学习的点云全景分割方法及*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109523552A (zh) * | 2018-10-24 | 2019-03-26 | 青岛智能产业技术研究院 | 基于视锥点云的三维物体检测方法 |
US20190108639A1 (en) * | 2017-10-09 | 2019-04-11 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and Methods for Semantic Segmentation of 3D Point Clouds |
-
2019
- 2019-08-31 CN CN201910820019.3A patent/CN110660062B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190108639A1 (en) * | 2017-10-09 | 2019-04-11 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and Methods for Semantic Segmentation of 3D Point Clouds |
CN109523552A (zh) * | 2018-10-24 | 2019-03-26 | 青岛智能产业技术研究院 | 基于视锥点云的三维物体检测方法 |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111260660B (zh) * | 2020-01-14 | 2023-04-11 | 电子科技大学 | 一种基于元学习的3d点云语义分割迁移方法 |
CN111260660A (zh) * | 2020-01-14 | 2020-06-09 | 电子科技大学 | 一种基于元学习的3d点云语义分割迁移方法 |
CN111489358A (zh) * | 2020-03-18 | 2020-08-04 | 华中科技大学 | 一种基于深度学习的三维点云语义分割方法 |
CN111489358B (zh) * | 2020-03-18 | 2022-06-14 | 华中科技大学 | 一种基于深度学习的三维点云语义分割方法 |
CN111583263A (zh) * | 2020-04-30 | 2020-08-25 | 北京工业大学 | 一种基于联合动态图卷积的点云分割方法 |
CN111583263B (zh) * | 2020-04-30 | 2022-09-23 | 北京工业大学 | 一种基于联合动态图卷积的点云分割方法 |
CN111753698A (zh) * | 2020-06-17 | 2020-10-09 | 东南大学 | 一种多模态三维点云分割***和方法 |
CN111881790A (zh) * | 2020-07-14 | 2020-11-03 | 武汉中海庭数据技术有限公司 | 一种高精度地图制作中道路人行横道自动化提取方法和装置 |
CN111968133A (zh) * | 2020-07-31 | 2020-11-20 | 上海交通大学 | 自动驾驶场景下的三维点云数据实例分割方法及*** |
CN113129311A (zh) * | 2021-03-10 | 2021-07-16 | 西北大学 | 一种标签优化点云实例分割方法 |
CN113129311B (zh) * | 2021-03-10 | 2024-05-31 | 西北大学 | 一种标签优化点云实例分割方法 |
CN112927248A (zh) * | 2021-03-23 | 2021-06-08 | 重庆邮电大学 | 一种基于局部特征增强和条件随机场的点云分割方法 |
CN113850811A (zh) * | 2021-03-25 | 2021-12-28 | 北京大学 | 基于多尺度聚类和掩码打分的三维点云实例分割方法 |
CN113850811B (zh) * | 2021-03-25 | 2024-05-28 | 北京大学 | 基于多尺度聚类和掩码打分的三维点云实例分割方法 |
WO2022252274A1 (zh) * | 2021-05-31 | 2022-12-08 | 北京理工大学 | 基于PointNet网络点云分割及虚拟环境生成方法和装置 |
CN113379898B (zh) * | 2021-06-17 | 2022-11-11 | 西安理工大学 | 一种基于语义分割的三维室内场景重建方法 |
CN113379898A (zh) * | 2021-06-17 | 2021-09-10 | 西安理工大学 | 一种基于语义分割的三维室内场景重建方法 |
CN113420846A (zh) * | 2021-08-24 | 2021-09-21 | 天津云圣智能科技有限责任公司 | 点云分割方法、装置及终端设备 |
CN114004934A (zh) * | 2021-11-02 | 2022-02-01 | 国网浙江省电力有限公司湖州供电公司 | 一种基于分组分批归一化的输电线路点云分类方法 |
CN114241226A (zh) * | 2021-12-07 | 2022-03-25 | 电子科技大学 | 一种基于混合模型多邻域特征的三维点云语义分割方法 |
CN114882224A (zh) * | 2022-06-06 | 2022-08-09 | 中国电建集团中南勘测设计研究院有限公司 | 模型结构、模型训练方法、单体化方法、设备及介质 |
CN114882224B (zh) * | 2022-06-06 | 2024-04-05 | 中国电建集团中南勘测设计研究院有限公司 | 模型结构、模型训练方法、单体化方法、设备及介质 |
CN115019048A (zh) * | 2022-07-08 | 2022-09-06 | 北京百度网讯科技有限公司 | 三维场景分割方法、模型训练方法、装置和电子设备 |
CN117876686A (zh) * | 2024-01-15 | 2024-04-12 | 广东科学技术职业学院 | 一种基于深度学习的点云全景分割方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN110660062B (zh) | 2022-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110660062B (zh) | 一种基于PointNet的点云实例分割方法及*** | |
AU2019213369B2 (en) | Non-local memory network for semi-supervised video object segmentation | |
CN110321910B (zh) | 面向点云的特征提取方法、装置及设备 | |
CN112184752A (zh) | 一种基于金字塔卷积的视频目标跟踪方法 | |
CN111191583B (zh) | 基于卷积神经网络的空间目标识别***及方法 | |
CN111429460B (zh) | 图像分割方法、图像分割模型训练方法、装置和存储介质 | |
CN108921019B (zh) | 一种基于GEI和TripletLoss-DenseNet的步态识别方法 | |
CN108629288B (zh) | 一种手势识别模型训练方法、手势识别方法及*** | |
CN111340814A (zh) | 一种基于多模态自适应卷积的rgb-d图像语义分割方法 | |
CN109614874B (zh) | 一种基于注意力感知和树形骨架点结构的人体行为识别方法和*** | |
CN109508675B (zh) | 一种针对复杂场景的行人检测方法 | |
CN110008853B (zh) | 行人检测网络及模型训练方法、检测方法、介质、设备 | |
CN110175615B (zh) | 模型训练方法、域自适应的视觉位置识别方法及装置 | |
CN109919084B (zh) | 一种基于深度多索引哈希的行人重识别方法 | |
CN107679539B (zh) | 一种基于局部感知野的单卷积神经网络局部信息与全局信息整合方法 | |
CN112365511B (zh) | 基于重叠区域检索与对齐的点云分割方法 | |
CN109934272B (zh) | 一种基于全卷积网络的图像匹配方法 | |
CN113269224B (zh) | 一种场景图像分类方法、***及存储介质 | |
CN112101364B (zh) | 基于参数重要性增量学习的语义分割方法 | |
CN115035418A (zh) | 一种基于改进DeepLabV3+网络的遥感图像语义分割方法及*** | |
CN111353385B (zh) | 一种基于掩膜对齐与注意力机制的行人再识别方法和装置 | |
CN111915612A (zh) | 一种基于多编码器卷积神经网络的图像分割方法和*** | |
CN113850811B (zh) | 基于多尺度聚类和掩码打分的三维点云实例分割方法 | |
CN113256793A (zh) | 一种三维数据处理方法及*** | |
Wang et al. | Selective convolutional features based generalized-mean pooling for fine-grained image retrieval |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |