CN112418235A - 一种基于膨胀最近邻特征增强的点云语义分割方法 - Google Patents

一种基于膨胀最近邻特征增强的点云语义分割方法 Download PDF

Info

Publication number
CN112418235A
CN112418235A CN202011316437.8A CN202011316437A CN112418235A CN 112418235 A CN112418235 A CN 112418235A CN 202011316437 A CN202011316437 A CN 202011316437A CN 112418235 A CN112418235 A CN 112418235A
Authority
CN
China
Prior art keywords
point cloud
expansion
neighborhood
feature
nearest neighbor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011316437.8A
Other languages
English (en)
Other versions
CN112418235B (zh
Inventor
任清泉
李志勇
唐琎
郭璠
曾小沣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202011316437.8A priority Critical patent/CN112418235B/zh
Publication of CN112418235A publication Critical patent/CN112418235A/zh
Application granted granted Critical
Publication of CN112418235B publication Critical patent/CN112418235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于膨胀最近邻特征增强的点云语义分割方法，所提出的膨胀最近邻特征增强部分包含以下步骤：步骤A：设置需要提取的邻域点数目n以及设置膨胀因子d。步骤B:采用最近邻算法提取n*d的点云数目。步骤C：以膨胀因子d为步长提取步骤B所得到的邻域点云，从而得到数目为n的邻域点云，这n个邻域点云称为膨胀邻域。步骤D：中心点云特征与步骤C得到的邻域点云特征进行特征融合，从而使得单个点云信息包含大规模局部区域结构特征。最后得到每一个点云的增强特征后进行点云语义分割。本发明利用三维膨胀最近邻模块对全部原始点云做特征增强操作，提升了点云感受野的大小，进而提升分割的精度。

Description

一种基于膨胀最近邻特征增强的点云语义分割方法
技术领域
本发明涉及点云分割技术，特别涉及一种点云语义分割方法。
背景技术
场景语义理解是计算机视觉中的核心问题，对于诸如机器人技术，自动驾驶，增强现实等应用程序来说是基础。在各种场景语义理解问题中，三维语义分割允许在三维空间中找到准确的对象边界及其标签，这对于诸如自动驾驶任务处理，详细的场景语义建模之类的细粒度任务十分有用。目前的三维语义分割技术中特征增强模块仅利用普通的最近邻操作选取有限的局部点结构信息进行增强，而忽略了更大范围的区域结构信息，导致每一个三维点的感受野受到限制。而在二维图像邻域中，膨胀卷积的有效增强感受野大小的作用受到广泛的推崇，促进了图像语义理解邻域的进一步发展。因此，在三维语义分割方面亟需设计一种如同二维图像领域中膨胀卷积的操作，增强每一个三维点的感受野大小，从而进一步提高分割的精度。
发明内容
鉴于上述的分析，本发明根据二维图像领域中膨胀卷积提出针对于三维点云的膨胀最近邻特征增强操作，以跳跃时的方式选取邻居点，从而使得中心点的感受野大幅度提高，并且在后续中心点与邻居点融合的过程中，以梯度下降学习的方式筛选合适的邻居点，从而提升语义分割的整体精度。因此，本发明旨在提供一种基于膨胀最近邻特征增强的点云语义分割方法，用于解决点云在提取局部结构特征信息时感受野大小受到限制从而影响分割精度的问题。
本发明所采用的技术方案如下：
一种基于膨胀最近邻特征增强的点云语义分割方法，该方法包括膨胀最近邻特征增强和编码器-解码器语义分割两个部分，其中膨胀最近邻特征增强部分对单个点云特征进行局部结构特征增强，从而生成携带局部信息的点云特征输入到编码器-解码器语义分割部分进行分割。
膨胀最近邻特征增强部分包含以下步骤：
步骤A：设置需要提取的邻域点数目n以及设置膨胀因子d；
步骤B：采用最近邻算法提取n*d的点云数目；
步骤C：以膨胀因子d为步长提取步骤B所得到的邻域点云，从而得到数目为n的邻域点云；
步骤D：中心点云特征与步骤C得到的邻域点云特征进行特征融合，从而使得单个点云信息包含大规模局部区域结构特征；
编码器-解码器语义分割部分采用编码器-解码器框架进行点云语义分割的训练。
所述步骤A的具体处理过程如下：
在神经网络模型训练之前给定领域点数目n以及膨胀因子d的具体数值。
所述步骤B的具体处理过程如下：
采用最近邻算法提取n*d的点云数目，其中，n为步骤A所设置的邻域点数目，d为步骤A所设置的膨胀因子，最近邻算法采用欧式距离作为距离评价指标。
所述步骤C的具体处理过程如下：
根据步骤A所设置的膨胀因子d的具体数据作为步长，选取所得到的n*d的邻域点云集合中的n个邻域点云，这n个邻域点云称为膨胀邻域。
所述步骤D的具体处理过程如下：
1)膨胀邻域特征生成
对于输出点云集合中的任意一点i，用上述步骤A、步骤B、步骤C得到膨胀邻域，膨胀邻域内拥有n个i点的邻居点，依次将这n个邻居点的初始特征拼接到一起，组成一个新的特征Ri，Ri维度为(1，n*c)，其中n为步骤A所设置的邻域点数目，c为每一个三维点的特征数目。
2)原始特征与膨胀邻域点云特征进行融合
本发明对原始特征与膨胀邻域特征融合包含四个步骤，分别是(i)原始点云特征升维(ii)原始点云特征与膨胀邻域点云特征进行信息交互(iii)膨胀邻域点云特征与原始点云特征信息交互(iv)拼接融合所得的特征。所述具体步骤如下：
(i)原始点云特征升维
采用全连接层对原始点云特征进行升维，全连接层的输入维度为c，输出维度为n*c，保证与后续融合的模块维度一致，升维后的原始点云特征记为
Figure BDA0002789357690000021
(ii)原始点云特征与膨胀邻域点云特征信息交互
采用多层感知机对Ri做非线性变换，计算公式如下：
gi＝σ(wiRi+bi)(1)
其中wi的维度为(n*c，n*c)，bi的维度为(1,n*c)，σ函数为sigmoid函数，该函数输出值范围为0到1，代表某一个膨胀邻域特征的重要性。然后，利用点乘操作求解结果，计算公式如下：
Figure BDA0002789357690000031
其中
Figure BDA0002789357690000032
为(i)所得的原始点云特征升维结果，gi为Ri非线性变换结果，
Figure BDA0002789357690000033
为点乘符号，所得结果
Figure BDA0002789357690000034
即为原始点云特征与膨胀邻域点云特征信息交互后的结果。
(iii)膨胀邻域点云特征与原始点云特征信息交互
采用多层感知机对
Figure BDA0002789357690000035
做非线性变换，计算公式如下：
Figure BDA0002789357690000036
其中
Figure BDA0002789357690000037
的维度为(n*c，n*c)，
Figure BDA0002789357690000038
的维度为(1,n*c)，σ函数为sigmoid函数，该函数输出值范围为0到1，代表一个原始点云某一个升维后特征的重要性。然后，利用点乘操作求解结果，计算公式如下：
Figure BDA0002789357690000039
其中Ri为膨胀邻域点云特征拼接在一起所得的特征，hi为
Figure BDA00027893576900000310
非线性变换结果，
Figure BDA00027893576900000311
为点乘符号，所得结果
Figure BDA00027893576900000312
即为膨胀邻域点云特征与原始点云特征信息交互后的结果。
(iv)拼接融合所得的特征
将(ii)所得结果
Figure BDA00027893576900000313
与(iii)所得结果
Figure BDA00027893576900000314
拼接在一起，计算公式如下：
Figure BDA00027893576900000315
计算所得pi即为原始点云特征与膨胀邻域特征融合所得的增强特征。
编码器-解码器语义分割部分的具体处理过程如下：
采用PointConv点云卷积操作作为编码器，一共设置四个编码器模块，采用最远点采样算法减少每一个编码器模块的处理点云数目，同时增大特征的数目，相对应的采用三近邻插值以及PointConv点云卷积操作作为解码器，一共设置四个解码器模块，在每一层解码器模块中恢复之前减少的点云数目同时减少特征层数目。最后利用两层全连接层将每一个点云的输出映射为类别数，采用softmax作为全连接层的激活函数，得到分割结果为softmax函数输出最大的值所对应的类别。训练过程中采用交叉熵作为损失函数，初始学习率设置为0.01，采用余弦退火算法调增学习率大小，具体做法为，以余弦函数为周期，学习率呈余弦函数型衰减。并在每个周期最大值时重新设置学习率。以初始学习率为最大学习率，以2*Tmax为周期，其中，Tmax为一次学习率周期的迭代次数。
有益效果
本发明公开了一种一种基于膨胀最近邻特征增强的点云语义分割方法，该方法包含以下步骤：步骤A：设置需要提取的邻域点数目n以及设置膨胀因子d。步骤B:采用最近邻算法提取n*d的点云数目。步骤C：以膨胀因子d为步长提取步骤B所得到的邻域点云，从而得到数目为n的邻域点云，这n个邻域点云称为膨胀邻域。步骤D：中心点云特征与步骤C得到的邻域点云特征进行特征融合，从而使得单个点云信息包含大规模局部区域结构特征。步骤E：采用编码器-解码器框架进行点云语义分割的训练。该方法提出膨胀最近邻特征增强模块提升点云的感受野大小，进而提升了点云语义分割的精度。
附图说明
图1为整体操作示意图；
图2为膨胀最近邻操作示意图；
图3为中心点特征与邻域点特征融合操作示意图；
图4为S3DIS数据集单个房间的外部分割效果图；
图5为S3DIS数据集单个房间的内部分割效果图。
具体实施方式
下面结合附图与具体实施方式对本发明做进一步说明：
实施例：
本实施例针对室内场景点云数据集S3DIS(Stanford 3D Indoor SemanticDataset)，数据集包括6个场景，一共271个房间的扫描点云数据，本实施例采用场景五作为测试数据以评估算法的优越性，其他场景作为训练数据以训练模型参数。整体实施操作如图1所示，***工作按如下步骤进行：
步骤A：在神经网络模型训练之前给定领域点数目n以及膨胀因子d的具体数值；本实例中设置n为20，d为8。
步骤B：采用最近邻算法提取n*d的点云数目，其中，n为步骤A所设置的邻域点数目，d为步骤A所设置的膨胀因子，其中，本实施列中n为20，d为8，一共提取160个邻域点云，最近邻算法采用欧式距离作为距离评价指标。
步骤C：根据步骤A所设置的膨胀因子d的具体数据作为步长，选取所得到的n*d的邻域点云集合中的n个领域点云，这n个邻域点云称为膨胀邻域，本实施例中n为20，d为8，在步骤B所求得的160个邻域点云中以8为步长提取20个三维点作为膨胀邻域点云，示意图如图2所示。
步骤D：中心点云特征与步骤C得到的邻域点云特征进行特征融合，从而使得单个点云信息包含大规模局部区域结构特征，示意图如图3所示，其中，实线表示该点被选择作为中心点的邻域点，虚线表示跳过该邻域点，步骤D的具体实施步骤如下：
1)膨胀邻域特征生成
对于输出点云集合中的任意一点i，用上述步骤A、步骤B、步骤C得到膨胀邻域，膨胀邻域内拥有n个i点的邻居点，依次将这n个邻居点的初始特征拼接到一起，组成一个新的特征Ri，Ri维度为(1，n*c)，其中n为步骤A所设置的邻域点数目，c为每一个三维点的特征数目。
2)原始特征与膨胀邻域点云特征进行融合
本发明对原始特征与膨胀邻域特征融合包含四个步骤，分别是(i)原始点云特征升维(ii)原始点云特征与膨胀邻域点云特征进行信息交互(iii)膨胀邻域点云特征与原始点云特征信息交互(iv)拼接融合所得的特征。所述具体步骤如下：
(i)原始点云特征升维
采用全连接层对原始点云特征进行升维，全连接层的输入维度为c，输出维度为n*c，保证与后续融合的模块维度一致，升维后的原始点云特征记为
Figure BDA0002789357690000051
(ii)原始点云特征与膨胀邻域点云特征信息交互
采用多层感知机对Ri做非线性变换，计算公式如下：
gi＝σ(wiRi+bi) (1)
其中wi的维度为(n*c，n*c)，bi的维度为(1,n*c)，σ函数为sigmoid函数，该函数输出值范围为0到1，代表某一个膨胀邻域特征的重要性。然后，利用点乘操作求解结果，计算公式如下：
Figure BDA0002789357690000052
其中
Figure BDA0002789357690000053
为(i)所得的原始点云特征升维结果，gi为Ri非线性变换结果，
Figure BDA0002789357690000054
为点乘符号，所得结果
Figure BDA0002789357690000055
即为原始点云特征与膨胀邻域点云特征信息交互后的结果。
(iii)膨胀邻域点云特征与原始点云特征信息交互
采用多层感知机对
Figure BDA0002789357690000056
做非线性变换，计算公式如下：
Figure BDA0002789357690000057
其中
Figure BDA0002789357690000058
的维度为(n*c，n*c)，
Figure BDA0002789357690000059
的维度为(1,n*c)，σ函数为sigmoid函数，该函数输出值范围为0到1，代表一个原始点云某一个升维后特征的重要性。然后，利用点乘操作求解结果，计算公式如下：
Figure BDA0002789357690000061
其中Ri为膨胀邻域点云特征拼接在一起所得的特征，hi为
Figure BDA0002789357690000062
非线性变换结果，
Figure BDA0002789357690000063
为点乘符号，所得结果
Figure BDA0002789357690000064
即为膨胀邻域点云特征与原始点云特征信息交互后的结果。
(iv)拼接融合所得的特征
将(ii)所得结果
Figure BDA0002789357690000065
与(iii)所得结果
Figure BDA0002789357690000066
拼接在一起，计算公式如下：
Figure BDA0002789357690000067
计算所得pi即为原始点云特征与膨胀邻域特征融合所得的增强特征。
步骤E：采用PointConv点云卷积操作作为编码器，一共设置四个编码器模块，采用最远点采样算法减少每一个编码器模块的处理点云数目，同时增大特征的数目，相对应的采用三近邻插值以及PointConv点云卷积操作作为解码器，一共设置四个解码器模块，在每一层解码器模块中恢复之前减少的点云数目同时减少特征层数目。最后利用两层全连接层将每一个点云的输出映射为类别数，采用softmax作为全连接层的激活函数，得到分割结果为softmax函数输出最大的值所对应的类别。训练过程中采用交叉熵作为损失函数，初始学习率设置为0.01，采用余弦退火算法调增学习率大小，具体做法为，以余弦函数为周期，学习率呈余弦函数型衰减。并在每个周期最大值时重新设置学习率。以初始学习率为最大学习率，以2*Tmax为周期，其中，Tmax为一次学习率周期的迭代次数。本实例中，设置Tmax为2。本实例采用S3DIS数据集中第五个场景数据作为验证数据，分割得到可视化结果图如图4、图5所示，采用均值交并比(mIoU)以及整体精度(Overall Accuracy)作为评价指标，得到其语义分割结果，如表1所示：
表1 S3DIS数据集第五个场景点云数据语义分割结果
Figure BDA0002789357690000068
可以从表中看出，经过我们所提出的膨胀膨胀最近邻特征增强后，单个点云的感受野大幅提升，因此提高了整体语义分割的均值交并比(mIoU)以及整体精度(OverallAccuracy)指标。
需要说明的是，以上公开的仅为本发明的具体实例，根据本发明提供的思想，本领域的技术人员能思及的变化，都应落入本发明的保护范围内。

Claims (7)

1.一种基于膨胀最近邻特征增强的点云语义分割方法，包含膨胀最近邻特征增强和编码器-解码器语义分割两个部分，其中膨胀最近邻特征增强部分对单个点云特征进行局部结构特征增强，从而生成携带局部信息的点云特征输入到编码器-解码器语义分割部分进行分割。
2.根据权利要求1所述的基于膨胀最近邻特征增强部分，其特征在于，该部分包括以下步骤：
步骤A：设置需要提取的邻域点数目n以及设置膨胀因子d；
步骤B：采用最近邻算法提取n*d的点云数目；
步骤C：以膨胀因子d为步长提取步骤B所得到的邻域点云，从而得到数目为n的邻域点云；
步骤D：中心点云特征与步骤C得到的邻域点云特征进行特征融合，从而使得单个点云信息包含大规模局部区域结构特征。
3.根据权利要求2所述的基于膨胀最近邻特征增强部分，其特征在于，所述步骤A的具体处理过程如下：
在神经网络模型训练之前给定邻域点数目n以及膨胀因子d的具体数值，其中邻域点数目n代表在进行膨胀最近邻特征增强中选择多少个邻居点，膨胀因子d为选择邻居点的步长。
4.根据权利要求2所述的基于膨胀最近邻特征增强部分，其特征在于，所述步骤B的具体处理过程如下：
采用最近邻算法提取n*d的点云数目，其中，n为步骤A所设置的邻域点数目，d为步骤A所设置的膨胀因子，最近邻算法采用欧式距离作为距离评价指标。
5.根据权利要求2所述的基于膨胀最近邻特征增强部分，其特征在于，所述步骤C的具体处理过程如下：
根据步骤A所设置的膨胀因子d的具体数据作为步长，选取所得到的n*d的邻域点云集合中的n个领域点云，这n个邻域点云称为膨胀邻域。
6.根据权利要求2所述的基于膨胀最近邻特征增强部分，其特征在于，所述步骤D的具体处理过程如下：
1)膨胀邻域特征生成
对于输出点云集合中的任意一点i，用上述步骤A、步骤B、步骤C得到膨胀邻域，膨胀邻域内拥有n个i点的邻居点，依次将这n个邻居点的初始特征拼接到一起，组成一个新的特征Ri，Ri维度为(1，n*c)，其中n为步骤A所设置的邻域点数目，c为每一个三维点的特征数目；
2)原始特征与膨胀邻域点云特征进行融合
本发明对原始特征与膨胀邻域特征融合包含四个步骤，分别是(i)原始点云特征升维(ii)原始点云特征与膨胀邻域点云特征进行信息交互(iii)膨胀邻域点云特征与原始点云特征信息交互(iv)拼接融合所得的特征；所述具体步骤如下：
(i)原始点云特征升维
采用全连接层对原始点云特征进行升维，全连接层的输入维度为c，输出维度为n*c，保证与后续融合的模块维度一致，升维后的原始点云特征记为
Figure FDA0002789357680000021
(ii)原始点云特征与膨胀邻域点云特征信息交互
采用多层感知机对Ri做非线性变换，计算公式如下：
gi＝σ(wiRi+bi) (1)
其中wi的维度为(n*c，n*c)，bi的维度为(1,n*c)，σ函数为sigmoid函数，该函数输出值范围为0到1，代表某一个膨胀邻域特征的重要性；然后，利用点乘操作求解结果，计算公式如下：
Figure FDA0002789357680000022
其中
Figure FDA0002789357680000023
为(i)所得的原始点云特征升维结果，gi为Ri非线性变换结果，
Figure FDA0002789357680000024
为点乘符号，所得结果
Figure FDA0002789357680000025
即为原始点云特征与膨胀邻域点云特征信息交互后的结果；
(iii)膨胀邻域点云特征与原始点云特征信息交互
采用多层感知机对
Figure FDA0002789357680000026
做非线性变换，计算公式如下：
Figure FDA0002789357680000027
其中
Figure FDA0002789357680000028
的维度为(n*c，n*c)，
Figure FDA0002789357680000029
的维度为(1,n*c)，σ函数为sigmoid函数，该函数输出值范围为0到1，代表一个原始点云某一个升维后特征的重要性；然后，利用点乘操作求解结果，计算公式如下：
Figure FDA00027893576800000210
其中Ri为膨胀邻域点云特征拼接在一起所得的特征，hi为
Figure FDA00027893576800000211
非线性变换结果，
Figure FDA00027893576800000212
为点乘符号，所得结果
Figure FDA00027893576800000213
即为膨胀邻域点云特征与原始点云特征信息交互后的结果；
(iv)拼接融合所得的特征
将(ii)所得结果
Figure FDA00027893576800000214
与(iii)所得结果
Figure FDA00027893576800000215
拼接在一起，计算公式如下：
Figure FDA00027893576800000216
计算所得pi即为原始点云特征与膨胀邻域特征融合所得的增强特征。
7.根据权利要求1所述的编码器-解码器语义分割部分，其特征在于，具体处理过程如下：
采用PointConv点云卷积操作作为编码器，一共设置四个编码器模块，采用最远点采样算法减少每一个编码器模块的处理点云数目，同时增大特征的数目，相对应的采用三近邻插值以及PointConv点云卷积操作作为解码器，一共设置四个解码器模块，在每一层解码器模块中恢复之前减少的点云数目同时减少特征层数目；最后利用两层全连接层将每一个点云的输出映射为类别数，采用softmax作为全连接层的激活函数，得到分割结果为softmax函数输出最大的值所对应的类别；训练过程中采用交叉熵作为损失函数，初始学习率设置为0.01，采用余弦退火算法调增学习率大小，具体做法为，以余弦函数为周期，学习率呈余弦函数型衰减，并在每个周期最大值时重新设置学习率；以初始学习率为最大学习率，以2*Tmax为周期，其中，Tmax为一次学习率周期的迭代次数。
CN202011316437.8A 2020-11-20 2020-11-20 一种基于膨胀最近邻特征增强的点云语义分割方法 Active CN112418235B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011316437.8A CN112418235B (zh) 2020-11-20 2020-11-20 一种基于膨胀最近邻特征增强的点云语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011316437.8A CN112418235B (zh) 2020-11-20 2020-11-20 一种基于膨胀最近邻特征增强的点云语义分割方法

Publications (2)

Publication Number Publication Date
CN112418235A true CN112418235A (zh) 2021-02-26
CN112418235B CN112418235B (zh) 2023-05-30

Family

ID=74777178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011316437.8A Active CN112418235B (zh) 2020-11-20 2020-11-20 一种基于膨胀最近邻特征增强的点云语义分割方法

Country Status (1)

Country Link
CN (1) CN112418235B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269791A (zh) * 2021-04-26 2021-08-17 西安交通大学 一种基于边缘判定与区域生长的点云分割方法
CN113486963A (zh) * 2021-07-12 2021-10-08 厦门大学 一种密度自适应的点云端到端采样方法
CN116468892A (zh) * 2023-04-24 2023-07-21 北京中科睿途科技有限公司 三维点云的语义分割方法、装置、电子设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102520401A (zh) * 2011-12-21 2012-06-27 南京大学 一种基于LiDAR数据的建筑物区域提取方法
CN109325993A (zh) * 2018-08-10 2019-02-12 华北电力大学（保定） 一种基于类八叉树索引的显著性特征强化采样方法
CN110223298A (zh) * 2019-05-27 2019-09-10 东南大学 基于点云局部结构的语义分割改进算法
CN111027559A (zh) * 2019-10-31 2020-04-17 湖南大学 一种基于扩张点卷积空间金字塔池化的点云语义分割方法
US10650278B1 (en) * 2017-07-21 2020-05-12 Apple Inc. Semantic labeling of point clouds using images
CN111489358A (zh) * 2020-03-18 2020-08-04 华中科技大学 一种基于深度学习的三维点云语义分割方法
WO2020173297A1 (zh) * 2019-02-25 2020-09-03 腾讯科技（深圳）有限公司 点云分割方法、计算机可读存储介质和计算机设备
WO2020215236A1 (zh) * 2019-04-24 2020-10-29 哈尔滨工业大学（深圳） 图像语义分割方法和***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102520401A (zh) * 2011-12-21 2012-06-27 南京大学 一种基于LiDAR数据的建筑物区域提取方法
US10650278B1 (en) * 2017-07-21 2020-05-12 Apple Inc. Semantic labeling of point clouds using images
CN109325993A (zh) * 2018-08-10 2019-02-12 华北电力大学（保定） 一种基于类八叉树索引的显著性特征强化采样方法
WO2020173297A1 (zh) * 2019-02-25 2020-09-03 腾讯科技（深圳）有限公司 点云分割方法、计算机可读存储介质和计算机设备
WO2020215236A1 (zh) * 2019-04-24 2020-10-29 哈尔滨工业大学（深圳） 图像语义分割方法和***
CN110223298A (zh) * 2019-05-27 2019-09-10 东南大学 基于点云局部结构的语义分割改进算法
CN111027559A (zh) * 2019-10-31 2020-04-17 湖南大学 一种基于扩张点卷积空间金字塔池化的点云语义分割方法
CN111489358A (zh) * 2020-03-18 2020-08-04 华中科技大学 一种基于深度学习的三维点云语义分割方法

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
FRANCIS ENGELMANN: "Dilated Point Convolutions: On the Receptive Field of Point Convolutions", 《ARXIV》 *
LI YANGYAN: "PointCNN:Convolution On X-Transformed Points", 《32ND CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS(NIPS)》 *
LIN YIQUN: "FPConv:Learning Local Flatting for Point Convolution", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION(CVPR)》 *
LOIC LANDRIEU: "Large-scale Point Cloud Semantic Segmentation with Superpoint Graphs", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
R.QI CHARLES: "PointNet:Deep Learning on Point Sets for 3D Classification and Segmentation", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION(CVPR)》 *
WENXUAN WU: "PointConv:Deep Convolutional Networks on 3D Point Clouds", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION(CVPR)》 *
景庄伟: "基于深度学习的点云语义分割研究综述", 《计算机科学与探索》 *
杨军;党吉圣;: "基于上下文注意力CNN的三维点云语义分割", 通信学报 *
顾军华: "基于点云数据的分割方法综述", 《燕山大学学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269791A (zh) * 2021-04-26 2021-08-17 西安交通大学 一种基于边缘判定与区域生长的点云分割方法
CN113486963A (zh) * 2021-07-12 2021-10-08 厦门大学 一种密度自适应的点云端到端采样方法
CN113486963B (zh) * 2021-07-12 2023-07-07 厦门大学 一种密度自适应的点云端到端采样方法
CN116468892A (zh) * 2023-04-24 2023-07-21 北京中科睿途科技有限公司 三维点云的语义分割方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN112418235B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN111489358B (zh) 一种基于深度学习的三维点云语义分割方法
CN111539887B (zh) 一种基于混合卷积的通道注意力机制和分层学习的神经网络图像去雾方法
CN112418235A (zh) 一种基于膨胀最近邻特征增强的点云语义分割方法
CN112819833B (zh) 一种大场景点云语义分割方法
CN110728219A (zh) 基于多列多尺度图卷积神经网络的3d人脸生成方法
CN112633330A (zh) 点云分割方法、***、介质、计算机设备、终端及应用
CN112464912B (zh) 基于YOLO-RGGNet的机器人端人脸检测方法
CN113870335A (zh) 一种基于多尺度特征融合的单目深度估计方法
CN113255457A (zh) 基于人脸表情识别的动画角色面部表情生成方法及***
CN113240683B (zh) 基于注意力机制的轻量化语义分割模型构建方法
CN111652273A (zh) 一种基于深度学习的rgb-d图像分类方法
CN113283336A (zh) 一种文本识别方法与***
CN110633706B (zh) 一种基于金字塔网络的语义分割方法
CN113822232B (zh) 一种基于金字塔注意力的场景识别方法、训练方法及装置
CN115908793A (zh) 一种基于位置注意力机制的编解码结构语义分割模型
CN113436224A (zh) 一种基于显式构图规则建模的智能图像裁剪方法及装置
CN116934972A (zh) 一种基于双流网络的三维人体重建方法
CN116844004A (zh) 一种面向数字孪生场景的点云自动语义化建模方法
CN116485892A (zh) 一种弱纹理物体的六自由度位姿估计方法
CN116433904A (zh) 一种基于形状感知和像素卷积的跨模态rgb-d语义分割方法
CN114155560B (zh) 基于空间降维的高分辨率人体姿态估计模型的轻量化方法
Si et al. Image semantic segmentation based on improved DeepLab V3 model
CN115497085A (zh) 基于多分辨率双特征折叠的点云补全方法及***
CN112732943B (zh) 一种基于强化学习的中文字库自动生成方法及***
CN114549958A (zh) 基于上下文信息感知机理的夜间和伪装目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Li Zhiyong

Inventor after: Ren Qingquan

Inventor after: Tang Jin

Inventor after: Guo Fan

Inventor after: Zeng Xiaofeng

Inventor before: Ren Qingquan

Inventor before: Li Zhiyong

Inventor before: Tang Jin

Inventor before: Guo Fan

Inventor before: Zeng Xiaofeng

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant