CN117876686A - 一种基于深度学习的点云全景分割方法及*** - Google Patents
一种基于深度学习的点云全景分割方法及*** Download PDFInfo
- Publication number
- CN117876686A CN117876686A CN202410051513.9A CN202410051513A CN117876686A CN 117876686 A CN117876686 A CN 117876686A CN 202410051513 A CN202410051513 A CN 202410051513A CN 117876686 A CN117876686 A CN 117876686A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- point cloud
- module
- semantic
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 149
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000013135 deep learning Methods 0.000 title claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 53
- 230000002708 enhancing effect Effects 0.000 claims abstract description 11
- 238000005070 sampling Methods 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 19
- 230000004927 fusion Effects 0.000 claims description 14
- 230000002776 aggregation Effects 0.000 claims description 8
- 238000004220 aggregation Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 239000013598 vector Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的点云全景分割方法及***，应用于点云数据处理技术领域。包括以下步骤：采集目标场景的点云数据；通过数据增强模块对进行点云数据进行增强；分别将增强后的点云数据输入语义特征提取模块和实例特征提取模块提取对应的特征；分别通过输入语义分割模块和实例分割模块对提取的特征进行语义分割和实例分割；融合语义分割结果和实例分割结果，得到全景分割结果。本发明通过对输入点云数据进行随机采样处理，在不丢失特征的前提下完成大规模场景的点云数据全景分割，保证了分割结果的准确率。
Description
技术领域
本发明涉及点云数据处理技术领域，更具体的说是涉及一种基于深度学习的点云全景分割方法及***。
背景技术
在计算机视觉领域，语义分割和实例分割是两个非常重要的任务，语义分割为图像中的每个像素分配一个语义类别标签，从而将图像划分为不同的语义区域，而实例分割将同一类物体中的不同实例进行区分，为每个属于同一类的物体实例分配一个唯一的标识符。全景分割是语义分割和实例分割融合的结果，能够同时为一个像素分配其所述类别和所述实例物体。全景分割在智能城市、医疗保健、计算机视觉以及遥感应用等不同研究领域发挥着重要作用。用于图像的全景分割算法已经十分成熟，除了图像之外，对于三维点云数据的全景分割也十分重要，尤其是在自动驾驶等领域，相较于二维图像，三维点云数据能够反映复杂场景的空间信息，对于复杂空间场景识别的帮助更大，然而，三维点云数据同时也具有无序性、无结构性等特点，传统的图像全景分割算法并不能够直接应用于三维点云数据。因此，如何提供一种基于深度学习的点云全景分割方法及***是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于深度学习的点云全景分割方法及***，直接对点云数据进行语义分割和全景分割，将分割结果融合后得到全景分割结果，能够适用于大规模场景的点云全景分割，分割结果准确率高。
为了实现上述目的，本发明提供如下技术方案：
一种基于深度学习的点云全景分割方法，包括以下步骤：
S1、采集目标场景的点云数据；
S2、通过数据增强模块对进行点云数据进行增强；
S3、分别将增强后的点云数据输入语义特征提取模块和实例特征提取模块提取对应的特征；
S4、分别通过输入语义分割模块和实例分割模块对提取的特征进行语义分割和实例分割；
S5、融合语义分割结果和实例分割结果，得到全景分割结果。
可选的，S2中的数据增强模块将点云中每个点在一定半径范围内的其他领域点的原始特征聚集，得到该点的上下文特征，将该点的上下文特征与原始特征融合，得到该点的增强特征，其中，原始特征包括点的坐标、颜色和法线。
可选的，语义特征提取模块包括下采样单元、特征聚合单元、上采样单元和特征提取单元；下采样单元通过随机采样减少输入点云的数量，特征聚合单元增加点云的特征维数，上采样单元通过最近邻插值对点特征集进行上采样得到上采样特征，特征提取单元将上采样特征拼接得到语义特征。
可选的，S4中的语义分割模块对所有点云数据的语义特征进行分类，得到语义分割结果，确认点云中每个点所属的物体类别。
可选的，实例特征提取模块包括下采样特征提取单元、上采样特征传播单元和方向编码单元，下采样特征提取单元将输入的点云数据进行下采样后输出初步特征，上采样特征传播单元通过插值对初步特征进行上采样，方向编码单元对下采样特征提取单元、上采样特征传播单元的输出进行方向编码，使输出特征具有空间信息。
可选的，S4中的实例分割模块包括相似度单元、置信度单元和分割单元；相似度单元基于输入的特征得到特征矩阵，基于特征矩阵计算得到相似矩阵后，将点云分为多个候选实例分割组；置信度单元基于输入的特征得到置信度矩阵，基于置信度矩阵判断对应的相似矩阵中的候选实例分割组的置信度，当候选实例分割组置信度小于预设值时，将该候选实例分割组删除；分割单元将置信度单元筛选后的候选实例分割组中的点聚类为完整的实例物体，得到每个点对应的实例分割结果。
可选的，S5具体为：语义分割结果为点云数据中的每个点的语义标签，实例分割结果为点云数据中的每个点的实例标签，分别将每个点对应的语义标签和实例标签添加到点中，生成全景分割结果。
一种基于深度学习的点云全景分割***，应用上述任一项所述的一种基于深度学习的点云全景分割方法，包括数据采集模块、数据增强模块、语义特征提取模块、实例特征提取模块、语义分割模块、实例分割模块和全景融合模块；数据采集模块，与数据增强模块连接，用于采集目标场景的点云数据；数据增强模块，分别与语义特征提取模块、实例特征提取模块连接，用于对进行点云数据进行增强；语义特征提取模块，与语义分割模块连接，用于提取点云数据的特征；实例特征提取模块，与实例分割模块连接，用于提取点云数据的特征；语义分割模块，与全景融合模块连接，用于对特征进行语义分割；实例分割模块，与全景融合模块连接，用于对特征进行实例分割；全景融合模块，用于融合语义分割结果和实例分割结果。
经由上述的技术方案可知，与现有技术相比，本发明提供了一种基于深度学习的点云全景分割方法及***，具有以下有益效果：本发明分别进行语义分割和实例分割所需的特征提取，使得分割结果更加准确；通过对输入点云数据进行随机采样处理，在不丢失特征的前提下完成大规模场景的点云数据全景分割，保证了分割结果的准确率；通过设置置信度单元对实例分割的聚类组进行筛选，提高了分割结果的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明的点云全景分割方法流程图；
图2为本发明实施例中的语义特征提取模块示意图；
图3为本发明实施例中的特征聚合单元示意图；
图4为本发明实施例中的实例特征提取模块示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于深度学习的点云全景分割方法，如图1所示，包括以下步骤：
S1、采集目标场景的点云数据；
S2、通过数据增强模块对进行点云数据进行增强；
S3、分别将增强后的点云数据输入语义特征提取模块和实例特征提取模块提取对应的特征；
S4、分别通过输入语义分割模块和实例分割模块对提取的特征进行语义分割和实例分割；
S5、融合语义分割结果和实例分割结果，得到全景分割结果。
进一步的，S2中的数据增强模块将点云中每个点在一定半径范围内的其他领域点的原始特征聚集，得到该点的上下文特征，将该点的上下文特征与原始特征融合，得到该点的增强特征，其中，原始特征包括点的坐标、颜色和法线。
进一步的，语义特征提取模块包括下采样单元、特征聚合单元、上采样单元和特征提取单元；下采样单元通过随机采样减少输入点云的数量，特征聚合单元增加点云的特征维数，上采样单元通过最近邻插值对点特征集进行上采样得到上采样特征，特征提取单元将上采样特征拼接得到语义特征。
更进一步的，在本发明实施例中，语义特征提取模块如图2所示，下采样单元每次采样保留1/4的点云，共经过四次下采样，之后上采样单元经过四次上采样。在本发明实施例中，如图3所示，特征聚合单元包括空间编码子单元、注意力汇聚子单元和残差子单元，其中残差子单元由空间编码子单元、注意力汇聚子单元和特征提取单元构成，其具体原理为：
对于点云中的一个点pi，其特征为fi，空间编码子单元通过K-近邻算法得到其K个邻居点这些点的特征为/>对于每个邻居点/>将其特征(中心点坐标、邻居点坐标、坐标差、中心点到邻居点的距离)进行拼接得到新的特征之后将每个点的特征/>与特征/>进行拼接，得到特征/>
注意力汇聚子单元计算中心点pi的所有邻居点的特征的注意力分数/>之后进行加权求和得到中心点pi的特征/>残差子单元通过重复上述过程增大每个点的感受野范围。
进一步的，S4中的语义分割模块对所有点云数据的语义特征进行分类，得到语义分割结果，确认点云中每个点所属的物体类别。
进一步的，实例特征提取模块包括下采样特征提取单元、上采样特征传播单元和方向编码单元，下采样特征提取单元将输入的点云数据进行下采样后输出初步特征，上采样特征传播单元通过插值对初步特征进行上采样，方向编码单元对下采样特征提取单元、上采样特征传播单元的输出进行方向编码，使输出特征具有空间信息。
更进一步的，在本发明实施例中，如图4所示，下采样特征提取单元通过最远点采样算法选中输入点云中的中心点，之后在一定半径内查找中心点周围的点，将其作为一个点集，之后将点集内所有点的坐标转化为以中心点为中心建立的坐标系坐标，之后抽取每个点集区域内点的特征，组合成一个特征向量，所有区域的特征向量组合得到特征矩阵；方向编码单元以任意一个点p建立的空间坐标系查找8个不同方向的空间区域内距离点p最近的点，将此点的特征作为此子区域的特征，整合8个方向的特征得到点p的特征Fxyz，8个子区域的特征向量为F，其大小为2×2×2×d，其中d为特征维度，分别在xyz三个方向进行卷积，得到大小为1×1×1×d的特征Fxyz；上采样特征传播单元将点的数量插值为与输入前的数量相同，插值采用基于k近邻的反向距离加权平均方法，在本发明实施例中，分别进行4次下采样特征提取和4次上采样特征传播。
进一步的，S4中的实例分割模块包括相似度单元、置信度单元和分割单元；相似度单元基于输入的特征得到特征矩阵，基于特征矩阵计算得到相似矩阵后，将点云分为多个候选实例分割组；置信度单元基于输入的特征得到置信度矩阵，基于置信度矩阵判断对应的相似矩阵中的候选实例分割组的置信度，当候选实例分割组置信度小于预设值时，将该候选实例分割组删除；分割单元将置信度单元筛选后的候选实例分割组中的点聚类为完整的实例物体，得到每个点对应的实例分割结果。
进一步的，S5具体为：语义分割结果为点云数据中的每个点的语义标签，实例分割结果为点云数据中的每个点的实例标签，分别将每个点对应的语义标签和实例标签添加到点中，生成全景分割结果。
更进一步的，在本发明实施例中，通过多数投票机制实现融合。
与图1所述的方法对应，本发明实施例还公开了一种基于深度学习的点云全景分割***，应用上述任一项所述的一种基于深度学习的点云全景分割方法，包括数据采集模块、数据增强模块、语义特征提取模块、实例特征提取模块、语义分割模块、实例分割模块和全景融合模块；数据采集模块，与数据增强模块连接，用于采集目标场景的点云数据；数据增强模块，分别与语义特征提取模块、实例特征提取模块连接，用于对进行点云数据进行增强；语义特征提取模块，与语义分割模块连接，用于提取点云数据的特征；实例特征提取模块，与实例分割模块连接，用于提取点云数据的特征；语义分割模块，与全景融合模块连接，用于对特征进行语义分割；实例分割模块，与全景融合模块连接，用于对特征进行实例分割；全景融合模块，用于融合语义分割结果和实例分割结果。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种基于深度学习的点云全景分割方法，其特征在于，包括以下步骤：
S1、采集目标场景的点云数据；
S2、通过数据增强模块对进行点云数据进行增强；
S3、分别将增强后的点云数据输入语义特征提取模块和实例特征提取模块提取对应的特征；
S4、分别通过输入语义分割模块和实例分割模块对提取的特征进行语义分割和实例分割；
S5、融合语义分割结果和实例分割结果，得到全景分割结果。
2.根据权利要求1所述的一种基于深度学习的点云全景分割方法，其特征在于，S2中的数据增强模块将点云中每个点在一定半径范围内的其他领域点的原始特征聚集，得到该点的上下文特征，将该点的上下文特征与原始特征融合，得到该点的增强特征，其中，原始特征包括点的坐标、颜色和法线。
3.根据权利要求1所述的一种基于深度学习的点云全景分割方法，其特征在于，语义特征提取模块包括下采样单元、特征聚合单元、上采样单元和特征提取单元；下采样单元通过随机采样减少输入点云的数量，特征聚合单元增加点云的特征维数，上采样单元通过最近邻插值对点特征集进行上采样得到上采样特征，特征提取单元将上采样特征拼接得到语义特征。
4.根据权利要求3所述的一种基于深度学习的点云全景分割方法，其特征在于，S4中的语义分割模块对所有点云数据的语义特征进行分类，得到语义分割结果，确认点云中每个点所属的物体类别。
5.根据权利要求1所述的一种基于深度学习的点云全景分割方法，其特征在于，实例特征提取模块包括下采样特征提取单元、上采样特征传播单元和方向编码单元，下采样特征提取单元将输入的点云数据进行下采样后输出初步特征，上采样特征传播单元通过插值对初步特征进行上采样，方向编码单元对下采样特征提取单元、上采样特征传播单元的输出进行方向编码，使输出特征具有空间信息。
6.根据权利要求5所述的一种基于深度学习的点云全景分割方法，其特征在于，S4中的实例分割模块包括相似度单元、置信度单元和分割单元；相似度单元基于输入的特征得到特征矩阵，基于特征矩阵计算得到相似矩阵后，将点云分为多个候选实例分割组；置信度单元基于输入的特征得到置信度矩阵，基于置信度矩阵判断对应的相似矩阵中的候选实例分割组的置信度，当候选实例分割组置信度小于预设值时，将该候选实例分割组删除；分割单元将置信度单元筛选后的候选实例分割组中的点聚类为完整的实例物体，得到每个点对应的实例分割结果。
7.根据权利要求1所述的一种基于深度学习的点云全景分割方法，其特征在于，S5具体为：语义分割结果为点云数据中的每个点的语义标签，实例分割结果为点云数据中的每个点的实例标签，分别将每个点对应的语义标签和实例标签添加到点中，生成全景分割结果。
8.一种基于深度学习的点云全景分割***，其特征在于，应用权利要求1-7任一项所述的一种基于深度学习的点云全景分割方法，包括数据采集模块、数据增强模块、语义特征提取模块、实例特征提取模块、语义分割模块、实例分割模块和全景融合模块；数据采集模块，与数据增强模块连接，用于采集目标场景的点云数据；数据增强模块，分别与语义特征提取模块、实例特征提取模块连接，用于对进行点云数据进行增强；语义特征提取模块，与语义分割模块连接，用于提取点云数据的特征；实例特征提取模块，与实例分割模块连接，用于提取点云数据的特征；语义分割模块，与全景融合模块连接，用于对特征进行语义分割；实例分割模块，与全景融合模块连接，用于对特征进行实例分割；全景融合模块，用于融合语义分割结果和实例分割结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410051513.9A CN117876686A (zh) | 2024-01-15 | 2024-01-15 | 一种基于深度学习的点云全景分割方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410051513.9A CN117876686A (zh) | 2024-01-15 | 2024-01-15 | 一种基于深度学习的点云全景分割方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117876686A true CN117876686A (zh) | 2024-04-12 |
Family
ID=90588104
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410051513.9A Pending CN117876686A (zh) | 2024-01-15 | 2024-01-15 | 一种基于深度学习的点云全景分割方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117876686A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110660062A (zh) * | 2019-08-31 | 2020-01-07 | 南京理工大学 | 一种基于PointNet的点云实例分割方法及*** |
| CN111275026A (zh) * | 2020-03-23 | 2020-06-12 | 复旦大学 | 一种三维点云联合语义和实例分割的方法 |
| CN112818999A (zh) * | 2021-02-10 | 2021-05-18 | 桂林电子科技大学 | 一种基于卷积神经网络的复杂场景3d点云语义分割方法 |
| CN113537004A (zh) * | 2021-07-01 | 2021-10-22 | 大连民族大学 | 图像的双金字塔多元特征提取网络、图像分割方法、***和介质 |
| CN115761265A (zh) * | 2022-11-24 | 2023-03-07 | 国网江苏省电力有限公司 | 一种用于提取激光雷达点云中变电站设备的方法及装置 |
| CN117314938A (zh) * | 2023-11-16 | 2023-12-29 | 中国科学院空间应用工程与技术中心 | 一种基于多尺度特征融合译码的图像分割方法及装置 |
-
2024
- 2024-01-15 CN CN202410051513.9A patent/CN117876686A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110660062A (zh) * | 2019-08-31 | 2020-01-07 | 南京理工大学 | 一种基于PointNet的点云实例分割方法及*** |
| CN111275026A (zh) * | 2020-03-23 | 2020-06-12 | 复旦大学 | 一种三维点云联合语义和实例分割的方法 |
| CN112818999A (zh) * | 2021-02-10 | 2021-05-18 | 桂林电子科技大学 | 一种基于卷积神经网络的复杂场景3d点云语义分割方法 |
| CN113537004A (zh) * | 2021-07-01 | 2021-10-22 | 大连民族大学 | 图像的双金字塔多元特征提取网络、图像分割方法、***和介质 |
| CN115761265A (zh) * | 2022-11-24 | 2023-03-07 | 国网江苏省电力有限公司 | 一种用于提取激光雷达点云中变电站设备的方法及装置 |
| CN117314938A (zh) * | 2023-11-16 | 2023-12-29 | 中国科学院空间应用工程与技术中心 | 一种基于多尺度特征融合译码的图像分割方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | Split depth-wise separable graph-convolution network for road extraction in complex environments from high-resolution remote-sensing images | |
| CN110728200B (zh) | 一种基于深度学习的实时行人检测方法及*** | |
| CN113033570B (zh) | 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法 | |
| WO2022257578A1 (zh) | 用于识别文本的方法和装置 | |
| CN109086777B (zh) | 一种基于全局像素特征的显著图精细化方法 | |
| CN112990219B (zh) | 用于图像语义分割的方法和装置 | |
| CN113159232A (zh) | 一种三维目标分类、分割方法 | |
| CN112581409B (zh) | 一种基于端到端的多重信息蒸馏网络的图像去雾方法 | |
| CN115082675B (zh) | 一种透明物体图像分割方法及*** | |
| CN110929735B (zh) | 一种基于多尺度特征注意机制的快速显著性检测方法 | |
| CN113888547A (zh) | 基于gan网络的无监督域自适应遥感道路语义分割方法 | |
| CN113870160B (zh) | 一种基于变换器神经网络的点云数据处理方法 | |
| CN114119975A (zh) | 一种语言引导的跨模态实例分割方法 | |
| CN115631513B (zh) | 基于Transformer的多尺度行人重识别方法 | |
| CN110781894A (zh) | 点云语义分割方法、装置及电子设备 | |
| CN111652273A (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
| CN116485860A (zh) | 一种基于多尺度渐进交互和聚合交叉注意力特征的单目深度预测算法 | |
| CN116994135A (zh) | 一种基于视觉与雷达融合的船舶目标检测方法 | |
| Wang et al. | Global perception-based robust parking space detection using a low-cost camera | |
| Tao et al. | F-PVNet: Frustum-level 3-D object detection on point–voxel feature representation for autonomous driving | |
| CN111274936B (zh) | 多光谱图像地物分类方法、***、介质及终端 | |
| CN117036699A (zh) | 一种基于Transformer神经网络的点云分割方法 | |
| CN116664465A (zh) | 一种多模态图像融合方法、装置及计算机设备 | |
| CN117876686A (zh) | 一种基于深度学习的点云全景分割方法及*** | |
| CN115272696A (zh) | 一种基于自适应卷积和局部几何信息的点云语义分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |