CN114358246A - 三维点云场景的注意力机制的图卷积神经网络模块 - Google Patents
三维点云场景的注意力机制的图卷积神经网络模块 Download PDFInfo
- Publication number
- CN114358246A CN114358246A CN202111618088.XA CN202111618088A CN114358246A CN 114358246 A CN114358246 A CN 114358246A CN 202111618088 A CN202111618088 A CN 202111618088A CN 114358246 A CN114358246 A CN 114358246A
- Authority
- CN
- China
- Prior art keywords
- module
- point cloud
- attention
- dimensional
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 14
- 230000007246 mechanism Effects 0.000 title claims abstract description 13
- 238000011176 pooling Methods 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000007547 defect Effects 0.000 abstract description 6
- 238000000605 extraction Methods 0.000 abstract description 4
- 238000006116 polymerization reaction Methods 0.000 abstract 1
- 238000000034 method Methods 0.000 description 26
- 230000011218 segmentation Effects 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 239000010410 layer Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 208000025174 PANDAS Diseases 0.000 description 1
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了三维点云场景的注意力机制的图卷积神经网络模块，包括：注意力图编码模块即AGEM模块和注意力池化模块即AP模块；解决了现有模型局部特征提取能力差的缺陷、DGCNN模型特征聚合能力差的缺陷。
Description
技术领域
本发明涉及点云数据领域，特别是三维点云场景的注意力机制的图卷积神经网络模块。
背景技术
点云是三维空间中一些离散的点的集合，相比较于普通遥感图像，点云数据带有更多的空间信息。因此，它对于地表监测等任务具有重要价值，三维点云数据的研究在社会等领域有着广泛的应用。主要包括道路分割、3D城市建模、自动驾驶、人脸识别、森林监测等。三维点云数据研究主要侧重于发掘点云数据携带的三维信息以及深度特征。三维点云数据的科学研究历史悠久，从人工几何到深度学习，都广泛地推动了硬科学和社会的进步。三维点云数据比传统图像具有更多的空间信息，这在点云领域提出了更多挑战并带来了机遇。同时，由于卷积神经网络(CNN)在图像分类、目标检测、语义分割等方面的成功应用，深度学习方法应运而生。同时，受这些优秀成果的启发，点云研究也从传统的机器学习转向了灵活的神经网络结构，本专利同样从深度学习的视角解析点云数据在实际工商业上的应用。
现有技术一
Hang Su等人通过将点云投影成二维的方法来处理三维的点云数据。并利用已有的二维图像处理方法对数据进行分类分割等任务。Charles等人通过数学理论推导，率先提出使用对称函数来处理点云数据，以满足点云数据的置换不变性。Daniel Maturana等人通过将点云体素化来应用CNN等深度学习方法。一般来说，早期的三维点云数据研究主要是利用几何等各学科的理论知识来分析浅层信息。最先进的方法总是暗示以卷积神经网络(CNN)为代表的深度学习。此外，它还在语义分割、分类、目标检测等方面取得了巨大的成就和突出的表现。
不可否认，CNN在深度学习中的作用很可能是事实上的标准。然而，它的参数随着卷积层的增加呈指数增长，并且它的大小随着计算能力的增加而增加，投影与体素化通常会带来巨大的内存占用与计算消耗。此外，由于乘法和加法运算的持久性，计算消耗是工业应用的瓶颈，不能满足工业的实时性要求。
现有技术二：
SEGCloud通过将整体的点云数据分割为若干个小点云并应用三线性插值和条件随机场来进行处理。Charles等人通过对PointNet网络进行改进，提出了逐步扩大感受野的方法，也改善了其计算量稍大的问题。近来，受益于图和其他非线性结构在深度学习领域的成功扩展，图卷积神经网络在计算机视觉方面获得了最先进的性能，并引起了许多研究人员的关注。受此启发，AdaptConv使用动态的卷积核来使得卷积操作更灵活。3D-GCN同样设计了一个可学习的卷积核来获取局部特征并表现出了很好的学习能力。DGCNN提出了一种名为EdgeConv的卷积方法，能够动态地计算每一个网络层的图结构并聚合局部图中中心节点的特征及其对应的边特征，图结构通过K-NN方法获取，该方法较好地提取了局部特征。随着注意力机制在自然语言处理领域的成功，越来越多人将其应用在计算机视觉领域。GAPNet，GACNet和LAE-Conv均通过设计注意力模块来获取点云特征。这些基于图结构的点云处理方法和基于注意力机制的点云处理方法都是使用最大值池化方式来聚合局部特征图的特征。
现有技术二的缺点
上述方法都是使用简单的最大值池化(max pooling)策略来聚合局部的特征信息。因此，它导致了许多缺点，例如重要的信息被过滤和无法明确区分有效与无效的特征等。最大值池化会选择直接选择所有特征中最大的数据，但是其他数据在计算过程中对特征提取其实并非全无贡献，所以很多有用的信息往往会被最大值池化策略丢弃。
针对现有模型局部特征提取能力差的缺陷，本发明提出基于注意力机制的图卷积神经网络模块，该模块使用K-NN算法获取中心点的K个邻近点，并依次构建局部特征图结构。局部特征图结构能够提取点云数据局部的拓扑结构从而更好地表示局部特征，因此很好地解决了现有模型存在的缺陷。
针对DGCNN模型特征聚合能力差的缺陷，本发明提出基于注意力池化策略的图卷积神经网络。它对每个中心点的若干个邻近点，由K-NN算法获取，计算不同的注意力权重，并通过该权重计算并提取当前输入数据的局部最重要的特征。
发明内容
为解决现有技术中存在的问题，本发明提供了三维点云场景的注意力机制的图卷积神经网络模块，解决了现有模型局部特征提取能力差的缺陷、DGCNN模型特征聚合能力差的缺陷。
本发明提供的技术方案如下：
三维点云场景的注意力机制的图卷积神经网络模块，包括：注意力图编码模块即AGEM模块和注意力池化模块即AP模块。
优选地，AGEM模块包括以下步骤：
S1：首先使用K-NN算法，通过给定的k值获取中心点的k个最邻近点，并构成一个局部点云集合；
S2：随后通过Repeat操作将输入的点云特征提升到与k邻近点集相同的大小；
S3：将k邻近点集与原始点集进行编码，获取高维度特征；
S4：将获取的高维度特征进行拼接，作为输入特征传入AP模块。
优选地，AP模块包括：注意力权重计算、注意力权重掩码、MPL模块。
本发明三维点云场景的注意力机制的图卷积神经网络模块有益效果如下：
1.本发明实现了高效率的点云分类与分割方法，超过了以往的方法，因此具有一定的商业价值。
2.对于语义分割任务，模型大小仅为2.03M，能很好的适用于工业的需求。
3.能很好的将此方法应用于点云领域，如陆地变化分析、城市建模、道路分割等。
4.监控森林变迁以及地形对森林动态变化的影响，同时可以对森林树种进行分类。
附图说明
图1为本发明AGM注意力图卷积模块。
图2为本发明AP注意力池化模块。
图3为本发明数据流程图。
图4为本发明方法的结果可视化图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
本发明通过现有的深度学习框架Pytorch以及对应的编程库，主要包括Numpy、Pandas、Tensor等等。其中Pytorch主要使用深度学习模型，包括线性模块、卷积模块、参数处罚模块等。
具体方案实现原理如下：
我们在所提出的方法中将分割转换为分类任务，进行像素级分类而不是补丁分割，如图1所示。主要方法为AGM，注意力图卷积模块。该方法包括AGEM(注意力图编码)模块和AP，注意力池化，模块。对于AGEM模块，它通过对数据进行特征变化以满足AP模块的注意力计算需要。具体而言，首先使用K-NN算法，通过给定的k值获取中心点的k个最邻近点，并构成一个局部点云集合。随后通过Repeat操作将输入的点云特征提升到与k邻近点集相同的大小。接下来，将k邻近点集与原始点集进行编码，获取高维度特征，例如相对距离，相对坐标等。最后，将获取的高维度特征进行拼接，作为输入特征传入AP模块。
对于AP模块，它分别由注意力权重计算、注意力权重掩码、MPL模块组成。如图2所示
本专利的数据流程图3如下所示；
最后，本发明在三个广泛采用的公共数据集上进行了广泛的实验：用于目标分类的ModelNet40数据集、用于部件分割的ShapeNetPart数据集和用于语义分割的S3DIS数据集。AGNet全面优于最先进的方法，在ModelNet40数据集中，对比PointNet上的准确度提高了4.2％，在ECC上提高了6.0％，在VoxNet上提高了7.5％，在3DShapeNets上提高了8.7％。
本专利方法的结果可视化如图4所示：
网络的架构实现为重点保护点，如图1所示，网络由单层MLP变换、AGEM(注意力图卷积编码模块)以及AP(注意力池化模块)组成，具体的保护技术重点如下：
单层MLP变换
输入的干净数据由于维度不同，通道之间具有极大的信息冗余性，因此通过一层MLP调整一部分维度信息同时匹配下游模型的输入
局部特征聚合模块
获得一定程度变化后的数据，对于点云特征，能够使用K-NN算法获k个最邻近的点，以及利用搜索到的邻近点的语义信息，获取相对距离等高维度特征，并依次构建局部特征图，完成局部特征信息的聚合。
注意力池化模块
将获得的聚合后的特征在通道维度进行筛选池化，利用注意力机制计算不同特征的权重，获取特征中重要的信息。
输出
使用最常见的线性全连接层输入最后的分类结果，此部分是公开技术，不计入此方法的重点保护技术。
Claims (3)
1.三维点云场景的注意力机制的图卷积神经网络模块，其特征在于，包括：注意力图编码模块即AGEM模块和注意力池化模块即AP模块。
2.根据权利要求1所述的三维点云场景的注意力机制的图卷积神经网络模块，其特征在于，所述AGEM模块包括以下步骤：
S1：首先使用K-NN算法，通过给定的k值获取中心点的k个最邻近点，并构成一个局部点云集合；
S2：随后通过Repeat操作将输入的点云特征提升到与k邻近点集相同的大小；
S3：将k邻近点集与原始点集进行编码，获取高维度特征；
S4：将获取的高维度特征进行拼接，作为输入特征传入AP模块。
3.根据权利要求1所述的三维点云场景的注意力机制的图卷积神经网络模块，其特征在于，所述AP模块包括：注意力权重计算、注意力权重掩码、MPL模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111618088.XA CN114358246A (zh) | 2021-12-27 | 2021-12-27 | 三维点云场景的注意力机制的图卷积神经网络模块 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111618088.XA CN114358246A (zh) | 2021-12-27 | 2021-12-27 | 三维点云场景的注意力机制的图卷积神经网络模块 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114358246A true CN114358246A (zh) | 2022-04-15 |
Family
ID=81103709
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111618088.XA Pending CN114358246A (zh) | 2021-12-27 | 2021-12-27 | 三维点云场景的注意力机制的图卷积神经网络模块 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114358246A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116129118A (zh) * | 2023-01-17 | 2023-05-16 | 华北水利水电大学 | 基于图卷积的城市场景激光LiDAR点云语义分割方法 |
| CN116403058A (zh) * | 2023-06-09 | 2023-07-07 | 昆明理工大学 | 一种遥感跨场景多光谱激光雷达点云分类方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110969589A (zh) * | 2019-12-03 | 2020-04-07 | 重庆大学 | 基于多流注意对抗网络的动态场景模糊图像盲复原方法 |
| CN112257597A (zh) * | 2020-10-22 | 2021-01-22 | 中国人民解放军战略支援部队信息工程大学 | 一种点云数据的语义分割方法 |
| CN113554654A (zh) * | 2021-06-07 | 2021-10-26 | 之江实验室 | 基于图神经网络的点云特征提取模型及分类分割方法 |
-
2021
- 2021-12-27 CN CN202111618088.XA patent/CN114358246A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110969589A (zh) * | 2019-12-03 | 2020-04-07 | 重庆大学 | 基于多流注意对抗网络的动态场景模糊图像盲复原方法 |
| CN112257597A (zh) * | 2020-10-22 | 2021-01-22 | 中国人民解放军战略支援部队信息工程大学 | 一种点云数据的语义分割方法 |
| CN113554654A (zh) * | 2021-06-07 | 2021-10-26 | 之江实验室 | 基于图神经网络的点云特征提取模型及分类分割方法 |
Non-Patent Citations (3)
| Title |
|---|
| WEIPENG JING，ET AL.: "AGNet: An Attention-Based Graph Network for Point Cloud Classification and Segmentation", REMOTE SENSING, 21 February 2022 (2022-02-21) * |
| XIN WEN，ET AL.: "CF-SIS: Semantic-Instance Segmentation of 3D Point Clouds by Context Fusion with Self-Attention", ACM, 12 October 2020 (2020-10-12) * |
| ZHUYANG XIE，ET AL.: "Point Clouds Learning with Attention-based Graph Convolution Networks", ARXIV, 31 May 2019 (2019-05-31) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116129118A (zh) * | 2023-01-17 | 2023-05-16 | 华北水利水电大学 | 基于图卷积的城市场景激光LiDAR点云语义分割方法 |
| CN116129118B (zh) * | 2023-01-17 | 2023-10-20 | 华北水利水电大学 | 基于图卷积的城市场景激光LiDAR点云语义分割方法 |
| CN116403058A (zh) * | 2023-06-09 | 2023-07-07 | 昆明理工大学 | 一种遥感跨场景多光谱激光雷达点云分类方法 |
| CN116403058B (zh) * | 2023-06-09 | 2023-09-12 | 昆明理工大学 | 一种遥感跨场景多光谱激光雷达点云分类方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Racah et al. | Extremeweather: A large-scale climate dataset for semi-supervised detection, localization, and understanding of extreme weather events | |
| WO2024077812A1 (zh) | 基于点云语义分割与结构拟合的单体建筑三维重建方法 | |
| CN109508360B (zh) | 一种基于元胞自动机的地理多元流数据时空自相关分析方法 | |
| CN111242208A (zh) | 一种点云分类方法、分割方法及相关设备 | |
| CN112184752A (zh) | 一种基于金字塔卷积的视频目标跟踪方法 | |
| Wang et al. | Multifocus image fusion using convolutional neural networks in the discrete wavelet transform domain | |
| CN114358246A (zh) | 三维点云场景的注意力机制的图卷积神经网络模块 | |
| CN112991350B (zh) | 一种基于模态差异缩减的rgb-t图像语义分割方法 | |
| CN113011329A (zh) | 一种基于多尺度特征金字塔网络及密集人群计数方法 | |
| CN106780639B (zh) | 基于显著性特征稀疏嵌入和极限学习机的哈希编码方法 | |
| CN112733693B (zh) | 一种全局感知高分辨率遥感影像多尺度残差道路提取方法 | |
| CN110991444A (zh) | 面向复杂场景的车牌识别方法及装置 | |
| CN114092697A (zh) | 注意力融合全局和局部深度特征的建筑立面语义分割方法 | |
| CN116740439A (zh) | 一种基于跨尺度金字塔Transformer的人群计数方法 | |
| CN114299305A (zh) | 聚合密集和注意力多尺度特征的显著性目标检测算法 | |
| CN111914809B (zh) | 目标对象定位方法、图像处理方法、装置和计算机设备 | |
| CN117765258A (zh) | 基于密度自适应和注意力机制的大规模点云语义分割方法 | |
| CN111612046B (zh) | 特征金字塔图卷积神经网络及其在3d点云分类中的应用 | |
| CN113326759A (zh) | 一种遥感影像建筑物识别模型的不确定性估计方法 | |
| CN116386042A (zh) | 一种基于三维池化空间注意力机制的点云语义分割模型 | |
| CN113903016B (zh) | 分岔点检测方法、装置、计算机设备和存储介质 | |
| CN116977265A (zh) | 缺陷检测模型的训练方法、装置、计算机设备和存储介质 | |
| CN104408158A (zh) | 一种基于几何重构和语义融合的视点追踪方法 | |
| CN115631412A (zh) | 基于坐标注意力和数据相关上采样的遥感图像建筑物提取方法 | |
| CN114677508A (zh) | 一种基于动态滤波和逐点相关的点云实例语义分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |