CN117649530B - 基于语义级拓扑结构的点云特征提取方法、***及设备 - Google Patents
基于语义级拓扑结构的点云特征提取方法、***及设备 Download PDFInfo
- Publication number
- CN117649530B CN117649530B CN202410121594.5A CN202410121594A CN117649530B CN 117649530 B CN117649530 B CN 117649530B CN 202410121594 A CN202410121594 A CN 202410121594A CN 117649530 B CN117649530 B CN 117649530B
- Authority
- CN
- China
- Prior art keywords
- point set
- point
- feature
- vector
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 37
- 239000013598 vector Substances 0.000 claims abstract description 169
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 abstract description 5
- 230000000903 blocking effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000018109 developmental process Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种基于语义级拓扑结构的点云特征提取方法、***及设备，该方法通过先对点云数据局部聚类，实现了对点云数据的分块处理，得到了有相近关系的点集；通过对点集的特征向量和全局特征进行融合，保证了嵌入向量的完整性，避免了信息的过量损失；通过与相邻点集的邻接特征融合构建语义级别的点集的拓扑结构特征向量，实现了有效表征点集的高频率邻接关系；最终通过将嵌入向量和拓扑结构特征向量进行融合，不仅保证了目标点云特征的完整性，还实现了表征高频率邻接关系。
Description
技术领域
本发明涉及点云数据处理技术领域，尤其涉及一种基于语义级拓扑结构的点云特征提取方法、***及设备。
背景技术
随着数字化、网络化、智能化的新型城市建设的大力发展，城市全要素数字化和虚拟化逐渐提上日程。而实现智慧城市的前提是利用数字信息表达现实的世界，使得各类空间结构更为数字化和透明化。在此过程中常用激光雷达等设备采集相关数据，比如点云数据。点云数据是指在一个三维坐标***中的一组向量的集合。数据以点的形式记录，每一个点包含有三维坐标，并且可以携带有关该点属性的其他信息，例如颜色、反射率、强度等。点云数据的主要特点是具有高精度、高分辨率和高维度的几何信息，可以直观地表示空间中的物体形状、表面和纹理等信息。点云数据的处理和分析通常需要使用计算机视觉。
然而，现有采集到的点云数据同时往往具有离散无序性、非结构性、稀疏性等特点。在结构复杂、特征丰富、形态多样的各式各样的场景下，这类数据很难直接使用端到端的模型进行处理。点云数据的处理第一步是点云特征提取，点云数据的特征提取对目标检测、识别、分割等下游任务的开展起到至关重要的作用。另外，在处理点云数据时，涉及到的信息量太少，没有充分表示现实世界中临近物体间丰富的邻接关系。
因此，现有技术中在进行点云数据处理的过程中，存在信息损失大、无法表征高频率邻接关系的问题。
发明内容
有鉴于此，有必要提供一种基于语义级拓扑结构的点云特征提取方法、***及设备，用以解决现有技术中在进行点云数据处理的过程中，存在的信息损失大、无法表征高频率邻接关系的问题。
为了解决上述问题，本发明提供一种基于语义级拓扑结构的点云特征提取方法，包括：
获取点云数据，并对点云数据进行局部聚类，得到多个点集；
提取各点集的特征向量和全局特征，并对特征向量和全局特征进行融合，得到点集的嵌入向量；
确定各点集和与之相邻的邻接点集的注意力系数，并根据注意力系数和邻接点集的嵌入向量，确定点集的拓扑结构特征向量；
对嵌入向量和拓扑结构特征向量进行融合，确定点集的目标点云特征。
进一步地，提取各点集的特征向量和全局特征，并对特征向量和全局特征进行融合，得到点集的嵌入向量，包括：
将点集输入至点云网络模型，得到点集的特征向量；
将点集输入至自注意力网络模型，得到点集的全局特征；
将特征向量和全局特征进行特征拼接并输入至多层感知器，得到点集的嵌入向量。
进一步地，确定各点集和与之相邻的邻接点集的注意力系数，并根据注意力系数和邻接点集的嵌入向量，确定点集的拓扑结构特征向量，包括：
计算点集和与之相邻的邻接点集的注意力系数；
将注意力系数进行归一化处理，并和邻接点集的嵌入向量相乘，聚合更新点集的节点特征；
由激活函数激活节点特征，得到语义级别的点集的拓扑结构特征向量。
进一步地，计算点集和与之相邻的邻接点集的注意力系数，包括：
根据注意力系数计算公式，计算点集和与之相邻的邻接点集的注意力系数。
进一步地，注意力系数计算公式为：
其中，为注意力系数，/>为点集，/>为邻接点集，/>为共享参数，[/>||/>]表示对两个向量进行拼接，/>为点集与邻接点集的邻接特征，/>表示多层感知器，/>( )表示将高维特征映射到一个实数。
进一步地，在计算点集和与之相邻的邻接点集的注意力系数之前，还包括：
构建Delaunay三角网，得到点集的二值邻接矩阵；
根据二值邻接矩阵确定点集的邻接点集。
进一步地，对嵌入向量和拓扑结构特征向量进行融合，确定点集的目标点云特征，包括：
将嵌入向量和拓扑结构特征向量拼接后输入至多层感知器，确定点集的目标点云特征。
为了解决上述问题，本发明还提供一种基于语义级拓扑结构的点云特征提取***，包括：
点集获取模块，用于获取点云数据，并对点云数据进行局部聚类，得到多个点集；
嵌入向量获取模块，用于提取各点集的特征向量和全局特征，并对特征向量和全局特征进行融合，得到点集的嵌入向量；
拓扑结构特征向量获取模块，用于确定各点集和与之相邻的邻接点集的注意力系数，并根据注意力系数和邻接点集的嵌入向量，确定点集的拓扑结构特征向量；
目标点云特征获取模块，用于对嵌入向量和拓扑结构特征向量进行融合，确定点集的目标点云特征。
为了解决上述问题，本发明还提供一种基于语义级拓扑结构的点云特征提取设备，包括存储器和处理器，其中，
存储器，用于存储程序；
处理器，与存储器耦合，用于执行存储器中存储的程序，以实现如上文所述的基于语义级拓扑结构的点云特征提取方法、***及设备中的步骤。
为了解决上述问题，本发明还提供一种计算机可读存储介质，用于存储计算机可读取的程序或指令，程序或指令被处理器执行时能够实现如上文所述的基于语义级拓扑结构的点云特征提取方法、***及设备中的步骤。
采用上述实施例的有益效果是：本发明提供一种基于语义级拓扑结构的点云特征提取方法、***及设备，该方法通过先对点云数据局部聚类，实现了对点云数据的分块处理，得到了有相近关系的点集；通过对点集的特征向量和全局特征进行融合，保证了嵌入向量的完整性，避免了信息的过量损失；通过与邻接点集的邻接特征融合构建语义级别的点集的拓扑结构特征向量，实现了有效表征点集的高频率邻接关系；最终通过将嵌入向量和拓扑结构特征向量进行融合，不仅保证了目标点云特征的完整性，还实现了表征高频率邻接关系。
附图说明
图1为本发明提供的基于语义级拓扑结构的点云特征提取方法一实施例的流程示意图；
图2为本发明提供的基于语义级拓扑结构的点云特征提取网络一实施例的结构示意图；
图3为本发明提供的得到点集的嵌入向量一实施例的流程示意图；
图4为本发明提供的构建语义级别的点集的拓扑结构特征向量一实施例的流程示意图；
图5为本发明提供的基于语义级拓扑结构的点云特征提取***一实施例的结构框图；
图6为本发明提供的基于语义级拓扑结构的点云特征提取设备一实施例的结构框图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
随着数字化、网络化、智能化的新型城市建设的大力发展，城市全要素数字化和虚拟化逐渐提上日程。而实现智慧城市的前提是利用数字信息表达现实的世界，使得各类空间结构更为数字化和透明化。在此过程中常用激光雷达等设备采集相关数据，比如点云数据。点云数据是指在一个三维坐标***中的一组向量的集合。数据以点的形式记录，每一个点包含有三维坐标，并且可以携带有关该点属性的其他信息，例如颜色、反射率、强度等。点云数据的主要特点是具有高精度、高分辨率和高维度的几何信息，可以直观地表示空间中的物体形状、表面和纹理等信息。点云数据的处理和分析通常需要使用计算机视觉。
然而，现有采集到的点云数据同时往往具有离散无序性、非结构性、稀疏性等特点。在结构复杂、特征丰富、形态多样的各式各样的场景下，这类数据很难直接使用端到端的模型进行处理。点云数据的处理第一步是点云特征提取，点云数据的特征提取对目标检测、识别、分割等下游任务的开展起到至关重要的作用。另外，在处理点云数据时，涉及到的信息量太少，没有充分表示现实世界中临近物体间丰富的邻接关系。
因此，现有技术中在进行点云数据处理的过程中，存在信息损失大、无法表征高频率邻接关系的问题。
为了解决上述问题，本发明提供一种基于语义级拓扑结构的点云特征提取方法、***及设备，以下分别进行详细说明。
图1为本发明提供的基于语义级拓扑结构的点云特征提取方法一实施例的流程示意图，如图1所示，基于语义级拓扑结构的点云特征提取方法包括：
步骤S101：获取点云数据，并对点云数据进行局部聚类，得到多个点集；
步骤S102：提取各点集的特征向量和全局特征，并对特征向量和全局特征进行融合，得到点集的嵌入向量；
步骤S103：确定各点集和与之相邻的邻接点集的注意力系数，并根据注意力系数和邻接点集的嵌入向量，确定点集的拓扑结构特征向量；
步骤S104：对嵌入向量和拓扑结构特征向量进行融合，确定点集的目标点云特征。
本实施例中，首先，获取点云数据，并对点云数据进行局部聚类，得到多个点集；其次，提取各点集的特征向量和全局特征，并对特征向量和全局特征进行融合，得到点集的嵌入向量；然后，确定各点集和与之相邻的邻接点集的注意力系数，并根据注意力系数和邻接点集的嵌入向量，确定点集的拓扑结构特征向量；最后，对嵌入向量和拓扑结构特征向量进行融合，确定点集的目标点云特征。
本实施例中，通过先对点云数据局部聚类，实现了对点云数据的分块处理，得到了有相近关系的点集；通过对点集的特征向量和全局特征进行融合，保证了嵌入向量的完整性，避免了信息的过量损失；通过与邻接点集的邻接特征融合构建语义级别的点集的拓扑结构特征向量，实现了有效表征点集的高频率邻接关系；最终通过将嵌入向量和拓扑结构特征向量进行融合，不仅保证了目标点云特征的完整性，还实现了表征高频率邻接关系。
在一具体实施例中，如图2所示，图2为本发明提供的基于语义级拓扑结构的点云特征提取网络一实施例的结构示意图。
作为优选的实施例，在步骤S101中，点云数据是由激光雷达在一定空间范围内扫描得到的，点云数据是指在一个三维坐标***中的一组向量的集合。点云数据以点的形式记录，每一个点包含有三维坐标，并且可以携带有关该点属性的其他信息。
具体地，为了对点云数据局部聚类，具体根据属性信息对点云进行局部聚类，根据原始点云的颜色、纹理等划分为语义上同质的基础几何形状，称之为点集，每个点集是一个属性的点的集合。
作为优选的实施例，在步骤S102中，为了得到点集的嵌入向量，如图3所示，图3为本发明提供的得到点集的嵌入向量一实施例的流程示意图，包括：
步骤S121：将点集输入至点云网络模型，得到点集的特征向量；
步骤S122：将点集输入至自注意力网络模型，得到点集的全局特征；
步骤S123：将特征向量和全局特征进行特征拼接并输入至多层感知器，得到点集的嵌入向量。
本实施例中，首先，将点集输入至点云网络模型，得到点集的特征向量；然后，将点集输入至自注意力网络模型，得到点集的全局特征；最后，将特征向量和全局特征进行特征拼接并输入至多层感知器，得到点集的嵌入向量。
本实施例中，通过点云网络模型获取点集的特征向量，自注意力网络模型获取点集的全局特征，再由多层感知器将特征向量和全局特征进行特征拼接，从而确定点集的嵌入向量，保证了嵌入向量的完整性，避免了信息的过量损失。
在一具体实施例中，根据点集内原始点云的特征和点集的密集程度等构造点集的特征，将N个点集的特征输入至Pointnet网络中，首先Pointnet网络中的T-Net进行校准，然后再用多层感知器对特征进行学习，接着再用T-Net进行对齐，得到点集的特征向量。
由于常规的Pointnet在进行全局特征提取时，采用的是最大池化提取每个维度上最显著的特征，但仅用最大值很难表征点云的全局特征，因此本实施例中采用Transformer机制代替最大池化层在此的作用。Transformer机制可以学习到每两个点集间的注意力，将全局特征更新到每个点集的特征向量上，每个点集有差异性地学习到了全局特征信息，最后将全局特征与点集特征向量拼接后输入至多层感知器中，实现了融合局部特征（即原点集特征向量）与全局特征，得到点集的嵌入向量。表示式如下：
其中，表示点集的特征向量，/>表示Transformer网络，/>表示多层感知器，/>为融合全局特征的点集的嵌入向量。
作为优选的实施例，在步骤S103中，为了确定各点集和与之相邻的邻接点集的注意力系数，并根据注意力系数和邻接点集的嵌入向量，确定点集的拓扑结构特征向量，如图4所示，图4为本发明提供的构建语义级别的点集的拓扑结构特征向量一实施例的流程示意图，包括：
步骤S131：计算点集和与之相邻的邻接点集的注意力系数；
步骤S132：将注意力系数进行归一化处理，并和邻接点集的嵌入向量相乘，聚合更新点集的节点特征；
步骤S133：由激活函数激活节点特征，得到语义级别的点集的拓扑结构特征向量。
本实施例中，首先，计算点集和与之相邻的邻接点集的注意力系数；然后，将注意力系数进行归一化处理，并和邻接点集的嵌入向量相乘，聚合更新点集的节点特征；最后，由激活函数激活节点特征，得到语义级别的点集的拓扑结构特征向量。
本实施例中，通过专门计算点集和与之相邻的邻接点集的注意力系数，能够量化确定点集与邻接点集之间的相邻关系，通过将注意力系数与嵌入向量相乘进行聚合更新得到节点特征，最终得到语义级别的点集的拓扑结构特征向量，实现了有效表征点集的高频率邻接关系。
作为优选的实施例，在计算点集和与之相邻的邻接点集的注意力系数之前，还需要先确定点集的邻接点集，因此，首先，构建Delaunay三角网，得到点集的二值邻接矩阵；然后，根据二值邻接矩阵确定点集的邻接点集。
在一具体实施例中，通过点集的特征向量，能够设计出表征邻接关系的邻接特征，例如：点集对之间的相对位置、法向量夹角、表面积之比、粗糙程度差异等。
然而，虽然这里的邻接特征是高维特征向量，但仍是低频的，无法表征现实世界中复杂的语义。例如：窗户与墙面之间的嵌入关系，楼梯与上层地板下层天花板之间的贯穿关系。这些关系都是高频的，无法仅仅用上述的高维特征向量表示。而这种高频率的拓扑结构对点云的语义分割等下游任务意义重大，极大程度地避免了由于关系语义的缺失而造成的错误，例如：房梁只可能出现在天花板之下，门框和窗户只可能嵌入在墙壁的内部。
因此，需要对通过图自注意力机制融合邻接特征，构建语义级别的点集拓扑结构特征向量，图示中，可表示为：
其中，为当前点集的嵌入向量，/>( )表示图自注意力网络，/>为拓扑结构特征向量。
作为优选的实施例，在步骤S131中，根据注意力系数计算公式，计算点集和与之相邻的邻接点集的注意力系数。
注意力系数计算公式为：
其中，为注意力系数，/>为点集，/>为邻接点集，/>为共享参数，[/>||/>]表示对两个向量进行拼接，/>为点集与邻接点集的邻接特征，/>表示多层感知器，/>( )表示将高维特征映射到一个实数。
需要说明的是，注意力系数计算表达式的含义是：将点集与邻接点集均通过共享参数线性映射，然后对映射变换后的特征向量进行拼接，并与邻接特征通过多层感知器后的结果相乘，最后将拼接相乘后的高维特征映射到一个实数上，即注意力系数。
作为优选的实施例，在步骤S132-133中，将注意力系数归一化后与邻接点集的嵌入向量加权求和后，得到当前点集的拓扑结构特征向量；
其中，为激活函数，/>为归一化操作，/>为当前点集的邻接点集集合。
作为优选的实施例，在步骤S104中，在确定了点集的嵌入向量和拓扑结构特征向量之后，为了确定点集的目标点云特征，需要将嵌入向量和拓扑结构特征向量拼接后输入至多层感知器，确定点集的目标点云特征。
在一具体实施例中，拓扑结构特征向量富含语义信息，与点集的嵌入向量融合后得到点集的目标点云特征/>，即：
上述公式的含义是：将拓扑结构特征向量与嵌入向量拼接后输入至多层感知器，多层感知器输出的即为点集的目标点云特征。
需要说明的是，如果将本实施例中将点云特征提取方法用于点云分割，多层感知器融合特征后充当全连接层，输出维度对应分割的类别数L。
通过上述方式，通过先对点云数据局部聚类，实现了对点云数据的分块处理，得到了有相近关系的点集；通过对点集的特征向量和全局特征进行融合，保证了嵌入向量的完整性，避免了信息的过量损失；通过与邻接点集的邻接特征融合构建语义级别的点集的拓扑结构特征向量，实现了有效表征点集的高频率邻接关系；最终通过将嵌入向量和拓扑结构特征向量进行融合，不仅保证了目标点云特征的完整性，还实现了表征高频率邻接关系。
为了解决上述问题，本发明还提供一种基于语义级拓扑结构的点云特征提取***，如图5所示，图5为本发明提供的基于语义级拓扑结构的点云特征提取***一实施例的结构框图，基于语义级拓扑结构的点云特征提取***500包括：
点集获取模块501，用于获取点云数据，并对点云数据进行局部聚类，得到多个点集；
嵌入向量获取模块502，用于提取各点集的特征向量和全局特征，并对特征向量和全局特征进行融合，得到点集的嵌入向量；
拓扑结构特征向量获取模块503，用于确定各点集和与之相邻的邻接点集的注意力系数，并根据注意力系数和邻接点集的嵌入向量，确定点集的拓扑结构特征向量；
目标点云特征获取模块504，用于对嵌入向量和拓扑结构特征向量进行融合，确定点集的目标点云特征。
本发明还相应提供了一种基于语义级拓扑结构的点云特征提取设备，如图6所示，图6为本发明提供的基于语义级拓扑结构的点云特征提取设备一实施例的结构框图。基于语义级拓扑结构的点云特征提取设备600可以是移动终端、桌上型计算机、笔记本、掌上电脑及服务器等计算设备。基于语义级拓扑结构的点云特征提取设备600包括处理器601以及存储器602，其中，存储器602上存储有基于语义级拓扑结构的点云特征提取程序603。
存储器602在一些实施例中可以是计算机设备的内部存储单元，例如计算机设备的硬盘或内存。存储器602在另一些实施例中也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（SecureDigital，SD）卡，闪存卡（Flash Card）等。进一步地，存储器602还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器602用于存储安装于计算机设备的应用软件及各类数据，例如安装计算机设备的程序代码等。存储器602还可以用于暂时的存储已经输出或者将要输出的数据。在一实施例中，基于语义级拓扑结构的点云特征提取程序603可被处理器601所执行，从而实现本发明各实施例的基于语义级拓扑结构的点云特征提取方法、***及设备。
处理器601在一些实施例中可以是中央处理器（Central Processing Unit，CPU），微处理器或其他数据处理芯片，用于运行存储器602中存储的程序代码或处理数据，例如执行基于语义级拓扑结构的点云特征提取程序等。
本实施例还提供了一种计算机可读存储介质，其上存储有基于语义级拓扑结构的点云特征提取程序，计算机该程序被处理器执行时，实现如上述所述的基于语义级拓扑结构的点云特征提取方法、***及设备。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。本申请所提供的各实施例中所使用的对存储器、存储、数据库或其他介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM），以及存储器总线动态RAM（RDRAM）等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种基于语义级拓扑结构的点云特征提取方法，其特征在于，包括：
获取点云数据，并对所述点云数据进行局部聚类，得到多个点集；
提取各所述点集的特征向量和全局特征，并对所述特征向量和所述全局特征进行融合，得到所述点集的嵌入向量；
根据注意力系数计算公式，计算所述点集和与之相邻的邻接点集的注意力系数，并根据所述注意力系数和所述邻接点集的所述嵌入向量，确定所述点集的拓扑结构特征向量；
对所述嵌入向量和所述拓扑结构特征向量进行融合，确定所述点集的目标点云特征；
所述注意力系数计算公式为：
其中，为所述注意力系数，/>为所述点集，/>为所述邻接点集，/>为共享参数，[/>||]表示对两个向量进行拼接，/>为所述点集与所述邻接点集的邻接特征，/>表示多层感知器，/>( )表示将高维特征映射到一个实数。
2.根据权利要求1所述的基于语义级拓扑结构的点云特征提取方法，其特征在于，所述提取各所述点集的特征向量和全局特征，并对所述特征向量和所述全局特征进行融合，得到所述点集的嵌入向量，包括：
将所述点集输入至点云网络模型，得到所述点集的特征向量；
将所述点集输入至自注意力网络模型，得到所述点集的全局特征；
将所述特征向量和所述全局特征进行特征拼接并输入至多层感知器，得到所述点集的嵌入向量。
3.根据权利要求1所述的基于语义级拓扑结构的点云特征提取方法，其特征在于，所述根据所述注意力系数和所述邻接点集的所述嵌入向量，确定所述点集的拓扑结构特征向量，包括：
将所述注意力系数进行归一化处理，并和所述邻接点集的所述嵌入向量相乘，聚合更新所述点集的节点特征；
由激活函数激活所述节点特征，得到语义级别的所述点集的拓扑结构特征向量。
4.根据权利要求3所述的基于语义级拓扑结构的点云特征提取方法，其特征在于，在计算所述点集和与之相邻的邻接点集的注意力系数之前，还包括：
构建Delaunay三角网，得到所述点集的二值邻接矩阵；
根据所述二值邻接矩阵确定所述点集的所述邻接点集。
5.根据权利要求1所述的基于语义级拓扑结构的点云特征提取方法，其特征在于，对所述嵌入向量和所述拓扑结构特征向量进行融合，确定所述点集的目标点云特征，包括：
将所述嵌入向量和所述拓扑结构特征向量拼接后输入至多层感知器，确定所述点集的目标点云特征。
6.一种基于语义级拓扑结构的点云特征提取***，其特征在于，包括：
点集获取模块，用于获取点云数据，并对所述点云数据进行局部聚类，得到多个点集；
嵌入向量获取模块，用于提取各所述点集的特征向量和全局特征，并对所述特征向量和所述全局特征进行融合，得到所述点集的嵌入向量；
拓扑结构特征向量获取模块，用于根据注意力系数计算公式，计算所述点集和与之相邻的邻接点集的注意力系数，并根据所述注意力系数和所述邻接点集的所述嵌入向量，确定所述点集的拓扑结构特征向量；
目标点云特征获取模块，用于对所述嵌入向量和所述拓扑结构特征向量进行融合，确定所述点集的目标点云特征；
所述注意力系数计算公式为：
其中，为所述注意力系数，/>为所述点集，/>为所述邻接点集，/>为共享参数，[/>||]表示对两个向量进行拼接，/>为所述点集与所述邻接点集的邻接特征，/>表示多层感知器，/>( )表示将高维特征映射到一个实数。
7.一种基于语义级拓扑结构的点云特征提取设备，其特征在于，包括存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述权利要求1至5中任意一项所述的基于语义级拓扑结构的点云特征提取方法中的步骤。
8.一种计算机可读存储介质，其特征在于，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时能够实现上述权利要求1至5中任意一项所述的基于语义级拓扑结构的点云特征提取方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410121594.5A CN117649530B (zh) | 2024-01-30 | 2024-01-30 | 基于语义级拓扑结构的点云特征提取方法、***及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410121594.5A CN117649530B (zh) | 2024-01-30 | 2024-01-30 | 基于语义级拓扑结构的点云特征提取方法、***及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117649530A CN117649530A (zh) | 2024-03-05 |
| CN117649530B true CN117649530B (zh) | 2024-04-23 |
Family
ID=90049955
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410121594.5A Active CN117649530B (zh) | 2024-01-30 | 2024-01-30 | 基于语义级拓扑结构的点云特征提取方法、***及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117649530B (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111814874A (zh) * | 2020-07-08 | 2020-10-23 | 东华大学 | 一种用于点云深度学习的多尺度特征提取增强方法及模块 |
| CN114241226A (zh) * | 2021-12-07 | 2022-03-25 | 电子科技大学 | 一种基于混合模型多邻域特征的三维点云语义分割方法 |
| CN114612660A (zh) * | 2022-03-01 | 2022-06-10 | 浙江工业大学 | 一种基于多特征融合点云分割的三维建模方法 |
| CN115019043A (zh) * | 2022-06-10 | 2022-09-06 | 华南理工大学 | 基于交叉注意力机制的图像点云融合三维目标检测方法 |
| CN115294563A (zh) * | 2022-07-21 | 2022-11-04 | 武汉大学 | 一种基于Transformer的增强了局部语义学习能力的3D点云分析方法及装置 |
| CN115375877A (zh) * | 2022-09-20 | 2022-11-22 | 广东工业大学 | 一种基于通道注意力机制的三维点云分类方法及装置 |
| CN116052159A (zh) * | 2023-02-17 | 2023-05-02 | 南京邮电大学 | 基于深度霍夫投票的3d物体识别***及其识别方法 |
| CN116258903A (zh) * | 2023-03-09 | 2023-06-13 | 北京工业大学 | 基于层次化图卷积网络和空间注意力机制的三维点云数据分类方法 |
| CN116363439A (zh) * | 2023-04-21 | 2023-06-30 | 北京石油化工学院 | 一种基于多头自注意力的点云分类方法、装置及设备 |
| CN116524197A (zh) * | 2023-06-30 | 2023-08-01 | 厦门微亚智能科技有限公司 | 一种结合边缘点和深度网络的点云分割方法、装置及设备 |
| CN116778156A (zh) * | 2023-06-05 | 2023-09-19 | 苏州大学 | 一种基于深度学习的三维测量分割方法 |
| CN116824533A (zh) * | 2023-07-14 | 2023-09-29 | 东北石油大学 | 一种基于注意力机制的远小目标点云数据特征增强方法 |
| WO2023185494A1 (zh) * | 2022-03-28 | 2023-10-05 | 苏州浪潮智能科技有限公司 | 一种点云数据识别方法、装置、电子设备及存储介质 |
| CN117218351A (zh) * | 2023-09-20 | 2023-12-12 | 河北工业大学 | 基于局部和全局上下文感知的三维点云语义分割方法 |
| CN117237643A (zh) * | 2023-11-01 | 2023-12-15 | 重庆数字城市科技有限公司 | 一种点云语义分割方法及*** |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12013457B2 (en) * | 2020-03-05 | 2024-06-18 | Uatc, Llc | Systems and methods for integrating radar data for improved object detection in autonomous vehicles |
| US20220148311A1 (en) * | 2022-01-24 | 2022-05-12 | Intel Corporation | Segment fusion based robust semantic segmentation of scenes |
-
2024
- 2024-01-30 CN CN202410121594.5A patent/CN117649530B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111814874A (zh) * | 2020-07-08 | 2020-10-23 | 东华大学 | 一种用于点云深度学习的多尺度特征提取增强方法及模块 |
| CN114241226A (zh) * | 2021-12-07 | 2022-03-25 | 电子科技大学 | 一种基于混合模型多邻域特征的三维点云语义分割方法 |
| CN114612660A (zh) * | 2022-03-01 | 2022-06-10 | 浙江工业大学 | 一种基于多特征融合点云分割的三维建模方法 |
| WO2023185494A1 (zh) * | 2022-03-28 | 2023-10-05 | 苏州浪潮智能科技有限公司 | 一种点云数据识别方法、装置、电子设备及存储介质 |
| CN115019043A (zh) * | 2022-06-10 | 2022-09-06 | 华南理工大学 | 基于交叉注意力机制的图像点云融合三维目标检测方法 |
| CN115294563A (zh) * | 2022-07-21 | 2022-11-04 | 武汉大学 | 一种基于Transformer的增强了局部语义学习能力的3D点云分析方法及装置 |
| CN115375877A (zh) * | 2022-09-20 | 2022-11-22 | 广东工业大学 | 一种基于通道注意力机制的三维点云分类方法及装置 |
| CN116052159A (zh) * | 2023-02-17 | 2023-05-02 | 南京邮电大学 | 基于深度霍夫投票的3d物体识别***及其识别方法 |
| CN116258903A (zh) * | 2023-03-09 | 2023-06-13 | 北京工业大学 | 基于层次化图卷积网络和空间注意力机制的三维点云数据分类方法 |
| CN116363439A (zh) * | 2023-04-21 | 2023-06-30 | 北京石油化工学院 | 一种基于多头自注意力的点云分类方法、装置及设备 |
| CN116778156A (zh) * | 2023-06-05 | 2023-09-19 | 苏州大学 | 一种基于深度学习的三维测量分割方法 |
| CN116524197A (zh) * | 2023-06-30 | 2023-08-01 | 厦门微亚智能科技有限公司 | 一种结合边缘点和深度网络的点云分割方法、装置及设备 |
| CN116824533A (zh) * | 2023-07-14 | 2023-09-29 | 东北石油大学 | 一种基于注意力机制的远小目标点云数据特征增强方法 |
| CN117218351A (zh) * | 2023-09-20 | 2023-12-12 | 河北工业大学 | 基于局部和全局上下文感知的三维点云语义分割方法 |
| CN117237643A (zh) * | 2023-11-01 | 2023-12-15 | 重庆数字城市科技有限公司 | 一种点云语义分割方法及*** |
Non-Patent Citations (5)
| Title |
|---|
| Laplacian Mesh Transformer: Dual Attention and Topology Aware Network for 3D Mesh Classification and Segmentation;Li X J, et al;European Conference on Computer Vision. Cham: Springer Nature Switzerland;20221022;第541-560页 * |
| MPCT: Multiscale Point Cloud Transformer With a Residual Network;Y. Wu, et al;IEEE Transactions on Multimedia;20231212;第3505-3516页 * |
| Pct: Point cloud transformer;Guo M H, et al;Computational Visual Media;20210410;第187-199页 * |
| Point transformer;Zhao H, et al;Proceedings of the IEEE/CVF international conference on computer vision;20211231;第16259-16268页 * |
| 基于激光点云语义分割的同时定位与地图构建;王梓辰;大连理工大学;20220115;第1-78页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117649530A (zh) | 2024-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Automatic building information model reconstruction in high-density urban areas: Augmenting multi-source data with architectural knowledge | |
| Kim et al. | Fully automated registration of 3D data to a 3D CAD model for project progress monitoring | |
| WO2024077812A1 (zh) | 基于点云语义分割与结构拟合的单体建筑三维重建方法 | |
| Xu et al. | Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor | |
| Tang et al. | Automatic reconstruction of as-built building information models from laser-scanned point clouds: A review of related techniques | |
| AU2014212188B2 (en) | Statistical point pattern matching technique | |
| Sohn et al. | An implicit regularization for 3D building rooftop modeling using airborne lidar data | |
| CN113808251B (zh) | 一种基于语义分割的稠密重建的方法、***、装置和介质 | |
| Hu et al. | Efficient and automatic plane detection approach for 3-D rock mass point clouds | |
| Wang et al. | Automatic segmentation of urban point clouds based on the Gaussian map | |
| CN110704652A (zh) | 基于多重注意力机制的车辆图像细粒度检索方法及装置 | |
| Ding et al. | Efficient vanishing point detection method in complex urban road environments | |
| Park et al. | Segmentation of Lidar data using multilevel cube code | |
| CN115457492A (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
| CN113192174A (zh) | 建图方法、装置及计算机存储介质 | |
| Ding et al. | Efficient vanishing point detection method in unstructured road environments based on dark channel prior | |
| CN115019163A (zh) | 基于多源大数据的城市要素识别方法 | |
| Guo et al. | SGLBP: Subgraph‐based local binary patterns for feature extraction on point clouds | |
| CN117593420A (zh) | 基于图像处理的平面图纸标注方法、装置、介质及设备 | |
| Keyvanfar et al. | Performance comparison analysis of 3D reconstruction modeling software in construction site visualization and mapping | |
| CN113704276A (zh) | 地图更新方法、装置、电子设备及计算机可读存储介质 | |
| Carrilho et al. | Extraction of building roof planes with stratified random sample consensus | |
| CN117649530B (zh) | 基于语义级拓扑结构的点云特征提取方法、***及设备 | |
| Xin et al. | Accurate and complete line segment extraction for large-scale point clouds | |
| Wu et al. | [Retracted] Intelligent City 3D Modeling Model Based on Multisource Data Point Cloud Algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |