CN116778156A - 一种基于深度学习的三维测量分割方法 - Google Patents
一种基于深度学习的三维测量分割方法 Download PDFInfo
- Publication number
- CN116778156A CN116778156A CN202310658391.5A CN202310658391A CN116778156A CN 116778156 A CN116778156 A CN 116778156A CN 202310658391 A CN202310658391 A CN 202310658391A CN 116778156 A CN116778156 A CN 116778156A
- Authority
- CN
- China
- Prior art keywords
- layer
- features
- point cloud
- receptive
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013135 deep learning Methods 0.000 title claims abstract description 28
- 238000005259 measurement Methods 0.000 title claims abstract description 25
- 238000005070 sampling Methods 0.000 claims abstract description 40
- 230000007246 mechanism Effects 0.000 claims abstract description 17
- 230000007480 spreading Effects 0.000 claims description 32
- 238000003064 k means clustering Methods 0.000 claims description 21
- 238000005457 optimization Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 abstract description 11
- 239000000284 extract Substances 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000007547 defect Effects 0.000 description 3
- 238000012625 in-situ measurement Methods 0.000 description 3
- 238000011065 in-situ storage Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011326 mechanical measurement Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开了一种基于深度学习的三维测量分割方法,使用深度模型自动分割识别工件点云,在深度学习网络模型上,为了将全局特征和局部特征融合学习,深度学习网络模型基于特征融合的思想,使用U‑Net网络结构,在采样层使用基于点云相似度的差异度下采样,旨在解决选取编码层每层特征最为突出的感受域来学习点云特征的问题;深度学习网络模型通过自注意力机制提取优化感受域局部特征,借鉴多层感知机混合器里的空间混合多层感知机建立感受域之间的全局联系提取感受域全局特征,在此基础上通过卷积网络进行局部特征和全局特征的特征融合学习,以提高工件点云自动识别分割的准确性。
Description
技术领域
本申请涉及三维测量这一领域,更具体地说,尤其涉及一种基于深度学习的三维测量分割方法。
背景技术
在三维测量中,通常需要测量的参数包括物体或场景的三维坐标、尺寸、形状、曲率、倾斜度、表面质量等,这些参数可以通过不同的测量方法来获取。但使用卡尺、游标卡尺、螺旋测微计等设备的接触式机械测量需要很大的人工和时间成本;基于结构光的非接触式三维测量方法可以简单、快速且大批量的测量物体的三维坐标和表面形状等信息,非常适用于在位加工的测量。然而非接触式三维测量得到的点云除了我们所需要的工件点云外,定位夹具、底座平台等也会被扫描出来,因此,点云分割是三维点云测量时的重要预处理过程,点云分割的精确度影响着后续拼接、重建以及加工的精度。
点云分割是指将三维点云按照预设的标准进行分类和分割成多个子点集的过程。目前,常见的点云分割方法包括传统的基于几何形状和拓扑结构的方法和基于深度学习的方法。传统点云分割稳定性好,能够处理高密度点云数据,并且对于简单场景可达到较高的分割精度;但是需要调节很多参数,且对噪音敏感、对不同形状的点云难以适应、对点密度变化敏感、不能处理点云之间的复杂关系,需要的人工成本比较大。近年来深度学习技术的发展已经在一定程度上解决了这些问题。深度学习点云分割是将点云输入到深度学习网络中即可得到每个点的预测分类,它准确性高、处理速度快,适用于复杂场景、能够处理大规模数据,且大大减少了使用时的人工成本。然而,现有的网络模型大多依赖点云空间坐标关系选取感受域来学习点云特征,随着提取特征维度的增加,只考虑空间坐标关系并不能选取特征最为突出的感受域进行学习,并且在此基础上也只强调学习了感受域的局部特征。如何全面的学习点云特征,兼顾全局特征和局部特征,网络模型的设计仍有待提升。
发明内容
本申请的目的在于针对上述现有技术的不足,提出一种基于深度学习的三维测量分割算法。
本申请提出的基于深度学习的三维测量分割算法,使用深度模型自动分割识别工件点云,在深度学习网络模型上,为了将全局特征和局部特征融合学习,深度学习网络模型基于特征融合的思想,使用U-Net网络结构,在采样层使用基于点云相似度的差异度下采样,旨在解决选取编码层每层特征最为突出的感受域来学习点云特征的问题;深度学习网络模型通过自注意力机制提取优化感受域局部特征,借鉴多层感知机混合器里的空间混合多层感知机建立感受域之间的全局联系提取感受域全局特征,在此基础上通过卷积网络进行局部特征和全局特征的特征融合学习,以提高工件点云自动识别分割的准确性。
本申请的技术方案为:
一种基于深度学习的三维测量分割方法,包括以下步骤:
步骤1,使用结构光扫描仪扫描工件场景点云,并利用输入嵌入层进行输入嵌入得到模型输入的原始点云;
步骤2,先使用采样层和分组层提取当前输入点云的感受域,再通过邻域自注意力层提取和优化感受域的局部特征,然后通过空间混合多层感知机提取感受域全局特征,最后通过2D卷积层将感受域局部特征和全局特征交互提取得到一层编码层特征;
步骤3,将上一层编码层特征作为输入,再次重复步骤2的编码操作两次得到整个点云的编码特征;
步骤4,先将整个点云的编码特征通过邻域自注意力层优化,拼接到对应层的编码特征上,然后将拼接特征通过特征传播层解码得到一层解码层特征;
步骤5,将上一层解码层特征作为输入,再次重复步骤4的解码操作两次直到将解码层特征拼接到最初的原始点云进行解码,获得点云每个点的解码层特征;
步骤6,利用全连接网络得到点云中每个点的预测分类,实现分割任务。
进一步,所述步骤1具体包括:
步骤1.1,扫描得到的点云的集合为P=(p0,p1,…,pn-1)∈R3,每个点包含(x,y,z,nx,ny,nz,R,G,B)三维坐标、法向量信息和颜色信息;
步骤1.2,使用输入嵌入层对扫描点云进行输入嵌入使点云的特征维度扩充到32维,输入嵌入层为线性层和多头自注意力层。
进一步,所述步骤2具体包括:
步骤2.1,先使用采样层提取感受域中心点,然后使用分组层提取感受域中心点的近邻点构成感受域,采样层使用差异度下采样,分组层使用K均值聚类算法;
步骤2.2,使用邻域自注意力层提取和优化感受域的局部特征,通过自注意力机制建立感受域内近邻点之间的联系调整特征权重实现提取和优化感受域的局部特征;
步骤2.3,使用空间混合多层感知机提取感受域全局特征,通过线性变换建立所有感受域之间的联系,提取感受域全局特征;
步骤2.4,使用2D卷积层将感受域局部特征和全局特征交互提取得到一层编码层特征。
进一步,所述步骤3具体包括:
步骤3.1,将通过输入嵌入的特征定义为原始点云特征;
步骤3.2,遵循U-Net结构,编码层需进行三次,三层编码层采样的感受域个数分别为512,128,1;感受域半径分别为0.2,0.4,1;近邻点数分别为32,64,128;提取的特征维度分别为128,256,1024;三层感受域分别定义为感受域1、感受域2和感受域3。得到的编码特征分别定义为编码特征1、编码特征2和编码特征3;
步骤3.2.1,搜索近邻点时,当感受域内的近邻点的个数不够时,则重复第一个点的坐标。
进一步,所述步骤4具体包括:
步骤4.1,利用K均值聚类算法搜索感受域2最近的3个感受域3,并通过邻域自注意力层对感受域3的编码特征3进行特征优化,然后与感受域2的编码特征2进行拼接;
步骤4.2,利用特征传播层对拼接的点云特征进行解码传播到感受域2上,得到解码特征1。
进一步,所述步骤5具体包括:
步骤5.1,在第一层解码的基础上进行第二层解码;
步骤5.1.1,利用K均值聚类算法搜索感受域1最近的3个感受域2,并通过邻域自注意力层对感受域2的解码特征1进行特征优化,然后与感受域1的编码特征1进行拼接;
步骤5.1.2,利用特征传播层对拼接的点云特征进行解码传播到感受域1上,得到解码特征2;
步骤5.2,在第二层解码的基础上进行第三层解码;
步骤5.2.1,利用K均值聚类算法搜索输入点云最近的3个感受域1,并通过邻域自注意力层对感受域1的解码特征2进行特征优化,然后与原始点云特征进行拼接;
步骤5.2.2,利用特征传播层对拼接的点云特征进行解码传播到原始点云上,得到解码特征3。
进一步,所述步骤6具体包括:
步骤6.1,最后利用全连接网络得到点云中每一个点的预测分类,并按照每个点的类别进行分割,实现分割任务。
一种基于深度学习的三维测量分割方法,包括以下步骤:
步骤1,使用结构光扫描仪扫描工件,得到模型输入的原始点云;
步骤2,对于输入的点云数据,使用多头自注意力机制进行输入嵌入,将输入的特征维度扩充得到32维原始输入特征;
步骤3:基于输入的点云数据,使用采样模块选取感受域中心点:
1)采样层:使用差异度下采样法对原始点云进行下采样得到感受域中心点,差异度下采样步骤如下:
1.设定一个采样点集S,用于存放采样点;
2.计算点云每个点之间的cosine相似度,并取与其他点平均差异度最大的点作为初始采样点;
其中,cosine相似度以及差异度Difference采用下式计算:
Difference=θ(1-Cosine(x,y))
xi,yi表示任意第i个采样点的坐标;
其中θ为差异度因子,默认为0.5。
3.在剩余点云中选取与已采样的子点云平均差异度最大的点;
4.将差异度最大的点加入采样点集S中;
5.重复步骤3和4,直到采样点集S的成员个数满足采样点数;
2)分组层:利用K均值聚类算法搜索以感受域中心点为球心,半径为R的球域内的近邻点,构造感受域;
步骤3:基于采样分组模块构造的感受域,使用邻域自注意力机制提取感受域内近邻点的特征作为局部特征,并通过空间混合多层感知机建立感受域之间的联系提取全局特征,最后通过由三层2D卷积将局部特征和全局特征融合提取得到编码层特征。
步骤4:遵循U-Net结构,编码层需进行三次,三层编码层采样的感受域个数分别为512,128,1;感受域半径分别为0.2,0.4,1;近邻点数分别为32,64,128;提取的特征维度分别为128,256,1024。三层感受域分别定义为感受域1、感受域2和感受域3。得到的编码特征分别定义为编码特征1、编码特征2和编码特征3;
步骤5:利用K均值聚类算法搜索感受域2最近的3个感受域3,并通过邻域自注意力层对感受域3的编码特征3进行特征优化,然后与感受域2的编码特征2进行拼接;利用特征传播层对拼接的点云特征进行解码传播到感受域2上,得到256维的解码特征1;
步骤6:利用K均值聚类算法搜索感受域1最近的3个感受域2,并通过邻域自注意力层对感受域2的解码特征1进行特征优化,然后与感受域1的编码特征1进行拼接;利用特征传播层对拼接的点云特征进行解码传播到感受域1上,得到128维的解码特征2;
步骤7:利用K均值聚类算法搜索输入点云最近的3个感受域1,并通过邻域自注意力层对感受域1的解码特征2进行特征优化,然后与原始点云特征进行拼接;利用特征传播层对拼接的点云特征进行解码传播到原始点云上,得到128维的解码特征3;
步骤8:最后利用全连接网络得到点云中每一个点的预测分类,并按照每个点的类别进行分割,实现分割任务。
本申请的有益效果在于:
第一,针对三维测量后人工识别工件点云的时间成本大的问题,本发明使用深度模型自动分割识别工件点云;在深度学习网络模型上,针对现有网络模型对全局特征学习的欠缺,本发明的网络模型基于特征融合的思想,将全局特征和局部特征融合学习;使用U-Net网络结构,在采样层使用基于点云相似度的差异度下采样,旨在解决选取编码层每层特征最为突出的感受域来学习点云特征的问题;网络模型通过自注意力机制提取优化感受域局部特征,借鉴多层感知机混合器里的空间混合多层感知机建立感受域之间的全局联系提取感受域全局特征,在此基础上通过卷积网络进行局部特征和全局特征特征融合学习,以提高工件点云自动识别分割的准确性。
第二,本申请的方法具有普适性,也可以运用于其他深度学习模型中。此外,此前没有将多层感知机混合器应用于点云领域的深度学习的网络模型,多层感知机混合器中的空间混合多层感知机在数量通道进行线性变换,充分考虑到了点云的全局特征,弥补了U-Net结构对于全局特征的欠缺。改进后的网络模型可以更加快速高效的实现工件的分割与提取,该发明适用于在位测量场景的工件分割。
附图说明
下面结合附图中的实施例对本申请作进一步的详细说明,但并不构成对本申请的任何限制。
图1为三维测量分割模型结构图。
图2为U-Net结构图。
图3为输入嵌入层的多头自注意力机制。
图4为编码层和解码层的邻域自注意力层。
图5为编码层局部特征和全局特征交互融合特征提取示意图。
图6为解码层结构图。
图7为在位测量工件分割部分显示效果图。
具体实施方式
下面结合附图,通过实施例对本发明作进一步地描述。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。以下结合附图对本发明的实施详细说明,但本发明的保护范围不限于下述的实施例。
图1和图2分别示意出了三维测量分割模型结构图和U-Net结构图,使用该模型实现分类以及分割任务的具体过程如下:
步骤1:对于输入的点云数据,使用多头自注意力机制进行输入嵌入,将输入的特征维度扩充得到32维原始输入特征。
步骤2:基于输入的点云数据,使用采样模块选取感受域中心点。
1)采样层:使用差异度下采样法对原始点云进行下采样得到感受域中心点。差异度下采样步骤如下:
1.设定一个采样点集S,用于存放采样点。
2.计算点云每个点之间的cosine相似度,并取与其他点平均差异度最大的点作为初始采样点;
3.在剩余点云中选取与已采样的子点云平均差异度最大的点;
4.将差异度最大的点加入采样点集S中;
5.重复步骤3和4,直到采样点集S的成员个数满足采样点数。
Cosine相似度算子以及差异度算子如下所示:
Difference=θ(1-Cosine(x,y))
其中,xi,yi表示任意第i个采样点的坐标;
其中θ为差异度因子,默认为0.5。
2)分组层:利用K均值聚类算法搜索以感受域中心点为球心,半径为R的球域内的近邻点,构造感受域。
步骤3:基于采样分组模块构造的感受域,使用邻域自注意力机制提取感受域内近邻点的特征作为局部特征,并通过空间混合多层感知机建立感受域之间的联系提取全局特征,最后通过由三层2D卷积将局部特征和全局特征融合提取得到编码层特征。
步骤4:遵循U-Net结构,编码层需进行三次,三层编码层采样的感受域个数分别为512,128,1;感受域半径分别为0.2,0.4,1;近邻点数分别为32,64,128;提取的特征维度分别为128,256,1024。三层感受域分别定义为感受域1、感受域2和感受域3。得到的编码特征分别定义为编码特征1、编码特征2和编码特征3;
步骤5:利用K均值聚类算法搜索感受域2最近的3个感受域3,并通过邻域自注意力层对感受域3的编码特征3进行特征优化,然后与感受域2的编码特征2进行拼接;利用特征传播层对拼接的点云特征进行解码传播到感受域2上,得到256维的解码特征1;
步骤6:利用K均值聚类算法搜索感受域1最近的3个感受域2,并通过邻域自注意力层对感受域2的解码特征1进行特征优化,然后与感受域1的编码特征1进行拼接;利用特征传播层对拼接的点云特征进行解码传播到感受域1上,得到128维的解码特征2;
步骤7:利用K均值聚类算法搜索输入点云最近的3个感受域1,并通过邻域自注意力层对感受域1的解码特征2进行特征优化,然后与原始点云特征进行拼接;利用特征传播层对拼接的点云特征进行解码传播到原始点云上,得到128维的解码特征3;
步骤8:最后利用全连接网络得到点云中每一个点的预测分类,并按照每个点的类别进行分割,实现分割任务。
图3为输入嵌入层的多头自注意力机制,用于输入嵌入,增加和优化输入特征。
点初始信息包括每个点的绝对位置(x,y,z),有些还包括颜色信息(R,G,B)和法向量信息(Nx,Ny,Nz),因此输入数据为N个点的初始信息形成的N×C矩阵。点云由于其稀疏性,无法体现点与点之间的联系。为了有效地提取点初始的全局特征,输入嵌入层通过线性层和多头自注意力机制处理点云数据:线性层可以拓展特征维度,本文将特征拓展为32维,多头自注意力机制能够联系全部的点集,对输入点集进行全局特征方面的特征增强。多头自注意力算子如下所示:
Headi=Attention(XQWQ,XKWK,XVWV)
MutiHead(Q,K,V)=Concat(Head1,Head2,…,Headh)WO
其中Q,K,V分别为输入特征经过线性层得到的查询向量,键向量和值向量。查询向量,键向量和值向量首先输入到放缩点积注意力,做h次注意,也就是所谓的多头,每一次算一个头,头之间参数不共享,每次查询向量,键向量和值向量进行线性变换的参数W是不一样的。然后将h次的放缩点积注意力结果进行拼接,再进行一次线性变换得到的值作为多头自注意力的结果。可以看到,多头自注意力的不同之处在于进行了h次计算而不仅仅算一次,可以允许模型在不同的表示子空间里学习到相关的信息。
图4为编码层和解码层的邻域自注意力层。
自注意力机制可以自适应地学习不同特征之间的相关性和不同特征的重要性,并通过反向传播学习算法,为不同特征分配权重,实现提取特征的增强。我们的输入为经过采样和分组的感受域特征。我们通过减法关系和线性层自适应学习感受域内近邻点的查询向量Q和键向量K之间的联系,注意力因子调节分子的内积,然后由归一化指数函数softmax归一权重矩阵,调整近邻点的值向量V的特征:
在邻域自注意力中,Q是感受域中心点特征,K和V为感受域近邻点的键向量和值向量特征,中间加入了相对位置编码δ,用于计算中心点与近邻点的关联权重矩阵以增强点云的局部特征。相对位置编码δ算子如下所示:
δ=θ(p)
其中p是感受域近邻点相对于感受域中心点的相对坐标。编码函数δ是具有两个线性层和一个激活函数。
图5为编码层局部特征和全局特征交互融合特征提取流程图。
编码器对数据格式为N×C的输入点云采样M个特征最突出的点组成数据格式为M×C的子点云,再搜索子点云每个点最近的K个点组成M个感受域,得到数据格式为M×K×C的感受域点云;然后通过邻域自注意力层在近邻点数量K维度上提取感受域局部特征;接着在感受域数量M维度上通过两层线性层和激活函数将感受域数量维度放大四倍再还原,并加上一层残差,即空间混合多层感知机,建立感受域之间的联系提取感受域全局特征;最后再在特征维度C上用3层2D卷积层融合局部特征和全局特征,获得数据格式为M×K×D的编码特征。
图6为解码层结构图。
解码器利用K均值聚类算法搜索对应感受域最近的3个当前感受域,并通过邻域自注意力层对当前感受域的编码特征进行特征优化,然后与对应感受域的编码特征进行拼接;最后利用特征传播层对拼接的点云特征进行解码传播到对应感受域上,得到解码特征;特征传播层为包含卷积核为1×1的卷积、归一化函数以及激活函数的2D卷积层。
本分割模型在位测量工件场景分割结果如图7所示,可以看出本发明可以精确的分割出工件,误分割率很小,证实了本发明的有效性。
本发明在公共部件分割数据集ShapeNetPart和实际测量的在位测量工件场景分割数据集上分别进行部件分割和场景分割实验,并与PointNet以及使用U-Net结构的PointNet++网络模型进行比较,实验结果如表1和表2所示。实验结果表明,和PointNet与PointNet++相比,本发明提出的方法在分割精度上有较大的提高。
表1:在ShapeNetPart数据集上的分割结果
表2:在在位测量工件场景分割数据集上的分割结果
方法 | 总体正确率(%) | 平均实例交并比(%) |
PointNet | 79.0 | 38.0 |
PointNet++ | 99.7 | 96.3 |
本申请的模型 | 99.8 | 96.7 |
综上所述,本发明使用深度模型自动分割识别工件点云,在深度学习网络模型上基于特征融合的思想,使用U-Net网络结构,在采样层使用基于点云相似度的差异度下采样;通过自注意力机制提取优化感受域局部特征,借鉴多层感知机混合器里的空间混合多层感知机建立感受域之间的全局联系提取感受域全局特征,在此基础上通过卷积网络进行局部特征和全局特征融合学习,提高了分割的准确性,并在实际测量应用中得到较好的分割效果。
以上所举实施例为本申请的较佳实施方式,仅用来方便说明本申请,并非对本申请作任何形式上的限制,任何所属技术领域中具有通常知识者,若在不脱离本申请所提技术特征的范围内,利用本申请所揭示技术内容所作出局部更动或修饰的等效实施例,并且未脱离本申请的技术特征内容,均仍属于本申请技术特征的范围内。
Claims (8)
1.一种基于深度学习的三维测量分割方法,其特征在于,包括以下步骤:
步骤1,使用深度模型自动分割识别工件点云;
步骤2,先使用采样层和分组层提取当前输入点云的感受域,再通过邻域自注意力层提取和优化感受域的局部特征,然后通过空间混合多层感知机提取感受域全局特征,最后通过2D卷积层将感受域局部特征和全局特征交互提取得到一层编码层特征;
步骤3,将上一层编码层特征作为输入,再次重复步骤2的编码操作两次得到整个点云的编码特征;
步骤4,先将整个点云的编码特征通过邻域自注意力层优化,拼接到对应层的编码特征上,然后将拼接特征通过特征传播层解码得到一层解码层特征;
步骤5,将上一层解码层特征作为输入,再次重复步骤4的解码操作两次直到将解码层特征拼接到最初的原始点云进行解码,获得点云每个点的解码层特征;
步骤6,利用全连接网络得到点云中每个点的预测分类,实现分割任务。
2.根据权利要求1所述的一种基于深度学习的三维测量分割方法,其特征在于,所述步骤1包括:使用结构光扫描仪扫描工件场景点云,并利用输入嵌入层进行输入嵌入得到模型输入的原始点云;
包括以下子步骤:
步骤1.1,扫描得到的点云的集合为P=(p0,p1,…,pn-1)∈R3,每个点包含(x,y,z,nx,ny,nz,R,G,B)三维坐标、法向量信息和颜色信息;
步骤1.2,使用输入嵌入层对扫描点云进行输入嵌入使点云的特征维度扩充到32维,输入嵌入层为线性层和多头自注意力层。
3.根据权利要求1所述的一种基于深度学习的三维测量分割方法,其特征在于,所述步骤2包括以下子步骤:
步骤2.1,先使用采样层提取感受域中心点,然后使用分组层提取感受域中心点的近邻点构成感受域,采样层使用差异度下采样,分组层使用K均值聚类算法;
步骤2.2,使用邻域自注意力层提取和优化感受域的局部特征,通过自注意力机制建立感受域内近邻点之间的联系调整特征权重实现提取和优化感受域的局部特征;
步骤2.3,使用空间混合多层感知机提取感受域全局特征,通过线性变换建立所有感受域之间的联系,提取感受域全局特征;
步骤2.4,使用2D卷积层将感受域局部特征和全局特征交互提取得到一层编码层特征。
4.根据权利要求1所述的一种基于深度学习的三维测量分割方法,其特征在于,所述步骤3包括以下子步骤:
步骤3.1,将通过输入嵌入的特征定义为原始点云特征;
步骤3.2,遵循U-Net结构,编码层需进行三次,三层编码层采样的感受域个数分别为512,128,1;感受域半径分别为0.2,0.4,1;近邻点数分别为32,64,128;提取的特征维度分别为128,256,1024;三层感受域分别定义为感受域1、感受域2和感受域3;得到的编码特征分别定义为编码特征1、编码特征2和编码特征3;
步骤3.2.1,搜索近邻点时,当感受域内的近邻点的个数不够时,则重复第一个点的坐标。
5.根据权利要求1所述的一种基于深度学习的三维测量分割方法,其特征在于,所述步骤4包括以下子步骤:
步骤4.1,利用K均值聚类算法搜索感受域2最近的3个感受域3,并通过邻域自注意力层对感受域3的编码特征3进行特征优化,然后与感受域2的编码特征2进行拼接;
步骤4.2,利用特征传播层对拼接的点云特征进行解码传播到感受域2上,得到解码特征1。
6.根据权利要求1所述的一种基于深度学习的三维测量分割方法,其特征在于,所述步骤5具体包括以下子步骤:
步骤5.1,在第一层解码的基础上进行第二层解码;
步骤5.1.1,利用K均值聚类算法搜索感受域1最近的3个感受域2,并通过邻域自注意力层对感受域2的解码特征1进行特征优化,然后与感受域1的编码特征1进行拼接;
步骤5.1.2,利用特征传播层对拼接的点云特征进行解码传播到感受域1上,得到解码特征2;
步骤5.2,在第二层解码的基础上进行第三层解码;
步骤5.2.1,利用K均值聚类算法搜索输入点云最近的3个感受域1,并通过邻域自注意力层对感受域1的解码特征2进行特征优化,然后与原始点云特征进行拼接;
步骤5.2.2,利用特征传播层对拼接的点云特征进行解码传播到原始点云上,得到解码特征3。
7.根据权利要求1所述的一种基于深度学习的三维测量分割方法,其特征在于,所述步骤6包括:最后利用全连接网络得到点云中每一个点的预测分类,并按照每个点的类别进行分割,实现分割任务。
8.一种基于深度学习的三维测量分割方法,其技术特征在于,包括以下步骤:
步骤1,使用结构光扫描仪扫描工件,得到模型输入的原始点云;
步骤2,对于输入的点云数据,使用多头自注意力机制进行输入嵌入,将输入的特征维度扩充得到32维原始输入特征;
步骤3:基于输入的点云数据,使用采样模块选取感受域中心点:
1)采样层:使用差异度下采样法对原始点云进行下采样得到感受域中心点,差异度下采样步骤如下:
1.设定一个采样点集S,用于存放采样点;
2.计算点云每个点之间的cosine相似度,并取与其他点平均差异度最大的点作为初始采样点;
其中,cosine相似度以及差异度Difference采用下式计算:
Difference=θ(1-Cosine(x,y))
其中,xi,yi表示任意第i个采样点的坐标;
其中,θ为差异度因子,为0.5;
3.在剩余点云中选取与已采样的子点云平均差异度最大的点;
4.将差异度最大的点加入采样点集S中;
5.重复步骤3和4,直到采样点集S的成员个数满足采样点数;
2)分组层:利用K均值聚类算法搜索以感受域中心点为球心,半径为R的球域内的近邻点,构造感受域;
步骤3:基于采样分组模块构造的感受域,使用邻域自注意力机制提取感受域内近邻点的特征作为局部特征,并通过空间混合多层感知机建立感受域之间的联系提取全局特征,最后通过由三层2D卷积将局部特征和全局特征融合提取得到编码层特征;
步骤4:遵循U-Net结构,编码层需进行三次,三层编码层采样的感受域个数分别为512,128,1;感受域半径分别为0.2,0.4,1;近邻点数分别为32,64,128;提取的特征维度分别为128,256,1024;三层感受域分别定义为感受域1、感受域2和感受域3;得到的编码特征分别定义为编码特征1、编码特征2和编码特征3;
步骤5:利用K均值聚类算法搜索感受域2最近的3个感受域3,并通过邻域自注意力层对感受域3的编码特征3进行特征优化,然后与感受域2的编码特征2进行拼接;利用特征传播层对拼接的点云特征进行解码传播到感受域2上,得到256维的解码特征1;
步骤6:利用K均值聚类算法搜索感受域1最近的3个感受域2,并通过邻域自注意力层对感受域2的解码特征1进行特征优化,然后与感受域1的编码特征1进行拼接;利用特征传播层对拼接的点云特征进行解码传播到感受域1上,得到128维的解码特征2;
步骤7:利用K均值聚类算法搜索输入点云最近的3个感受域1,并通过邻域自注意力层对感受域1的解码特征2进行特征优化,然后与原始点云特征进行拼接;利用特征传播层对拼接的点云特征进行解码传播到原始点云上,得到128维的解码特征3;
步骤8:最后利用全连接网络得到点云中每一个点的预测分类,并按照每个点的类别进行分割,实现分割任务。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310658391.5A CN116778156A (zh) | 2023-06-05 | 2023-06-05 | 一种基于深度学习的三维测量分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310658391.5A CN116778156A (zh) | 2023-06-05 | 2023-06-05 | 一种基于深度学习的三维测量分割方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116778156A true CN116778156A (zh) | 2023-09-19 |
Family
ID=87988860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310658391.5A Pending CN116778156A (zh) | 2023-06-05 | 2023-06-05 | 一种基于深度学习的三维测量分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116778156A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117649530A (zh) * | 2024-01-30 | 2024-03-05 | 武汉理工大学 | 基于语义级拓扑结构的点云特征提取方法、***及设备 |
-
2023
- 2023-06-05 CN CN202310658391.5A patent/CN116778156A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117649530A (zh) * | 2024-01-30 | 2024-03-05 | 武汉理工大学 | 基于语义级拓扑结构的点云特征提取方法、***及设备 |
CN117649530B (zh) * | 2024-01-30 | 2024-04-23 | 武汉理工大学 | 基于语义级拓扑结构的点云特征提取方法、***及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107679250B (zh) | 一种基于深度自编码卷积神经网络的多任务分层图像检索方法 | |
CN109800648B (zh) | 基于人脸关键点校正的人脸检测识别方法及装置 | |
CN104090972B (zh) | 用于三维城市模型检索的图像特征提取和相似性度量方法 | |
CN109375186B (zh) | 基于深度残差多尺度一维卷积神经网络的雷达目标识别方法 | |
CN102254015B (zh) | 基于视觉词组的图像检索方法 | |
CN109784197B (zh) | 基于孔洞卷积与注意力学习机制的行人再识别方法 | |
CN110930452B (zh) | 一种基于自监督学习与模板匹配的物***姿估计方法 | |
CN111652273B (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
CN107169117B (zh) | 一种基于自动编码器和dtw的手绘图人体运动检索方法 | |
CN103714148B (zh) | 基于稀疏编码分类的sar图像检索方法 | |
CN112287839A (zh) | 一种基于迁移学习的ssd红外图像行人检测方法 | |
Wang et al. | 2D affine-invariant contour matching using B-spline model | |
CN106780639B (zh) | 基于显著性特征稀疏嵌入和极限学习机的哈希编码方法 | |
CN114510772B (zh) | 基于斜扫数据建筑面轮廓的快速生成方法 | |
CN116778156A (zh) | 一种基于深度学习的三维测量分割方法 | |
CN112085072A (zh) | 基于时空特征信息的草图检索三维模型的跨模态检索方法 | |
CN113269224A (zh) | 一种场景图像分类方法、***及存储介质 | |
CN116665053B (zh) | 顾及阴影信息的高分辨遥感影像建筑物识别方法及*** | |
CN112819080A (zh) | 一种高精度通用的三维点云识别方法 | |
CN115471636A (zh) | 虚拟场景确定方法及装置 | |
CN111401434A (zh) | 一种基于无监督特征学习的图像分类方法 | |
CN114332172A (zh) | 一种基于协方差矩阵改进的激光点云配准方法 | |
Ma | Improving SAR target recognition performance using multiple preprocessing techniques | |
CN117036425A (zh) | 点云分级决策配准方法、***、设备及介质 | |
CN116129118B (zh) | 基于图卷积的城市场景激光LiDAR点云语义分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |