CN111738086A - 用于点云分割的构图方法、***及点云分割***、装置 - Google Patents
用于点云分割的构图方法、***及点云分割***、装置 Download PDFInfo
- Publication number
- CN111738086A CN111738086A CN202010442397.5A CN202010442397A CN111738086A CN 111738086 A CN111738086 A CN 111738086A CN 202010442397 A CN202010442397 A CN 202010442397A CN 111738086 A CN111738086 A CN 111738086A
- Authority
- CN
- China
- Prior art keywords
- dimension
- similarity
- signal
- point cloud
- sampling point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 94
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000005070 sampling Methods 0.000 claims abstract description 105
- 238000013528 artificial neural network Methods 0.000 claims abstract description 48
- 230000004927 fusion Effects 0.000 claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000010276 construction Methods 0.000 claims abstract description 14
- 238000012163 sequencing technique Methods 0.000 claims abstract description 14
- 230000035772 mutation Effects 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 51
- 230000015654 memory Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000000059 patterning Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 241000274965 Cyrestis thyodamas Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000002910 structure generation Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于点云分割的构图方法、***及点云分割***、装置,该方法包括:在点云数据中选择一个中心采样点信号,计算与其它采样点信号之间的整体相似度,以此排序得到邻居序列,并计算基准值;捕捉基准值代表的点云数据的数字特征,计算得到阈值;根据基准值及阈值来计算逐维度相似度,捕捉整体相似度无法衡量的信号突变结构信息;融合整体相似度与逐维度相似度,得到融合相似度并排序,选取融合相似度最高的K个点,作为中心点最近邻的K个邻居进行构图。该分割***包括:图卷积神经网络的构建单元、图卷积神经网络的训练单元及点云数据分割单元。通过本发明,可以节约工作量和时间,并且能显著提高物体连接处点的分类准确率。
Description
技术领域
本发明涉及多媒体信号处理技术领域,特别涉及一种用于点云分割的构图方法、***及点云分割***、装置。
背景技术
点云作为一种有效的三维物体表征工具,具有高度的灵活性和可伸缩性,近年来得到了广泛的关注和研究。作为多媒体信号处理领域中的热点,点云处理具有广阔的研究前景,点云分割更是点云处理领域中的研究重点,被广泛应用于机器人感知、动态环境建模和自动驾驶等应用。由于具有不规则和无序的特征,点云数据适合用图结构来刻画,以图中节点对应点云数据中的点,图中的边对应点云数据中点之间的关系。图卷积神经网络通过设计有效的相似度度量或利用谱图卷积,模拟了传统卷积神经网络中的卷积操作,分别对应空域和谱域图卷积神经网络。它们综合了图结构对点云的表示能力以及卷积网络对高维信号强大的特征学习能力,在点云分割等任务中取得了可观的成果。
根据点云数据产生合理的图结构,与后续图卷积操作的设计,对于最终点云分割的准确率具有同样重要的影响。经过对现有技术的文献检索发现,现有工作的重点主要集中于对图卷积操作的设计,普遍采用传统的K最近邻算法生成K最近邻图作为图卷积网络的输入。在K最近邻算法中,采用信号的二范数距离作为相似度的唯一评判标准,忽视了点云信号中蕴含的结构化信息,例如某些维度上的信号突变。这些结构化信息往往在点云分割任务中发挥着重要的作用,例如物体连接处点的分类。此外,由于点云数据分批次输入图卷积神经网络,新兴的用于大规模图结构生成的图学习算法无法应用在点云数据上。
发明内容
本发明针对上述现有技术中存在的问题,提出一种用于点云分割的构图方法、***及点云分割***、装置,节约人为参数设计的工作量和时间,更好地捕捉结构化信息,并且能显著提高物体连接处点的分类准确率。
为解决上述技术问题,本发明是通过如下技术方案实现的:
本发明提供一种用于点云分割的构图方法,其包括:
S11:在点云数据中选择一个中心采样点信号,计算与其它采样点信号之间的整体相似度,以此排序得到邻居序列,并计算所述中心采样点信号与其最近邻居的各维度信号差值作为基准值;
S12:捕捉所述S11得到的基准值代表的点云数据的数字特征,计算得到阈值来衡量信号差值之间的相似程度;
S13:根据所述S11得到的基准值以及所述S12得到的阈值来计算中心采样点信号与其它采样点信号之间的逐维度相似度,捕捉整体相似度无法衡量的信号突变结构信息;
S14:融合所述整体相似度与逐维度相似度,得到融合相似度并排序,选取融合相似度最高的K个点,作为中心点最近邻的K个邻居进行构图。
较佳地,所述S11进一步包括:
在点云数据中选择一个中心采样点信号,采用距离度量,综合信号的所有维度分量,获得所述中心采样点与其它采样点信号的整体相似度,并利用指数运算将所述整体相似度的值归一化到0至1之间;
较佳地,所述S11中的距离度量中的距离为二范数距离;进一步地,
在点云数据中选择一个中心采样点信号,采用距离度量,综合信号的所有维度分量,获得所述中心采样点与其它采样点信号的整体相似度,并利用指数运算将所述整体相似度的值归一化到0至1之间具体为:
较佳地,所述S12进一步包括:
考察所述中心采样点信号所有邻居的所有信号维度:对于邻居中任一采样点信号,若与中心采样点信号在某维度上的差值与基准值同为正值或同为负值,且在基准值的预设偏差范围内,则计算该维度差值的绝对值与中心采样点信号和该采样点信号两者中绝对值较大者的比值;
对于所有邻居的所有维度重复上述过程,统计所有预设偏差范围内的维度总数N,以及对应的所有比值的加和Σ,则最终的阈值为:t=1-Σ/N。
较佳地,所述S13进一步包括:
考察所述中心采样点信号所有邻居的所有信号维度:对于邻居中任一采样点信号,若与中心采样点信号在某维度上差值的绝对值与基准值绝对值的比值大于所述阈值,说明当前采样点在此维度上与中心点足够接近,那么c对应的维度分量置1,此维度用于计算逐维度相似度;否则置0,跳过此维度;对于所有邻居的所有维度重复上述过程。
根据融合相似度从大到小对所述中心采样点信号的各邻居进行排序,选取K个融合相似度最大的邻居,作为K最近邻进行构图。
本发明还提供一种用于点云分割的构图***,其包括:整体相似度计算单元、阈值计算单元、逐维度相似度计算单元以及相似度融合单元;其中,
所述整体相似度计算单元用于在点云数据中选择一个中心采样点信号,计算与其它采样点信号之间的整体相似度,以此排序得到邻居序列,并计算所述中心采样点信号与其最近邻居的各维度信号差值作为基准值;
所述阈值计算单元用于捕捉所述整体相似度计算单元得到的基准值代表的点云数据的数字特征,计算得到阈值来衡量信号差值之间的相似程度;
所述逐维度相似度计算单元用于根据所述整体相似度计算单元得到的基准值以及所述阈值计算单元得到的阈值来计算中心采样点信号与其它采样点信号之间的逐维度相似度,捕捉整体相似度无法衡量的信号突变结构信息;
所述相似度融合单元用于融合所述整体相似度与逐维度相似度,得到融合相似度并排序,选取融合相似度最高的K个点,作为中心点最近邻的K个邻居进行构图。
本发明还提供一种点云分割***,其包括:图卷积神经网络的构建单元、图卷积神经网络的训练单元以及点云数据分割单元;其中,
所述图卷积神经网络的构建单元用于利用上述的用于点云分割的构图方法构建图卷积神经网络;或利用上述的用于点云分割的构图***构建图卷积神经网络;
所述图卷积神经网络的训练单元用于对所述图卷积神经网络的构建单元构建的所述图卷积神经网络进行训练;
所述点云数据分割单元用于利用所述图卷积神经网络的训练单元训练得到的图卷积神经网络进行点云数据分割。
本发明还提供一种点云分割装置,其包括:存储器以及处理器;其中,
所述存储器用于存储计算机程序;
所述处理器用于执行所述计算机程序实现如上述所述的用于点云分割的构图方法,或实现如上述所述的用于点云分割的构图单元,或实现如上述所述的点云分割***。
相较于现有技术,本发明实施例具有如下至少一种有益效果:
(1)本发明提供的用于点云分割的构图方法、***及点云分割***、装置,通过将多维点云信号的逐维度相似度纳入邻居选择标准,显著提高了物体连接处点的分类准确率;
(2)本发明提供的用于点云分割的构图方法、***及点云分割***、装置,通过S12的阈值计算方法,可以针对不同的点云数据集的数字特征自动计算合适的阈值,节约人为参数设计的工作量和时间,更好地捕捉结构化信息;
(3)本发明的提供的用于点云分割的构图方法、***及点云分割***、装置,通过一种与具体神经网络结构无关的启发式算法,因此可以方便地嵌入到现有的空域和谱域图卷积神经网络中,提升它们在物体连接处的分割准确率,具有很强的灵活性和可扩展性。
附图说明
下面结合附图对本发明的实施方式作进一步说明:
图1为本发明的实施例的用于点云分割的构图方法的流程图;
图2为本发明的实施例的用于点云分割的构图***的结构示意图;
图3为本发明的实施例的点云分割***的结构示意图;
图4为本发明一具体实例中点云分割效果示意图;
标号说明:11-整体相似度计算单元,12-阈值计算单元,13-逐维度相似度计算单元,14-相似度融合单元;
21-图卷积神经网络的构建单元,22-图卷积神经网络的训练单元,23-点云数据分割单元。
具体实施方式
下面对本发明的实施例作详细说明:本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。以下实施例中没有详细说明的部分可以采用现有技术实现。
如图1所示,为本发明一实施例的用于点云分割的构图方法的流程图。
请参考图1,本实施例的用于点云分割的构图方法包括以下步骤:
S11:在点云数据中选择一个中心采样点信号,计算与其它采样点信号之间的整体相似度,以此排序得到邻居序列,并计算中心采样点信号与其最近邻居的各维度信号差值作为基准值;
S12:捕捉S11得到的基准值代表的点云数据的数字特征,计算得到阈值来衡量信号差值之间的相似程度;
S13:根据S11得到的基准值以及所述S12得到的阈值来计算中心采样点信号与其它采样点信号之间的逐维度相似度,捕捉整体相似度无法衡量的信号突变结构信息;
S14:融合整体相似度与逐维度相似度,得到融合相似度并排序,选取融合相似度最高的K个点,作为中心点最近邻的K个邻居进行构图。
较佳实施例中,S11进一步包括:
采用合适的距离度量(包括但不限于二范数距离),综合信号的所有维度分量,包括几何分量与属性分量,获得中心采样点信号与其它采样点信号的整体相似度,并利用指数运算将整体相似度的值归一化到0至1之间;进一步地,
构成点云的d维采样点信号,包括几何分量与属性分量;给定中心采样点信号pi,对于任意其它点pj,根据它们的差值Δpij=pi-pj的内积计算二范数距离取负之后做指数(exp)操作,得到整体相似度取值范围在0到1之间;
较佳实施例中,S12进一步包括:
S121:进行参数初始化,以中心点与其最近邻居的各维度信号差值作为基准值;
S122:考察中心采样点信号的所有邻居的所有信号维度,进行条件判断:对于邻居中任一采样点信号,若与中心采样点信号在某维度上的差值与基准值同为正值或同为负值,且在基准值的预设偏差范围内,则计算该维度差值的绝对值与中心点和该采样点二者中绝对值较大者的比值;这里,预设偏差范围指以基准值为中心预先设定的取值范围;
S123:对于所有邻居的所有维度重复上述过程,统计所有预设偏差范围内的维度总数N,以及对应的所有比值的加和Σ,最终的阈值t=1-Σ/N,落在(0,1)区间内。
较佳实施例中,S13进一步包括:
S131:初始化中心点所有邻居所有维度的逐维度相似度为0,以中心点与其最近邻居的各维度信号差值作为基准值,以阈值计算单元输出的阈值为先验阈值;
S132:考察其它点各维度与中心点对应维度的距离,如果在某维度上,采样点信号与中心点差值的绝对值与基准值绝对值的比值大于先验阈值,说明当前采样点与中心点在此维度上足够相似,计算此维度的相似度并累加到该采样点逐维度相似度上,否则此维度上的相似度为0,重复以上过程,直到所有邻居的所有维度考察完毕。
较佳实施例中,S14进一步包括:
S141:将整体相似度与逐维度相似度加权求和,得到融合相似度:
其中α为缩放因子,它的作用是调控在计算逐维度相似度时由于多次指数运算而带来的数值放大;
S142:根据融合相似度由大到小的顺序,为中心采样点信号选取K个最近邻居,构建K最近邻子图结构。
进一步地,缩放因子α一般设置在0.001至0.1之间为宜。
如图2所示,为本发明的实施例的用于点云分割的构图***的结构示意图。
请参考图2,本实施例的用于点云分割的构图***包括:整体相似度计算单元11、阈值计算单元12、逐维度相似度计算单元13以及相似度融合单元14。
其中,整体相似度计算单元11用于在点云数据中选择一个中心采样点信号,计算与其它采样点信号之间的整体相似度,以此排序得到邻居序列,并计算中心采样点信号与其最近邻居的各维度信号差值作为基准值。整体相似度计算单元有两个主要作用,其一是为阈值计算单元和逐维度相似度计算单元提供基准值,即中心点与其最近邻居各维度的信号差值;其二是输出整体相似度到相似度融合单元,作为融合相似度评价的重要指标。
阈值计算单元12用于捕捉整体相似度计算单元11得到的基准值代表的点云数据的数字特征,计算得到阈值来衡量信号差值之间的相似程度,以衡量在当前数据集中信号差值“接近”的程度,作为逐维度相似度的评价指标。
逐维度相似度计算单元13用于根据整体相似度计算单元11得到的基准值以及阈值计算单元12得到的阈值来计算中心采样点信号与其它采样点信号之间的逐维度相似度,捕捉整体相似度无法衡量的信号突变结构信息。
相似度融合单元14用于融合整体相似度与逐维度相似度,得到融合相似度并排序,选取融合相似度最高的K个点,作为中心点最近邻的K个邻居进行构图。
如图3所示,为本发明的一实施例的点云分割***的结构示意图。
请参考图3,本实施例的点云分割***包括:图卷积神经网络的构建单元21、图卷积神经网络的训练单元22以及点云数据分割单元23。其中,图卷积神经网络的构建单元21利用上述实施例的用于点云分割的构图方法构建图卷积神经网络;或利用上述实施例的用于点云分割的构图***构建图卷积神经网络。图卷积神经网络的训练单元22用于对图卷积神经网络的构建单元构建的图卷积神经网络进行训练。点云数据分割单元23用于利用图卷积神经网络的训练单元22训练得到的图卷积神经网络进行点云数据分割。
为了更好对上述的各部分进行理解,以下结合一个详细的应用实例来说明。本实施例提供了一种点云分割***,该***中采用上述的点云数据结构感知的构图方法,该实施例在输入的一批(16个)点云上并行执行,每个点云包括2048个点,点云分割会依次将点云中的每个点选为中心点。为清晰地叙述执行过程,下面以某一中心点与其K个最近邻居所形成的子图结构的构造过程为例具体说明:
1.整体相似度计算单元
整体相似度计算单元有两个主要作用,其一是为阈值计算单元和逐维度相似度计算单元提供基准值,即中心点与其最近邻居各维度的信号差值;其二是输出整体相似度到相似度融合单元,作为融合相似度评价的重要指标。具体工作流程如下:给定中心点信号pi,对于其外的任意采样点信号pj,根据它们的差值Δpij=pi-pj的内积计算二范数距离取负之后做指数(exp)操作,归一化整体相似度其取值范围为0到1之间。
本实施例中,各采样点信号包括三维坐标与三维法向量。根据各邻居与中心点的整体相似度由大到小排序,得到邻居序列。采用最近邻居与中心点各维度信号的差值作为基准值,输入到阈值计算单元和逐维度相似度计算单元。同时将整体相似度输入到相似度融合单元。
2.阈值计算单元
阈值计算单元根据点云数据的数字特征,为逐维度相似度计算单元计算阈值t,以衡量在当前数据集中信号差值“接近”的程度,作为逐维度相似度的评价指标。具体步骤如下:
步骤一,初始化求和值Σ和目标点数目N为0。假设中心点为x,点云中共有n个点。根据邻居序列{y1,y2,…,yn-1}的顺序,考察中心点所有邻居的所有维度。对于当前点i的第j维信号,基准值bj=y1j-xj,当前点此维度的信号插值为dij=yij-xj;
步骤二,若bj与dij同为正值或同为负值,且满足条件t1·|dij|<|bj|<t2·|dij|,则说明基准值与信号插值足够“接近”,其中t1,t2为先验参数,本实施例中分别设置为0.75和1.25以满足最终的阈值t落在(0.75,1)区间。求和值和目标点数目相应变化:Σ=Σ+||bj|-|dij||/max{bj,dij},N=N+1;
步骤三,待所有邻居的所有维度均考察完毕,计算最终阈值t=1-Σ/N。阈值t的作用为衡量在当前数据集中信号差值“接近”的程度:若某维度信号差值的绝对值与基准值绝对值的比值超过此阈值,则说明此维度上中心点与当前点足够相似。将此阈值输入到逐维度相似度计算单元。
3.逐维度相似度计算单元
其中c代表一个分量为0或1的d维向量,对应d维信号;exp代表指数操作,diag表示将向量张成对角矩阵,为标量。考察中心点所有邻居的所有信号维度:对于邻居中任一采样点,若与中心点信号在某维度上差值的绝对值与基准值绝对值的比值大于阈值t,说明当前采样点在此维度上与中心点足够接近,那么c对应维度分量置1,此维度用于计算逐维度相似度;否则置0,跳过此维度。对于所有邻居的所有维度重复上述过程。最终得到所有邻居的逐维度相似度,输入到相似度融合单元。
4.相似度融合单元
相似度融合单元按照如下公式对各邻居的整体相似度和逐维度相似度进行加权求和,得到融合相似度:
其中α为缩放因子,它的作用是调控在计算逐维度相似度时由于多次指数运算而带来的数值放大。在本实施例中,缩放因子α一般设置在0.001至0.1之间为宜。根据融合相似度由大到小的顺序,为中心采样点选取K个最近邻居,构建K最近邻子图结构。
以上整体相似度计算单元、阈值计算单元、逐维度相似度计算单元、相似度融合单元构成用于点云分割的构图***。在实际使用中,可以嵌入到目前各种主流的空域和谱域图卷积神经网络中,对输入点云构建K最近邻图,再输入到图神经网络中进行特征提取和点云分割,形成完整的点云分割***(图卷积神经网络的构建单元21、图卷积神经网络的训练单元22以及点云数据分割单元23),采用图卷积神经网络的构建单元21生成优化的图结构,通过卷积神经网络提取特征后,在点云数据分割单元进行点云数据分割。
将(若干跳)邻居采样点上的图信号聚合到中心采样点上,同时进行信号的升维和降维。相对于输入的原始点云信号,卷积神经网络提取得到表示性更强的高维特征。在点云数据分割单元中高维特征再多次通过多层感知机,并进行池化操作,最终被映射到语义类别总数对应的维度,通过激活函数进行打分。常见的图信号维度变化是64→1024→256→256→128→50,其中50是本实施例中的语义类别总数。
实施效果:
本实施例中的可以采用主流的空域图卷积神经网络或谱域图卷积神经网络,评价可分为客观评价和主观评价,前者包括对点云分割的结果进行数据统计,得到mIoU等指标;后者包括对点云分割的结果进行可视化。本实施例在ShapeNet数据集16个种类上与原现有方法的分割结果进行对比。
实验表明,在客观评价方面,本实施例在更多的物体种类上取得了最佳的mIoU,同时在平均mIoU上也获得了提升。进一步的数据分析证明,采用本实施例方法后,在神经网络各层在构图时都更多地考虑了与中心点同一类别(先验)的点的信息,尤其是在物体的连接处。在每个点的邻居数目固定的情况下,引入更多与中心点同类别的点作为邻居,意味着在后续的图卷积过程中,其它类别的邻居所带来的“噪声”信息被有效减少了;本实施例方法通过引入逐维度相似度,对二范数距离得到的整体相似度进行补充,捕捉到更多的结构化信息,从而构造出更加合理的图结构。
采用本实施例的方法后,在物体连接处的点云分割效果得到了提升,参考图4的可视化的结果:最上行代表真值,即人为标注的语义类别,不同颜色代表物体的不同语义类别;中间行代表采用传统构图方法构图的点云分割结果,其中,圆圈中深色的点代表与真值不同的点,即分类错误点;最下行代表采用本实施例方法的点云分割结果,可以看出,与中间行相比,最下行的分类错误点(主要集中在连接处)更少。实验表明,通过引入结构化信息,本实施例方法有助于提升在物体连接处的分割效果。
在本发明另一实施例中,还提供一种点云分割装置,其包括:存储器以及处理器。其中,存储器用于存储计算机程序;处理器用于执行计算机程序实现上述实施例的用于点云分割的构图方法,或实现上述实施例的用于点云分割的构图***,或实现上述实施例的点云分割***。
可选地,存储器,用于存储程序;存储器,可以包括易失性存储器(英文:volatilememory),例如随机存取存储器(英文:random-access memory,缩写:RAM),如静态随机存取存储器(英文:static random-access memory,缩写:SRAM),双倍数据率同步动态随机存取存储器(英文:Double Data Rate Synchronous Dynamic Random Access Memory,缩写:DDR SDRAM)等;存储器也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory)。存储器62用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等,上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
处理器,用于执行存储器存储的计算机程序,以实现上述实施例涉及的方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。
处理器和存储器可以是独立结构,也可以是集成在一起的集成结构。当处理器和存储器是独立结构时,存储器、处理器可以通过总线耦合连接。
需要说明的是,本发明提供的所述方法中的步骤,可以利用所述***中对应的模块、装置、单元等予以实现,本领域技术人员可以参照所述***的技术方案实现所述方法的步骤流程,即,所述***中的实施例可理解为实现所述方法的优选例,在此不予赘述。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的***及其各个装置以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以,本发明提供的***及其各项装置可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构;也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本领域那些技术人员可以理解,除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书中公开的所有特征以及如此公开的任何装置的所有过程或单元进行组合。
此处公开的仅为本发明的优选实施例,本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化,均应落在本发明所保护的范围内。
Claims (9)
1.一种用于点云分割的构图方法,其特征在于,包括:
S11:在点云数据中选择一个中心采样点信号,计算与其它采样点信号之间的整体相似度,以此排序得到邻居序列,并计算所述中心采样点信号与其最近邻居的各维度信号差值作为基准值;
S12:捕捉所述S11得到的基准值代表的点云数据的数字特征,计算得到阈值来衡量信号差值之间的相似程度;
S13:根据所述S11得到的基准值以及所述S12得到的阈值来计算中心采样点信号与其它采样点信号之间的逐维度相似度,捕捉整体相似度无法衡量的信号突变结构信息;
S14:融合所述整体相似度与逐维度相似度,得到融合相似度并排序,选取融合相似度最高的K个点,作为中心点最近邻的K个邻居进行构图。
4.根据权利要求1所述的用于点云分割的构图方法,其特征在于,所述S12进一步包括:
考察所述中心采样点信号所有邻居的所有信号维度:对于邻居中任一采样点信号,若与中心采样点信号在某维度上的差值与基准值同为正值或同为负值,且在基准值的预设偏差范围内,则计算该维度差值的绝对值与中心采样点信号和该采样点信号两者中绝对值较大者的比值;
对于所有邻居的所有维度重复上述过程,统计所有预设偏差范围内的维度总数N,以及对应的所有比值的加和Σ,则最终的阈值为:t=1-Σ/N。
5.根据权利要求1所述的用于点云分割的构图方法,其特征在于,所述S13进一步包括:
S132:考察所述中心采样点信号所有邻居的所有信号维度:对于邻居中任一采样点信号,若与中心采样点信号在某维度上差值的绝对值与基准值绝对值的比值大于所述阈值,那么c对应的维度分量置1,此维度用于计算逐维度相似度,将此维度的逐维度相似度累加到该采样点逐维度相似度上;否则置0,跳过此维度;对于所有邻居的所有维度重复上述过程。
7.一种用于点云分割的构图***,其特征在于,包括:整体相似度计算单元、阈值计算单元、逐维度相似度计算单元以及相似度融合单元;其中,
所述整体相似度计算单元用于在点云数据中选择一个中心采样点信号,计算与其它采样点信号之间的整体相似度,以此排序得到邻居序列,并计算所述中心采样点信号与其最近邻居的各维度信号差值作为基准值;
所述阈值计算单元用于捕捉所述整体相似度计算单元得到的基准值代表的点云数据的数字特征,计算得到阈值来衡量信号差值之间的相似程度;
所述逐维度相似度计算单元用于根据所述整体相似度计算单元得到的基准值以及所述阈值计算单元得到的阈值来计算中心采样点信号与其它采样点信号之间的逐维度相似度,捕捉整体相似度无法衡量的信号突变结构信息;
所述相似度融合单元用于融合所述整体相似度与逐维度相似度,得到融合相似度并排序,选取融合相似度最高的K个点,作为中心点最近邻的K个邻居进行构图。
8.一种点云分割***,其特征在于,包括:图卷积神经网络的构建单元、图卷积神经网络的训练单元以及点云数据分割单元;其中,
所述图卷积神经网络的构建单元用于利用如权利要求1至6任一项所述的用于点云分割的构图方法构建图卷积神经网络;或利用如权利要求7所述的用于点云分割的构图***构建图卷积神经网络;
所述图卷积神经网络的训练单元用于对所述图卷积神经网络的构建单元构建的所述图卷积神经网络进行训练;
所述点云数据分割单元用于利用所述图卷积神经网络的训练单元训练得到的图卷积神经网络进行点云数据分割。
9.一种点云分割装置,其特征在于,包括:存储器以及处理器;其中,
所述存储器用于存储计算机程序;
所述处理器用于执行所述计算机程序实现如权利要求1至6任一项所述的用于点云分割的构图方法,或实现如权利要求7所述的用于点云分割的构图***,或实现如权利要求8所述的点云分割***。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010442397.5A CN111738086B (zh) | 2020-05-22 | 2020-05-22 | 用于点云分割的构图方法、***及点云分割***、装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010442397.5A CN111738086B (zh) | 2020-05-22 | 2020-05-22 | 用于点云分割的构图方法、***及点云分割***、装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111738086A true CN111738086A (zh) | 2020-10-02 |
CN111738086B CN111738086B (zh) | 2022-08-30 |
Family
ID=72647868
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010442397.5A Active CN111738086B (zh) | 2020-05-22 | 2020-05-22 | 用于点云分割的构图方法、***及点云分割***、装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111738086B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112907114A (zh) * | 2021-03-18 | 2021-06-04 | 三一重工股份有限公司 | 漏油故障检测方法、装置、电子设备和存储介质 |
CN113313830A (zh) * | 2021-05-24 | 2021-08-27 | 华南理工大学 | 基于多分支图卷积神经网络的编码点云特征提取方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106600622A (zh) * | 2016-12-06 | 2017-04-26 | 西安电子科技大学 | 一种基于超体素的点云数据分割方法 |
CN109409437A (zh) * | 2018-11-06 | 2019-03-01 | 安徽农业大学 | 一种点云分割方法、装置、计算机可读存储介质及终端 |
CN109934100A (zh) * | 2019-01-24 | 2019-06-25 | 西安交通大学 | 一种基于滑动窗口的幅频时变工艺信号分割方法 |
CN110223298A (zh) * | 2019-05-27 | 2019-09-10 | 东南大学 | 基于点云局部结构的语义分割改进算法 |
CN110427956A (zh) * | 2019-04-18 | 2019-11-08 | 中国林业科学研究院资源信息研究所 | 一种基于谱聚类算法的LiDAR点云数据单木提取方法 |
CN110838122A (zh) * | 2018-08-16 | 2020-02-25 | 北京大学 | 点云的分割方法、装置及计算机存储介质 |
-
2020
- 2020-05-22 CN CN202010442397.5A patent/CN111738086B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106600622A (zh) * | 2016-12-06 | 2017-04-26 | 西安电子科技大学 | 一种基于超体素的点云数据分割方法 |
CN110838122A (zh) * | 2018-08-16 | 2020-02-25 | 北京大学 | 点云的分割方法、装置及计算机存储介质 |
CN109409437A (zh) * | 2018-11-06 | 2019-03-01 | 安徽农业大学 | 一种点云分割方法、装置、计算机可读存储介质及终端 |
CN109934100A (zh) * | 2019-01-24 | 2019-06-25 | 西安交通大学 | 一种基于滑动窗口的幅频时变工艺信号分割方法 |
CN110427956A (zh) * | 2019-04-18 | 2019-11-08 | 中国林业科学研究院资源信息研究所 | 一种基于谱聚类算法的LiDAR点云数据单木提取方法 |
CN110223298A (zh) * | 2019-05-27 | 2019-09-10 | 东南大学 | 基于点云局部结构的语义分割改进算法 |
Non-Patent Citations (6)
Title |
---|
GUSI TE 等: "RGCNN: Regularized Graph CNN for Point Cloud Segmentation", 《RESEARCHGATE》 * |
MINGXING XU 等: "MSGCNN: MULTI-SCALE GRAPH CONVOLUTIONAL NEURAL NETWORK FOR POINT CLOUD SEGMENTATION", 《2019 IEEE FIFTH INTERNATIONAL CONFERENCE ON MULTIMEDIA BIG DATA (BIGMM)》 * |
ZONGHAN WU 等: "Graph WaveNet for Deep Spatial-Temporal Graph Modeling", 《ARXIV》 * |
喻 亮 等: "基于多维欧氏空间相似度的激光点云分割方法", 《国土资源遥感》 * |
杜建丽等: "建筑点云几何模型重建方法研究进展", 《遥感学报》 * |
杨军等: "采用深度级联卷积神经网络的三维点云识别与分割", 《光学精密工程》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112907114A (zh) * | 2021-03-18 | 2021-06-04 | 三一重工股份有限公司 | 漏油故障检测方法、装置、电子设备和存储介质 |
CN113313830A (zh) * | 2021-05-24 | 2021-08-27 | 华南理工大学 | 基于多分支图卷积神经网络的编码点云特征提取方法 |
CN113313830B (zh) * | 2021-05-24 | 2022-12-16 | 华南理工大学 | 基于多分支图卷积神经网络的编码点云特征提取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111738086B (zh) | 2022-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108805188B (zh) | 一种基于特征重标定生成对抗网络的图像分类方法 | |
CN115018021B (zh) | 基于图结构与异常注意力机制的机房异常检测方法及装置 | |
CN111242208A (zh) | 一种点云分类方法、分割方法及相关设备 | |
Hwang et al. | Variational deep clustering of wafer map patterns | |
Djenouri et al. | Fast and accurate deep learning framework for secure fault diagnosis in the industrial internet of things | |
CN112785526B (zh) | 一种用于图形处理的三维点云修复方法 | |
Mathieson et al. | Complexity as a surrogate mapping between function models and market value | |
CN111738086B (zh) | 用于点云分割的构图方法、***及点云分割***、装置 | |
CN105320764A (zh) | 一种基于增量慢特征的3d模型检索方法及其检索装置 | |
Sabih et al. | Utilizing explainable AI for quantization and pruning of deep neural networks | |
Pal et al. | RNN with particle flow for probabilistic spatio-temporal forecasting | |
Hu et al. | A method for classification of surface defect on metal workpieces based on twin attention mechanism generative adversarial network | |
CN116565863A (zh) | 一种基于时空相关性的短期光伏出力预测方法 | |
Nugraha et al. | Particle swarm optimization–Support vector machine (PSO-SVM) algorithm for journal rank classification | |
CN113516019B (zh) | 高光谱图像解混方法、装置及电子设备 | |
CN116706907B (zh) | 基于模糊推理的光伏发电预测方法和相关设备 | |
Sun et al. | Optimization of extraction process based on neural network | |
CN116523001A (zh) | 电网薄弱线路识别模型构建方法、装置和计算机设备 | |
CN116758331A (zh) | 物体检测方法、装置及存储介质 | |
Zhang et al. | Calibrated stochastic gradient descent for convolutional neural networks | |
Babatunde et al. | On The Application Of Genetic Probabilistic Neural Networksand Cellular Neural Networks In Precision Agriculture | |
KR102583178B1 (ko) | 발전량 예측 방법 및 장치 | |
Purnawansyah et al. | K-Means clustering implementation in network traffic activities | |
CN113869120B (zh) | 一种基于视图过滤的聚合卷积三维模型分类方法 | |
Ülker et al. | An artificial immune system approach for B-spline surface approximation problem |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |