CN111275052A - 基于多层次聚合特征提取与融合的点云分类方法 - Google Patents
基于多层次聚合特征提取与融合的点云分类方法 Download PDFInfo
- Publication number
- CN111275052A CN111275052A CN202010030687.9A CN202010030687A CN111275052A CN 111275052 A CN111275052 A CN 111275052A CN 202010030687 A CN202010030687 A CN 202010030687A CN 111275052 A CN111275052 A CN 111275052A
- Authority
- CN
- China
- Prior art keywords
- point
- point set
- llc
- features
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提出的是一种基于多层次聚合特征提取与融合的点云分类方法,包括如下步骤:(一)多层次点集的构建;(二)基于LLC‑LDA的点集特征提取;(三)基于多尺度最大池化(LLC‑MP)的点集特征提取;(四)基于多层次点集特征融合的点云分类。本发明提出一种基于多尺度最大池化和latent Dirichlet allocation(LDA)的多层次点集聚合特征提取与融合方法,并基于融合的聚合特征实现点云分类。本发明算法通过多层次聚类,自适应获取多层次多尺度目标点集,通过局部线性约束稀疏编码(Locality‑constrained Linear Coding,LLC)表达点云单点特征,利用点坐标构建尺度金字塔,并基于最大池化方法构造能够表征点集局部分布的特征,然后融合该特征与LLC‑LDA模型提取点集全局特征,最终利用融合的点集多层次聚合特征实现点云分类。
Description
技术领域
本发明涉及的是一种基于多层次聚合特征提取与融合的点云分类方法,属于激光雷达遥感数据智能处理领域。
背景技术
近年来激光雷达传感器在众多领域的应用越来越广泛。对激光点云数据进行处理是自动驾驶、智慧城市以及测绘遥感等领域应用的重要步骤。点云的语义分割是点云数据处理以及数据得到广泛应用的重要基础。由于点云中包含着大小和几何结构不同的多种复杂地物目标,使得每个点的准确有效分类变得非常具有挑战性。因此,对点云语义分割的研究具有重要的意义。
目前研究者们提出了大量点云语义分割算法,这些算法可以主要分为两类:基于单点的方法和基于点集的方法。基于单点的方法主要是通过对点云的单点进行邻域选择、特征提取和分类器分类。其中,邻域选择主要有:基于半径、柱形区域和K近邻等邻域选择方式。特征提取包括:底层特征提取和基于底层特征的更高层次特征提取与选择。底层特征提取主要有:法向量和高程特征、Spin Image、协方差特征值特征、全局特征视点特征直方图(View Feature Histogram,VFH)和聚类视点特征直方图(Clustered View FeatureHistogram,CVFH)等特征,而更高层次特征提取方法主要有:流行学习、低秩表示和稀疏表达等。分类器主要有:线性分类器、随机森林、AdaBoost和SVM(Support Vector Machine)等。例如,Mei等人利用半径邻域内的近邻点提取每个点的颜色信息、法向量、Spin Image和高程特征,然后利用边界、合作图和标签约束进行特征学习与选择,最后利用线性分类器对每个点进行分类。然而这种基于单点的方法提取的特征并不够稳定,缺乏局部区域点之间的结构与关联信息等,使得基于单点分类方法的精度和鲁棒性并不理想。
为了解决上述问题,研究人员提出了基于点集的点云分类方法,这类方法是根据先验知识将具有相同属性的点构造成点集,并构造点集特征进而提高特征表达的鲁棒性。以点集为点云分类单元,能够降低噪点的影响,提升点云分类的精度。其中,点集的构造方法有:基于聚类的方法、基于区域生长的方法、基于模型的方法、基于图割和归一化分割、基于内容敏感和归一化分割、基于体素的方法和基于近邻点的方法等。点集的特征构造主要有:基于点集的低层特征构造的方法、基于Bow(词袋)和LDA(Latent DirichletAllocation)的方法、基于稀疏编码和LDA的方法和基于卷积神经网络的方法等。例如,Xu等人将点云向地面投影成光栅图像,然后利用内容敏感约束子对光栅图像进行超像素分割,进而利用基于指数函数的归一化分割方法获取不同层次的点集,接着对每个点的低层特征进行稀疏编码,并基于LDA模型构造多层次点集的特征,最后,利用AdaBoost分类器对点集进行分类。这些方法取得了较好的分类效果,同时也说明了基于点集分类的有效性以及基于点集的更高层次特征对于分类的鲁棒性。
然而,点集的构造依赖于点云的分割和聚类算法。大部分的分割算法对复杂场景的分割并不理想,尤其是对于点云分布散乱的场景分割则面临更多困难。例如,点与点之间的拓扑结构难以分析以及有效分割措施的选择等。例如,基于区域生长的分割算法受种子点的选取和边界判定条件影响较大,由于生长判定准则是依据各个点之间的相关特征,而低层次的特征的选取对于分割结果影响较大,造成算法鲁棒性较差。基于模型的分割方法只能应用到特定的模型种类。基于图割和归一化分割以及基于内容敏感和归一化分割的方法都需要将点云投影到二维栅格图像,增加了计算难度,并且不能保证每个层次分割的点集具有差异性。若构造的层次数较少,则会造成较多的目标物体无法充分分割,不利于不同层次的稳定、显著特征提取。虽然基于聚类的方法具有一定的自适应性,但也有一定局限性。例如,通常过于依赖点与点之间的距离,在一些复杂场景,不同物体相邻过近导致聚类算法难以分割。此外,通常基于一种聚类算法并不能将点云不同尺度的目标分割出来。为了获取更具表征性的不同目标不同层次的点集,本发明提出了一种基于点云密度和点集最大点数控制的多层次点集构建方法。该方法首先利用基于密度聚类的DBSCAN(Density-BasedSpatial Clustering of Applications with Noise)算法对点云进行粗分割,然后,利用K-means算法对每个粗分割后的大尺度点集进行迭代分割,使得每个点集内的点数少于一个阈值T,从而生成小尺度的点集。结合两种聚类算法,能够有效的构建多个层次不同大小的点集。
此外,对于多层次点集特征的构建,众多学者基于字典学习的方法对单点特征进行稀疏表示,然后基于稀疏表示的结果对点集利用LDA等方法提取更高层次特征。由于点云特征的局部区域具有一定的关联性,而上述方法在稀疏表达时并未考虑到点云特征的局部特性。上述方法中通常只利用了基于LDA模型构造的点集特征,而基于LDA的点集特征表征的点集的全局特征,缺乏点集内的局部结构等特征。
发明内容
本发明的目的在于解决现有激光雷达点云语义标注技术中存在的上述缺陷,基于机载激光雷达三维点云数据,提出一种基于多层次聚合特征提取与融合的点云分类方法,提高点云语义标注的精度,具体采用局部线性约束的稀疏编码(Locality-constrainedLinear Coding,LLC)对点云的单点特征进行稀疏表达。为了获取点集的局部特征,本发明提出了一种基于点集的多尺度最大池化特征构造方法。然后,基于提取的不同层次点集的LDA特征(命名为LLC-LDA特征)和多尺度最大池化特征(命名为LLC-MP特征)进行点集多层次特征聚合。实现了点集的全局特征和局部特征的描述,提高了点集特征的稳定性和判别性。
本发明的技术解决方案:基于多层次聚合特征提取与融合的点云分类方法,包括如下步骤:
(一)多层次点集的构建;
(二)基于LLC-LDA的点集特征提取;
(三)基于多尺度最大池化(LLC-MP)的点集特征提取;
(四)基于多层次点集特征融合的点云分类。
本发明的优点:
(1)提出了一种基于点云密度和点集最大点数控制的多层次点集构建方法,能够有效的构建多个层次不同大小的点集。点集的生成不需要对点集投影到二维栅格,且可以自适应的构建不同大小的目标物体点集。通过控制点集最大点数的方式能够使得精细层次的点集得到充分的分割。基于不同层次的点集能够有效的构建比单点特征更鲁棒的点集特征;
(2)提出了一种基于引入局部线性约束的稀疏编码和LDA模型的点集全局特征提取方法,即LLC-LDA。基于LLC的稀疏编码考虑了单点特征之间的局部关系,比直接稀疏编码的方法能够获得更显著的稀疏表示。进而使得基于LDA模型构造的点集特征更稳定、具有判别性;
(3)提出了一种基于点集的多层次LLC-LDA和LLC-MP聚合特征提取与融合的方法。由于点集的LLC-LDA只表征了点集的全局特征,而LLC-MP特征利用点集内点的空间位置信息,构造了不同尺度空间融合的点集特征,即该特征能够反映点集内的局部特性。将不同层次的点集特征聚合到最精细层的点集上,生成点集的多层次聚合特征,然后,对表征全局和局部特性的点集多层次聚合特征进行融合,获得点集的更鲁棒、更具判别性的特征。
附图说明
附图1是本发明一种基于多层次聚合特征提取与融合的点云分类方法的总体步骤流程图。
具体实施方式
如图1所示。首先,针对输入的点云数据利用基于点云密度和点集最大点数控制的多层次点集构建方法生成多层点集。然后,对点云的每个单点提取多尺度的协方差特征值特征和Spin Image特征。接着,对点云的单点特征利用LLC进行字典学习和稀疏表达。再结合多层次点集和单点的稀疏表达利用LDA模型和多尺度最大池化的方法生成具有全局性的点集LLC-LDA特征和具有局部性的点集LLC-MP特征。然后,将不同层次的不同类型的点集特征传递到最精细层点集空间,进而构造点集的多层次聚合特征,并将不同类型的特征进行融合。最后,基于融合的点集多层次聚合特征,利用SVM分类器实现点云的分类。
一种基于多层次聚合特征提取与融合的点云分类方法的具体操作步骤如下:
(一)多层次点集的构建
为了克服点云中基于单个点的特征对物体分类的易受噪声干扰以及缺乏点之间存在的关系表达等问题,本发明将大规模点云按照密度、位置关系和数量等约束构造多层次点集,进而能够多层次点集提取用于分类的多层次特征。不同层次的点集表征地物的不同尺度信息,因此,构造多个层次的点集,实现与地物实体空间范围相适应的多层次结构,进而更好的表征地物信息。虽然目前有一些多层次点集构建的方法,但多数方法的点集数目以线性方式变化,各个层次的点集变化不大,使得同一目标的不同尺度特征并不明显,不同目标的同一尺度特征不明显。然而,目标的全面表征由多层次的点集共同构造,大尺度的点集可以更好的表征目标的全局信息,小尺度的点集能更好的表征目标的局部信息,不同尺度点集的结合可以更好的表征目标的结构信息。因此,为了获取更具表征性的不同目标不同层次的点集,本发明提出了一种基于点云密度和点集最大点数控制的多层次点集构建方法。
(1)基于点云密度的大尺度点集构造
点云场景中的目标具有多种形态,基于点云目标大小或点个数的固定阈值直接分割的方法并不适用于各类目标的分割。室外场景的环境通常比较复杂,存在的物体种类较多,且形状不固定,又由于采集设备精度等原因,存在一定的噪声,在无法提前知道类别数的前提下,为了使得各类目标得到合理的分割单元数量,采用DBSCAN进行初始的点云聚类,DBSCAN算法不需要提前设置聚类数量,可以直接根据点云数据的分布情况,聚类出最符合的实验场景的不同类别。
(2)基于K-means的自适应多层次小尺度点集构造
经过DBSCAN算法完成点云的初始聚类,但聚类后的点云簇面积/体积较大,未能顾及目标的细节及局部走势,信息的表达有所缺失,并且不容易保证每个点云簇中的点均属于同一类别(未能保证点云簇内点的均质性)。另外,K-means算法可以用来分割点云,但如果直接在原始点云数据上使用K-means,会导致迭代次数变多,增加时间成本。因此,在DBSCAN聚类的基础上,迭代使用K-means过分割点云,快速地将点云分成大量点数小于T的点集,并且确保点集内部点的标签属于同一类别。其中,T为控制小尺度点集大小的参数。为了使各类别的点集具有较高的区分度,一个点集只能包含一个地物或者地物的一部分,且各个点集中的点分布是相对一致的。因此,需对初始聚类点云中每个点云簇进一步分割,形成众多过分割且面积/体积较小的均质点云簇使其每个点集中的点尽可能的属于同一类别。本发明采用K-means聚类算法进一步分割点云簇,算法的具体流程如下:
经过基于K-means聚类构造的小尺度点集内的点基本都属于同一类别,而且小尺度点集反映出的是目标物体的局部区域。
(3)多层次点集生成
为了避免单个尺度下的点集对目标物体描述不全面的问题,本发明通过构造多个尺度的点集对不同大小的目标进行有效的表达。其中,大尺度点集对目标物体的整体结构等信息进行描述,小尺度的点集对目标物体的局部结构信息进行表达。对于小尺度点集的构造,可以通过控制点集最大点数阈值T来生成不同层次的点集。此外,为了获得具有邻接关系且更多层次的点集,可以设置较小的阈值T,然后获得过分割的点集,再将过分割的点集利用Meanshift聚类算法通过改变不同的聚类半径来获得更多尺度的点集。
(二)基于LLC-LDA的点集特征提取
首先,提取了点集中每个单点的特征。然后,利用基于局部线性约束稀的疏编码构造点集的多尺度最大池化特征和LLC-LDA特征。
(1)基于LLC的单点特征字典学习与稀疏编码
由于直接提取的单点多尺度特征为低层特征,对于点云特性的表征并不显著。为了更有效的表达点云特征,词袋(BoW)、低秩表示、流形学***滑性进行稀疏编码将更有助于特征的学习。因此,本发明采用局部线性约束的稀疏编码(LLC)对点云特征进行稀疏表达。具体步骤如下:
其中,dist(xi,B)=[dist(x1,b1),...,dist(xi,bM)]T,dist(xi,bj)为xi和bj的欧式距离。σ为控制局部区域范围的参数。为了保证C具有稀疏性的同时,并且具有局部平滑性,需令|ci|<ε的元素为0。
由于单点的多尺度特征只描述了单个点的特征,缺乏点与点之间关系的描述,对噪声和异常点敏感。为了解决上述问题,根据不同层次的点集构建了多层次点集的特征。多层次点集特征主要包括两种:基于LLC-LDA的点集特征和基于多尺度最大池化的点集特征。
(2)基于LLC-LDA的点集特征提取
为了获取不同类型的更高层次特征,本发明通过对每个层次的点集的统计特征构造主题模型,进而基于主题模型提取每个点集的特征。具体构造方法如下:
首先,利用基于LLC稀疏表达的矩阵C统计每个点集中各个单词出现的频率。根据公式(3)计算任一点集中第i个单词的频率。
其中,代表点集中第j个点的特征稀疏表达的第i个单词的频率。Nr为点集中点云的个数,β是一个T×M矩阵,T为主题模型的潜主题数。θ为T维的狄利克雷随机变量,即θ=[θ1,...,θT],θi为第i个潜主题的概率。进而构建如下的LDA模型:
其中,α为狄利克雷参数,潜主题集合为:w=[w1,...,wm]。
对用于训练的点集数据,基于公式(3)和公式(4),利用最大期望算法优化求解α和β。基于优化的这两个参数可以求得点集每个潜主题的概率,进而基于所有潜主题的概率构造点集的特征。第L层次的第l个点集的LLC-LDA特征可以表示为:
(三)基于多尺度最大池化(LLC-MP)的点集特征提取
基于LDA的特征描述的是不同层次点集的整体特征,而点集内通常包含多个点,这些点之间也存在着一定的结构关系。为了更充分表达点集的属性及结构信息,受空间金字塔启发,本发明对每个点集利用空间坐标构造多尺度金字塔,然后在每个尺度上利用最大池化的方式获取点集每个尺度的非线性特征。最后,将每个尺度的特征进行融合获得点集的坐标空间-特征空间特征。此外,该方法从另一个角度上也可以看作是对当前尺度的点集构造尺度更小的点集。点集特征提取的具体方法如下:
给定任一点集,对于第s∈[1,Ps]个尺度空间,Ps为尺度空间的个数,基于点集的空间坐标对点集划分成Ks个子空间,进而构造点集的不同尺度空间。
对于第s尺度,根据公式(6),计算Ks个子空间的点集最大池化特征。
由于不同尺度下,每个子空间内单词的个数具有差异,不同尺度的特征对于点集的描述起到的作用也具有一定的差异,因此,不同尺度的最大池化特征具有不同的权重系数,即zs。此外,由于构造的最精细层点集中的点数较少,因此,本发明只构造两个尺度子空间。
点集的多尺度最大池化特征为:
fMP=f1,s+,...,+fi,s,i∈[1,Ks],s∈[1,Ps] (8)
按照下式对特征进行归一化:
若FMP表示的是第L层次的第l个点集的特征,则多尺度最大池化(LLC-MP)的点集特征可以表示为:
(四)基于多层次点集特征融合的点云分类
不同类型的特征对于目标的属性具有不同的表达,不同层次的点集特征对目标的描述也不同,为了对目标的属性进行全面有效的表达,本发明对不同类型和不同层次的点集特征进行有效的融合。
以LLC-LDA点集特征为例,不同层次的点集特征可以通过点集中点的坐标位置对特征进行聚合,通常以第L层(最精细层)的点集特征空间作为特征聚合的基准,并定义聚合后的特征为点集的多层次聚合特征。第1层和第2层的点集特征传递到第L层的点集特征空间进行特征聚合。则第l个点集的多层次聚合的LLC-LDA特征可以表示为:
利用上述方法同样可以对多尺度最大池化的点集特征进行聚合,即第l个点集的多层次聚合的LLC-MP特征可以表示为:
点集的LLC-LDA和LLC-MP特征分别反映了点集的全局特性和局部特性,两种特征对于点集的类别表征具有一定的差异,为了充分利用不同类型的特征对点集进行分类,本发明对点集的这两种特征进行融合,对第l个点集构造如式(13)所示的点集融合特征,进而对点集分类。
鉴于SVM(Support Vector Machine,SVM)优秀的泛化能力和对不同大小的数据具有相对较好的适应性,本发明选择SVM作为分类器用于点云的分类。实验中,本发明采用libsvm工具箱进行SVM模型的训练和测试。
本发明算法的关键参数有:点集最大点数阈值T,字典的单词数M,字典学习正则项系数λ,控制局部区域范围的参数Kn,潜在主题个数m。T的取值范围为:{100,200,300,400},M的取值范围为:{64,128,256,512},λ的取值范围为:{0.0001,0.0005,0.001,0.005,0.01},Kn的取值范围为:{5,10,15,20},m的取值范围为:{8,10,12,14,16}。
本发明提出的一种用于点云分类的点集多层次全局和局部聚合特征提取的方法。该方法首先通过多层次聚类的方法生成不同层次的点集,每个层次的点集具有不同的大小,并且生成的最低层次点集是目标物体的局部区域。为后续鲁棒、显著的点集特征提取提供了基础。然后,基于协方差特征值特征和Spin Image特征,提取点集的LLC-LDA和LLC-MP多层次聚合特征。基于LLC的字典学习和稀疏表达充分利用了各个近邻点之间的局部性,使得稀疏表达更具显著。将LLC-LDA和LLC-MP特征相结合,进而获得不同层次点集的全局和局部信息的表达。最后,基于点集的多层次聚合特征对点云分类。结果表明算法提取的多层次点集特征具有显著的判别性,能够有效的对不同类型的复杂目标物体进行有效的表征,极大地提高了点云语义标注的精度。
Claims (5)
1.基于多层次聚合特征提取与融合的点云分类方法,其特征是包括如下步骤:
(一)多层次点集的构建;
(二)基于LLC-LDA的点集特征提取;
(三)基于多尺度最大池化(LLC-MP)的点集特征提取;
(四)基于多层次点集特征融合的点云分类。
2.根据权利要求1所述的基于多层次聚合特征提取与融合的点云分类方法,其特征是所述步骤(一)多层次点集的构建具体包括如下步骤:
(1)基于点云密度的大尺度点集构造
点云场景中的目标具有多种形态,基于点云目标大小或点个数的固定阈值直接分割的方法并不适用于各类目标的分割,室外场景的环境通常比较复杂,存在的物体种类较多,且形状不固定,又由于采集设备精度等原因,存在一定的噪声,在无法提前知道类别数的前提下,为了使得各类目标得到合理的分割单元数量,本发明采用DBSCAN(Density-BasedSpatial Clustering of Applications with Noise)进行初始的点云聚类,DBSCAN算法不需要提前设置聚类数量,可以直接根据点云数据的分布情况,聚类出最符合的实验场景的不同类别;
(2)基于K-means的自适应多层次小尺度点集构造
经过DBSCAN算法完成点云的初始聚类,但聚类后的点云簇面积和体积大,未能顾及目标的细节及局部走势,信息的表达有所缺失,并且不容易保证每个点云簇中的点均属于同一类别,本发明在DBSCAN聚类的基础上,迭代使用K-means过分割点云,快速地将点云分成大量点数小于T的点集,并且确保点集内部点的标签属于同一类别,其中,T为控制小尺度点集大小的参数,基于K-means的自适应多层次小尺度点集构造算法如下:
(3)多层次点集生成
本发明对于小尺度点集的构造,可以通过控制点集最大点数阈值T来生成不同层次的点集,为了获得具有邻接关系且更多层次的点集,可以通过调下阈值T,然后获得过分割的点集,再将过分割的点集利用Meanshift聚类算法,通过改变不同的聚类半径,来获得更多尺度的点集。
3.根据权利要求1所述的基于多层次聚合特征提取与融合的点云分类方法,其特征是所述步骤(二)基于LLC-LDA的点集特征提取,包括如下步骤:
(1)基于LLC的单点特征字典学习与稀疏编码
本发明采用局部线性约束的稀疏编码(LLC)对点云特征进行稀疏表达,具体步骤如下:设点云特征归一化后为其中,N为点云特征个数,D为每个点云特征的维度,点云特征的字典为M为字典中单词的个数,点云特征X的LLC稀疏编码为 LLC稀疏编码模型如下:
其中,dist(xi,B)=[dist(x1,b1),...,dist(xi,bM)]T,dist(xi,bj)为xi和bj的欧式距离,σ为控制局部区域范围的参数,为了保证C具有稀疏性的同时,并且具有局部平滑性,需令|ci|<ε的元素为0;
(2)LLC-LDA的点集特征提取
首先,利用基于LLC稀疏表达的矩阵C统计每个点集中各个单词出现的频率,根据公式(3)计算任一点集中第i个单词的频率:
其中,代表点集中第j个点的特征稀疏表达的第i个单词的频率,Nr为点集中点云的个数,β是一个T×M矩阵,T为主题模型的潜主题数,θ为T维的狄利克雷随机变量,即θ=[θ1,...,θT],θi为第i个潜主题的概率,进而构建如下的LDA模型:
其中,α为狄利克雷参数,潜主题集合为:w=[w1,...,wm];
对用于训练的点集数据,基于公式(3)和公式(4),利用最大期望算法优化求解α和β,基于优化的这两个参数可以求得点集每个潜主题的概率,进而基于所有潜主题的概率构造点集的特征,第L层次的第l个点集的LLC-LDA特征可以表示为:
4.根据权利要求1所述的基于多层次聚合特征提取与融合的点云分类方法,其特征是所述步骤(四)基于多尺度最大池化LLC-MP(LLC-Max Pooling)的点集特征提取,所述步骤如下:给定任一点集,对于第s∈[1,Ps]个尺度空间,Ps为尺度空间的个数,基于点集的空间坐标对点集划分成Ks个子空间,进而构造点集的不同尺度空间,对于第s尺度,根据公式(6),计算Ks个子空间的点集最大池化特征:
由于不同尺度下,每个子空间内单词的个数具有差异,不同尺度的特征对于点集的描述起到的作用也具有一定的差异,因此,不同尺度的最大池化特征具有不同的权重系数,即zs,此外,由于构造的最精细层点集中的点数较少,因此,本发明只构造两个尺度子空间;
点集的多尺度最大池化特征为:
fMP=f1,s+,...,+fi,s,i∈[1,Ks],s∈[1,Ps] (8)按照下式对特征进行归一化:
若FMP表示的是第L层次的第l个点集的特征,则多尺度最大池化(LLC-MP)的点集特征可以表示为:
5.根据权利要求1所述的基于多层次聚合特征提取与融合的点云分类方法,其特征是所述步骤(五)基于多层次点集特征融合的点云分类,所述步骤如下:以LLC-LDA点集特征为例,不同层次的点集特征可以通过点集中点的坐标位置对特征进行聚合,通常以第L层(最精细层)的点集特征空间作为特征聚合的基准,并定义聚合后的特征为点集的多层次聚合特征,第1层和第2层的点集特征传递到第L层的点集特征空间进行特征聚合,则第l个点集的多层次聚合的LLC-LDA特征可以表示为:
利用上述方法同样可以对多尺度最大池化的点集特征进行聚合,即第l个点集的多层次聚合的LLC-MP特征可以表示为:
点集的LLC-LDA和LLC-MP特征分别反映了点集的全局特性和局部特性,两种特征对于点集的类别表征具有一定的差异,为了充分利用不同类型的特征对点集进行分类,本发明对点集的这两种特征进行融合,对第l个点集构造如式(13)所示的点集融合特征,进而对点集分类;
鉴于SVM(Support Vector Machine,SVM)优秀的泛化能力和对不同大小的数据具有相对较好的适应性,本发明选择SVM作为分类器用于点云的分类,利用libsvm工具箱进行SVM模型的训练和测试。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010030687.9A CN111275052A (zh) | 2020-01-13 | 2020-01-13 | 基于多层次聚合特征提取与融合的点云分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010030687.9A CN111275052A (zh) | 2020-01-13 | 2020-01-13 | 基于多层次聚合特征提取与融合的点云分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111275052A true CN111275052A (zh) | 2020-06-12 |
Family
ID=70997075
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010030687.9A Pending CN111275052A (zh) | 2020-01-13 | 2020-01-13 | 基于多层次聚合特征提取与融合的点云分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111275052A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112688961A (zh) * | 2021-01-06 | 2021-04-20 | 北京科技大学 | 基于特征自适应层次聚类的网络流量图像安全分类方法 |
CN112764103A (zh) * | 2020-07-09 | 2021-05-07 | 五季数据科技(北京)有限公司 | 一种基于稀疏编码特征dbscan聚类地震相分析方法 |
CN112927323A (zh) * | 2021-02-23 | 2021-06-08 | 中国联合网络通信集团有限公司 | 一种图纸生成方法及装置 |
CN113470049A (zh) * | 2021-07-06 | 2021-10-01 | 吉林省田车科技有限公司 | 一种基于结构化彩色点云分割的完整目标提取方法 |
CN113516663A (zh) * | 2021-06-30 | 2021-10-19 | 同济大学 | 点云语义分割方法及装置、电子设备及存储介质 |
CN114492619A (zh) * | 2022-01-22 | 2022-05-13 | 电子科技大学 | 一种基于统计和凹凸性的点云数据集构建方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108460416A (zh) * | 2018-02-28 | 2018-08-28 | 武汉理工大学 | 一种基于三维激光雷达的结构化道路可行域提取方法 |
CN110110802A (zh) * | 2019-05-14 | 2019-08-09 | 南京林业大学 | 基于高阶条件随机场的机载激光点云分类方法 |
-
2020
- 2020-01-13 CN CN202010030687.9A patent/CN111275052A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108460416A (zh) * | 2018-02-28 | 2018-08-28 | 武汉理工大学 | 一种基于三维激光雷达的结构化道路可行域提取方法 |
CN110110802A (zh) * | 2019-05-14 | 2019-08-09 | 南京林业大学 | 基于高阶条件随机场的机载激光点云分类方法 |
Non-Patent Citations (2)
Title |
---|
GUOFENG TONG,ET AL.: "Point Set Multi-Level Aggregation Feature Extraction Based on Multi-Scale Max Pooling and LDA for Point Cloud Classification", 《REMOTE SENSING》 * |
YONG LI,ET AL: "Higher-Order Conditional Random Fields-Based 3D Semantic Labeling of Airborne Laser-Scanning Point Clouds", 《REMOTE SENSING 》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112764103A (zh) * | 2020-07-09 | 2021-05-07 | 五季数据科技(北京)有限公司 | 一种基于稀疏编码特征dbscan聚类地震相分析方法 |
CN112688961A (zh) * | 2021-01-06 | 2021-04-20 | 北京科技大学 | 基于特征自适应层次聚类的网络流量图像安全分类方法 |
CN112927323A (zh) * | 2021-02-23 | 2021-06-08 | 中国联合网络通信集团有限公司 | 一种图纸生成方法及装置 |
CN112927323B (zh) * | 2021-02-23 | 2023-08-22 | 中国联合网络通信集团有限公司 | 一种图纸生成方法及装置 |
CN113516663A (zh) * | 2021-06-30 | 2021-10-19 | 同济大学 | 点云语义分割方法及装置、电子设备及存储介质 |
CN113470049A (zh) * | 2021-07-06 | 2021-10-01 | 吉林省田车科技有限公司 | 一种基于结构化彩色点云分割的完整目标提取方法 |
CN113470049B (zh) * | 2021-07-06 | 2022-05-20 | 吉林省田车科技有限公司 | 一种基于结构化彩色点云分割的完整目标提取方法 |
CN114492619A (zh) * | 2022-01-22 | 2022-05-13 | 电子科技大学 | 一种基于统计和凹凸性的点云数据集构建方法及装置 |
CN114492619B (zh) * | 2022-01-22 | 2023-08-01 | 电子科技大学 | 一种基于统计和凹凸性的点云数据集构建方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110110802B (zh) | 基于高阶条件随机场的机载激光点云分类方法 | |
CN111275052A (zh) | 基于多层次聚合特征提取与融合的点云分类方法 | |
Bian et al. | A survey on trajectory clustering analysis | |
Doersch et al. | Mid-level visual element discovery as discriminative mode seeking | |
Alzu’bi et al. | Semantic content-based image retrieval: A comprehensive study | |
Gao et al. | 3-D object retrieval and recognition with hypergraph analysis | |
Cao et al. | Weakly supervised vehicle detection in satellite images via multi-instance discriminative learning | |
Ren et al. | 3d-a-nets: 3d deep dense descriptor for volumetric shapes with adversarial networks | |
Xia et al. | Exploiting deep features for remote sensing image retrieval: A systematic investigation | |
Tian et al. | A relation-augmented embedded graph attention network for remote sensing object detection | |
CN112883839B (zh) | 基于自适应样本集构造与深度学习的遥感影像解译方法 | |
Cai et al. | Multi-AUV collaborative target recognition based on transfer-reinforcement learning | |
CN113569979B (zh) | 一种基于注意力机制的三维物体点云分类方法 | |
Elguebaly et al. | Simultaneous high-dimensional clustering and feature selection using asymmetric Gaussian mixture models | |
Liu et al. | Deep fuzzy graph convolutional networks for PolSAR imagery pixelwise classification | |
Jain et al. | Visual dictionary learning for joint object categorization and segmentation | |
CN110738672A (zh) | 一种基于分层高阶条件随机场的图像分割方法 | |
Bouchakwa et al. | A review on visual content-based and users’ tags-based image annotation: methods and techniques | |
CN112115806A (zh) | 基于Dual-ResNet小样本学习的遥感影像场景精确分类方法 | |
Bogovic et al. | Learned versus hand-designed feature representations for 3d agglomeration | |
Xiao et al. | A similarity-based two-view multiple instance learning method for classification | |
Micusik et al. | Semantic parsing of street scenes from video | |
Guo et al. | SAR automatic target recognition based on supervised deep variational autoencoding model | |
CN111275077A (zh) | 多视角特征联合学习下的机载激光雷达点云语义标注方法 | |
Wang et al. | Logistic regression region weighting for weakly supervised object localization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200612 |
|
RJ01 | Rejection of invention patent application after publication |