CN107992850A - 一种室外场景三维彩色点云分类方法 - Google Patents
一种室外场景三维彩色点云分类方法 Download PDFInfo
- Publication number
- CN107992850A CN107992850A CN201711381670.2A CN201711381670A CN107992850A CN 107992850 A CN107992850 A CN 107992850A CN 201711381670 A CN201711381670 A CN 201711381670A CN 107992850 A CN107992850 A CN 107992850A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- image
- outdoor scene
- point
- cloud data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/38—Outdoor scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及三维点云数据处理与三维场景重建技术领域,一种室外场景三维彩色点云分类方法,包括以下步骤:(1)获取室外场景三维彩色点云数据,(2)构建室外场景三维彩色点云数据训练集,(3)在点云和图像模态中分别构建条件随机场分类器,(4)在点云模态中进行学习训练和分类推断,(5)在图像模态中进行学习训练和分类推断,(6)给出最终分类结果,(7)不断更新协同学习。本发明具有以下优点:一是、本发明将单模态学习扩展为多模态学习,利用模态之间的交互学习,构建多模态协同学习机制,充分发挥各模态优势;二是、本发明将有监督学习扩展为半监督学习,充分利用实时获取的大量无类标签数据进行协同学习,准确分类室外场景。
Description
技术领域
本发明涉及一种室外场景三维彩色点云分类方法,属于三维点云数据处理与三维场景重建技术领域。
背景技术
在数字化现实世界的过程中,三维点云数据记录了物体表面的几何属性和位置信息,二维图像记录了物体表面的颜色信息和纹理信息,二者的深度融合,将形成一种新兴的数字媒体,即三维彩色点云数据,三维彩色点云数据是三维点云数据的进一步发展,可以更加精确地表述现实世界。室外场景三维彩色点云分类是解决三维场景重建的关键性技术,具有较强的理论意义和应用价值,目前已在目标识别、自主导航、路径规划、环境探测、文物保护等领域有了越来越多的应用。
对于同一个三维场景,通过不同方法采集的场景信息就构成了此场景的不同模态表示,例如,场景的二维图像和场景的三维点云就构成了场景的两个模态。根据场景信息模态的不同,三维场景分类方法也不尽相同。二维图像采集便捷,基于二维图像的场景分类方法目前较为成熟,例如图像分类、图像识别等,但其无法提供环境的几何位置信息,致使应用领域有所局限;三维点云获取可靠,基于三维点云的场景分类方法也已取得了较大的发展,例如点云分类、点云识别等,但其无法提供环境的颜色纹理信息,致使认知效果有待提升。随着数据采集技术的快速发展,三维彩色点云数据作为一种新兴的数字媒体形式逐渐走进人们的生产生活,它是由图像和点云两种模态融合而成,兼具图像颜色信息和点云几何信息。目前,基于三维彩色点云的场景分类受到了广泛的关注,可以较好地解决传统认知方法所无法解决的问题。
室外场景三维彩色点云分类是指利用激光测距传感器和图像传感器来获取室外场景的三维点云数据和二维图像数据,并将二者融合,形成室外场景三维彩色点云数据,在此基础上,通过对室外场景三维彩色点云数据的学习和挖掘,将其分类为各种自然物体(地面、建筑、树木、车辆等),以实现对室外场景的深入理解和对目标的准确识别。目前,室外场景三维彩色点云分类已经成为人工智能领域的前沿课题和研究热点。
现有三维彩色点云分类方法均将图像和点云多模态特征相组合,用一个分类器进行学习训练和分类推断,其本质上还是单模态学习方法,并没有充分发挥多模态的优势;此外,现有三维彩色点云分类方法均为有监督学习方法,在学习过程中只利用训练集中的有类标签数据,并没有充分利用实时获取的大量无类标签数据所蕴含的分布信息。
发明内容
为了克服现有技术中存在的不足,本发明目的是提供一种室外场景三维彩色点云分类方法,以提高室外场景分类的准确性和可靠性。该方法借鉴人类学习过程,将单模态有监督学习扩展为多模态半监督学习,研究基于点云和图像多模态协同学习的室外场景三维彩色点云分类机制,充分发挥各模态优势,利用无类标签数据进行协同学习,准确分类室外场景,丰富类人感知认知技术与理论,将成为一项非常有益的尝试,具有重要的理论意义和应用价值。
为了实现上述发明目的,解决己有技术中存在的问题,本发明采取的技术方案是:一种室外场景三维彩色点云分类方法,包括以下步骤:
步骤1、获取室外场景三维彩色点云数据,利用三维激光彩色扫描测距***,获取室外场景三维彩色点云数据P={pi=(xi,yi,zi,ri,gi,bi)|1≤i≤n},其中:pi为彩色点,(xi,yi,zi)为彩色点pi的坐标,(ri,gi,bi)为彩色点pi的颜色,i为彩色点的序号,n为彩色点的个数,室外场景三维彩色点云数据由点云数据S={(xi,yi,zi)|1≤i≤n}和图像数据C={(ri,gi,bi)|1≤i≤n}两种模态融合而成,兼具点云几何信息和图像颜色信息;
步骤2、构建室外场景三维彩色点云数据训练集,利用点云交互标记软件,为已获取的室外场景三维彩色点云数据中每一个彩色点pi标注一个类别标签li,构建室外场景三维彩色点云数据训练集L={pi,li|1≤i≤n}、点云数据训练集Ls={(xi,yi,zi),li|1≤i≤n}、图像数据训练集Lc={(ri,gi,bi),li|1≤i≤n};
步骤3、在点云和图像模态中分别构建条件随机场分类器,针对三维彩色点云个体点分类,综合考虑其个体特性、邻域特性和局部特性,利用独立点、连接边和分割片段,设计条件随机场的点模型、边模型和高阶团模型,在点云和图像模态中分别构建条件随机场分类器,具体包括以下子步骤:
(a)、在点云模态中,构建点云条件随机场分类器 其中:表示每一个点的能量势函数之和,N为点的个数,K为类的个数,为第i个点的点云特征向量,为当某点属于第k类的权重,为第i个点属于第k类的值;表示每一条边的能量势函数之和,为边的集合,为第ij条边的点云特征向量,为当某边属于第k类的权重,为第ij条边属于第k类的值;表示每一个团即点云中的某一部分的能量势函数之和,为团的集合,为第c个团的点云特征向量,为当某团属于第k类的权重,为第c个团属于第k类的值,为归一化因子系数;为条件概率,通过对该分类器的训练和推断,即可在点云模态中将室外场景三维彩色点云数据分类为建筑、树木、电线、地面类型;
(b)、在图像模态中,构建图像条件随机场分类器 其中:表示每一个点的能量势函数之和,N为点的个数,K为类的个数,为第i个点的图像特征向量,为当某点属于第k类的权重,为第i个点属于第k类的值;表示每一条边的能量势函数之和,为边的集合,为第ij条边的图像特征向量,为当某边属于第k类的权重,为第ij条边属于第k类的值;表示每一个团即图像中的某一部分的能量势函数之和,为团的集合,为第c个团的图像特征向量,为当某团属于第k类的权重,为第c个团属于第k类的值,为归一化因子系数;为条件概率,通过对该分类器的训练和推断,即可在图像模态中将室外场景三维彩色点云数据分类为建筑、树木、电线、地面类型;
步骤4、在点云模态中进行学习训练和分类推断,在点云模态中,计算点云特征向量,利用点云数据训练集Ls去训练点云条件随机场分类器fs,并利用训练后获得的点云条件随机场分类器fs,对新获取的室外场景三维彩色点云数据进行分类推断,将条件概率大于0.9的分类结果及其图像数据加入图像数据训练集Lc,用于扩充图像数据训练集Lc,具体包括以下子步骤:
(a)、针对室外场景三维彩色点云数据,利用KD-tree算法在空间上构建给定点p=(x,y,z,r,g,b)的邻域N={pi=(xi,yi,zi,ri,gi,bi)|1≤i≤k},其中:pi为邻点,i为邻点的序号,k为邻点的个数;
(b)、通过公式(1)
构建给定点p的邻域N的协方差矩阵M,T为向量转置符号,其将列向量转置为行向量,并求取协方差矩阵M的特征值λ1、λ2、λ3,且λ1<λ2<λ3,以及相应的特征向量v1、v2、v3,最小特征值λ1对应的特征向量v1为给定点p的法向量n=(xn,yn,zn),中间特征值λ2对应的特征向量v2为给定点p的基向量b=(xb,yb,zb),最大特征值λ3对应的特征向量v3为给定点p的切向量t=(xt,yt,zt);
(c)、构造第i个点的点云特征向量其中,为高度特征,为点性特征,为线性特征,为面性特征,为切向量特征,为法向量特征;
(d)、利用步骤4中子步骤(c)分别计算第ij条边的两个端点的点云特征向量和将第ij条边的两个端点的点云特征向量相减,即可得第ij条边的点云特征向量其中, i为第ij条边的一个端点的序号,j为第ij条边的另一个端点的序号;
(e)、在点云模态中,利用K-means聚类算法,将室外场景点云数据分割为一些空间位置独立的点云片段,每一个点云片段都构成了点云条件随机场模型中的一个团,构造第c个团的点云特征向量为其中,为该团的平均高度,为该团内点的个数,为该团的中心点按照步骤4中子步骤(c)所计算出的点云特征向量;
(f)、按照步骤4中子步骤(b)到子步骤(e)的处理方法,计算点云数据训练集Ls的点云特征向量,并利用Max-margin方法对点云条件随机场分类器fs进行学习训练,并获得该分类器的所有参数和
(g)、在获得点云条件随机场分类器fs后,按照步骤4中子步骤(b)到子步骤(e)的处理方法,计算新获取的室外场景三维彩色点云数据的点云特征向量,然后利用Graph-cut算法对新获取的室外场景三维彩色点云数据进行分类推断,即可得到在点云模态中的分类结果,同时,将条件概率大于0.9的分类结果及其图像数据加入图像数据训练集Lc,用于扩充图像数据训练集Lc;
步骤5、在图像模态中进行学习训练和分类推断,在图像模态中,计算图像特征向量,利用图像数据训练集Lc去训练图像条件随机场分类器fc,并利用训练后获得的图像条件随机场分类器fc,对新获取的室外场景三维彩色点云数据进行推断分类,将条件概率大于0.9的分类结果及其点云数据加入点云数据训练集Ls,用于扩充点云数据训练集Ls,具体包括以下子步骤:
(a)、构造第i个点的图像特征向量图像特征向量为30维向量,包括2维位置特征即UV特征、3维颜色特征即HSV特征、9维方向梯度直方图特征即HOG特征和16维纹理特征即TEXTONS特征,上述特征均利用标准图像处理方法计算得到;
(b)、利用步骤5中子步骤(a)分别计算第ij条边的两个端点的图像特征向量和将第ij条边的两个端点的图像特征向量相减,即可得第ij条边的图像特征向量
(c)、在图像模态中,利用K-means聚类算法,将室外场景图像数据分割为一些空间位置独立的图像片段,每一个图像片段都构成了图像条件随机场模型中的一个团,构造第c个团的图像特征向量为为该团的中心点按照步骤5中子步骤(a)所计算出的图像特征向量;
(d)、按照步骤5中子步骤(a)到子步骤(c)的处理方法,计算图像数据训练集Lc的图像特征向量,并利用Max-margin方法对图像条件随机场分类器fc进行学习训练,并获得该分类器的所有参数和
(e)、在获得图像条件随机场分类器fc后,按照步骤5中子步骤(a)到子步骤(c)的处理方法,计算新获取的室外场景三维彩色点云数据的图像特征向量,然后利用Graph-cut算法对新获取的室外场景三维彩色点云数据进行分类推断,即可得到在图像模态中的分类结果,同时,将条件概率大于0.9的分类结果及其点云数据加入点云数据训练集Ls,用于扩充点云数据训练集Ls;
步骤6、给出最终分类结果,综合评价点云和图像模态下的分类结果,选择条件概率大的分类结果作为新获取的室外场景三维彩色点云数据的最终分类结果;
步骤7、不断更新协同学习,对于新获取的每一帧室外场景三维彩色点云数据,重复步骤4至步骤6,在给出分类结果的同时,不断交叉扩充点云数据训练集Ls和图像数据训练集Lc,不断更新点云条件随机场分类器fs和图像条件随机场分类器fc。
本发明有益效果是:一种室外场景三维彩色点云分类方法,包括以下步骤:(1)获取室外场景三维彩色点云数据,(2)构建室外场景三维彩色点云数据训练集,(3)在点云和图像模态中分别构建条件随机场分类器,(4)在点云模态中进行学习训练和分类推断,(5)在图像模态中进行学习训练和分类推断,(6)给出最终分类结果,(7)不断更新协同学习。与已有技术相比,本发明具有以下优点:一是、本发明将单模态学习扩展为多模态学习,利用模态之间的交互学习,构建多模态协同学习机制,充分发挥各模态优势;二是、本发明将有监督学习扩展为半监督学习,充分利用实时获取的大量无类标签数据进行协同学习,准确分类室外场景。
附图说明
图1是本发明方法步骤流程图。
图2是室外场景三维彩色点云数据显示图。
图3是室外场景三维点云数据显示图。
图4是室外场景二维图像数据显示图。
图5是本发明原理示意图。
图6是室外场景三维彩色点云分类结果图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示,一种室外场景三维彩色点云分类方法,包括以下步骤:
步骤1、获取室外场景三维彩色点云数据,利用三维激光彩色扫描测距***,获取室外场景三维彩色点云数据P={pi=(xi,yi,zi,ri,gi,bi)|1≤i≤n},其中:pi为彩色点,(xi,yi,zi)为彩色点pi的坐标,(ri,gi,bi)为彩色点pi的颜色,i为彩色点的序号,n为彩色点的个数,室外场景三维彩色点云数据由点云数据S={(xi,yi,zi)|1≤i≤n}和图像数据C={(ri,gi,bi)|1≤i≤n}两种模态融合而成,兼具点云几何信息和图像颜色信息,如图2、图3和图4所示。
步骤2、构建室外场景三维彩色点云数据训练集,利用点云交互标记软件,为已获取的室外场景三维彩色点云数据中每一个彩色点pi标注一个类别标签li,构建室外场景三维彩色点云数据训练集L={pi,li|1≤i≤n}、点云数据训练集Ls={(xi,yi,zi),li|1≤i≤n}、图像数据训练集Lc={(ri,gi,bi),li|1≤i≤n}。
步骤3、在点云和图像模态中分别构建条件随机场分类器,针对三维彩色点云个体点分类,综合考虑其个体特性、邻域特性和局部特性,利用独立点、连接边和分割片段,设计条件随机场的点模型、边模型和高阶团模型,在点云和图像模态中分别构建条件随机场分类器,具体包括以下子步骤:
(a)、在点云模态中,构建点云条件随机场分类器 其中:表示每一个点的能量势函数之和,N为点的个数,K为类的个数,为第i个点的点云特征向量,为当某点属于第k类的权重,为第i个点属于第k类的值;表示每一条边的能量势函数之和,为边的集合,为第ij条边的点云特征向量,为当某边属于第k类的权重,为第ij条边属于第k类的值;表示每一个团即点云中的某一部分的能量势函数之和,为团的集合,为第c个团的点云特征向量,为当某团属于第k类的权重,为第c个团属于第k类的值,为归一化因子系数;为条件概率,通过对该分类器的训练和推断,即可在点云模态中将室外场景三维彩色点云数据分类为建筑、树木、电线、地面类型;
(b)、在图像模态中,构建图像条件随机场分类器 其中:表示每一个点的能量势函数之和,N为点的个数,K为类的个数,为第i个点的图像特征向量,为当某点属于第k类的权重,为第i个点属于第k类的值;表示每一条边的能量势函数之和,为边的集合,为第ij条边的图像特征向量,为当某边属于第k类的权重,为第ij条边属于第k类的值;表示每一个团即图像中的某一部分的能量势函数之和,为团的集合,为第c个团的图像特征向量,为当某团属于第k类的权重,为第c个团属于第k类的值,为归一化因子系数;为条件概率,通过对该分类器的训练和推断,即可在图像模态中将室外场景三维彩色点云数据分类为建筑、树木、电线、地面类型,如图5所示。
步骤4、在点云模态中进行学习训练和分类推断,在点云模态中,计算点云特征向量,利用点云数据训练集Ls去训练点云条件随机场分类器fs,并利用训练后获得的点云条件随机场分类器fs,对新获取的室外场景三维彩色点云数据进行分类推断,将条件概率大于0.9的分类结果及其图像数据加入图像数据训练集Lc,用于扩充图像数据训练集Lc,具体包括以下子步骤:
(a)、针对室外场景三维彩色点云数据,利用KD-tree算法在空间上构建给定点p=(x,y,z,r,g,b)的邻域N={pi=(xi,yi,zi,ri,gi,bi)|1≤i≤k},其中:pi为邻点,i为邻点的序号,k为邻点的个数;
(b)、通过公式(1)
构建给定点p的邻域N的协方差矩阵M,T为向量转置符号,其将列向量转置为行向量,并求取协方差矩阵M的特征值λ1、λ2、λ3,且λ1<λ2<λ3,以及相应的特征向量v1、v2、v3,最小特征值λ1对应的特征向量v1为给定点p的法向量n=(xn,yn,zn),中间特征值λ2对应的特征向量v2为给定点p的基向量b=(xb,yb,zb),最大特征值λ3对应的特征向量v3为给定点p的切向量t=(xt,yt,zt);
(c)、构造第i个点的点云特征向量其中,为高度特征,为点性特征,为线性特征,为面性特征,为切向量特征,为法向量特征;
(d)、利用步骤4中子步骤(c)分别计算第ij条边的两个端点的点云特征向量和将第ij条边的两个端点的点云特征向量相减,即可得第ij条边的点云特征向量其中, i为第ij条边的一个端点的序号,j为第ij条边的另一个端点的序号;
(e)、在点云模态中,利用K-means聚类算法,将室外场景点云数据分割为一些空间位置独立的点云片段,每一个点云片段都构成了点云条件随机场模型中的一个团,构造第c个团的点云特征向量为其中,为该团的平均高度,为该团内点的个数,为该团的中心点按照步骤4中子步骤(c)所计算出的点云特征向量;
(f)、按照步骤4中子步骤(b)到子步骤(e)的处理方法,计算点云数据训练集Ls的点云特征向量,并利用Max-margin方法对点云条件随机场分类器fs进行学习训练,并获得该分类器的所有参数和
(g)、在获得点云条件随机场分类器fs后,按照步骤4中子步骤(b)到子步骤(e)的处理方法,计算新获取的室外场景三维彩色点云数据的点云特征向量,然后利用Graph-cut算法对新获取的室外场景三维彩色点云数据进行分类推断,即可得到在点云模态中的分类结果,同时,将条件概率大于0.9的分类结果及其图像数据加入图像数据训练集Lc,用于扩充图像数据训练集Lc,如图5所示。
步骤5、在图像模态中进行学习训练和分类推断,在图像模态中,计算图像特征向量,利用图像数据训练集Lc去训练图像条件随机场分类器fc,并利用训练后获得的图像条件随机场分类器fc,对新获取的室外场景三维彩色点云数据进行推断分类,将条件概率大于0.9的分类结果及其点云数据加入点云数据训练集Ls,用于扩充点云数据训练集Ls,具体包括以下子步骤:
(a)、构造第i个点的图像特征向量图像特征向量为30维向量,包括2维位置特征即UV特征、3维颜色特征即HSV特征、9维方向梯度直方图特征即HOG特征和16维纹理特征即TEXTONS特征,上述特征均利用标准图像处理方法计算得到;
(b)、利用步骤5中子步骤(a)分别计算第ij条边的两个端点的图像特征向量和将第ij条边的两个端点的图像特征向量相减,即可得第ij条边的图像特征向量
(c)、在图像模态中,利用K-means聚类算法,将室外场景图像数据分割为一些空间位置独立的图像片段,每一个图像片段都构成了图像条件随机场模型中的一个团,构造第c个团的图像特征向量为为该团的中心点按照步骤5中子步骤(a)所计算出的图像特征向量;
(d)、按照步骤5中子步骤(a)到子步骤(c)的处理方法,计算图像数据训练集Lc的图像特征向量,并利用Max-margin方法对图像条件随机场分类器fc进行学习训练,并获得该分类器的所有参数和
(e)、在获得图像条件随机场分类器fc后,按照步骤5中子步骤(a)到子步骤(c)的处理方法,计算新获取的室外场景三维彩色点云数据的图像特征向量,然后利用Graph-cut算法对新获取的室外场景三维彩色点云数据进行分类推断,即可得到在图像模态中的分类结果,同时,将条件概率大于0.9的分类结果及其点云数据加入点云数据训练集Ls,用于扩充点云数据训练集Ls,如图5所示。
步骤6、给出最终分类结果,综合评价点云和图像模态下的分类结果,选择条件概率大的分类结果作为新获取的室外场景三维彩色点云数据的最终分类结果,如图6所示。
步骤7、不断更新协同学习,对于新获取的每一帧室外场景三维彩色点云数据,重复步骤4至步骤6,在给出分类结果的同时,不断交叉扩充点云数据训练集Ls和图像数据训练集Lc,不断更新点云条件随机场分类器fs和图像条件随机场分类器fc。
本发明优点在于:1、本发明将单模态学习扩展为多模态学习,利用模态之间的交互学习,构建多模态协同学习机制,充分发挥各模态优势;2、本发明将有监督学习扩展为半监督学习,充分利用实时获取的大量无类标签数据进行协同学习,准确分类室外场景。
Claims (1)
1.一种室外场景三维彩色点云分类方法,其特征在于包括以下步骤:
步骤1、获取室外场景三维彩色点云数据,利用三维激光彩色扫描测距***,获取室外场景三维彩色点云数据P={pi=(xi,yi,zi,ri,gi,bi)|1≤i≤n},其中:pi为彩色点,(xi,yi,zi)为彩色点pi的坐标,(ri,gi,bi)为彩色点pi的颜色,i为彩色点的序号,n为彩色点的个数,室外场景三维彩色点云数据由点云数据S={(xi,yi,zi)|1≤i≤n}和图像数据C={(ri,gi,bi)|1≤i≤n}两种模态融合而成,兼具点云几何信息和图像颜色信息;
步骤2、构建室外场景三维彩色点云数据训练集,利用点云交互标记软件,为已获取的室外场景三维彩色点云数据中每一个彩色点pi标注一个类别标签li,构建室外场景三维彩色点云数据训练集L={pi,li|1≤i≤n}、点云数据训练集Ls={(xi,yi,zi),li|1≤i≤n}、图像数据训练集Lc={(ri,gi,bi),li|1≤i≤n};
步骤3、在点云和图像模态中分别构建条件随机场分类器,针对三维彩色点云个体点分类,综合考虑其个体特性、邻域特性和局部特性,利用独立点、连接边和分割片段,设计条件随机场的点模型、边模型和高阶团模型,在点云和图像模态中分别构建条件随机场分类器,具体包括以下子步骤:
(a)、在点云模态中,构建点云条件随机场分类器 其中:表示每一个点的能量势函数之和,N为点的个数,L为类的个数,为第i个点的点云特征向量,为当某点属于第k类的权重,为第i个点属于第k类的值;表示每一条边的能量势函数之和,为边的集合,为第ij条边的点云特征向量,为当某边属于第k类的权重,为第ij条边属于第k类的值;表示每一个团即点云中的某一部分的能量势函数之和,为团的集合,为第c个团的点云特征向量,为当某团属于第k类的权重,为第c个团属于第k类的值,为归一化因子系数;为条件概率,通过对该分类器的训练和推断,即可在点云模态中将室外场景三维彩色点云数据分类为建筑、树木、电线、地面类型;
(b)、在图像模态中,构建图像条件随机场分类器 其中:表示每一个点的能量势函数之和,N为点的个数,K为类的个数,为第i个点的图像特征向量,为当某点属于第k类的权重,为第i个点属于第k类的值;表示每一条边的能量势函数之和,为边的集合,为第ij条边的图像特征向量,为当某边属于第k类的权重,为第ij条边属于第k类的值;表示每一个团即图像中的某一部分的能量势函数之和,为团的集合,为第c个团的图像特征向量,为当某团属于第k类的权重,为第c个团属于第k类的值,为归一化因子系数;为条件概率,通过对该分类器的训练和推断,即可在图像模态中将室外场景三维彩色点云数据分类为建筑、树木、电线、地面类型;
步骤4、在点云模态中进行学习训练和分类推断,在点云模态中,计算点云特征向量,利用点云数据训练集Ls去训练点云条件随机场分类器fs,并利用训练后获得的点云条件随机场分类器fs,对新获取的室外场景三维彩色点云数据进行分类推断,将条件概率大于0.9的分类结果及其图像数据加入图像数据训练集Lc,用于扩充图像数据训练集Lc,具体包括以下子步骤:
(a)、针对室外场景三维彩色点云数据,利用KD-tree算法在空间上构建给定点p=(x,y,z,r,g,b)的邻域N={pi=(xi,yi,zi,ri,gi,bi)|1≤i≤k},其中:pi为邻点,i为邻点的序号,k为邻点的个数;
(b)、通过公式(1)
<mrow>
<mi>M</mi>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>k</mi>
</munderover>
<mrow>
<mo>(</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>z</mi>
<mi>i</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>x</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>y</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>z</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>)</mo>
</mrow>
<msup>
<mrow>
<mo>(</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>z</mi>
<mi>i</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>x</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>y</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>z</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
构建给定点p的邻域N的协方差矩阵M,T为向量转置符号,其将列向量转置为行向量,并求取协方差矩阵M的特征值λ1、λ2、λ3,且λ1<λ2<λ3,以及相应的特征向量v1、v2、v3,最小特征值λ1对应的特征向量v1为给定点p的法向量n=(xn,yn,zn),中间特征值λ2对应的特征向量v2为给定点p的基向量b=(xb,yb,zb),最大特征值λ3对应的特征向量v3为给定点p的切向量t=(xt,yt,zt);
(c)、构造第i个点的点云特征向量其中,为高度特征,为点性特征,为线性特征,为面性特征,为切向量特征,为法向量特征;
(d)、利用步骤4中子步骤(c)分别计算第ij条边的两个端点的点云特征向量和将第ij条边的两个端点的点云特征向量相减,即可得第ij条边的点云特征向量其中, i为第ij条边的一个端点的序号,j为第ij条边的另一个端点的序号;
(e)、在点云模态中,利用K-means聚类算法,将室外场景点云数据分割为一些空间位置独立的点云片段,每一个点云片段都构成了点云条件随机场模型中的一个团,构造第c个团的点云特征向量为其中,为该团的平均高度,为该团内点的个数,为该团的中心点按照步骤4中子步骤(c)所计算出的点云特征向量;
(f)、按照步骤4中子步骤(b)到子步骤(e)的处理方法,计算点云数据训练集Ls的点云特征向量,并利用Max-margin方法对点云条件随机场分类器fs进行学习训练,并获得该分类器的所有参数和
(g)、在获得点云条件随机场分类器fs后,按照步骤4中子步骤(b)到子步骤(e)的处理方法,计算新获取的室外场景三维彩色点云数据的点云特征向量,然后利用Graph-cut算法对新获取的室外场景三维彩色点云数据进行分类推断,即可得到在点云模态中的分类结果,同时,将条件概率大于0.9的分类结果及其图像数据加入图像数据训练集Lc,用于扩充图像数据训练集Lc;
步骤5、在图像模态中进行学习训练和分类推断,在图像模态中,计算图像特征向量,利用图像数据训练集Lc去训练图像条件随机场分类器fc,并利用训练后获得的图像条件随机场分类器fc,对新获取的室外场景三维彩色点云数据进行推断分类,将条件概率大于0.9的分类结果及其点云数据加入点云数据训练集Ls,用于扩充点云数据训练集Ls,具体包括以下子步骤:
(a)、构造第i个点的图像特征向量图像特征向量为30维向量,包括2维位置特征即UV特征、3维颜色特征即HSV特征、9维方向梯度直方图特征即HOG特征和16维纹理特征即TEXTONS特征,上述特征均利用标准图像处理方法计算得到;
(b)、利用步骤5中子步骤(a)分别计算第ij条边的两个端点的图像特征向量和将第ij条边的两个端点的图像特征向量相减,即可得第ij条边的图像特征向量
(c)、在图像模态中,利用K-means聚类算法,将室外场景图像数据分割为一些空间位置独立的图像片段,每一个图像片段都构成了图像条件随机场模型中的一个团,构造第c个团的图像特征向量为 为该团的中心点按照步骤5中子步骤(a)所计算出的图像特征向量;
(d)、按照步骤5中子步骤(a)到子步骤(c)的处理方法,计算图像数据训练集Lc的图像特征向量,并利用Max-margin方法对图像条件随机场分类器fc进行学习训练,并获得该分类器的所有参数和
(e)、在获得图像条件随机场分类器fc后,按照步骤5中子步骤(a)到子步骤(c)的处理方法,计算新获取的室外场景三维彩色点云数据的图像特征向量,然后利用Graph-cut算法对新获取的室外场景三维彩色点云数据进行分类推断,即可得到在图像模态中的分类结果,同时,将条件概率大于0.9的分类结果及其点云数据加入点云数据训练集Ls,用于扩充点云数据训练集Ls;
步骤6、给出最终分类结果,综合评价点云和图像模态下的分类结果,选择条件概率大的分类结果作为新获取的室外场景三维彩色点云数据的最终分类结果;
步骤7、不断更新协同学习,对于新获取的每一帧室外场景三维彩色点云数据,重复步骤4至步骤6,在给出分类结果的同时,不断交叉扩充点云数据训练集Ls和图像数据训练集Lc,不断更新点云条件随机场分类器fs和图像条件随机场分类器fc。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711381670.2A CN107992850B (zh) | 2017-12-20 | 2017-12-20 | 一种室外场景三维彩色点云分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711381670.2A CN107992850B (zh) | 2017-12-20 | 2017-12-20 | 一种室外场景三维彩色点云分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107992850A true CN107992850A (zh) | 2018-05-04 |
CN107992850B CN107992850B (zh) | 2020-01-14 |
Family
ID=62038229
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711381670.2A Active CN107992850B (zh) | 2017-12-20 | 2017-12-20 | 一种室外场景三维彩色点云分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107992850B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109858437A (zh) * | 2019-01-30 | 2019-06-07 | 苏州大学 | 基于生成查询网络的行李体积自动分类方法 |
CN110555826A (zh) * | 2019-08-04 | 2019-12-10 | 大连理工大学 | 一种基于局部离群因子的三维点云特征提取方法 |
CN111310811A (zh) * | 2020-02-06 | 2020-06-19 | 东华理工大学 | 一种基于多维特征最优组合的大场景三维点云分类方法 |
CN111436216A (zh) * | 2018-11-13 | 2020-07-21 | 北京嘀嘀无限科技发展有限公司 | 用于彩色点云生成的方法和*** |
CN113239749A (zh) * | 2021-04-27 | 2021-08-10 | 四川大学 | 一种基于多模态联合学习的跨域点云语义分割方法 |
WO2021248908A1 (zh) * | 2020-06-08 | 2021-12-16 | 大连理工大学 | 基于高斯过程回归的室外场景三维点云的地面提取方法 |
CN115327562A (zh) * | 2022-10-16 | 2022-11-11 | 常州海图信息科技股份有限公司 | 一种手持可视激光测距仪器 |
CN115374498A (zh) * | 2022-10-24 | 2022-11-22 | 北京理工大学 | 一种考虑道路属性特征参数的道路场景重构方法及*** |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104408445A (zh) * | 2014-12-19 | 2015-03-11 | 吉林纪元时空动漫游戏科技股份有限公司 | 实时人体自动检测方法 |
CN104463856A (zh) * | 2014-11-25 | 2015-03-25 | 大连理工大学 | 基于法向量球的室外场景三维点云数据的地面提取方法 |
CN104504709A (zh) * | 2014-12-28 | 2015-04-08 | 大连理工大学 | 一种基于特征球的室外场景三维点云数据的分类方法 |
CN105488809A (zh) * | 2016-01-14 | 2016-04-13 | 电子科技大学 | 基于rgbd描述符的室内场景语义分割方法 |
CN106485274A (zh) * | 2016-10-09 | 2017-03-08 | 湖南穗富眼电子科技有限公司 | 一种基于目标特性图的物体分类方法 |
CN107016415A (zh) * | 2017-04-12 | 2017-08-04 | 合肥工业大学 | 一种基于全卷积网络的彩色图像色彩语义分类方法 |
CN107167811A (zh) * | 2017-04-26 | 2017-09-15 | 西安交通大学 | 基于单目视觉与激光雷达融合的道路可行驶区域检测方法 |
US20170337726A1 (en) * | 2016-05-17 | 2017-11-23 | Vangogh Imaging, Inc. | 3d photogrammetry |
-
2017
- 2017-12-20 CN CN201711381670.2A patent/CN107992850B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104463856A (zh) * | 2014-11-25 | 2015-03-25 | 大连理工大学 | 基于法向量球的室外场景三维点云数据的地面提取方法 |
CN104408445A (zh) * | 2014-12-19 | 2015-03-11 | 吉林纪元时空动漫游戏科技股份有限公司 | 实时人体自动检测方法 |
CN104504709A (zh) * | 2014-12-28 | 2015-04-08 | 大连理工大学 | 一种基于特征球的室外场景三维点云数据的分类方法 |
CN105488809A (zh) * | 2016-01-14 | 2016-04-13 | 电子科技大学 | 基于rgbd描述符的室内场景语义分割方法 |
US20170337726A1 (en) * | 2016-05-17 | 2017-11-23 | Vangogh Imaging, Inc. | 3d photogrammetry |
CN106485274A (zh) * | 2016-10-09 | 2017-03-08 | 湖南穗富眼电子科技有限公司 | 一种基于目标特性图的物体分类方法 |
CN107016415A (zh) * | 2017-04-12 | 2017-08-04 | 合肥工业大学 | 一种基于全卷积网络的彩色图像色彩语义分类方法 |
CN107167811A (zh) * | 2017-04-26 | 2017-09-15 | 西安交通大学 | 基于单目视觉与激光雷达融合的道路可行驶区域检测方法 |
Non-Patent Citations (2)
Title |
---|
BENJAMIN DUCKE,DAVID SCORE,JOSEPH REEVES: "Multiview 3D reconstruction of the archaeological site at Weymouth from image series", 《COMPUTERS & GRAPHICS》 * |
任柯燕: "基于机器视觉的室外场景图像理解方法研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111436216A (zh) * | 2018-11-13 | 2020-07-21 | 北京嘀嘀无限科技发展有限公司 | 用于彩色点云生成的方法和*** |
CN111436216B (zh) * | 2018-11-13 | 2023-11-07 | 北京嘀嘀无限科技发展有限公司 | 用于彩色点云生成的方法和*** |
CN109858437A (zh) * | 2019-01-30 | 2019-06-07 | 苏州大学 | 基于生成查询网络的行李体积自动分类方法 |
CN110555826A (zh) * | 2019-08-04 | 2019-12-10 | 大连理工大学 | 一种基于局部离群因子的三维点云特征提取方法 |
CN110555826B (zh) * | 2019-08-04 | 2022-04-15 | 大连理工大学 | 一种基于局部离群因子的三维点云特征提取方法 |
CN111310811A (zh) * | 2020-02-06 | 2020-06-19 | 东华理工大学 | 一种基于多维特征最优组合的大场景三维点云分类方法 |
WO2021248908A1 (zh) * | 2020-06-08 | 2021-12-16 | 大连理工大学 | 基于高斯过程回归的室外场景三维点云的地面提取方法 |
CN113239749A (zh) * | 2021-04-27 | 2021-08-10 | 四川大学 | 一种基于多模态联合学习的跨域点云语义分割方法 |
CN115327562A (zh) * | 2022-10-16 | 2022-11-11 | 常州海图信息科技股份有限公司 | 一种手持可视激光测距仪器 |
CN115374498A (zh) * | 2022-10-24 | 2022-11-22 | 北京理工大学 | 一种考虑道路属性特征参数的道路场景重构方法及*** |
CN115374498B (zh) * | 2022-10-24 | 2023-03-10 | 北京理工大学 | 一种考虑道路属性特征参数的道路场景重构方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN107992850B (zh) | 2020-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107992850B (zh) | 一种室外场景三维彩色点云分类方法 | |
Wang et al. | Sgpn: Similarity group proposal network for 3d point cloud instance segmentation | |
Zhang et al. | Deep learning-based classification and reconstruction of residential scenes from large-scale point clouds | |
CN113657349B (zh) | 一种基于多尺度时空图卷积神经网络的人体行为识别方法 | |
CN107092870B (zh) | 一种高分辨率影像语义信息提取方法 | |
CN104268593B (zh) | 一种小样本情况下多稀疏表示的人脸识别方法 | |
CN108319957A (zh) | 一种基于超点图的大规模点云语义分割方法 | |
CN105631892B (zh) | 一种基于阴影和纹理特征的航空影像建筑物损毁检测方法 | |
CN110852182B (zh) | 一种基于三维空间时序建模的深度视频人体行为识别方法 | |
CN103886619B (zh) | 一种融合多尺度超像素的目标跟踪方法 | |
CN112883839B (zh) | 基于自适应样本集构造与深度学习的遥感影像解译方法 | |
CN105740915B (zh) | 一种融合感知信息的协同分割方法 | |
CN104408469A (zh) | 基于图像深度学习的烟火识别方法及*** | |
CN103514456A (zh) | 基于压缩感知多核学习的图像分类方法及其装置 | |
Poux et al. | Unsupervised segmentation of indoor 3D point cloud: Application to object-based classification | |
CN103065158B (zh) | 基于相对梯度的isa模型的行为识别方法 | |
CN103927511A (zh) | 基于差异特征描述的图像识别方法 | |
CN109034035A (zh) | 基于显著性检测和特征融合的行人重识别方法 | |
CN110516723B (zh) | 一种基于深度张量融合的多模态地基云图识别方法 | |
CN105868706A (zh) | 一种基于稀疏自编码的三维模型识别方法 | |
CN105574545B (zh) | 街道环境图像多视角语义切割方法及装置 | |
Siva et al. | Voxel-based representation learning for place recognition based on 3d point clouds | |
CN115170805A (zh) | 一种结合超像素和多尺度分层特征识别的图像分割方法 | |
Detry et al. | Continuous surface-point distributions for 3D object pose estimation and recognition | |
CN109740539A (zh) | 基于超限学习机和融合卷积网络的3d物体识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |