CN112347894B - 基于迁移学习和高斯混合模型分离的单株植被提取方法 - Google Patents

基于迁移学习和高斯混合模型分离的单株植被提取方法 Download PDF

Info

Publication number
CN112347894B
CN112347894B CN202011203898.4A CN202011203898A CN112347894B CN 112347894 B CN112347894 B CN 112347894B CN 202011203898 A CN202011203898 A CN 202011203898A CN 112347894 B CN112347894 B CN 112347894B
Authority
CN
China
Prior art keywords
trunk
point
point cloud
points
vegetation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011203898.4A
Other languages
English (en)
Other versions
CN112347894A (zh
Inventor
惠振阳
李大军
刘波
王乐洋
聂运菊
余美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Institute of Technology
Original Assignee
East China Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Institute of Technology filed Critical East China Institute of Technology
Priority to CN202011203898.4A priority Critical patent/CN112347894B/zh
Publication of CN112347894A publication Critical patent/CN112347894A/zh
Application granted granted Critical
Publication of CN112347894B publication Critical patent/CN112347894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于迁移学习和高斯混合模型分离的单株植被提取方法,包括以下步骤:S1,基于直推式迁移学习进行树干探测,以获取树干点;S2,以树干点云为基础进行最邻近聚类获取初始分割结果;S3,采用主成分变换和核密度估计确定初始分割中各部分的混合成分的数目,并基于混合成分的数目实现高斯混合模型分离获得树冠分离结果;S4,进行基于点密度重心的过分割植被优化合并;S5,基于竖直连续性原则采用从上之下的方式获取各个树冠所对应的树干点云,完成单木提取。本发明能够在保证获取较高树木提取精度的同时,可以实现更多的树木的探测。

Description

基于迁移学习和高斯混合模型分离的单株植被提取方法
技术领域
本发明涉及单木提取技术领域,特别是涉及一种基于迁移学习和高斯混合模型分离的单株植被提取方法。
背景技术
LiDAR(Light Detection and Ranging)技术作为一种新的主动遥感测量方式,近年来发展十分迅速。相较于传统的被动光学遥感测量,LiDAR技术具有获取数据速度快、点位精度高、不受外界光照条件的影响、能够24小时全天候进行数据采集等优点。此外,LiDAR***所发射的激光脉冲能够部分地穿透植被冠层到达地面,可直接测量冠层三维结构和林下地形,因而比传统光学传感器在探测生态***结构和功能上更具优势。目前,LiDAR技术已成为植被资源调查和监测重要的测量手段。
单木是森林的基本构成单元,其空间结构及相应的植被参数是森林资源调查、生态环境建模研究的关键因子。单木分割,即从LiDAR点云中实现单株植被的识别与提取。单木分割是植被参数(如空间位置、树高、胸径、冠幅等)估测的前提与基础。准确的植被参数估测将为森林资源的可持续经营和精准培育提供定量的数据支持。传统测量通常采用皮尺、卡尺、测高计等对单木进行人工量测。此过程不仅会占用大量的劳动力,而且是十分耗时的。LiDAR技术能够通过获取激光脉冲的后向散射信号来测量树木的三维空间结构,提升量测效率。然而目前采用LiDAR技术进行单木分割还存在精度较低的问题,不准确的单株植被提取将严重影响后续的植被参数估测。
发明内容
为此,本发明的目的在于提出一种基于迁移学习和高斯混合模型分离的单株植被提取方法,以解决现有技术精度较低的问题。
一种基于迁移学习和高斯混合模型分离的单株植被提取方法,包括以下步骤:
S1,基于直推式迁移学习进行树干探测,以获取树干点;
S2,以树干点云为基础进行最邻近聚类获取初始分割结果;
S3,采用主成分变换和核密度估计确定初始分割中各部分的混合成分的数目,并基于混合成分的数目实现高斯混合模型分离获得树冠分离结果;
S4,进行基于点密度重心的过分割植被优化合并;
S5,基于竖直连续性原则采用从上之下的方式获取各个树冠所对应的树干点云,完成单木提取。
根据本发明提供的基于迁移学***均正确率可以达到87.68%,远优于现有技术中的两种方法。此外,在完整率和平均精度方面,该方法也优于其他两种方法。因此,本发明能够在保证获取较高树木提取精度的同时,可以实现更多的树木的探测。
附图说明
图1是根据本发明一实施例的基于迁移学习和高斯混合模型分离的单株植被提取方法的流程示意图;
图2是树干点云提取及优化图;
图3是树干点云与误判点竖直方向连续性对比图;
图4是树干毛刺点剔除示意图;
图5是欠分割的树冠点云示意图;
图6是基于主成分分析的点云投影变换示意图;
图7是基于主成分分析的点云投影变换;
图8是不同带宽的核密度估计曲线图,(a)中的带宽为0.4,(b)中的带宽为按公式(10)计算出来的数值;
图9是高斯混合模型分离实现植被优化分割示意图;
图10是分类簇重心计算示意图;
图11是基于树冠的从上至下树干探测提取示意图;
图12是不同类型植被区域示意图;
图13是具有标签信息的两棵独立树点云示意图;
图14是六个不同场景在多测站模式和单测站模式下的树干提取结果示意图;
图15是所提取的部分独立树示意图;
图16是提取结果与准确结果树木平面位置对比图;
图17是三种方法的完整率对比图(A为第一种经典方法、B为第二种经典方法、C为本发明);
图18是三种方法的正确率对比图(A为第一种经典方法、B为第二种经典方法、C为本发明);
图19是三种方法的平均精度对比图(A为第一种经典方法、B为第二种经典方法、C为本发明)。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
鉴于现有的采用LiDAR技术进行单木分割存在精度较低的问题,本发明将迁移学习和高斯混合模型分离进行结合来获取准确的单株植被提取结果。在进行树干探测之前,首先采用改进的形态学滤波方法进行点云滤波,去除地面点云对树干探测的影响。在移除地面点云之后,采用迁移学习方法实现树干点云探测,进而根据竖直连续性原理获取树干中心点。基于获取的树干中心点位置采用最邻近聚类方法实现初始点云分割。一般而言,初始分割结果往往存在欠分割现象。为实现树冠点云的正确分割,首先基于PCA准则对树冠点云进行投影变换。进而通过核密度函数估计确定各个初始分割对象中混合成分的数目。之后,依据计算出来的混合成分数目通过高斯混合模型分离实现树冠点云提取。为避免树冠点云存在过分割现象,本发明提出点密度重心方法来优化树冠分割结果。最后,基于提取出来的树冠点云采用从上至下的方法获取每个树冠所对应的树干点云,实现完整的单株植被提取。
请结合图1,本发明一实施例提供的基于迁移学习和高斯混合模型分离的单株植被提取方法,包括步骤S1~S5。
S1,基于直推式迁移学习进行树干探测,以获取树干点。
迁移学习是近年来发展十分迅速的一种机器学习方法。相较于传统的监督学习方法,迁移学习能够利用已经建立好的学习模型去解决不同但相关领域的问题。自然界有许多迁移学习的例子,例如,一个人如果学会了骑自行车,那么他再学骑电瓶车就会相对来说比较容易。根据源域和目标域是否有样本标记,可将迁移学习分为3类:归纳迁移学习、直推式迁移学习以及无监督迁移学习。本发明主要采用只有源域中有样本标记的直推式迁移学习来实现对缺乏样本标记的点云数据进行树干探测,即利用已有树干和叶片标记信息的点云数据作为源域,通过对源域中的各个样本建立训练模型,将训练好的模型迁移应用到缺乏样本标记信息的目标域中,实现目标域中树干和叶片点云的分离。采用迁移学习实现树干探测的优势在于可以充分利用已有的点云标记信息,避免对目标域点云数据的训练样本标记,而样本标记通常是最耗时且费力的。
虽然在源域和目标域点云数据中的植被种类有可能不一样,但在自然状态下,枝干和叶片会呈现明显不同的几何特征,例如枝干更多表现为线性,叶片更多表现为面性或者散点性。为避免“负迁移”现象的出现,本发明主要采用计算几何特征向量建立训练模型。通过计算点云局部区域的协方差张量,进而求得线性、面性、散点性、表面曲率、本征熵等5个特征向量,来实现枝叶分离。由于随机森林(RF)具有简单、容易实现、计算开销小等特点,本发明采用RF构建训练模型进行迁移学习。线性、面性、散点性、表面曲率以及本征熵等5个特征向量的具体计算方法如下:
以当前判断点
Figure BDA0002756377380000043
为中心,搜索与其距离小于r的所有点组成邻近点点集Sx={p1,p2…pk},使用该点集构建邻近点协方差张量,协方差张量Cx计算公式如式(1)所示。
Figure BDA0002756377380000041
由协方差张量Cx可计算得到三个特征值λ1>λ2>λ3>0以及对应特征向量e1,e2,e3。将特征值规范化使得λ123=1,由三个特征值可以构建以下五个特征向量,如表1所示。
表1特征向量计算公式
Figure BDA0002756377380000042
Figure BDA0002756377380000051
S2,以树干点云为基础进行最邻近聚类获取初始分割结果。
其中,步骤S2具体包括S21~S23:
S21,将点云进行体素化,依据树干点云在树枝方向连续性较强的特点,将散乱分布的误判点去除。
其中,采用迁移学习进行树干探测,仍然会有一些枝叶点会被误判为树干点云,如图2(a)所示。相较于树干点云,这些枝叶误判点往往呈散点分布,较多表现为孤立点,并且在竖直方向不具备连续性。根据这两个特点,本发明主要分两步来渐进去除误判点,获取准确的树干点云。首先将点云进行体素化,依据树干点云在树枝方向连续性较强的特点,将大多数散乱分布的误判点去除。如图3所示,(a)为树干点云体素化结果,(b)为误判点体素化结果。从图中可以看出,树干点云竖直方向连续性较强,具体表现为竖直方向的非空格网较多。而误判点竖直方向连续性较差,具体表现为竖直方向的非空格网较少。通过设定阈值,可将竖直方向连续性较差的误判点进行剔除。此外,还根据误判点通常呈散点分布的特性,将误判点进一步地剔除。主要通过将连续性判断处理后的点云进行邻近点聚类,将聚类点集个数较少的点云进行剔除。图2(a)中的点云采用以上两步渐进剔除误判点的方法可获得较为准确的树干点云,如图2(b)所示。
从图2(b)中可以看出,经过树干点云优化处理后,大部分误判点云都被有效滤除,但树干上仍然存在部分“毛刺”点。这些毛刺点主要是由树干邻近的树枝形成。为获取准确的树干中心,需要将这些毛刺点进行剔除。本发明首先将图2(b)中各棵树干点云进行水平投影,然后对水平投影后的点云进行横纵格网划分,如图4(a)所示。本发明将格网宽度设置为0.05米。从图4(a)中可以看出,经水平投影后,树干主体点云分布较为集中,而毛刺点云分布较为稀疏。故可通过点密度约束,将各棵树干点云中的毛刺点进行剔除。本发明将点密度约束阈值设定为点云水平投影后,各个格网内点云数目的平均值,公式表示如下:
Figure BDA0002756377380000061
式中,th为点密度约束阈值,IM为树干点云水平投影形成的二维格网,num(·)表示各二维格网内点云的个数。M和N为二维格网横纵方向的最大值,mean(·)为求均值。trunk.xi和trunk.yi为树干点云中各点pi的x、y坐标,m和n为pi点在二维格网中的格网坐标,floor(·)为向下取整。去除毛刺后的树干点云可按公式(3)进行表示。
{trunk}={pi∈IM(m,n)|num(IM(m,n))>th} (3)
去除毛刺之后的各棵树的树干点云如图4(b)所示。从图中可以看出,树干上的毛刺点都进行了有效的剔除。
去除完毛刺点后,各个树干中心点的平面位置可按公式(4)计算求得。
Figure BDA0002756377380000062
式中,Loci(x,y)为第i棵树树干中心的平面坐标,(trunki.xj,trunki.yj)为去除毛刺后第i棵树树干各点的平面坐标,Ki为第i棵树树干点云的总数。
树干中心点计算出来后,以各个树干中心为聚类中心,对点云进行水平方向最邻近聚类,获取植被的初始分割结果,公式表示如下:
clusteri={pi∈ptc|disxy(pi,Loci)<disxy(pi,Locj),j≠i,j∈[1,K]} (5)
式中,clusteri是以Loci为聚类中心的初始分类簇,ptc为植被点云集,disxy(·)为计算两点间的平面距离,K为聚类中心的数目,即区域内树干的数目。
S22,进行基于主成分分析的树冠点云投影变换。
植被经以树干为中心进行初始分割后可以实现不同株树木的分离。但初始分割结果仍然存在植被欠分割现象。尤其是针对一些低矮植被,难以实现有效的探测。为获取精度较高的单株植被提取结果,本发明继续以初始分割结果为基础进行进一步的优化分割。
在本发明中,树冠和树干是分别进行提取的。为避免树干或低矮灌木对树冠提取的影响,本发明首先对这些点进行移除,如公式(6)所示。
Figure BDA0002756377380000071
式中,canopyi表示树冠点云,pk为初始分类簇clusteri中的任意一点,nci为初始分类簇中点云的个数,
Figure BDA0002756377380000072
为pk点的高程,
Figure BDA0002756377380000073
为树干点云trunki高程的最大值。
如图5(a)所示,相邻较近的不同株的树冠点云容易被划分在一起。为实现单株植被的高精度提取,需要将欠分割的树冠点云做进一步的分离。通常而言,准确的单株植被点云其水平投影应近似于圆形,而相互临近前分割的植被点云其水平投影则近似于椭圆形。图5(b)为图5(a)水平投影的结果,从图中可以看出该区域点云明显呈椭圆形分布。
为实现树冠点云的正确分离,本发明首先采用主成分分析方法对点云进行投影变换。从图6(a)中可以看出,相较于点云平面x、y方向分布,点云在椭圆长轴方向的区分度更为明显,更容易将前分割的树冠点云进行分离。图6(b)为将点云在椭圆长轴F1方向进行投影的结果。从图6(b)中可以看出,这两棵聚在一起是树更容易实现分离。
椭圆长轴方向通常可定义为第一主成分方向。为避免部分孤立点对主成分分析计算的干扰,本发明首先计算初始分类簇中各个点邻近点的数目,将邻近点个数较少的点判定为孤立点并进行剔除。继而,对各个初始分类簇按公式(1)计算该分类簇的协方差张量,并计算该协方差张量的特征值和特征向量。将最大特征值所对应的特征向量的方向定义为椭圆的长轴方向,并将点云在该方向进行投影变换。该变换过程可用公式(7)进行描述:
score=X*coeff (7)
式中,score为主成分变换后的结果,X为n×2矩阵,
Figure BDA0002756377380000074
Figure BDA0002756377380000075
为初始分类簇canopyi中pk点的x、y坐标,n为该分类簇点云的总数。coeff为该分类簇所对应协方差矩阵的特征向量矩阵。
S23,通过高斯核密度估计确定分类簇数目。
由前文可知,以树干中心进行植被点云分割容易出现欠分割现象,即同一个分割对象中有可能有多棵树存在。从图6(b)中可以看出,该分割对象中有两棵独立树存在。由此也可以看出,要实现对树冠点云的优化分割,需要首先确定每个初始分割对象中分类簇的数目,即每个初始分割对象中由几棵树所组成。
从图6(b)中可以看出,每棵树中心位置往往点密度较大,而从树中心向两侧点密度呈下降趋势。因此,通过探测点密度局部极大值的个数可以实现分类簇数目的确定。图7(a)和(b)均为图6(b)中点密度分布的直方图,区别在于在椭圆长轴F1方向上点密度统计的间隔不同。为实现点密度局部极大值的准确探测,本发明采用核密度估计方法计算各个初始分割对象的概率密度函数分布。核密度估计按公式(8)进行定义:
Figure BDA0002756377380000081
式中,n为各初始分割对象点云的个数,h为带宽,K为核函数,本发明采用高斯核函数进行概率密度估计,公式表示如下:
Figure BDA0002756377380000082
带宽参数h对高斯核密度估计的结果影响较大,图8(a)和(b)为不同带宽参数对图8(b)中的点云计算出来的高斯核密度估计曲线。为实现准确的高斯概率密度估计,本发明采用Silverman经验法则对带宽进行自适应计算,公式表示如下:
Figure BDA0002756377380000083
σi=MAD/0.6745 (10)
式中,hi为第i维的带宽,d为维数,在本发明中,d等于1,n为点云总数。σi为第i维变量标准偏差的估计值,MAD为各变量与均值残差绝对值的中位数,常数0.6745保证了在正态分布下估计是无偏的。
S3,采用主成分变换和核密度估计确定初始分割中各部分的混合成分的数目,并基于混合成分的数目实现高斯混合模型分离获得树冠分离结果。
其中,从图8可以看出聚类在一起的不同株植被点云的核密度分布曲线可以看做是不同高斯分布的叠加,故而可通过将叠加在一起的不同参数的高斯模型进行分离实现不同株植被的优化分割。采用公式(8)和公式(10)可计算获取图6(a)中点云在第一主成分方向的高斯核密度估计曲线,通过探测局部极大值的数目可确定该初始分割对象中共有2个分类簇,如图9(a)所示。进而需要采用高斯混合模型分离方法将该混合聚类点云分为2类。
一般情况下,假设点云中共包含类不同的点云,则高斯混合分布的密度函数为:
Figure BDA0002756377380000084
式中,V为特征向量,在本发明中为主成分分析变换后的结果,即v=score。S为各混合成分。λk为比重系数,表示各混合部分的先验概率。(ukk)表示高斯分布的参数,分别为均值和方差,Gk(·)表示高斯密度函数,公式表示如下:
Figure BDA0002756377380000091
采用期望最大(EM)算法对高斯混合模型参数进行估计,具体包含以下四步:
ⅰ初始化高斯混合分布参数,包括λk、μk和δk,k=1,2,…,N;
ⅱE步:计算各混合成分的概率P(Sk|Vi);
Figure BDA0002756377380000092
式中,Sk表示第k类点云集合,Vi表示第i个点基元的特征向量。
ⅲM步:更新高斯混合分布参数λk、μk和δk,k=1,2,…,N;
Figure BDA0002756377380000093
Figure BDA0002756377380000094
Figure BDA0002756377380000095
ⅳ检查是否收敛,如果收敛则停止迭代,输出高斯混合模型参数;否则,更新混合分布参数继续迭代。
EM算法需要重复迭代进行实现。迭代的收敛条件为上次迭代计算的混合分布参数和下次迭代计算的混合分布参数变化量小于阈值或达到了最大迭代次数。当EM算法停止迭代后,将各点按该点所属最大概率类别进行划分。图6(a)中的混合点云优化分割后的结果如图9(b)所示。
S4,进行基于点密度重心的过分割植被优化合并。
其中,通过高斯混合模型分离对植被点云进行分割提取,有可能存在植被过分割的现象。即将同一棵树分割为两个或两个以上的分类簇。此外,根据树干平面中心位置进行初始分割时,也很有可能将同一棵树划分为多棵树。这种过分割现象不仅会使得提取的单株植被不完整,而且也会导致纳伪误差过大。
一般而言,过分割的植被点云它们的平面位置通常距离较近。许多学者通过计算各个分类簇最高点的间的平面距离,将距离较近的植被进行合并。而有的学者则通过计算各个分类簇平面坐标的均值来进行是否合并分类簇的判别。以上两种方法在理想情况下(树木的最高点为树的顶点位置,树木是均匀对称生长的)能够获得有效的合并结果。但是,在自然界中由于受到光照和水环境的影响,植被的分布可能是多样的。因此,最高点和均值点并不能很好地代表各个分类簇的中心位置。为使得植被优化合并方法更具鲁棒性,本发明通过计算各个分类簇的点密度重心位置将距离较近的植被进行合并。
从图10中可以看出,对于任何一个分类簇,它的中心位置竖直方向往往点云分布较为密集。因此,各分类簇点云的平面重心位置更能代表分类簇的中心位置。本发明将重心位置
Figure BDA0002756377380000104
定义为点云水平投影后以点密度分布为权重的加权平均值,公式表示如下:
Figure BDA0002756377380000101
Figure BDA0002756377380000102
Figure BDA0002756377380000103
式中,m、n分别为点云水平投影进行格网划分后横、纵方向格网的最大值,如图10所示。
Figure BDA0002756377380000105
为格网(i,j)的平均平面坐标,(xq,yq)为格网(i,j)内的任意一点,mean(·)为进行均值计算。P(i,j)为格网(i,j)的权重,num(i,j)表示格网(i,j)内点云的数目。
S5,基于竖直连续性原则采用从上之下的方式获取各个树冠所对应的树干点云,完成单木提取。
本发明中虽然采用了直推式迁移学习法实现了树干探测。但提取出来的树干往往较少,拒真误差较大,无法与后续优化分割后的树冠点云一一对应。为实现完整单株植被的探测提取,本发明继而提出一种基于树冠点云从上至下的树干点云提取方法。
通过高斯混合模型分离可以实现树冠点云的优化分割,获得单株植被树冠点云,如图11(a)所示。现在需要获取该树冠点云以下的树干点云。首先,计算该树冠点云的水平投影范围[Canopyi.xmin,Canopyi.xmax]、[Canopyi.ymin,Canopyi.ymax]。继而,从公式(6)计算获取的剩余点云集{left_pts}中,获取在该树冠点云水平投影范围内的点,公式表示如下:
Figure BDA0002756377380000111
式中,Canopyi表示第i棵树冠点云,within_ptsi为该棵树树冠以下的点云。将这两部分点云合并起来,可获得图11(b)所示的植被点云。从图11(b)中可以看出,除了树冠点云还包含有部分树杈点云和部分离散点,这些离散点通常由树下低矮灌木丛形成。为获取准确的树干点云,需要将这些点云进行剔除。
首先,对点云within_ptsi进行体素化,如图11(c)所示。对任意一体素voxelj,如果该体素内有点,则该体素值为1。由前文可知,树干点云通常在树枝方向具有较好的连续性。因此,通过统计各水平格网在竖直方向上值为1体素的个数,将个数小于阈值的水平格网内的点云剔除,获取准确的树干点云。
为了对本发明提供的方式进行验证,采用国际标准地基LiDAR公开测试数据集进行实验分析(http://laserscanning.fi/tls-benchmarking-results/)。该数据集由芬兰大地测量研究所(FGI)采用徕卡HDS1600测量获取,旨在便于研究人员探究TLS技术在森林资源调查领域的应用潜力。该数据集位于芬兰的埃沃地区(61.19°N,25.11°E),覆盖24个实验样地,包含有多种不同类型的植被,具有不同的植被分布密度以及丰富的树冠类型。每个实验样地尺寸固定,均为32m×32m,均采用“单测站”和“多测站”两种模式进行点云数据获取。根据实验样地内植被分布的复杂情况的不同,这些实验样地被划分为三类,分别为“简单”、“中等”和“复杂”。在这24个实验样地中,有6个实验样地的点云数据是公开可获取的。本发明采用这6组数据进行实验分析,该6组实验数据的具体分布特征如表1所示。图14为三种不同类型植被区域的点云示意图。
表2实验数据分布特征
Figure BDA0002756377380000112
主要采用如下方法进行精度计算,具体计算方法如表3所示:
表3单株植被提取精度计算方法
Figure BDA0002756377380000121
采用完整率Com、正确率Corr以及平均精度Mean_acc来定量评价植被提取方法的优劣。完整率反应方法对植被的探测能力,而正确率则反应方法探测树木的正确性。平均精度则衡量的是随机选择的提取树是正确的探测以及随机选择的参考树被方法探测到的联合概率。这三个精度计算方法如下:
Figure BDA0002756377380000122
Figure BDA0002756377380000123
Figure BDA0002756377380000124
使用两个带有标签信息的单木点云作为迁移学习的源域。该点云数据已由Moorthy等人使用开源软件CloudCompare进行了准确的枝叶分离。这两棵树的点云数据分别由Riegl VZ-400和Riegl VZ-1000地面激光扫描仪获取。如图13(a)和(b)所示,枝干点云为图中浅色的点,叶子点云为图中深色的点。在迁移学习中,尽管树木种类在源域和目标域内可能有所不同,但枝干点和叶子点往往具有明显不同的几何特征。通常,树木点表现为线性特征,而叶子点则呈现散点性。通过计算每个点的五个几何特征向量,可以建立源域的迁移学习模型。然后将所建立的模型应用于上文提到的六个场景的目标域中,来区分单木点云中的枝干点和叶子点。利用本发明所提方法优化树干点后,无论是在单测站还是在多测站模式中,每个场景的树干点都能被提取出来,如图14所示。从图中可以看出,简单场景(图14(a-d))比复杂场景(图14(i-l))往往能被提取出更多的树干。这是因为复杂场景中的树木更加密集并且复杂,如图12(e)和(f)所示。复杂场景中,树干点与树叶点的线性几何特征没有显著差异。因此,许多树干无法被探测到。此外,还可以发现,多测站模式点云中提取的树干比单测站模式点云中提取的树干多。这是因为多测站模式得到的点云数据更加完整。因此,树干的线性特征会更加显著。然而,树干的提取效果依然不是很好,尤其是在困难场景。树干的提取结果常常包含较大拒真误差。但是,在本发明中被提取的树干仅作为初始分割的聚类中心。此欠分割结果可通过下文的高斯混合模型分离进行优化,获得较为准确的结果。
提取树干之后,通过将树干点投影到水平面上,可以得到初始的聚类中心。根据聚类中心,可以得到初始的分割结果。如上所述,由于提取的树干结果通常包含拒真误差,初始的单木分割结果往往是欠分割的。采用步骤S2~S4的方法,欠分割的树冠能够被准确分离。之后,根据垂直连续性原理采用自顶向下的方法提取每个树冠对应的树干点。图15为采用本发明的方法所提取的部分单株植被。
从图15中可以看出,本发明的方法能够获得较好的单株植被提取结果。本发明的方法首先采用迁移学习方法获取树干点云。然后,利用提取的树干中心,在初始分割的基础上提取每棵树的树冠点。树冠被准确提取之后,采用自上而下的方法提取与每个树冠对应的树干。因此,本发明的方法可以看作是自下而上和自上而下两种方法的结合。
将现有技术与本发明提供的方法的结果与准确结果进行对比分析。提取的树木和准确的树木位置如图16所示。从图中可以看出,虽然部分树木没有被准确探测到,但大部分被提取的树木是正确的。只有少数的树木被错误的探测。另外,多测站模式点云相比于单测站模式点云能够准确提取更多的单木。这是因为多测站模式可以提供更加完整地树木点。另一点需要注意的是,随着森林场景越来越复杂,能够有效提取的单木越来越少。如图16所示,简单场景(图16(a)-(d))能够比中等和复杂场景(图16(e)-(l))提取出更多的单木。这是因为中等和复杂场景的森林密度远大于简单场景,如表2所示。显然,浓密的树木不易被提取。此外,如图12所示,简单场景中的树木直观上更容易被分离。
为了定量评价本发明的方法的优劣,根据公式(18-20)分别计算六个场景的完整率、正确率和平均精度三个指标。同时,测试现有技术中两种经典的单木提取方法,并与本发明的方法的精度指标进行对比。第一种经典方法是基于标记的分水岭分割方法。在该方法中,使用大小可变的窗口检测树顶,窗口尺寸可以根据树冠大小和树高之间的回归曲线来估计。之后选择树顶作为分水岭分割的标记,以防止过分割。第二种经典方法是根据树木之间的水平间距对单木进行分离。一般而言,树顶之间的水平距离要大于树底部的水平距离。因此,可以根据单木之间的相对间距,从树顶开始生长逐步获取单木点云。换言之,同一棵树的点相对间距较小,因此可以逐步加入;而不同树的点之间距较大,将不会被逐步加入。选择这两种方法的原因在于它们的原理简单,并且这两种方法已被研究人员应用到商业软件中。因此,能够客观地进行单木提取结果的比较。
对上述六个场景的精度指标计算结果如表4所示。每一个场景都包括单测站和多测站模式。由表4可以看出,使用本发明的方法提取的单木,具有较高的正确率。几乎所有场景的正确率都大于80%,平均正确率为87.68%。此外,该方法的平均完整率是37.33%。相比于正确率和完整度,平均精度是一个相对平衡的精度指标。简单场景的平均精度是69.85%,中等场景的平均精度是57.36%,复杂场景的平均精度是18.57%。因此,可以得出与图16相同的结论,即当森林环境变得复杂时,本发明中提到的方法性能将有所下降。
表4三类精度指标对比
Figure BDA0002756377380000141
图(17)-(19)所示为本发明的方法与现有技术中的两种方法的完整率、正确率和平均精度的比较。就完整率而言,除plot_5_SS和plot_6_SS之外,本发明的方法能够取得更好的提取结果。实验结果表明,本发明的平均完整率要远高于其他两种方法。就正确率而言,本发明的结果也是优于其他两种方法的结果。采用本发明的方法,几乎所有场景的正确率都大于80%,而其他两种方法的最大正确率都在40%以下。结合图17和图18所示的完整率和正确率,可以看出本发明的方法在确保单木较高提取正确率的同时,能够实现更多的单木提取。在平均精度方面(图19),可以看出本发明比其他两种方法效果更好。此外,当森林环境由简单变为复杂时,这三种方法的平均精度都有所下降。
综上,根据本发明提供的基于迁移学***均正确率可以达到87.68%,远优于现有技术中的两种方法。此外,在完整率和平均精度方面,该方法也优于其他两种方法。因此,本发明能够在保证获取较高树木提取精度的同时,可以实现更多的树木的探测。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种基于迁移学习和高斯混合模型分离的单株植被提取方法,其特征在于,包括以下步骤:
S1,基于直推式迁移学习进行树干探测,以获取树干点;
S2,以树干点云为基础进行最邻近聚类获取初始分割结果;
S3,采用主成分变换和核密度估计确定初始分割中各部分的混合成分的数目,并基于混合成分的数目实现高斯混合模型分离获得树冠分离结果;
S4,进行基于点密度重心的过分割植被优化合并;
S5,基于竖直连续性原则采用从上至下的方式获取各个树冠所对应的树干点云,完成单木提取;
步骤S2具体包括:
S21,将点云进行体素化,依据树干点云在树枝方向连续性较强的特点,将散乱分布的误判点去除;
S22,进行基于主成分分析的树冠点云投影变换;
S23,通过高斯核密度估计确定分类簇数目;
步骤S3中,点云中共包含T类不同的点云,则高斯混合分布的密度函数为:
Figure FDA0003516575020000011
式中,V为特征向量,具体为主成分分析变换后的结果,即v=score,S为各混合成分,λk为比重系数,表示各混合部分的先验概率,(ukk)表示高斯分布的参数,分别为均值和方差,Gk(·)表示高斯密度函数;
步骤S4中,通过计算各个分类簇的点密度重心位置将距离较近的植被进行合并;
步骤S4中,将重心位置
Figure FDA0003516575020000012
定义为点云水平投影后以点密度分布为权重的加权平均值,公式表示如下:
Figure FDA0003516575020000013
Figure FDA0003516575020000014
Figure FDA0003516575020000021
式中,M和N为二维格网横纵方向的最大值,m和n为树干点云中点pi在二维格网中的格网坐标,
Figure FDA0003516575020000022
为格网(m,n)的平均平面坐标,(xq,yq)为格网(m,n)内的任意一点,mean(·)为进行均值计算,P(m,n)为格网(m,n)的权重,num(m,n)表示格网(m,n)内点云的数目;
步骤S5中,首先计算该树冠点云的水平投影范围[Canopyi.xmin,Canopyi.xmax]、[Canopyi.ymin,Canopyi.ymax],继而,计算获取的剩余点云集{left_pts}中,采用下式获取在该树冠点云水平投影范围内的点:
Figure FDA0003516575020000023
式中,Canopyi表示第i棵树冠点云,within_ptsi为该棵树树冠以下的点云。
2.根据权利要求1所述的基于迁移学习和高斯混合模型分离的单株植被提取方法,其特征在于,步骤S1具体包括:
利用已有树干和叶片标记信息的点云数据作为源域,通过对源域中的各个样本建立训练模型,将训练好的模型迁移应用到缺乏样本标记信息的目标域中,实现目标域中树干和叶片点云的分离。
3.根据权利要求2所述的基于迁移学习和高斯混合模型分离的单株植被提取方法,其特征在于,步骤S1中,采用计算几何特征向量建立训练模型,通过计算点云局部区域的协方差张量,进而求得线性、面性、散点性、表面曲率、本征熵共计5个特征向量,以实现枝叶分离。
4.根据权利要求3所述的基于迁移学习和高斯混合模型分离的单株植被提取方法,其特征在于,步骤S1中,线性、面性、散点性、表面曲率、本征熵这5个特征向量的计算方法如下:
以当前判断点
Figure FDA0003516575020000024
为中心,搜索与其距离小于r的所有点组成邻近点点集Sx={p1,p2…pk},使用该点集构建邻近点协方差张量,协方差张量Cx计算公式下式所示:
Figure FDA0003516575020000031
由协方差张量Cx计算得到三个特征值λ1>λ2>λ3>0以及对应特征向量e1,e2,e3,将特征值规范化使得λ123=1,由三个特征值构建以下五个特征向量:
线性:V1=(λ12)/λ1
面性:V2=(λ23)/λ1
散点性:V3=λ31
表面曲率:V4=λ3
本征熵:
Figure FDA0003516575020000032
5.根据权利要求1所述的基于迁移学***投影,采用下式计算各个格网内点云数目的平均值:
Figure FDA0003516575020000033
式中,th为点密度约束阈值,IM为树干点云水平投影形成的二维格网,num(·)表示各二维格网内点云的个数,M和N为二维格网横纵方向的最大值,mean(·)为求均值,trunk.xi和trunk.yi为树干点云中点pi的x、y坐标,m和n为pi点在二维格网中的格网坐标,floor(·)为向下取整,去除毛刺后的树干点云按下式进行表示:
{trunk}={pi∈IM(m,n)|num(IM(m,n))>th}
去除完毛刺点后,各个树干中心点的平面位置按下式计算求得:
Figure FDA0003516575020000034
式中,Loci(x,y)为第i棵树树干中心的平面坐标,(trunki.xj,trunki.yj)为去除毛刺后第i棵树树干各点的平面坐标,Ki为第i棵树树干点云的总数;
树干中心点计算出来后,以各个树干中心为聚类中心,对点云进行水平方向最邻近聚类,获取植被的初始分割结果,公式如下:
clusteri={pi∈ptc|disxy(pi,Loci)<disxy(pi,Locj),j≠i,j∈[1,K]}
式中,clusteri是以Loci为聚类中心的初始分类簇,ptc为植被点云集,disxy(·)为计算两点间的平面距离,K为聚类中心的数目,即区域内树干的数目。
6.根据权利要求5所述的基于迁移学习和高斯混合模型分离的单株植被提取方法,其特征在于,步骤S22中,采用下式进行点的移除:
Figure FDA0003516575020000041
式中,canopyi表示树冠点云,pk为初始分类簇clusteri中的任意一点,nci为初始分类簇中点云的个数,
Figure FDA0003516575020000042
为pk点的高程,
Figure FDA0003516575020000043
为树干点云trunki高程的最大值。
CN202011203898.4A 2020-11-02 2020-11-02 基于迁移学习和高斯混合模型分离的单株植被提取方法 Active CN112347894B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011203898.4A CN112347894B (zh) 2020-11-02 2020-11-02 基于迁移学习和高斯混合模型分离的单株植被提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011203898.4A CN112347894B (zh) 2020-11-02 2020-11-02 基于迁移学习和高斯混合模型分离的单株植被提取方法

Publications (2)

Publication Number Publication Date
CN112347894A CN112347894A (zh) 2021-02-09
CN112347894B true CN112347894B (zh) 2022-05-20

Family

ID=74356046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011203898.4A Active CN112347894B (zh) 2020-11-02 2020-11-02 基于迁移学习和高斯混合模型分离的单株植被提取方法

Country Status (1)

Country Link
CN (1) CN112347894B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139569B (zh) * 2021-03-04 2022-04-22 山东科技大学 目标分类检测方法、装置与***
CN113204998B (zh) * 2021-04-01 2022-03-15 武汉大学 一种基于单木尺度的机载点云森林生态估测方法及***
CN114743008B (zh) * 2022-06-09 2022-09-23 西南交通大学 一种单株植被点云数据分割方法、装置及计算机设备
WO2024009352A1 (ja) * 2022-07-04 2024-01-11 日本電信電話株式会社 位置推定装置、位置推定方法、及び位置推定プログラム
CN117079130B (zh) * 2023-08-23 2024-05-14 广东海洋大学 一种基于红树林生境的智能信息管理方法及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8655070B1 (en) * 2009-11-04 2014-02-18 Google Inc. Tree detection form aerial imagery
CN107274417A (zh) * 2017-07-05 2017-10-20 电子科技大学 一种基于机载激光点云聚集关系的单木分割方法
CN109325431A (zh) * 2018-09-12 2019-02-12 内蒙古大学 草原放牧绵羊采食路径中植被覆盖度的检测方法及其装置
CN109977802A (zh) * 2019-03-08 2019-07-05 武汉大学 强噪音背景下作物分类识别方法
CN110223314A (zh) * 2019-06-06 2019-09-10 电子科技大学 一种基于树冠三维点云分布的单木分割方法
CN110348478A (zh) * 2019-06-04 2019-10-18 西安理工大学 一种基于形状分类与组合的室外点云场景中树木提取方法
CN111507194A (zh) * 2020-03-20 2020-08-07 东华理工大学 基于分形维监督学习的地基LiDAR枝叶点云分离方法
CN111667529A (zh) * 2020-05-25 2020-09-15 东华大学 一种植物点云叶片分割与表型特征测量方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8655070B1 (en) * 2009-11-04 2014-02-18 Google Inc. Tree detection form aerial imagery
CN107274417A (zh) * 2017-07-05 2017-10-20 电子科技大学 一种基于机载激光点云聚集关系的单木分割方法
CN109325431A (zh) * 2018-09-12 2019-02-12 内蒙古大学 草原放牧绵羊采食路径中植被覆盖度的检测方法及其装置
CN109977802A (zh) * 2019-03-08 2019-07-05 武汉大学 强噪音背景下作物分类识别方法
CN110348478A (zh) * 2019-06-04 2019-10-18 西安理工大学 一种基于形状分类与组合的室外点云场景中树木提取方法
CN110223314A (zh) * 2019-06-06 2019-09-10 电子科技大学 一种基于树冠三维点云分布的单木分割方法
CN111507194A (zh) * 2020-03-20 2020-08-07 东华理工大学 基于分形维监督学习的地基LiDAR枝叶点云分离方法
CN111667529A (zh) * 2020-05-25 2020-09-15 东华大学 一种植物点云叶片分割与表型特征测量方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A New Method for Segmenting Individual Trees from the Lidar Point Cloud;Wenkai Li等;《Photogramm.Eng.Remote Sens》;20120131;第75-84页 *
Extracting Wood Point Cloud of Individual Trees Based on Geometric Features;Zhonghua Su等;《IEEE Geoscience and Remote Sensing Letters》;20190225;第16卷(第8期);第1294-1298页 *
基于体元逐层聚类的TLS点云数据单木分割算法;邢万里等;《中南林业科技大学学报》;20171205;第37卷(第12期);第58-64+71页 *
基于多基元特征向量融合的机载LiDAR点云分类;胡海瑛等;《中国激光》;20200831;第47卷(第8期);第237-247页 *

Also Published As

Publication number Publication date
CN112347894A (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
CN112347894B (zh) 基于迁移学习和高斯混合模型分离的单株植被提取方法
Yang et al. An individual tree segmentation method based on watershed algorithm and three-dimensional spatial distribution analysis from airborne LiDAR point clouds
CN106199557B (zh) 一种机载激光雷达数据植被提取方法
Malambo et al. Automated detection and measurement of individual sorghum panicles using density-based clustering of terrestrial lidar data
CN104091321B (zh) 适用于地面激光雷达点云分类的多层次点集特征的提取方法
CN106295124B (zh) 多种图像检测技术综合分析基因子图相似概率量的方法
CN110992341A (zh) 一种基于分割的机载LiDAR点云建筑物提取方法
CN106446922B (zh) 一种人群异常行为分析方法
CN107464249A (zh) 一种羊只无接触体尺测量方法
CN113269825B (zh) 基于地基激光雷达技术林木胸径值提取的方法
CN102855485A (zh) 一种小麦抽穗的自动检测方法
Tamim et al. A simple and efficient approach for coarse segmentation of Moroccan coastal upwelling
Hui et al. Multi-level self-adaptive individual tree detection for coniferous forest using airborne LiDAR
CN111860359B (zh) 一种基于改进随机森林算法的点云分类方法
CN112669363A (zh) 城市绿地三维绿量测算方法
CN110348478B (zh) 一种基于形状分类与组合的室外点云场景中树木提取方法
CN104573701B (zh) 一种玉米雄穗性状的自动检测方法
CN117893924A (zh) 一种基于树冠形态的无人机激光雷达点云单木分割方法
Chang et al. A two-stage approach for individual tree segmentation from TLS point clouds
CN107481243A (zh) 基于羊只俯视图的羊只体尺检测方法
CN114092814A (zh) 基于深度学习的无人机脐橙树影像目标识别与统计方法
Zhu et al. Research on deep learning individual tree segmentation method coupling RetinaNet and point cloud clustering
Marinelli et al. An approach to tree detection based on the fusion of multitemporal LiDAR data
CN106326927A (zh) 一种鞋印新类别检测方法
CN116416523A (zh) 一种基于机器学习的水稻生长阶段的识别***和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant