CN110929722A - 一种基于树木整体图像的树木检测方法 - Google Patents

Abstract

本发明公开了一种基于树木整体图像的树木检测方法，运用自主拍摄和网上爬取方式采集树木的整体图像，建立数据集，对数据集图像进行数据增强处理，使得每类树木的样本数量一致；然后对数据增强处理后数据集中的树木图像进行光照处理；最后采用Faster R‑CNN算法对光照处理后的树木图像进行特征提取、候选区域生成和分类，输出检测结果。本发明基于数据集中树木整体图像，减弱复杂立地环境下光照、遮挡对树木检测的影响，使得树木检测工作更为轻松便捷，能适应复杂地形，不受养护模式及区域的限制。

Description

一种基于树木整体图像的树木检测方法

技术领域

本发明属于树木检测技术领域，尤其涉及一种基于树木整体图像的树木检测方法。

背景技术

树木对全球环境和人类生活具有无可估量的重要性，其是氧气和天然空气过滤的重要来源，是大自然至关重要的保护伞。树木是林业生态***不可分割的一部分，在改善人类生活环境、提供社会服务和物质生产等方面发挥着至关重要的作用。树木检测对于森林管理有重要的生态和实用价值，然而大多数树木检测的研究主要以树冠为切入点，结合无人机影像进行研究。随着神经网络的普遍应用，树木检测有了新的思路，例如，AridaSusilowati等人提出的基于两种机器学习方法，利用遥感数据和方法实现丁香树自动检测和产量估算，实现运用卷积神经网络对大规模的棕榈树进行检测。

然而，树木的形状和状态不断发生变化，在生长过程中易受到昆虫侵害或者其他生物的感染，轻微的会出现发育不良情况，严重则会导致死亡，树木位置的精确检测是对树木健康状态评价、树木养护的关键。在树木检测中一个主要挑战是对较小树木的检测不足，在单个树木检测中对于从上方可见的树木具有高精度，但不能可靠地检测低层冠层中的树木。在复杂立地环境下，高空检测工作的准确度主要取决于树在空间中的配置方式，在世界许多林地，特别是公共土地，在林分和景观尺度上都受到结构多样性的管理。为解决复杂立地环境存在的检测问题，推进树木养护工作，整树检测是一种选择。

综上，传统树木检测方法效率低，受样地环境因素影响较大，对于样地以外超出单个树木水平的树需要依赖于有经验的观察者，大型设备不易携带且价格昂贵。考虑到传统林业工作的专业要求高、成本投入大、识别效果差等问题，需要一个合适的解决方案。随着信息技术的快速发展，深度学习的普遍应用为解决这些问题提供了新方法，提高了林业作业效率和精度。但由于树木自身特征、复杂立地环境(例如光照、地形等)的影响，树木检测在精度和适用性上有待提升。国内外很少有工作涉及自然环境下整株树木检测，他们主要以无人机和树冠为研究的切入点，很少有使用来自相机的整树图像的工作。

发明内容

本发明的目的是提供一种基于树木整体图像的树木检测方法，通过自主拍摄和网上爬取树木相关图像数据，对树木进行检测，了解该区域、地块树木的总体分布位置信息，减少人工分类和定位的成本，同时解决光照、遮挡导致检测效果差异明显的问题，使得林业调查工作更加安全便捷。

为了实现上述目的，本申请技术方案如下：

一种基于树木整体图像的树木检测方法，包括：

采集树木的整体图像，建立数据集，对数据集进行数据增强处理，使得每类树木的样本数量一致；

对数据增强处理后数据集中的树木图像进行光照处理；

采用Faster R-CNN算法对光照处理后的树木图像进行特征提取、候选区域生成和分类，输出检测结果。

进一步的，所述对数据增强处理后数据集中的树木图像进行光照处理，其中，对树木图像进行光照处理的公式如下：

其中，I(X)是待处理树木图像，J(x)是光照处理后的图像，A是图像亮度，t(x)为透射率，t₀是预设阈值。

进一步的，所述图像亮度A通过如下方法获取：

求取输入树木图像RGB三通道中的最小值，即求取暗原色通道图像，对暗原色通道图像进行均值滤波，然后求取其中灰度值最大的点；

接着求取输入图像RGB三通道中值最大的通道图像，然后求取出灰度值最大的点；

将两个灰度值最大的点的灰度值的平均值作为图像亮度A。

进一步的，所述透射率t(x)根据如下公式获得：

其中，Ω(x)表示以像素x为中心的一个窗口，上标C表示R/G/B三个颜色通道，ω为一个在[0,1]之间的因子。

进一步的，所述Faster R-CNN算法的损失函数为：

其中，N_cls是目标分类锚点的总量；N_reg是框回归锚点的总量，p_i为锚点预测为目标的概率，当锚点是正样本则

当锚点是负样本则

t_i表示预测的候选框包围盒的4个参数化坐标；

是与正样本对应的真实框包围盒的坐标向量；

是目标与非目标的对数损失，smooth_L1为鲁棒损失函数；

其中：

p₊为

的正样本，

为锚点t_i对应的候选框，t_iM，t_iN表示不同类别的锚点，

为锚点t_i对应的候选框，k为一个很小的常数，防止分母为0，α、β为超参数，用于平衡不同作用的权重。

本申请提出了一种基于树木整体图像的树木检测方法，基于数据集中树木整体图像，实现对树木种类和具***置情况的获取，且减弱复杂立地环境下光照、遮挡对树木检测的影响。本申请的方法使得树木检测工作更为轻松便捷，能适应复杂地形，不受养护模式及区域的限制，减少由树木位置信息获取不及时造成的树木受损、减产、死亡、生态破坏甚至毁灭等一系列不可估量的问题。

附图说明

图1为本申请基于树木整体图像的树木检测方法流程图；

图2为本申请实施例Faster R-CNN算法示意图；

图3为本申请实施例误召回和漏检时P、T示意图；

图4为本申请实验结果示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本申请以浙江省杭州市临安区浙江农林大学东湖校区的树木检测为例进行说明，该区域处于亚热带季风区，植被以亚热带常绿阔叶林为主，气候四季分明，雨量充沛，全年平均气温16.4℃，年日照时数1847.3小时，年降水量1628.6毫米，平均相对湿度70.3％。

在一个实施例中，如图1所示，提供了一种基于树木整体图像的树木检测方法，包括：

步骤S1、采集树木的整体图像，建立数据集，对数据集进行数据增强处理，使得每类树木的样本数量一致。

本申请运用相机等简易设备对该区域的银杏、枫树、桂花、无患子四类树种进行拍摄，获取到树木的整体图像，以下简称为树木图像。本申请树木的整体图像即对于任何一颗树木，采集的树木图像要包括树冠、树干，能看到树木的全貌。目前网络上公开的用于植物识别的图像数据集包括：PlantNet、Flavia以及Leafsnap等，大都是植物叶片图像数据集，还尚未有公开的树木整体图像数据集。所以本申请于2019年4月至2019年5月采用自主拍摄和网上爬取相结合的方式构建数据集，选取银杏、枫树、桂花、无患子四类树种为研究对象，总共收集图片1533张，自主拍摄610张，网上爬取923张。网上爬取图片主要以单株、晴天为主，考虑到实验数据的丰富性，自主拍摄照片主要以不同天气情况下单株、多株为主。

数据集经过筛选后发现存在每类树木的样本数量不一的情况，这使得神经网络在划分训练批次时容易存在严重的标签分布不均匀问题，导致训练参数出现偏差、分类效果下降。为了提高网络的分类准确率，防止过拟合等问题，本申请采用对角线翻转、仿射变换、色彩调整、局部裁剪、模糊处理的方式进行数据增强。本申请不限于具体的数据增强处理方法，通过数据增强处理，使得数据集中样本数量增加，使得每类树木的样本数量一致，相差在预设的数量范围内。

步骤S2、对数据增强处理后数据集中的树木图像进行光照处理。

不同立地环境下复杂的光照条件是树木检测的一个挑战，过于明亮或者黑暗光线对检测造成不同程度影响，因此光照处理十分关键。

本申请数据集中的树木图像中绝大多数非天空的局部区域里，在某些像素中至少存在一个颜色通道具有很低的值，可以用下式表达：

J^dark(x)＝min_y∈Ω(x)(min_c∈{r,g,b}J^C(y)) (1)

式中J^C表示彩色图像的每个通道，Ω(x)表示以像素x为中心的一个窗口。通过对输入的树木图像求出每个像素RGB分量中的最小值，将其存入一副和原始图像大小相同的灰度图中，然后再对这幅灰度图进行最小值滤波，滤波的半径Radius由窗口大小决定，一般的窗口尺寸W＝2*Radius+1。根据J^dark趋向于0，经过光照处理后的图像如式(2)表示：

其中，I(X)是待处理的图像，即数据集中的树木图像，J(x)是光照处理后的图像，A是图像亮度，t(x)为透射率，上标C表示R/G/B三个颜色通道。

本实施例图像亮度A可以以图像中像素点的平均亮度的灰度值来作为估计值。优选的通过如下方法来计算：首先求取输入树木图像RGB三通道中的最小值，即求取暗原色通道图像，然后对暗原色通道图像进行均值滤波，然后求取其中灰度值最大的点，接着求取输入图像RGB三通道中值最大的通道图像，然后求取出灰度值最大的点，然后将两个灰度值最大的点的灰度值的平均值作为A。

在透射率t(x)的预估值计算中，假设在每一个窗口内透射率t(x)，A值已给定，对上式两边求两次最小值运算。优选的，同时考虑到在现实生活中光线有强弱区别，同一物体不同角度也存在不同表现，有必要保留一定程度的光照度，故通过在t(x)中引入一个在[0,1]之间的因子ω，根据J^dark趋向于0，得到

最终处理结果如下所示：

其中，t₀是预设的一个阈值。

步骤S3、采用Faster R-CNN算法对光照处理后的树木图像进行特征提取、候选区域生成和分类，输出检测结果。

Faster R-CNN算法是一种常用的目标检测算法，如图2所示，其中，卷积层Convlayers，Faster R-CNN使用一组基础的卷积conv+激励relu+池化pooling层提取图像的特征图feature maps，本实施例Conv layers包含了13个conv层+13个relu层+4个pooling层，该feature maps被共享用于后续RPN层和全连接层。

候选区域网络Region Proposal Networks(RPN)用于生成候选区域regionproposals，RPN网络实际分为2条线，一条通过softmax分类锚点anchors获得前景foreground和背景background(检测目标是foreground)，一条用于计算对于anchors的边框回归bounding box regression偏移量，以获得精确的候选框proposal。最后的Proposal层则负责综合foreground anchors和bounding box regression偏移量获取proposals，同时剔除太小和超出边界的proposals。RPN网络结构总结起来就是：生成anchors->softmax分类器提取foreground anchors->边框回归foreground anchors->Proposal Layer生成proposals。

ROI池化层负责收集输入的proposals，计算获得候选框的特征图proposalfeature maps，送入后续全连接层判定目标类别。

全连接层利用已经获得的proposal feature maps，通过full connect层与softmax计算每个proposal具体属于那个类别，输出概率向量；同时再次利用bounding boxregression获得候选框最终的精确位置。

在本实施例中，通过Faster R-CNN将树木检测的特征提取、候选区域生成、分类等工作统一到一个深度网络框架。采用VGG16网络，首先对输入的树木图像进行尺寸规整化，设定图像尺寸为224×224，若图像小于224*224，则采取边缘补0的方式，即在小尺寸的图像上补上黑色边缘，再对其进行卷积特征提取，其过程可描述为：

式中x_i为卷积神经网路第i层的特征图，k_i为第i层卷积核，b_i为第i层的偏置向量，

为卷积运算符号，act(·)为激活函数。常见的激活函数有sigmoid、tanh、ReLU以及LeakyReLU等，本申请采用ReLU激活函数，激活函数公式为：

act(x)＝max(0,x) (6)

在整个卷积层Conv layers中，树木图像经过4个pooling层后变为输入时的1/16，特征图在空间上变小，深度更深，即大小14*14，数量512(224/16＝14，224/16＝14)。

为了训练RPN，需要给每个anchor分配类标签(目标和非目标)。Faster R-CNN网络有2个同级输出层，都是全连接层，称为多任务。一个用于分类，一个用于调整候选框位置，最后总损失为评估分类损失函数和评估候选框定位的损失函数的加权和。

RPN网络训练，采用了这样的规则判定一个anchor内是否有目标：1)假如某anchor与任一目标区域的IoU最大，则该anchor判定为有目标；2)假如某anchor与任一目标区域的IoU>0.7，则判定为有目标；3)假如某anchor与任一目标区域的IoU<0.3，则判定为背景。(所谓IoU，就是候选框和真实框的覆盖率，其值等于两个框面积的交集除以两个框面积的并集。)

训练中遵循多任务损失multi-task loss，最小化目标函数，损失函数定义为：

损失函数分为两部分，对应着RPN两条支路，即目标与否的分类误差和框的回归误差。

其中N是锚点anchor的总量；N_cls是目标分类锚点的总量；N_reg是框回归锚点的总量；p_i为锚点anchor预测为目标的概率；真实框GT标签

当锚点anchor是正样本则

当锚点anchor是负样本则

t_i＝{t_x,t_y,t_w,t_h}是一个向量，表示预测的候选框包围盒bounding box的4个参数化坐标；

是与正样本对应的真实框ground truth包围盒的坐标向量；

是目标与非目标的对数损失，

是回归损失，smooth_L1为鲁棒损失函数。

在Faster R-CNN中bounding box回归的目标是为了实现候选框向真实框Groundtruth窗口相接近。通过回归或微调使得原始的Proposal经过映射得到一个跟真实框更接近的回归窗口。通过对Proposal进行平移、尺度缩放变为“窗口”，得到映射。

t_x＝(x-x_a)/w_a,t_y＝(y-y_a)/h_a (11)

t_w＝log(w/w_a),t_h＝log(h/h_a) (12)

其中x,y,w,h分别为box的中心点坐标，以及box的宽和高。并且x为预测的box上的坐标，x_a表示为由feature map上由一个像素点所生成的anchor box上的坐标，x^*是groudtruth所对应的点的坐标，其他符号同理可推。

当输入的Proposal与Ground Truth相差较小时采用线性回归对窗口进行微调，去除冗余的Proposal。且需考虑误召回和漏检现象，如图3所示，P₂包含T₂的部分区域，导致P₂对应的proposal容易受到T₂干扰，导致回归出来的proposal包含目标T₁、T₂的部分区域，不精准。若P₁不存在，当P₂和P₃的IoU大于阈值时，在NMS阶段P₂将被过滤造成T₁的漏回。

在树木检测中，为了抑制这样的误检，不能一味提升NMS的阈值，否则会对真实靠近的情况错误抑制。鉴于此问题，通过如下式(15)进行处理，对proposal向其它目标偏移的情况和向其它目标对应的proposals靠近的情况考虑，抑制过于逼近容易漏召回和逼近程度不适合的情况的误检，检测结果对NMS算法更加鲁棒。

t_i＝{t_x,t_y,t_w,t_h}是一个向量，表示预测的候选框包围盒的4个参数化坐标；

是与正样本锚点对应的真实框包围盒的坐标向量；p₊为

的正样本，

为锚点t_i对应的候选框，t_iM，t_iN表示不同类别的锚点，

为锚点t_i对应的候选框，k为一个很小的常数，防止分母为0。α、β为超参数，用于平衡不同作用的权重。

计算所有正样本的锚点

与所有真实框的IoU，取IoU最大的作为L_Attr的目标框。

即取IoU第2大的作为L_RepGT时的目标框。

L_Attr运用Smooth_L1距离度量指定anchor对应的候选框与目标框之间的逼近程度，其需要满足候选框逼近目标框，每张图都需要考虑所有的anchors。

L_RepGT运用Smooth_L1距离度量anchor对应的候选框和目标框的交集与anchor对应的候选框面积的比值。

L_RepBox时用于不同目标对应的候选框靠太近出现漏召回情况进行的处理，将不同目标的候选框分离开，候选框之间的IoU越小越好，将不同目标对应的候选框分离。

将这个运用在Faster R-CNN中的损失函数中，通过其优化模型对目标的定位结果，对树木遮挡问题有一个较好的处理结果。

本申请通过实验对上述方法进行了评估，选取mAP(mean Average Precision)为绩效评估模型，mAP是每个类别精度(AP)的平均值。首先对一类树种的AP值进行计算，设定一个IoU阈值，将所有的GT和DT按照类别先进行划分，对同一类的所有GT和DT计算出一个性能(即AP)，然后对本申请研究对象四类树种的性能取平均(mAP)，即为该IOU阈值下的性能。

通过实验发现，如图4所示，图中示出了四类树种检测准确率对应的树种和平均值的变化，第一列是未处理情况的检测准确率，第二列、第三列、第四个分别是经过光照处理、遮挡处理、和两者都处理过的检测准确率对比数据。

可以发现本申请经过光照处理，四类树种的mAP由87.25％提升至90.25％。针对树木遮挡问题，主要控制一侧GT对候选框的干扰，对候选框进行一定的约束作用，使实验的检测效果更加鲁棒，经过遮挡处理，四类树种的mAP由87.25％提升至91.5％。此外，由于不同树种形态差异，桂花树种检测的精确度总体变化相对较小，银杏、枫树、无患子的变化幅度相对较大。四类树种在经过光照处理、遮挡处理后AP值均有所提升，树木检测的精度提升至93.25％。

本申请基于光照处理方法对树木图片进行处理，寻找输入图片中光照强度的最弱的区域，即求出每个像素中RGB分量中的最小值，存入灰度图并进行最小值滤波，求取灰度值的最大点，然后求取RGB图像中最大的通道图像和灰度值最大值、将两点的灰度值进行平均。考虑到现实生活中，“弱”光照的存在，故对图片进行光照处理时根据天气情况保留一定程度的光线。通过对图像中偏暗或者偏亮部分的处理，能够有效地降低图像局部的阴影和光照变化，在一定程度上改善图像质量，使得目标物和背景融合的图片在树木边缘框定上有明显的改进，四类树种经过光照处理后mAP均有不同程度的提高。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种基于树木整体图像的树木检测方法，其特征在于，所述基于树木整体图像的树木检测方法，包括：

采集树木的整体图像，建立数据集，对数据集进行数据增强处理，使得每类树木的样本数量一致；

对数据增强处理后数据集中的树木图像进行光照处理；

采用Faster R-CNN算法对光照处理后的树木图像进行特征提取、候选区域生成和分类，输出检测结果。

2.根据权利要求1所述的基于树木整体图像的树木检测方法，其特征在于，所述对数据增强处理后数据集中的树木图像进行光照处理，其中，对树木图像进行光照处理的公式如下：

其中，I(X)是待处理树木图像，J(x)是光照处理后的图像，A是图像亮度，t(x)为透射率，t₀是预设阈值。

3.根据权利要求2所述的基于树木整体图像的树木检测方法，其特征在于，所述图像亮度A通过如下方法获取：

求取输入树木图像RGB三通道中的最小值，即求取暗原色通道图像，对暗原色通道图像进行均值滤波，然后求取其中灰度值最大的点；

接着求取输入图像RGB三通道中值最大的通道图像，然后求取出灰度值最大的点；

将两个灰度值最大的点的灰度值的平均值作为图像亮度A。

4.根据权利要求2所述的基于树木整体图像的树木检测方法，其特征在于，所述透射率t(x)根据如下公式获得：

其中，Ω(x)表示以像素x为中心的一个窗口，上标C表示R/G/B三个颜色通道，ω为一个在[0,1]之间的因子。

5.根据权利要求1所述的基于树木整体图像的树木检测方法，其特征在于，所述FasterR-CNN算法的损失函数为：

其中，N_cls是目标分类锚点的总量；N_reg是框回归锚点的总量，p_i为锚点预测为目标的概率，当锚点是正样本则

当锚点是负样本则

t_i表示预测的候选框包围盒的4个参数化坐标；

是与正样本对应的真实框包围盒的坐标向量；

是目标与非目标的对数损失，smooth_L1为鲁棒损失函数；

其中：

p₊为

的正样本，

为锚点t_i对应的候选框，t_iM，t_iN表示不同类别的锚点，

为锚点t_i对应的候选框，k为一个很小的常数，防止分母为0，α、β为超参数，用于平衡不同作用的权重。

Images