CN113077452A

CN113077452A - 基于dnn网络和斑点检测算法的苹果树病虫害检测方法

Info

Publication number: CN113077452A
Application number: CN202110398406.XA
Authority: CN
Inventors: 李海; 李谊骏; 陈诗果; 杨谋; 兰元帅
Original assignee: Chengdu College of University of Electronic Science and Technology of China
Current assignee: Chengdu College of University of Electronic Science and Technology of China
Priority date: 2021-04-09
Filing date: 2021-04-09
Publication date: 2021-07-06
Anticipated expiration: 2041-04-09
Also published as: CN113077452B

Abstract

本发明公开了基于DNN网络和斑点检测算法的苹果树病虫害检测方法，涉及果树病虫害的检测技术领域，包括以下步骤：步骤1，搭建一个基本的DNN神经网络，初始化权重矩阵W和偏置参数b并输入数据集，通过神经网络的前向传播算法和后向传播算法，更新权重矩阵W和偏置参数b；步骤2，对采集到的图像采用高斯金字塔算法进行缩放后进行图像分割，将图像的前景和背景分离出来；步骤3，将经过图像分割的图像进行直方图均衡化，增强图像中的特征点，步骤4，采用LOG算法，将图像中的特征点提取出来，然后采用开运算处理，将噪点去除，步骤5：将步骤4中处理后的特征点输入到训练完成的DNN神经网络进行判断，识别出叶子上是否有病虫害。

Description

基于DNN网络和斑点检测算法的苹果树病虫害检测方法

技术领域

本发明涉及果树病虫害的检测技术领域，具体为基于DNN网络和斑点检测算法的苹果树病虫害检测方法。

背景技术

我国是世界上最大的苹果生产国，苹果种植面积和产量均占世界50％以上。然而我国苹果的品质与发达国家相比还存在一定的差距，其中落后的病虫害防控水平是制约我国苹果发展的主要因素。现阶段，我国防治苹果树病虫害的主要方法有两种：“防治历”和单一的病虫害检测方法。通过“防治历”对病虫害进行防治是依据往年的病虫害发生情况而进行的，其往往会错过病虫害的关键时期，效果不是很好。利用R-CNN，Tamura等方法进行病虫害的防治，其研究的往往是苹果的病理图像，不能在病虫害侵袭的初期将其检测出来。而使用支持向量机，YOLO等单一的检测方法进行病虫害防治，是将苹果树叶子上斑点的特征与病虫害的典型特点进行比对，从而达到识别的目的，其往往容易陷入局部最优解和梯度消失等问题，导致准确率不高，难以达到苹果树果园部署的需求。

发明内容

本发明的目的在于克服现有技术的不足，提供基于DNN网络和斑点检测算法的苹果树病虫害检测方法。

本发明的目的是通过以下技术方案来实现的：

基于DNN网络和斑点检测算法的苹果树病虫害检测方法，其特征在于，包括以下步骤：

步骤1，搭建一个基本的DNN神经网络，初始化权重矩阵W和偏置参数b并输入数据集，通过神经网络的前向传播算法和后向传播算法，更新权重矩阵W和偏置参数b，执行步骤2；

步骤2，对采集到的图像采用高斯金字塔算法进行缩放后进行图像分割，将图像的前景和背景分离出来，执行步骤3；

步骤3，将经过图像分割的图像进行直方图均衡化，增强图像中的特征点，执行步骤4；

步骤4，采用LOG算法，将图像中的特征点提取出来，然后采用开运算处理，将噪点去除，执行步骤5；

步骤5：将步骤4中处理后的特征点输入到训练完成的DNN神经网络进行判断，识别出叶子上是否有病虫害。

优选的，所述步骤2的图像分割的提取过程包括两个步骤：首先搭建颜色模型，然后通过迭代能量最小化分割算法进行分割。

优选的，所述步骤4中的采用LOG算法，将图像中的特征点提取出来的过程中包括斑点检测，所述斑点检测包括通过对规范化的二维拉普拉斯高斯算子进行求导，得到高斯拉普拉斯响应的最大值或者最小值，然后根据响应的最大值或者最小值得到图像中的斑点。

优选的，所述步骤4中的采用开运算处理，将噪点去除包括对斑点检测得到的图像先进行腐蚀操作，再进行膨胀操作将图像中的黑色干扰块去除。

本发明的有益效果是：

本发明提出了基于DNN网络和斑点检测算法的苹果树病虫害检测方法，实现了基于机器视觉的苹果树病虫害检测***。结果表明，以LOG算法作为特征提取、DNN神经网络作为识别模型的检测***对苹果树叶子病虫害的识别准确率可达91.17％，表明本***对苹果树叶子病虫害检测的效果较为清晰，病虫害识别准确率较高，证明了本***的可行性，改设备可以应用在苹果树常见病虫害识别上。综上，通过机器视觉的图像处理方法提取出苹果树叶子的病斑特征，再构建DNN神经网络进行苹果树病虫害检测识别，能够提高对苹果树病虫害的防治能力。

附图说明

图1为本发明的检测方法示意图；

图2为直方图均衡化前后对比图；

图3为斑点检测前后对比图；

图4为开运算前后对比图；

图5为神经网络结构图；

图6为神经网络框架图；

图7为病虫害检测准确率示意图；

图8为病虫害检测损失值示意图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

如图1所示，本申请提出了一种基于DNN网络和斑点检测算法的苹果树病虫害检测方法。将摄像头采集到的图像通过GrabCut方法进行图像分割，然后使用高斯拉普拉斯算子和LOG算法将叶片中的特征点提取出来并送入神经网络进行训练，最后得到检测结果。为了解决神经网络容易陷入局部最优解和梯度消失的问题，本***采用的是DNN网络，为了进一步提高算法的准确率，本***采用DNN网络为主，斑点检测算法为辅，高效的进行苹果树病虫害的检测，同时通过云平台，实时的将检测结果反馈到监管平台，进行数据的更新，实现数据的云端共享以及数据汇总，帮助果农实时了解苹果树的生长情况。

神经网络是基于感知机的扩展，而DNN可以理解为是有很多隐藏层的神经网络，其本质其实就是多层线性回归。DNN内部网络层可以分为三类，输入层，隐藏层和输出层，一般来说第一层是输入层，最后一层是输出层，而中间的层数都是隐藏层，层与层之间是全连接的。

本***我们采用一个输入层，三个隐藏层和一个输出层，结构如图5所示，使用的激活函数为Sigmoid函数。

如图6所示，首先搭建一个基本的DNN神经网络，初始化权重矩阵w和偏置参数b，之后将训练集里面图像进行图像分割，直方图均衡化，斑点检测，开运算操作，得到每张图片的特征点以及它们所在位置的坐标，在原图中框选出来并将框选出来的特征图像送入神经网络，进行学习，之后通过前向传播算法辨别测试集图像是否有病虫害，并计算得到准确率。最后通过后向传播算法，更新权重矩阵w和偏置参数b，再进行测试，直到最后辨别结果达到最优，得到最优模型为止。

其中，DNN神经网络的前向传播算法的本质其实就是利用若干个权重系数矩阵W，偏置向量b以及输入向量x进行一系列线性运算和激活运算，从输入层开始，每一层都根据前一层的输出结果来计算下一层的输出，一层层的向后进行运算，一直运算到输出层，将最后的结果输出为止。

本***选择的激活函数是Sigmoid函数σ(z)，假设隐藏层和输出层的输出值为a。当1-1层共有m个神经元时，对于第1层的第j个神经元的输出

有：

也可以用矩阵的方式表示：

a^l＝σ(z^l)＝σ(W^la^l-1+b^l)， (28)

需要说明的是，DNN神经网络的反向传播算法其实就是对损失函数使用梯度下降法进行迭代优化求解极小值，从而找到最优的线性权重矩阵W和偏置向量b，让样本的输出结果尽可能的等于或着接近样本标签。

首先使用均方差的方法来对度量的损失进行推导，也就是对每个样本期望最小化下式：

之后我们根据这个损失函数，使用梯度下降法迭代求解每一层的权重矩阵W和偏置向量b，对于输出层L层，W，b满足

a^L＝σ(z^L)＝σ(W^La^L-1+b^L)， (30)

所以对于输出层参数，损失函数变为：

输出层的梯度就可以求解为：

我们根据公式(32)进行一步步递推，就可以把L-1层，L-2层...的梯度求解出来。根据依次计算出的L层的δ^l和前向传播算法z^l＝W^la^l-1+b^l就可以很简单的求解出第L层的W^L和b^l的梯度

根据上面的公式可以求解出第L层的δ^L，求解δ^l和δ^l+1的关键在于求解

但根据z^l和z^l+1可以找出：

z^l+1＝W^l+1a^l+b^l+1＝W^l+1σ(z^l)+b^l+1， (35)

再将公式(36)代入上面的δ^l和δ^l+1，就可以得到

之后就可以更新权重W^l和偏置b^l

需要说明的是，图像分割就是首先将图像分为若干个特定的，具有独特性质的区域，然后再从这些区域中将感兴趣的目标区域提取出来的过程。本文***采用的是GrabCut算法进行前景提取，将苹果树叶子从整个图像中提取出来。整个提取过程分为两个步骤：颜色模型搭建和迭代能量最小化分割算法。

其中，颜色模型的搭建包括以下内容：

在RGB彩色空间内，对于每个像素而言，其不是来自于某个背景GMM的高斯分量，就是来自于某个目标GMM[13]的高斯分量，所以我们可以用k个高斯分量的全协方差GMM来对目标和背景进行建模，建模之后它的Gibbs能量为：

E(α，k，θ，z)＝U(α，k，θ，z)+V(α，z)， (1)

U(α，k，θ，z)＝∑_nD(α_n，k_n，θ，z_n)， (2)

公式(2)中，U为区域项，表示一个像素属于目标或者背景的概率负对数，也就是将这个像素归为目标或者背景的惩罚。因为混合高斯密度的模型为：

所以我们将混合高斯模型取负对数之后，原式就变为了：

公式(5)中有三个GMM的参数θ，第一个参数θ为高斯分量的权重π，第二个参数θ为高斯分量的均值向量μ，第三个参数θ为协方差矩阵∑。

θ＝{π(α，k)，μ(α，k)，∑(α，k)，α＝0，1，k＝1...K}， (6)

换而言之，描述目标和背景的三个GMM参数都需要通过学习来确定，随着这三个参数的确定，Gibbs能量的区域能量项也就能确定了。

一般来说，衡量RGB空间内两个像素的相似性都是通过欧氏距离来计算的，而这里面最为关键的参数β则是由图像的对比度来决定的。如果图像的对比度低，也就是本身具有差别的像素m和n，他们的差||zm-zn||比较低，这时就需要乘以一个比较大的参数β来放大这种差别。而如果图像的对比度比较高，也就是本身属于同一目标像素m和n的差||zm-zn||比较高，这是就需要乘以一个比较小的参数β来缩小这种差别。为了能够使得V项在对比度高或者低的情况下正常工作，这里通过一个比较小的参数β来缩小差别，所以当常数γ为50，n-link的权值为：

V(α，z)＝γ∑_(m，n)∈C[α_n≠α_m]exp-β||z_m-z_n||²， (7)

至此，我们就算完成了图像分割的第一步，成功的搭建了一个颜色模型。

其中，迭代能量最小化分割算法包括以下内容：

首先通过框选目标，获取目标像素和背景像素，之后就可以根据这两个像素来估计目标和背景的GMM。这里还需要把属于目标和背景的像素通过k-mean算法聚类为k类，也就是GMM中的k个高斯模型[14]。其中，每个像素分配得到的高斯分量为：

公式(8)中的参数均值和协方差都是需要通过他们自身的RGB值估计得到，而该高斯分量的权值则可以通过属于该高斯分量的像素个数和总的像素个数之比得到：

接下来就可以根据Gibbs能量项，建立一个图，再根据这个图求出权值t-link和n-link，

*最后使用maxflow/mincut算法来进行图像分割：

其中，直方图均衡化包括以下内容：

本***通过采用直方图均衡化，对图像中苹果叶子病斑的灰度值进行展宽，而对没有病斑的灰度值进行归并，从而增大对比度，使图像清晰，达到增强特征点的目的。

图像灰度值的本质其实就是一个一维的离散函数：

h(k)＝n_k k＝0，1，...，L-1， (11)

公式(11)中，n_k为图像f(x，y)中灰度级为k的像素个数，直方图每一列的高度都会对应着一个n_k。这里可以将直方图进行归一化，并将归一化后的直方图中灰度级出现的相对频率定义为P_r(k)。即

P_r(k)＝n_k/N， (12)

公式(12)中，N为图像f(x，y)的像素总数，n_k为图像f(x，y)中灰度级为K的像素个数。这时用r和s分别表示原图像灰度和经直方图均衡化后的图像灰度，当r，s∈(0，1)时，像素的灰度值在黑白之间变化。当r＝s＝0时，像素的灰度值为黑色。当r＝s＝1时，像素的灰度值为白色。也就是说在[0，1]内的任何一个r，经过变换函数T(r)都可以产生一个对应的s，且

s＝T(r)， (13)

公式(13)中在0≤r≤1的范围内时，T(r)为单调递增函数，所以当0≤r≤1时有0≤T(r)≤1。通过概率论可得随机变量r的概率密度为Pr(r)，又因为随机变量s是r的函数，所以这里假设随机变量s的分布函数为P_s(s)，根据分布函数的定义可得：

又因为分布函数的导数为概率密度函数，因此对两边的s进行求导可得：

根据概率论的知识可得，对于在区间[a，b]上均匀分布的函数，其概率密度函数为

因为将其归一化之后的r∈[0，1]，所以

又因为P_s(s)ds＝P_r(r)dr，所以对ds＝P_r(r)dr的两边积分可得：

对于灰度级别比较离散的数字图像，可以用频率代替概率，所以变换函数T(r_k)的离散形式可以表示为；

由公式(17)可知，均衡化后的各像素灰度级sk可直接由原图像的直方图算出来。对苹果树叶子进行直方图均衡化前后的效果如图2所示。

需要说明的是，斑点检测包括如下内容：

高斯拉普拉斯算子：对于二维的高斯函数：

其拉普拉斯变换为：

规范化的高斯拉普变换为：

LOG算法：首先需要对图像f(x，y)采用方差为σ的高斯核进行高斯低通滤波，去除图像中的噪声点。

L(x，y；σ)＝f(x，y)*G(x，y；σ)

然后对图像进行拉普拉斯变换；

即：

这里采用的是先对高斯核进行拉普拉斯算子变换，之后再对图像进行卷积。

多尺度检测：当σ尺度一定时，只能检测其对应半径的斑点。因此，可以通过对规范化的二维拉普拉斯高斯算子进行求导，便可以进行多尺度检测。规范化的高斯拉普拉斯函数为；

求解

的极值点等价于求解公式(24)

之后得到：

r²-2a²＝0， (26)

当尺度

时，便可以得到高斯拉普拉斯响应的最大值或者最小值，之后便可以根据这个响应值得到图像中的斑点，如图3所示。

需要说明的是，形态学的开操作包括如下内容：

使用开运算对图像进行处理时，能够在不影响原来图像的前提下，消除噪点，去除小的干扰块。因此使用斑点检测算法之后，再使用开运算，对斑点检测得到的图像先进行腐蚀操作，再进行膨胀操作，就可以将图像中的黑色干扰块去除，从而使提取出来的病斑更加鲜明。开运算前后的图像如图4所示。

本申请的一个具体的实施例如下：

主控芯片采用的是NLE-AI800物联网平台，其CPU采用的是双核A73+双A53+单核A53，AI计算单元采用的是双核NNIE@840MHz，并配有4GB运存+32G内存，具有超强的运算处理与分析能力，可以满足本***对运算速度和存储空间的需求。本***还采用了新大陆的物联网平台，它是集设备在线采集、远程控制、无线传输、数据处理、预警信息发布、决策支持、一体化控制等功能于一体的物联网***。它支持多种网关和物联网硬件设备接入，分布式的对数据进行存储、计算。可以使我们的数据通过TCP协议传输到云端，便于数据的共享与可视化分析。

为了更加精准的验证苹果树病虫害检测***的准确性，试验地点特地选择在近年来苹果树种植面积和产量最多的陕西地区。在预先选好的苹果树试验田里，实验人员手持本装置，通过摄像头实时采集苹果树叶子的图像信息，对画面进行逐帧分析，将每一帧画面进行图像处理，再送入DNN神经网络，最后将识别结果显示在屏幕上。

本次实验科学地选取了100棵苹果树作为抽样样本，将抽样样本分为六组进行试验，并将每次测试的结果都通过TCP协议传输到云端，便于对实验数据进行分析与研究。

实验结果如下表1所示：

表1苹果树病虫害概率统计表

病虫害	样本数	花叶病	锈病	灰斑病	斑点落叶病	褐斑病	准确率
								花叶病	100	90	4	0	0	6	90.0％
锈病	100	4	92	0	2	2	92.0％
								灰斑病	100	0	6	89	4	1	89.0％
斑点落叶病	100	3	4	1	90	2	90.0％
								褐斑病	100	0	0	2	4	94	94.0％
无病害	100	2	1	1	3	1	92.0％

根据上述数据可知，在各试验区，病虫害检测的准确率都在89％以上，如图7和图8所示。本***识别病虫害的准确率可以满足果农对苹果树病虫害预防的需要，可以在苹果树园进行大量的部署及运用。但是本***是通过摄像头来进行图像的数据采集，可能会由于光源，环境，硬件等一些因素的影响，采集到的图像受到视觉干扰或图像失真等因素的干扰，使得本***对病虫害的检测存在一定的误差，误差范围为0.2％-0.6％

以上所述仅是本发明的优选实施方式，应当理解所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims

1.基于DNN网络和斑点检测算法的苹果树病虫害检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于DNN网络和斑点检测算法的苹果树病虫害检测方法，其特征在于，所述步骤2的图像分割的提取过程包括两个步骤：首先搭建颜色模型，然后通过迭代能量最小化分割算法进行分割。

3.根据权利要求3所述的基于DNN网络和斑点检测算法的苹果树病虫害检测方法，其特征在于，所述步骤4中的采用LOG算法，将图像中的特征点提取出来的过程中包括斑点检测，所述斑点检测包括通过对规范化的二维拉普拉斯高斯算子进行求导，得到高斯拉普拉斯响应的最大值或者最小值，然后根据响应的最大值或者最小值得到图像中的斑点。

4.根据权利要求3所述的基于DNN网络和斑点检测算法的苹果树病虫害检测方法，其特征在于，所述步骤4中的采用开运算处理，将噪点去除包括对斑点检测得到的图像先进行腐蚀操作，再进行膨胀操作将图像中的黑色干扰块去除。