CN109344699A - 基于分层深度卷积神经网络的冬枣病害识别方法 - Google Patents

Abstract

本发明涉及一种基于分层深度卷积神经网络的冬枣病害识别方法，包括如下步骤：对冬枣病害图像进行预处理得到病斑图像；将预处理后的病斑图像的三个颜色分量分别输入三个分层DCNN；对每个分层DCNN进行训练；建立每个分层DCNN的全连接层，将全连接层的神经元与上一层的所有神经元连接；由三个分层DCNN得到病斑图像的三个分量图像的分类特征，采用SVM分类器对病害图像进行分类。本发明采用深度卷积神经网络得到原始样本的自然特性，直接将叶片图像样本作为训练集，能够自动地从冬枣病害图像中学习到有效的特征，省去了从叶片图像中提取分类特征的过程，有效地解决了经典植物分类算法提取和选择分类特征难题。

Description

基于分层深度卷积神经网络的冬枣病害识别方法

技术领域

本发明属于计算机图像处理技术领域，尤其是一种基于分层深度卷积神经网络的冬枣病害识别方法。

背景技术

冬枣通常在大棚温室内种植，大棚内具有温度高、湿度大等特点，为冬枣病害发生和蔓延提供了合适的环境条件，其病害种类多、发生频繁，防治难度大。因为大部分果农缺乏病害的实时信息和科学防治指导，所以不管自己的果树有病无病或需要不需要，在一年四季定期给枣树喷洒20余种不同农药，特别是一些果农加大量、更多次喷洒农药，以确保果树绝对不会发生病害。这样做的确能够快速、有效地预防枣树病害，但导致农药残余过量和环境污染等严重问题。

尽管冬枣病害检测和诊断方法很多，而且很多方法都是以图谱和文字形式相结合详细介绍如何防治冬枣病虫害，但这些方法都是依靠人工肉眼观察、对比的方式判别和诊断病害发生和病害类型，特别是不同大棚的冬枣的生长环境差异较大，以及各个大棚内冬枣病害的表现形式复杂多变，所以很多果农很难正确利用这些方法进行病害检测和类型诊断。目前有很多基于作物病害(叶片或果实)图像的作物病害智能识别方法，大部分方法都是从作物病害图像中提取人为设置的分类特征，然后根据提取出的特征训练一个分类器，再利用测试数据进行方法验证。这些方法的有效性在很大程度上取决于人为选择的特征是否合理。由于作物病害图像的高度复杂多样性，使得不同的方法提取的特征不同，利用现有的方法能够从一幅病害图像中提取出百种以上特征，但很难确定哪些特征更好，因此这些方法的主观性较强、识别率不高、泛化能力较差。

深度学习是机器学习领域一个新的研究方向，近年来在计算机视觉、图像与视频分析、语音识别、多媒体检索等诸多领域的应用取得了突破性进展。深度学习具有多层非线性射的深层结构，能够通过对原始图像进行逐层特征变换，将图像在原空间的特征表示变换到新的特征空间，自动学习得到层次化的特征表示，从而得到更有利于分类的特征，克服传统的作物病害识别方法中人工提取特定特征的不足。

如何将深度学习应用到冻灾病害识别是目前迫切需要解决的问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于分层深度卷积神经网络的冬枣病害识别方法，解决现有冬枣病害识别主观性较强、识别率不高、泛化能力较差等问题。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于分层深度卷积神经网络的冬枣病害识别方法，包括以下步骤：

步骤1、对冬枣病害图像进行预处理得到病斑图像；

步骤2、将预处理后的病斑图像的三个颜色分量分别输入三个分层DCNN；

步骤3、对每个分层DCNN进行训练；

步骤4、建立每个分层DCNN的全连接层，将全连接层的神经元与上一层的所有神经元连接；

步骤5、由三个分层DCNN得到病斑图像的三个分量图像的分类特征，采用SVM分类器对病害图像进行分类。

进一步，所述步骤1的处理方法为：采用视觉显著性算法对冬枣病害图像进行多个特征通道和多尺度的分解，再进行滤波得到特征图，对特征图进行融合，生成视觉显著图；确定显著图区域的中心并以此为中心，在原始病害图像中截取一个矩形区域，再利用K-均值聚类法对显著性区域进行聚类，得到病斑图像。

进一步，所述步骤3的处理方法为：在目标函数越接近最优值时采用比前面小的学习率进行训练；利用反向传递计算梯度，优化分层DCNN的参数，获取更优分类特征；选择非线性的ReLU函数为激活函数，对卷积神经层后的数据进行训练；采用批量正则化方法，将每一层的概率分布转换为标准正态分布进行优化；采集最大池化算法对获得的特征进行下采样；将分层DCNN的各卷积层修改为卷积自动编码器，利用最小化重构误差调整分层DCNN的权值。

进一步，在步骤4中，结合冬枣病害果实图像数据集，将最后一层全连接层的输出设置32。

进一步，所述步骤5的处理方法为：

首先，设病斑图像的每一个分量图像为64×64大小的二维特征图，则在第一个卷积层通过一个5×5大小的卷积核卷积64×64大小的图片，得到12个60×60大小的二维特征图；在第一个池化层，通过激活函数获得12个30×30大小的特征图；每个子采样层使用的缩放因子为2，每一个子采样特征图需要训练2个参数；

其次，第二个卷积层使用大小为5×5的卷积核，则得到的特征图大小为26×26；第二卷积层中的每个特征图在作卷积时，是由第一池化层中几个特征图或全部特征图组合成输入再进行卷积得到；其余的卷积层与子采样层的数据处理过程与前面的层基本相同；经过多层的卷积和下采样，提取图像的分类特征；

最后，三个分层DCNN得到的分类特征维数为32×3＝96，由此训练分类层的SVM分类器对病害图像进行分类。

本发明的优点和积极效果是：

1、本发明采用深度卷积神经网络得到原始样本的自然特性，直接将叶片图像样本作为训练集，能够自动地从冬枣病害图像中学习到有效的特征，省去了从叶片图像中提取分类特征的过程，有效地解决了经典植物分类算法提取和选择分类特征难题。

2、本发明在DCNN的基础上，采用基于分层DCNN的冬枣病害识别方法，该方法能够直接利用彩色冬枣病害果实图像进行冬枣病害识别，解决现有冬枣病害识别主观性较强、识别率不高、泛化能力较差等问题。

附图说明

图1为本发明整理处理流程图；

图2a为冬枣患有炭疽病的图像实例；

图2b为冬枣患有烂果病的图像实例；

图2c为冬枣患有缩果病的图像实例；

图2d为冬枣患有黑点病的图像实例；

图2e为由一副图像经旋转和扰动处理得到的多幅图像；

图2f为由一副图像经亮度变化处理得到的多幅图像；

图3a为卷积处理前的原始图像；

图3b为第一次R通道卷积图；

图3c为第一次卷积合成图；

图3d为R通道的第三次卷集图；

图3e为第三次卷集图；

图4为基于分层DCNN的冬枣病害识别过程图。

具体实施方式

以下结合附图对本发明实施例做进一步详述：

本发明采用深度卷积神经网技术进行冬枣病害识别。分层DCNN是隐式地从训练数据中学***移不变性。分层DCNN的训练过程分为向前传播和向后传播两个阶段。在向前传播阶段，分层DCNN从样本集中抽取一个标签为Y_m的样本X输入网络，信息从输入层经过逐级变换传送到特征输出层，计算相应的实际输出O_m：

O_m＝f_n(...(f₂(f₁(XW₁)W₂)...)W_n) (1)

其中，f()是一个激活函数，W_i(i＝1,2,...,n)为已训练好的映射权值矩阵。

这个过程是网络在完成训练后正常运行时执行的过程。在此过程中，模型进行输入与每层的权值矩阵相点乘，得到最后的输出结果。在实际操作中，对于图像块采用卷积核进行卷积，需要增加一个偏置项，则在第l层的输出的卷积运算为

x^l＝f(W^lx^l-1+b^l) (2)

其中，l为模型层数，W^l表示已训练好当前层的映射权值矩阵，b^l为当前模型的加性偏置。

在向后传播阶段，计算实际输出与理想输出的差异，并按极小化误差的方法反向传播调整权矩阵。

分层DCNN一般采用平均池化或最大池化算法对每个特征图进行独立下采样操作。平均池化依据定义的邻域窗口计算特定范围内像素的均值，邻域窗口平移步长大于1(小于等于池化窗口的大小)，而最大池化则将均值替换为最值输出到下个阶段。池化操作后，输出特征图的分辨率降低，但能较好地保持高分辨率特征图描述的特征。在实际应用中，分层DCNN可以去掉下采样过程，通过在卷积阶段设置卷积核窗口滑动步长大于1达到降低分辨率的目的。

分层DCNN在完成卷积映射后通过激活函数对输出进行调整，将卷积层提取的特征作为函数输入，进行非线性映射。常用的激活函数有sigmoid和tanh等饱和非线性函数。近几年广泛采用不饱和非线性函数ReLU。在训练梯度下降时，ReLU比传统的饱和非线性函数的收敛速度更快，因此在训练整个网络时，训练速度比传统的方法较快。

基于上述说明，本发明的一种基于分层深度卷积神经网络的冬枣病害识别方法，如图1所示，包括以下步骤：

步骤1、对冬枣病害图像进行预处理得到病斑图像。

在本步骤中，由于物联网传感器采集到的病害图像具有较强的噪声干扰，我们利用简单的视觉显著性算法(Itti算法)，对冬枣病害图像进行多个特征通道和多尺度的分解，再进行滤波得到特征图，对特征图进行融合，生成视觉显著图。确定显著图区域的中心，以显著图区域的中心为中心点，在原始病害图像中截取一个矩形区域，再利用K-均值聚类法对显著性区域进行聚类，得到病斑图像。

由于病害图像的复杂多样性，使得图像的预处理过程比较复杂、费时，所以我们尝试提取病害图像的一个感兴趣区域，作为识别方法的输入，省略背景分离和病斑分割过程。

步骤2、将预处理后的病斑图像的三个颜色分量分别输入三个分层DCNN。

步骤3、对每个分层DCNN进行训练。

在训练过程中，在目标函数越接近最优值时采用比前面小的学习率进行训练，通过调整参数提高分层DCNN的分类性能。利用反向传递计算梯度，优化分层DCNN的各项参数，获取更优分类特征。选择非线性的ReLU函数为激活函数，对卷积神经层后的数据进行训练。设置适当的卷积核，提高分层DCNN的性能。卷积核的大小决定一个神经元感受野的大小，若卷积核过小，则不能提取有效的局部特征；但若卷积核过大，则提取的特征的复杂度可能远远超过卷积核的表示能力。采用批量正则化方法，将每一层的概率分布转换为标准正态分布进行优化。采集最大池化算法对获得的特征进行下采样。将分层DCNN的各卷积层修改为卷积自动编码器，利用最小化重构误差调整分层DCNN的权值。其他参数选取为Matlab2017a中深度学习工具箱(Deep Learn Tool Box)中的默认参数值。

步骤4、建立每个分层DCNN的全连接层。

全连接层的神经元与上一层的所有神经元连接。由于全连接层参数过多会产生过拟合。为了解决这一问题，结合冬枣病害果实图像数据集，调整最后一层全连接层的输出为32，这样可以减少全连接层的节点参数。式(3)为识别方法误差：

其中，n、m分别为训练样本的样本总数和类别数，f为由激励函数得到的一个m×1输出矩阵，f_label为训练样本标签，是一个m×1的二值矩阵。

网络模型训练的优劣主要通过损失函数确定，训练与测试的损失值越低模型训练得越好，使得整个网络在训练阶段能够收敛。

步骤5、对病害图像进行分类：

在步骤中，由三个分层DCNN得到病斑图像的三个分量图像的分类特征，在分类层将这些特征整合为一个特征向量，再采用比较成熟的SVM分类器对病害图像进行分类。

下面对本发明卷积层中的卷积核结构进行分析：

假设病斑图像的每一个分量图像为64×64大小的二维特征图，则在第一个卷积层(C1)通过一个5×5大小的卷积核卷积64×64大小的图片，得到12个60×60大小的二维特征图。其中，同一个特征图使用的5×5的卷积核相同。C1需要训练的参数数目为12×(5×5+1)＝312个，而输入层和C1的连接数为312×(60×60)＝1123200条。在第一个池化层(S1)，通过式(1)的激活函数获得12个30×30大小的特征图，即通过将C1中所有互不重叠的2×2的子块x求和，再乘以一个权重w，加上一个偏置项b得到的。因为C1中特征图大小为60×60，所以得到的子采样结果为30×30的特征子图。然后，每个子采样层使用的缩放因子为2，其目的控制缩放下降的速度，因为缩放是指数级缩放，缩小的速度太快也意味着提取图像特征更加粗糙，将会失去更多图像细节特征。每一个子采样特征图需要训练2个参数，所以S1需要训练12×2＝24个参数。

在第二个卷积层(C2)与C1类似。C2也使用大小为5×5的卷积核，则得到的特征图大小为26×26。通过C1和S1后，S1的每一个神经元覆盖的感受野相当于原始图像的10×10(即C1的卷积核为5×5，第二个池化层(S2)的采样子块大小为2×2，则5×5×2×2＝10×10)。C2经过5×5大小的卷积核提取S1的特征，它的感受野进一步扩大，相当于原始图像的50×50。C1通过输入层一张图片获得12个映射平面，现在C2需要从S1的12个特征图映射出24个特征图，这里需要一定的技巧。C2中的每个特征图在作卷积时，是由S1中几个特征图或全部特征图组合成输入，再进行卷积得到。其余的卷积层与子采样层的数据处理过程与前面的层基本相同。经过多层的卷积和下采样，提取的特征更加抽象，也更具有表达能力。

由三个分层DCNN得到的分类特征维数为32×3＝96。由此训练分类层的SVM分类器，得到训练好的冬枣病害识别方法。然后利用测试数据进行模型性能测试。

为了表明本发明提出的冬枣病害识别方法的有效性，按照上述方法进行试验，进而检验本发明的效果：

在陕西大荔县冬枣大棚园区采集冬枣常见的炭疽病、烂果病、缩果病、黑点病四种病害果实各100幅图像，四种病害果实示例如图2a、图2b、图2c、图2d所示。实验条件为CPU:Intel Corei3-2120、8G和Windows 64位，软件平台为Matlab 2017a以及Matlab深度学习工具箱(Deep Learn Toolbox-master)。由于目前没有公开的冬枣病害图像数据库，而深度学习模型需要大量的样本进行模型训练，所以我们通过旋转、颜色和亮度变化、大小缩放等方式将每幅图像扩充为50幅图像，由此模拟基于物联网监控视频的多种环境下拍摄条件，则共得到病害图像4×100×50＝20000幅，然后提取每幅图像的一个包含大部分病斑的感兴趣区域，再将每幅图像裁剪为大小64×64图像，再利用Itti算法与K-均值聚类法相结合的图像分割方法分割每幅病害图像，得到对应的病斑图像，图2e给出了由一副图像经旋转和扰动处理得到的多幅图像，图2f给出了由一副图像经亮度变化处理得到的多幅图像。

一副图像经分层DCNN的卷积图如图3a、图3b、图3c、图3d和图3e所示。从上述卷集图可以看出，分层DCNN能够得到图像的本质抽象特征。

在这些图像数据集中，从每种病斑图像中任意选择4000幅共16000幅作为训练集，其余的共4000幅作为测试集。训练集用于训练DCNN模型以及SVM分类器，测试集用于测试所提出的病害识别方法的性能。其病害识别过程如图4所示。

将每幅分割后的彩色RGB病斑图像的三个分量R、G和B图像分别输入到分层DCNN。在全连接层得到一个96维的特征向量。训练集的病斑图像训练DCNN，得到的特征向量再训练SVM分类器。当分层DCNN模型稳定后，再将测试集输入，由SVM得到识别结果。试验结果如下：

我们与三种果实病害识别方法进行比较：改进的和差直方图(ISDH)方法、基于颜色、纹理和形状特征(CTS)方法和基于图像处理(IP)方法。得到的正确识别率和方差如表1所示。

针对两种情况，重复上面实验中：(1)将没有分割的病害图像的感兴趣区域图像作为输入；(2)利用我们建设的数据库中十分之一数目的图像进行实验，得到结果见表1。

表1.四种方法对分割的病斑图像和原始病害图像的识别率(％)和方差

由表1看出，本发明与传统的其他三种方法的分类结果进行对比，在前两种情况下本发明所提出方法的分类正确率有明显提高。由于我们建设的冬枣病害图像的类内的相似度较高，所以四种方法对分割后的病斑图像的识别率都比较高。但由于病害图像的复杂多样性，采用一般的特征提取方法很难提取到较好的特征，而且传统的识别方法对图像的旋转和光照等比较敏感，所以其他三种基于特征提取的病害识别方法的识别效果较差。而由于深度学习模型能够学习到比较有用的特征，所以本发明方法得到的识别效果较好。但当训练样本数目减少为原来的1/10时，其他三种方法的识别效果下降不大，而本发明提出的识别方法的识别效果明显下降，其原因是没有足够的训练样本，不能训练出性能稳定的模型，所以识别效果较差。通过综合比较，在大型数据库上，本发明提出的冬枣病害分类模型有着明显的优势。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (5)

1.一种基于分层深度卷积神经网络的冬枣病害识别方法，其特征在于包括以下步骤：

步骤1、对冬枣病害图像进行预处理得到病斑图像；

步骤2、将预处理后的病斑图像的三个颜色分量分别输入三个分层DCNN；

步骤3、对每个分层DCNN进行训练；

步骤4、建立每个分层DCNN的全连接层，将全连接层的神经元与上一层的所有神经元连接；

步骤5、由三个分层DCNN得到病斑图像的三个分量图像的分类特征，采用SVM分类器对病害图像进行分类。

2.根据权利要求1所述的基于分层深度卷积神经网络的冬枣病害识别方法，其特征在于：所述步骤1的处理方法为：采用视觉显著性算法对冬枣病害图像进行多个特征通道和多尺度的分解，再进行滤波得到特征图，对特征图进行融合，生成视觉显著图；确定显著图区域的中心并以此为中心，在原始病害图像中截取一个矩形区域，再利用K-均值聚类法对显著性区域进行聚类，得到病斑图像。

3.根据权利要求1所述的基于分层深度卷积神经网络的冬枣病害识别方法，其特征在于：所述步骤3的处理方法为：在目标函数越接近最优值时采用比前面小的学习率进行训练；利用反向传递计算梯度，优化分层DCNN的参数，获取更优分类特征；选择非线性的ReLU函数为激活函数，对卷积神经层后的数据进行训练；采用批量正则化方法，将每一层的概率分布转换为标准正态分布进行优化；采集最大池化算法对获得的特征进行下采样；将分层DCNN的各卷积层修改为卷积自动编码器，利用最小化重构误差调整分层DCNN的权值。

4.根据权利要求1所述的基于分层深度卷积神经网络的冬枣病害识别方法，其特征在于：在步骤4中，结合冬枣病害果实图像数据集，将最后一层全连接层的输出设置32。

5.根据权利要求1所述的基于分层深度卷积神经网络的冬枣病害识别方法，其特征在于：所述步骤5的处理方法为：

首先，设病斑图像的每一个分量图像为64×64大小的二维特征图，则在第一个卷积层通过一个5×5大小的卷积核卷积64×64大小的图片，得到12个60×60大小的二维特征图；在第一个池化层，通过激活函数获得12个30×30大小的特征图；每个子采样层使用的缩放因子为2，每一个子采样特征图需要训练2个参数；

其次，第二个卷积层使用大小为5×5的卷积核，则得到的特征图大小为26×26；第二卷积层中的每个特征图在作卷积时，是由第一池化层中几个特征图或全部特征图组合成输入再进行卷积得到；其余的卷积层与子采样层的数据处理过程与前面的层基本相同；经过多层的卷积和下采样，提取图像的分类特征；

最后，三个分层DCNN得到的分类特征维数为32×3＝96，由此训练分类层的SVM分类器对病害图像进行分类。