CN110378435B - 一种基于卷积神经网络的苹果叶片病害识别的方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的苹果叶片病害识别的方法，属于计算机视觉领域。该方法包括以下步骤：S1：对样本进行预处理；S2：搭建卷积神经网络，基于VGG16卷积神经网络模型，搭建包含归一化层和全局平均池化层的改进的卷积神经网络模型，并采用Adam算法对模型进行求解；S3：训练卷积神经网络模型，卷积基层的初始参数采用VGG16模型在ImageNet数据集上训练好的参数；S4：对测试样本进行预测并输出。本发明提出的改进的卷积神经网络提高了对苹果叶片病害的识别准确率，并且新型卷积神经网络极大地减少了训练参数，训练时间短、效率高，对苹果叶片病害的识别奠定了较好的基础。

Description

一种基于卷积神经网络的苹果叶片病害识别的方法

技术领域

本发明属于计算机视觉领域，具体涉及一种基于卷积神经网络的苹果叶片病害识别的方法。

背景技术

我国已成为世界上最大的苹果生产国，种植面积和总产量均占到世界的50％左右，然而，苹果的生产过程中，危害苹果生产的主要障碍之一就是叶片病害，每年因病害给果农造成的损失十分巨大，因此针对大型苹果园，苹果叶片病害识别已经越来越受关注。

目前，病害识别方法一般分为人工识别、依靠专家***，这两类方法对果农和专家的依赖性高，会耗费大量人力，并且主观性强，难以对病害做出科学和准确的识别。随着机器学习算法的普及，研究人员已经研究了传统机器学习算法的植物病害诊断，但是分类特征易受人为选择的影响，识别率不高。近年来，随着深度学习的发展，卷积神经网络在模式识别任务中取得了较好的成绩。卷积神经网络不仅减少了图像预处理的需求，而且提高了识别的准确性，将卷积神经网络应用到农业生产中是目前农业信息化研究中的一个热点，其中基于卷积神经网络进行叶片病害的识别是其中的一个重要方向。

申请号201811184692.4的专利公开了一种基于改进全卷积神经网络的大田作物病虫害识别方法，先将病虫害图像进行人工标注、裁剪，将裁剪图像划分为训练、验证集；对训练、验证集进行数据增广操作，然后求平均，再从增广训练、验证集图像的输入中减去对应像素位置的均值，然后作置乱处理，形成最后增广训练、验证集；建立改进的全卷积神经网络模型，利用最后增广训练集图像对改进全卷积神经网络模型进行预训练和二阶训练得到最终的全卷积神经网络模型，利用最后增广验证集图像对最终的全卷积神经网络模型评估，使用全尺寸的作物叶片图像作为输入，在评估过的最终的全卷积神经网络模型输出的特征图上检测病害。该方法中，采用改进的全卷积神经网络，将全连接层替换为卷积层，模型复杂度较高，虽然参数较传统的VGG16模型参数有所减少，但参数依然很多，参数训练时间较长。

申请号201810230177.9的专利公开了一种基于神经网络的作物病害识别方法，利用构建的自适应全局池化卷积神经网络来来估计病害叶片图像的类别，该自适应全局池化卷积神经网络由1个输入层、1个批归一化层、6个隐层和一个分类输出层依次连接构成，从而达到缩短训练所需的时间，克服了固定学习率所带来的欠学习和陷入局部最优的问题，提高网络的收敛速度、泛化能力及稳定性。该方法采用的神经网络较浅，且需要自定义初始化参数，且每次都需要从头开始对网络进行训练，所需时间较长。

因此现有技术所提到的方法，虽然能够用于叶片病害的识别，但是模型存在收敛速度相对较慢、训练参数较多、训练时间长等缺点。

发明内容

技术问题：本发明提供一种模型收敛速度快、训练参数少、训练时间短、准确率高的基于卷积神经网络的苹果叶片病害识别的方法。

技术方案：本发明一种基于卷积神经网络的苹果叶片病害识别的方法，包括以下步骤：

S1：对样本进行预处理

将获取的样本进行分类，并裁剪为224*224，进行归一化处理；

S2：搭建卷积神经网络

基于VGG16卷积神经网络模型，搭建包含归一化层和全局平均池化层的改进的卷积神经网络；

S3：训练卷积神经网络模型

初始化神经网络中各个层的参数，输入训练样本进行训练，并保存训练好的模型；

S4：对测试样本进行预测并输出

调用S3中保存好的模型，对测试样本进行预测，并计算识别准确率。

进一步的，所述步骤S1包含以下子步骤：

S1-1：将获取的样本分为训练集和测试集，所述训练集和测试集均包含4种类别，并将训练集和测试集中的样本裁剪为224*224的图片；

S1-2：对样本进行归一化处理。

进一步的，所述步骤S2搭建卷积神经网络包含以下子步骤：

S2-1：基于VGG16卷积神经网络模型，搭建改进的卷积神经网络的卷积基层，所述卷积包括13个卷积层和5个最大池化层；

S2-2：添加全局平均池化层，全局平均池化层与卷积基层的最后一个卷积层连接；

S2-3：在全局平均池化层后添加批归一化层；

S2-4：使用Adam优化算法对模型进行求解。

进一步的，所述步骤S3训练卷积神经网络模型包含以下子步骤：

S3-1：卷积基层的初始参数采用VGG16模型在ImageNet数据集上训练好的参数，上层参数初始化为零；

S3-2：将训练集输入改进的卷积神经网络，进行参数更新，保存训练好的卷积神经网络结构和参数。

进一步的，所述步骤S2-3的算法步骤如下所示：

输入：批处理输入x:β＝{x_1,...,m}，式中x为输入变量，m为最小批次大小，β为引入的可学习重构参数；

输出：归一化后的网络响应{y_i＝BN_γ,β(x_i)}，式中y为输出变量，γ为引入的可学习重构参数；

(1)计算批处理数据均值，计算公式为：

式中，μ_β为批处理数据的均值；

(2)计算批处理数据方差，计算公式为：

式中，

为批处理数据方差；

(3)归一化，计算公式为：

式中，ε为误差；

(4)尺度变换和偏移，计算公式为：

y_i＝γx_i+β＝BN_γ,β(x_i)

(5)返回学习参数。

进一步的，所述Adam优化算法的步骤如下：

(1)计算梯度的一阶矩估计和二阶矩估计，计算公式为：

m_t＝β₁*m_t-1+(1-β₁)*g_t，

式中，g_t为梯度，其中m_t为梯度的第一时刻平均值，v_t为梯度的第二时刻非中心方差值，β₁设为0.9，β₂设为0.9999；

(2)对一阶矩估计和二阶矩估计的校正，计算公式为：

(3)参数更新的最终公式为，计算公式为：

式中，θ_t为更新的参数，η为学习率，ε设为1e-8。

进一步的，所述改进的卷积神经网络包含1个归一化层、1个全局平均池化层和1个全连接层。

进一步的，所述13个卷积层的卷积核大小为3×3，步长为2，所述最大池化层大小为2×2，步长为2。

进一步的，所述步骤S3-2采用BP算法训练所述改进的卷积神经网络模型。

进一步的，所述步骤S3-2中，更新网络参数时，采用最小批量法计算网络误差和更新权重。

有益效果：本发明相比现有技术具有以下优点：

(1)本发明的基于卷积神经网络的苹果叶片病害识别方法基于VGG16模型，以传统的VGG16模型网络中包含的13个卷积层和5个池化层的网络结构作为卷积基层，建立改进的卷积神经网络模型，该神经网络模型中，将传统VGG16模型中的3个全连接层采用依次连接的1个全局平均池化层、1个批归一化层和一个全连接层代替。全局平均池化就是对整个网路在结构上做正则化，防止过拟合，并将维度从3D降低到1D，即将卷积层输出的要素图进行取平均值处理，输出1个响应，省略了将要素图展开为向量和全连接处理，因为这一层没有参数，极大地减少了参数，从而进一步提高模型的训练速度，节省模型训练时间，同时，添加批归一化层后，可采用批归一化算法，加快了神经网络模型的收敛速度，提高了模型的运算效率。

(2)本发明在搭建神经网络模型过程中，采用Adam优化算法进行求解，Adam优化算法即自适应时刻估计算法(Adaptive Moment Estimation)，能计算每个参数的自适应学***方梯度的指数衰减平均值，而且保持了先前梯度的指数衰减平均值，而且非常高效，能够快速的得到良好的结果，因此能够进一步的提高训练速度，节省训练时间，提高识别的准确率。

(3)本发明的卷积神经网络模型应用与苹果叶片病害识别，并通过与现有的神经网络模型相比，具有较高的识别准确率，因此采用本发明的方法进行苹果叶片病害识别具有更高的准确率，效果更好。

附图说明

图1为本发明的一种基于卷积神经网络的苹果叶片病害识别方法的流程图；

图2为本发明中的改进的卷积神经网络的结构图；

图3为本发明中的改进的卷积神经网络的内部结构图；

图4为全局平均池化操作的示意图；

图5为5种卷积神经网络训练过程中准确率的变化曲线图；

图6为5种卷积神经网络训练过程中损失值的变化曲线图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本发明基于卷积神经网络的苹果叶片病害识别方法，包括以下步骤：

S1：对样本进行预处理

将获取的样本进行分类，并裁剪为224*224，进行归一化处理。其中224*224指的是图像的像素，具体的，包括以下两个子步骤：

S1-1：将获取的样本分为训练集和测试集，所述训练集和测试集均包含4种类别，并将训练集和测试集中的样本裁剪为224*224的图片；

S1-2：对样本进行归一化处理。

S2：搭建卷积神经网络，基于VGG16卷积神经网络模型，搭建包含归一化层和全局平均池化层的改进的卷积神经网络。网络结构图参见图2所示，具体的，包括以下子步骤：

S2-1：基于VGG16卷积神经网络模型，搭建改进的卷积神经网络的卷积基层，所述卷积基层包括13个卷积层和5个最大池化层，具体的，在搭建网络过程中，卷积基层采用的就是传统的VGG16模型中卷积层和最大池化层的网络结构，图2中Conv_base指代的部分其中卷积层的卷积核大小为3×3，步长为2，所述最大池化层大小为2×2，步长为2。

S2-2：添加全局平均池化层，全局平均池化层与卷积基层的最后一个卷积层连接。

本发明的神经网络结构中，加入了1个全局平均池化层，用以替代传统VGG16模型中的全连接层，全局平均池化操作如图4所示，全局平均池化就是对整个网路在结构上做正则化，防止过拟合，并将维度从3D降低到1D，即将卷积层输出的要素图进行取平均值处理，输出1个响应，省略了将要素图展开为向量和全连接处理，极大地减少了参数，从而进一步提高模型的训练速度，节省模型训练时间。

S2-3：在全局平均池化层后添加1个批归一化层。通过批归一化算法，加快了神经网络模型的收敛速度，其中批归一化算法的算法步骤如下：

输入：批处理输入x:β＝{x_1,...,m}，式中x为输入变量，m为最小批次大小，β为引入的可学习重构参数；

输出：归一化后的网络响应{y_i＝BN_γ,β(x_i)}，式中y为输出变量，γ为引入的可学习重构参数；

(1)计算批处理数据均值，计算公式为：

式中，μ_β为批处理数据的均值；

(2)计算批处理数据方差，计算公式为：

式中，

为批处理数据方差；

(3)归一化，计算公式为：

式中，ε为误差

(4)尺度变换和偏移，计算公式为：

y_i＝γx_i+β＝BN_γ,β(x_i)

(5)返回学习参数。

S2-4：使用Adam优化算法对模型进行求解。

Adam优化算法即自适应时刻估计算法(Adaptive Moment Estimation)，能计算每个参数的自适应学***方梯度的指数衰减平均值，而且保持了先前梯度的指数衰减平均值，能够高效的得到良好的结果，其算法步骤如下：

(1)计算梯度的一阶矩估计和二阶矩估计，计算公式为：

m_t＝β₁*m_t-1+(1-β₁)*g_t，

式中，g_t为梯度，其中m_t为梯度的第一时刻平均值，v_t为梯度的第二时刻非中心方差值，β₁设为0.9，β₂设为0.9999；

(2)对一阶矩估计和二阶矩估计的校正，计算公式为：

(3)参数更新的最终公式为，计算公式为：

式中，θ_t为更新的参数，η为学习率，ε设为1e-8。

此外，本发明的神经网络模型还包括1个全连接层，位于批归一化层后，因此完成了一个包括13个卷积层、5个最大池化层、1个全局平均池化层、1个批归一化层和1个全连接层的卷积神经网络搭建，该卷积神经网络的结构可以参照图2、3所示。结合图2、3再对本发明的卷积神经网络模型做具体说明，首先是依次连接的两个卷积层，输出为224*224*64(指输出64个特征图像，大小为224*224，下文均如此解释)，然后依次连接一个最大池化层和两个卷积层，输出为112*112*128，然后依次连接一个最大池化层和三个卷积层，输出为56*56*256，然后依次连接一个最大池化层和三个卷积层，输出为28*28*512，然后依次连接一个一个最大池化层和三个卷积层，输出为14*14*512，然后连接一个最大池化层，输出为7*7*512，然后连接一个全局平均池化层，输出为1*1*512，然后连接1个批归一化层，再连接一个全连接层，最后通过softmax层输出，输出为1*1*4，即四个特征图像，大小为1*1，这也对应了步骤S1-1中将样本分为4种类别。

S3：训练卷积神经网络模型

初始化神经网络中各个层的参数，输入训练样本进行训练，并保存训练好的模型。训练神经网络的过程包括以下步骤：

S3-1：卷积基层的初始参数采用VGG16模型在ImageNet数据集上训练好的参数，上层参数初始化为零。

S3-2：将训练集输入改进的卷积神经网络，进行参数更新，保存训练好的卷积神经网络结构和参数。

采用BP算法训练改进的卷积神经网络模型，因为本发明主要针对的是苹果叶片的病虫害，可以将改进的卷积神经网络称为苹果叶片病害识别器，根据网络输出与样本标签的误差更新网络参数，每次采用最小批量法计算网络误差和更新权重，在训练时选用Adam优化算法，学习率设置为1e-5，每次迭代输入32个样本，当迭代次数达到60时终止网络的训练。

本发明基于卷积神经网络的苹果叶片病害识别器主要包含两部分，Conv_base和Top，如图2所示，第一部分Conv_base交替地包括卷积层和池化层，执行卷积、池化和非线性变换，是一个多阶段的特征提取器；第二部分Top是一个分类器，包含全局平均池化层，批归一化层和全连接层。基于卷积神经网络的苹果叶片病害识别能学习到好的特征表达，是因为特征提取是从低层到高层逐阶段地进行，第一部分Conv_base是低层特征的提取，第二部分Top是对低层特征进行组合形成高层特征

S4：对测试样本进行预测并输出

调用S3中保存好的模型，对测试样本进行预测，并计算识别准确率。

采用上述方法，对一组苹果叶片样本进行病害识别，并分别采用现有技术中比较通用的四种模型进行对样本进行病害识别，并对结果进行对比，具体为AlexNet、ResNet-34、GoogleNet和VGG16模型。

首先对包括本发明所采用的改进的卷积神经网络模型在内的5种模型进行训练，由图5、6可以看出，AlexNet、ResNet-34、GoogleNet和本发明的改进的卷积神经网络均在60个训练周期内达到收敛，而传统的VGG16模型收敛较慢且在同样的训练周期模型未达到稳定。其中GoogleNet和ResNet-34网络的训练过程较相近，均在20个训练时期后收敛，AlexNet网络在40个训练过程后趋于稳定。而本文提出的网络结构在10个训练时期内即达到收敛，模型稳定，比其他四个卷积神经网络收敛快，模型更稳定。其原因是在网络中添加了批归一化层，加快了收敛速度，同时使得模型更稳定。通过训练，得到5种模型对苹果叶片病害识别的性能，如表1所示。

表1基于5种模型的苹果叶片病害识别性能评估

由表1可知，相对与AlexNet、ResNet-34、GoogleNet和VGG16四种模型，本发明的模型准确率最高、训练参数最少，虽然训练时间是AlexNet模型差不多两倍，但准确率却比AlexNet模型高了6.19％，达到了99.01％，同时，训练参数的数量是AlexNet模型的1/4左右，因此本发明的模型具有更好的性能。相比与传统的VGG16模型，本发明的模型的准确率比传统的VGG16模型高了6.3％，训练时间减少了99％以上，训练参数减少了89％以上，因此相比于VGG16模型，各项性能都是更优的。通过对比，本发明中的网络模型能在较少的参数和较短的训练时间情况下，准确率最高，可达到99.01％。

表2本发明的改进的卷积神经网络应用于苹果叶片病害识别的混淆矩阵

采用训练好的模型进行苹果叶片的四种病害的识别检测，通过得出的混淆矩阵进行分析，如表2所示，其中雪花锈病具有较为明显的特征，识别准确率达到100％，灰斑病次之，为98.33％，黑星病的准确率最低，只达到96.07％。可见，采用本发明的改进的卷积神经网络对苹果叶病害进行识别具有较高的识别准确率，均在95％以上，从而表明，采用本发明的方法进行苹果叶片病害识别，准确率高、效率高。

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (7)

1.一种基于卷积神经网络的苹果叶片病害识别的方法，其特征在于，包括以下步骤：

S1：对样本进行预处理

将获取的样本进行分类，并裁剪为224*224，进行归一化处理；

S2：搭建卷积神经网络模型

基于VGG16卷积神经网络模型，搭建包含归一化层和全局平均池化层的改进的卷积神经网络模型；搭建卷积神经网络包含以下子步骤：

S2-1：基于VGG16卷积神经网络模型，搭建改进的卷积神经网络的卷积基层，所述卷积基层包括13个卷积层和5个最大池化层；

S2-2：添加全局平均池化层，全局平均池化层与卷积基层的最后一个卷积层连接；

S2-3：在全局平均池化层后添加批归一化层；形成的基于VGG16的卷积神经网络模型为：首先是依次连接的两个卷积层，输出为224*224*64，然后依次连接一个最大池化层和两个卷积层，输出为112*112*128，然后依次连接一个最大池化层和三个卷积层，输出为56*56*256，然后依次连接一个最大池化层和三个卷积层，输出为28*28*512，然后依次连接一个最大池化层和三个卷积层，输出为14*14*512，然后连接一个最大池化层，输出为7*7*512，然后连接一个全局平均池化层，输出为1*1*512，然后连接1个批归一化层，再连接一个全连接层，最后通过softmax层输出，输出为1*1*4，即四个特征图像，大小为1*1；

S2-4：使用Adam优化算法对模型进行求解；所述Adam优化算法的步骤如下：

(1)计算梯度的一阶矩估计和二阶矩估计，计算公式为：

m_t＝β₁*m_t-1+(1-β₁)*g_t，

式中，g_t为梯度，其中m_t为梯度的第一时刻平均值，v_t为梯度的第二时刻非中心方差值，β₁设为0.9，β₂设为0.9999；

(2)对一阶矩估计和二阶矩估计的校正，计算公式为：

(3)参数更新的最终公式为，计算公式为：

式中，θ_t为更新的参数，η为学习率，ε设为1e-8；

S3：训练卷积神经网络模型

初始化神经网络中各个层的参数，输入训练样本进行训练，并保存训练好的模型；

S4：对测试样本进行预测并输出

调用S3中保存好的模型，对测试样本进行预测，并计算识别准确率。

2.根据权利要求1所述的一种卷积神经网络的苹果病害识别方法，其特征在于，所述步骤S1包含以下子步骤：

S1-1：将获取的样本分为训练集和测试集，所述训练集和测试集均包含4种类别，并将训练集和测试集中的样本裁剪为224*224的图片；

S1-2：对样本进行归一化处理。

3.根据权利要求1所述的一种卷积神经网络的苹果病害识别方法，其特征在于，所述步骤S3训练卷积神经网络模型包含以下子步骤：

S3-1：卷积基层的初始参数采用VGG16模型在ImageNet数据集上训练好的参数，上层参数初始化为零；

S3-2：将训练集输入改进的卷积神经网络，进行参数更新，保存训练好的卷积神经网络结构和参数。

4.根据权利要求1所述的一种卷积神经网络的苹果病害识别方法，其特征在于，所述步骤S2-3的算法步骤如下：

输入：批处理输入x:β＝{x_1,...,m}，式中x为输入变量，m为最小批次大小，β为引入的可学习重构参数；

输出：归一化后的网络响应{y_i＝BN_γ,β(x_i)}，式中y为输出变量，γ为引入的可学习重构参数；

(1)计算批处理数据均值，计算公式为：

式中，μ_β为批处理数据的均值；

(2)计算批处理数据方差，计算公式为：

式中，

为批处理数据方差；

(3)归一化，计算公式为：

式中，ε为误差；

(4)尺度变换和偏移，计算公式为：

y_i＝γx_i+β＝BN_γ,β(x_i)

(5)返回学习参数。

5.根据权利要求1-4任一项所述的一种卷积神经网络的苹果病害识别方法，其特征在于，所述13个卷积层的卷积核大小为3×3，步长为2，所述最大池化层大小为2×2，步长为2。

6.根据权利要求3所述的一种卷积神经网络的苹果病害识别方法，其特征在于，所述步骤S3-2采用BP算法训练所述改进的卷积神经网络模型。

7.根据权利要求3所述的一种卷积神经网络的苹果病害识别方法，其特征在于，所述步骤S3-2中，更新网络参数时，采用最小批量法计算网络误差和更新权重。

Images