CN113112498A - 一种基于细粒度对抗生成网络的葡萄叶片病斑识别方法 - Google Patents

Abstract

本发明属于人工智能与植物保护领域，是人工智能与植物保护学科跨学科交叉应用，具体来说发明了一种基于细粒度对抗生成网络的葡萄叶片病斑识别方法，包括：数据获取与标注、显著性病斑区域检测与分割、细粒度对抗生成网络图像增强、深度学习分类模型进行训练，利用训练好的模型进行葡萄叶片病斑识别。该方法主要解决葡萄叶片病症表现为病斑形式，发病早期、新型病害、罕见病斑或训练样本数不足的情况下的叶片病斑识别率低下的问题，主要用于葡萄叶片病斑发病早期病斑识别，可以尽快的做出相应的干预措施，为下一步精准施药奠定基础，最大限度的减少经济损失，可以减少用药量，保护环境。本发明还可以扩展到其他植物叶片病害形式为病斑的情况。

Description

一种基于细粒度对抗生成网络的葡萄叶片病斑识别方法

技术领域

本发明涉及人工智能与植物保护相关领域，具体地，发明了一种基于细粒度对抗生成网络(Fine Grained-GAN)的葡萄叶片病斑识别方法。

背景技术

葡萄常见的病害主要有黑腐病(Black rot)、叶枯病(Leaf blight)、黑麻疹病(Black measles)等，从表现形式可以看出，这几种葡萄病害主要表现在叶片上由无数的病斑组成，及时发现葡萄病害的早期特征并进行相应的干预对控制葡萄病害蔓延具有重要的意义，以尽快的做出相应的干预措施，为下一步精准施药奠定基础，最大限度的减少经济损失，还可以减少用药量，保护环境。由于早期病害不容易察觉，尤其是对于罕见的病害，或者新型病害，这种情况最明显的特征就是训练数据不足，缺乏事先已训练好的识别模型可用。解决这一问题常用的方法是进行数据增强，将增强后的数据作为训练集进行训练，从而提升模型的特征表达能力和泛化能力。然而现有数据增强方法一般是针对整个输入图像进行操作，由于病害早期阶段病斑数量较少，直接对整张图像进行数据增强操作会弱化病斑得信息，而背景干扰信息进一步增加，不利于对葡萄叶片病斑进行识别。本发明提出了一种基于细粒度对抗生成网络的葡萄叶片病斑识别方法，该方法可以实现针对显著性病斑区域的局部图像数据增强，以突出病斑的特征，生成具有明显病斑特征的子图，再将子图输入深度学习模型进行训练，以增强模型的泛化能力，可以有效提高葡萄叶片病斑识别的准确率。该方法主要解决葡萄叶片病症表现为病斑形式，发病早期、新型叶斑类病害、罕见病斑且训练样本数不足的情况下的叶片病斑识别率低下的问题。

国内外研究现状分析

Bharate A.A等人(2016)利用计算机视觉的方法将葡萄叶片分为健康和不健康的两种，通过提取葡萄叶片的纹理、颜色等特征，并将提取的特征输入到K近邻和支持向量机中进行分类计算，实验表明两种算法识别的准确率分别为90％和96.6％。Zhu，JH.等人(2020)提出了一种基于图像分析和BP神经网络的葡萄叶片自动诊断方法，采用维纳滤波(wiener filtering)和Ostu(最佳阈值分割)方法对葡萄叶片进行诊断和病斑分割，并采用形态学方法对病斑形状进行改进，再利用Prewitt算子提取出病斑区域的完整边缘，最后获取病斑的形状复杂度、圆形度、周长、矩形度和面积五个特征，再将提取的特征输入到BP神经网络进行病害识别，具有较高的准确度。Jaisakthi S.M.等人(2019)提出了一种基于图像处理和机器学***，作者首先根据聚类分布对每个图像的斑块进行划分并计算其权重，然后引入弱监督训练，为每个贴片标签对的每个损失分配权重，最后从训练后的网络中提取贴片特征，并利用LSTM将加权后的特征序列编码为一个综合特征表示。实验结果表明，该方法取得了更好的性能。

在在国家知识产权局专利检索栏检索“葡萄叶片病斑识别”关键词，没有检索到有关葡萄叶片病斑识别相关的专利文献；检索“叶片病斑识别”关键词，共检索到2篇相关专利文献，分别如下：

专利文献CN109165623A(申请号：CN201811043736.1)公开了一种基于深度学习的水稻病斑检测方法及***，该专利通过采集数据并人工标注，输入Pytorch深度学习框架的Linknet模型进行训练，来提高水稻病害识别的准确率。该文献对病斑的发病早期情况以及训练样本有限的情况进行深度考虑，而这些问题正是本发明要解决的主要问题之一。

专利文献CN102214306B(申请号：CN201110162727.6)公开了一种叶片病斑识别方法及装置。该文献的主要方法是通过获取带有叶斑信息的图像，通过图像处理方法分析图像并简化背景，然后提取图像颜色通道特征并进行优化，随后利用利用K中心点算法对优化的特征空间聚类，剔除病斑以外的部分，实现最佳病斑识别。该专利文献对于病斑数量较少的情况有着不错的效果，但由于传统K中心点算法识别精确度相对于深度学习算法有明显的差距，并且需要较为复杂的图像预处理阶段，故在大面值识别领域相对于本发明提出的方法有较大的差距。

目前公开的方法存在的问题

以上公开的葡萄叶片病害识别方法在特定领域内都取得了不错的效果。但还存在一些问题，主要有以下几点：

(1)缺少葡萄叶片病斑检测所需的数据集。

(2)现有方法主要针对已经大规模发生过的常见的葡萄病害进行研究，很少有针对葡萄叶片早期病害或者新型/罕见病害识别相关的方法。

(3)在实际种植环境中如果出现较为罕见的病害或者新型病害，这种情况下采集数据非常麻烦，在没有足够的训练集的情况下，深度学习模型往往会出现过拟合的问题，从而无法保证较高的识别准确率。

本发明要解决的问题

本发明针对以上不足，主要做了以下改进：

(1)建立了一个葡萄叶斑病早期病害数据集，人工对收集到的叶片病斑进行标注，形成葡萄早期病害叶片病斑数据集。

(2)发明了一种基于改进型Faster R-CNN的叶片病斑局部区域分割方法，该方法可以自动识别并分割出叶片中最具有代表性的显著性病斑区域子图。

(3)发明了一种基于细粒度对抗生成网络的葡萄叶片病斑识别方法，该方法能在有限的训练样本下提高叶片病斑的识别率。

以下给出检索文献

[1]Bharate A.A.，Shirdhonkar M.S.Classification of Grape Leaves usingKNN and SVM Classifiers.2020 Fourth International Conference on ComputingMethodologies and Communication(ICCMC)，Erode，India.2020，pp.745-749，http：// doi.org/10.1109/ICCMC48092.2020.ICCMC-000139

[2]Zhu，JH.，Wu，A.，Wang，XS.，Zhang，H.Identification of grape diseasesusing image analysis and BP neural networks.Multimedia Tools andApplications.2020(79).21-22：14539-14551.http：//doi.org/10.1007/s11042-018-7092-0

[3]Jaisakthi S.M.，Mirunalini P.，Thenmozhi D.，Vatsala.Grape LeafDisease Identification using Machine Learning Techniques.2019 InternationalConference on Computational Intelligence in Data Science(ICCIDS)，Chennai，India，2019，pp.1-6，http：//doi.org/10.1109/ICCIDS.2019.8862084

[4]Xie，XY.，Ma，Y.，Liu，B.，He，JR.，Li，SQ.，Wang，HY.A Deep-Learning-BasedReal-Time Detector for Grape Leaf Diseases Using Improved ConvolutionalNeural Networks.Frontiers in Plant Science.2020，Vol(11).http：//doi.org/10.3389/fpls.2020.00751

[5]Liu，B.，Tan，C.，Li，SQ.，He，JR.，Wang，HY.A Data Augmentation MethodBased on Generative Adversarial Networks for Grape Leaf DiseaseIdentification.IEEE Access.2020.vol(8)：http：//doi.org/102188-102198.10.1109/ACCESS.2020.2998839

[6]Liu，XD.，Min，WQ.，Mei，SH.，Wang，LL.，Jiang，SQ.Plant DiseaseRecognition：A Large-Scale Benchmark Dataset and a Visual Region and LossReweighting Approach.IEEE Transactions on Image Processing.2021，Vol(30)：2003-2015.http：//doi.org/10.1109/TIP.2021.3049334

发明内容

本发明针对葡萄叶片发病早期病斑特征，提出了一种基于细粒度对抗生成网络的葡萄叶片病斑识别方法，该方法可以在有限训练样本的情况下，提升葡萄叶片病斑识别的准确率，特别是针对早期病斑或罕见病害具有较高的识别率。本发明所用的方法完整的数据流程请参考附图1，本发明算法表示如下：

主要内容可以分为两个阶段组成：

1、局部病斑区域检测与分割阶段。利用改进的Faster R-CNN目标检测算法，选择叶片中最具有代表性的显著性病斑区域并将其分割，以输入到Fine Grained-GAN网络进行数据增强，请参考附图2。相对传统的Faster R-CNN目标检测算法，主要有以下几点改进：

(1)传统的Faster R-CNN目标检测算法的检测框是大小不一的，可以根据检测的目标大小调整，而本发明每张叶片只输出最具代表性的病斑检测框，为方便深度学习模型计算，输出统一像素为64*64大小的显著性病斑检测框。

(2)显著性病斑区域检测框选择策略：同一叶片中选择最大的病斑作为显著性区域，若病斑区域大于检测框，则输出病斑最大的那个检测框；若病斑区域小于检测框，则输出包含病斑数最多的那个检测框。

(3)若检测框超出叶片边缘范围，则调整检测框位置，使检测框内只包含病斑和叶片信息。

2、基于局部区域的图像增强阶段。该方法将前面步骤生成的子图自动分割出前景病斑和背景图像，分别对前景出病斑和背景图像选择合适的生成器和判别器进行图像生成，再将生成后的病斑与背景图合成一副新的图像。请参考附图3，该方法的优势主要有以下几点：

(1)本发明更加关注病斑的信息，用两个生成器分别对病斑的形状和纹理进行图像生成，这样能够更加完整的保留原始病斑图像的特征。

(2)弱化背景干扰信息，本发明针对病斑背景信息，通过调节损失函数参数，弱化背景干扰信息，尽可能的弱化背景图像的干扰信息。

附图说明

图1细粒度对抗生成网络示意图

图2显著性病斑区域检测与分割阶段

图3图像生成阶段

图4本发明对比实验数据流程图

具体实施方式

为更好的理解本发明的目的、技术方案和优点更加清晰，下面对具体实施方式对本发明作进一步说明。本领域技术人员可由本说明书所揭示的内容轻易了解本发明的优点与功能，但不以任何形式限制本发明。应当指出的是，对本领域普通技术人员来说，在不脱离本发明的思想前提下，还可以做出若干变化和改进，这些都属于本发明的保护范围。下面结合附图，对本发明的具体实施方式作详细说明，在不冲突的情况下，下述实施方式可以扩展到所有植物叶片病斑识别使用。

根据本发明提出的一种基于细粒度对抗生成网络的葡萄叶片病斑识别方法，主要流程请参考图1，具体实施包括以下步骤。

步骤1：数据获取与标注工作。本具体实例主要用的数据部分来源于网络上公开的数据集，部分来源于人工采集的数据，其共同特征就是所有数据都是发病早期的葡萄叶片图像信息，以便使用本发明的方法进行识别，本实例一共采集到1500幅196*196像素的图像，共分为三种病害，每种500张。将采集到的图像利用Image label数据标注工具进行人工标记出所有的病斑，以供病斑检测算法使用。

步骤2：利用改进型Faster R-CNN目标检测算法进行叶片病斑显著性检测并分割出病斑区域子图。用过Faster R-CNN目标检测的专业技术人员都知道，Faster R-CNN目标检测算法可以通过标注好的图像数据进行训练，最后根据病斑大小生成适应病斑大小的检测框。本发明为了更加便捷的适应细粒度图像生成算法，对传统的Fast R-CNN目标检测算法做出如下改进：

(1)将Faster R-CNN检测框按照置信度降序排列，取前50％的检测框，设置一个64*64像素的待选框，若检测框大于待选框，则以该检测框中心点为中心取64*64像素作为显著性检测框；若所有置信度检测框均小于待选框，则取待选框内斑点密度最大的部分作为显著性检测框。

(2)如果显著性检测框超过了叶片边缘，则调整显著性检测框位置，使显著性检测框内只含有病斑叶片背景信息。

(3)著性病斑区域分割，根据步骤(2)生成的显著性检测框，分割出具有代表性的叶片病斑显著性子图，请参考附图2。

步骤3：细粒度对抗生成网络图像增强。本发明提出了一种基于细粒度对抗生成网络的葡萄叶片病斑识别方法，根据前面步骤分割出的显著性检测框子图，输入本发明提出的细粒度对抗生成网络进行图像增强操作，其目的就是为了扩充深度学习模型的训练集，提升模型的泛化能力，增加识别准确率，请参考附图3和附图1，主要操作步骤如下。

(1)输入分割后的显著性子图，利用mask算法分割出前景病斑区域和背景区域。利用对抗生成分别对前景和背景图像进行生成，可以表示为：

L＝αL_spot+βL_background

其中L表示生成的图像，L_spot表示生成的病斑图像，L_background表示生成的背景图像，α和β为权重常数。

(2)前景病斑生成阶段。前景病斑生成独立于背景，分别用两个生成器G_mask和G_spot。G_mask用来生成掩码图像，G_spot用来生成病斑的颜色和纹理等特征，最后生成病斑前景图像P，可以表示为：

P＝P_f，m+B_m

其中，P_f，m＝P_m·P_f标为掩码图像，B_m＝(1-P_m)表示掩码背景图像。一般而言，验证生成图像质量好坏程度需要用判别器来进行判别。与传统的对抗生成网络不同，本发明使用判别器更加关注于叶斑的特征如形状、颜色、纹理等，为了保证生成效果，本发明还加入了一个随机噪声z，病斑生成的图像可以表示为：

其中判别器D_spot用来控制生成的病斑图像不受背景噪声的影响。

(3)背景生成阶段。在背景生成阶段主要用到一个生成器G_b和两个判别器D_b和D_aux，其中G_b用于背景图像的生成，该阶段生成的图像主要有两部分组成：

L_background＝L_{bg_adv}+L_{bg_aux}

其中L_{bg_adv}是生成损失函数，L_{bg_aux}是辅助背景分类损失函数。L_{bg_adv}和L_{bg_aux}分别可以表示为：

通过设置L_{bg_adv}的参数，使背景生成的图像削弱表面的纹理差异，将生成的图像分成若干个小块，通过对比每个小块的差异性来判别生成图像的质量。L_{bg_aux}的目的是完成背景的生成，利用判别器D_aux对前景图像和背景图像进行区分，并训练生成器。

(4)将生成的背景图像和病斑图像合成为新的子图，本实例利用该步骤共生成1500幅图像，三个类别每类500幅。

步骤4：为了验证本发明的效果，将步骤2分割的子图划分为训练集、验证集和测试集三部分。请参考附图4，像将步骤2分割的子图划分完的训练集和验证集与生成的图像混在一起作为新的训练集和验证集输入深度学习分类器进行训练，为保证实验验证的严谨性，本发明还采用了当下流行的对抗生成网络作为比较，其中实验环境如下：

(1)首先比较细粒度对抗生成网络与传统的对抗生成网络的Fid值(frechetinception distance score)，Fid值得大小可以直观反映出生成图像与原始图像的相似度，计算公式如下：

其中μ_x，μ_g代表x和g的均值，M_x，M_x代表x和g的协方差矩阵，Tr代表矩阵的迹，Fid的值越小就代表生成的图像与原始图像的相似度越高。本发明的方法和常用的对抗生成网络的Fid值如下表所示：

由上表可以看出，相对于其他对抗生成网络，本发明的方法具有较大的优势。

(2)为验证本发明提出的方法在叶片病斑识别上的优势，本发明采取了几个经典的深度学习模型分别运算原始图像和上述几个对抗生成网络数据增强后的病斑识别准确度，为保证实验结果的严谨性，所有深度学习分类模型都采用相同的参数进行训练和测试，具体参数如下表所示：

具体来说，输入图像大小是经过归一化后统一尺寸的图像，本实例输入的图像主要分为两部分：一部分是步骤2分割出来的原始子图，另一部分是阁对抗生成网络生成的子图，请参考附图4；训练批次为模型每次可以处理的图像的数量；在优化层，利用adadelta优化函数来最小化损失函数，同时可以自适应的调整学习率，初始学习率设置为0.0001；在一个深度学习分类模型中，每层卷积后都采用ReLU激活函数，归一化后的张量采用LeakyReLU函数来解决，使用LeakyReLU的好处就是：在反向传播过程中，对于LeakyReLU激活函数输入小于零的部分，也可以计算得到梯度，从而解决了神经元“死亡”(dying ReLU problem)问题。损失函数是衡量网络计算输出和目标之间差距的重要函数，本发明采用交叉熵(Cross-entropy)损失函数用来处理多分类问题。

经过实验验证，结果如下：

由以上结果可以看出，本发明在葡萄叶片病斑识别准确度上有较为优越的表现。

以上对本发明的具体实施实例进行了表述，需要理解的是，本发明并不局限于上述特定的实施方式，本领域技术人员可以在权利要求范围内做出各种变化和修改，这并不影响本发明的实质内容。

Claims (5)

1.一种基于细粒度对抗生成网络的葡萄叶片病斑识别方法，其特征在于，包括以下步骤：

S1：数据获取与标注，葡萄叶片病斑的数据可以来源于网络上的葡萄发病早期叶片病斑图像，也可以人工拍照采集葡萄发病早期的叶片病斑图像，采集后的图像利用图像标注工具人工对病斑进行标注；

S2：利用经过改进的目标检测算法Faster R-CNN对葡萄叶片病斑显著性区域进行检测与分割；

S3：利用细粒度对抗生成网络对S2分割后的显著性子图进行图像增强；

S4：将原始图像和增强后的图像输入到深度学习分类模型进行训练，并保存训练好的模型；

S5：利用S4保存的训练好的模型进行葡萄叶片病斑识别。

2.根据权利要求1所述一种基于细粒度对抗生成网络的葡萄叶片病斑识别方法，其特征在于，细粒度对抗生成网络的输入图像像素为196*196的叶片图像，输出为64*64的含有叶片病斑信息的显著性子图。

3.根据权利要求1所述一种基于细粒度对抗生成网络的葡萄叶片病斑识别方法，其特征在于，使用经过改进的Faster R-CNN目标检测算法来生成并分割显著性区域，具体改进方法如下：

S1：将Faster R-CNN检测框按照置信度降序排列，取前50％的检测框，设置一个64*64像素的待选框，若检测框大于待选框，则以该检测框中心点为中心取64*64像素作为显著性检测框；若所有置信度检测框均小于待选框，则选取斑点数量最多的待选框作为显著性检测框；

S2：如果显著性检测框超过了叶片边缘，则调整显著性检测框位置，使显著性检测框内只含有病斑和叶片背景信息；

S3：著性病斑区域分割，根据步骤S2生成的显著性检测框，分割出具有代表性的叶片病斑显著性子图。

4.根据权利要求1所述一种基于细粒度对抗生成网络的葡萄叶片病斑识别方法，其特征在于，细粒度对抗生成网络图像生成部分主要分为以下两个阶段：

S1：前景病斑生成阶段，前景病斑生成主要用到两个生成器，一个用于掩码生成，另一个用于病斑生成；

S2：背景生成阶段，背景生成阶段主要用到一个生成器和两个判别器，其功能一个是用于验证背景生成效果，一个用是辅助背景分类损失函数，该阶段通过调整损失函数，尽量弱化同一类别病斑背景的差异，尽量突出病斑的特征，最后将两个阶段生成的图像合成，形成生成的图像。

5.根据权利要求1所述一种基于细粒度对抗生成网络的葡萄叶片病斑识别方法，其特征在于，该方法适用于其他植物叶片病症表现为病斑形式，发病早期、新型病害、罕见病斑且训练样本数不足的情况下具有较高的识别准确率。

Images