CN111860330A - 基于多特征融合和卷积神经网络的苹果叶部病害识别方法 - Google Patents

基于多特征融合和卷积神经网络的苹果叶部病害识别方法 Download PDF

Info

Publication number
CN111860330A
CN111860330A CN202010705693.XA CN202010705693A CN111860330A CN 111860330 A CN111860330 A CN 111860330A CN 202010705693 A CN202010705693 A CN 202010705693A CN 111860330 A CN111860330 A CN 111860330A
Authority
CN
China
Prior art keywords
image
neural network
convolutional neural
layer
apple leaf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010705693.XA
Other languages
English (en)
Other versions
CN111860330B (zh
Inventor
李丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Polytechnic Institute
Original Assignee
Shaanxi Polytechnic Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Polytechnic Institute filed Critical Shaanxi Polytechnic Institute
Priority to CN202010705693.XA priority Critical patent/CN111860330B/zh
Publication of CN111860330A publication Critical patent/CN111860330A/zh
Application granted granted Critical
Publication of CN111860330B publication Critical patent/CN111860330B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多特征融合和卷积神经网络的苹果叶部病害识别方法，首先利用多特征融合方法对原始图像进行降噪和分割；然后将分割后的图像作为卷积神经网络的原始数据集，并通过数据扩充的方式对原始数据集进行扩充，最后利用扩充后的数据集对网络模型进行训练，并使用梯度下降法优化模型权重参数。采用本发明中的方法对苹果叶部病害进行识别时，无需进行手工标注，能够在复杂背景下对苹果叶部病虫害图像进行准确识别，准确率达到97.05％，识别时间为2.7s，有效解决苹果叶部病害的自动识别问题。

Description

基于多特征融合和卷积神经网络的苹果叶部病害识别方法
技术领域
本发明涉及苹果叶部病害识别方法领域，尤其涉及基于多特征融合和卷积神经网络的苹果叶部病害识别方法。
背景技术
病害是影响苹果生长的重要因素之一，少数果树上发生病害可能会传染整个果园，严重影响苹果的产量与质量。苹果叶部是病害的高发部位，对叶部病害的识别是果树栽培过程中的关键技术。精准识别苹果叶部病害，对果树生长过程中病害防治具有指导意义。
传统的苹果叶部病害识别主要依靠人工，这种方式费时费力且具有较大主观性，不适用于现代化农业的管理。随着计算机视觉和模式识别技术的发展，研究人员利用机器视觉的方法在病害识别上做出了许多研究。如马浚诚等利用马尔科夫条件随机场与基于径向基函数的SVM分类器结合实现对黄瓜病虫害的识别。张建华等以棉花病害作为研究对象，首先提取图像的颜色特征和纹理特征，然后结合粗糙集和神经网络在三种不同的棉花病害上得到较好的识别效果。秦立峰等利用主成分分析将病害高维特征降到多个不同低维子空间，在子空间上训练BP神经网络，完成对五种不同黄瓜病害的识别任务。田凯等在茄子褐纹病的识别中通过提取病斑的颜色、纹理和形状特征参数，最后使用Fisher判别函数对病害进行识别，识别准确率达95％以上。王献峰等利用统计学和图像处理结合的方式，首先使用属性约简法提取叶片的五个不同生长环境特征，然后利用图像处理方法提取病斑35个统计特征向量，最后运用最大隶属度准则识别病斑类别，在三种不同黄瓜的病害识别中识别率达90％以上。王见等基于颜色矩和灰度共生矩阵提取特征图像的颜色特征和纹理特征，利用遗传算法优化的BP神经网络构造分类器，在茶树病斑的识别中准确率达94.17％。牛冲等提取直方图的8个特征，然后进行特征归一化，通过训练SVM分类器，在草莓病虫害上进行识别，得到了较高的识别准确率。以上方法都是基于传统的机器视觉技术，尽管具有较高的识别准确率，但识别方法较为繁琐，而且模型的泛化能力较差不具有普适性。
目前，卷积神经网络在语义分割和目标识别等领域得到了广泛应用，许多研究人员将深度卷积神经网络运用到植物病虫害识别上也取得了一定效果。杨晋丹等提出了一种基于混合池化的卷积神经网络，将原始CNN的最大池化层更换为混合池化层，在草莓叶部白粉病病害识别中取得了良好效果。梁万杰等利用CNN实现了水稻虫害的识别，该模型在复杂背景下能够准确的区分识别对象的目标与背景，在对5种不同的水稻虫害的识别实验中，平均识别率达到96.78％以上。马浚诚等提出了一种基于CNN的温室黄瓜病害识别***，首先对采集的数据使用复合颜色特征进行特征提取，然后将提取后的图像送入卷积神经网络进行训练，该***在黄瓜病害的识别中准确率达到97.29％。傅隆生等在田间多簇猕猴桃图像的识别过程中，提了一种基于VGG-16卷积神经网络的多簇猕猴桃图像识别方法，在复杂背景下对猕猴桃进行识别试验中，识别精度达到94.78％。孙俊等在识别小麦幼苗与杂草的过程中，使用了一种空洞卷积结合全局池化的卷积神经网络，该网络模型仅经过4次迭代，就可以达到90％以上的识别准确率，大大减少了网络模型的训练时间。以上研究虽在病虫害的识别中具有较高的识别准确率，但在模型数据集的构建过程中需要花费大量的时间对数据集进行人工标注。
发明内容
针对上述存在的问题，本发明旨在提供一种无需进行手工标注，识别准确率高，识别时间短的基于多特征融合和卷积神经网络的苹果叶部病害识别方法。
为了实现上述目的，本发明所采用的技术方案如下：
基于多特征融合和卷积神经网络的苹果叶部病害识别方法，其特征在于：包括以下步骤：
S1：利用多特征融合的方法对苹果叶部图像进行分割预处理；
S2：利用分割预处理后的苹果叶部图像数据构建苹果叶部病害识别卷积神经网络模型；
S3：对卷积神经网络模型进行网络模型训练；
S4：根据卷积神经网络模型的最终输出结果，识别苹果叶部的病害类别。
进一步的，步骤S1中所述图像分割预处理具体步骤包括：
S11：获取原始图像的RGB特征，运用超绿特征计算公式提取超绿特征；所述超绿特征计算公式为IExB＝2IG-IB-IR，式中IG，IB，IR为RGB颜色空间中3个颜色分量；
S12：将原始图像从RGB颜色空间分别转换到HSV颜色空间和CIELAB颜色空间，分别提取转换后图像的H分量颜色特征和L分量颜色特征；
S13：使用高斯差分滤波和圆形均值滤波分别对超绿、H分量和L分量三个颜色分量进行二维卷积操作，将经过滤波后的颜色特征组合成融合特征，融合计算公式为MMF＝(Gf*IH)+(Af*IL)+IExB，式中，Gf为高斯滤波，Af为均值滤波，MMF为融合后的特征；
S14：对融合后的特征图像使用最大类间方差法进行图像分割，并通过形态学处理对分割结果进行优化，使用原图像与优化后的图像进行掩膜操作得到最终分割结果。
进一步的，步骤S14的具体操作步骤包括，
S141：将步骤S13中经过多特征融合的苹果叶部图像统一缩放为125×125×3的三通道RGB彩色图像；
S142：将三通道RGB彩色图像等分为左上、右上、左下、右下四个区域，并在输入图像中裁剪一个中心区域，其中，中心区域与三通道RGB彩色图像同中心，并在水平、垂直方向上各截取1/2的区域，共得到5幅大小为原图的1/4的子图像；
S143：利用双线性插值法对5个子图像进行插值，等比例放大4倍；
S144：将分割后的灰度图像转换为彩色图像，也即进行掩膜操作。
进一步的，步骤S2中所述的苹果叶部病害识别卷积神经网络模型包括13个卷积层、4个池化层和1个全局池化层。
进一步的，步骤S3中对卷积神经网络模型进行网络模型训练的具体操作包括：
S31：将步骤S1中分割好的图像与不同卷积层的卷积核进行运算，得到输入图像的不同特征，将获取的特征经过激活函数激活得到输出特征图；所述特征图的计算公式为xl＝f(Wlxl-1+bl)，式中，xl-1为第l-1个隐层的输出，xl为第l个隐层中卷积层的输出，x0为输入层的输入图像，Wl为第l个隐层的权值特征矩阵，bl为第l个隐层的偏置，激活函数f(x)＝max(0，x)；
S32：将卷积层输出的特征图经过池化层操作减少特征图的维数，所述池化操作选用最大池化的方法，计算公式为
Figure BDA0002594670250000051
式中，l为层数，down为降采样操作，w为池化操作，bs为附加偏置；
S33：全局池化层对特征图的特征进行加权求和，整合卷积层与池化层中具有类别区分性的局部信息；
S34：将每层获得的特征图合并后传递给损失层，利用非极大抑制对所有层的检测结果进行融合；损失层的参数通过损失函数计算，所述损失函数的计算公式为
Figure BDA0002594670250000052
式中，Lloc为置信损失，Lconf为置信度损失，z为默认类别与不同类别的匹配结果，c为预测目标的置信度，l为预测物体框的位置信息，g为真实框的位置信息，α为置信损失和位置损失的权衡参数；
S35：使用梯度下降法优化网络模型权重参数，重复步骤S31-S35，直至得到网络权重最佳值。
进一步的，步骤S36中使用梯度下降法优化卷积层权重参数的具体操作步骤包括，
S361：随机初始化网络模型的权重参数；
S362：计算模型计算的输出值与真实值之间的误差；
S363：对每个产生误差的神经元进行权重调整，减少误差值；
S364：重复迭代，直至得到网络权重最佳值。
进一步的，步骤S4中根据卷积神经网络模型的最终输出结果，识别苹果叶部的病害类别的具体操作包括：对全局池化层操作处理后的特征图使用Softmax分类器对图像进行识别分类，识别计算公式为
Figure BDA0002594670250000061
式中，wi为全连接层中多个神经元与Softmax分类器的i个输出神经元相连接的权重。
本发明的有益效果是：
1、使用多特征融合的方式在训练集上进行病害图像分割，无需进行手工标注。对输入图像进行等分后，提取图像的每一个子区域特征，充分提取特病斑的细节特征。将全连接层改为卷积层，增加了网络深度，提高了网络模型的识别率。
2、能够在复杂背景下对苹果叶部病虫害图像进行准确识别，网络模型结构简单同时具有较强的可移植性，对农业智能化设备的发展提供理论依据。
3、相比于传统的识别算法，本方法在识别率和识别时间上都具有良好表现，如果想进一步提高识别精度，可以适当扩充训练集或者增加网络深度。
附图说明
图1为本发明实施例中苹果叶部锈病图像；
图2为本发明实施例中苹果叶部黑星病图像；
图3为本发明实施例中苹果叶部落叶病图像；
图4为本发明实施例中苹果叶部病毒病图像；
图5为本发明实施例中苹果叶部银叶病图像；
图6为本发明实施例中苹果叶部白粉病图像；
图7为本发明苹果叶部病害图像识别的网络模型架构图；
图8为本发明苹果叶部病害区域检测模块流程图；
具体实施方式
为了使本领域的普通技术人员能更好的理解本发明的技术方案，下面结合附图和实施例对本发明的技术方案做进一步的描述。
实施例：
在陕西省宝鸡市农科院果树试验基地，使用有效像素值2200万的佳能数码相机采集苹果叶片图像。采集时间设为09:00点到16:00点，包含不同的光照条件。采集图像中包括苹果叶部锈病、黑星病、落叶病、病毒病、银叶病和白粉病等常见的6种苹果病害，共采集图像1200幅，部分图像如附图1-附图6所示。
利用Python3.5对叶片图像进行裁剪，将尺寸统一调整为125×125大小，统一存储格式进行保存。为增强网络学***移、缩放和颜色抖动等方式扩充10倍，将扩充后的图像数据集按照3:1:1的方式划分训练集、验证集和测试集。
具体的，采集的原始数据量包含865幅苹果病害叶片，将其进行扩充10倍，扩充后的数据包括8650幅苹果病害叶片，按照3:1:1的比例将其划分为训练集、验证集和测试集，其中训练集包含5190幅图像，验证集包含1730幅图像，测试集包含1730幅图像。
进一步的，基于多特征融合和卷积神经网络的苹果叶部病害识别方法，具体包括以下步骤：
S1：利用多特征融合的方法对苹果叶部图像进行分割预处理；
苹果叶部病害具有不同的种类，其种类间的病斑特征也具有较大差异。在对病害的识别过程中，关键部分在于对不同病害图像的特征提取。由于图像采集的过程中处于自然场景和复杂背景条件下，采集的图像中含有大量噪声。如果不经过预处理，将降低病虫害的识别准确率。通常情况下病斑区域在整个叶面积中所占比例较小，如果使用人工标注数据集，将造成标注不准确或者标注区域错误等情况。因此本发明提出了一种多特征融合的方法来对图像进行预处理，实现病斑分割。
具体的，多特征融合法对图像进行预处理的操作步骤为：
S11：获取原始图像的RGB特征，运用超绿特征计算公式提取超绿特征；所述超绿特征计算公式为IExB＝2IG-IB-IR，式中IG，IB，IR为RGB颜色空间中3个颜色分量；
S12：将原始图像从RGB颜色空间分别转换到HSV颜色空间和CIELAB颜色空间，分别提取转换后图像的H分量颜色特征和L分量颜色特征；
S13：使用高斯差分滤波和圆形均值滤波分别对超绿、H分量和L分量三个颜色分量进行二维卷积操作，将经过滤波后的颜色特征组合成融合特征，融合计算公式为MMF＝(Gf*IH)+(Af*IL)+IExB，式中，Gf为高斯滤波，Af为均值滤波，MMF为融合后的特征；
S14：对融合后的特征使用最大类间方差法进行图像分割，并通过形态学处理对分割结果进行优化，使用原图像与优化后的图像进行掩膜操作得到最终分割结果。
叶片病害图像特征复杂，且病斑区域在整体叶面积中所占比例较小，导致许多小区域病斑不易被识别。为提高网络模型的识别准确率，首先将经多特征融合的病虫害叶片图像划分为尺寸相同的4个子图，同时裁剪一个中心区域子图，增强对小病斑的检测能力。
具体的，为了增强对病斑图像的细节检测能力，将多特征融合后的图像统一缩放为125×125×3的三通道RGB彩色图像，然后将该图像等分为左上、右上、左下、右下四个区域，并在输入图像中裁剪一个中心区域。其中，中心区域为与输入大小图像同中心，并在水平、垂直方向上各截取1/2的区域。共得到5幅大小为原图的1/4的子图像，然后利用双线性插值法对5个子图像进行插值，具体方法如附图8所示。在检测时，将其采用插值算法等比例放大4倍，使得在送入网络模型时检测物体不发生形变。
由于融合特征的分割结果为灰度图像，使用原图像与优化后的图像进行掩膜操作得到最终分割结果，掩模操作是将灰度图像转换为彩色图像，最终的分割结果具体描述为苹果病害区域为彩色，其余区域为黑色。
进一步的，步骤S2为：利用分割预处理后的苹果叶部图像数据构建苹果叶部病害识别卷积神经网络模型；
传统的卷积神经网络主要包括卷积层、激活层、池化层和全连接层。由于VGG-16网络模型具有较深的网络结构以及较好的数据处理能力，而且在图像识别上具有较高的识别率，因此本发明在传统VGG-16网络结构的基础上构建适用于苹果叶部病害图像识别的模型架构，具体结构如附图7所示。
苹果叶部病害识别网络模型主要包括13个卷积层(Conv1～Conv13)、4个池化层以及1个全局池化层组成。将所有卷积核设置为3×3大小，卷积层的滑动步长设置为1；为保持与输入图像的维数一致，通过边界扩充的方式将pad参数设置为1对卷积层边缘进行补全。池化(Pooling1～Pooling4)大小设置为3×3，并采用最大池化的操作方式，将池化窗口设置为2×2，滑动步长设置为2；由于只是针对6种不同的苹果叶片病害进行识别，所以将Softmax分类数设置为6。
S3：对卷积神经网络模型进行网络模型训练；
将经过预处理后的图像送入卷积神经网络经过卷积层、池化层和全局池化层进行多层级的特征提取，然后在特征图中的各个位置上选取不同大小、不同长宽比的候选区域。
具体的，利用分割预处理后的苹果叶部图像数据构建苹果叶部病害识别卷积神经网络模型的操作步骤包括：
S31：将步骤S1中分割好的图像与不同卷积层的卷积核进行运算，得到输入图像的不同特征，将获取的特征经过激活函数得到输出特征图；所述特征图的计算公式为xl＝f(Wlxl-1+bl)，式中，xl-1为l-1个隐层的输出，xl为第l个隐层中卷积层的输出，x0为输入层的输入图像，Wl为第l个隐层的权值特征矩阵，bl为第l个隐层的偏置，激活函数f(x)＝max(0，x)；
S32：将卷积层输出的特征图经过池化层操作减少特征图的维数，所述池化操作选用最大池化的方法，计算公式为
Figure BDA0002594670250000111
式中，l为层数，down为降采样操作，w为池化操作，bs为附加偏置；
S33：全局池化层对特征图的特征进行加权求和，整合卷积层与池化层中具有类别区分性的局部信息；
S34：将每层获得的特征图合并后传递给损失层，利用非极大抑制对所有层的检测结果进行融合；损失层的参数通过损失函数计算，损失函数由分类和回归两个部分组成，所述损失函数的计算公式为
Figure BDA0002594670250000121
式中，Lloc为置信损失，Lconf为置信度损失，z为默认类别与不同类别的匹配结果，c为预测目标的置信度，l为预测物体框的位置信息，g为真实框的位置信息，α为置信损失和位置损失的权衡参数；
S35：使用梯度下降法优化网络模型权重参数，重复步骤S31-S35，直至得到网络权重最佳值。
试验软件环境为Ubuntu 16.04 LTS，使用Matlab作为编程开发语言，硬件环境为Intel(R)coreTM i7-7550k [email protected]处理器，RAM为32GB，GPU为GTX1080Ti的PC机上进行试验。所使用的深度学习开发框架为Matconvent。
在模型训练的过程中采用带动量因子(momentum)的小批量梯度下降算法(Stochastic gradient descent,SGD)，卷积层的激活函数均采用ReLu。考虑到计算机硬件的需求，将训练集图像分为不同批次大小(batch size)输入到网络模型中；具体的梯度下降算法的步骤如下，
S361：随机初始化网络模型的权重参数；
S362：计算模型计算的输出值与真实值之间的误差；
S363：对每个产生误差的神经元进行权重调整，减少误差值；
S364：重复迭代，直至得到网络权重最佳值。
在本研究中将Batch size分别设置为64、128和256，动量因子设为0.9，迭代次数(epoch)设为100。在网络初始训练过程中，利用均值为0，方差为0.01的高斯分布随机初始化网络权重，初始学习率设为0.01，正则化系数设为0.005。
进一步的，步骤S4中根据卷积神经网络模型的最终输出结果，识别苹果叶部的病害类别的具体操作包括：对全局池化层操作处理后的特征图使用Softmax分类器对图像进行识别分类，识别计算公式为
Figure BDA0002594670250000131
式中，wi为全连接层中多个神经元与Softmax分类器的i个输出神经元相连接的权重。
为了验证本发明中的苹果叶部病害识别方法对苹果叶部病害的识别时间和识别率，使用5种不同方法在6种不同的苹果叶部病害上与本发明中的方法在识别率、模型训练时间和识别时间上分别进行比较。5种不同方法分别为基于叶部特征的病害识别方法(LNNF)、基于SVM的病害识别方法、基于词袋特征的病害识别(PCAA)和基于粗糙集和BP神经网络的病害识别方法(CLBP)。不同方法结果如表1所示。
表1 5种不同苹果叶部病害识别方法的识别率以及训练时间和识别时间
Figure BDA0002594670250000141
从表1中可以看出，本发明中的苹果叶部病害识别方法在识别率和识别时间上都具有较好的表现，虽然训练时间较长，但是在不同的病虫害类型识别中表现出较好的鲁棒性和稳定性。网络模型一经训练好后，就可以对不同病害进行识别，且识别时间较短。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.基于多特征融合和卷积神经网络的苹果叶部病害识别方法，其特征在于：包括以下步骤：
S1：利用多特征融合的方法对苹果叶部图像进行分割预处理；
S2：利用分割预处理后的苹果叶部图像数据构建苹果叶部病害识别卷积神经网络模型；
S3：对卷积神经网络模型进行网络模型训练；
S4：根据卷积神经网络模型的最终输出结果，识别苹果叶部的病害类别。
2.根据权利要求1所述的基于多特征融合和卷积神经网络的苹果叶部病害识别方法，其特征在于，步骤S1中所述图像分割预处理具体步骤包括：
S11：获取原始图像的RGB特征，运用超绿特征计算公式提取超绿特征；所述超绿特征计算公式为IExB＝2IG-IB-IR，式中IG，IB，IR为RGB颜色空间中3个颜色分量；
S12：将原始图像从RGB颜色空间分别转换到HSV颜色空间和CIELAB颜色空间，分别提取转换后图像的H分量颜色特征和L分量颜色特征；
S13：使用高斯差分滤波和圆形均值滤波分别对超绿、H分量和L分量三个颜色分量进行二维卷积操作，将经过滤波后的颜色特征组合成融合特征，融合计算公式为MMF＝(Gf*IH)+(Af*IL)+IExB，式中，Gf为高斯滤波，Af为均值滤波，MMF为融合后的特征；
S14：对融合后的特征图像使用最大类间方差法进行图像分割，并通过形态学处理对分割结果进行优化，使用原图像与优化后的图像进行掩膜操作得到最终分割结果。
3.根据权利要求1所述的基于多特征融合和卷积神经网络的苹果叶部病害识别方法，其特征在于，步骤S14的具体操作步骤包括，
S141：将步骤S13中经过多特征融合的苹果叶部图像统一缩放为125×125×3的三通道RGB彩色图像；
S142：将三通道RGB彩色图像等分为左上、右上、左下、右下四个区域，并在输入图像中裁剪一个中心区域，其中，中心区域与三通道RGB彩色图像同中心，并在水平、垂直方向上各截取1/2的区域，共得到5幅大小为原图的1/4的子图像；
S143：利用双线性插值法对5个子图像进行插值，等比例放大4倍；
S144：将分割后的灰度图像转换为彩色图像，也即进行掩膜操作。
4.根据权利要求1所述的基于多特征融合和卷积神经网络的苹果叶部病害识别方法，其特征在于，步骤S2中所述的苹果叶部病害识别卷积神经网络模型包括13个卷积层、4个池化层和1个全局池化层。
5.根据权利要求4所述的基于多特征融合和卷积神经网络的苹果叶部病害识别方法，其特征在于，步骤S3中对卷积神经网络模型进行网络模型训练的具体操作包括：
S31：将步骤S1中分割好的图像与不同卷积层的卷积核进行运算，得到输入图像的不同特征，将获取的特征经过激活函数激活得到输出特征图；所述特征图的计算公式为xl＝f(Wlxl-1+bl)，式中，xl-1为第1-1个隐层的输出，xl为第1个隐层中卷积层的输出，x0为输入层的输入图像，Wl为第1个隐层的权值特征矩阵，bl为第1个隐层的偏置，激活函数f(x)＝max(0，x)；
S32：将卷积层输出的特征图经过池化层操作减少特征图的维数，所述池化操作选用最大池化的方法，计算公式为
Figure FDA0002594670240000031
式中，1为层数，down为降采样操作，w为池化操作，bs为附加偏置；
S33：全局池化层对特征图的特征进行加权求和，整合卷积层与池化层中具有类别区分性的局部信息；
S34：将每层获得的特征图合并后传递给损失层，利用非极大抑制对所有层的检测结果进行融合；损失层的参数通过损失函数计算，所述损失函数的计算公式为
Figure FDA0002594670240000032
式中，Lloc为置信损失，Lconf为置信度损失，z为默认类别与不同类别的匹配结果，c为预测目标的置信度，l为预测物体框的位置信息，g为真实框的位置信息，α为置信损失和位置损失的权衡参数；
S35：使用梯度下降法优化网络模型权重参数，重复步骤S31-S35，直至得到网络权重最佳值。
6.根据权利要求5所述的基于多特征融合和卷积神经网络的苹果叶部病害识别方法，其特征在于，步骤S36中使用梯度下降法优化卷积层权重参数的具体操作步骤包括，
S361：随机初始化网络模型的权重参数；
S362：计算模型计算的输出值与真实值之间的误差；
S363：对每个产生误差的神经元进行权重调整，减少误差值；
S364：重复迭代，直至得到网络权重最佳值。
7.根据权利要求6所述的基于多特征融合和卷积神经网络的苹果叶部病害识别方法，其特征在于：步骤S4中根据卷积神经网络模型的最终输出结果，识别苹果叶部的病害类别的具体操作包括：对全局池化层操作处理后的特征图使用Softmax分类器对图像进行识别分类，识别计算公式为
Figure FDA0002594670240000041
式中，wi为全连接层中多个神经元与Softmax分类器的i个输出神经元相连接的权重。
CN202010705693.XA 2020-07-21 2020-07-21 基于多特征融合和卷积神经网络的苹果叶部病害识别方法 Active CN111860330B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010705693.XA CN111860330B (zh) 2020-07-21 2020-07-21 基于多特征融合和卷积神经网络的苹果叶部病害识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010705693.XA CN111860330B (zh) 2020-07-21 2020-07-21 基于多特征融合和卷积神经网络的苹果叶部病害识别方法

Publications (2)

Publication Number Publication Date
CN111860330A true CN111860330A (zh) 2020-10-30
CN111860330B CN111860330B (zh) 2023-08-11

Family

ID=73001339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010705693.XA Active CN111860330B (zh) 2020-07-21 2020-07-21 基于多特征融合和卷积神经网络的苹果叶部病害识别方法

Country Status (1)

Country Link
CN (1) CN111860330B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580720A (zh) * 2020-12-18 2021-03-30 华为技术有限公司 一种模型训练方法及装置
CN112766364A (zh) * 2021-01-18 2021-05-07 南京信息工程大学 一种改进vgg19的番茄叶片病害分类方法
CN112884025A (zh) * 2021-02-01 2021-06-01 安徽大学 一种基于多特征分段式训练的茶叶病害分类***
CN113627258A (zh) * 2021-07-12 2021-11-09 河南理工大学 一种苹果叶部病理检测方法
CN113989639A (zh) * 2021-10-20 2022-01-28 华南农业大学 基于高光谱图像分析处理方法的荔枝病害自动识别方法及装置
CN113989509A (zh) * 2021-12-27 2022-01-28 衡水学院 基于图像识别的农作物虫害检测方法、检测***及设备
CN114332087A (zh) * 2022-03-15 2022-04-12 杭州电子科技大学 Octa图像的三维皮层表面分割方法及***
CN114494828A (zh) * 2022-01-14 2022-05-13 中国农业大学 葡萄病害识别方法、装置、电子设备及存储介质
CN114842240A (zh) * 2022-04-06 2022-08-02 盐城工学院 融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法
CN115631417A (zh) * 2022-11-11 2023-01-20 生态环境部南京环境科学研究所 一种基于卷积神经网络的蝴蝶图像识别方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004007165A (ja) * 2002-05-31 2004-01-08 Nikon Corp 画像処理方法、画像処理プログラム、画像処理装置
US6915432B1 (en) * 1999-01-29 2005-07-05 International Business Machines Corporation Composing a realigned image
CN104061907A (zh) * 2014-07-16 2014-09-24 中南大学 基于步态三维轮廓匹配合成的视角大幅可变步态识别方法
CN105701513A (zh) * 2016-01-14 2016-06-22 深圳市未来媒体技术研究院 快速提取掌纹感兴趣区域的方法
CN108510504A (zh) * 2018-03-22 2018-09-07 北京航空航天大学 图像分割方法和装置
US20190065817A1 (en) * 2017-08-29 2019-02-28 Konica Minolta Laboratory U.S.A., Inc. Method and system for detection and classification of cells using convolutional neural networks
CN109712165A (zh) * 2018-12-29 2019-05-03 安徽大学 一种基于卷积神经网络的同类前景图像集分割方法
CN109961042A (zh) * 2019-03-22 2019-07-02 中国人民解放军国防科技大学 结合深度卷积神经网络和视觉变化图的烟雾检测方法
CN110008912A (zh) * 2019-04-10 2019-07-12 东北大学 一种基于植物识别的社交平台匹配方法和***
US20190295269A1 (en) * 2018-03-22 2019-09-26 Microsoft Technology Licensing, Llc Replicated dot maps for simplified depth computation using machine learning
CN110555383A (zh) * 2019-07-31 2019-12-10 中国地质大学（武汉） 一种基于卷积神经网络和3d估计的手势识别方法
CN110633720A (zh) * 2018-06-22 2019-12-31 西北农林科技大学 一种玉米病害识别方法
CN111178177A (zh) * 2019-12-16 2020-05-19 西京学院 一种基于卷积神经网络的黄瓜病害识别方法
CN111415302A (zh) * 2020-03-25 2020-07-14 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6915432B1 (en) * 1999-01-29 2005-07-05 International Business Machines Corporation Composing a realigned image
JP2004007165A (ja) * 2002-05-31 2004-01-08 Nikon Corp 画像処理方法、画像処理プログラム、画像処理装置
CN104061907A (zh) * 2014-07-16 2014-09-24 中南大学 基于步态三维轮廓匹配合成的视角大幅可变步态识别方法
CN105701513A (zh) * 2016-01-14 2016-06-22 深圳市未来媒体技术研究院 快速提取掌纹感兴趣区域的方法
US20190065817A1 (en) * 2017-08-29 2019-02-28 Konica Minolta Laboratory U.S.A., Inc. Method and system for detection and classification of cells using convolutional neural networks
US20190295269A1 (en) * 2018-03-22 2019-09-26 Microsoft Technology Licensing, Llc Replicated dot maps for simplified depth computation using machine learning
CN108510504A (zh) * 2018-03-22 2018-09-07 北京航空航天大学 图像分割方法和装置
CN110633720A (zh) * 2018-06-22 2019-12-31 西北农林科技大学 一种玉米病害识别方法
CN109712165A (zh) * 2018-12-29 2019-05-03 安徽大学 一种基于卷积神经网络的同类前景图像集分割方法
CN109961042A (zh) * 2019-03-22 2019-07-02 中国人民解放军国防科技大学 结合深度卷积神经网络和视觉变化图的烟雾检测方法
CN110008912A (zh) * 2019-04-10 2019-07-12 东北大学 一种基于植物识别的社交平台匹配方法和***
CN110555383A (zh) * 2019-07-31 2019-12-10 中国地质大学（武汉） 一种基于卷积神经网络和3d估计的手势识别方法
CN111178177A (zh) * 2019-12-16 2020-05-19 西京学院 一种基于卷积神经网络的黄瓜病害识别方法
CN111415302A (zh) * 2020-03-25 2020-07-14 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
唐朝霞;张粤;: "基于遗传算法的玉米病害图像特征优化与识别", 安徽农业大学学报, no. 02, pages 174 - 179 *
李丹;: "基于迁移学习和改进残差神经网络的黄瓜叶部病害识别方法", 农业工程, no. 06, pages 46 - 50 *
许庆勇;江顺亮;徐少平;葛芸;唐玲;: "基于三通道卷积神经网络的纹身图像检测算法", 计算机应用, no. 09, pages 279 - 285 *
黄小玉;李光林;马驰;杨士航;: "基于改进判别区域特征融合算法的近色背景绿色桃子识别", 农业工程学报, no. 23, pages 150 - 156 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580720A (zh) * 2020-12-18 2021-03-30 华为技术有限公司 一种模型训练方法及装置
CN112766364A (zh) * 2021-01-18 2021-05-07 南京信息工程大学 一种改进vgg19的番茄叶片病害分类方法
CN112884025B (zh) * 2021-02-01 2022-11-04 安徽大学 一种基于多特征分段式训练的茶叶病害分类***
CN112884025A (zh) * 2021-02-01 2021-06-01 安徽大学 一种基于多特征分段式训练的茶叶病害分类***
CN113627258A (zh) * 2021-07-12 2021-11-09 河南理工大学 一种苹果叶部病理检测方法
CN113627258B (zh) * 2021-07-12 2023-09-26 河南理工大学 一种苹果叶部病理检测方法
CN113989639A (zh) * 2021-10-20 2022-01-28 华南农业大学 基于高光谱图像分析处理方法的荔枝病害自动识别方法及装置
CN113989639B (zh) * 2021-10-20 2024-04-16 华南农业大学 基于高光谱图像分析处理方法的荔枝病害自动识别方法及装置
CN113989509B (zh) * 2021-12-27 2022-03-04 衡水学院 基于图像识别的农作物虫害检测方法、检测***及设备
CN113989509A (zh) * 2021-12-27 2022-01-28 衡水学院 基于图像识别的农作物虫害检测方法、检测***及设备
CN114494828A (zh) * 2022-01-14 2022-05-13 中国农业大学 葡萄病害识别方法、装置、电子设备及存储介质
CN114332087A (zh) * 2022-03-15 2022-04-12 杭州电子科技大学 Octa图像的三维皮层表面分割方法及***
CN114842240A (zh) * 2022-04-06 2022-08-02 盐城工学院 融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法
CN115631417A (zh) * 2022-11-11 2023-01-20 生态环境部南京环境科学研究所 一种基于卷积神经网络的蝴蝶图像识别方法

Also Published As

Publication number Publication date
CN111860330B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
CN111860330B (zh) 基于多特征融合和卷积神经网络的苹果叶部病害识别方法
AU2020102885A4 (en) Disease recognition method of winter jujube based on deep convolutional neural network and disease image
CN109308697B (zh) 一种基于机器学习算法的树叶病害识别方法
WO2022160771A1 (zh) 基于自适应多尺度特征提取模型的高光谱图像分类方法
CN111369540B (zh) 基于掩码卷积神经网络的植物叶片病害识别方法
CN109344883A (zh) 一种基于空洞卷积的复杂背景下果树病虫害识别方法
CN114341948A (zh) 用于植物物种识别的***和方法
CN106845497B (zh) 基于多特征融合的玉米前期图像旱情识别方法
CN110222215B (zh) 一种基于f-ssd-iv3的作物害虫检测方法
CN111598001B (zh) 一种基于图像处理的苹果树病虫害的识别方法
CN111178177A (zh) 一种基于卷积神经网络的黄瓜病害识别方法
CN107153840A (zh) 一种基于卷积神经的农作物害虫图像识别方法
Zhang et al. Robust image segmentation method for cotton leaf under natural conditions based on immune algorithm and PCNN algorithm
Hu et al. Self-adversarial training and attention for multi-task wheat phenotyping
Patil Pomegranate fruit diseases detection using image processing techniques: a review
Hu et al. Computer vision based method for severity estimation of tea leaf blight in natural scene images
CN114677606A (zh) 基于注意力机制和双分支网络的柑橘细粒度病害识别方法
CN113344009A (zh) 一种轻小型网络自适应番茄病害特征提取方法
CN113077452A (zh) 基于dnn网络和斑点检测算法的苹果树病虫害检测方法
CN111695560A (zh) 基于卷积神经网络对农作物病虫害主动定位聚焦的方法
Rony et al. BottleNet18: Deep Learning-Based Bottle Gourd Leaf Disease Classification
CN111144464B (zh) 基于CNN-Kmeans算法水果自动识别方法
Cao et al. Plant leaf segmentation and phenotypic analysis based on fully convolutional neural network
Farahani et al. Identification of grape leaf diseases using proposed enhanced VGG16
Deng et al. A paddy field segmentation method combining attention mechanism and adaptive feature fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant