CN110245720B - 一种基于深度学习的柑橘病虫害智能诊断方法及*** - Google Patents

一种基于深度学习的柑橘病虫害智能诊断方法及*** Download PDF

Info

Publication number
CN110245720B
CN110245720B CN201910546589.8A CN201910546589A CN110245720B CN 110245720 B CN110245720 B CN 110245720B CN 201910546589 A CN201910546589 A CN 201910546589A CN 110245720 B CN110245720 B CN 110245720B
Authority
CN
China
Prior art keywords
citrus
disease
diagnosis
diseases
densenet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910546589.8A
Other languages
English (en)
Other versions
CN110245720A (zh
Inventor
秦姣华
向旭宇
潘文焱
谭云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University of Forestry and Technology
Original Assignee
Central South University of Forestry and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University of Forestry and Technology filed Critical Central South University of Forestry and Technology
Priority to CN201910546589.8A priority Critical patent/CN110245720B/zh
Publication of CN110245720A publication Critical patent/CN110245720A/zh
Application granted granted Critical
Publication of CN110245720B publication Critical patent/CN110245720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的柑橘病虫害智能诊断方法及***，该方法的步骤：步骤1：基于专家经验建立黄龙病、炭疽病、溃疡病、黑星病、砂皮病和疮痂病这6类柑橘病害的图像数据集；步骤2：使用五种数据增强的方法扩充训练集和测试集；利用增强后的训练集和验证集对简化的DenseNet网络进行训练，保存模型至***中；利用测试集对模型的性能进行评价。步骤3：在微信小程序的基础上建立了柑橘病诊断***，用户通过手机使用小程序拍照/上传图像，通过上传的训练好的卷积网络模型进行诊断，再返回智能诊断结果及病虫害防治建议给用户，实现柑橘病虫害智能诊断。

Description

一种基于深度学习的柑橘病虫害智能诊断方法及***
技术领域
本发明涉及一种基于深度学习的柑橘病虫害智能诊断方法及***。
背景技术
柑橘是世界上种植面积最大的水果之一。然而，日益严重的柑橘病害给广大的橘农带来了巨大的经济损失。随着移动设备的快速发展，移动服务在人民群众的日常生活中扮演着越来越重要的角色。如何开发基于移动服务的柑橘病害智能诊断***，搭建橘农与专家之间的桥梁，实现让所有的橘农成为专家，是一个值得研究的课题。
据不完全统计，世界上有140多个国家种植柑橘。由于气候变暖、禁止使用剧毒农药、柑橘树老化、除草剂滥用等因素，柑橘病虫害日益严重。
柑橘黄龙病(Citrus huanglongbing，HLB)是柑橘生产上最具毁灭性的世界性病害，在亚洲、非洲、南美洲和北美洲的40多个国家都有该病的发生。目前，我国许多省份都受到黄龙病菌的侵害。柑橘黄龙病潜伏期长，早期也没有明显的特异性病症，与缺素、土壤病原物为害引起的变色容易混肴，常造成误判。目前，目前，多聚酶链反应(PCR)技术通常用于检测入侵柑橘的病原菌，来判断是否受到柑橘黄龙病菌的侵染。但由于柑橘黄龙病菌在柑橘体内分布不均匀，因取样部位、DNA提取等多种因素，常造成假阴性。
炭疽病(Anthracnose)是柑橘最常见的病害之一，它具有危害广和危害时间长的特点，主要危害叶片、枝条、花、果实和果柄。炭疽病严重发生时常造成柑橘品种大量落叶、落花、落果、枝条枯死和果实腐烂。
柑橘溃疡病(Canker)是柑橘栽培中面临的重大挑战，它主要危害柑橘叶片、枝梢和果实。幼树受害特别严重会造成落叶、枯梢，影响树势；果实受害重者落果，轻者带有病疤不耐贮藏，容易发生腐烂，大大降低果实商品价值，使果农防治成本增加，经济效益受损。
柑橘黑星病(Black spot)在大部分柑橘产区普遍发生，主要危害果实，症状多出现在近成熟的果实上。黑星病病菌主要侵染幼果，但在幼果期无明显症状，果实膨大期至成熟期开始在表皮上出现病斑，致使鲜果的商品性下降，甚至完全丧失。
柑橘砂皮病(Sand paper rust)是由柑橘间座壳菌(Diaporthecitri)引起的一种真菌性病害，主要危害柑橘的嫩叶、嫩梢和幼果，病部表面产生黑褐色胶质小粒点，表面变得粗糙，影响商品性。
柑桔疮痂病(Scabis)，通常是由Elsinoefawcettii引起。它是柑橘的重要真菌病害之一，不仅危害新梢果实，而且危害花萼和花瓣。
柑橘病传播途径广、传染迅速，单凭人工肉眼进行识别，效率低下，准确率低。
因此，针对以上问题，有必要设计一种基于深度学习的柑橘病虫害智能诊断方法及***。
发明内容
本发明所要解决的技术问题是提供一种实用的、低温下可用的基于深度学习的柑橘病虫害智能诊断方法及***，该基于深度学习的柑橘病虫害智能诊断方法及***诊断效率高，准确率高。
发明的技术解决方案如下：
一种基于深度学习的柑橘病虫害智能诊断方法，包括以下步骤：
步骤1：基于专家经验建立6类柑橘病害的图像数据集；
该6类柑橘病害是指：黄龙病、炭疽病、溃疡病、黑星病、砂皮病和疮痂病；
步骤2：采用6类柑橘病害的图像数据集对卷积网络进行训练；
从数据集中随机抽取图像组成训练集、验证集和测试集，每个类别的比例为6∶2∶2；使用五种数据增强的方法扩充训练集和测试集，利用增强后的训练集和验证集对简化的DenseNet网络进行训练，保存模型至***中；并利用测试集对模型的性能进行评价；
步骤3：在微信小程序的基础上建立了柑橘病诊断***，用户使用小程序上传图像，通过上传的训练好的卷积网络模型进行诊断，返回智能诊断结果及病虫害防治建议给用户。。
使用5种方法来增强训练集和测试集：水平翻转、垂直翻转、水平-垂直翻转、改变亮度和对比度；
其中，增加亮度和对比度的公式为：
dst＝img1×α+img2×β+γ；
其中dst为目标图像，为原图img1与img2的线性组合；img1与img2是两个大小相同的图像，通过改变α，β，γ的值来改变图像的对比度和亮度，img1为原始图像，img2为与原始图像大小相同的图像，所有像素值均为0，增加图像的对比度的参数为：α＝1.5，β＝3，γ＝0，增加图像的亮度的参数为：α＝1，β＝2，γ＝40；通过数据增强的方法扩充训练集和验证集能缓解过拟合问题。
使用简化的DenseNet-201网络进行实验；DenseNet-201由4个4个稠密块(Denseblock)组成，其中每个Dense block是由瓶颈层(Bottleneck layers)的结构组成，瓶颈层的结构是1×1的卷积层后接上3×3的卷积，DenseNet-201的Dense block的详细结构是由BN-ReLU-Conv(1×1)-BN-ReLU-Conv(3×3)组成，其中BN代表的批标准化(BatchNormalization)，ReLU代表线性整流函数，Conv(1×1)代表1×1的卷积层，在最后一个Dense Block中删除了5个瓶颈层结构，并添加了批标准化(Batch Normalization)，激活函数(activation function)，全局平均池化(global average pooling)和归一化指数函数(softmax)，这些网络层已经证明能有效的应用于卷积神经网络。最后形成了的简化DenseNet。
将微信小程序与卷积网络相结合，在智能手机上实现在线识别的功能；
用户将拍摄的柑橘病害照片上传至柑橘病诊断***中，***在服务器端通过上传的模型进行识别；***将柑橘的病害的智能诊断结果发送给智能手机；诊断结果包括：病害的相关信息(如病害的症状和原因等)和相应的治疗方案。同时，用户可以搜索自己感兴趣的病例；***还设置了专家咨询功能和监测点的功能。用户可以准确定位并设置监测点，以便尽早发现疾病并及时处理。
一种基于深度学习的柑橘病虫害智能诊断***，包括MUC，在MCU中，采用前述的基于深度学习的柑橘病虫害智能诊断方法实现柑橘病虫害的智能诊断。
本发明采用图像识别技术用于病虫害的识别，使用图像识别技术能够有效的提高效率与准确率，也可节省人力物力。最近深度学习在图像识别领域已经取得了巨大的成功，并且能应用于医学辅助诊断，农业和粮食生产等领域。与传统的图像识别算法相比，深度模型具有强大的学习能力和高效的特征表达能力，更重要的优点是从像素级原始数据到抽象的语义概念逐层提取信息，这使得它在提取图像的全局特征和上下文信息方面具有突出的优势。
早期的卷积神经网络如AlexNet和VGGNet讨论了网络深度与分类性能的关系，结果表明，在结构相似的情况下，网络越深，性能越好。
与AlexNet和VGGNet不同的是，GoogLeNet不仅深化了网络，而且引入了Inception结构，取代了传统的简单卷积层和激活函数运算，大大降低了参数。
随着网络深度的不断增加，理论上网络会有更好的性能。实际上可能会发生梯度消失和梯度***，导致模型不收敛，精度下降，训练误差和测试误差增大。为了解决这些问题，ResNet设计了一个残差模块来训练更深层次的网络。
DenseNet是一个紧密连接的卷积神经网络。网络将每一层与所有其他层连接起来，每一层都将前一层的特征图作为输入。这样就减轻了梯度消失的问题，增强了特征的传播。同时，鼓励特性重用，大大减少了参数的数量。
另外，本发明对DenseNet的结构进行进一步的简化和改进，从而获得更优良的特型。
有益效果：
本发明提出了一种柑橘病的智能移动诊断***及方法，训练了基于DenseNet的柑橘病害识别模型，利用移动微信applet实现了柑橘病害的智能诊断。首先，建立了柑橘病数据集，包含六类常见的柑橘病。其次，利用数据增强、对DenseNet进行简化，以减少过拟合，提高模型的泛化能力。最后，使用数据集对简化的网络进行微调，将模型保存在智能***之中。用户可以通过微信applet将疑似柑橘病害病例的照片上传至***。然后反馈智能诊断结果。同时，***可以提供定位服务，方便用户设置监测点进行进一步跟踪。该***还允许用户直接在线与专家交流。本发明的主要贡献如下：
1.在专家的帮助下，构建了6种柑橘病害的图像数据集。
2.利用微信applet实现了柑橘病害的智能诊断，弥补了柑橘种植者与专家之间的差距。
总而言之，本发明易于实施和推广，诊断的准确率高，且诊断速度快。
附图说明
图1为柑橘病害智能移动诊断***的结构图；
图2为5层Dense block的结构示意图；
图3为柑橘病害智能移动诊断***体系结构图；
图4为简化的DenseNet结构图；
图5为切割致密块对分级结果的影响示意图；
图6为时间消耗的比较示意图；
图7为其他评价标准的比较示意图；
图8为用户与模型交互信息流程图；
图9为前后端信息交互详细流程图。
具体实施方式
以下将结合附图和具体实施例对本发明做进一步详细说明：
实施例1：
本发明使用微信applet在移动设备上设置***，使用户可以随时随地使用***。图1展示了柑橘病害智能移动诊断***的结构。***主要实现以下主要功能：
1.用户可以通过***拍摄柑橘病害照片，并直接上传至服务器。该***不仅可以对柑橘的病害类型进行反馈，还可以显示病害的相关信息，如病害的症状和原因等。此外，该***还将针对该疾病提出相应的治疗方案，有助于预防和治疗该疾病。同时，用户可以搜索自己感兴趣的柑橘类疾病病例。通过点击专家头像，可以将诊断信息发送给相应的专家。
2.为了方便用户对柑橘进行监测，***提供了设置监测点的功能。用户可以准确定位并设置监测点，以便尽早发现疾病并及时处理。
3.为了缩小柑橘种植者与专家之间的差距，该***设置了专家咨询功能，用户可以将疑难杂症以图片和文字的形式发送给专家进行专家诊断。
本发明主要的方法步骤如下：
步骤1：基于专家经验建立黄龙病、炭疽病、溃疡病、黑星病、砂皮病和疮痂病这6类柑橘病害的图像数据集；步骤2：使用五种数据增强的方法扩充训练集和测试集；利用增强后的训练集和验证集对简化的DenseNet网络进行训练，保存模型至***中；利用测试集对模型的性能进行评价。步骤3：在微信小程序的基础上建立了柑橘病诊断***，用户使用小程序上传图像，通过上传的模型进行诊断，返回智能诊断结果。基于训练完成的卷积网络，输入新的图像实现柑橘病虫害智能诊断。
数据集的建立：
由于缺乏柑橘病害数据集，通过网络、本地资料、专家访问等方式收集相关图像，构建柑橘病害数据集。表1为柑橘病害图像的数量和比例。
病害类型 数量 比例
黄龙病 496 23.65％
炭疽病 201 9.59％
溃疡病 746 35.57％
黑星病 279 13.30％
砂皮病 198 9.44％
疮痂病 177 8.44％
表1.柑橘病害图像的数量和比例
该数据集包含六种常见的柑橘疾病：黄龙病、炭疽病、溃疡病、黑星病、砂皮病和疮痂病。每一类都包括相应的带有症状的果实和叶子的图像。每一类样本的数量和比例分布如表1所示，实验数据集的样本图像如表2所示。
Figure BDA0002103929770000051
表2.样本图像
从数据集中随机抽取图像组成训练集、验证集和测试集，每个类别的比例为6∶2∶2。利用训练集和验证集对网络进行训练，并利用测试集对模型的性能进行评价。由于数据集较小，训练网络可能过拟合。为了避免这个问题，可以对数据集进行处理，生成新的图像并增加数据集。因此，使用5种方法来增强训练集和测试集：水平翻转、垂直翻转、水平-垂直翻转、改变亮度和对比度。这样，训练集和测试集的大小就增加了5倍。数据增强方法和示例如表3和表4所示。数据增加后各类别的数量和比例分布如表5所示。
本实施例中，使用公式1来增加亮度和对比度：
dst＝img1×α+img2×β+γ (1)
其中dst为目标图像，相当于img1与img2的线性组合。img1与img2是两个大小相同的图像。通过改变α，β，γ的值来改变图像的对比度和亮度。在实验中，img1为原始图像，img2为与原始图像大小相同的图像，所有像素值均为0。在实验中增加图像的对比度，选择α＝1.5，β＝3，γ＝0。在实验中增加图像的亮度，选择α＝1，β＝2，γ＝40。
Figure BDA0002103929770000052
表3.数据增强的方法
Figure BDA0002103929770000061
表4.柑橘病害数据增强图例
病害类型 数量 比例
黄龙病 2501 23.65％
炭疽病 1016 9.61％
溃疡病 3761 35.56％
黑星病 1409 13.32％
砂皮病 998 9.44％
疮痂病 892 8.43％
表5.柑橘病害数据增强后的图像的数量和比例
卷积神经网络的介绍：
随着卷积神经网络的发展，网络的层数不断增加。但是网络训练过程中的信息经过反复卷积后可能会逐渐消失。为了解决这个问题，DenseNet设计了一个稠密块(Denseblock)结构[参见文献：H.Gao，L.Zhuang，M.D.V.Laurens.″Densely ConnectedConvolutional Networks，″2017 IEEE Conference on Computer Vision and PatternRecognition(CVPR)，pp.2261-2269，2017]。为了使所有网络层的信息收益最大化，网络中的任意两层都是直接连接的，这样每一层都可以接受所有前一层的特征作为输入。5层Denseblock的结构如图2所示。
模型的输入是x0。Denseblock由L层组成，每层的非线性变换函数为Hl(·)，其中l表示层数，第l层的输出记为xl。l-1层和l层之间的关系公式2所示：
xl＝Hl([x0，x1，...，xl-1]) (2)
其中[x0，x1，...，xl-1]表示Dense block将输出特征映射从0层连接到l-1层。
DenseNet由多个Denseblock组成。DenseNet在每两个Dense block由transitionlayer连接。其核心思想是建立不同层之间的连接，充分利用特征，进一步减小梯度消失。本发明进一步简化了DenseNet结构，删除了一定数量的网络层，减少了时间成本并提高了性能。
基于智能手机的卷积神经网络
A.***结构
基于DenseNet的柑橘病害智能移动诊断***框架如图3所示。首先在专家的帮助下对数据集进行标注，然后利用数据集对简化的DenseNet进行训练，保存模型。最后，将其上传到云服务器的诊断***中。用户通过移动设备上的微信Applet(即微信小程序)采集柑橘病害图片并上传至***。***通过训练后的模型识别上传的图像，并将诊断结果和治疗建议返回给用户。
B.简化***
由于数据集较小，首先对原始数据集进行了增强。然后利用数据增强后的数据集对DenseNet进行微调。为了减少过拟合的可能性，适当地减少了网络中的层数。
图4是DenseNet模型训练过程的框架。使用DenseNet-201网络进行实验。DenseNet-201由4个稠密块(Dense block)组成，其中每个Dense block是由瓶颈层(Bottleneck layers)的结构组成，瓶颈层的结构是1×1的卷积层后接上3×3的卷积，这种结构可以减少输入特征图的数量，从而提高计算效率。而DenseNet-201的Dense block的详细结构是由BN-ReLU-Conv(1×1)-BN-ReLU-Conv(3×3)组成，其中BN代表的批标准化(Batch Normalization)，ReLU代表线性整流函数，Conv(1×1)代表1×1的卷积层。在最后一个Dense Block中删除了5个瓶颈层结构，并添加了Batch Normalization，(激活函数)activation function，(全局平均池化)global average pooling和(归一化指数函数)softmax层，这些网络层为现有成熟技术已经证明能有效的应用于卷积神经网络。最后从而形成了的简化DenseNet。这样使得网络层数降低，可以缓解过拟合的问题，提高分类准确率。。具体的网络训练方法是：首先我们使用数据集对DenseNet-201网络进行训练，然后重新加载保存的模型，对模型进行网络进行删减，最后使用数据集进行进一步的微调，然后对测试集的图像进行测试，得到分类结果。结果表明，该测试集的分类精度得到了提高，且时间消耗较少。
实验结果及分析
A.实验环境
实验使用Intel(R)Core(TM)i7-7800X [email protected]，64.00GB RAM和1个NvidiaGeForce GTX 1080 Tigpu进行。为了避免重复的开发工作，深度学习有大量的框架。在本发明中，应用了Keras框架。
网络使用随机梯度下降进行训练，其中动量选择0.9。对于数据集，使用batchsize为8和50epochs。初始的学习率为0.001，且每隔两轮乘以0.94。初始权重为DenseNet在ImageNet上的权重。
B.专业比较和性能估计
在DenseNet201、InceptionResNetV2、InceptionV3、ResNet50和简化的DenseNet201上使用原始柑橘疾病数据集和增强数据集进行了对比实验。不同网络对测试集的精度如表6所示。
结果表明，在不同的网络中(+0.75％、+1.14％、+0.25％、+2％、+1％)，数据增强的柑橘病害数据集分类精度均有提高。简化后的DenseNet201分类精度比原DenseNet201分类精度高(+1％，+0.26％)。分类精度最高为88.53％，采用简化的DenseNet201数据增强集。这是因为数据扩充可以缓解数据集有限的问题。简化DenseNet可以缓解数据集网络过于复杂的问题，减轻过度拟合。通过适当简化网络和增强数据集，可以降低过拟合的概率。
通过实验研究了删除不同瓶颈层对分类精度的影响。实验结果如图5所示。在实验中，分别测试了去除1、2、3、4、5、6个瓶颈层的影响。实验结果表明，去除5个瓶颈层(88.78％)，分类精度最高。这是因为适当减少网络层数可以缓解过拟合现象，提高分类精度。
本发明还使用简化的DenseNet201网络对每个类的分类结果进行了统计，如表7所示。可以看出，黄龙病和溃疡病的分类精度较高，而炭疽病的分类精度较低。这是因为柑橘病害的一些特征相似，增加了柑橘病害识别的难度。同时，不同的环境和设备也会影响分类结果。
在移动业务中，诊断***的时间消耗和实时性是一个非常重要的问题。在图6中比较了原始数据集和增强数据集的不同稠密块的时间消耗。
本发明还采用Recall，F1-score and MC评价标准进行评价。利用原始数据集和数据扩充后的数据集对原始DenseNet进行训练。利用原始数据集和数据扩充后的数据集对简化后的DenseNet网络进行训练。
从图7中可以看出，三种评价值均呈上升趋势，说明我们提出的方法优于其他方法。该方法对我国柑橘病害数据集具有较高的分类精度。
表6.不同网络分类准确率的比较
Figure BDA0002103929770000081
表7.简化后的DenseNet201对每个类别的分类精度
Figure BDA0002103929770000091
***的基本思路：
用户用智能手机上传相册中的柑橘图片或直接对受到病虫害侵袭的柑橘拍照，小程序就能根据图片智能诊断出柑橘的疾病类型并给出预防和治疗方案。
完整的柑橘疾病识别技术主要分为以下四步：
(1)疾病识别模型的训练；
(2)前后端通信，将图像上传；
(3)调用模型识别疾病类型；
(4)通过https协议将识别结果返回给用户；
其中，第(1)步和第(3)步将作为技术难点在前文中详细讲解，第二步和第四步可以归类为信息的传输，具体的传输流程如图8所示；
“基于深度学习的柑橘病虫害智能检测微信小程序”不仅可以实时对柑橘疾病进行诊断，还可以收集用户拍摄或上传的柑橘照片，提取照片中的经纬度信息，通过分析经纬度及用户上传频率建立病虫害检测预警***；同时，收集到的图片将被整理分类到柑橘疾病数据库，进行柑橘病虫害数据集的采集和建设，为柑橘病虫害专家和深度学习提供类型更丰富、规模更大的柑橘疾病图像数据库。此外，本***可以帮助果农定位疾病发生地点，及时了解橘树所受的病虫害状况，并为受病虫害侵袭的果树区域提供治疗方案，从而实现果树疾病的精准防治，有的放矢，避免过度的施肥、施药，保护水果的食用安全。
前后端链接技术
客户端用于连接服务端，发送请求和接收并解析数据。每个微信小程序开启时并不一定要连接服务器，一部分的数据可以进行本地临时保存与处理。但是由于小程序所占内存的空间小，所以客户端的有关数据库的操作都要发送请求交给服务器处理，让服务器根据指令执行相应的操作后，返回数据给客户端，客户端再解析。客户端与后台交互的结构非常简单，首先有一个wx.uploadfile函数，它是客户端文件的请求发送入口，用来创建连接与封装传输命令。传输命令时要把当前文件地址传入，以及接口地址。当接收到服务器返回来的数据时，要先响应服务器发出接收请求，再接收相应的数据。其次是一个wx.request接口调用函数，用于向发起HTTPS网络请求。以“图像识别”功能为例，前后端信息交互详细流程图如图9所示。
结论：
本发明将深度学习应用于柑橘病害的鉴定。利用密集连接网络建立了柑橘病害识别模型。同时，利用微信applet实现柑橘病害的自动识别，为果农提供专业的病害防治建议。
综上所述，本发明提出了一种基于深度学习的柑橘病虫害智能诊断方法及***，本发明的特点如下：
1、通过微信小程序来打通橘农与专家之间的沟通桥梁，使用便利；
该***在移动设备上采用微信Applet实现，用户可以上传图像并接收诊断结果和病虫害防治建议。
2.本发明在专家的帮助下建立了6类柑橘病害的图像数据集，通过简化密集连接卷积网络(DenseNet)，实现了柑橘病害的智能诊断***。实验结果表明，该方法对柑橘病害的识别准确率超过88％。通过简化DenseNet结构，同时也降低了预测时间消耗。

Claims (2)

1.一种基于深度学习的柑橘病虫害智能诊断方法，其特征在于，包括以下步骤：
步骤1：基于专家经验建立6类柑橘病害的图像数据集；
该6类柑橘病害是指：黄龙病、炭疽病、溃疡病、黑星病、砂皮病和疮痂病；
步骤2：采用6类柑橘病害的图像数据集对卷积网络进行训练；
从数据集中随机抽取图像组成训练集、验证集和测试集，每个类别的比例为6:2:2；使用五种数据增强的方法扩充训练集和测试集，利用增强后的训练集和验证集对简化的DenseNet网络进行训练，保存模型至***中；并利用测试集对模型的性能进行评价；
步骤3：在微信小程序的基础上建立了柑橘病诊断***，用户使用小程序上传图像，通过上传的训练好的卷积网络模型进行诊断，返回智能诊断结果及病虫害防治建议给用户；使用5种方法来增强训练集和测试集:水平翻转、垂直翻转、水平-垂直翻转、增加亮度和对比度；
其中，增加亮度和对比度的公式为:
dst＝img1×α+img2×β+γ；
其中dst为目标图像，为原图img1与img2的线性组合；img1与img2是两个大小相同的图像，通过改变α,β,γ的值来改变图像的对比度和亮度，img1为原始图像，img2为与原始图像大小相同的图像，所有像素值均为0，增加图像的对比度的参数为：α＝1.5，β＝3，γ＝0；增加图像的亮度的参数为：α＝1，β＝2，γ＝40；通过数据增强的方法扩充训练集和验证集能缓解过拟合问题；
使用简化的DenseNet-201网络进行实验；DenseNet-201由4个稠密块(Dense block)组成，其中每个Dense block是由瓶颈层(Bottleneck layers)的结构组成，瓶颈层的结构是1×1的卷积层后接上3×3的卷积，DenseNet-201的Dense block的详细结构是由BN-ReLU-Conv(1×1)-BN-ReLU-Conv(3×3)组成，其中BN代表的批标准化(Batch Normalization)，ReLU代表线性整流函数，Conv(1×1)代表1×1的卷积层，在最后一个Dense Block中删除了5个瓶颈层结构，并添加了批标准化(Batch Normalization)，激活函数(activationfunction)，全局平均池化(global average pooling)和归一化指数函数(softmax)，这些网络层已经证明能有效的应用于卷积神经网络，最后形成简化DenseNet；将微信小程序与卷积网络相结合，实现在智能手机上的柑橘病虫害在线识别功能；
用户将拍摄的柑橘病害照片上传至柑橘病诊断***中，***在服务器端通过上传的模型进行识别；***将柑橘病害的智能诊断结果反馈给智能手机；诊断结果包括：病害的相关信息和相应的治疗方案。
2.一种基于深度学习的柑橘病虫害智能诊断***，其特征在于，包括MCU，在MCU中，采用权利要求1所述的基于深度学习的柑橘病虫害智能诊断方法实现柑橘病虫害的智能诊断。
CN201910546589.8A 2019-06-22 2019-06-22 一种基于深度学习的柑橘病虫害智能诊断方法及*** Active CN110245720B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910546589.8A CN110245720B (zh) 2019-06-22 2019-06-22 一种基于深度学习的柑橘病虫害智能诊断方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910546589.8A CN110245720B (zh) 2019-06-22 2019-06-22 一种基于深度学习的柑橘病虫害智能诊断方法及***

Publications (2)

Publication Number Publication Date
CN110245720A CN110245720A (zh) 2019-09-17
CN110245720B true CN110245720B (zh) 2023-05-26

Family

ID=67888809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910546589.8A Active CN110245720B (zh) 2019-06-22 2019-06-22 一种基于深度学习的柑橘病虫害智能诊断方法及***

Country Status (1)

Country Link
CN (1) CN110245720B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027436A (zh) * 2019-12-03 2020-04-17 吉林大学 一种基于深度学习的东北黑木耳病虫害图像识别***
CN111046964B (zh) * 2019-12-18 2021-01-26 电子科技大学 一种基于卷积神经网络的人和车辆红外热图像识别方法
CN111761409A (zh) * 2020-07-09 2020-10-13 内蒙古工业大学 一种基于深度学习的多传感器数控机床刀具磨损监测方法
CN111899234A (zh) * 2020-07-21 2020-11-06 仲恺农业工程学院 一种基于大数据挖掘的柑橘病虫害疫情智能推送***
CN112164041B (zh) * 2020-09-18 2023-05-12 南昌航空大学 基于多尺度深度神经网络的黄龙病自动诊疗***及方法
CN112597907A (zh) * 2020-12-25 2021-04-02 四川工商学院 基于深度学习的柑橘红蜘蛛虫害的识别方法
CN112949796A (zh) * 2021-03-23 2021-06-11 青岛农业大学 一种基于深度学习的混合式病虫害识别装置及方法
CN113948220B (zh) * 2021-10-29 2022-12-09 广东技术师范大学 一种具有预分析能力的炭疽病病原菌侵染阶段检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107576618A (zh) * 2017-07-20 2018-01-12 华南理工大学 基于深度卷积神经网络的水稻穗瘟检测方法及***
CN108875787A (zh) * 2018-05-23 2018-11-23 北京市商汤科技开发有限公司 一种图像识别方法及装置、计算机设备和存储介质
CN108921814A (zh) * 2018-05-16 2018-11-30 华南农业大学 一种基于深度学习的柑橘黄龙病在线快速检测***及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10349584B2 (en) * 2014-11-24 2019-07-16 Prospera Technologies, Ltd. System and method for plant monitoring
CN106250899B (zh) * 2016-07-29 2019-03-22 华东交通大学 一种基于分布式压缩感知wsn的柑桔病虫害监测预警方法
US11049018B2 (en) * 2017-06-23 2021-06-29 Nvidia Corporation Transforming convolutional neural networks for visual sequence learning
US10747999B2 (en) * 2017-10-18 2020-08-18 The Trustees Of Columbia University In The City Of New York Methods and systems for pattern characteristic detection
CN107798356A (zh) * 2017-11-24 2018-03-13 郑州大学西亚斯国际学院 基于深度卷积神经网络的作物叶片病害识别方法
CN109344883A (zh) * 2018-09-13 2019-02-15 西京学院 一种基于空洞卷积的复杂背景下果树病虫害识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107576618A (zh) * 2017-07-20 2018-01-12 华南理工大学 基于深度卷积神经网络的水稻穗瘟检测方法及***
CN108921814A (zh) * 2018-05-16 2018-11-30 华南农业大学 一种基于深度学习的柑橘黄龙病在线快速检测***及方法
CN108875787A (zh) * 2018-05-23 2018-11-23 北京市商汤科技开发有限公司 一种图像识别方法及装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
密集连接卷积神经网络:让人工智能拥有更强大脑;黄高;上海信息化(第10期);全文 *
深度学习在图像识别中的应用研究综述;郑远攀;李广阳;李晔;;计算机工程与应用(12);全文 *

Also Published As

Publication number Publication date
CN110245720A (zh) 2019-09-17

Similar Documents

Publication Publication Date Title
CN110245720B (zh) 一种基于深度学习的柑橘病虫害智能诊断方法及***
Pan et al. A smart mobile diagnosis system for citrus diseases based on densely connected convolutional networks
Khan et al. Deep learning for apple diseases: classification and identification
CN109344883A (zh) 一种基于空洞卷积的复杂背景下果树病虫害识别方法
CN108460356A (zh) 一种基于监控***的人脸图像自动处理***
CN112733744B (zh) 一种基于边缘协同监督与多级约束的伪装物体检测模型
Wang et al. Mobile smart device-based vegetable disease and insect pest recognition method
CN111400536B (zh) 一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法
CN107563389A (zh) 一种基于深度学习的农作物病害识别方法
CN111179216A (zh) 一种基于图像处理与卷积神经网络的作物病害识别方法
CN115331104A (zh) 一种基于卷积神经网络的农作物种植信息提取方法
CN112434662B (zh) 一种基于多尺度卷积神经网络的茶叶病斑自动识别算法
Jain et al. Detection of Guava Fruit Disease through a Unified Deep Learning Approach for Multi-classification
Astonkar et al. Detection and analysis of plant diseases using image processing
CN115909052A (zh) 一种基于混合卷积神经网络的高光谱遥感图像分类方法
CN112465038A (zh) 一种识别果树病虫害种类的方法及***
Kumar et al. An identification of crop disease using image segmentation
Ibrahim et al. Palm leaf nutrient deficiency detection using convolutional neural network (CNN)
CN114596274A (zh) 基于改进Cascade RCNN网络的自然背景柑橘黄龙病检测方法
Kamble Plant disease detector
CN112597907A (zh) 基于深度学习的柑橘红蜘蛛虫害的识别方法
CN116977863A (zh) 一种番茄植株病虫害检测方法及检测***
CN116721060A (zh) 一种基于注意力机制的红棕象甲虫检测方法
CN111523503A (zh) 基于改进ssd算法的苹果目标检测方法
Sonia et al. Medicinal Plants Classification by VisualCharacteristics of Leaves Using CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant