CN113688787A - 花生叶片病害识别方法 - Google Patents

花生叶片病害识别方法 Download PDF

Info

Publication number
CN113688787A
CN113688787A CN202111075342.6A CN202111075342A CN113688787A CN 113688787 A CN113688787 A CN 113688787A CN 202111075342 A CN202111075342 A CN 202111075342A CN 113688787 A CN113688787 A CN 113688787A
Authority
CN
China
Prior art keywords
model
layer
peanut
peanut leaf
leaf disease
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111075342.6A
Other languages
English (en)
Inventor
员玉良
冯强
徐鹏飞
王东伟
张振豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Agricultural University
Original Assignee
Qingdao Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Agricultural University filed Critical Qingdao Agricultural University
Priority to CN202111075342.6A priority Critical patent/CN113688787A/zh
Publication of CN113688787A publication Critical patent/CN113688787A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种花生叶片病害识别方法,针对数据集中不同种类样本数量差距巨大,极易导致过拟合问题,通过数据优化处理算法实现数据集的均衡化,在提升训练质量的同时,避免了过拟合问题。以轻量级卷积神经网络模型为基础,通过迁移原始轻量级卷积神经网络的卷积层提取花生叶部病害特征,重新添加归一化层、全局平均池化层、展平层、全连接层以及分类层构建花生叶部病害识别模型,并完成在嵌入式设备上的部署。本发明可最终在嵌入式设备上完成部署,进而实现便携式在线诊断,无需计算机支持,可独立运行和解析模型,实现在田间地头的在线即时诊断,提高诊断效率,为花生病虫害的诊治抢占先机,对推动农业可持续与高质量高效发展具有十分重要的意义。

Description

花生叶片病害识别方法
技术领域
本发明属于花生叶部疾病识别诊断与模式识别领域。
背景技术
花生经济价值高,是我国第一大油料作物,其产量占油料作物总产量的一半以上。然而频发的叶部疾病严重制约着花生产量和品质。我国农业生产模式正处在升级转化期,每一项新技术在农业生产领域的应用势必会推动我国农业经营方式的升级和进步。由于花生叶片长期裸露在空气中,难免会遭受不利因素的影响,诱发叶部病变,造成减产。在传统植物叶片疾病诊断模式下,受制于种植人员的专业知识水平限制,仅能凭借经验来进行粗略诊断,具有极大的盲目性和主观性,造成人力、物力浪费,而且极易造成误判,延误最佳的施药时机,扩大损失。
随着农业智能化领域研究深度和广度的加深和拓宽,也有学者着手植物叶部病害识别的相关研究,为植物叶部疾病的智能化检测诊断提供理论研究基础,但这些理论研究中所提到的识别模型,普遍存在占用空间大、不能量化,无法在低算力、低存储力的嵌入式移动端设备的部署和运行,这就限制了便携式叶部疾病诊断装备的研发。如申请号为202010165554.2 的发明提出一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法,通过构建改进的残差神经网络识别模型进行训练识别。该方法仅仅依据原始模型结构,其残差网络存在着不能量化问题,进而不能在低算力嵌入式设备上部署;其要求的终端设备参数如下:处理器型号为I5-8400,处理器频率为2.80GHz,显卡型号为Gtx1060,因而,文中模型最终是在具有一定配置的计算机上运行,硬件成本要求较高,无法应用于低算力、低存储力的嵌入式移动端设备,即无法实现在移动端设备的模型部,使得当前花生种植生产环节中无法在实际生产环境中进行花生叶部疾病诊断。
针对上述,提出一种快速、便携、智能化的花生叶片病害识别方法与装置,则成为本发明所面临的课题。
发明内容
为解决当前花生种植生产环节中存在的叶片病害诊断效率低下,无法在实际生产环境中进行花生叶部疾病诊断的弊端,提出一种可在便携式设备上运行的花生叶部病害识别方法,其采用如下方案:
一种花生叶片病害识别方法,包括:
步骤A、在线获取花生单叶病害图片;
步骤B、调用训练完成且已部署的模型文件进行叶片病害种类识别;
所述步骤B中模型文件的训练与部署过程包括:
步骤B1、花生叶部病害数据集建立;
步骤B2、数据优化处理;
在数据集D={[M1,M2,M3,····Mi][N1,N2N3,····Nj]T}中检索样本数量N最大值 Nmax记为Nymax,并标记Nymax对应的种类Mx,其中Mi为种类数(i∈[1,5]),Ni为对应Mi的样本数目;选取Nymax为分子,以Ni为分母计算比例因子Ci,
Figure BDA0003262073990000021
进而得到比例因子C={C1,C2···Ci},并根据比例常数对稀有类样本进行上采样,得到公式: Ni'=Ni×Ci(i∈[1,5]),再由比例因子Ci的大小采取如下上采样措施
Figure BDA0003262073990000022
Figure BDA0003262073990000023
B3.模型的构建
以轻量级卷积神经网络的卷积层为特征提取器,提取花生叶部病斑特征,以线性叠加的方式构造序贯型网络模型,在迁移轻量级卷积神经网络卷积层的基础上,在卷积层后重新添加分类器,分类器中包含归一化层、全局平均池化层、展平层以及Dropout层和L2正则化约束层,重新构建的型分类器与迁移的卷积层线性叠加,将特征提取器的输出连接至分类器,其中L2正则化约束公式为
Figure BDA0003262073990000024
其中,Ein表示未包含正则化项的训练样本误差,λ为正则化参数,w为权重;
B4.模型训练
B5.模型评估模块,使用混淆矩阵对所得模型进行验证和评估;
B6.模型量化模块,获得网络分支结构和权重文件经过量化工具转换得到轻量化后的可部署模型文件。
进一步地,所述步骤B3中,超参数设定时,采用动态衰减学习率,设定学习率η、一阶矩阵估计指数衰减率β1、二阶矩阵估计指数衰减率β2、模糊因子ε、单次衰减值参数,通过自适应矩估计来优化算法,优化算法中由以下公式来更新网络权重:
mt=β1mt-1+(1-β1)gt
vt=β2vt-1+(1-β2)gt 2
Figure BDA0003262073990000031
Figure BDA0003262073990000032
Figure BDA0003262073990000033
其中,
Figure BDA0003262073990000034
表示算是函数的下降梯度,θt表示损失第t轮的参数,J(θt)表示损失函数, mt表示梯度gt的一阶矩,vt表示gt的二阶矩,
Figure BDA0003262073990000035
为mt的偏置矫正,
Figure BDA0003262073990000036
为vt的偏置矫正,更新后的学习率:
Figure BDA0003262073990000037
实现学习率的自动衰减更新。
进一步地,所述步骤B1包括:对原始图像进行裁剪和分类,统一缩放为224×224像素大小,并进行病害分类,得到不同病害分类下的原始数据集。
进一步地,所述步骤B4包括:模型训练时采用学习率指数衰减算法,设置初始学习率为0.0001,神经元失活率0.2,迭代次数为50,一阶矩估计β1=0.9,二阶矩估计β2=0.999,完成模型的训练并保存。
进一步地,所述步骤B5中通过如下指标进行评估:
Figure BDA0003262073990000038
公式节(下一节)公式节(下一节)、
Figure BDA0003262073990000039
其中,P为精确率,R为查全率,Acc为准确率,TP为将正样本预测为正的数目,TN为将负样本预测为负的数目,FN为将正样本错误预测为负的数目,FP为将负样本错误预测为正的数目。
与现有技术相比,本发明的优点和积极效果如下:
本发明提出一种可在便携式设备上运行的花生叶部病害识别方法,针对于便携式设备低算力的不足以及小数据集极易过拟合问题,提出针对性的模型优化办法,降低数据运算的复杂度,提升了模型在低算力设备上运转的可行性,构建出适应于在低算力设备上运行的花生叶部病害识别模型。针对数据集中不同种类样本数量差距巨大,极易导致过拟合问题,通过数据优化处理算法实现数据集的均衡化,在提升训练质量的同时,避免了过拟合问题。以轻量级卷积神经网络模型为基础,通过迁移原始轻量级卷积神经网络的卷积层提取花生叶部病害特征,重新添加归一化层、全局平均池化层、展平层、全连接层以及Softmax分类层构建花生叶部病害识别模型,并完成在嵌入式设备上的部署。可通过摄像头获取花生植株单叶片图像,并自动保存在装置内部存储器内,在软件内选择相应图像后,自动分类病害种类,实现在线快速检测病害。
本申请花生叶部病害识别方法可最终在嵌入式设备上完成部署,进而实现便携式在线诊断,无需计算机支持,可独立运行和解析模型,实现在田间地头的在线即时诊断,提高诊断效率,为花生病虫害的诊治抢占先机,对推动农业可持续与高质量高效发展具有十分重要的意义。
附图说明
图1是本发明的总体流程图;
图2是数据集建立流程图;
图3是轻量级卷积神经网络的结构图;
图中:301、输入层;302卷积层(特征提取器);303、Softmax层;
图4是本申请花生叶部病害识别网络模型结构框图;
图5是三种轻量级卷积神经网络训练过程中准确度的变化曲线图;
图6是三种轻量级卷积神经网络训练过程中损失值的变化曲线。;
图7是自建花生叶部病害数据集各类疾病及健康叶片。
具体实施方式
为了使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明的具体实施方式做详细的说明。
在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施方式的限制。
实施例一,参考图1,本实施例提出一种花生叶片病害识别方法,包括花生叶片病害识别网络训练方法和花生叶片病害识别网络识别方法。
花生叶片病害识别网络训练方法包括以下步骤。
第一步,数据集的建立,参考图7,采集自然状态下的花生叶部病害图像,建立原始数据集,通过对原始数据集中的图像进行有效裁剪,并缩放至224×224像素,得到单叶状态下的花生叶部病害原始数据集,进一步进行分类,得到不同病害种类的数据集。
自建花生数据集图像样张来源于中国山东省烟台市农业植保站专用试验田(37°31′47″ N,121°24′41″E)和中国山东省青岛市城阳区惜福镇街道花生种植田(36°19′11″N,120° 23′45″E),采集时间从2009年至2021年,分别使用OLYMPUS IMAGING CORP.C7070WZ相机(CCD相机,主要参数设定有光圈值f/45、曝光时间1/100秒、焦距11毫米、分辨率3072×2304像素)、SONY DSC-HX30V相机(CMOS式传感器相机,主要参数设定有光圈值 f/32、曝光时间1/500秒、焦距4毫米、分辨率4896×2752像素)和Canon EOS Kiss X5(数码摄像机,主要参数设定有光圈f/5.6、曝光时间1/100秒、焦距55毫米、分辨率5184×3456 像素)拍摄,原始数据集中包含大量患病花生叶以及健康花生叶远景照片。获得图像后依据病害种类手动划分,按照图像中叶片的大小用截图工具进行手动裁剪,以获得单叶状态图像。该数据集中包含a.褐斑病、b.黑斑病、e.网斑病、普通花叶病d.四种病态叶片以及c.健康叶片。经过裁剪后,共获得每类叶片116-536张不等。各类叶部疾病图像如图7所示。
第二步,数据处理
传统数据处理只会完成数据集的扩增,以此来实现数据增强。本申请针对的是花生叶片病害识别,原始数据集中不同病害的分布比例均衡与否严重影响着网络的性能,对于小样本数据极易出现过度拟合,从而忽略小体量样本的特征学习,致使网络对于小体量样本识别错误,效率低下。因此本申请在对数据集进行数据增强扩容之前,对数据进行优化处理,以增强网络的泛化能力。
原始数据集中样本数量最大与最小比例较大时,通过修改采样方式的形式来实现数据平衡。具体如下:
1)去粗:通过裁剪得来的原始数据集中部分叶片图像肉眼无法明确分辨其病害种类,以及部分图像过于模糊,因此在原始数据集中对部分质量较差样本进行去粗处理。
2)检索:在原始数据集D={[M1,M2,M3,····Mi][N1,N2N3,····Nj]T}中检索样本数量N 最大值Nmax记为Nymax,并标记Nymax对应的种类Mx。其中Mi为种类数(i∈[1,5]),Ni为对应Mi的样本数目。
3)计算比例常数C:选取Nymax为分子,以Ni为分母计算比例因子Ci,
Figure BDA0003262073990000061
4)上采样:由(1.1)得到比例因子C={C1,C2···Ci},并根据比例常数对稀有类样本进行不同手段的上采样,得到下式:
Ni'=Ni×Ci(i∈[1,5]) (4.2)
通过分段复杂上采样方式实现数据的优化均衡,再由比例因子Ci的大小采取不同上采样措施:
Figure BDA0003262073990000062
5)输出:得到D'={[M1,M2,M3,····Mi][N1′,N2′,N3′,····Nj′]T}为均衡后输出。
基于以上的数据优化处理算法和图像处理算法,采取旋转、增强、镜像、对称等多种图像处理算法,实现对原始数据集的均衡化操作,得到最终所使用的数据集。并随机抽取1/10 作为模型的测试集,其余部分再按照4:1比例划分为训练集和验证集。本申请通过数据优化处理算法对样本数量较小数据集进行扩增,以均衡数据集的分布,避免数据分布倾斜问题,在数据处理均衡后能够有效提升网络训练初期的准确度,进而节省训练时间。
参照上述方法,在自建花生叶部病害数据集D={[M1黑斑病,M2褐斑病,M3健康叶片,M4 花叶病,M5网斑病][N1=138,N2=266,N3=536,N4=116,N5=159]T}中,花叶病样张最少,仅有 N4=116张,而样张数目最多的为健康叶片536张,因此依据上述数据处理方法,取N3max=536,因此比例常数C1=536/138=3(向下取整),故N1′=N1×C1=138×3=414张,同理 N2′=N2×C2=266×2=532,N4′=N4×C4=116×4=464,N5′=N5×C5=159×3=477,并再次进行去粗处理。
由于数据集相对较小,极易导致网络过拟合问题。为避免过拟合问题,又对均衡后的数据集进行增强处理,通过旋转、镜像、亮度调整三种措施完成对数据集的扩增任务,经遴选去粗后,扩增数据集共计9692张图片,并将所有照片统一处理成224*224像素大小,其中包括黑斑病1656张、褐斑病2128张、健康叶片2144张、普通花叶病1856张、网斑病1908张。
扩增后的数据集按照9:1的比例进一步划分成两个数据集,其一为训练、验证数据集,包含8723张叶部图片,另一为测试集包含969张照片,测试集不参与网络训练学习过程,仅会被用于最终网络性能的测试。训练、验证测试集中进一步按照4:1的比例划分为训练集和验证集,训练集包含6978张、验证集包含1745张叶部照片。表1展现了原始及数据均衡、增强后数据集的分布情况。
表1.数据增强前后花生叶部病害数据集分布情况
Figure BDA0003262073990000071
第三步,模型构建模块
参考图3,针对于花生叶片病害识别的发病叶片差异性小、相似度高、以及终端部署设备数据计算能力小的特点,在现有Keras框架下,选择数据量最小、分类准确度高、且可量化部署的轻量级卷积神经网络来构建花生叶部病害识别模型。以三种轻量级卷积神经网络 (MobileNet V2、Xception、NasNetMobile)的卷积层为特征提取器,提取花生叶部病变特诊。采用线性叠加的方式构造序贯型网络模型,在迁移的轻量级卷积神经网络卷积层后添加全新分类器。轻量级网络与传统深度卷积网络部分参数对比如下:由图表2可见轻量级网络参数量大幅减少,进而避免了对于高算力的要求。
表2.多种网络参数对比
Figure BDA0003262073990000081
考虑到最终部署硬件的小算力问题,在选用轻量级卷积网络的基础上,如图4所示,分类器中包含了分类器中包含归一化层、全局平均池化层以及展平层来降低数据的运算复杂度,另引入Dropout及L2正则化约束等策略防止网络的过拟合问题,最终构建出花生叶部疾病分类模型。重新构建的分类器包含全局平均池化层、展平层、全连接层FC以及Softmax分类层,以及Dropout层和L2正则化约束层。重新构建的模型分类器与迁移的卷积层线性叠加,且在每一网络层级都对层的输入输出设定值,即修改每一层的输入输出尺寸大小,设定每一层包含的超参数,保证将特征提取器即卷积层的输出连接至分类器,实现特征提取和分类输出的有机衔接。传统的模型分类器一般只有单Softmax层构成,本申请分类器添加了更多数据降维和防止过拟合的网络层级,极大地降低模型的运算复杂度,提升网络的泛化性能,以便进行后期的部署和解析。
进行多次验证,其中所添加的归一化层能够有效提升模型的收敛速度,节省训练时间,全局平均池化层和展平层能够将数据维度从3D降低到1D,进而大幅度降低数据运算的复杂度,所添加的Dropout层能够设置神经元的随机失活率,达到防止过拟合的目的,引入L2正则化约束策略能够有效抑制网络的过拟合问题,提升模型的泛化能力和普适性,最终由 Softmax层给出最佳的分类决策。L2正则约束公式为式如下:
Figure BDA0003262073990000091
式中Ein表示未包含正则化项的训练样本误差,λ为正则化参数,w为权重,通过调整权重实现不同的约束参数更新。
接下来进行超参数设定,选定初始学习率、批大小、迭代次数等超参数,指定自适应矩估计(Adam)优化算法,采用动态衰减学习率,设定学习率η、一阶矩阵估计指数衰减率β1、二阶矩阵估计指数衰减率β2、模糊因子ε、单次衰减值等参数,优化算法中由以下公式来更新网络权重。
mt=β1mt-1+(1-β1)gt (1)
vt=β2vt-1+(1-β2)gt 2 (2)
Figure BDA0003262073990000092
Figure BDA0003262073990000093
Figure BDA0003262073990000094
其中,
Figure BDA0003262073990000095
表示算是函数的下降梯度,θt表示损失第t轮的参数,J(θt)表示损失函数, mt表示梯度gt的一阶矩,vt表示gt的二阶矩,
Figure BDA0003262073990000096
为mt的偏置矫正,
Figure BDA0003262073990000097
为vt的偏置矫正.有上述公式可以得出,方程(1)和方程(2)对梯度和梯度的平方进行了滑动平均计算,即更新一阶矩和二阶矩,方程(3)、(4)分别更新一阶矩和二阶矩的偏置矫正,最后由式(5)给出参数更新,其中更新后的学习率:
Figure BDA0003262073990000098
实现学习率的自动衰减更新。
第四步,模型训练
对所构建模型进行训练和验证,利用前文所述的模型评估模块中定义的标准,对训练所得原始模型进行性能评估。模型评估通过后,使用TensorFlow Lite量化工具将原始模型转化为轻量化的可部署模型文件。
采用上述方法,对测试集数据进行预测分析,并计算识别准确率等参数。首先使用本申请构建的三种轻量化花生叶部病害别模型进行训练,由图5、6可以看出,本申请所提出的三种轻量级卷积神经网络均在40个训练周期内达到收敛,基于NasNetMobile网络的花生叶部病害识别模型收敛较慢,但仍在训练周期模型内达到稳定。通过训练,得到3种模型对花生叶片病害识别的性能,如表3、4、5所示。
表3.MobileNet V2各疾病分类PRF值
Figure BDA0003262073990000101
表4.Xception各疾病分类PRF值
Figure BDA0003262073990000102
表5.NasNetMobile各疾病分类PRF值
Figure BDA0003262073990000103
对比三种网络计算其Macro_P、Macro_R、Macro_F值。如表6所示。
表6.三种模型的Macro值
Figure BDA0003262073990000111
通过表4数据所显示,三种轻量级卷积神经网络模型对于花生叶部病害识别具有较高的参数标准,其Macro_P值、Macro_R均超过0.980,、Macro_F1值亦超过0.981。具有较高的分类准确度。
第五步,模型评估
本申请使用混淆矩阵对所得模型进行验证和评估。在精度评价标准格式混淆矩阵中有以下变量定义:TP:将正样本预测为正的数目,TN:将负样本预测为负的数目,FN:将正样本错误预测为负的数目,FP:将负样本错误预测为正的数目,于是上述评价指标定义如下:
精确率(Precision):
Figure BDA0003262073990000112
查全率(Recall):
Figure BDA0003262073990000113
准确率(Accuracy):
Figure BDA0003262073990000114
综合评价指标(F1-Sccore),对Precision和Recall求加权调和平均,定义如下:
Figure BDA0003262073990000115
取上式中α=1,得到最常见综合评价指标F1
Figure BDA0003262073990000116
依据于上述评价标准,使用所得模型对测试集样本进行预测分类,并计算以上数值,完成模型评估。
采用上述方法,对测试集数据进行预测分析,并计算识别准确率等参数。使用本申请所提出的基于迁移学习方式构建的三种轻量化花生叶部病害别模型进行训练,由图5、图6可以看出,在相同学习率、优化器等条件下,建立数据优化处理算法前后,数据集大小相差近3倍时,MobileNet V2、NasNetMobile在学习后期准确度变化曲线基本重合,而Xception在均衡前后准确度曲线有较大提升,此外在引入数据优化处理算法后Xception、MobileNetV2 初始训练时准确度及损失参数较优。
第六步,模型量化模块,获得网络分支结构和权重文件经过量化工具转换得到轻量化后的可部署模型文件。
本申请花生叶片病害识别网络识别方法,包括:识别花生单叶病害图片,采用训练完成且已部署的模型文件进行叶片病害种类识别,并实现嵌入式设备上的离线识别诊断。在获得单叶状态的花生叶部病害图像后,通过图像处理算法,将获得图像统一缩放至224×224像素大小,进而图像进入网络的输入层,进行模型匹配预处理,预处理完成后,通过归一化层对图像进行归一化操作,归一化后的图像由迁移的轻量级卷积神经网络卷积层提取病害叶部特征,并进行多次归一化和卷积操作,提取叶部细节特征;获得叶部病害特征信息后,特征提取器将特征输出,送入分类器,进行数据降维,最终由Softmax预测分类结果输出,得到最终的花生叶片病害识别结果。
本申请在自建花生叶部病害数据集的基础上,对原始数据集均衡化,然后进行数据增强处理,达到扩增数据集的目的。以三种轻量级卷积神经网络为基础网络,分别构建花生叶部疾病检测识别模型,并依次进行对比试验,将所得实验数据依据于客观评价标准进行衡量,分析网络的综合性能,最终模型量化后在低成本、便携式嵌入式设备完成部署,开发相应的软件,搭建交互界面,以便于实际生产环境中使用,实现现场甄别叶片病害。
实施例二,本实施例提出一种便携式的花生叶部病害识别装置。
现有技术中,通过神经网络来进行植物病害检测,服务端多数仍只是停留在PC机上,无法便捷地应用于实际的生产环境中。本申请将模型部署于嵌入式平台上,完成便携式的装备开发,实现现场识别花生病害。
本申请包括控制器模块、图像获取模块、显示模块及电源模块。所述控制模块包含可实现网络部署的嵌入式操作***设备,该控制模块用于对输入图像进行识别分类,并用以存储模型文件以及花生叶部病害数据资料库;图像获取模块连接至控制模块,本申请使用高清摄像头获取花生叶部图像;显示模块连接至控制器模块,用于实现软件交互以及数据显示功能;电源模块连接至控制器模块,使用锂电池为便携式装置供电。
其中选用Raspberry Pi作为控制模块,主要配置参数:RAM:4GB(DDR4);CPU:1.5GHz(Crotex A-72),摄像头采用芯片OV5647,500万像素。触摸屏幕采用3.5Inch RPi电阻触摸屏,SPI接口。Raspberry Pi 4B中安装操作***Raspberry 10(Buster)。
整个装置尺寸较小,可实现手持。显示模界面分为左右不分,右半部分设置触摸按键,分别为打开相机按钮、拍照按钮、检测按钮,左半部分为显示区。当按下打开相机按钮后,由软件调用外部摄像设备,弹出窗口显示实时画面,以便调整对焦位置,对准叶片后,按下拍照按钮,自动拍照保存并结束摄像设备进程,所拍照片按照数字递增的方式进行命名,存储在指定的SD卡路径下,自动或手动指定照片,最后按下检测按钮,等待两秒钟即可在界面查看叶片所患疾病种类(或健康),可在下方输出推荐用药。
本申请在实际生产田地中,可直接通过背部摄像头获取植物病害叶片图像,获得病害图像后,可直接进行在线识别,片刻之后,软件界面推送出识别结果和相应的推荐指导药物。通过实际现场测试,使用本发明中能够所涉及的实例,花生叶部病害识别装置现场共随机拍摄患病花生叶片237张,其中包含上述4种病态以及一种健康状态叶片,装置在线准确分类 203张,错误分类34张,平均正确识别率达到85.65%。具有一定的实用性及准确性。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作其它形式的限制,任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域,但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型,仍属于本发明技术方案的保护范围。

Claims (5)

1.一种花生叶片病害识别方法,其特征在于包括:
步骤A、在线获取花生单叶病害图片;
步骤B、调用训练完成且已部署的模型文件进行叶片病害种类识别;
所述步骤B中模型文件的训练与部署过程包括:
步骤B1、花生叶部病害数据集建立;
步骤B2、数据优化处理;
在数据集D={[M1,M2,M3,····Mi][N1,N2N3,····Nj]T}中检索样本数量N最大值Nmax记为Nymax,并标记Nymax对应的种类Mx,其中Mi为种类数(i∈[1,5]),Ni为对应Mi的样本数目;选取Nymax为分子,以Ni为分母计算比例因子Ci,
Figure FDA0003262073980000011
进而得到比例因子C={C1,C2···Ci},并根据比例常数对稀有类样本进行上采样,得到公式:Ni'=Ni×Ci(i∈[1,5]),再由比例因子Ci的大小采取如下上采样措施
Figure FDA0003262073980000012
Figure FDA0003262073980000013
B3.模型的构建
以轻量级卷积神经网络的卷积层为特征提取器,提取花生叶部病斑特征,以线性叠加的方式构造序贯型网络模型,在迁移轻量级卷积神经网络卷积层的基础上,在卷积层后重新添加分类器,分类器中包含归一化层、全局平均池化层、展平层以及Dropout层和L2正则化约束层,重新构建的分类器与迁移的卷积层线性叠加,在每一网络层级设定每一层包含的超参数,将特征提取器的输出连接至分类器,其中L2正则化约束公式为
Figure FDA0003262073980000014
其中,Ein表示未包含正则化项的训练样本误差,λ为正则化参数,w为权重;
B4.模型训练
B5.模型评估模块,使用混淆矩阵对所得模型进行验证和评估;
B6.模型量化模块,获得网络分支结构和权重文件经过量化工具转换得到轻量化后的可部署模型文件。
2.根据权利要求1所述的花生叶片病害识别方法,其特征在于,所述步骤B3中,超参数设定时,采用动态衰减学习率,设定学习率η、一阶矩阵估计指数衰减率β1、二阶矩阵估计指数衰减率β2、模糊因子ε、单次衰减值参数,通过自适应矩估计来优化算法,优化算法中由以下公式来更新网络权重:
mt=β1mt-1+(1-β1)gt
vt=β2vt-1+(1-β2)gt 2
Figure FDA0003262073980000021
Figure FDA0003262073980000022
Figure FDA0003262073980000023
其中,
Figure FDA0003262073980000024
表示算是函数的下降梯度,θt表示损失第t轮的参数,J(θt)表示损失函数,mt表示梯度gt的一阶矩,vt表示gt的二阶矩,
Figure FDA0003262073980000025
为mt的偏置矫正,
Figure FDA0003262073980000026
为vt的偏置矫正,更新后的学习率:
Figure FDA0003262073980000027
实现学习率的自动衰减更新。
3.根据权利要求1所述的花生叶片病害识别方法,其特征在于,所述步骤B1包括:对原始图像进行裁剪和分类,统一缩放为224×224像素大小,并进行病害分类,得到不同病害分类下的原始数据集。
4.根据权利要求1所述的花生叶片病害识别方法,其特征在于,所述步骤B4包括:模型训练时采用学习率指数衰减算法,设置初始学习率为0.0001,神经元失活率0.2,迭代次数为50,一阶矩估计β1=0.9,二阶矩估计β2=0.999,完成模型的训练并保存。
5.根据权利要求1所述的花生叶片病害识别方法,其特征在于,所述步骤B5中通过如下指标进行评估:
Figure FDA0003262073980000028
其中,P为精确率,R为查全率,Acc为准确率,TP为将正样本预测为正的数目,TN为将负样本预测为负的数目,FN为将正样本错误预测为负的数目,FP为将负样本错误预测为正的数目。
CN202111075342.6A 2021-09-14 2021-09-14 花生叶片病害识别方法 Pending CN113688787A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111075342.6A CN113688787A (zh) 2021-09-14 2021-09-14 花生叶片病害识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111075342.6A CN113688787A (zh) 2021-09-14 2021-09-14 花生叶片病害识别方法

Publications (1)

Publication Number Publication Date
CN113688787A true CN113688787A (zh) 2021-11-23

Family

ID=78586522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111075342.6A Pending CN113688787A (zh) 2021-09-14 2021-09-14 花生叶片病害识别方法

Country Status (1)

Country Link
CN (1) CN113688787A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463860A (zh) * 2021-12-14 2022-05-10 浙江大华技术股份有限公司 检测模型的训练方法、活体检测方法及相关装置
CN116168223A (zh) * 2023-04-20 2023-05-26 华南农业大学 一种基于多模态的花生叶斑病病害等级检测方法
CN117237334A (zh) * 2023-11-09 2023-12-15 江西联益光学有限公司 一种基于深度学习的手机镜头杂光检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086799A (zh) * 2018-07-04 2018-12-25 江苏大学 一种基于改进卷积神经网络模型AlexNet的作物叶片病害识别方法
CN109345476A (zh) * 2018-09-19 2019-02-15 南昌工程学院 基于深度残差网络的高光谱图像超分辨率重建方法及装置
CN110378383A (zh) * 2019-06-19 2019-10-25 江苏大学 一种基于Keras框架和深度神经网络的图片分类方法
CN111222545A (zh) * 2019-12-24 2020-06-02 西安电子科技大学 基于线性规划增量学习的图像分类方法
CN113158754A (zh) * 2021-02-04 2021-07-23 安徽农业大学 一种番茄病害图像识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086799A (zh) * 2018-07-04 2018-12-25 江苏大学 一种基于改进卷积神经网络模型AlexNet的作物叶片病害识别方法
CN109345476A (zh) * 2018-09-19 2019-02-15 南昌工程学院 基于深度残差网络的高光谱图像超分辨率重建方法及装置
CN110378383A (zh) * 2019-06-19 2019-10-25 江苏大学 一种基于Keras框架和深度神经网络的图片分类方法
CN111222545A (zh) * 2019-12-24 2020-06-02 西安电子科技大学 基于线性规划增量学习的图像分类方法
CN113158754A (zh) * 2021-02-04 2021-07-23 安徽农业大学 一种番茄病害图像识别方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463860A (zh) * 2021-12-14 2022-05-10 浙江大华技术股份有限公司 检测模型的训练方法、活体检测方法及相关装置
CN114463860B (zh) * 2021-12-14 2023-05-23 浙江大华技术股份有限公司 检测模型的训练方法、活体检测方法及相关装置
CN116168223A (zh) * 2023-04-20 2023-05-26 华南农业大学 一种基于多模态的花生叶斑病病害等级检测方法
CN117237334A (zh) * 2023-11-09 2023-12-15 江西联益光学有限公司 一种基于深度学习的手机镜头杂光检测方法
CN117237334B (zh) * 2023-11-09 2024-03-26 江西联益光学有限公司 一种基于深度学习的手机镜头杂光检测方法

Similar Documents

Publication Publication Date Title
CN110728224B (zh) 一种基于注意力机制深度Contourlet网络的遥感图像分类方法
CN113688787A (zh) 花生叶片病害识别方法
CN108764372A (zh) 数据集的构建方法和装置、移动终端、可读存储介质
CN108875821A (zh) 分类模型的训练方法和装置、移动终端、可读存储介质
CN111696101A (zh) 一种基于SE-Inception的轻量级茄科病害识别方法
AU2020100052A4 (en) Unattended video classifying system based on transfer learning
CN115644823B (zh) 康复效果动态预测及个体化干预***
CN112699941B (zh) 植物病害严重程度图像分类方法、装置、设备和存储介质
CN114359727A (zh) 基于轻量级优化Yolo v4的茶叶病害识别方法及***
CN110689523A (zh) 基于元学习个性化图像信息评价方法、信息数据处理终端
WO2023236319A1 (zh) 一种面向微控制器的卷积神经网络部署和优化方法
CN109118487A (zh) 基于非下采样轮廓波变换和卷积神经网络的骨龄评估方法
CN112749675A (zh) 一种基于卷积神经网络的马铃薯病害识别方法
CN110096976A (zh) 基于稀疏迁移网络的人体行为微多普勒分类方法
CN112668486A (zh) 一种预激活残差深度可分离卷积网络面部表情识别方法、装置和载体
Rai et al. Classification of diseased cotton leaves and plants using improved deep convolutional neural network
CN117010971B (zh) 一种基于人像识别的智能健康险提供方法及***
Kiratiratanapruk et al. Automatic detection of rice disease in images of various leaf sizes
Yang et al. Rapid image detection and recognition of rice false smut based on mobile smart devices with anti-light features from cloud database
CN114049935A (zh) 一种基于多卷积神经网络的her2图像分类***
CN117315380A (zh) 一种基于深度学习的肺炎ct图像分类方法及***
CN111445024A (zh) 一种医学影像识别训练方法
CN115457366A (zh) 基于图卷积神经网络的中草药多标签识别模型
Li et al. Early drought plant stress detection with bi-directional long-term memory networks
Rajeswarappa et al. Crop Pests Identification based on Fusion CNN Model: A Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination