CN113627281A - 一种基于SK-EfficientNet的轻量级农作物病害识别方法 - Google Patents
一种基于SK-EfficientNet的轻量级农作物病害识别方法 Download PDFInfo
- Publication number
- CN113627281A CN113627281A CN202110835299.2A CN202110835299A CN113627281A CN 113627281 A CN113627281 A CN 113627281A CN 202110835299 A CN202110835299 A CN 202110835299A CN 113627281 A CN113627281 A CN 113627281A
- Authority
- CN
- China
- Prior art keywords
- convolution
- mbconv
- efficientnet
- kernel
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于SK‑EfficientNet的轻量级农作物病害识别方法,包括以下步骤:训练阶段:获取植物病害图像作为输入训练数据集;对训练数据集中的植物病害图像进行预处理;构建基于SK‑EfficientNet的分类模型;针对EfficientNet的核心模块移动翻转瓶颈卷积MBConv进行改进,将原有SENet模块替换为SKNet,形成SK‑MBConv网络结构;将SK‑MBConv融合原始EfficientNet模型,形成SK‑EfficientNet网络模型;对SK‑EfficientNet分类模型进行学习训练,保存训练好的模型;测试阶段:输入待识别的植物图像,通过训练好的SK‑EfficientNet分类模型对植物图像进行识别。本发明结合EfficientNet高速度与精度、SKNet高特征提取能力的优点,在减少模型参数的同时更好地识别出不同农作物的多种病害类别,尤其是复杂的农作物病害,并具有更高的识别精度。
Description
技术领域
本发明涉及植物病害图像识别技术领域,尤其涉及一种基于SK-EfficientNet的轻量级农作物病害识别方法。
背景技术
随着计算机技术的不断发展,以机器学习为代表的识别方法也应用到了农作物的病害识别之中。在农作物病害的识别过程中,该识别模式需提取出农作物病害图像的多个特征并加以判断,最终便可通过训练学习的方式识别出病害的类别,具有较好的效果。与此同时,也出现了一系列图像预处理方法及特征选择技术,如图像增强和主成分分析方法等,加强了对病害特征的提取程度,因此,特征的提取与处理成为了该识别模式效果好坏的一个关键因素。但无论该识别模式如何发展,在识别之前需手动提取特征,一方面造成了较大的工作量,另一方面对于特征的处理不当则会造成识别效果的降低。因此,该识别模式具有一定的局限性,在实际中也无法大量推广。
近年来,深度学习在图像识别领域中应用较为广泛,而卷积神经网络是深度学习的典型代表之一,该网络不仅具有很强的学习能力,而且可以实现图像特征的自动提取并达到很好的识别效果,相比于传统的机器学习方法,深度学习可以直接将图像作为输入,并从原始像素中经过少量的预处理得到图像的有效表征。卷积神经网络能够提取农作物病害图像中丰富、抽象、深层次的语义信息,在很大程度上优于传统的农作物病害识别方法。其中具有代表性的网络主要有AlexNet,VGG,GoogleNet和ResNet。然而,这些经典的网络构建的越来越深,所需模型参数也越来越多,过多的参数会导致网络运行速度下降和占用内存增大,不利于模型的部署与应用。
当前基于CNN的分类模型朝向了更深或更宽层的复杂结构演进。虽然在一定程度上取得不错效果,但是深层意味着网络模型具有更多的参数,这不仅增加了计算开销,同时对计算机硬件设备要求更高。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷,提供一种基于SK-EfficientNet的轻量级农作物病害识别方法。
本发明解决其技术问题所采用的技术方案是:
本发明提供一种基于SK-EfficientNet的轻量级农作物病害识别方法,该方法包括以下步骤:
训练阶段:
步骤1:获取包含多种病害种类的植物病害图像,作为输入的训练数据集;
步骤2:对训练数据集中的植物病害图像进行预处理,包括:随机裁剪、旋转、高斯模糊添噪、颜色增亮、调整各种类图像数量、统一图像尺寸;
步骤3:构建基于SK-EfficientNet的分类模型;针对EfficientNet的核心模块移动翻转瓶颈卷积MBConv进行改进,将原有SENet模块替换为SKNet,首先将MBConv模块卷积核为k的卷积替换为3×3深度可分离卷积和dilation为2的3×3空洞卷积,对输入特征进行不同卷积核大小的完整卷积操作,再通过全局平均池化来获得全局信息、两个全连接层找到不同卷积核所占权重比,最后在通道方向进行softmax操作,形成SK-MBConv网络结构;将SK-MBConv融合原始EfficientNet模型,形成SK-EfficientNet网络模型;
步骤4:对SK-EfficientNet分类模型进行学习训练;将训练数据集中的植物病害图像输入SK-EfficientNet分类模型进行训练,保存训练好的模型;
测试阶段:
步骤5、输入待识别的植物图像,通过训练好的SK-EfficientNet分类模型对植物图像进行识别,获得特征向量,利用全连接层进行病害识别判定,获得该植物图像在每一类下的概率,概率值最大的即为对应的图像类别。
进一步地,本发明的所述步骤1中:
输入的训练数据集采用PlantVillage数据库,该数据库收录了大量的植物病害图像,提取其中番茄叶片图像作为源数据,共10个类别,包括9种病害和健康叶片,9种病害包括:细菌性斑点病、早疫病、晚疫病、叶霉病、斑枯病、二斑叶螨病、轮斑病、花叶病、黄化曲叶病,图像总数超过18160张。
进一步地,本发明的所述步骤2中:
1)随机裁剪:在植物病害图像的不同区域随机裁剪出局部图像从而得到更多的数据;
2)旋转:将部分植物病害图像沿着顺时针随机旋转90、180和270度,模拟真实农业场景角度差异情况,以提高变形适应性;
3)高斯模糊添噪:对植物病害图像添加椒盐噪声和高斯噪声,模拟拍摄不同清晰度的样本;
4)颜色增亮:以指数方式更改每个像素的饱和度S和亮度V分量,并保持色相H不变,以增加照明变化;S和V通道分别使用从[0.25,4]均匀得出的系数进行缩放;
5)调整各种类图像数量:对样本数量明显过多的类别,随机剔除一部分样本,使该类别的植物病害图像数量维持在一个平均水平上;
6)统一图像尺寸:最后将所有植物病害图像的尺寸统一为256×256像素。
进一步地,本发明的所述步骤3中SK-MBConv网络结构具体为:
首先对特征图进行1×1普通卷积升维,再分别进行3×3深度可分离卷积和dilation为2的3×3空洞卷积,得到两个新的特征图和再将两个分支的结果通过逐元素求和来融合,得到新的特征图U,接着将新的特征图U依次经过全局平均池化层、两个全连接层和softmax操作,再经过1×1普通卷积降维,最后将Droupout失活函数得到的特征图与原始特征图进行融合,得到最终的特征图。
进一步地,本发明的所述步骤3中SKNet具体为:
选择性卷积核机制SKNet采用非线性的方法融合来自不同核的特征,使神经元对于不同尺寸的输入信息进行自适应的调整其感受野的大小,其包含了三个操作:Split操作产生多个不同核尺寸的通道与神经元的不同感受野尺寸相关;Fuse操作组合融合来自多通道的信息从而获得一个全局及可理解性的表示用于进行权重选择;select操作根据挑选得到的权重对不同核尺寸的feature map进行融合。
进一步地,本发明的所述步骤3中选择性卷积核机制SKNet的具体方法为:
1)Split:使用不同的卷积核对输入特征图进行卷积;对输入向量X进行不同3×3和5×5的完整卷积操作,得到两个特征图和为进一步提高效率,使用膨胀大小为2,卷积核为3×3的空洞卷积替代传统5×5的卷积;
2)Fuse:将多个分支的结果通过逐元素求和来融合,以获得选择权重的全局和综合表示;首先两个特征图进行求和操作,得到新的特征图U:再通过简单的全局平均池化来嵌入全局信息,生成信道统计信息S∈Rd×1,其中C是模型图中S的特征维数,其公式为:
其中,Fgp表示全局平均池化,Uc表示将步骤一Split融合后得到的新的特征图,H、W分别代表特征图Uc的高和宽,i和j代表Uc在H和W上不同的通道图,Sc表示对每一个通道图的所有像素值求平均值得到的新的通道图;
然后对输出S做全连接找到每一个通道占的比重z,确保卷积核的准确性和自适应性,其公式为:
d=max(C/r,L)
其中,C表示特征维数,r表维数的降低率,L表示d的最小值,取值32;
3)Select:根据选择权重聚合不同大小内核的特征图;首先通过softmax回归出通道和卷积核之间的权重信息,输出矩阵ac,bc,两分支情况下,bc为冗余矩阵,bc=1-ac,其公式为:
进一步地,本发明的所述步骤3中形成的SK-EfficientNet网络模型为:
将SK-MBConv融合原始EfficientNet模型,形成SK-EfficientNet网络模型,由16个SK-MBConv卷积模块、2个卷积层、1个全局平均池化层和1个分类层构成;包括以下阶段:
第一阶段,对输入的2242243的图像进行3×3卷积,再依次经过批归一化层和Swish激活函数,输出一个维度为112×112×32的特征图;
第二阶段,对前一阶段输出的112×112×32的特征图进行SK-MBConv,即改进移动翻转瓶颈卷积,其中SK-MBConv扩张比例为1,深度卷积核大小为3×3,空洞卷积核大小为3×3,核步长1×1,输出一个维度为112×112×16的特征图;
第三阶段,对前一阶段输出的112×112×16的特征图进行两次SK-MBConv,其中两次SK-MBConv的扩张比例都为6,深度卷积核大小为3×3,空洞卷积核大小为3×3,核步长2×2,输出一个维度为56×56×24的特征图;
第四阶段,对前一阶段输出的56×56×24的特征图进行两次SK-MBConv,其中第一次SK-MBConv的扩张比例为6,深度卷积核大小为5×5,空洞卷积核大小为5×5,核步长为2×2,第二次SK-MBConv的核步长为1×1,输出一个维度为28×28×40的特征图;
第五阶段,对前一阶段输出的28×28×40的特征图进行三次SK-MBConv,其中第一次SK-MBConv的扩张比例为6,深度卷积核大小为3×3,空洞卷积核大小为3×3,核步长为2×2,第二次和第三次的核步长为1×1,输出一个维度为14×14×80的特征图;
第六阶段,对前一阶段输出的14×14×80的特征图进行三次SK-MBConv,其中三次SK-MBConv的扩张比例都为6,深度卷积核大小为5×5,空洞卷积核大小为5×5,核步长为1×1,输出一个维度为14×14×112的特征图;
第七阶段,对前一阶段输出的14×14×112的特征图进行四次SK-MBConv,其中第一次SK-MBConv的扩张比例为6,深度卷积核大小为5×5,空洞卷积核大小为5×5,核步长为2×2,第二、三、四次SK-MBConv的核步长为1×1,输出一个维度为7×7×192的特征图;
第八阶段,对前一阶段输出的7×7×192的特征图进行一次SK-MBConv,其中SK-MBConv的扩张比例为6,深度卷积核大小为3×3,空洞卷积核大小为3×3,核步长为1×1,输出一个维度为7×7×320的特征图;
第九阶段,对对输入的7×7×320的特征图像依次进行1×1普通卷积、批归一化、Swish激活函数、全局平均池化层、全连接层和Softmax激活函数,输出分类结果。
进一步地,本发明的所述步骤4中进行学习训练的方法具体为:
1)模型参数设置;
在模型训练过程中,采用批量训练的方法将训练集与验证集分为多个批次batch,其中训练批次设置为16,验证批次为8;遍历一次训练集中的所有图片作为一次迭代epoch,共迭代70轮;采用随机梯度下降优化算法SGD对模型进行优化,设置初始学习率为0.01,为防止过拟合,将正则化系数设为0.0005,学习率分阶段逐次衰减为原来的0.1倍;
2)模型训练;
采用SK-EfficientNet作为基础网络进行训练,包括16个SK-MBConv卷积模块、2个卷积层、1个全局平均池化层和1个分类层构成;首先利用卷积核为32核3×3×3,步长为2×2对输入的224×224×3的图像进行升维操作,得到维度维112×112×32的特征图,接着进行SK-MBConv卷积操作,先经过kxk的深度卷积和dilation为2的3×3空洞卷积,对输入特征进行不同卷积核大小的完整卷积操作,再通过全局平均池化来获得全局信息,两个全连接层找到不同卷积核所占权重比,最后在通道方向进行softmax操作;当出现相同的SK-MBConv时,进行连接失活和输入的跳跃连接;最后经过1×1的逐点卷积恢复原通道,并使用全连接层进行分类;每一个卷积操作后都会进行批归一化和Swish激活函数。
本发明产生的有益效果是:针对目前大多数深度卷积神经网络模型识别所需网络参数量较多,速度慢,精确度不够高的问题,本发明提出一种基于SK-EfficientNet的轻量级农作物病害识别方法,结合EfficientNet高速度与精度、SKNet高特征提取能力的优点,在减少模型参数的同时更好地识别出不同农作物的多种病害类别,尤其是复杂的农作物病害,并具有更高的识别精度。本发明的SK-EfficientNet模型具有以下优点:(1)模型所需参数更少;(2)模型识别精确度更高;(3)模型识别速度更快;(4)模型更方便部署与应用。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明实施例的病害叶片示例图;
图2是本发明实施例的每类番茄病害样本数量;
图3是本发明实施例的各数据增强处理效果;
图4是本发明实施例的SK-MBConv网络结构;
图5是本发明实施例的选择性卷积核机制结构图;
图6是本发明实施例的SK-EfficientNet网络模型。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明实施例的基于SK-EfficientNet的轻量级农作物病害识别方法,该方法包括以下步骤:
训练阶段:
步骤1:获取包含多种病害种类的植物病害图像,作为输入的训练数据集;
本发明所用数据集来源PlantVillage(www.PlantVillage.org)数据库。该数据库收录了大量的植物病虫害图像,本发明提取其中番茄叶片图像作为源数据,共10个类别,包括9种病害和健康叶片,图像总数18160张。图1和图2给出了该数据集的示例样本以及每类样本的数量。
步骤2:对训练数据集中的植物病害图像进行预处理,包括:随机裁剪、旋转、高斯模糊添噪、颜色增亮、调整各种类图像数量、统一图像尺寸;
为了弥补PlantVillage数据样本分布不均匀对模型识别性能影响,以及避免网络过度拟合,本发明在训练之前,对数量较少的样本数据进行增强处理。使用的增强方法有:1)随机裁剪:在较大图像的不同区域随机裁剪出局部图像从而得到更多的数据。2)旋转:将部分图像沿着顺时针随机旋转90、180和270度,模拟真实农业场景角度差异情况,以提高变形适应性;3)高斯模糊添噪:对图像添加椒盐噪声和高斯噪声,模拟拍摄不同清晰度的样本。4)颜色增亮:以指数方式更改每个像素的饱和度S和亮度V分量,并保持色相H不变,以增加照明变化。S和V通道分别使用从[0.25,4]均匀得出的系数进行缩放;各增强方法的预处理效果如图3所示。5)调整各种类图像数量:对样本数量明显过多的类别,随机剔除一部分样本,使该类别的图像数量维持在一个平均水平上。6)统一图像尺寸:最后将所有图像的尺寸统一为256×256像素。经过预处理以后,最终得到的图像样本共31117张,作为最终实验的番茄病害样本数据集。
步骤3:构建基于SK-EfficientNet的分类模型;
1)构建SK-MBConv核心模块;
针对EfficientNet的核心模块移动翻转瓶颈卷积(mobile inverted bottleneckconvolution,MBConv)进行改进,将原有SENet模块替换为SKNet,首先将MBConv模块卷积核为k的卷积替换为3×3深度可分离卷积和dilation为2的3×3空洞卷积,对输入特征进行不同卷积核大小的完整卷积操作,再通过全局平均池化来获得全局信息、两个全连接层找到不同卷积核所占权重比,最后在通道方向进行softmax操作,形成SK-MBConv网络结构,如图4所示,SK-MBConv网络结构具体为:
首先对特征图进行1×1普通卷积升维,再分别进行3×3深度可分离卷积和dilation为2的3×3空洞卷积,得到两个新的特征图和再将两个分支的结果通过逐元素求和来融合,得到新的特征图U,接着将新的特征图U依次经过全局平均池化层、两个全连接层和softmax操作,再经过1×1普通卷积降维,最后将Droupout失活函数得到的特征图与原始特征图进行融合,得到最终的特征图。
选择性卷积核机制SKNet采用一种非线性的方法融合来自不同核的特征可以使神经元对于不同尺寸的输入信息进行自适应的调整其感受野的大小,其包含了三个操作:Split操作产生多个不同核尺寸的通道与神经元的不同感受野尺寸相关;Fuse操作组合融合来自多通道的信息从而获得一个全局及可理解性的表示用于进行权重选择;select操作根据挑选得到的权重对不同核尺寸的feature map进行融合。选择性卷积核机制结构图如图5所示。
1)Split:使用不同的卷积核对输入特征图进行卷积;对输入向量X进行不同3×3和5×5的完整卷积操作,得到两个特征图和为进一步提高效率,使用膨胀大小为2,卷积核为3×3的空洞卷积替代传统5×5的卷积;
2)Fuse:将多个分支的结果通过逐元素求和来融合,以获得选择权重的全局和综合表示;首先两个特征图进行求和操作,得到新的特征图U:再通过简单的全局平均池化来嵌入全局信息,生成信道统计信息S∈Rd×1,其中C是模型图中S的特征维数,其公式为:
然后对输出S做全连接找到每一个通道占的比重Z,确保卷积核的准确性和自适应性,其公式为:
d=max(C/r,L) (3)
3)Select:根据选择权重聚合不同大小内核的特征图;首先通过softmax回归出通道和卷积核之间的权重信息,输出矩阵ac,bc,两分支情况下,bc为冗余矩阵,bc=1-ac,其公式为:
2)构建SK-EfficientNet识别模型
将SK-MBConv融合原始EfficientNet模型,形成SK-EfficientNet网络模型,由16个SK-MBConv卷积模块、2个卷积层、1个全局平均池化层和1个分类层构成。其网络模型如图6所示,形成的SK-EfficientNet网络模型为:
将SK-MBConv融合原始EfficientNet模型,形成SK-EfficientNet网络模型,由16个SK-MBConv卷积模块、2个卷积层、1个全局平均池化层和1个分类层构成;其网络模型如图6所示,图中不同的颜色代表了不同的阶段,第一阶段,对输入的2242243的图像进行3×3卷积,再依次经过批归一化层和Swish激活函数,输出一个维度为112×112×32的特征图。第二阶段,对前一阶段输出的112×112×32的特征图进行SK-MBConv(改进移动翻转瓶颈卷积),其中SK-MBConv扩张比例为1,深度卷积核大小为3×3,空洞卷积核大小为3×3,核步长1×1,输出一个维度为112×112×16的特征图。第三阶段,对前一阶段输出的112×112×16的特征图进行两次SK-MBConv,其中两次SK-MBConv的扩张比例都为6,深度卷积核大小为3×3,空洞卷积核大小为3×3,核步长2×2,输出一个维度为56×56×24的特征图。第四阶段,对前一阶段输出的56×56×24的特征图进行两次SK-MBConv,其中第一次SK-MBConv的扩张比例为6,深度卷积核大小为5×5,空洞卷积核大小为5×5,核步长为2×2,第二次SK-MBConv的核步长为1×1,输出一个维度为28×28×40的特征图。第五阶段,对前一阶段输出的28×28×40的特征图进行三次SK-MBConv,其中第一次SK-MBConv的扩张比例为6,深度卷积核大小为3×3,空洞卷积核大小为3×3,核步长为2×2,第二次和第三次的核步长为1×1,输出一个维度为14×14×80的特征图。第六阶段,对前一阶段输出的14×14×80的特征图进行三次SK-MBConv,其中三次SK-MBConv的扩张比例都为6,深度卷积核大小为5×5,空洞卷积核大小为5×5,核步长为1×1,输出一个维度为14×14×112的特征图。第七阶段,对前一阶段输出的14×14×112的特征图进行四次SK-MBConv,其中第一次SK-MBConv的扩张比例为6,深度卷积核大小为5×5,空洞卷积核大小为5×5,核步长为2×2,第二、三、四次SK-MBConv的核步长为1×1,输出一个维度为7×7×192的特征图。第八阶段,对前一阶段输出的7×7×192的特征图进行一次SK-MBConv,其中SK-MBConv的扩张比例为6,深度卷积核大小为3×3,空洞卷积核大小为3×3,核步长为1×1,输出一个维度为7×7×320的特征图。第九阶段,对对输入的7×7×320的特征图像依次进行1×1普通卷积、批归一化、Swish激活函数、全局平均池化层、全连接层和Softmax激活函数,输出分类结果。
步骤4:对SK-EfficientNet分类模型进行学习训练;将训练数据集中的植物病害图像输入SK-EfficientNet分类模型进行训练,保存训练好的模型;
1)模型参数设置;
在模型训练过程中,采用批量训练的方法将训练集与验证集分为多个批次(batch),其中训练批次设置为16,验证批次为8。遍历一次训练集中的所有图片作为一次迭代(epoch),共迭代70轮。采用随机梯度下降优化算法(Stochastic Gradient Descent,SGD)对模型进行优化,设置初始学习率为0.01,为防止过拟合,将正则化系数设为0.0005,学习率分阶段逐次衰减为原来的0.1倍。
2)模型训练;
采用SK-EfficientNet作为基础网络进行训练,包括16个SK-MBConv卷积模块、2个卷积层、1个全局平均池化层和1个分类层构成。首先利用卷积核为32核3×3×3,步长为2×2对输入的224×224×3的图像进行升维操作,得到维度维112×112×32的特征图,接着进行SK-MBConv卷积操作,先经过kxk的深度卷积和dilation为2的3×3空洞卷积,对输入特征进行不同卷积核大小的完整卷积操作,再通过全局平均池化来获得全局信息,两个全连接层找到不同卷积核所占权重比,最后在通道方向进行softmax操作。当出现相同的SK-MBConv时,进行连接失活和输入的跳跃连接。最后经过1×1的逐点卷积恢复原通道,并使用全连接层进行分类。注意该模块中的每一个卷积操作后都会进行批归一化和Swish激活函数。
测试阶段:
步骤5、输入待识别的植物图像,通过训练好的SK-EfficientNet分类模型对植物图像进行识别,获得特征向量,利用全连接层进行病害识别判定,获得该植物图像在每一类下的概率,概率值最大的即为对应的图像类别。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (8)
1.一种基于SK-EfficientNet的轻量级农作物病害识别方法,其特征在于,该方法包括以下步骤:
训练阶段:
步骤1:获取包含多种病害种类的植物病害图像,作为输入的训练数据集;
步骤2:对训练数据集中的植物病害图像进行预处理,包括:随机裁剪、旋转、高斯模糊添噪、颜色增亮、调整各种类图像数量、统一图像尺寸;
步骤3:构建基于SK-EfficientNet的分类模型;针对EfficientNet的核心模块移动翻转瓶颈卷积MBConv进行改进,将原有SENet模块替换为SKNet,首先将MBConv模块卷积核为k的卷积替换为3×3深度可分离卷积和dilation为2的3×3空洞卷积,对输入特征进行不同卷积核大小的完整卷积操作,再通过全局平均池化来获得全局信息、两个全连接层找到不同卷积核所占权重比,最后在通道方向进行softmax操作,形成SK-MBConv网络结构;将SK-MBConv融合原始EfficientNet模型,形成SK-EfficientNet网络模型;
步骤4:对SK-EfficientNet分类模型进行学习训练;将训练数据集中的植物病害图像输入SK-EfficientNet分类模型进行训练,保存训练好的模型;
测试阶段:
步骤5、输入待识别的植物图像,通过训练好的SK-EfficientNet分类模型对植物图像进行识别,获得特征向量,利用全连接层进行病害识别判定,获得该植物图像在每一类下的概率,概率值最大的即为对应的图像类别。
2.根据权利要求1所述的基于SK-EfficientNet的轻量级农作物病害识别方法,其特征在于,所述步骤1中:
输入的训练数据集采用PlantVillage数据库,该数据库收录了大量的植物病害图像,提取其中番茄叶片图像作为源数据,共10个类别,包括9种病害和健康叶片,9种病害包括:细菌性斑点病、早疫病、晚疫病、叶霉病、斑枯病、二斑叶螨病、轮斑病、花叶病、黄化曲叶病,图像总数超过18160张。
3.根据权利要求1所述的基于SK-EfficientNet的轻量级农作物病害识别方法,其特征在于,所述步骤2中:
1)随机裁剪:在植物病害图像的不同区域随机裁剪出局部图像从而得到更多的数据;
2)旋转:将部分植物病害图像沿着顺时针随机旋转90、180和270度,模拟真实农业场景角度差异情况,以提高变形适应性;
3)高斯模糊添噪:对植物病害图像添加椒盐噪声和高斯噪声,模拟拍摄不同清晰度的样本;
4)颜色增亮:以指数方式更改每个像素的饱和度S和亮度V分量,并保持色相H不变,以增加照明变化;S和V通道分别使用从[0.25,4]均匀得出的系数进行缩放;
5)调整各种类图像数量:对样本数量明显过多的类别,随机剔除一部分样本,使该类别的植物病害图像数量维持在一个平均水平上;
6)统一图像尺寸:最后将所有植物病害图像的尺寸统一为256×256像素。
5.根据权利要求1所述的基于SK-EfficientNet的轻量级农作物病害识别方法,其特征在于,所述步骤3中SKNet具体为:
选择性卷积核机制SKNet采用非线性的方法融合来自不同核的特征,使神经元对于不同尺寸的输入信息进行自适应的调整其感受野的大小,其包含了三个操作:Split操作产生多个不同核尺寸的通道与神经元的不同感受野尺寸相关;Fuse操作组合融合来自多通道的信息从而获得一个全局及可理解性的表示用于进行权重选择;select操作根据挑选得到的权重对不同核尺寸的feature map进行融合。
6.根据权利要求5所述的基于SK-EfficientNet的轻量级农作物病害识别方法,其特征在于,所述步骤3中选择性卷积核机制SKNet的具体方法为:
1)Split:使用不同的卷积核对输入特征图进行卷积;对输入向量X进行不同3×3和5×5的完整卷积操作,得到两个特征图和为进一步提高效率,使用膨胀大小为2,卷积核为3×3的空洞卷积替代传统5×5的卷积;
2)Fuse:将多个分支的结果通过逐元素求和来融合,以获得选择权重的全局和综合表示;首先两个特征图进行求和操作,得到新的特征图 再通过简单的全局平均池化来嵌入全局信息,生成信道统计信息S∈Rd×1,其中C是模型图中S的特征维数,其公式为:
其中,Fgp表示全局平均池化,Uc表示将步骤一Split融合后得到的新的特征图,H、W分别代表特征图Uc的高和宽,i和j代表Uc在H和W上不同的通道图,Sc表示对每一个通道图的所有像素值求平均值得到的新的通道图;
然后对输出S做全连接找到每一个通道占的比重z,确保卷积核的准确性和自适应性,其公式为:
d=max(C/r,L)
其中,C表示特征维数,r表维数的降低率,L表示d的最小值,取值32;
3)Select:根据选择权重聚合不同大小内核的特征图;首先通过softmax回归出通道和卷积核之间的权重信息,输出矩阵ac,bc,两分支情况下,bc为冗余矩阵,bc=1-ac,其公式为:
7.根据权利要求1所述的基于SK-EfficientNet的轻量级农作物病害识别方法,其特征在于,所述步骤3中形成的SK-EfficientNet网络模型为:
将SK-MBConv融合原始EfficientNet模型,形成SK-EfficientNet网络模型,由16个SK-MBConv卷积模块、2个卷积层、1个全局平均池化层和1个分类层构成;包括以下阶段:
第一阶段,对输入的2242243的图像进行3×3卷积,再依次经过批归一化层和Swish激活函数,输出一个维度为112×112×32的特征图;
第二阶段,对前一阶段输出的112×112×32的特征图进行SK-MBConv,即改进移动翻转瓶颈卷积,其中SK-MBConv扩张比例为1,深度卷积核大小为3×3,空洞卷积核大小为3×3,核步长1×1,输出一个维度为112×112×16的特征图;
第三阶段,对前一阶段输出的112×112×16的特征图进行两次SK-MBConv,其中两次SK-MBConv的扩张比例都为6,深度卷积核大小为3×3,空洞卷积核大小为3×3,核步长2×2,输出一个维度为56×56×24的特征图;
第四阶段,对前一阶段输出的56×56×24的特征图进行两次SK-MBConv,其中第一次SK-MBConv的扩张比例为6,深度卷积核大小为5×5,空洞卷积核大小为5×5,核步长为2×2,第二次SK-MBConv的核步长为1×1,输出一个维度为28×28×40的特征图;
第五阶段,对前一阶段输出的28×28×40的特征图进行三次SK-MBConv,其中第一次SK-MBConv的扩张比例为6,深度卷积核大小为3×3,空洞卷积核大小为3×3,核步长为2×2,第二次和第三次的核步长为1×1,输出一个维度为14×14×80的特征图;
第六阶段,对前一阶段输出的14×14×80的特征图进行三次SK-MBConv,其中三次SK-MBConv的扩张比例都为6,深度卷积核大小为5×5,空洞卷积核大小为5×5,核步长为1×1,输出一个维度为14×14×112的特征图;
第七阶段,对前一阶段输出的14×14×112的特征图进行四次SK-MBConv,其中第一次SK-MBConv的扩张比例为6,深度卷积核大小为5×5,空洞卷积核大小为5×5,核步长为2×2,第二、三、四次SK-MBConv的核步长为1×1,输出一个维度为7×7×192的特征图;
第八阶段,对前一阶段输出的7×7×192的特征图进行一次SK-MBConv,其中SK-MBConv的扩张比例为6,深度卷积核大小为3×3,空洞卷积核大小为3×3,核步长为1×1,输出一个维度为7×7×320的特征图;
第九阶段,对对输入的7×7×320的特征图像依次进行1×1普通卷积、批归一化、Swish激活函数、全局平均池化层、全连接层和Softmax激活函数,输出分类结果。
8.根据权利要求1所述的基于SK-EfficientNet的轻量级农作物病害识别方法,其特征在于,所述步骤4中进行学习训练的方法具体为:
1)模型参数设置;
在模型训练过程中,采用批量训练的方法将训练集与验证集分为多个批次batch,其中训练批次设置为16,验证批次为8;遍历一次训练集中的所有图片作为一次迭代epoch,共迭代70轮;采用随机梯度下降优化算法SGD对模型进行优化,设置初始学习率为0.01,为防止过拟合,将正则化系数设为0.0005,学习率分阶段逐次衰减为原来的0.1倍;
2)模型训练;
采用SK-EfficientNet作为基础网络进行训练,包括16个SK-MBConv卷积模块、2个卷积层、1个全局平均池化层和1个分类层构成;首先利用卷积核为32核3×3×3,步长为2×2对输入的224×224×3的图像进行升维操作,得到维度维112×112×32的特征图,接着进行SK-MBConv卷积操作,先经过kxk的深度卷积和dilation为2的3×3空洞卷积,对输入特征进行不同卷积核大小的完整卷积操作,再通过全局平均池化来获得全局信息,两个全连接层找到不同卷积核所占权重比,最后在通道方向进行softmax操作;当出现相同的SK-MBConv时,进行连接失活和输入的跳跃连接;最后经过1×1的逐点卷积恢复原通道,并使用全连接层进行分类;每一个卷积操作后都会进行批归一化和Swish激活函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110835299.2A CN113627281A (zh) | 2021-07-23 | 2021-07-23 | 一种基于SK-EfficientNet的轻量级农作物病害识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110835299.2A CN113627281A (zh) | 2021-07-23 | 2021-07-23 | 一种基于SK-EfficientNet的轻量级农作物病害识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113627281A true CN113627281A (zh) | 2021-11-09 |
Family
ID=78380672
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110835299.2A Pending CN113627281A (zh) | 2021-07-23 | 2021-07-23 | 一种基于SK-EfficientNet的轻量级农作物病害识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113627281A (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114219984A (zh) * | 2021-12-14 | 2022-03-22 | 华南农业大学 | 一种基于改进YOLOv3的微小病虫害检测***及其方法 |
CN114241344A (zh) * | 2021-12-20 | 2022-03-25 | 电子科技大学 | 一种基于深度学习的植物叶片病虫害严重程度评估方法 |
CN114359782A (zh) * | 2021-12-03 | 2022-04-15 | 华南理工大学 | 基于多任务学习的手术工具和手术阶段识别方法 |
CN114359644A (zh) * | 2021-12-22 | 2022-04-15 | 华南农业大学 | 基于改进vgg-16网络的农作物病虫害识别方法 |
CN114549939A (zh) * | 2022-04-26 | 2022-05-27 | 汉谷云智(武汉)科技有限公司 | 一种基于图像特征提取的树木病虫害图片分类方法 |
CN114898359A (zh) * | 2022-03-25 | 2022-08-12 | 华南农业大学 | 一种基于改进EfficientDet的荔枝病虫害检测方法 |
CN114972852A (zh) * | 2022-05-12 | 2022-08-30 | 中国农业大学 | 一种植物叶部多种病害检测方法及相关设备 |
CN115116054A (zh) * | 2022-07-13 | 2022-09-27 | 江苏科技大学 | 一种基于多尺度轻量级网络的病虫害识别方法 |
CN116612311A (zh) * | 2023-03-13 | 2023-08-18 | 浙江大学 | 一种面向样本不均衡的不合格免疫组化图像识别*** |
CN116721302A (zh) * | 2023-08-10 | 2023-09-08 | 成都信息工程大学 | 一种基于轻量级网络的冰雪晶粒子图像分类方法 |
CN116740650A (zh) * | 2023-08-10 | 2023-09-12 | 青岛农业大学 | 一种基于深度学习的作物育种监测方法及*** |
CN117152620A (zh) * | 2023-10-30 | 2023-12-01 | 江西立盾光电科技有限公司 | 一种跟随植物状态变化的植物生长控制方法及*** |
CN117876843A (zh) * | 2024-01-11 | 2024-04-12 | 安徽大学 | 一种具有动态降低图像冗余的高效农作物病害识别方法 |
CN118211494A (zh) * | 2024-05-21 | 2024-06-18 | 哈尔滨工业大学(威海) | 一种基于相关矩阵的风速预测混合模型构建方法及*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109086799A (zh) * | 2018-07-04 | 2018-12-25 | 江苏大学 | 一种基于改进卷积神经网络模型AlexNet的作物叶片病害识别方法 |
CN109344883A (zh) * | 2018-09-13 | 2019-02-15 | 西京学院 | 一种基于空洞卷积的复杂背景下果树病虫害识别方法 |
CN111507319A (zh) * | 2020-07-01 | 2020-08-07 | 南京信息工程大学 | 一种基于深度融合卷积网络模型的农作物病害识别方法 |
CN111563431A (zh) * | 2020-04-24 | 2020-08-21 | 空间信息产业发展股份有限公司 | 一种基于改进卷积神经网络的植物叶片病虫害识别方法 |
CN112308825A (zh) * | 2020-10-22 | 2021-02-02 | 江苏大学 | 一种基于SqueezeNet的农作物叶片病害识别方法 |
CN112651438A (zh) * | 2020-12-24 | 2021-04-13 | 世纪龙信息网络有限责任公司 | 多类别图像的分类方法、装置、终端设备和存储介质 |
-
2021
- 2021-07-23 CN CN202110835299.2A patent/CN113627281A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109086799A (zh) * | 2018-07-04 | 2018-12-25 | 江苏大学 | 一种基于改进卷积神经网络模型AlexNet的作物叶片病害识别方法 |
CN109344883A (zh) * | 2018-09-13 | 2019-02-15 | 西京学院 | 一种基于空洞卷积的复杂背景下果树病虫害识别方法 |
CN111563431A (zh) * | 2020-04-24 | 2020-08-21 | 空间信息产业发展股份有限公司 | 一种基于改进卷积神经网络的植物叶片病虫害识别方法 |
CN111507319A (zh) * | 2020-07-01 | 2020-08-07 | 南京信息工程大学 | 一种基于深度融合卷积网络模型的农作物病害识别方法 |
CN112308825A (zh) * | 2020-10-22 | 2021-02-02 | 江苏大学 | 一种基于SqueezeNet的农作物叶片病害识别方法 |
CN112651438A (zh) * | 2020-12-24 | 2021-04-13 | 世纪龙信息网络有限责任公司 | 多类别图像的分类方法、装置、终端设备和存储介质 |
Non-Patent Citations (4)
Title |
---|
AI算法修炼营: "超强EfficientDet原理讲解与目标检测项目实践", 《HTTPS://BLOG.CSDN.NET/SINAT_17456165/ARTICLE/DETAILS/105592353》 * |
XIANG LI 等: "Selective Kernel Networks", 《ARXIV》 * |
代码医生 相约机器人: "技术解读EfficientNet系列模型——图片分类的领域的扛把子", 《HTTPS://MP.WEIXIN.QQ.COM/S/H7KRFHR5TKFELUJOHNFIRG》 * |
卖小鱼干的黑心杂货商: "轻量级模块SENet与SKNet详解", 《CSDN》 * |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114359782B (zh) * | 2021-12-03 | 2024-05-31 | 华南理工大学 | 基于多任务学习的手术工具和手术阶段识别方法 |
CN114359782A (zh) * | 2021-12-03 | 2022-04-15 | 华南理工大学 | 基于多任务学习的手术工具和手术阶段识别方法 |
CN114219984B (zh) * | 2021-12-14 | 2024-03-01 | 华南农业大学 | 一种基于改进YOLOv3的微小病虫害检测***及其方法 |
CN114219984A (zh) * | 2021-12-14 | 2022-03-22 | 华南农业大学 | 一种基于改进YOLOv3的微小病虫害检测***及其方法 |
CN114241344A (zh) * | 2021-12-20 | 2022-03-25 | 电子科技大学 | 一种基于深度学习的植物叶片病虫害严重程度评估方法 |
CN114241344B (zh) * | 2021-12-20 | 2023-05-02 | 电子科技大学 | 一种基于深度学习的植物叶片病虫害严重程度评估方法 |
CN114359644A (zh) * | 2021-12-22 | 2022-04-15 | 华南农业大学 | 基于改进vgg-16网络的农作物病虫害识别方法 |
CN114359644B (zh) * | 2021-12-22 | 2024-04-16 | 华南农业大学 | 基于改进vgg-16网络的农作物病虫害识别方法 |
CN114898359A (zh) * | 2022-03-25 | 2022-08-12 | 华南农业大学 | 一种基于改进EfficientDet的荔枝病虫害检测方法 |
CN114898359B (zh) * | 2022-03-25 | 2024-04-30 | 华南农业大学 | 一种基于改进EfficientDet的荔枝病虫害检测方法 |
CN114549939A (zh) * | 2022-04-26 | 2022-05-27 | 汉谷云智(武汉)科技有限公司 | 一种基于图像特征提取的树木病虫害图片分类方法 |
CN114972852A (zh) * | 2022-05-12 | 2022-08-30 | 中国农业大学 | 一种植物叶部多种病害检测方法及相关设备 |
CN115116054B (zh) * | 2022-07-13 | 2024-05-24 | 江苏科技大学 | 一种基于多尺度轻量级网络的病虫害识别方法 |
CN115116054A (zh) * | 2022-07-13 | 2022-09-27 | 江苏科技大学 | 一种基于多尺度轻量级网络的病虫害识别方法 |
CN116612311A (zh) * | 2023-03-13 | 2023-08-18 | 浙江大学 | 一种面向样本不均衡的不合格免疫组化图像识别*** |
CN116721302A (zh) * | 2023-08-10 | 2023-09-08 | 成都信息工程大学 | 一种基于轻量级网络的冰雪晶粒子图像分类方法 |
CN116721302B (zh) * | 2023-08-10 | 2024-01-12 | 成都信息工程大学 | 一种基于轻量级网络的冰雪晶粒子图像分类方法 |
CN116740650B (zh) * | 2023-08-10 | 2023-10-20 | 青岛农业大学 | 一种基于深度学习的作物育种监测方法及*** |
CN116740650A (zh) * | 2023-08-10 | 2023-09-12 | 青岛农业大学 | 一种基于深度学习的作物育种监测方法及*** |
CN117152620B (zh) * | 2023-10-30 | 2024-02-13 | 江西立盾光电科技有限公司 | 一种跟随植物状态变化的植物生长控制方法及*** |
CN117152620A (zh) * | 2023-10-30 | 2023-12-01 | 江西立盾光电科技有限公司 | 一种跟随植物状态变化的植物生长控制方法及*** |
CN117876843A (zh) * | 2024-01-11 | 2024-04-12 | 安徽大学 | 一种具有动态降低图像冗余的高效农作物病害识别方法 |
CN118211494A (zh) * | 2024-05-21 | 2024-06-18 | 哈尔滨工业大学(威海) | 一种基于相关矩阵的风速预测混合模型构建方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113627281A (zh) | 一种基于SK-EfficientNet的轻量级农作物病害识别方法 | |
WO2021042828A1 (zh) | 神经网络模型压缩的方法、装置、存储介质和芯片 | |
CN109685115B (zh) | 一种双线性特征融合的细粒度概念模型及学习方法 | |
CN108520206B (zh) | 一种基于全卷积神经网络的真菌显微图像识别方法 | |
CN111611924B (zh) | 一种基于深度迁移学习模型的蘑菇识别方法 | |
CN110619059B (zh) | 一种基于迁移学习的建筑物标定方法 | |
CN113705641B (zh) | 基于富上下文网络的高光谱图像分类方法 | |
CN112308825B (zh) | 一种基于SqueezeNet的农作物叶片病害识别方法 | |
CN115116054B (zh) | 一种基于多尺度轻量级网络的病虫害识别方法 | |
CN112418261B (zh) | 一种基于先验原型注意力机制的人体图像多属性分类方法 | |
CN114841055B (zh) | 一种基于生成对抗网络的无人机集群任务预分配方法 | |
CN110717451B (zh) | 一种基于深度学习的药用植物叶部病害图像识别方法 | |
CN113627282A (zh) | 一种基于深度迁移学习的茶叶病害识别方法 | |
CN111985554A (zh) | 一种模型训练方法、手镯识别方法及对应装置 | |
CN114266898A (zh) | 一种基于改进EfficientNet的肝癌识别方法 | |
CN108268890A (zh) | 一种高光谱图像分类方法 | |
CN109190666B (zh) | 基于改进的深度神经网络的花卉图像分类方法 | |
CN113221913A (zh) | 一种基于高斯概率决策级融合的农林病虫害细粒度识别方法及装置 | |
CN114170657A (zh) | 融合注意力机制与高阶特征表示的面部情感识别方法 | |
Muthukannan et al. | A GA_FFNN algorithm applied for classification in diseased plant leaf system | |
CN116188855A (zh) | 多尺度的植物病害识别方法、设备、存储介质及装置 | |
Rajeswarappa et al. | Crop Pests Identification based on Fusion CNN Model: A Deep Learning | |
CN115100509B (zh) | 基于多分支块级注意力增强网络的图像识别方法及*** | |
CN114219960A (zh) | 基于多学习器优化的XGBoost的小样本条件下空间目标ISAR图像分类方法 | |
CN111178510A (zh) | 基于卷积神经网络的自适应分组卷积模块设计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211109 |
|
RJ01 | Rejection of invention patent application after publication |