CN116543386A - 一种基于卷积神经网络的农业病虫害图像识别方法 - Google Patents

一种基于卷积神经网络的农业病虫害图像识别方法 Download PDF

Info

Publication number
CN116543386A
CN116543386A CN202310052088.0A CN202310052088A CN116543386A CN 116543386 A CN116543386 A CN 116543386A CN 202310052088 A CN202310052088 A CN 202310052088A CN 116543386 A CN116543386 A CN 116543386A
Authority
CN
China
Prior art keywords
pest
crop
convolutional neural
images
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310052088.0A
Other languages
English (en)
Inventor
陈鹏
王俊峰
章军
夏懿
焦林
庞春晖
王刘向
孟维庆
杜健铭
王儒敬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Intelligent Agriculture Collaborative Innovation Research Institute Of China Science And Technology
Original Assignee
Hefei Intelligent Agriculture Collaborative Innovation Research Institute Of China Science And Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Intelligent Agriculture Collaborative Innovation Research Institute Of China Science And Technology filed Critical Hefei Intelligent Agriculture Collaborative Innovation Research Institute Of China Science And Technology
Priority to CN202310052088.0A priority Critical patent/CN116543386A/zh
Publication of CN116543386A publication Critical patent/CN116543386A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于卷积神经网络的农业病虫害图像识别方法,包括:使用相机采集农作物害虫图像;根据筛选条件对采集到的农作物害虫图像进行筛选;对筛选后的农作物害虫图像进行标注,标注后的农作物害虫图像组成数据集;建立害虫识别模型;采用训练集训练害虫识别模型,得到训练好的害虫识别模型,将待识别的害虫图像输入训练好的害虫识别模型,得到识别结果。将深度学习技术中的卷积神经网络应用到农业作物区域提取中,利用采集的农业作物图像集训练网络,最终使网络能够自动识别出农业作物病虫害的数量和类型;本发明提高对农业作物目标的检测识别率,识别速度快,能够从复杂的环境下对病虫害的特征学习,增强了病虫害识别模型的鲁棒性。

Description

一种基于卷积神经网络的农业病虫害图像识别方法
技术领域
本发明涉及深度学习和计算机视觉技术领域,尤其是一种基于卷积神经网络的农业病虫害图像识别方法。
背景技术
无论是在发展中国家还是发达国家,农作物害虫都给农作物造成重大损失。根据最近的研究,世界上近一半的作物产量因虫害和作物疾病而损失。因此,害虫的精细防治是减少损失、提高作物产量的一项重要任务。一旦害虫在田间传播,必须及时发现,以便农民及时提供治疗,防止害虫传播。然而,传统的害虫鉴定方法存在许多弊端。首先,最常用的方法是人工调查,即专家或农民每天、每周和每月对农田进行人工检查,以寻找病虫害的迹象;其次,昆虫的种类很多,属于同一物种的个体数量巨大。因此,传统的害虫识别方法费时、易出错、繁琐。
感染疾病的植物一般会出现明显的标记或者损伤,专业人员一般通过目视检查或对植物样本进行实验室测试来诊断,但是这些方法具有一定的局限性:对疾病的诊断都是需要专业知识的,一般的农民可能没有具备相应的知识进行诊断;专业诊断人员的训练是耗时且昂贵的;农民和专业人员可能不能正确的识别非本地的病虫害;对于一些具有视觉上相似特征的病虫害需要高水平的专业知识,这种情况下,即使是专业人员也有可能会因为疲劳、照明不足、视力不好而做出错误的诊断。另外,个别专家是一小组疾病的专家;在作物病虫害检测中使用IPT是一个旨在克服这些限制的活跃研究领域。数码相机和计算硬件的能力和可用性不断提高,加上成本不断降低,这意味着IPT有望在这一领域为人类专业知识提供一种可能的替代方案。
此外,目前针对于病虫害的疾病识别算法的成功取决于许多变量,这些变量取决于***设计者的判断,包括选择要使用的预处理和分割技术,采用哪个颜色空间,提取哪些特征,最后使用哪个学习算法进行分类。当试图使用手工制作的特征提取和浅分类器进行自动植物病害识别时,没有办法先验地判断预处理、特征提取或分类算法的哪个组合将产生最佳结果,从而导致繁琐的试错方法。此外,手工制作的特征提取方法只有在有限和受约束的设置下才能成功,当操作条件略有变化时就会失败。也已经注意到,分割技术给出不可靠的结果,特别是在复杂背景存在的情况下,并且损伤没有良好定义的边缘,而是逐渐与叶子的健康部分合并。此外,一些用于分类的最佳特征不能用目前可用的任何已知数学工具手工提取。
发明内容
为解决传统的害虫识别方法费时、易出错、繁琐的缺陷,本发明的目的在于提供一种能够自动识别出农业作物病虫害的数量和类型,提高对农业作物目标的检测识别率,识别速度快的基于卷积神经网络的农业病虫害图像识别方法。
为实现上述目的,本发明采用了以下技术方案:一种基于卷积神经网络的农业病虫害图像识别方法,该方法包括下列顺序的步骤:
(1)使用相机采集农作物害虫图像;
(2)根据筛选条件对采集到的农作物害虫图像进行筛选,删除不符合要求的农作物害虫图像;
(3)对筛选后的农作物害虫图像进行标注,标注后的农作物害虫图像组成数据集,将数据集按照7:1:2的比例划分为训练集、测试集和验证集;
(4)基于卷积神经网络和YOLOv5模型建立害虫识别模型;
(5)采用训练集训练害虫识别模型,使用测试集测试害虫识别模型的识别功能与效果,最后将验证集输入害虫识别模型,验证害虫识别模型的完整性和稳定性,得到训练好的害虫识别模型,将待识别的害虫图像输入训练好的害虫识别模型,得到识别结果。
在步骤(1)中,述农作物害虫图像分辨率为1280×1024像素,通过实验确定固定相机的高度和机位位置。
在步骤(2)中,所述筛选条件包括清晰度、害虫数量情况、害虫大小情况、害虫堆叠情况和农作物的占取面积。
所述步骤(3)具体是指:使用labelme工具对筛选后的农作物害虫图像进行标注,将害虫区域标注为前景,用1表示,除前景外的其他区域标注为背景,用0表示,建立标签图像,作为训练或评价的标签。
所述步骤(4)具体包括以下步骤:所述卷积神经网络包括四个部分:输入层,卷积层,池化层,全连接层,所述输入层是输出特征矩阵,卷积层用于进行卷积运算,所述池化层用于进行池化缩小维度;全连接层用于将特征矩阵集合向量化;
YOLOv5模型包括:
输入端,采用Mosaic数据增强,即采用随机缩放、随机裁剪、随机排布的方式对图像进行拼接,采用自适应锚框计算;
主干网络,用于完成图像的特征提取,主干网络由Focus结构和CSP结构组成,CSP结构包括CSP1_X结构和CSP2_X结构,所述CSP1_X结构应用于主干网络,CSP2_X结构应用于连接网络中;
连接网络,用于融合不同层的特征检测大中小目标,连接网络由FPN和PAN构成;
输出端使用损失函数进行预测和修正,以达到好的输出结果。
由上述技术方案可知,本发明的有益效果为:第一,用高清相机固定机位采集图像,将深度学习技术中的卷积神经网络应用到农业作物区域提取中,根据实际使用场景对网络结构进行调整,利用采集的农业作物图像集训练网络,最终使网络能够自动识别出农业作物病虫害的数量和类型;第二,本发明采用卷积神经网络,提高对农业作物目标的检测识别率,识别速度快,能够从复杂的环境下对病虫害的特征学习,增强了病虫害识别模型的鲁棒性;第三,采集的图像按照标准数据集格式进行划分,可以重复利用该样本集,避免了多次采集图像的成本,并且训练方便,重复利用。
附图说明
图1为本发明的方法流程图。
具体实施方式
如图1所示,一种基于卷积神经网络的农业病虫害图像识别方法,该方法包括下列顺序的步骤:
(1)使用相机采集农作物害虫图像;
(2)根据筛选条件对采集到的农作物害虫图像进行筛选,删除不符合要求的农作物害虫图像;
(3)对筛选后的农作物害虫图像进行标注,标注后的农作物害虫图像组成数据集,将数据集按照7:1:2的比例划分为训练集、测试集和验证集;
(4)基于卷积神经网络和YOLOv5模型建立害虫识别模型;
(5)采用训练集训练害虫识别模型,使用测试集测试害虫识别模型的识别功能与效果,最后将验证集输入害虫识别模型,验证害虫识别模型的完整性和稳定性,得到训练好的害虫识别模型,将待识别的害虫图像输入训练好的害虫识别模型,得到识别结果。
在步骤(1)中,述农作物害虫图像分辨率为1280×1024像素,通过实验确定固定相机的高度和机位位置。
在步骤(2)中,所述筛选条件包括清晰度、害虫数量情况、害虫大小情况、害虫堆叠情况和农作物的占取面积。
所述步骤(3)具体是指:使用labelme工具对筛选后的农作物害虫图像进行标注,将害虫区域标注为前景,用1表示,除前景外的其他区域标注为背景,用0表示,建立标签图像,作为训练或评价的标签。
所述步骤(4)具体包括以下步骤:所述卷积神经网络包括四个部分:输入层,卷积层,池化层,全连接层,所述输入层是输出特征矩阵,卷积层用于进行卷积运算,所述池化层用于进行池化缩小维度;全连接层用于将特征矩阵集合向量化;
YOLOv5模型包括:
输入端,采用Mosaic数据增强,即采用随机缩放、随机裁剪、随机排布的方式对图像进行拼接,采用自适应锚框计算;
主干网络,用于完成图像的特征提取,主干网络由Focus结构和CSP结构组成,CSP结构包括CSP1_X结构和CSP2_X结构,所述CSP1_X结构应用于主干网络,CSP2_X结构应用于连接网络中;
连接网络,用于融合不同层的特征检测大中小目标,连接网络由FPN和PAN构成;
输出端使用损失函数进行预测和修正,以达到好的输出结果。
以下结合图1对本发明作进一步的说明。
卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络,总共有四个部分:输入层,卷积层,池化层,全连接层。输入层是输出特征矩阵;卷积层是进行卷积运算;池化层是进行pooling缩小维度;全连接层是将特征矩阵集合向量化。卷积神经网络避免了对图像的复杂前期预处理,可以直接输入原始图像,因而得到了更为广泛的应用。
YOLOv5模型包括:
输入端:Mosaic数据增强采用随机缩放、随机裁剪、随机排布的方式进行拼接;自适应锚框计算针对不同的数据集,都会有初始设定长宽的锚框。在网络训练中,网络在初始锚框的基础上输出预测框,进而和真实框groundtruth进行比对,计算两者差距,再反向更新,迭代网络参数;自适应图片缩放,不同的图片长宽都不相同,因此将原始图片统一缩放到一个标准尺寸,再送入检测网络中。这一部分是在数据集预处理的基础上继续进行数据集质量的提高,也是整个检测模型的第一步,为后续的检测奠定基础。
主干网络即Backbone:首先Focus结构是在YOLOv3和YOLOv4的基础上增加的切片操作,比如可以将4×4×3的图像切片后变成2×2×12的特征图;然后CSP结构是借鉴CSPNet的设计思路,YOLOv5设计了两种CSP结构,CSP1_X结构应用于Backbone主干网络,CSP2_X结构应用于Neck中。
连接网络即Neck:FPN是自顶向下,将高层的强语义特征传递下来,对整个金字塔进行增强,不过只增强了语义信息,对定位信息没有传递。PAN就是针对这一点,在FPN的后面添加一个自底向上的金字塔,对FPN补充,将低层的强定位特征传递上去,又被称之为“双塔战术”。Yolov5的Neck结构中,采用借鉴CSPnet设计的CSP2结构,加强网络特征融合的能力。
输出端:这一部分其实也是输出端,主要是IOU的不同计算方法,对于目标检测的输出结果有很大的影响。目标检测任务的损失函数由Classificition Loss(分类损失函数)和Bounding Box Regression Loss(回归损失函数)两部分构成;当预测框和目标框不相交时,IOU=0,无法反应两个框距离的远近,此时损失函数不可导,IOU_Loss无法优化两个框不相交的情况。当两个预测框大小相同,两个IOU也相同,IOU_Loss无法区分两者相交情况的不同。
综上所述,本发明用高清相机固定机位采集图像,将深度学习技术中的卷积神经网络应用到农业作物区域提取中,根据实际使用场景对网络结构进行调整,利用采集的农业作物图像集训练网络,最终使网络能够自动识别出农业作物病虫害的数量和类型;本发明采用卷积神经网络,提高对农业作物目标的检测识别率,识别速度快,能够从复杂的环境下对病虫害的特征学习,增强了病虫害识别模型的鲁棒性;采集的图像按照标准数据集格式进行划分,可以重复利用该样本集,避免了多次采集图像的成本,并且训练方便,重复利用。

Claims (5)

1.一种基于卷积神经网络的农业病虫害图像识别方法,其特征在于:该方法包括下列顺序的步骤:
(1)使用相机采集农作物害虫图像;
(2)根据筛选条件对采集到的农作物害虫图像进行筛选,删除不符合要求的农作物害虫图像;
(3)对筛选后的农作物害虫图像进行标注,标注后的农作物害虫图像组成数据集,将数据集按照7:1:2的比例划分为训练集、测试集和验证集;
(4)基于卷积神经网络和YOLOv5模型建立害虫识别模型;
(5)采用训练集训练害虫识别模型,使用测试集测试害虫识别模型的识别功能与效果,最后将验证集输入害虫识别模型,验证害虫识别模型的完整性和稳定性,得到训练好的害虫识别模型,将待识别的害虫图像输入训练好的害虫识别模型,得到识别结果。
2.根据权利要求1所述的基于卷积神经网络的农业病虫害图像识别方法,其特征在于:在步骤(1)中,述农作物害虫图像分辨率为1280×1024像素,通过实验确定固定相机的高度和机位位置。
3.根据权利要求1所述的基于卷积神经网络的农业病虫害图像识别方法,其特征在于:在步骤(2)中,所述筛选条件包括清晰度、害虫数量情况、害虫大小情况、害虫堆叠情况和农作物的占取面积。
4.根据权利要求1所述的基于卷积神经网络的农业病虫害图像识别方法,其特征在于:所述步骤(3)具体是指:使用labelme工具对筛选后的农作物害虫图像进行标注,将害虫区域标注为前景,用1表示,除前景外的其他区域标注为背景,用0表示,建立标签图像,作为训练或评价的标签。
5.根据权利要求1所述的基于卷积神经网络的农业病虫害图像识别方法,其特征在于:所述步骤(4)具体包括以下步骤:所述卷积神经网络包括四个部分:输入层,卷积层,池化层,全连接层,所述输入层是输出特征矩阵,卷积层用于进行卷积运算,所述池化层用于进行池化缩小维度;全连接层用于将特征矩阵集合向量化;
YOLOv5模型包括:
输入端,采用Mosaic数据增强,即采用随机缩放、随机裁剪、随机排布的方式对图像进行拼接,采用自适应锚框计算;
主干网络,用于完成图像的特征提取,主干网络由Focus结构和CSP结构组成,CSP结构包括CSP1_X结构和CSP2_X结构,所述CSP1_X结构应用于主干网络,CSP2_X结构应用于连接网络中;
连接网络,用于融合不同层的特征检测大中小目标,连接网络由FPN和PAN构成;
输出端使用损失函数进行预测和修正,以达到好的输出结果。
CN202310052088.0A 2023-02-02 2023-02-02 一种基于卷积神经网络的农业病虫害图像识别方法 Pending CN116543386A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310052088.0A CN116543386A (zh) 2023-02-02 2023-02-02 一种基于卷积神经网络的农业病虫害图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310052088.0A CN116543386A (zh) 2023-02-02 2023-02-02 一种基于卷积神经网络的农业病虫害图像识别方法

Publications (1)

Publication Number Publication Date
CN116543386A true CN116543386A (zh) 2023-08-04

Family

ID=87447770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310052088.0A Pending CN116543386A (zh) 2023-02-02 2023-02-02 一种基于卷积神经网络的农业病虫害图像识别方法

Country Status (1)

Country Link
CN (1) CN116543386A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237814A (zh) * 2023-11-14 2023-12-15 四川农业大学 一种基于注意力机制优化的大规模果园虫情监测方法
CN117496105A (zh) * 2024-01-03 2024-02-02 武汉新普惠科技有限公司 一种农业害虫视觉识别***及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237814A (zh) * 2023-11-14 2023-12-15 四川农业大学 一种基于注意力机制优化的大规模果园虫情监测方法
CN117237814B (zh) * 2023-11-14 2024-02-20 四川农业大学 一种基于注意力机制优化的大规模果园虫情监测方法
CN117496105A (zh) * 2024-01-03 2024-02-02 武汉新普惠科技有限公司 一种农业害虫视觉识别***及方法
CN117496105B (zh) * 2024-01-03 2024-03-12 武汉新普惠科技有限公司 一种农业害虫视觉识别***及方法

Similar Documents

Publication Publication Date Title
Bhalla et al. A fuzzy convolutional neural network for enhancing multi-focus image fusion
CN108764372B (zh) 数据集的构建方法和装置、移动终端、可读存储介质
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
CN108875821A (zh) 分类模型的训练方法和装置、移动终端、可读存储介质
CN111046880A (zh) 一种红外目标图像分割方法、***、电子设备及存储介质
CN110647875B (zh) 一种血细胞分割、识别模型构造的方法及血细胞识别方法
CN116543386A (zh) 一种基于卷积神经网络的农业病虫害图像识别方法
CN111178197A (zh) 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
CN111179216B (zh) 一种基于图像处理与卷积神经网络的作物病害识别方法
Keller et al. Soybean leaf coverage estimation with machine learning and thresholding algorithms for field phenotyping
CN113221864A (zh) 多区域深度特征融合的病鸡视觉识别模型构建及应用方法
CN112464983A (zh) 一种用于苹果树叶病害图像分类的小样本学习方法
CN110163798A (zh) 渔场围网破损检测方法及***
CN115205520A (zh) 胃镜图像智能目标检测方法、***、电子设备及存储介质
CN113128308B (zh) 一种港口场景下的行人检测方法、装置、设备及介质
CN116188859A (zh) 一种基于超分和检测网络的茶叶病害无人机遥感监测方法
CN116883650A (zh) 一种基于注意力和局部拼接的图像级弱监督语义分割方法
CN114120359A (zh) 一种基于堆叠沙漏网络的群养猪体尺测量方法
Kazi et al. Fruit Grading, Disease Detection, and an Image Processing Strategy
McLeay et al. Deep convolutional neural networks with transfer learning for waterline detection in mussel farms
CN117253192A (zh) 用于桑蚕养殖的智能***及方法
Poonguzhali et al. Crop condition assessment using machine learning
Kumar et al. Deep Learning-Based Web Application for Real-Time Apple Leaf Disease Detection and Classification
CN115187982B (zh) 藻类检测方法、装置及终端设备
CN116258686A (zh) 基于图像卷积特征捕捉的结肠息肉分型检测模型建立方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination