CN117649610B - 一种基于YOLOv5的害虫检测方法及*** - Google Patents
一种基于YOLOv5的害虫检测方法及*** Download PDFInfo
- Publication number
- CN117649610B CN117649610B CN202410122712.4A CN202410122712A CN117649610B CN 117649610 B CN117649610 B CN 117649610B CN 202410122712 A CN202410122712 A CN 202410122712A CN 117649610 B CN117649610 B CN 117649610B
- Authority
- CN
- China
- Prior art keywords
- module
- feature
- yolov
- c3ncbam
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 88
- 241000607479 Yersinia pestis Species 0.000 title claims abstract description 48
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 13
- 238000011176 pooling Methods 0.000 claims description 34
- 230000006870 function Effects 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000011284 combination treatment Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 108091006146 Channels Proteins 0.000 description 31
- 238000010586 diagram Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 5
- 241000238631 Hexapoda Species 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 241000008892 Cnaphalocrocis patnalis Species 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 2
- 241000270708 Testudinidae Species 0.000 description 2
- 238000002679 ablation Methods 0.000 description 2
- 238000012271 agricultural production Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241000663330 Adelphocoris lineolatus Species 0.000 description 1
- 241001124076 Aphididae Species 0.000 description 1
- 235000007689 Borago officinalis Nutrition 0.000 description 1
- 241000255749 Coccinellidae Species 0.000 description 1
- 241001364569 Cofana spectra Species 0.000 description 1
- 241000241125 Gryllotalpa gryllotalpa Species 0.000 description 1
- 241000032989 Ipomoea lacunosa Species 0.000 description 1
- 241000488583 Panonychus ulmi Species 0.000 description 1
- 241000146302 Papilio anactus Species 0.000 description 1
- 241001414989 Thysanoptera Species 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于YOLOv5的害虫检测方法及***，该方法包括：从摄像头采集的视频画面中截取图像，输入到改进的YOLOv5检测模型进行害虫检测，获取害虫的类别和数量信息，所述改进的YOLOv5检测模型，以YOLOv5s为基础模型，将主干网络和颈部网络中的C3模块替换成C3NCBAM模块，所述C3NCBAM模块由C3模块中添加NCBAM模块构成，所述NCBAM模块由改进坐标注意力模块和空间注意力模块串联构成。本发明将YOLOv5s中的C3模块替换成C3CBAM模块，以提高模型的特征提取能力、检测的准确性和速度。
Description
技术领域
本发明属于深度学习目标检测和害虫检测技术领域，具体涉及一种基于YOLOv5的害虫检测方法及***。
背景技术
害虫高频爆发对农业生产构严重威胁，造成重大经济损失。因此，准确、及时地发现虫害，降低害虫对农业的影响，对指导农户科学种植，推进农业向着高质量、高产量的方向不断发展具有重要意义。传统的害虫检测任务需要农业专家实地作业，但农业种植面积大，害虫种类多，存在费时、费力、农业专家不足等问题。随着机器学习和深度学习的发展，一些新技术逐渐取代原始的人工检测方法。然而机器学习需要依靠人工提取害虫特征信息，容易受到主观因素影响，所提取的特征鲁棒性较差，导致检测结果准确率不高。基于卷积神经网络的深度学习技术通过卷积神经网络来自动提取害虫的特征信息，有效的弥补了传统机器学习的不足之处，在特征提取能力和检测精度方面均有极大地提高。
发明内容
针对现有技术中存在的问题，本发明提出一种基于YOLOv5的害虫检测方法及***。采用该方法能够较好地满足害虫检测任务的需求。
本发明的技术方案如下：一种基于YOLOv5的害虫检测方法，从摄像头采集的视频画面中截取图像，输入到改进的YOLOv5检测模型进行害虫检测，获取害虫的类别和数量信息，所述改进的YOLOv5检测模型包括主干网络、颈部网络和预测网络；截取的图像首先输入主干网络进行特征提取，然后在颈部网络中将提取的所有特征进行融合，最后将融合后的特征输入预测网络的大、中、小三个尺度的检测层中进行检测，获取检测结果；
所述改进的YOLOv5检测模型，以YOLOv5s为基础模型，将主干网络和颈部网络中的C3模块替换成C3NCBAM模块，所述C3NCBAM模块由C3模块中添加NCBAM模块构成，所述NCBAM模块由改进坐标注意力模块（ICAM）和空间注意力模块（SAM）串联构成，所述改进坐标注意力模块（ICAM）分为坐标信息嵌入（coordinate information embedding）阶段与坐标注意力生成（coordinate attention generation）阶段，坐标信息嵌入阶段包括X方向平均池化模块和Y方向平均池化模块；坐标注意力生成阶段，首先对X方向平均池化模块和Y方向平均池化模块所提取的特征进行融合，然后依次包括第一二维卷积层、批规范化层、非线性函数、通道混洗模块和两个二维卷积层，并采用Sigmoid激活函数。
进一步优选，所述改进的YOLOv5检测模型，将主干网络末端的SPPF模块替换成HSPPF（混合空间金字塔池化）模块；所述HSPPF模块的输入特征首先经过1个CBS模块，再经过并联的三个分支；第一个分支依次由3个最大池化（MaxPool）模块构成；第二个分支依次由3个平均池化（AvgPool）模块构成；第三个分支不对输入做进一步操作；将三个分支提取的所有特征进行融合，再经过一个CBS模块得到HSPPF模块的输出特征。
进一步优选，所述主干网络依次包括第一CBS模块、第二CBS模块、第一C3NCBAM模块组合、第三CBS模块、第二C3NCBAM模块组合、第四CBS模块、第三C3NCBAM模块组合、第五CBS模块、第四C3NCBAM模块组合和HSPPF模块。主干网络的主要作用是对输入的图像进行特征提取，并将提取的特征输送到颈部网络中。
进一步优选，所述颈部网络的处理过程为：从所述主干网络的HSPPF模块获取特征P3，特征P3经过第六CBS模块处理得到特征P4，特征P4经第一上采样模块处理后与主干网络的第三C3NCBAM模块组合所提取的特征P2进行融合（Concat），融合后的特征再经过第五C3NCBAM模块组合和第七CBS模块处理，得到特征P5，特征P5经第二上采样模块处理后和所述主干网络的第二C3NCBAM模块组合所提取的特征P1进行融合得到特征P6；特征P6经过第六C3NCBAM模块组合处理，得到特征P7；特征P7经第八CBS模块处理后与特征P5融合，再经过第七C3NCBAM模块组合处理得到特征P8；特征P8经过第九CBS模块处理后与特征P4融合，再经第八C3NCBAM模块组合处理得到特征P9；特征P7输入大目标检测层进行检测，特征P8输入中目标检测层进行检测，特征P9输入小目标检测层进行检测。
进一步优选，各C3NCBAM模块组合由若干个C3NCBAM模块堆叠而成，所述C3NCBAM模块包括两个分支，第一个分支由1个CBS模块和瓶颈模块（Bottleneck）组成；第二分支由1个CBS模块和NCBAM模块组成；输入图像首先经过第一分支和第二分支提取特征，再将所提取的所有特征进行融合，最后经过一个CBS模块处理，得到C3NCBAM模块的输出。
进一步优选，所述NCBAM模块的处理过程为：输入的特征首先经过改进坐标注意力模块（ICAM）提取特征，再与输入的特征进行特征融合获得第1次融合特征，第1次融合特征输入空间注意力模块（SAM）进一步提取空间特征，再与第1次融合特征进行特征融合获取最终特征。
进一步优选，所述改进的YOLOv5检测模型，将完全交并比（CIoU）损失函数替换成智能交并比（WIoU）损失函数。
进一步优选，将输入特征输入坐标信息嵌入阶段，经过X方向平均池化和Y方向平均池化，沿着两个空间方向进行特征聚合，输出一对方向感知注意力图。
进一步优选，所述坐标注意力生成阶段，首先对坐标信息嵌入阶段获得的一对方向感知注意力图进行融合，然后使用一个1x1的第一二维卷积层（Conv2d）进行变换；再经过批规范化和非线性函数操作，获得新的特征；再对新的特征进行通道混洗，得到通道混洗后的特征；沿着空间维度将通道混洗后的特征切分为高度方向张量特征和宽度方向张量特征，再利用第二二维卷积层和第三二维卷积层将高度方向张量特征和宽度方向张量特征变换到和输入特征同样的通道数，分别得到高度方向变换特征和宽度方向变换特征，将输入特征与高度方向变换特征和宽度方向变换特征相乘，得到第1次融合特征。
本发明还提供一种基于YOLOv5的害虫检测***，包括视频采集模块和图像数据处理模块，所述视频采集模块包括摄像头，通过摄像头采集农作物监控视频；所述图像数据处理模块接收视频采集模块采集的视频，并内置改进的YOLOv5检测模型，以进行害虫检测，获取害虫的类别和数量信息。
本发明以YOLOv5s为基础模型，对其进行改进，将YOLOv5s中的C3模块替换成C3CBAM模块，以提高模型的复杂度、特征提取能力、检测的准确性和速度；将YOLOv5s的SPPF模块替换成HSPPF模块，以增强检测模型捕获多尺度信息的能力；将YOLOv5s中的CIoU损失函数替换成WIoU损失函数，以更加准确地衡量检测过程中预测框与真实目标框之间的相似程度。C3NCBAM模块可以通过NCBAM模块将注意力图与输入特征相乘以进行自适应特征优化，来强调通道和空间维度上的重要信息，同时抑制非必要信息；此外，NCBAM模块内部的ICAM模块可以对输入的特征进行通道重组，能够减少通道顺序对特征提取的影响。本发明有助于农民准确、及时地发现虫害，降低害虫对农业生产的影响，指导农户科学种植，推进农业向着高质量、高产量的方向不断发展。
附图说明
图1为改进的YOLOv5检测模型框架图。
图2为本发明中的改进的YOLOv5检测模型结构示意图。
图3为本发明中的C3NCBAM模块结构示意图。
图4为本发明中的NCBAM模块结构示意图。
图5为本发明中的改进坐标注意力(ICAM)模块结构示意图。
图6为本发明中的HSPPF模块结构示意图。
图7为本发明中的锚框与目标框的示意图。
具体实施方式
下面结合实施例和附图对本发明进一步详细说明。
参照图1，一种基于YOLOv5的害虫检测方法，从摄像头采集的视频画面中截取图像，输入到改进的YOLOv5检测模型进行害虫检测，获取害虫的类别和数量信息，所述改进的YOLOv5检测模型包括主干网络、颈部网络和预测网络；截取的图像首先输入主干网络进行特征提取，然后在颈部网络中将提取的所有特征进行融合，最后将融合后的特征输入预测网络的大目标检测层、中目标检测层、小目标检测层中进行检测，获取检测结果。
本实施例以YOLOv5s为基础模型，对其进行改进，YOLOv5s主干网络中的C3模块替换成C3NCBAM模块。如图2所示，改进的YOLOv5检测模型的主干网络依次包括第一CBS模块、第二CBS模块、第一C3NCBAM模块组合、第三CBS模块、第二C3NCBAM模块组合、第四CBS模块、第三C3NCBAM模块组合、第五CBS模块、第四C3NCBAM模块组合和HSPPF模块。主干网络的主要作用是对输入的图像进行特征提取，并将提取的特征输送到颈部网络中。第一C3NCBAM模块组合由3个C3NCBAM模块堆叠而成，第二C3NCBAM模块组合由6个C3NCBAM模块堆叠而成，第三C3NCBAM模块组合由9个C3NCBAM模块堆叠而成，第四C3NCBAM模块组合由3个C3NCBAM模块堆叠而成。
如图2所示，为了提升颈部网络的特征提取能力，本实施例将基础模型YOLOv5s颈部网络中的C3模块替换成C3NCBAM模块。从所述主干网络的HSPPF模块获取特征P3，特征P3经过第六CBS模块处理得到特征P4，特征P4经第一上采样模块处理后与主干网络的第三C3NCBAM模块组合所提取的特征P2进行融合（Concat），融合后的特征再经过第五C3NCBAM模块组合和第七CBS模块处理，得到特征P5，特征P5经第二上采样模块处理后和所述主干网络的第二C3NCBAM模块组合所提取的特征P1进行融合得到特征P6；特征P6经过第六C3NCBAM模块组合处理，得到特征P7；特征P7经第八CBS模块处理后与特征P5融合，再经过第七C3NCBAM模块组合处理得到特征P8；特征P8经过第九CBS模块处理后与特征P4融合，再经第八C3NCBAM模块组合处理得到特征P9；特征P7输入大目标检测层进行检测，特征P8输入中目标检测层进行检测，特征P9输入小目标检测层进行检测。其中，第五C3NCBAM模块组合、第六C3NCBAM模块组合、第七C3NCBAM模块组合和第八C3NCBAM模块组合分别由3个C3NCBAM模块堆叠而成。
如图3所示，C3NCBAM模块包括两个分支，第一个分支由1个CBS模块和瓶颈模块（Bottleneck）组成；第二分支由1个CBS模块和NCBAM模块组成；其中，第一C3NCBAM模块中的瓶颈模块深度为n=3，第二C3NCBAM模块中的瓶颈模块深度为n=6，第三C3NCBAM模块中的瓶颈模块深度为n=6，第四C3NCBAM模块中的瓶颈模块深度为n=3；输入图像首先经过第一分支和第二分支提取特征，再将所提取的所有特征进行融合，最后经过一个CBS模块处理，得到C3NCBAM模块的输出，以增强模型的特征提取能力。
如图4所示，NCBAM模块由改进坐标注意力模块（ICAM）和空间注意力模块（SAM）构成，输入的特征首先经过改进坐标注意力模块（ICAM）提取特征，再与输入的特征进行特征融合获得第1次融合特征，第1次融合特征输入空间注意力模块（SAM）进一步提取特征，再与第1次融合特征进行特征融合获取最终特征。通过强调通道和空间维度上的重要信息，同时抑制非必要信息，弥补了CA空间注意力的不足。NCBAM模块和C3模块组合成所述C3NCBAM模块，提高了模型的复杂度、特征提取能力、检测的准确性和速度。
如图5所示，改进坐标注意力（ICAM）模块分为坐标信息嵌入（coordinateinformation embedding）阶段与坐标注意力生成（coordinate attention generation）阶段，通过在CA注意力机制的坐标注意力生成（coordinate attention generation）阶段添加了通道混洗模块（Channel Shuffle）来重新组合通道，以减少通道顺序对特征提取能力的影响，增强模型的鲁棒性并获得丰富的特征。坐标信息嵌入（coordinate informationembedding）阶段包括X方向平均池化模块（X AvgPool）和Y方向平均池化模块（Y AvgPool）。坐标注意力生成（coordinate attention generation）阶段，首先对X方向平均池化模块（XAvgPool）和Y方向平均池化模块所提取的特征的融合（Concat），然后依次包括第一二维卷积层（Conv2d）、批规范化层（BatchNorm）、非线性函数（Non-linear）、通道混洗模块（Channel Shuffle）和两个二维卷积层，并采用Sigmoid激活函数；两个二维卷积层为第二二维卷积层（Conv2d）和第三二维卷积层（Conv2d），第二二维卷积层（Conv2d）和第三二维卷积层（Conv2d）后分别通过Sigmoid激活函数操作。
如图5所示，改进坐标注意力模块（ICAM）具体操作如下：将大小为的输入
特征x输入改进坐标注意力模块（其中，为通道数，为高，为宽），进入坐标信息嵌入
阶段，经过尺寸为和的池化核沿着水平(X)和竖直(Y)坐标方向对每个通道进行
编码，获得高度为h与宽度为w的每个通道的输出。
以第个通道为例，设第c个通道输入特征为， X方向平均池化表
示如下：
；
其中，表示高度为h的第c通道的输出特征，表示高度为h，宽度为j的
输入特征。
Y方向平均池化表示如下：
；
其中，表示宽度为w的第c通道的输出特征，表示宽度恒定为w，高度
为i的输入特征。
经过X方向平均池化和Y方向平均池化，沿着两个空间方向进行特征聚合，返回一
对方向感知注意力图，包括在高度为，通道数为的输出特征， 在宽度为
w，通道数为的输出特征。进行两个方向平均池化，允许改进坐标注意力模块捕捉到沿
着一个空间方向的长程依赖，并保存沿着另一个空间方向的精确位置信息，这有助于网络
更准确地定位感兴趣的目标。
接着进入坐标注意力生成阶段，首先对融合上一阶段输出的特征，然后使用一个1x1的第一二维卷积层（Conv2d）进行变换；再经过批规范化和非线性函数操作，获得新的特征；再对新的特征进行通道混洗（Channel Shuffle），得到通道混洗后的特征。坐标注意力生成阶段具体操作如下式：
；
其中，f表示通道混洗后的特征，s表示通道混洗操作，表示非线性激活函数，
表示1×1二维卷积操作， 表示对和特征融合操作。
接着，沿着空间维度将通道混洗后的特征f切分为高度方向张量特征
和宽度方向张量特征，其中表示特征维度，r表示缩放比例。再利用第二
二维卷积层Fh和第三二维卷积层Fw将高度方向张量特征fh和宽度方向张量特征fw变换到和
输入特征同样的通道数，分别得到高度方向变换特征gh和宽度方向变换特征gw，再分别经过
Sigmoid激活函数，具体操作如下式所示：
；
；
其中，表示Sigmoid函数激活操作。
将第c个通道输入特征与第c个通道的高度方向变换特征和第c个通
道宽度方向变换特征相乘，得到第c个通道的输出特征，具体操作如下式：
。
将改进坐标注意力模块（ICAM）输出的特征y输送到空间注意力模块(SAM)进一步
提取空间特征。为了计算空间关系，空间注意力模块使用最大池化（MaxPool）和平均池化
（AvgPool）来聚合从ICAM得到的特征y。将结果融合（Concat），然后用尺寸为7x7的卷积核进
行卷积，最后由Sigmoid函数激活以生成空间注意力特征。这些特征有效地突出了空
间信息。SAM的具体操作如下式所示：
；
其中，表示空间注意力模块提取的空间特征，表示卷积核尺寸为7×7
的二维卷积操作，表示平均池化操作，表示最大池化操作。
如图6所示，HSPPF模块具体操作为：大小为的输入特征x首先经过1个CBS
模块得到特征FC，经过1个并联的三分支；第一个分支依次由3个最大池化模块（MaxPool）构
成，第二个分支依次由3个平均池化模块（AvgPool）构成，第三个分支不对输入做进一步操
作；再将三个分支提取的所有特征进行融合得到融合特征Fconcat，最后经过一个CBS模块得
到HSPPF模块输出的特征，以增强检测模型捕获多尺度信息的能力。HSPPF的具体操作如下
式所示：
]；
；
；
其中，表示第n次最大池化操作，表示第n次平均池化操作。
由于训练数据可包含低质量图，距离和纵横比等几何因素会加重对低质量图的惩罚，导致模型的泛化性能降低。当预测框与目标框较好地重合时，损失函数应该削弱几何因素的惩罚，使模型获得更好的泛化能力。本实施例中，为了更加准确地衡量检测过程中预测框与目标框之间的相似程度，用WIoU损失函数代替YOLOv5s中的CIoU损失函数。参照图7，所述WIoU损失函数具体公式如下：
；
；
；
；
其中，是WIoU损失，和分别表示预测框中心横、纵坐标，和分别表
示预测框的宽和高；和分别表示目标框中心横、纵坐标，和分别表示目标框的
宽和高；表示预测框与目标框的并集的面积，和分别表示预测框与目标框的重叠区
域宽和高；和表示分别表示预测框与目标框的最小外接矩形框的宽和高；中
的*表示将和从计算中分离出来；为惩罚超参数，当预测框的离群程度时，惩
罚超参数使得梯度增益，当为固定值时，预测框将获得最高的梯度增益；是单
调聚焦系数，是带有动量的指数运行均值。动态更新归一化因子使梯度增益保
持在较高水平，使得WIoU够在任何时刻做出最符合当前情况的梯度增益分配策略，解决训
练后期收敛缓慢的问题。
本实施例采用16类常见的农业害虫数据集IP16进行训练。从用于目标分类任务的IP102数据集中挑选出16类害虫（苜蓿盲蝽，蚜虫，蝗虫，蝼蛄，十星瓢萤叶甲，柑橘凤蝶，小麦红蜘蛛，白星花金龟，稻纵卷叶螟（幼虫），稻纵卷叶螟（成虫），稻叶蝉，褐缘蛾蜡蝉，东方绢金龟，蓟马，金针虫（幼虫）， 金针虫（成虫）），清洗数据后，打标签，最后得到数据集IP16。
本实施例的实验环境配置为：显存为11GB的Nvidia RTX 2080 Ti的显卡，处理器为Intel(R) Core(TM) i9-9900K CPU @ 3.60GHz，操作***是Windows10；深度框架为Pytorch 1.8.1，Cuda和Cudnn的版本分别为10. 1，7.6.5。模型训练过程中，学习率设置为0.01，权重衰减设置为0.0005，训练批次大小为16，训练300轮，采用动量为0.937的SGD优化器。
本实施例的评价指标为Params（参数），GFLOPs（每秒10亿次的浮点运算数），P(精确率), R(召回率),AP(某一类别的平均精确率),mAP(所有类别在IoU=0.5的平均精确率)。
本实施例的消融实验结果如表1所示。
表1. 消融实验结果
其中，基准模型为YOLOv5s，A，B，C分别对应于NCBAM模块，HSPPF模块和WIoU损失函数。结果显示，引入A，B，C对基准性能具有一定的提升效果。通过添加这些可以提升模型对害虫检测效果。
本实施例的对比实验结果如表2所示。
表2. 对比实验结果
其中，YOLOv5s-transformer（主干网络最后一个C3被替换为C3TR），YOLOv5s-bifpn（颈部网络添加加权双向特征）和YOLOv5m-ghost（除主干网络第一个Conv外，模型的Conv与C3全部被替换成GhostConv与C3Ghost）。结果显示，与YOLOv5s-transformer，YOLOv5s-bifpn和YOLOv5m-ghost相比，本发明的方法在害虫检测上具有更好的效果。
本实施例还提供一种基于YOLOv5的害虫检测***，包括视频采集模块和图像数据处理模块，所述视频采集模块包括摄像头，通过摄像头采集农作物监控视频；所述图像数据处理模块接收视频采集模块采集的视频，并内置改进的YOLOv5检测模型，以进行害虫检测，获取害虫的类别和数量信息。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该本发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (8)
1.一种基于YOLOv5的害虫检测方法，其特征在于，从摄像头采集的视频画面中截取图像，输入到改进的YOLOv5检测模型进行害虫检测，获取害虫的类别和数量信息，所述改进的YOLOv5检测模型包括主干网络、颈部网络和预测网络；截取的图像首先输入主干网络进行特征提取，然后在颈部网络中将提取的所有特征进行融合，最后将融合后的特征输入预测网络的大、中、小三个尺度的检测层中进行检测，获取检测结果；
所述改进的YOLOv5检测模型，以YOLOv5s为基础模型，将主干网络和颈部网络中的C3模块替换成C3NCBAM模块，所述C3NCBAM模块由C3模块中添加NCBAM模块构成，所述NCBAM模块由改进坐标注意力模块和空间注意力模块串联构成，所述改进坐标注意力模块分为坐标信息嵌入阶段与坐标注意力生成阶段，坐标信息嵌入阶段包括X方向平均池化模块和Y方向平均池化模块；坐标注意力生成阶段，首先对X方向平均池化模块和Y方向平均池化模块所提取的特征进行融合，然后依次包括第一二维卷积层、批规范化层、非线性函数、通道混洗模块和两个二维卷积层，并采用Sigmoid激活函数；
所述主干网络依次包括第一CBS模块、第二CBS模块、第一C3NCBAM模块组合、第三CBS模块、第二C3NCBAM模块组合、第四CBS模块、第三C3NCBAM模块组合、第五CBS模块、第四C3NCBAM模块组合和HSPPF模块；
所述颈部网络的处理过程为：从所述主干网络的HSPPF模块获取特征P3，特征P3经过第六CBS模块处理得到特征P4，特征P4经第一上采样模块处理后与主干网络的第三C3NCBAM模块组合所提取的特征P2进行融合，融合后的特征再经过第五C3NCBAM模块组合和第七CBS模块处理，得到特征P5，特征P5经第二上采样模块处理后和所述主干网络的第二C3NCBAM模块组合所提取的特征P1进行融合得到特征P6；特征P6经过第六C3NCBAM模块组合处理，得到特征P7；特征P7经第八CBS模块处理后与特征P5融合，再经过第七C3NCBAM模块组合处理得到特征P8；特征P8经过第九CBS模块处理后与特征P4融合，再经第八C3NCBAM模块组合处理得到特征P9；特征P7输入大目标检测层进行检测，特征P8输入中目标检测层进行检测，特征P9输入小目标检测层进行检测。
2.根据权利要求1所述的基于YOLOv5的害虫检测方法，其特征在于，所述改进的YOLOv5检测模型，将主干网络末端的SPPF模块替换成HSPPF模块；所述HSPPF模块的输入特征首先经过1个CBS模块，再经过并联的三个分支；第一个分支依次由3个最大池化模块构成；第二个分支依次由3个平均池化模块构成；第三个分支不对输入做进一步操作；将三个分支提取的所有特征进行融合，再经过一个CBS模块得到HSPPF模块的输出特征。
3.根据权利要求1所述的基于YOLOv5的害虫检测方法，其特征在于，各C3NCBAM模块组合由若干个C3NCBAM模块堆叠而成，所述C3NCBAM模块包括两个分支，第一个分支由1个CBS模块和瓶颈模块组成；第二分支由1个CBS模块和NCBAM模块组成；输入图像首先经过第一分支和第二分支提取特征，再将所提取的所有特征进行融合，最后经过一个CBS模块处理，得到C3NCBAM模块的输出。
4.根据权利要求1所述的基于YOLOv5的害虫检测方法，其特征在于，所述NCBAM模块的处理过程为：输入的特征首先经过改进坐标注意力模块提取特征，再与输入的特征进行特征融合获得第1次融合特征，第1次融合特征输入空间注意力模块进一步提取空间特征，再与第1次融合特征进行特征融合获取最终特征。
5.根据权利要求1所述的基于YOLOv5的害虫检测方法，其特征在于，所述改进的YOLOv5检测模型，将完全交并比损失函数替换成智能交并比损失函数。
6.根据权利要求1所述的基于YOLOv5的害虫检测方法，其特征在于，将输入特征输入坐标信息嵌入阶段，经过X方向平均池化和Y方向平均池化，沿着两个空间方向进行特征聚合，输出一对方向感知注意力图。
7.根据权利要求1所述的基于YOLOv5的害虫检测方法，其特征在于，所述坐标注意力生成阶段，首先对坐标信息嵌入阶段获得的一对方向感知注意力图进行融合，然后使用一个1x1的第一二维卷积层进行变换；再经过批规范化和非线性函数操作，获得新的特征；再对新的特征进行通道混洗，得到通道混洗后的特征；沿着空间维度将通道混洗后的特征切分为高度方向张量特征和宽度方向张量特征，再利用第二二维卷积层和第三二维卷积层将高度方向张量特征和宽度方向张量特征变换到和输入特征同样的通道数，分别得到高度方向变换特征和宽度方向变换特征，将输入特征与高度方向变换特征和宽度方向变换特征相乘，得到第1次融合特征。
8.一种用于实现权利要求1-7任意一项所述的基于YOLOv5的害虫检测方法的***，其特征在于，包括视频采集模块和图像数据处理模块，所述视频采集模块包括摄像头，通过摄像头采集农作物监控视频；所述图像数据处理模块接收视频采集模块采集的视频，并内置改进的YOLOv5检测模型，以进行害虫检测，获取害虫的类别和数量信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410122712.4A CN117649610B (zh) | 2024-01-30 | 2024-01-30 | 一种基于YOLOv5的害虫检测方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410122712.4A CN117649610B (zh) | 2024-01-30 | 2024-01-30 | 一种基于YOLOv5的害虫检测方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117649610A CN117649610A (zh) | 2024-03-05 |
| CN117649610B true CN117649610B (zh) | 2024-05-28 |
Family
ID=90045518
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410122712.4A Active CN117649610B (zh) | 2024-01-30 | 2024-01-30 | 一种基于YOLOv5的害虫检测方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117649610B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118172676B (zh) * | 2024-05-13 | 2024-08-13 | 青岛理工大学 | 一种基于量子深度学习的农田害虫检测方法 |
| CN118314196B (zh) * | 2024-06-11 | 2024-08-16 | 江西农业大学 | 基于YOLOv9-DSM网络的水果体积检测方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114220035A (zh) * | 2021-12-23 | 2022-03-22 | 中科合肥智慧农业协同创新研究院 | 一种基于改进yolo v4的快速害虫检测方法 |
| CN115331183A (zh) * | 2022-08-25 | 2022-11-11 | 江苏大学 | 改进YOLOv5s的红外目标检测方法 |
| CN115631462A (zh) * | 2022-11-09 | 2023-01-20 | 浙江科技学院 | 基于am-yolox的草莓病虫害检测方法及*** |
| CN116310718A (zh) * | 2023-02-03 | 2023-06-23 | 广东工业大学 | 一种基于YOLOv5模型的害虫目标检测方法、***及设备 |
| CN116994056A (zh) * | 2023-08-08 | 2023-11-03 | 安徽工业大学 | 一种基于改进YOLOv5s的番茄叶片病虫害检测方法 |
| CN117456358A (zh) * | 2023-10-25 | 2024-01-26 | 陕西科技大学 | 一种基于YOLOv5神经网络的植物病虫害检测方法 |
| CN117456325A (zh) * | 2023-10-27 | 2024-01-26 | 绵阳职业技术学院 | 一种水稻病虫害检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200193662A1 (en) * | 2018-12-18 | 2020-06-18 | Genvis Pty Ltd | Video tracking system and data processing |
-
2024
- 2024-01-30 CN CN202410122712.4A patent/CN117649610B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114220035A (zh) * | 2021-12-23 | 2022-03-22 | 中科合肥智慧农业协同创新研究院 | 一种基于改进yolo v4的快速害虫检测方法 |
| CN115331183A (zh) * | 2022-08-25 | 2022-11-11 | 江苏大学 | 改进YOLOv5s的红外目标检测方法 |
| CN115631462A (zh) * | 2022-11-09 | 2023-01-20 | 浙江科技学院 | 基于am-yolox的草莓病虫害检测方法及*** |
| CN116310718A (zh) * | 2023-02-03 | 2023-06-23 | 广东工业大学 | 一种基于YOLOv5模型的害虫目标检测方法、***及设备 |
| CN116994056A (zh) * | 2023-08-08 | 2023-11-03 | 安徽工业大学 | 一种基于改进YOLOv5s的番茄叶片病虫害检测方法 |
| CN117456358A (zh) * | 2023-10-25 | 2024-01-26 | 陕西科技大学 | 一种基于YOLOv5神经网络的植物病虫害检测方法 |
| CN117456325A (zh) * | 2023-10-27 | 2024-01-26 | 绵阳职业技术学院 | 一种水稻病虫害检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| Ship Detection Algorithm based on Improved YOLO V5;Liu Ting 等;《2021 6th International Conference on Automation, Control and Robotics Engineering》;20211231;483-487 * |
| 基于改进YOLOv5s的木材表面缺陷检测模型;朱豪 等;《木材科学与技术》;20230331;第37卷(第2期);第1.1节、第1.2.1节、第1.2.2节 * |
| 基于改进Yolov5植物病害检测算法研究;杨文姬 等;《中国农机化学报》;20230131;第44卷(第1期);108-115 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117649610A (zh) | 2024-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111310773B (zh) | 一种高效的卷积神经网络的车牌定位方法 | |
| CN117649610B (zh) | 一种基于YOLOv5的害虫检测方法及*** | |
| CN111222396B (zh) | 一种全天候多光谱行人检测方法 | |
| WO2021254205A1 (zh) | 一种目标检测方法及装置 | |
| CN108154102A (zh) | 一种道路交通标志识别方法 | |
| CN113160062B (zh) | 一种红外图像目标检测方法、装置、设备及存储介质 | |
| CN110689021A (zh) | 一种基于深度学习的低可见度环境下实时目标检测方法 | |
| CN110569782A (zh) | 一种基于深度学习目标检测方法 | |
| CN113076871A (zh) | 一种基于目标遮挡补偿的鱼群自动检测方法 | |
| CN109508675A (zh) | 一种针对复杂场景的行人检测方法 | |
| CN110084284A (zh) | 基于区域卷积神经网络的目标检测与二级分类算法及装置 | |
| CN110827312A (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
| CN114898359B (zh) | 一种基于改进EfficientDet的荔枝病虫害检测方法 | |
| CN114419413A (zh) | 感受野自适应的变电站绝缘子缺陷检测神经网络构建方法 | |
| CN116092179A (zh) | 一种改进的yolox跌倒检测*** | |
| CN116091951A (zh) | 一种农田与机耕道边界线提取方法及*** | |
| CN116012721B (zh) | 一种基于深度学习的水稻叶片病斑检测方法 | |
| CN114387505A (zh) | 一种高光谱与激光雷达多模态遥感数据分类方法及*** | |
| Chen et al. | CitrusYOLO: a algorithm for citrus detection under orchard environment based on YOLOV4 | |
| CN113435254A (zh) | 一种基于哨兵二号影像的耕地深度学习提取方法 | |
| CN116704188A (zh) | 一种基于改进U-Net网络的不同容重小麦籽粒图像分割算法 | |
| Lu et al. | Citrus green fruit detection via improved feature network extraction | |
| CN116740516A (zh) | 基于多尺度融合特征提取的目标检测方法及*** | |
| Bao et al. | An improved DenseNet model to classify the damage caused by cotton aphid | |
| He et al. | Visual recognition and location algorithm based on optimized YOLOv3 detector and RGB depth camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |