CN114239756A - 一种虫害检测方法及*** - Google Patents
一种虫害检测方法及*** Download PDFInfo
- Publication number
- CN114239756A CN114239756A CN202210173807.XA CN202210173807A CN114239756A CN 114239756 A CN114239756 A CN 114239756A CN 202210173807 A CN202210173807 A CN 202210173807A CN 114239756 A CN114239756 A CN 114239756A
- Authority
- CN
- China
- Prior art keywords
- pest
- insect
- vegetable
- fusion
- insect pest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
- Y02A40/25—Greenhouse technology, e.g. cooling systems therefor
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Catching Or Destruction (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种虫害检测方法及***,属于图像检测技术领域,该方法包括:构建虫害检测数据集;基于邻域信息融合构建虫害检测网络;采用虫害检测数据集训练虫害检测网络获得虫害检测模型;采用虫害检测模型进行虫害位置和虫害类别检测;虫害检测网络包括候选目标区域提取模块、邻域信息融合模块和后端预测模块;邻域信息融合模块用于根据多个虫害目标区域获得多个虫害区域特征图,并获得各虫害区域特征图的邻域信息特征图,将各虫害区域特征图与对应的邻域信息特征图进行特征融合,获得各虫害区域特征图对应的融合式虫害区域特征图。本发明提高了检测效率和准确性。
Description
技术领域
本发明涉及虫害监测技术领域,特别是涉及一种虫害检测方法及***。
背景技术
随着现代化农业的不断发展和农产品需求的日益增长,大棚种植在农业生产所占的比重越来越大。相比传统的耕种模式,大棚这种封闭式环境更容易为害虫提供有利的繁殖和生长条件,而且现阶段农作物的虫害管理主要依靠人力和人工经验,不仅工作效率低下,且缺乏科学指导,更加难以保障农作物的品质。因此,亟需一种自动化的虫害监测方法,为大棚农作物的虫害管理提供精准可靠的监测数据,从而有效提升农产品的品质和产量,促进农业经济的快速发展。
发明内容
本发明的目的是提供一种虫害检测方法及***,提高了检测效率和准确性。
为实现上述目的,本发明提供了如下方案:
一种虫害检测方法,包括:
构建虫害检测数据集;所述虫害检测数据集包括多张设定蔬菜种类的蔬菜图像和与各所述蔬菜图像对应的标注文件,所述标注文件标注的是蔬菜图像中虫害位置和虫害类别;
基于邻域信息融合构建虫害检测网络;
采用所述虫害检测数据集训练所述虫害检测网络,获得虫害检测模型;
将待检测蔬菜图像输入所述虫害检测模型,获得所述待检测蔬菜图像的虫害位置和虫害类别;
所述虫害检测网络包括候选目标区域提取模块、邻域信息融合模块和后端预测模块;所述目标区域提取模块用于对输入蔬菜图像进行虫害目标特征提取,对提取的虫害图特征进行特征融合,获得多张尺度不同的融合特征图,并根据各融合特征图获得多个虫害目标区域;所述邻域信息融合模块用于根据多个所述虫害目标区域获得多个虫害区域特征图,并获得各虫害区域特征图的邻域信息特征图,将各虫害区域特征图与对应的邻域信息特征图进行特征融合,获得各虫害区域特征图对应的融合式虫害区域特征图;所述后端预测模块根据各所述融合式虫害区域特征图确定所述输入蔬菜图像的虫害位置和虫害类别。
可选地,所述方法还包括:
根据所述待检测蔬菜图像的虫害位置统计虫害数量;
根据所述虫害数量确定所述待检测蔬菜图像的虫害状态。
可选地,所述邻域信息融合模块包括ROI Align层,所述ROI Align层用于根据多个所述虫害目标区域获得多个虫害区域特征图。
可选地,所述邻域信息融合模块用于以第i张虫害区域特征图的中心为中心,在与第i张虫害区域特征图对应的融合特征图中截取设定边长的正方形作为第i张虫害区域特征图的虫害邻域特征图,对第i张虫害区域特征图的虫害邻域特征图进行下采样获得第i张虫害区域特征图的邻域信息特征图;所述邻域信息融合模块还用于将第i张虫害区域特征图与对应的邻域信息特征图进行逐像素相乘操作,再将逐像素相乘结果进行卷积核为1*1的卷积操作,获得融合式虫害区域特征图。
可选地,所述后端预测模块包括两层全连接层。
可选地,所述将待检测蔬菜图像输入所述虫害检测模型,获得所述待检测蔬菜图像的虫害位置和虫害类别,具体包括:
采用搭载工业相机的机械臂AGV小车在蔬菜大棚内逐行进行图像采集,实时获得待检测蔬菜图像;
将实时获得的待检测蔬菜图像输入所述虫害检测模型,获得所述待检测蔬菜图像的虫害位置和虫害类别。
本发明还公开了一种虫害检测***,包括:
数据集构建模块,用于构建虫害检测数据集;所述虫害检测数据集包括多张设定蔬菜种类的蔬菜图像和与各所述蔬菜图像对应的标注文件,所述标注文件标注的是蔬菜图像中虫害位置和虫害类别;
虫害检测网络构建模块,用于基于邻域信息融合构建虫害检测网络;
虫害检测网络训练模块,用于采用所述虫害检测数据集训练所述虫害检测网络,获得虫害检测模型;
虫害检测模块,用于将待检测蔬菜图像输入所述虫害检测模型,获得所述待检测蔬菜图像的虫害位置和虫害类别;
所述虫害检测网络包括候选目标区域提取模块、邻域信息融合模块和后端预测模块;所述目标区域提取模块用于对输入蔬菜图像进行虫害目标特征提取,对提取的虫害图特征进行特征融合,获得多张尺度不同的融合特征图,并根据各融合特征图获得多个虫害目标区域;所述邻域信息融合模块用于根据多个所述虫害目标区域获得多个虫害区域特征图,并获得各虫害区域特征图的邻域信息特征图,将各虫害区域特征图与对应的邻域信息特征图进行特征融合,获得各虫害区域特征图对应的融合式虫害区域特征图;所述后端预测模块根据各所述融合式虫害区域特征图确定所述输入蔬菜图像的虫害位置和虫害类别。
可选地,所述***还包括:
虫害数量统计模块,用于根据所述待检测蔬菜图像的虫害位置统计虫害数量;
虫害状态确定模块,用于根据所述虫害数量确定所述待检测蔬菜图像的虫害状态。
可选地,所述邻域信息融合模块包括ROI Align层,所述ROI Align层用于根据多个所述虫害目标区域获得多个虫害区域特征图。
可选地,所述邻域信息融合模块用于以第i张虫害区域特征图的中心为中心,在与第i张虫害区域特征图对应的融合特征图中截取设定边长的正方形作为第i张虫害区域特征图的虫害邻域特征图,对第i张虫害区域特征图的虫害邻域特征图进行下采样获得第i张虫害区域特征图的邻域信息特征图;所述邻域信息融合模块还用于将第i张虫害区域特征图与对应的邻域信息特征图进行逐像素相乘操作,再将逐像素相乘结果进行卷积核为1*1的卷积操作,获得融合式虫害区域特征图。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明公开了一种虫害检测方法及***,通过构建虫害检测网络进行虫害信息检测,实现虫害信息检测的自动化,从而提高了虫害检测效率,另外虫害检测网络为基于邻域信息融合的虫害检测网络,在预测阶段引入虫害目标的邻域信息,进一步将虫害监测范围缩小在农作物表面,避免因与虫害具有高度相似性的干扰信息所导致的虫害虚警,从而有效提升虫害检测网络对虫害目标的检测准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种虫害检测方法流程示意图;
图2为本发明虫害检测网络结构示意图;
图3为本发明一种虫害检测***结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种虫害检测方法及***,提高了检测效率和准确性。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明一种虫害检测方法流程示意图,如图1所示,一种虫害检测方法,包括:
步骤101:构建虫害检测数据集;虫害检测数据集包括多张设定蔬菜种类的蔬菜图像和与各蔬菜图像对应的标注文件,标注文件标注的是蔬菜图像中虫害位置和虫害类别。
虫害检测数据集中蔬菜图像为采用不同的培育方式进行种植管理,从而获得不同虫害状态的蔬菜图像样本。
采用搭载工业相机的机械臂自动导航车(Automated Guided Vehicle, AGV)在大棚内逐行进行图像采集,采集方式为:在设定蔬菜种类的蔬菜播种后的第5天开始第一次采集,每周采集一次,直至经历整个蔬菜的生长周期,采集过程中,确保拍摄角度与地面垂直,且镜头与地面的距离保持不变。
虫害检测数据集中图像数量为足够规模的图像数据。
虫害类别包括虫眼、蚜虫、菜青虫和钻心虫。
步骤102:基于邻域信息融合构建虫害检测网络。
步骤103:采用虫害检测数据集训练虫害检测网络,获得虫害检测模型。
步骤104:将待检测蔬菜图像输入虫害检测模型,获得待检测蔬菜图像的虫害位置和虫害类别。
虫害检测网络包括候选目标区域提取模块、邻域信息融合模块和后端预测模块;目标区域提取模块用于对输入蔬菜图像进行虫害目标特征提取,对提取的虫害图特征进行特征融合,获得多张尺度不同的融合特征图,并根据各融合特征图获得多个虫害目标区域;邻域信息融合模块用于根据多个虫害目标区域获得多个虫害区域特征图,并获得各虫害区域特征图的邻域信息特征图,将各虫害区域特征图与对应的邻域信息特征图进行特征融合,获得各虫害区域特征图对应的融合式虫害区域特征图;后端预测模块根据各融合式虫害区域特征图确定输入蔬菜图像的虫害位置和虫害类别。
采用密集连接网络(DenseNet)的前四个卷积块作为候选目标区域提取模块的骨干网络,将各卷积块输出的特征图分别表示为D_1、D_2、D_3和D_4,四个特征图维度依次为512×512×32、256×256×32、128×128×32和64×64×32。
将D_4表示为P_4,并对P_4进行2倍上采样操作后与D_3进行元素级相加得到特征图P_3,对P_3进行2倍上采样操作后与D_2进行元素级相加得到特征图P_2,将特征图P_2、P_3和P_4分别输入卷积核为3*3的卷积层中进行特征提取,得到特征图A_2、A_3和A_4。
将特征图A_2、A_3和A_4输入区域建议网络(Region Proposal Network,RPN)中,输出多张虫害目标区域。
将多张虫害目标区域输入ROI Align层,获得多张虫害区域特征图IA。
一种虫害检测方法还包括:根据待检测蔬菜图像的虫害位置统计虫害数量;根据虫害数量确定待检测蔬菜图像的虫害状态:
若虫害数量为0,则虫害状态为健康状态;
若虫害数量大于0且小于设定值,则虫害状态为轻度虫害状态;
若虫害数量大于或等于设定值,则虫害状态为重度虫害状态。设定值为5。
邻域信息融合模块包括ROI Align层,ROI Align层用于根据多个虫害目标区域获得多个虫害区域特征图。
邻域信息融合模块用于以第i张虫害区域特征图的中心为中心,在与第i张虫害区域特征图对应的融合特征图中截取设定边长的正方形作为第i张虫害区域特征图的虫害邻域特征图,对第i张虫害区域特征图的虫害邻域特征图进行下采样获得第i张虫害区域特征图的邻域信息特征图;
邻域信息融合模块还用于将第i张虫害区域特征图与对应的邻域信息特征图进行逐像素相乘操作,再将逐像素相乘结果进行卷积核为1*1的卷积操作,获得融合式虫害区域特征图。后端预测模块包括两层全连接层。
将待检测蔬菜图像输入虫害检测模型,获得待检测蔬菜图像的虫害位置和虫害类别,具体包括:
采用搭载工业相机的机械臂AGV小车在蔬菜大棚内逐行进行图像采集,实时获得待检测蔬菜图像。
将实时获得的待检测蔬菜图像输入虫害检测模型,获得待检测蔬菜图像的虫害位置和虫害类别。
图2中虚线框将虫害检测网络从上到下,依次分割为候选目标区域提取模块、邻域信息融合模块、后端预测模块和虫害状态评估模块。
下面以大棚白菜为例,展示基于本发明一种虫害检测方法实现的自动化虫害监测的过程。
Step1、建立虫害检测数据集。首先,将用于图像采集的白菜苗圃划分为多个组,并采用不同的培育方式进行白菜种植管理,确保获得不同虫害状态下的白菜样本;同时,采用搭载工业相机的机械臂自动导航车(Automated Guided Vehicle,AGV)在大棚内逐行进行图像采集,采集方式为:在播种后的第5天开始第一次采集,每周采集一次,直至经历整个白菜生长周期,采集过程中,确保拍摄角度与地面垂直,且镜头与地面的距离保持不变;获得足够规模的图像数据后,采用标注软件对白菜图像进行标签标注,在每张图像中标注出白菜虫害的位置矩形框和对应的虫害类别(包括虫眼、蚜虫、菜青虫和钻心虫等),从而获得相应的标注文件;最后,将所得图像和对应标注文件按比例划分为训练集和测试集,从而获得大棚蔬菜的虫害检测数据集。
Step2、构建候选目标区域提取模块。如图2所示,以本发明输入一张待检测的白菜图像2048*2048*3为例,展示候选目标区域提取模块的设计过程:
首先,采用密集连接网络(DenseNet)进行虫害目标的特征提取。DenseNet由五个卷积结构构成,由于农作物上的虫害目标属于小目标,因此为了避免过度下采样导致目标信息丢失,此处仅采用前四个卷积结构作为候选目标区域提取模块的骨干网络。将各卷积块的输出特征图分别表示为D_1、D_2、D_3、D_4,则四个特征图维度依次为512×512×32、256×256×32、128×128×32、64×64×32。
接下来,对特征图D_1、D_2、D_3、D_4进行特征融合,以增强网络对小目标的特征提取能力。在特征融合阶段,将D_4直接命名为P_4,并对P_4进行2倍上采样操作,尺寸转换为128×128×32,并与D_3进行元素级相加,得到P_3,采用同样的方式,基于P_3和D_2得到特征图P_2。再将特征图P_2、P_3和P_4分别输入卷积核为3*3的卷积层中进行特征提取和梳理,得到尺寸分别为254×254×32、126×126×32和62×62×32的特征图A_2、A_3和A_4。
最后,将A_2、A_3和A_4输入区域建议网络(Region Proposal Network,RPN)中,输出一系列可能存在虫害目标的虫害目标区域。
Step3、构建邻域信息融合模块。由于虫害目标在图像中属于小目标,自身可获取的信息较少,仅采用特征融合和在低层特征图进行预测的策略仍然难以取得良好的检测效果。根据农业常识,虫眼、蚜虫、菜青虫等虫害目标大概率位于蔬菜的叶面、茎部等部位,而不会出现在土壤表面或其他地方,也就是说虫害目标的邻域一般是蔬菜植株的表面,否则可能是与虫害目标具有高度相似性的干扰信息。因此,在最后的预测阶段引入虫害目标的邻域信息,将虫害目标和其邻域信息相融合进行预测,能够有效提升虫害目标的检测准确率。
如图2所示,以本发明输入一张待检测的白菜图像2048*2048*3为例,展示邻域信息融合模块的设计过程:
首先,将上一步骤输出的虫害目标区域输入ROI Align层,获得一系列尺寸为7×7×32的虫害区域特征图IA。
随后,基于虫害区域特征图获取邻域信息。以第i张虫害区域特征图IAi为例,若该区域特征图基于特征图A_2获得,且在原图中对应的矩形框坐标为(xi,yi,wi,hi),则其中心点坐标为(xi+wi/2,yi+hi/2),(xi,yi)表示第i张虫害区域特征图IAi对应的矩形框左上角的坐标,wi表示第i张虫害区域特征图IAi的宽度,hi表示第i张虫害区域特征图IAi的高度。以点(xi+wi/2,yi+hi/2)为中心,获取长度和宽度均为wi+hi的虫害邻域,则该虫害邻域在原图中对应的矩形框坐标为(xi-hi/2,yi-wi/2,wi+hi,wi+hi),即虫害邻域在原图中对应矩形框为边长为wi+hi的正方形,正方形的左上角坐标为(xi-hi/2,yi-wi/2)。根据原图与特征图A_2的尺寸比例r,计算该虫害邻域在特征图A_2中的矩形框坐标,并基于该坐标截取虫害邻域特征图,获得尺寸为的虫害邻域特征图。对所得邻域特征图进行下采样操作,并输出尺寸为7×7×32的邻域信息特征图NFi。
接下来,进行邻域信息融合操作。为了将邻域信息嵌入虫害区域特征图中,同时增强嵌入效果,此处采用矩阵相乘方式而不是常见的元素级加和操作对两张特征图进行融合。具体操作如下:将ROI Align层所输出的虫害区域特征图IAi与其对应的邻域信息特征图NFi进行逐像素相乘操作,再将所得融合特征图输入1*1卷积层中,进行进一步特征提取和梳理,从而得到尺寸为7×7×32的融合式虫害区域特征图FIAi。
最后,采用上述方式(先获取虫害邻域特征图,再进行邻域融合操作),对每个虫害区域特征图IA依次进行处理,获得其对应的融合式虫害区域特征图FIA。
Step4、构建后端预测模块,获得虫害检测网络。将上一步所得的一系列融合式虫害区域特征图FIA输入Faster RCNN的预测端,即两层全连接层,从而获得虫害目标的类别信息和具体坐标信息。
Step5、训练虫害检测网络,并获得虫害检测模型。采用虫害检测数据集中的训练集训练虫害检测网络,直到网络参数达到局部最优值,并在测试集上取得满足要求的检测准确率。然后,将训练所得的网络模型作为虫害检测模型。
Step6、构建虫害状态评估模块。如图2所示,以本发明输入一张待检测的大棚白菜图像为例,展示虫害状态评估模块的设计过程:将一张待检测的白菜图像输入虫害检测模型中,获得对应的虫害目标类别信息和具体坐标信息。根据模型输出信息统计图像中的虫害目标数量,如果虫害目标数量为0,则输出“作物处于健康状态”;如果图中虫害目标数量小于5,则输出“作物处于轻度虫害状态”以及虫害目标的坐标信息和类别;否则,输出“作物处于重度虫害状态”以及虫害目标的坐标信息和类别。
基于虫害检测模型和虫害状态评估模块获得完整的虫害监测***。
Step7、基于虫害监测***对大棚农作物进行虫害监测。采用搭载工业相机的机械臂AGV小车在大棚内逐行进行图像采集,并将待检测图像输入虫害检测模型中,获得虫害检测结果。再将虫害检测结果输入虫害状态评估模块进行评估,获得当前的虫害状态水平和具体虫害信息。
本发明一种虫害检测方法为一种基于计算机视觉的虫害监测方法,相比当前大棚种植主要依靠人工经验进行农作物的虫害管理,该虫害监测方法则能够依靠工业相机和深度学习算法进行自动化虫害监测,并给出准确实时的监测结果,从而指导作业人员进行更精准化的虫害管理,实现农作物的增产增收。
本发明考虑到在实际应用场景中,虫害目标属于视觉面积占比较小的小目标,可获取的信息较少,采用普通目标检测网络难以取得良好的检测效果。因此,结合农业常识设计了邻域信息融合模块,并基于此提出了虫害检测网络。
本发明虫害检测网络的结构能够在最后的预测阶段引入虫害目标的邻域信息,进一步将虫害监测范围缩小在农作物表面,避免因与虫害具有高度相似性的干扰信息所导致的虫害虚警,从而有效提升网络对虫害目标的检测准确率。
图3为本发明一种虫害检测***结构示意图,如图3所示,一种虫害检测***,包括:
数据集构建模块201,用于构建虫害检测数据集;虫害检测数据集包括多张设定蔬菜种类的蔬菜图像和与各蔬菜图像对应的标注文件,标注文件标注的是蔬菜图像中虫害位置和虫害类别。
虫害检测网络构建模块202,用于基于邻域信息融合构建虫害检测网络。
虫害检测网络训练模块203,用于采用虫害检测数据集训练虫害检测网络,获得虫害检测模型。
虫害检测模块204,用于将待检测蔬菜图像输入虫害检测模型,获得待检测蔬菜图像的虫害位置和虫害类别。
虫害检测网络包括候选目标区域提取模块、邻域信息融合模块和后端预测模块;目标区域提取模块用于对输入蔬菜图像进行虫害目标特征提取,对提取的虫害图特征进行特征融合,获得多张尺度不同的融合特征图,并根据各融合特征图获得多个虫害目标区域;邻域信息融合模块用于根据多个虫害目标区域获得多个虫害区域特征图,并获得各虫害区域特征图的邻域信息特征图,将各虫害区域特征图与对应的邻域信息特征图进行特征融合,获得各虫害区域特征图对应的融合式虫害区域特征图;后端预测模块根据各融合式虫害区域特征图确定输入蔬菜图像的虫害位置和虫害类别。
一种虫害检测***还包括:
虫害数量统计模块,用于根据待检测蔬菜图像的虫害位置统计虫害数量。
虫害状态确定模块,用于根据虫害数量确定待检测蔬菜图像的虫害状态。
邻域信息融合模块包括ROI Align层,ROI Align层用于根据多个虫害目标区域获得多个虫害区域特征图。
邻域信息融合模块用于以第i张虫害区域特征图的中心为中心,在与第i张虫害区域特征图对应的融合特征图中截取设定边长的正方形作为第i张虫害区域特征图的虫害邻域特征图,对第i张虫害区域特征图的虫害邻域特征图进行下采样获得第i张虫害区域特征图的邻域信息特征图。
邻域信息融合模块还用于将第i张虫害区域特征图与对应的邻域信息特征图进行逐像素相乘操作,再将逐像素相乘结果进行卷积核为1*1的卷积操作,获得融合式虫害区域特征图。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种虫害检测方法,其特征在于,包括:
构建虫害检测数据集;所述虫害检测数据集包括多张设定蔬菜种类的蔬菜图像和与各所述蔬菜图像对应的标注文件,所述标注文件标注的是蔬菜图像中虫害位置和虫害类别;
基于邻域信息融合构建虫害检测网络;
采用所述虫害检测数据集训练所述虫害检测网络,获得虫害检测模型;
将待检测蔬菜图像输入所述虫害检测模型,获得所述待检测蔬菜图像的虫害位置和虫害类别;
所述虫害检测网络包括候选目标区域提取模块、邻域信息融合模块和后端预测模块;所述目标区域提取模块用于对输入蔬菜图像进行虫害目标特征提取,对提取的虫害图特征进行特征融合,获得多张尺度不同的融合特征图,并根据各融合特征图获得多个虫害目标区域;所述邻域信息融合模块用于根据多个所述虫害目标区域获得多个虫害区域特征图,并获得各虫害区域特征图的邻域信息特征图,将各虫害区域特征图与对应的邻域信息特征图进行特征融合,获得各虫害区域特征图对应的融合式虫害区域特征图;所述后端预测模块根据各所述融合式虫害区域特征图确定所述输入蔬菜图像的虫害位置和虫害类别。
2.根据权利要求1所述的虫害检测方法,其特征在于,所述方法还包括:
根据所述待检测蔬菜图像的虫害位置统计虫害数量;
根据所述虫害数量确定所述待检测蔬菜图像的虫害状态。
3.根据权利要求1所述的虫害检测方法,其特征在于,所述邻域信息融合模块包括ROIAlign层,所述ROI Align层用于根据多个所述虫害目标区域获得多个虫害区域特征图。
4.根据权利要求1所述的虫害检测方法,其特征在于,所述邻域信息融合模块用于以第i张虫害区域特征图的中心为中心,在与第i张虫害区域特征图对应的融合特征图中截取设定边长的正方形作为第i张虫害区域特征图的虫害邻域特征图,对第i张虫害区域特征图的虫害邻域特征图进行下采样获得第i张虫害区域特征图的邻域信息特征图;所述邻域信息融合模块还用于将第i张虫害区域特征图与对应的邻域信息特征图进行逐像素相乘操作,再将逐像素相乘结果进行卷积核为1*1的卷积操作,获得融合式虫害区域特征图。
5.根据权利要求1所述的虫害检测方法,其特征在于,所述后端预测模块包括两层全连接层。
6.根据权利要求1所述的虫害检测方法,其特征在于,所述将待检测蔬菜图像输入所述虫害检测模型,获得所述待检测蔬菜图像的虫害位置和虫害类别,具体包括:
采用搭载工业相机的机械臂AGV小车在蔬菜大棚内逐行进行图像采集,实时获得待检测蔬菜图像;
将实时获得的待检测蔬菜图像输入所述虫害检测模型,获得所述待检测蔬菜图像的虫害位置和虫害类别。
7.一种虫害检测***,其特征在于,包括:
数据集构建模块,用于构建虫害检测数据集;所述虫害检测数据集包括多张设定蔬菜种类的蔬菜图像和与各所述蔬菜图像对应的标注文件,所述标注文件标注的是蔬菜图像中虫害位置和虫害类别;
虫害检测网络构建模块,用于基于邻域信息融合构建虫害检测网络;
虫害检测网络训练模块,用于采用所述虫害检测数据集训练所述虫害检测网络,获得虫害检测模型;
虫害检测模块,用于将待检测蔬菜图像输入所述虫害检测模型,获得所述待检测蔬菜图像的虫害位置和虫害类别;
所述虫害检测网络包括候选目标区域提取模块、邻域信息融合模块和后端预测模块;所述目标区域提取模块用于对输入蔬菜图像进行虫害目标特征提取,对提取的虫害图特征进行特征融合,获得多张尺度不同的融合特征图,并根据各融合特征图获得多个虫害目标区域;所述邻域信息融合模块用于根据多个所述虫害目标区域获得多个虫害区域特征图,并获得各虫害区域特征图的邻域信息特征图,将各虫害区域特征图与对应的邻域信息特征图进行特征融合,获得各虫害区域特征图对应的融合式虫害区域特征图;所述后端预测模块根据各所述融合式虫害区域特征图确定所述输入蔬菜图像的虫害位置和虫害类别。
8.根据权利要求7所述的虫害检测***,其特征在于,所述***还包括:
虫害数量统计模块,用于根据所述待检测蔬菜图像的虫害位置统计虫害数量;
虫害状态确定模块,用于根据所述虫害数量确定所述待检测蔬菜图像的虫害状态。
9.根据权利要求7所述的虫害检测***,其特征在于,所述邻域信息融合模块包括ROIAlign层,所述ROI Align层用于根据多个所述虫害目标区域获得多个虫害区域特征图。
10.根据权利要求7所述的虫害检测***,其特征在于,所述邻域信息融合模块用于以第i张虫害区域特征图的中心为中心,在与第i张虫害区域特征图对应的融合特征图中截取设定边长的正方形作为第i张虫害区域特征图的虫害邻域特征图,对第i张虫害区域特征图的虫害邻域特征图进行下采样获得第i张虫害区域特征图的邻域信息特征图;所述邻域信息融合模块还用于将第i张虫害区域特征图与对应的邻域信息特征图进行逐像素相乘操作,再将逐像素相乘结果进行卷积核为1*1的卷积操作,获得融合式虫害区域特征图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210173807.XA CN114239756B (zh) | 2022-02-25 | 2022-02-25 | 一种虫害检测方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210173807.XA CN114239756B (zh) | 2022-02-25 | 2022-02-25 | 一种虫害检测方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114239756A true CN114239756A (zh) | 2022-03-25 |
CN114239756B CN114239756B (zh) | 2022-05-17 |
Family
ID=80748101
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210173807.XA Active CN114239756B (zh) | 2022-02-25 | 2022-02-25 | 一种虫害检测方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114239756B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114550104A (zh) * | 2022-04-22 | 2022-05-27 | 科大天工智能装备技术(天津)有限公司 | 一种火情监测方法及*** |
CN115082743A (zh) * | 2022-08-16 | 2022-09-20 | 之江实验室 | 考虑肿瘤微环境的全视野数字病理图像分类***及构建方法 |
CN115686110A (zh) * | 2023-01-07 | 2023-02-03 | 广州市农业科学研究院 | 温室大棚智能控制方法、***、监控装置、设备及介质 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106295564A (zh) * | 2016-08-11 | 2017-01-04 | 南京理工大学 | 一种邻域高斯结构和视频特征融合的动作识别方法 |
CN109191455A (zh) * | 2018-09-18 | 2019-01-11 | 西京学院 | 一种基于ssd卷积网络的大田作物病虫害检测方法 |
CN110096961A (zh) * | 2019-04-04 | 2019-08-06 | 北京工业大学 | 一种超像素级别的室内场景语义标注方法 |
CN111369540A (zh) * | 2020-03-06 | 2020-07-03 | 西安电子科技大学 | 基于掩码卷积神经网络的植物叶片病害识别方法 |
CN111611889A (zh) * | 2020-05-12 | 2020-09-01 | 安徽大学 | 基于改进卷积神经网络的农田微型虫害识别装置 |
CN112116563A (zh) * | 2020-08-28 | 2020-12-22 | 南京理工大学 | 一种基于谱维与空间协作邻域注意力的高光谱图像目标检测方法与*** |
CN112307958A (zh) * | 2020-10-30 | 2021-02-02 | 河北工业大学 | 基于时空外观运动注意力网络的微表情识别方法 |
CN112598031A (zh) * | 2020-12-08 | 2021-04-02 | 北京农业信息技术研究中心 | 一种蔬菜病害检测方法及*** |
CN112733614A (zh) * | 2020-12-22 | 2021-04-30 | 中国科学院合肥物质科学研究院 | 一种带有相似尺寸强化识别的害虫图像检测方法 |
CN112841154A (zh) * | 2020-12-29 | 2021-05-28 | 长沙湘丰智能装备股份有限公司 | 一种基于人工智能的病虫害防治*** |
CN113052168A (zh) * | 2021-03-12 | 2021-06-29 | 西安航天自动化股份有限公司 | 基于多源特征融合的农作物病虫害图像识别方法 |
CN113327218A (zh) * | 2021-06-10 | 2021-08-31 | 东华大学 | 一种基于级联网络的高光谱与全色图像融合方法 |
-
2022
- 2022-02-25 CN CN202210173807.XA patent/CN114239756B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106295564A (zh) * | 2016-08-11 | 2017-01-04 | 南京理工大学 | 一种邻域高斯结构和视频特征融合的动作识别方法 |
CN109191455A (zh) * | 2018-09-18 | 2019-01-11 | 西京学院 | 一种基于ssd卷积网络的大田作物病虫害检测方法 |
CN110096961A (zh) * | 2019-04-04 | 2019-08-06 | 北京工业大学 | 一种超像素级别的室内场景语义标注方法 |
CN111369540A (zh) * | 2020-03-06 | 2020-07-03 | 西安电子科技大学 | 基于掩码卷积神经网络的植物叶片病害识别方法 |
CN111611889A (zh) * | 2020-05-12 | 2020-09-01 | 安徽大学 | 基于改进卷积神经网络的农田微型虫害识别装置 |
CN112116563A (zh) * | 2020-08-28 | 2020-12-22 | 南京理工大学 | 一种基于谱维与空间协作邻域注意力的高光谱图像目标检测方法与*** |
CN112307958A (zh) * | 2020-10-30 | 2021-02-02 | 河北工业大学 | 基于时空外观运动注意力网络的微表情识别方法 |
CN112598031A (zh) * | 2020-12-08 | 2021-04-02 | 北京农业信息技术研究中心 | 一种蔬菜病害检测方法及*** |
CN112733614A (zh) * | 2020-12-22 | 2021-04-30 | 中国科学院合肥物质科学研究院 | 一种带有相似尺寸强化识别的害虫图像检测方法 |
CN112841154A (zh) * | 2020-12-29 | 2021-05-28 | 长沙湘丰智能装备股份有限公司 | 一种基于人工智能的病虫害防治*** |
CN113052168A (zh) * | 2021-03-12 | 2021-06-29 | 西安航天自动化股份有限公司 | 基于多源特征融合的农作物病虫害图像识别方法 |
CN113327218A (zh) * | 2021-06-10 | 2021-08-31 | 东华大学 | 一种基于级联网络的高光谱与全色图像融合方法 |
Non-Patent Citations (2)
Title |
---|
JING LI 等: "object Detection Based on DenseNet RPN", 《PROCEEDINGS OF THE 38TH CHINESE CONTROL CONFERENCE》 * |
梁正兴 等: "实例分割和边缘优化算法的研究与实现", 《图学学报》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114550104A (zh) * | 2022-04-22 | 2022-05-27 | 科大天工智能装备技术(天津)有限公司 | 一种火情监测方法及*** |
CN114550104B (zh) * | 2022-04-22 | 2022-08-05 | 科大天工智能装备技术(天津)有限公司 | 一种火情监测方法及*** |
CN115082743A (zh) * | 2022-08-16 | 2022-09-20 | 之江实验室 | 考虑肿瘤微环境的全视野数字病理图像分类***及构建方法 |
CN115082743B (zh) * | 2022-08-16 | 2022-12-06 | 之江实验室 | 考虑肿瘤微环境的全视野数字病理图像分类***及构建方法 |
CN115686110A (zh) * | 2023-01-07 | 2023-02-03 | 广州市农业科学研究院 | 温室大棚智能控制方法、***、监控装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114239756B (zh) | 2022-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114239756B (zh) | 一种虫害检测方法及*** | |
Zhao et al. | Rapeseed seedling stand counting and seeding performance evaluation at two early growth stages based on unmanned aerial vehicle imagery | |
CN110765916B (zh) | 一种基于语义和实例分割的农田苗垄识别方法及*** | |
CN109886155B (zh) | 基于深度学习的单株水稻检测定位方法、***、设备及介质 | |
CN111727457B (zh) | 一种基于计算机视觉的棉花作物行检测方法、装置及存储介质 | |
de Silva et al. | Towards agricultural autonomy: crop row detection under varying field conditions using deep learning | |
CN116091951A (zh) | 一种农田与机耕道边界线提取方法及*** | |
Liu et al. | Estimating maize seedling number with UAV RGB images and advanced image processing methods | |
CN110969654A (zh) | 基于收割机的玉米高通量表型测量的方法及装置、收割机 | |
CN114724031A (zh) | 结合上下文感知和多尺度混合注意力的玉米虫害区域检测方法 | |
CN112304902A (zh) | 一种农作物物候的实时监测方法和装置 | |
CN114092822B (zh) | 图像处理方法、移动控制方法以及移动控制*** | |
CN114332849B (zh) | 一种农作物生长状态联合监测方法、装置及存储介质 | |
CN115497067A (zh) | 一种苗圃巡检智能车的路径识别与规划方法 | |
CN115687850A (zh) | 一种农田的灌溉需水量计算方法及装置 | |
CN111523457B (zh) | 一种杂草识别方法及杂草处理设备 | |
CN113807309A (zh) | 一种基于深度学习的果园机械行走路线规划方法 | |
CN117197595A (zh) | 基于边缘计算的果树生育期识别方法、装置及管理平台 | |
Potena et al. | Suckers emission detection and volume estimation for the precision farming of hazelnut orchards | |
CN116739739A (zh) | 一种贷款额度评估方法、装置、电子设备及存储介质 | |
CN117036926A (zh) | 一种融合深度学习与图像处理的杂草识别方法 | |
CN115451965A (zh) | 基于双目视觉的插秧机插植***相对航向信息检测方法 | |
Tamas et al. | Vine diseases detection trials in the carpathian region with proximity aerial images | |
CN116453003B (zh) | 一种基于无人机监测智能识别水稻生长势的方法和*** | |
CN116052141B (zh) | 作物生育期的识别方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |