CN113869246B - 基于改进CenterNet技术的小麦条锈病菌夏孢子显微图像检测方法 - Google Patents
基于改进CenterNet技术的小麦条锈病菌夏孢子显微图像检测方法 Download PDFInfo
- Publication number
- CN113869246B CN113869246B CN202111163882.XA CN202111163882A CN113869246B CN 113869246 B CN113869246 B CN 113869246B CN 202111163882 A CN202111163882 A CN 202111163882A CN 113869246 B CN113869246 B CN 113869246B
- Authority
- CN
- China
- Prior art keywords
- loss
- summer
- spore
- detection
- offset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 151
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 title claims abstract description 28
- 241000209140 Triticum Species 0.000 title claims abstract description 25
- 235000021307 Triticum Nutrition 0.000 title claims abstract description 25
- 238000005516 engineering process Methods 0.000 title claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims description 33
- 238000010586 diagram Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 241001347978 Major minor Species 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 3
- 241001529739 Prunella <angiosperm> Species 0.000 claims 2
- 230000007547 defect Effects 0.000 abstract description 2
- 230000011218 segmentation Effects 0.000 description 11
- 241000233866 Fungi Species 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000002538 fungal effect Effects 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 238000011897 real-time detection Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 240000007594 Oryza sativa Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 2
- 230000001070 adhesive effect Effects 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000894006 Bacteria Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241000221785 Erysiphales Species 0.000 description 1
- 241001466042 Fulgoromorpha Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241000415582 Puccinia striiformis f. sp. tritici Species 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 240000008042 Zea mays Species 0.000 description 1
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 1
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000001464 adherent effect Effects 0.000 description 1
- 235000013339 cereals Nutrition 0.000 description 1
- 235000005822 corn Nutrition 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 244000053095 fungal pathogen Species 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 229940099259 vaseline Drugs 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及基于改进CenterNet技术的小麦条锈病菌夏孢子显微图像检测方法,与现有技术相比解决了难以针对夏孢子显微图像进行检测的缺陷。本发明包括以下步骤:夏孢子显微图像的获取和预处理;夏孢子检测网络的构建;夏孢子检测网络的训练;待检测夏孢子显微图像的获取;待检测夏孢子显微图像检测结果的获得。本发明能够精准检测并分割出夏孢子显微图像中的夏孢子,且检测速度快。
Description
技术领域
本发明属于农业图像处理技术领域,特别涉及一种基于改进CenterNet技术的小麦条锈病菌夏孢子显微图像检测方法。
背景技术
小麦条锈病是由条形柄锈菌(Puccinia striiformis f.sp.tritici)引起,其发病特点分布广、流行性强、危害大。首先在田间出现条锈菌源中心,然后借助气流由发病中心向周边扩散感染,以条锈病原真菌夏孢子在异地越夏和越冬,完成条锈病害的周年循环,并在不同区域往返流行传染。因此,快速准确地检测出田间空气中真菌夏孢子数量,可加强对小麦条锈病的早期预测预报,对于减少经济损失、控制农药滥用、保证粮食安全具有重要意义。
随着计算机视觉技术的发展,国内外学者对真菌孢子识别已经取得了一定的进展。李小龙等对小麦条锈病菌夏孢子显微图像进行基于最近邻插值法的缩放处理、基于K-means聚类算法的分割处理、形态学操作修饰和分水岭分割等处理,实现了夏孢子的自动计数,但当孢子大面积重叠时,算法效率会降低。齐龙等通过分块背景提取法校正光照,根据Canny算子进行边缘检测,利用椭圆度、复杂度和最小外接矩阵宽度等形态学特征进行分类,最后利用距离变换和改进的分水岭算法对粘连孢子进行检测,准确度达到了98.5%,但特征提取过程较复杂。王震等通过提取孢子图像的梯度方向直方图特征(HOG特征)作为输入向量,提出了一种加***叉核支持向量机(IKSVM)的稻瘟病孢子检测方法,实现了98.2%的检测率,但平均检测耗时需5.5s。
综上研究表明,使用传统机器视觉方法检测孢子,需预先针对孢子图像提取目标特征,然后采用算法进行目标拟合和检测,其特征提取过程较繁杂,费时费力。近年来,随着深度学***均精确度为95.53%。杨蜀秦等基于改进CenterNet模型对无人机遥感影像的玉米雄蕊识别精度达到了92.4%,检测速度达到了36f/s。目前国内外学者采用深度学习方法检测真菌孢子类的研究较少,大部分研究是基于Anchor(锚框)的农作物和病虫害目标检测,该类方法虽能满足实时检测要求,但需预置锚框的大小、比例,大量的锚框会导致运算复杂度高,影响训练的效率。当前以CornerNet、CenterNet为代表的基于Anchor-Free的模型应用较为广泛,其中,CenterNet模型具有扩展性强、推理速度快以及检测精度高等优点,在快速检测的同时识别准确率高,具有复杂背景下微小夏孢子实时检测识别的潜力。
但是在显微图像中小麦条锈病菌夏孢子自动检测存在严重的误检和漏检,如图2所示,其也是由于夏孢子外形特点所决定,夏孢子外形似椭圆,个体小且大小不一;同时,夏孢子相互粘连现象严重;再者由于涂抹凡士林出现的晶体状杂质和空气中灰尘影响,图像中存在晶体状杂质和灰尘,使得在夏孢子显微图像中真菌孢子自动检测增加了难度。
因此,如何开发出一种针对于小麦条锈病菌夏孢子显微图像检测方法已经成为亟待解决的技术问题。
发明内容
本发明的目的是为了解决现有技术中难以针对夏孢子显微图像进行检测的缺陷,提供一种基于改进CenterNet技术的小麦条锈病菌夏孢子显微图像检测方法来解决上述问题。
为了实现上述目的,本发明的技术方案如下:
一种基于改进CenterNet技术的小麦条锈病菌夏孢子显微图像检测方法,包括以下步骤:
夏孢子显微图像的获取和预处理:获取采集到的已进行椭圆框人工标注后的夏孢子显微图像,经过预处理步骤,得到标注数据格式为bbox[x,y,2a,2b,angle],其中,x和y为椭圆中心点坐标,2a和2b为长短轴长度,angle为长轴相对于X轴正方向所成的角度,范围是0-180°;
夏孢子检测网络的构建:基于改进CenterNet构建夏孢子检测网络;
夏孢子检测网络的训练:将预处理后的夏孢子显微图像输入夏孢子检测网络进行训练,得到训练后的夏孢子检测网络;
待检测夏孢子显微图像的获取:获取待检测的夏孢子显微图像;
待检测夏孢子显微图像检测结果的获得:将待检测的夏孢子显微图像输入到训练后的夏孢子检测网络,输出夏孢子检测信息,即夏孢子中心点、长短轴和旋转角度,检测定位出显微图像中的小麦条锈病菌夏孢子。
所述夏孢子检测网络的构建包括以下步骤:
构建夏孢子检测网络:基于CenterNet模型构建Resnet10作为改进CenterNet框架下的特征提取网络,设定Resnet10为改进CenterNet模型的特征提取网络结构,层数为4个,Layer1为一个Basic Block,在Layer1中,步长均为1,Layer2-Layer4后均有一个步长为2、卷积核为1×1的下采样卷积;下采样后的特征图再经过上采样得到高分辨率的特征图,最后使用四个预测头得出目标的中心、中心偏置、长短轴和角度;
设定损失函数计算:设定改进CenterNet模型的损失函数Ldet由4项组成:热力图损失、物体长短轴损失、中心偏置损失和角度损失,其公式如下:
Ldet=λheatmap Lheatmap+λab Lab+λoffset Loffset+λang Lang, (1)
式中,λheatmap为热图损失系数,Lheatmap为热图损失,λab为长短轴损失系数,Lab为长短轴损失,λoffset为中心偏置损失系数,Loffset为中心偏置损失,λang为角度损失系数,Lang为角度损失;
对于孢子的长短轴损失λab和角度损失λang取值0.1,λ系数均取1;
Lheatmap损失使用下式(2)改进的Focal loss损失,其中α和β是超参数,分别为2和4;
经下采样后,对每个中心点添加一个偏移损失Loffset,Loffset损失使用下式(3)的L1损失,
长短轴损失和角度损失采用下式(4)的L1损失,定义为
热图高斯核半径计算:使用6种方式将孢子的椭圆框映射成矩形框,再通过公式(6)-(9)间接计算出最小的高斯核半径r,然后将椭圆框中心点的关键信息散射到高斯核半径为r的热图上,其公式如下:
r=min(r1,r2,r3) (6)
式中,overlap为真实框与标注框最小重叠度,取0.7,W为矩形框长,H为矩形框宽;
通过公式(10)将目标标注框中心点的关键信息散射到高斯核半径为r的热图上,使得关键点的检测转换成可进行全卷积的热图,最后通过使用4个预测头计算热图、偏置和长宽信息,得出预测结果Yxyc,
所述夏孢子检测网络的训练包括以下步骤:
设置训练参数:设定样本批尺寸batch size为8,训练过程采用自适应估计方法进行优化,训练共20个迭代周期,训练学习率设为1.25×10-4,权重衰减设为0.0001;
改进CenterNet模型及损失函数的训练:
将预处理后的夏孢子显微图像输入夏孢子检测网络的Resnet10,获取待检测特征图;对待检测特征图进行卷积、激活操作,计算图像的热力图,得到夏孢子图像中各个孢子目标的中心点,并通过回归训练计算得到图像中孢子目标长短轴和旋转角度,根据夏孢子目标中心点、长短轴和旋转角度确定夏孢子目标检测框;
其中网络总损失函数采用
Ldet=λheatmap Lheatmap+λab Lab+λoffset Loffset+λang Lang,获得夏孢子检测网络,其中Lheatmap、Lab、Loffset、Lang分别为夏孢子热图损失、长短轴损失、中心点偏置损失和夏孢子椭圆框角度损失,λheatmap、λab、λoffset、λang分别为Lheatmap、Lab、Loffset、Lang对应权重;所述权重λheatmap、λoffset取值为1,λab、λang取值为0.1;
夏孢子检测信息输出:当输入固定尺度的夏孢子检测图片时,输出夏孢子检测信息,即夏孢子中心点、长短轴和旋转角度。
有益效果
本发明的一种基于改进CenterNet技术的小麦条锈病菌夏孢子显微图像检测方法,与现有技术相比能够精准检测并分割出夏孢子显微图像中的夏孢子,且检测速度快。
本发明优化特征提取网络提取目标特征,减少网络参数防止过拟合,同时改进CenterNet检测框为带角度的椭圆框以增强分割重叠度,提出一种基于改进CenterNet模型的小麦条锈病菌夏孢子自动检测方法。本发明所述方法对小麦条锈病菌夏孢子检测的识别精度达到了98.77%,重叠度为83.63%,检测速度为41fps,达到了实时检测的应用需求。
附图说明
图1为本发明的方法顺序图;
图2为夏孢子显微数据采集图;
图3为基于改进CenterNet的小麦条锈病菌夏孢子自动检测方法网络结构图;
图4为Resnet10特征提取网络结构图;
图5、图6和图7均为利用本发明所述方法的夏孢子显微图像检测效果图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识,用以较佳的实施例及附图配合详细的说明,说明如下:
如图1所示,本发明所述的一种基于改进CenterNet技术的小麦条锈病菌夏孢子显微图像检测方法,包括以下步骤:
第一步,夏孢子显微图像的获取和预处理。获取采集到的已进行椭圆框人工标注后的夏孢子显微图像,经过预处理步骤,得到标注数据格式为bbox[x,y,2a,2b,angle],其中,x和y为椭圆中心点坐标,2a和2b为长短轴长度,angle为长轴相对于X轴正方向所成的角度,范围是0-180°。
在实验室阶段,将标注数据的图片、json标签数据按照8:2比例划分标注数据,其中预留部分作为测试集,剩下的80%为训练集、20%为验证集。另外,使用via2.0标注工具的VGGImageAnnotator的椭圆框标注夏孢子图像,得到初始的COCO格式标注数据,改进CenterNet网络的数据标注过程使用椭圆标注,得到的标注数据格式为外切矩形框的左上角坐标、长和宽和椭圆框的72组边界点坐标。根据左上角坐标和长宽计算出椭圆框的中心点坐标,通过72组边界点坐标计算出椭圆框的长短轴和旋转角度,得到的预处理标注数据格式为bbox[x,y,2a,2b,angle]。x和y为椭圆中心点坐标,2a和2b为长短轴长度,angle为长轴相对于X轴正方向所成的角度,范围是0-180°。
第二步,夏孢子检测网络的构建:基于改进CenterNet构建夏孢子检测网络。夏孢子形态学特征为近椭圆或圆形,且孢子易粘连在一起,使用传统机器视觉方法进行粘连分割难度较大。基于此,本发明选择CenterNet模型作为孢子自动检测方法的研究。
CenterNet是无锚框模型目标检测算法的典型代表,与CornerNe(检测左上角点和右下角点)和ExtremeNet(检测最上、最下、最左、最右、中心点)类似,CenterNet通过检测物体的中心点和长宽来确定检测框的位置大小。模型结构主要包括特征提取网络和预测头两个模块。第一模块的特征提取网络负责提取特征生成特征图,第二模块的预测头部分用来预测目标的热图、中心点偏置和预测框的长宽。CenterNet模型将目标检测问题转化为检测目标中心点问题,检测时通过特征提取网络输出的特征图经过检测头得出检测目标的中心点位置,并通过偏置量微调中心点的位置,使预测的中心点位置更加准确。
直接将原始CenterNet模型用于检测小麦条锈病菌夏孢子图像,易出现目标孢子的误检和漏检问题。针对误检问题,本发明采用简化网络结构的方式构建了参数更少的特征提取网络Resnet10,减少模型的过拟合,降低了误检率;针对漏检问题,将原始的矩形检测框改进为带角度的椭圆检测框,同时,使用映射矩形计算出热图的高斯核半径,减少检测框中的无效背景,提高了模型检测的精确率与分割度。
特征提取网络是目标检测中的重要一环,目标检测模型的检测精度、速度等直接受到特征提取网络的影响。原始CenterNet模型的特征提取网络有很多,一般选择Hourglass Net、DLANet或Resnet等。这些网络主要用于提取输入图像的特征。由于夏孢子显微图像的数据集数量不够庞大,且显微图像中有夏孢子目标大小较微小,孢子种类较少的特点,若使用结构参数量较大的Hourglass Net和DLANet网络提取特征,易导致模型过拟合;基于此,本研究基于Resnet网络结构,构建了参数更少的Resnet10网络作为改进CenterNet模型的特征提取网络结构,以降低夏孢子检测模型的过拟合。
如图3和图4所示,夏孢子检测网络的构建的具体步骤如下:
(1)构建夏孢子检测网络:基于CenterNet模型构建Resnet10作为改进CenterNet框架下的特征提取网络,设定Resnet10为改进CenterNet模型的特征提取网络结构,层数为4个,Layer1为一个Basic Block,在Layer1中,步长均为1,Layer2-Layer4后均有一个步长为2、卷积核为1×1的下采样卷积;下采样后的特征图再经过上采样得到高分辨率的特征图,最后使用四个预测头得出目标的中心、中心偏置、长短轴和角度。
(2)由于需要检测孢子的角度,在原始CenterNet损失函数的基础上,需添加角度损失Lang进行训练。设定损失函数计算:设定改进CenterNet模型的损失函数由4项组成:热力图损失、物体长短轴损失、中心偏置损失和角度损失,其公式如下:
Ldet=λheatmap Lheatmap+λab Lab+λoffset Loffset+λang Lang, (1)
式中,λheatmap为热图损失系数,Lheatmap为热图损失,λab为长短轴损失系数,Lab为长短轴损失,λoffset为中心偏置损失系数,Loffset为中心偏置损失,λang为角度损失系数,Lang为角度损失;
对于孢子的长短轴损失λab和角度损失λang取值0.1,λ系数均取1;
Lheatmap损失使用下式(2)改进的Focal loss损失,其中α和β是超参数,分别为2和4;
经下采样后,对每个中心点添加一个偏移损失Loffset,Loffset损失使用下式(3)的L1损失,
长短轴损失和角度损失亦采用下式(4)的L1损失,定义为
(3)热图高斯核半径计算。
原始Centernet模型训练过程中预测后的矩形框与人工标注的矩形框一般会出现3种位置关系,3种预测框均能很好的包围目标。所以,为了能得到效果好的预测框,需准确的计算出3种预测框中半径r(即高斯核半径)。Heatmap热图,起初在人体关键点检测任务中得到应用,后来在目标检测任务中表现出很好的性能。在CenterNet模型中,可通过式(5)将目标标注框中心点的关键信息散射到高斯核半径为r的热图上,使得关键点的检测转换成可进行全卷积的热图,最后通过热图、偏置和长宽信息得到预测结果。
使用6种方式将孢子的椭圆框映射成矩形框,再通过公式(6)-(9)间接计算出最小的高斯核半径r,然后将椭圆框中心点的关键信息散射到高斯核半径为r的热图上,其公式如下:
r=min(r1,r2,r3) (6)
式中,overlap为真实框与标注框最小重叠度,取0.7,W为矩形框长,H为矩形框宽。
(4)通过公式(10)将目标标注框中心点的关键信息散射到高斯核半径为r的热图上,使得关键点的检测转换成可进行全卷积的热图,最后通过使用4个预测头计算热图、偏置和长宽信息,得出预测结果Yxyc,
第三步,夏孢子检测网络的训练:将预处理后的夏孢子显微图像输入夏孢子检测网络进行训练,得到训练后的夏孢子检测网络。
在实验室环境下,所有网络均在同一硬件环境下训练,操作***为Windows10,处理器为AMD 3700X,显卡为1块GPU1080Ti,显存大小11GB。训练使用Pytorch1.6深度学习框架,图片张数为21420张,18000张作为训练和验证集,按照8:2划分,剩余图片作为测试集。训练使用的样本批尺寸(batch size)为8,训练过程采用自适应估计(Adaptive momentestimation,Adam)方法进行优化。训练共20个迭代周期(epoch),每个周期迭代14400/8次,共计迭代3.6×105次。训练学习率设为1.25×10-4,权重衰减设为0.0001。
其具体步骤如下:
(1)设置训练参数:设定样本批尺寸batch size为8,训练过程采用自适应估计方法进行优化,训练共20个迭代周期,训练学习率设为1.25×10-4,权重衰减设为0.0001;
(2)改进CenterNet模型及损失函数的训练:
将预处理后的夏孢子显微图像输入夏孢子检测网络的Resnet10,获取待检测特征图;对待检测特征图进行卷积、激活操作,计算图像的热力图,得到夏孢子图像中各个孢子目标的中心点,并通过回归训练计算得到图像中孢子目标长短轴和旋转角度,根据夏孢子目标中心点、长短轴和旋转角度确定夏孢子目标检测框;
其中网络总损失函数采用
Ldet=λheatmap Lheatmap+λab Lab+λoffset Loffset+λang Lang,获得夏孢子检测网络,其中Lheatmap、Lab、Loffset、Lang分别为夏孢子热图损失、长短轴损失、中心点偏置损失和夏孢子椭圆框角度损失,λheatmap、λab、λoffset、λang分别为Lheatmap、Lab、Loffset、Lang对应权重;所述权重λheatmap、λoffset取值为1,λab、λang取值为0.1;
(3)夏孢子检测信息输出:当输入固定尺度的夏孢子检测图片时,输出夏孢子检测信息,即夏孢子中心点、长短轴和旋转角度。
第四步,待检测夏孢子显微图像的获取:获取待检测的夏孢子显微图像。
第五步,待检测夏孢子显微图像检测结果的获得:将待检测的夏孢子显微图像输入到训练后的夏孢子检测网络,输出夏孢子检测信息,即夏孢子中心点、长短轴和旋转角度,检测定位出显微图像中的小麦条锈病菌夏孢子。
使用同一数据集分别使用不同特征提取网络和不同椭圆映射矩形,在相同模型训练环境和方法下进行相同批次训练,特征提取网络分别使用Resnet10、Resnet18、Resnet34和Resnet50,使用椭圆映射矩形进行对比实验,实验对比结果如表1和表2所示。
表1不同特征提取网络的准确率和召回率对比表
表2不同特征提取网络的F1值和分割率对比表
从表1和表2中可看出,随着特征提取网络层数的增多,孢子的检测指标并未一直减小,使用Resnet34作为特征提取网络的模型综合性能最差。当使用结构简单的Resnet10特征提取网络检测孢子图像,识别准确率未受到影响,网络的训练速度反而更快。使用R1、R2、R3、R4映射矩形计算高斯核半径时,Resnet10的准确率与Resnet18、Resnet50接近,平均准确率优于Resnet34模型0.40%。特征提取网络使用Resnet10网络时,高斯核半径计算方法使用R1和R4矩形的检测准确率较高,与R5矩形和R6矩形相比,检测精度提高0.56%~1.26%。使用R4映射矩形计算高斯半径时(特征提取网络使用Resnet10网络),取得的分割效果最好,优于Resnet34(使用R2映射矩形)方法2.47%,与Resnet50网络相近,但训练速率更快。因此,本发明选择Resnet10网络作为改进CenterNet模型的特征提取网络,高斯核半径使用R4映射矩形计算,能够使用更少的参数训练网络,加快训练速率,并得到很好的检测效果。
在相同条件下,分别使用原始CenterNet模型(特征提取网络使用Resnet50)与改进CenterNet模型(高斯核半径计算使用R4矩形)模型进行训练,实验对比数据如表3所示。
表3两种算法对不同密度孢子的检测结果对比
Table 3 Comparison of detection results of two algorithms for sporeswith different densities
从表3可以看出,随着孢子数量的增多,原始CenterNet算法和改进CenterNet算法的准确率和召回率均减小。当孢子数量在10-30时,原始CenterNet算法的准确率下降了3.14%,召回率下降了5.08%。改进CenterNet算法的准确率下降了2.57%,召回率下降了3.62%。随着孢子数量的增多,原始CenterNet算法容易受粘连孢子的影响导致多孢一框及漏检的现象,对粘连孢子的检测精度明显下降。而改进CenterNet算法使用椭圆框分割孢子,减少了检测框中的无效背景,能够预测更精确的检测框,在粘连孢子的检测上取得了较好的检测效果。改进CenterNet模型的识别精度达到了98.77%,重叠度为83.63%,检测速度为41fps,与原始的CenterNet模型相比,识别精度提高0.23%,重叠度提高7.53%,检测速度加快11fps。此外,同等条件下,以Resnet10作为特征提取网络的改进CenterNet模型大小是原始CenterNet模型的31.5%,更易于部署到服务器或远程设备上。因此,本发明提出的改进CenterNet模型,能够满足小麦条锈病菌夏孢子自动检测的应用要求,与原始CenterNet模型相比,在同等条件下,改进CenterNet模型能够取得更高的识别精度和更快的检测速度,并获得更高的分割率,减少误检率和漏检率。
如图5、图6和图7所示,在孢子数量较少的情况下,本发明所述方法能检测出所有孢子。当孢子数目增多到10个以上时,由于孢子的密度增大、孢子粘连与重叠增加了模型识别的难度。但是由于改进CenterNet模型的检测框是带角度的椭圆框,更加贴合孢子的形状,在框中出现的背景更少,可显著地关注孢子区域,并减少背景区域。在孢子密度增大的情况下,依然能够很好地检测出所有的孢子。在保证检测精准率的前提下,获得更高的孢子检测分割率。因此,本发明使用的改进CenterNet模型的椭圆框检测方法效果优于传统方法,出现误检和漏检的概率更低。
本发明为解决小麦条锈病菌夏孢子自动检测存在严重的误检和漏检问题,以实现快速、准确地检测真菌夏孢子,根据孢子形态学特点,从特征提取网络、检测框和热图高斯核半径计算三个方面改进了CenterNet模型。首先基于Resnet18网络,减半网络中的BasicBlock层数,构建孢子特征提取网络Resnet10,其次将CenterNet模型的矩形检测框改进为带角度的椭圆检测框以增强分割重叠度,最后使用椭圆映射矩形计算出热图的高斯核半径。在测试集上的实验表明,改进后的CenterNet模型的识别精度达到了98.77%,重叠度为83.63%,检测速度为41fps,达到了实时检测的应用需求,比原始CenterNet模型平均重叠度提高了7.53%,检测速度快了11FPS,模型大小降低了68.5%,使得改进模型更易于部署到服务器或者远程设备上。因此,本发明提出的基于改进CenterNet的真菌孢子检测模型可以为小麦条锈病病害检测提供一种有效的方法支持。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是本发明的原理,在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
Claims (2)
1.一种基于改进CenterNet技术的小麦条锈病菌夏孢子显微图像检测方法,其特征在于,包括以下步骤:
11)夏孢子显微图像的获取和预处理:获取采集到的已进行椭圆框人工标注后的夏孢子显微图像,经过预处理步骤,得到标注数据格式为bbox[x,y,2a,2b,angle],其中,x和y为椭圆中心点坐标,2a和2b为长短轴长度,angle为长轴相对于X轴正方向所成的角度,范围是0-180°;
12)夏孢子检测网络的构建:基于改进CenterNet构建夏孢子检测网络;所述夏孢子检测网络的构建包括以下步骤:
121)构建夏孢子检测网络:基于CenterNet模型构建Resnet10作为改进CenterNet框架下的特征提取网络,设定Resnet10为改进CenterNet模型的特征提取网络结构,层数为4个,层1为一个基础块,在层1中,步长均为1,层2-层4后均有一个步长为2、卷积核为1×1的下采样卷积;下采样后的特征图再经过上采样得到高分辨率的特征图,最后使用四个预测头得出目标的中心、中心偏置、长短轴和角度;
122)设定损失函数计算:设定改进CenterNet模型的损失函数Ldet由4项组成:热力图损失、物体长短轴损失、中心偏置损失和角度损失,其公式如下:
Ldet=λheatmapLheatmap+λabLab+λoffsetLoffset+λangLang, (1)
式中,λheatmap为热图损失系数,Lheatmap为热图损失,λab为长短轴损失系数,Lab为长短轴损失,λoffset为中心偏置损失系数,Loffset为中心偏置损失,λang为角度损失系数,Lang为角度损失;
对于孢子的长短轴损失λab和角度损失λang取值0.1,λheatmap和λoffset均取1;
Lheatmap损失使用下式(2)改进的Focal loss损失,其中α和β是超参数,分别为2和4;
经下采样后,对每个中心点添加一个偏移损失Loffset,Loffset损失使用下式(3)的平均绝对值误差损失,
长短轴损失和角度损失采用下式(4)的L1损失,定义为
123)热图高斯核半径计算:使用6种方式将孢子的椭圆框映射成矩形框,再通过公式(6)-(9)间接计算出最小的高斯核半径r,然后将椭圆框中心点的关键信息散射到高斯核半径为r的热图上,其公式如下:
r=min(r1,r2,r3) (6)
式中,overlap为真实框与标注框最小重叠度,取0.7,W为矩形框长,H为矩形框宽;
124)通过公式(10)将目标标注框中心点的关键信息散射到高斯核半径为r的热图上,使得关键点的检测转换成可进行全卷积的热图,最后通过使用4个预测头计算热图、偏置和长宽信息,得出预测结果Yxyc,
13)夏孢子检测网络的训练:将预处理后的夏孢子显微图像输入夏孢子检测网络进行训练,得到训练后的夏孢子检测网络;
14)待检测夏孢子显微图像的获取:获取待检测的夏孢子显微图像;
15)待检测夏孢子显微图像检测结果的获得:将待检测的夏孢子显微图像输入到训练后的夏孢子检测网络,输出夏孢子检测信息,即夏孢子中心点、长短轴和旋转角度,检测定位出显微图像中的小麦条锈病菌夏孢子。
2.根据权利要求1所述的基于改进CenterNet技术的小麦条锈病菌夏孢子显微图像检测方法,其特征在于,所述夏孢子检测网络的训练包括以下步骤:
21)设置训练参数:设定样本批尺寸为8,训练过程采用自适应估计方法进行优化,训练共20个迭代周期,训练学习率设为1.25×10-4,权重衰减设为0.0001;
22)改进CenterNet模型及损失函数的训练:
将预处理后的夏孢子显微图像输入夏孢子检测网络的Resnet10,获取待检测特征图;对待检测特征图进行卷积、激活操作,计算图像的热力图,得到夏孢子图像中各个孢子目标的中心点,并通过回归训练计算得到图像中孢子目标长短轴和旋转角度,根据夏孢子目标中心点、长短轴和旋转角度确定夏孢子目标检测框;
其中网络总损失函数采用
Ldet=λheatmapLheatmap+λabLab+λoffsetLoffset+λangLang,获得夏孢子检测网络,其中Lheatmap、Lab、Loffset、Lang分别为夏孢子热图损失、长短轴损失、中心点偏置损失和夏孢子椭圆框角度损失,λheatmap、λab、λoffset、λang分别为Lheatmap、Lab、Loffset、Lang对应损失系数;所述权重λheatmap、λoffset取值为1,λab、λang取值为0.1;
23)夏孢子检测信息输出:当输入固定尺度的夏孢子检测图片时,输出夏孢子检测信息,即夏孢子中心点、长短轴和旋转角度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111163882.XA CN113869246B (zh) | 2021-09-30 | 2021-09-30 | 基于改进CenterNet技术的小麦条锈病菌夏孢子显微图像检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111163882.XA CN113869246B (zh) | 2021-09-30 | 2021-09-30 | 基于改进CenterNet技术的小麦条锈病菌夏孢子显微图像检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113869246A CN113869246A (zh) | 2021-12-31 |
CN113869246B true CN113869246B (zh) | 2022-04-01 |
Family
ID=79001373
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111163882.XA Active CN113869246B (zh) | 2021-09-30 | 2021-09-30 | 基于改进CenterNet技术的小麦条锈病菌夏孢子显微图像检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113869246B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114639102B (zh) * | 2022-05-11 | 2022-07-22 | 珠海横琴圣澳云智科技有限公司 | 基于关键点与尺寸回归的细胞分割方法和装置 |
CN115170923B (zh) * | 2022-07-19 | 2023-04-07 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车托板螺母丢失的故障识别方法 |
CN115079396B (zh) * | 2022-08-19 | 2022-12-27 | 杭州德适生物科技有限公司 | 一种基于100倍物镜的染色体核型分析显微拍摄装置及方法 |
CN116385432B (zh) * | 2023-06-01 | 2023-08-15 | 安徽大学 | 一种轻量化解耦小麦赤霉病孢子检测方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108052886B (zh) * | 2017-12-05 | 2018-12-18 | 西北农林科技大学 | 一种小麦条锈病菌夏孢子自动统计计数方法 |
JP7296715B2 (ja) * | 2018-12-03 | 2023-06-23 | キヤノン株式会社 | 学習装置、処理装置、ニューラルネットワーク、学習方法、及びプログラム |
CN111797697B (zh) * | 2020-06-10 | 2022-08-05 | 河海大学 | 基于改进CenterNet的有角度高分遥感图像目标检测方法 |
CN113255837A (zh) * | 2021-06-29 | 2021-08-13 | 南昌工程学院 | 工业环境下基于改进的CenterNet网络目标检测方法 |
-
2021
- 2021-09-30 CN CN202111163882.XA patent/CN113869246B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113869246A (zh) | 2021-12-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113869246B (zh) | 基于改进CenterNet技术的小麦条锈病菌夏孢子显微图像检测方法 | |
WO2020047738A1 (zh) | 多尺度特征融合网络结合定位模型的害虫自动计数方法 | |
Wang et al. | Image recognition of plant diseases based on backpropagation networks | |
CN111860330B (zh) | 基于多特征融合和卷积神经网络的苹果叶部病害识别方法 | |
CN112364931B (zh) | 一种基于元特征和权重调整的少样本目标检测方法及网络*** | |
CN111898432B (zh) | 一种基于改进YOLOv3算法的行人检测***及方法 | |
CN112257569B (zh) | 一种基于实时视频流的目标检测和识别方法 | |
CN111783576A (zh) | 基于改进型YOLOv3网络和特征融合的行人重识别方法 | |
CN112489081B (zh) | 一种视觉目标跟踪方法及装置 | |
CN107767416B (zh) | 一种低分辨率图像中行人朝向的识别方法 | |
CN110610210B (zh) | 一种多目标检测方法 | |
CN111339975A (zh) | 基于中心尺度预测与孪生神经网络的目标检测识别跟踪方法 | |
CN113799124B (zh) | 一种非结构化环境的机器人灵活抓取检测方法 | |
Wang et al. | Sweet potato leaf detection in a natural scene based on faster R-CNN with a visual attention mechanism and DIoU-NMS | |
CN111860297A (zh) | 一种应用于室内固定空间的slam回环检测方法 | |
CN111860587A (zh) | 一种用于图片小目标的检测方法 | |
Xu et al. | Real-time and accurate detection of citrus in complex scenes based on HPL-YOLOv4 | |
CN112329784A (zh) | 一种基于时空感知及多峰响应的相关滤波跟踪方法 | |
Shuai et al. | An improved YOLOv5-based method for multi-species tea shoot detection and picking point location in complex backgrounds | |
CN115797928A (zh) | 基于可旋转椭圆框的小麦条锈病菌夏孢子显微图像检测方法 | |
CN108985216B (zh) | 一种基于多元logistic回归特征融合的行人头部检测方法 | |
CN115439842A (zh) | 一种基于深度学习的桑葚菌核病严重度的检测方法 | |
Xingshi et al. | Light-weight recognition network for dairy cows based on the fusion of YOLOv5s and channel pruning algorithm. | |
CN111950586B (zh) | 一种引入双向注意力的目标检测方法 | |
CN109815790B (zh) | 用于遥感目标检测的门控轴聚检测网络***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |