CN111310756A - 一种基于深度学习的损伤玉米颗粒检测和分类方法 - Google Patents
一种基于深度学习的损伤玉米颗粒检测和分类方法 Download PDFInfo
- Publication number
- CN111310756A CN111310756A CN202010065688.7A CN202010065688A CN111310756A CN 111310756 A CN111310756 A CN 111310756A CN 202010065688 A CN202010065688 A CN 202010065688A CN 111310756 A CN111310756 A CN 111310756A
- Authority
- CN
- China
- Prior art keywords
- network
- target
- feature map
- giou
- branch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
一种基于深度学习的损伤玉米颗粒检测和分类方法,由图像采集、图像处理、构建改进的目标检测网络、生成锚点、寻找困难样本、获取候选框、候选框映射、分类和GIoU回归、训练网络模型测试网络模型步骤组成。在特征提取网络DetNet中引入SE模块和新的网络分支,构成改进的目标检测网络模型,提升了特征图中有用的特征并抑制,增加了特征图中的信息,对不同网络层得到的特征图进行加权融合,使特征图整合更多的全局信息;采用GA‑RPN网络生成锚点,增加了网络模型的训练效率,采用GIoU作为回归损失函数,提升了图像中损伤玉米颗粒检测精度。本发明对损伤玉米颗粒的检测和分类精度较高,可检测出图像中损伤玉米颗粒。
Description
技术领域
本发明属于图像目标检测和分类技术领域,具体涉及到损伤玉米颗粒检测和分类。
背景技术
采用手工的方法对玉米颗粒进行检测和分类费时费力,传统的机器学习方法检测损伤玉米颗粒往往需要手动提取特征,而且对于图像中的大量玉米颗粒,需要对图像中的玉米颗粒进行分割,检测效率不高。
随着深度学习在计算机视觉领域的发展和广泛应用,深度学习在传统机器学习和图像领域取得了惊人的成绩,特别是在图像中的目标检测领域,基于深度学习的目标检测网络模型(如FasterR-CNN,SSD,YOLO等)不断的改进,一次又次地提高图像中的目标检测精度。与此同时,使用深度学习的方法解决农业领域问题的研究也日益增多,使用深度学习的方法自动对图像中的目标特征进行提取和识别,极大地提高了检测的效率。武勇等人公开了一种建立粮食不完善粒图像识别样本库的方法及***,建立了基于深度学习网络模型的不完善颗粒检测***。武勇等人公开了一种基于深度卷积网络模型的粮食籽粒检测与计数的方法及装置,通过训练网络模型参数对粮食目标进行检测和计数。
特征提取网络DetNet(Detection Network,Li,Z.,Peng,C.,Yu,G.,Zhang,X.,Deng,Y.,&Sun,J.(2018).Detnet:A backbone network for object detection.arXivpreprint arXiv:1804.06215.)中获得较高感受野的特征图同时保证了特征图分辨率足够大,但是特征提取网络中使用空洞卷积会产生网格效应,对小目标的特征提取效果不明显。SE(Squeeze-and-Excitation,Hu,J.,Shen,L.,&Sun,G.(2018).Squeeze-and-Excitationnetworks.In Proceedings of the IEEE Conference on Computer Vision and PatternRecognition,7132–7141.)模块用于学习特征图通道之间的相关性,提升特征提取网络得到的特征图中的有用特征并抑制对当前任务用处不大的特征,对特征图进行缩放。GA-RPN(Region ProposalNetwork by Guided Anchoring,Wang,J.,Chen,K.,Yang,S.,Loy,C.C.,&Lin,D.(2019).Region proposal by guided anchoring.In Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition(pp.2965-2974).)网络,可以自动提取特征图中包含目标区域的锚点,避免了大量无效或重复锚点的生成,降低生成锚点的数量。
发明内容
本发明要解决的技术问题在于克服上述现有技术的缺点,提供一种检测精度高、检测效率高的基于深度学习的损伤玉米颗粒检测和分类方法。
解决上述技术问题所采用的技术方案是由以下步骤组成:
(1)图像采集
用彩色数码相机采集玉米颗粒的图像。
(2)图像处理
将采集到的图像统一调整到600×800像素,人工标注图像中玉米颗粒,按发霉、虫蛀、正常类别的左上角和右下角位置坐标制成标签,将图像和标签制作成Microsoft COCO数据集格式,随机选定数据集的80%作为训练集、20%作为测试集。
(3)构建改进的目标检测网络
1)构建目标特征缩放模块和目标特征空洞缩放模块
DetNet模块与SE模块构成目标特征缩放模块,SE模块包含依次相连的1个全局平均池化层、1个全连接层、1个ReLU层、1个全连接层、1个Sigmoid层,DetNet模块包含依次相连的1层1×1的卷积、1层3×3的卷积、1层1×1的卷积;3×3的卷积中不设置有空洞率的是目标特征缩放模块、设置有空洞率的是目标特征空洞缩放模块,其构建方法如下:
从训练集的图像中提取特征图,输入到DetNet模块提取特征,得到新的特征图,并与输入的特征图进行融合,引入SE模块对输入到DetNet模块的W×H×C特征图的每个通道进行全局平均池化转换为1×1×C特征向量,其中W和H为特征图的宽和高,C为特征图的通道数,用1个全连接层减少特征向量的通道数,经ReLU层、全连接层、Sigmoid函数得到1×1×C的特征权重,将特征权重与DetNet模块提取特征后的特征图相乘,得缩放的特征图,缩放的特征图和输入到DetNet模块前的特征图再次融合,得融合后的特征图,在DetNet模块中不设置有空洞率构建成目标特征缩放模块,设置有空洞率构建成目标特征空洞缩放模块。
2)构建改进的目标检测网络
目标检测网络包括三个阶段和两个分支支路,第一个阶段采用1层7×7×64的卷积层对输入的图像提取特征得到特征图,输出到第二阶段;第二阶段采用1层3×3的最大值池化层用3个目标特征缩放模块提取图像特征得到特征图,输出到第三阶段;第三个阶段采用4个目标特征缩放模块提取图像特征得到特征图,输出到左分支网络和右分支网络。
左分支网络包括3个分支网络,左分支的第一分支网络采用6个目标特征空洞缩放模块提取图像特征得到特征图,输出到左分支的第二分支网络,左分支网络的第二分支网络采用3个目标特征空洞缩放模块取图像特征得到特征图,输出到左分支的第三分支网络,左分支网络的第三分支网络采用3个目标特征空洞缩放模块取图像特征得到特征图。
右分支网络包括3个分支网络,右分支网络的第一分支网络采用6个目标特征缩放模块提取图像特征得到特征图,输出到右分支的第二分支网络,右分支网络的第二分支网络采用3个目标特征缩放模块提取图像特征得到特征图,输出到右分支的第三分支网络,右分支网络的第三分支网络采用3个目标特征缩放模块提取图像特征得到特征图;左边分支网络和右边分支网络的第一、第二、第三分支网络输出6个大小均为原图像1/16的特征图,加权融合,融合的权重比的和为1,得到加权融合后的特征图,构建成改进的目标检测网络。
(4)生成锚点
将加权融合后的特征图输出到GA-RPN网络,生成包含玉米颗粒目标区域的锚点。
(5)寻找困难样本
设定锚点划分的区间数,根据锚点划分的区间数和锚点与真实标签的泛化交并比值GIoU将包含玉米颗粒目标区域的锚点划分成泛化交并比值GIoU不同的区间,对每个区间均匀采样,寻找包含玉米颗粒目标区域的锚点中的困难样本。
(6)获取候选框
将包含玉米颗粒目标区域的锚点作为候选框输出到分类网络,不含有玉米颗粒目标区域锚点判定为背景。
(7)候选框映射
将候选框通过分类网络的感兴趣区域池化层映射到步骤(3)中加权融合后的特征图,得到包含玉米颗粒目标位置候选框的特征图。
(8)分类和GIoU回归
将包含玉米颗粒目标位置候选框的特征图输出到分类网络的全连接层,对特征图中的玉米颗粒候选框进行分类,得到图像中每个玉米颗粒的损伤类别和判断为该类别的概率值,使用泛化交并比GIoU回归方法对该特征图中的候选框的位置进行精修,得到损伤玉米颗粒精确位置,用方形框在图像中标注每一颗玉米颗粒的位置,在方形框上方标注玉米颗粒的类别和概率值。
(9)训练网络模型
使用训练集以端到端的方法训练改进的目标检测网络模型、GA-RPN网络、分类网络,得到训练好的整体网络模型。
(10)测试网络模型
使用测试集测试训练好改进的目标检测网络模型,得到测试集中损伤玉米颗粒的检测和分类结果。
在本发明的寻找困难样本步骤(5)中,所述的寻找困难样本的方法为:
确定预测锚点与真实标签的泛化交并比值GIoU:
其中V是包含真实标签框A和预测锚点框B的最小凸形面积,IoU是预测锚点与真实标签的交并比。
根据泛化交并比GIoU的值将锚点从大到小排序,均匀划分为K个采样区间,对每个区间均匀采样,并计算每个区间锚点样本的采样概率pk:
其中N是总样本数、为有限的正整数,K是对采样空间划分的区间数、K[5,6,…,20],Mk是每个区间不为0的抽样的样本数、Mk<N,N是大于2的有限的正整数,根据每个区间的采样概率,在相应的区间随机筛选相同数量的样本,实现对锚点的泛化交并比GIoU平衡采样和困难样本的寻找。
在本发明的分类和GIoU回归步骤(8)中,所述的泛化交并比GIoU回归方法为:
将被反向传播的泛化交并比GIoU作为回归候选框的损失函数LGIoU,在分类网络中用作优化的目标函数,将泛化交并比GIoU作为预测候选框和真实标签的测量指标,使用损失函数LGIoU优化目标检测网络;损失函数LGIoU按下式确定:
LGIoU=1-GIoU
本发明在特征提取网络DetNet中引入SE模块,构成目标特征缩放模块和目标特征空洞缩放模块,提升网络提取的特征图中有用特征并抑制对当前任务用处不大的特征,使得图像中目标的有效特征更为明显;网络的第三阶段分为左分支网络和右分支网络,分别对特征图提取特征,获取图像更丰富的特征信息,网络的左右两个分支得到的特征图进行加权融合,提升了特征图包含的全局信息,使特征图中包含更多的细节信息。在生成锚点时采用自动生成锚点的GA-RPN(Region ProposalNetwork by Guided Anchoring,自适应锚点区域生成网络)网络,避免了大量无效或重复锚点的生成,生成锚点的数量大大降低,且使用GIoU(Generalized Intersection over Union,泛化交并比)平衡采样策略在GA-RPN生成的锚点中寻找困难样本,有效地提升了锚点中高GIoU区间的样本比例,将难样本的分布和采样匹配,在不增加计算量的前提下,提高了困难样本的比例,使训练好的网络模型具有更高的鲁棒性,提升了对网络模型的训练效率和准确性。在对候选框进行位置精修时采用GIoU回归的方法,能够更加准确地获取损伤玉米颗粒在图像中的位置,提高了粮食颗粒的检测精度和效率。
附图说明
图1是本发明实施例1的流程图。
图2是玉米颗粒检测结果照片。
图3是完好玉米颗粒检测结果照片。
图4是发霉玉米颗粒检测结果照片。
图5是虫蛀玉米颗粒检测结果照片。
具体实施方式
下面结合附图和实施例对本发明进一步详细说明,但本发明不限于下述的实施例。
在图1中,本实施例的基于深度学习的损伤玉米颗粒检测和分类方法由下述步骤组成:
(1)图像采集
用彩色数码相机采集玉米颗粒的图像。
(2)图像处理
将采集到的图像统一调整到600×800像素,人工标注图像中玉米颗粒,按发霉、虫蛀、正常类别的左上角和右下角位置坐标制成标签,将图像和标签制作成Microsoft COCO数据集格式,随机选定数据集的80%作为训练集、20%作为测试集。
(3)构建改进的目标检测网络
1)构建目标特征缩放模块和目标特征空洞缩放模块
DetNet模块与SE模块构成目标特征缩放模块,SE模块包含依次相连的1个全局平均池化层、1个全连接层、1个ReLU层、1个全连接层、1个Sigmoid层,DetNet模块包含依次相连的1层1×1的卷积、1层3×3的卷积、1层1×1的卷积;3×3的卷积中不设置有空洞率的是目标特征缩放模块、设置有空洞率的是目标特征空洞缩放模块,其构建方法如下:
从训练集的图像中提取特征图,输入到DetNet模块提取特征,得到新的特征图,并与输入的特征图进行融合,引入SE模块对输入到DetNet模块的W×H×C特征图的每个通道进行全局平均池化转换为1×1×C特征向量,其中W和H为特征图的宽和高,C为特征图的通道数,用1个全连接层减少特征向量的通道数,经ReLU层、全连接层、Sigmoid函数得到1×1×C的特征权重,将特征权重与DetNet模块提取特征后的特征图相乘,得缩放的特征图,缩放的特征图和输入到DetNet模块前的特征图再次融合,得融合后的特征图,在DetNet模块中不设置有空洞率构建成目标特征缩放模块,设置有空洞率构建成目标特征空洞缩放模块。
2)构建改进的目标检测网络
目标检测网络包括三个阶段和两个分支支路,第一个阶段采用1层7×7×64的卷积层对输入的图像提取特征得到特征图,输出到第二阶段;第二阶段采用1层3×3的最大值池化层用3个目标特征缩放模块提取图像特征得到特征图,输出到第三阶段;第三个阶段采用4个目标特征缩放模块提取图像特征得到特征图,输出到左分支网络和右分支网络。
左分支网络包括3个分支网络,左分支的第一分支网络采用6个目标特征空洞缩放模块提取图像特征得到特征图,输出到左分支的第二分支网络,左分支网络的第二分支网络采用3个目标特征空洞缩放模块取图像特征得到特征图,输出到左分支的第三分支网络,左分支网络的第三分支网络采用3个目标特征空洞缩放模块取图像特征得到特征图。
右分支网络包括3个分支网络,右分支网络的第一分支网络采用6个目标特征缩放模块提取图像特征得到特征图,输出到右分支的第二分支网络,右分支网络的第二分支网络采用3个目标特征缩放模块提取图像特征得到特征图,输出到右分支的第三分支网络,右分支网络的第三分支网络采用3个目标特征缩放模块提取图像特征得到特征图;左边分支网络和右边分支网络的第一、第二、第三分支网络输出6个大小均为原图像1/16的特征图,加权融合,融合的权重比为{0.10,0.10,0.15,0.15,0.25,0.25},和为1,得到加权融合后的特征图,构建成改进的目标检测网络。
(4)生成锚点
将加权融合后的特征图输出到GA-RPN网络,生成包含玉米颗粒目标区域的锚点。
(5)寻找困难样本
设定锚点划分的区间数,根据锚点划分的区间数和锚点与真实标签的泛化交并比值GIoU将包含玉米颗粒目标区域的锚点划分成泛化交并比值GIoU不同的区间,对每个区间均匀采样,寻找包含玉米颗粒目标区域的锚点中的困难样本。
所述的寻找困难样本的方法为:
确定预测锚点与真实标签的泛化交并比值GIoU:
其中V是包含真实标签框A和预测锚点框B的最小凸形面积,IoU是预测锚点与真实标签的交并比。
根据泛化交并比GIoU的值将锚点从大到小排序,均匀划分为K个采样区间,对每个区间均匀采样,并计算每个区间锚点样本的采样概率pk:
其中N是总样本数、为有限的正整数,K是对采样空间划分的区间数、K∈[5,6,…,20],本实施例选取K为12,Mk是每个区间不为0的抽样的样本数、Mk<N,N是大于2的有限的正整数,根据每个区间的采样概率,在相应的区间随机筛选相同数量的样本,实现对锚点的泛化交并比GIoU平衡采样和困难样本的寻找。
(6)获取候选框
将包含玉米颗粒目标区域的锚点作为候选框输出到分类网络,不含有玉米颗粒目标区域锚点判定为背景。
(7)候选框映射
将候选框通过分类网络的感兴趣区域池化层映射到步骤(3)中加权融合后的特征图,得到包含玉米颗粒目标位置候选框的特征图。
(8)分类和GIoU回归
将包含玉米颗粒目标位置候选框的特征图输出到分类网络的全连接层,对特征图中的玉米颗粒候选框进行分类,得到图像中每个玉米颗粒的损伤类别和判断为该类别的概率值,使用泛化交并比GIoU回归方法对该特征图中的候选框的位置进行精修,得到损伤玉米颗粒精确位置,用方形框在图像中标注每一颗玉米颗粒的位置,在方形框上方标注玉米颗粒的类别和概率值。
所述的泛化交并比GIoU回归方法如下:
将被反向传播的泛化交并比GIoU作为回归候选框的损失函数LGIoU,在分类网络中用作优化的目标函数,将泛化交并比GIoU作为预测候选框和真实标签的测量指标,使用损失函数LGIoU优化目标检测网络;损失函数LGIoU按下式确定:
LGIoU=1-GIoU
(9)训练网络模型
使用训练集以端到端的方法训练改进的目标检测网络模型、GA-RPN网络、分类网络,得到训练好的整体网络模型。
(10)测试网络模型
采用测试集测试训练好改进的目标检测网络模型,按以下评价指标对检测结果的精确率P和召回率R进行计算:
其中TP为检测结果中真阳性样本数,FP为检测结果中假阳性样本数,FN为检测结果中假阴性样本数;
按下式计算平均精度AP:
其中P(R)代表召回率R依次取{0,0.1,…1}时对应的精确率P的值。
按下式计算完好、发霉、虫蛀3种玉米颗粒的平均平均精度mAP:
其中M为类别数,本实施例中M为3,(AP)j为第j类玉米颗粒的平均精度,计算出测试集中3种类别的玉米颗粒平均精度和平均平均精度如表1所示,检测和分类结果见图2-5。
表1损伤玉米颗粒的检测结果
类别 | 完好玉米颗粒平均精度 | 发霉玉米颗粒平均精度 | 虫蛀玉米颗粒平均精度 | 平均平均精度 |
值 | 98.4% | 95.6% | 97.9% | 97.3% |
由表1可见训练好的网络模型对图像中完好、发霉、虫蛀玉米颗粒的检测和分类的平均精度都很高。
由图2-5可见训练好的网络模型能够检测出图像中完好、发霉、虫蛀损伤玉米颗粒的准确位置和类别。
实施例2
本实施例的基于深度学习的损伤玉米颗粒检测和分类方法由下述步骤组成:
(1)图像采集
该步骤与实施例1相同。
(2)图像处理
该步骤与实施例1相同。
(3)构建改进的目标检测网络
本实施例的构建改进的目标检测网络2)如下:
目标检测网络包括三个阶段和两个分支支路,第一个阶段采用1层7×7×64的卷积层对输入的图像提取特征得到特征图,输出到第二阶段;第二阶段采用1层3×3的最大值池化层用3个目标特征缩放模块提取图像特征得到特征图,输出到第三阶段;第三个阶段采用4个目标特征缩放模块提取图像特征得到特征图,输出到左分支网络和右分支网络。
左分支网络包括3个分支网络,左分支的第一分支网络采用6个目标特征空洞缩放模块提取图像特征得到特征图,输出到左分支的第二分支网络,左分支网络的第二分支网络采用3个目标特征空洞缩放模块取图像特征得到特征图,输出到左分支的第三分支网络,左分支网络的第三分支网络采用3个目标特征空洞缩放模块取图像特征得到特征图。
右分支网络包括3个分支网络,右分支网络的第一分支网络采用6个目标特征缩放模块提取图像特征得到特征图,输出到右分支的第二分支网络,右分支网络的第二分支网络采用3个目标特征缩放模块提取图像特征得到特征图,输出到右分支的第三分支网络,右分支网络的第三分支网络采用3个目标特征缩放模块提取图像特征得到特征图;左边分支网络和右边分支网络的第一、第二、第三分支网络输出6个大小均为原图像1/16的特征图,加权融合,融合的权重比为{0.08,0.08,0.12,0.12,0.30,0.30},和为1,得到加权融合后的特征图,构建成改进的目标检测网络。该步骤的其它步骤与实施例1相同。
(4)生成锚点
该步骤与实施例1相同。
(5)寻找困难样本
设定锚点划分的区间数,根据锚点划分的区间数和锚点与真实标签的泛化交并比值GIoU将包含玉米颗粒目标区域的锚点划分成泛化交并比值GIoU不同的区间,对每个区间均匀采样,寻找包含玉米颗粒目标区域的锚点中的困难样本。
所述的寻找困难样本的方法为:
确定预测锚点与真实标签的泛化交并比值GIoU:
其中V是包含真实标签框A和预测锚点框B的最小凸形面积,IoU是预测锚点与真实标签的交并比。
根据泛化交并比GIoU的值将锚点从大到小排序,均匀划分为K个采样区间,对每个区间均匀采样,并计算每个区间锚点样本的采样概率pk:
其中N是总样本数、为有限的正整数,K是对采样空间划分的区间数、K∈[5,6,…,20],本实施例选取K为5,Mk是每个区间不为0的抽样的样本数、Mk<N,N是大于2的有限的正整数,根据每个区间的采样概率,在相应的区间随机筛选相同数量的样本,实现对锚点的泛化交并比GIoU平衡采样和困难样本的寻找。
其它步骤与实施例1相同,得到测试集中损伤玉米颗粒的检测和分类结果。
实施例3
本实施例的基于深度学习的损伤玉米颗粒检测和分类方法由下述步骤组成:
(1)图像采集
该步骤与实施例1相同。
(2)图像处理
该步骤与实施例1相同。
(3)构建改进的目标检测网络
本实施例的构建改进的目标检测网络2)如下:
目标检测网络包括三个阶段和两个分支支路,第一个阶段采用1层7×7×64的卷积层对输入的图像提取特征得到特征图,输出到第二阶段;第二阶段采用1层3×3的最大值池化层用3个目标特征缩放模块提取图像特征得到特征图,输出到第三阶段;第三个阶段采用4个目标特征缩放模块提取图像特征得到特征图,输出到左分支网络和右分支网络。
左分支网络包括3个分支网络,左分支的第一分支网络采用6个目标特征空洞缩放模块提取图像特征得到特征图,输出到左分支的第二分支网络,左分支网络的第二分支网络采用3个目标特征空洞缩放模块取图像特征得到特征图,输出到左分支的第三分支网络,左分支网络的第三分支网络采用3个目标特征空洞缩放模块取图像特征得到特征图。
右分支网络包括3个分支网络,右分支网络的第一分支网络采用6个目标特征缩放模块提取图像特征得到特征图,输出到右分支的第二分支网络,右分支网络的第二分支网络采用3个目标特征缩放模块提取图像特征得到特征图,输出到右分支的第三分支网络,右分支网络的第三分支网络采用3个目标特征缩放模块提取图像特征得到特征图;左边分支网络和右边分支网络的第一、第二、第三分支网络输出6个大小均为原图像1/16的特征图,加权融合,融合的权重比为{0.12,0.12,0.15,0.15,0.23,0.23},和为1,得到加权融合后的特征图,构建成改进的目标检测网络。该步骤的其它步骤与实施例1相同。
(4)生成锚点
该步骤与实施例1相同。
(5)寻找困难样本
设定锚点划分的区间数,根据锚点划分的区间数和锚点与真实标签的泛化交并比值GIoU将包含玉米颗粒目标区域的锚点划分成泛化交并比值GIoU不同的区间,对每个区间均匀采样,寻找包含玉米颗粒目标区域的锚点中的困难样本。
所述的寻找困难样本的方法为:
确定预测锚点与真实标签的泛化交并比值GIoU:
其中V是包含真实标签框A和预测锚点框B的最小凸形面积,IoU是预测锚点与真实标签的交并比。
根据泛化交并比GIoU的值将锚点从大到小排序,均匀划分为K个采样区间,对每个区间均匀采样,并计算每个区间锚点样本的采样概率pk:
其中N是总样本数、为有限的正整数,K是对采样空间划分的区间数、K∈[5,6,…,20],本实施例选取K为20,Mk是每个区间不为0的抽样的样本数、Mk<N,N是大于2的有限的正整数,根据每个区间的采样概率,在相应的区间随机筛选相同数量的样本,实现对锚点的泛化交并比GIoU平衡采样和困难样本的寻找。
其它步骤与实施例1相同,得到测试集中损伤玉米颗粒的检测和分类结果。
Claims (3)
1.一种基于深度学习的损伤玉米颗粒检测和分类方法,其特征在于由以下步骤组成:
(1)图像采集
用彩色数码相机采集玉米颗粒的图像;
(2)图像处理
将采集到的图像统一调整到600×800像素,人工标注图像中玉米颗粒,按发霉、虫蛀、正常类别的左上角和右下角位置坐标制成标签,将图像和标签制作成MicrosoftCOCO数据集格式,随机选定数据集的80%作为训练集、20%作为测试集;
(3)构建改进的目标检测网络
1)构建目标特征缩放模块和目标特征空洞缩放模块
DetNet模块与SE模块构成目标特征缩放模块,SE模块包含依次相连的1个全局平均池化层、1个全连接层、1个ReLU层、1个全连接层、1个Sigmoid层,DetNet模块包含依次相连的1层1×1的卷积、1层3×3的卷积、1层1×1的卷积;3×3的卷积中不设置有空洞率的是目标特征缩放模块、设置有空洞率的是目标特征空洞缩放模块,其构建方法如下:
从训练集的图像中提取特征图,输入到DetNet模块提取特征,得到新的特征图,并与输入的特征图进行融合,引入SE模块对输入到DetNet模块的W×H×C特征图的每个通道进行全局平均池化转换为1×1×C特征向量,其中W和H为特征图的宽和高,C为特征图的通道数,用1个全连接层减少特征向量的通道数,经ReLU层、全连接层、Sigmoid函数得到1×1×C的特征权重,将特征权重与DetNet模块提取特征后的特征图相乘,得缩放的特征图,缩放的特征图和输入到DetNet模块前的特征图再次融合,得融合后的特征图,在DetNet模块中不设置有空洞率构建成目标特征缩放模块,设置有空洞率构建成目标特征空洞缩放模块;
2)构建改进的目标检测网络
目标检测网络包括三个阶段和两个分支支路,第一个阶段采用1层7×7×64的卷积层对输入的图像提取特征得到特征图,输出到第二阶段;第二阶段采用1层3×3的最大值池化层用3个目标特征缩放模块提取图像特征得到特征图,输出到第三阶段;第三个阶段采用4个目标特征缩放模块提取图像特征得到特征图,输出到左分支网络和右分支网络;
左分支网络包括3个分支网络,左分支的第一分支网络采用6个目标特征空洞缩放模块提取图像特征得到特征图,输出到左分支的第二分支网络,左分支网络的第二分支网络采用3个目标特征空洞缩放模块取图像特征得到特征图,输出到左分支的第三分支网络,左分支网络的第三分支网络采用3个目标特征空洞缩放模块取图像特征得到特征图;
右分支网络包括3个分支网络,右分支网络的第一分支网络采用6个目标特征缩放模块提取图像特征得到特征图,输出到右分支的第二分支网络,右分支网络的第二分支网络采用3个目标特征缩放模块提取图像特征得到特征图,输出到右分支的第三分支网络,右分支网络的第三分支网络采用3个目标特征缩放模块提取图像特征得到特征图;左边分支网络和右边分支网络的第一、第二、第三分支网络输出6个大小均为原图像1/16的特征图,加权融合,融合的权重比的和为1,得到加权融合后的特征图,构建成改进的目标检测网络;
(4)生成锚点
将加权融合后的特征图输出到GA-RPN网络,生成包含玉米颗粒目标区域的锚点;
(5)寻找困难样本
设定锚点划分的区间数,根据锚点划分的区间数和锚点与真实标签的泛化交并比值GIoU将包含玉米颗粒目标区域的锚点划分成泛化交并比值GIoU不同的区间,对每个区间均匀采样,寻找包含玉米颗粒目标区域的锚点中的困难样本;
(6)获取候选框
将包含玉米颗粒目标区域的锚点作为候选框输出到分类网络,不含有玉米颗粒目标区域锚点判定为背景;
(7)候选框映射
将候选框通过分类网络的感兴趣区域池化层映射到步骤(3)中加权融合后的特征图,得到包含玉米颗粒目标位置候选框的特征图;
(8)分类和GIoU回归
将包含玉米颗粒目标位置候选框的特征图输出到分类网络的全连接层,对特征图中的玉米颗粒候选框进行分类,得到图像中每个玉米颗粒的损伤类别和判断为该类别的概率值,使用泛化交并比GIoU回归方法对该特征图中的候选框的位置进行精修,得到损伤玉米颗粒精确位置,用方形框在图像中标注每一颗玉米颗粒的位置,在方形框上方标注玉米颗粒的类别和概率值;
(9)训练网络模型
使用训练集以端到端的方法训练改进的目标检测网络模型、GA-RPN网络、分类网络,得到训练好的整体网络模型;
(10)测试网络模型
使用测试集测试训练好改进的目标检测网络模型,得到测试集中损伤玉米颗粒的检测和分类结果。
2.根据权利要求书1所述的基于深度学习的损伤玉米颗粒检测和分类方法,其特征在于在寻找困难样本步骤(5)中,所述的寻找困难样本的方法为:
确定预测锚点与真实标签的泛化交并比值GIoU:
其中V是包含真实标签框A和预测锚点框B的最小凸形面积,IoU是预测锚点与真实标签的交并比;
根据泛化交并比GIoU的值将锚点从大到小排序,均匀划分为K个采样区间,对每个区间均匀采样,并计算每个区间锚点样本的采样概率pk:
其中N是总样本数、为有限的正整数,K是对采样空间划分的区间数、K[5,6,…,20],Mk是每个区间不为0的抽样的样本数、Mk<N,N是大于2的有限的正整数,根据每个区间的采样概率,在相应的区间随机筛选相同数量的样本,实现对锚点的泛化交并比GIoU平衡采样和困难样本的寻找。
3.根据权利要求书1所述的基于深度学习的损伤玉米颗粒检测和分类方法,其特征在于在分类和GIoU回归步骤(8)中,所述的泛化交并比GIoU回归方法为:
将被反向传播的泛化交并比GIoU作为回归候选框的损失函数LGIoU,在分类网络中用作优化的目标函数,将泛化交并比GIoU作为预测候选框和真实标签的测量指标,使用损失函数LGIoU优化目标检测网络;损失函数LGIoU按下式确定:
LGIoU=1-GIoU。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010065688.7A CN111310756B (zh) | 2020-01-20 | 2020-01-20 | 一种基于深度学习的损伤玉米颗粒检测和分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010065688.7A CN111310756B (zh) | 2020-01-20 | 2020-01-20 | 一种基于深度学习的损伤玉米颗粒检测和分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111310756A true CN111310756A (zh) | 2020-06-19 |
CN111310756B CN111310756B (zh) | 2023-03-28 |
Family
ID=71146899
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010065688.7A Active CN111310756B (zh) | 2020-01-20 | 2020-01-20 | 一种基于深度学习的损伤玉米颗粒检测和分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111310756B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111783590A (zh) * | 2020-06-24 | 2020-10-16 | 西北工业大学 | 一种基于度量学习的多类别小目标检测方法 |
CN112115977A (zh) * | 2020-08-24 | 2020-12-22 | 重庆大学 | 基于尺度不变性与特征融合的目标检测算法 |
CN112528995A (zh) * | 2020-12-22 | 2021-03-19 | 北京百度网讯科技有限公司 | 用于训练目标检测模型的方法、目标检测方法及装置 |
CN112580731A (zh) * | 2020-12-24 | 2021-03-30 | 深圳市对庄科技有限公司 | 翡翠产品识别方法、***、终端、计算机设备及存储介质 |
CN112712134A (zh) * | 2021-01-15 | 2021-04-27 | 中冶赛迪重庆信息技术有限公司 | 一种原料颗粒分类识别方法、***、介质及电子终端 |
CN113205055A (zh) * | 2021-05-11 | 2021-08-03 | 北京知见生命科技有限公司 | 基于多尺度注意力机制的真菌显微图像分类方法及*** |
CN113963329A (zh) * | 2021-10-11 | 2022-01-21 | 浙江大学 | 一种基于双阶段卷积神经网络的数字类交通标志检测识别方法 |
CN117710966A (zh) * | 2024-01-10 | 2024-03-15 | 青岛农业大学 | 基于YOLOv7-MEF模型的玉米籽粒品质检测方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201908574D0 (en) * | 2019-06-14 | 2019-07-31 | Vision Semantics Ltd | Optimised machine learning |
CN110211097A (zh) * | 2019-05-14 | 2019-09-06 | 河海大学 | 一种基于Faster R-CNN参数迁移的裂缝图像检测方法 |
CN110321815A (zh) * | 2019-06-18 | 2019-10-11 | 中国计量大学 | 一种基于深度学习的道路裂缝识别方法 |
CN110503112A (zh) * | 2019-08-27 | 2019-11-26 | 电子科技大学 | 一种增强特征学习的小目标检测及识别方法 |
-
2020
- 2020-01-20 CN CN202010065688.7A patent/CN111310756B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110211097A (zh) * | 2019-05-14 | 2019-09-06 | 河海大学 | 一种基于Faster R-CNN参数迁移的裂缝图像检测方法 |
GB201908574D0 (en) * | 2019-06-14 | 2019-07-31 | Vision Semantics Ltd | Optimised machine learning |
CN110321815A (zh) * | 2019-06-18 | 2019-10-11 | 中国计量大学 | 一种基于深度学习的道路裂缝识别方法 |
CN110503112A (zh) * | 2019-08-27 | 2019-11-26 | 电子科技大学 | 一种增强特征学习的小目标检测及识别方法 |
Non-Patent Citations (2)
Title |
---|
周慧等: "基于特征金字塔模型的高分辨率遥感图像船舶目标检测", 《大连海事大学学报》 * |
孙皓泽等: "一种基于分层多尺度卷积特征提取的坦克装甲目标图像检测方法", 《兵工学报》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111783590A (zh) * | 2020-06-24 | 2020-10-16 | 西北工业大学 | 一种基于度量学习的多类别小目标检测方法 |
CN112115977A (zh) * | 2020-08-24 | 2020-12-22 | 重庆大学 | 基于尺度不变性与特征融合的目标检测算法 |
CN112115977B (zh) * | 2020-08-24 | 2024-04-02 | 重庆大学 | 基于尺度不变性与特征融合的目标检测算法 |
CN112528995A (zh) * | 2020-12-22 | 2021-03-19 | 北京百度网讯科技有限公司 | 用于训练目标检测模型的方法、目标检测方法及装置 |
CN112528995B (zh) * | 2020-12-22 | 2023-08-04 | 北京百度网讯科技有限公司 | 用于训练目标检测模型的方法、目标检测方法及装置 |
CN112580731A (zh) * | 2020-12-24 | 2021-03-30 | 深圳市对庄科技有限公司 | 翡翠产品识别方法、***、终端、计算机设备及存储介质 |
CN112580731B (zh) * | 2020-12-24 | 2022-06-24 | 深圳市对庄科技有限公司 | 翡翠产品识别方法、***、终端、计算机设备及存储介质 |
CN112712134A (zh) * | 2021-01-15 | 2021-04-27 | 中冶赛迪重庆信息技术有限公司 | 一种原料颗粒分类识别方法、***、介质及电子终端 |
CN113205055A (zh) * | 2021-05-11 | 2021-08-03 | 北京知见生命科技有限公司 | 基于多尺度注意力机制的真菌显微图像分类方法及*** |
CN113963329A (zh) * | 2021-10-11 | 2022-01-21 | 浙江大学 | 一种基于双阶段卷积神经网络的数字类交通标志检测识别方法 |
CN113963329B (zh) * | 2021-10-11 | 2022-07-05 | 浙江大学 | 一种基于双阶段卷积神经网络的数字类交通标志检测识别方法 |
CN117710966A (zh) * | 2024-01-10 | 2024-03-15 | 青岛农业大学 | 基于YOLOv7-MEF模型的玉米籽粒品质检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111310756B (zh) | 2023-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111310756B (zh) | 一种基于深度学习的损伤玉米颗粒检测和分类方法 | |
CN109977808B (zh) | 一种晶圆表面缺陷模式检测与分析方法 | |
CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
CN110770752A (zh) | 多尺度特征融合网络结合定位模型的害虫自动计数方法 | |
CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
CN111967313B (zh) | 一种深度学习目标检测算法辅助的无人机图像标注方法 | |
CN112633382A (zh) | 一种基于互近邻的少样本图像分类方法及*** | |
CN108596038A (zh) | 一种结合形态学分割和神经网络的粪便中红细胞识别方法 | |
CN112365497A (zh) | 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和*** | |
CN111178177A (zh) | 一种基于卷积神经网络的黄瓜病害识别方法 | |
CN104657980A (zh) | 一种改进的基于Meanshift的多通道图像分割算法 | |
CN113128335B (zh) | 微体古生物化石图像检测、分类及发现方法、***及应用 | |
CN114612406A (zh) | 一种基于可见光和红外视觉的光伏板缺陷检测方法 | |
CN111291818B (zh) | 一种面向云掩膜的非均匀类别的样本均衡化方法 | |
CN116091946A (zh) | 一种基于YOLOv5的无人机航拍图像目标检测方法 | |
CN116385374A (zh) | 基于卷积神经网络的细胞计数方法 | |
CN115830514B (zh) | 一种适用于带弯曲河道的全河段表面流速计算方法及*** | |
CN117333948A (zh) | 一种融合时空注意力机制的端到端多目标肉鸡行为识别方法 | |
CN116563205A (zh) | 基于小目标检测和改进YOLOv5的麦穗计数检测方法 | |
CN116205879A (zh) | 一种基于无人机图像及深度学习的小麦倒伏面积估算方法 | |
CN113609913B (zh) | 一种基于采样阈值区间加权的松材线虫病树检测方法 | |
CN111860332B (zh) | 基于多阈值级联检测器的双通道电力图零部件检测方法 | |
CN111046861B (zh) | 识别红外影像的方法、构建识别模型的方法及应用 | |
CN114913523A (zh) | 基于yolox的植物气孔多功能实时智能识别*** | |
CN112465821A (zh) | 一种基于边界关键点感知的多尺度害虫图像检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |