CN113378739A - 一种基于深度学习的地基云状目标检测方法 - Google Patents
一种基于深度学习的地基云状目标检测方法 Download PDFInfo
- Publication number
- CN113378739A CN113378739A CN202110683061.2A CN202110683061A CN113378739A CN 113378739 A CN113378739 A CN 113378739A CN 202110683061 A CN202110683061 A CN 202110683061A CN 113378739 A CN113378739 A CN 113378739A
- Authority
- CN
- China
- Prior art keywords
- cloud
- foundation
- data set
- target detection
- ground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 56
- 238000013135 deep learning Methods 0.000 title claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 33
- 238000013528 artificial neural network Methods 0.000 claims abstract description 27
- 230000006870 function Effects 0.000 claims abstract description 23
- 238000002372 labelling Methods 0.000 claims abstract description 13
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 102100031315 AP-2 complex subunit mu Human genes 0.000 claims description 15
- 101000796047 Homo sapiens AP-2 complex subunit mu Proteins 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000003064 k means clustering Methods 0.000 claims description 8
- 235000012571 Ficus glomerata Nutrition 0.000 claims description 4
- 244000153665 Ficus glomerata Species 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 10
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004970 emotional disturbance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的地基云状目标检测方法，包括以下步骤：采集地基云图，根据云状分类标准标注地基云图后预处理得到地基云状数据集；基于地基云状数据集使用聚类算法设计先验框尺寸；建立包含目标检测边界框损失函数的神经网络；将地基云状数据集输入神经网络根据预先设计的先验框尺寸进行训练得到权重文件；基于权重文件进行地基云状的检测和分析。相比于原YOLOv3网络，本发明检测准确率更高，而且更加稳定。本发明可应用于以下领域：1.地基云状数量统计；2.地基云状分类；3.地基云状目标检测。经试验验证：本发明提出的边界框损失函数UIoU是一种有效提升模型性能的方案。
Description
技术领域
本发明涉及目标检测与计算机视觉领域，尤其涉及一种基于深度学习的地基云状目标检测方法。
背景技术
地面气象测报是气象工作的基础项目，其中地基云状的观测尤为重要。连续地观察和测定云状的变化，对于分析天气转变、科学研究和气象服务有着重要意义。但是，目前地基云状的观测仍然存在着许多挑战。首先，不同云状之间有很多相同的特征，以蔽光高层云和雨层云为例，两种云状非常相似，业余人员甚至无法辨认。其次，云存在着空间分布的不均匀性和随时间变化的脉动性，按照云的高度、结构特点和外形特征，云可分为三族，十属，二十九类，类别繁杂，变化多端。现在气象站一般采用全天空成像仪拍摄云状，云状的精标主要依赖经验丰富的观测员。但是，人工观测存在情绪干扰和主观意识，且很难形成一个统一的标准。因此，地基云状的自动化识别是气象工作的一个重要方向，部署深度学习算法、研发自动化观测仪器代替甚至超过人工观测是气象工作的一个重要目标。
目标检测作为深度学习的一个重要分支，发展非常迅速，热度一直很高。目前，基于深度学习的目标检测主要有两类主流的算法。第一类算法准确率较高。2015年发布的Fast R-CNN，使用了一个卷积神经网络作为图像特征提取器，并使用了Smooth L1 Loss作为边界框损失函数，但是网络的选择性搜索(selective search)模块速度较慢。之后的Faster R-CNN使用了区域候选网络(RPN)生成的待检测区域，检测时间从2s缩减到了10ms，mAP也提升了3.2％。再之后的Mask R-CNN是对Faster R-CNN的直接扩展，精度高于后者，而且增加了实例分割的分支。另一类算法速度较快。2015年发表的YOLOv1(You Only LookOnce)，它将目标位置检测与目标分类这两个阶段合二为一，速度超过了之前的算法，但由于其特征提取器与损失函数存在缺陷，所以定位不够准确。针对YOLO的不足，Liu等提出的SSD(Single Shot Multibox Detector)使用了分层特征提取器，速度依然很快且对小目标的检测效果更好。2018年Redmon等提出YOLOv3算法，进一步提升了速度和准确度，在coco数据集上速度能能达到30FPS，它的检测速度比Fast R-CNN快100倍。
目标检测算法中的边界框损失函数也一直在迭代和发展。2016年提出的IoU(Intersection over Union)将边界框四个点的位置信息看成一个整体进行训练与回归，但是在预测框和目标框不相交时无法继续优化。针对IoU的不足，Rezatofighi等在2019年提出了GIoU(Generalized IoU Loss)具有尺度不变性，使YOLOv1准确率涨了2个点，但是当目标框包含预测框时无法区别两者的位置关系。在2020年的AAAI大会上，Zheng等提出了DIoU loss(Distance IoU Loss)，优化了两个框之间的距离，收敛更快，回归更准确。
发明内容
鉴于目前存在的上述不足，本发明提供一种基于深度学习的地基云状目标检测方法，将机器视觉技术应用于地基云状目标检测，能够快速简便的识别云状的类别。
为达到上述目的，本发明的实施例采用如下技术方案：
一种基于深度学习的地基云状目标检测方法，包括以下步骤：
采集地基云图，根据云状分类标准标注地基云图后预处理得到地基云状数据集；
基于地基云状数据集设计先验框；
建立包含目标检测边界框损失函数的神经网络；
根据先验框将地基云状数据集输入神经网络进行训练获得权重；
根据权重进行地基云状的检测和分析。
依照本发明的一个方面，所述采集地基云图，根据云状分类标准标注地基云图后预处理得到地基云状数据集包括以下步骤：
拍摄天空视频流，设置每隔一个预设时间间隔截取视频流中的一张云图，并对云图数据进行裁剪处理获取地基云图；
对地基云图进行云状分类标注并生成地基云状数据集。
依照本发明的一个方面，所述基于地基云状数据集设计先验框具体为：使用K-means聚类算法重新设计适用于地基云状数据集的先验框尺寸。
依照本发明的一个方面，所述使用K-means聚类算法重新设计适用于地基云状数据集的先验框尺寸包括：
所述K-means算法，其输入是样本集D＝{x1,x2,...,xm}，聚类的簇树为k，最大迭代次数为N，输出为簇划分C＝{C1,C2,...,Ck}，具体算法有如下步骤：
从数据集D中随机选择k个样本作为初始的k个质心向量：{μ1,μ2,...,μm}；
对于n＝1,2,…,n，将簇划分为C，初始化为
对于i＝1,2,…,m，计算样本xi和各个质心向量μj(j＝1,2,...,k)的距离
，将xi标记最小的为dij所对应的的类别。此时更新Cλi＝Cλi∪{xi}；
对于j＝1,2,…,k，对Cj中所有的样本点重新计算新的质心
如果所有的k个质心向量都没有发生变化，则转到输出步骤；
输出簇划分C＝{C1,C2,...,Ck}。
依照本发明的一个方面，所述建立包含目标检测边界框损失函数的神经网络具体为：设计一种新的目标检测边界框损失函数UIoU，并将其应用于YOLOv3算法上形成改进后的神经网络。
依照本发明的一个方面，所述UIoU公式包括：
LUIoU＝LDIoU+αv
其中，α和v的公式如下：
其中，w1、w代表目标框和预测框的长，h1、h代表目标框和预测框的宽，UIoU求导公式如下：
依照本发明的一个方面，所述根据先验框将地基云状数据集输入神经网络进行训练获得权重具体为：将地基云状数据集输入改进后的YOLOv3神经网络，使用训练优化策略训练网络，得到训练好的权重文件。
依照本发明的一个方面，所述将地基云状数据集输入改进后的YOLOv3神经网络，使用训练优化策略训练网络，得到训练好的权重文件包括：
YOLOv3的特征提取网络使用全卷积网络，包含大小为3×3和1×1的卷积核，所述特征提取网络中融入了1、2、8、8，这4个残差模块；所述特征提取网络从3个不同的尺度提取特征，将早期layer的特征与深层layer的特征融合；YOLOv3通过向上采样调整了更深一层的特征图,不同尺度的特征图具有相同的尺寸，并将9组先验框按面积从小到大的顺序分配给三个尺度的特征图，再对每个先验框进行置信度回归，最后保留大于置信度阈值的先验框；
网络的训练参数设置如下：采用Multistep学习策略，使用SGD优化算法，当损失函数在预设值上下浮动，停止训练，得到训练的权重文件。
依照本发明的一个方面，所述根据权重进行地基云状的检测和分析具体为：对测试集图片进行测试，生成带有云状类别检测框的图片；采用AP50和mAP50作为评价指标，指标的计算使用准确率Precision和召回率Recall参数。
依照本发明的一个方面，所述AP50和mAP50的指标计算包括：
TP(True Positives)：数据集中实际被检测到的目标个数；
FP(False Positives)：检测模型误检测的目标个数；
FN(False Negatives)：检测模型漏检测的目标个数；
以Recall为横轴、Precision为纵轴构建P-R图，AP50的计算公式如下：
即AP50表示IoU阈值为0.5时P-R曲线与坐标轴所围成的面积。同时，将全部类别目标的平均精度mAP50表示为：
其中，N表示目标类别数，AP50i表示IoU阈值为0.5时每个目标类别的平均精度。
本发明实施的优点：本发明公开了一种基于深度学习的地基云状目标检测方法，包括以下步骤：采集地基云图，根据云状分类标准标注地基云图后预处理得到地基云状数据集；基于地基云状数据集使用聚类算法设计先验框尺寸；建立包含目标检测边界框损失函数的神经网络；将地基云状数据集输入神经网络根据预先设计的先验框尺寸进行训练得到权重文件；基于权重文件进行地基云状的检测和分析。相比于原YOLOv3网络，本发明检测准确率更高，而且更加稳定。本发明可应用于以下领域：1.地基云状数量统计；2.地基云状分类；3.地基云状目标检测。经试验验证：本发明提出的边界框损失函数UIoU是一种有效提升模型性能的方案。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所述的一种基于深度学习的地基云状目标检测方法示意图；
图2为本发明所述的一种基于深度学习的地基云状目标检测方法的整体网络结构图；
图3为本发明所述的一种基于深度学习的地基云状目标检测方法的Convolutional Set网络结构图；
图4为本发明所述的一种基于深度学习的地基云状目标检测方法的K-means聚类结果图；
图5为单独采用YOLOv3的曲线图；
图6为本发明所述的一种基于深度学习的地基云状目标检测方法的Avg IOU曲线图；
图7为单独采用YOLOv3的检测结果图；
图8为本发明所述的一种基于深度学习的地基云状目标检测方法的检测结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1、图2、图3、图4、图5、图6、图7和图8所示，一种基于深度学习的地基云状目标检测方法，包括以下步骤：
S1：采集地基云图，根据云状分类标准标注地基云图后预处理得到地基云状数据集；
在实际应用中，所述采集地基云图，根据云状分类标准标注地基云图后预处理得到地基云状数据集包括以下步骤：
使用全天空成像仪拍摄天空视频流，每10分钟截取视频流中的一张云图，并对云图数据进行裁剪处理获取地基云图；
对地基云图进行云状分类标注并生成xml格式的地基云状数据集。
在实际应用中，云状分类标准包括三族、十属、二十九类，具体分类标准为公知常识，此处不进行赘述。
在实际应用中，使用LabelImg图像标注软件标注地基云图。
S2：基于地基云状数据集使用聚类算法设计先验框尺寸；
在实际应用中，所述基于地基云状数据集使用聚类算法设计先验框尺寸具体为：使用K-means聚类算法重新设计适用于地基云状数据集的先验框尺寸。
在实际应用中，所述使用K-means聚类算法重新设计适用于地基云状数据集的先验框尺寸包括：
对于K-means算法，输入是样本集D＝{x1,x2,...,xm}，聚类的簇树k，最大迭代次数N，输出是簇划分C＝{C1,C2,...,Ck}，有如下步骤：
第一，从数据集D中随机选择k个样本作为初始的k个质心向量：{μ1,μ2,...,μm}；
第二，对于n＝1,2,…,n：
将簇划分为C，初始化为
对于i＝1,2,…,m，计算样本xi和各个质心向量μj(j＝1,2,...,k)的距离
将xi标记最小的为dij所对应的的类别。此时更新Cλi＝Cλi∪{xi}；
对于j＝1,2,…,k，对Cj中所有的样本点重新计算新的质心
如果所有的k个质心向量都没有发生变化，则转到下个步骤；
第三，输出簇划分C＝{C1,C2,...,Ck}。
S3：建立包含目标检测边界框损失函数的神经网络；
在实际应用中，所述建立包含目标检测边界框损失函数的神经网络具体为：设计一种新的目标检测边界框损失函数UIoU，并将其应用于YOLOv3算法上形成改进后的神经网络。
在实际应用中，所述UIoU公式包括：
LUIoU＝LDIoU+αv
其中，α和v的公式如下：
其中，w1、w代表目标框和预测框的长，h1、h代表目标框和预测框的宽，UIoU求导公式如下：
S4：将地基云状数据集输入神经网络根据预先设计的先验框尺寸进行训练得到权重文件；
在实际应用中，所述将地基云状数据集输入神经网络根据预先设计的先验框尺寸进行训练得到权重文件具体为：将地基云状数据集输入改进后的YOLOv3神经网络，使用训练优化策略训练网络，得到训练好的权重文件。
在实际应用中，所述将地基云状数据集输入改进后的YOLOv3神经网络，使用训练优化策略训练网络，得到训练好的权重文件包括：
YOLOv3的特征提取网络Darknet-53使用了全卷积网络，包含大量大小为3×3和1×1的卷积核，其次，Darknet-53借鉴了残差网络ResNet的思想在网络中融入了1，2，8，8，4个残差模块；另外，网络使用了类似于特征金字塔网络的概念从3个不同的尺度提取特征，将早期layer的特征与深层layer的特征融合在了一起；YOLOv3通过向上采样调整了更深一层的特征图,不同尺度的特征图具有相同的尺寸，并将9组先验框按面积从小到大的顺序分配给了三个尺度的特征图，再对每个先验框进行置信度回归，最后保留大于置信度阈值的先验框框；
网络的训练参数设置如下：采用Multistep学习策略，初始学习率为0.001，max_batchs设为12000，decay为0.0005，训练时batch size为64，使用SGD优化算法，momentum为0.9，当损失函数在预设值上下浮动，停止训练，得到训练的权重文件。
S5：基于权重文件进行地基云状的检测和分析。
在实际应用中，所述基于权重文件进行地基云状的检测和分析具体为：对测试集图片进行测试，生成带有云状类别检测框的图片；采用AP50和mAP50作为评价指标，指标的计算需要用到准确率Precision和召回率Recall两个概念。
依照本发明的一个方面，所述AP50和mAP50的指标计算包括：
TP(True Positives)：数据集中实际被检测到的目标个数；
FP(False Positives)：检测模型误检测的目标个数；
FN(False Negatives)：检测模型漏检测的目标个数；
以Recall为横轴、Precision为纵轴构建P-R图，AP50的计算公式如下：
即AP50表示IoU阈值为0.5时P-R曲线与坐标轴所围成的面积。同时，将全部类别目标的平均精度mAP50表示为：
其中，N表示目标类别数，AP50i表示IoU阈值为0.5时每个目标类别的平均精度。
在实际应用中，本发明的具体实施方式如下：
如图1所示，本发明实施例公开的一种基于深度学习的地基云状目标检测方法，包括以下几个步骤：
步骤1，按照云状分类标准(三族、十属、二十九类)标注地基云图，并对地基云图进行预处理，制作VOC格式的数据集，包括：
步骤1-1，使用全天空成像仪拍摄天空，使用代码对仪器视频流操作，每10分钟截取一张云图，并对云图数据进行裁剪处理；
步骤1-2，使用LabelImg图像标注软件对图像进行标记并生成相应xml格式的标注文件。
步骤2，如图4所示，使用K-means聚类算法重新设计适用于地基云状数据集的先验框尺寸：
对于K-means算法，输入是样本集D＝{x1,x2,...,xm}，聚类的簇树k，最大迭代次数N，输出是簇划分C＝{C1,C2,...,Ck}，有如下步骤：
从数据集D中随机选择k个样本作为初始的k个质心向量：{μ1,μ2,...,μm}；
对于n＝1,2,…,n：将簇划分C，初始化为
对于i＝1,2,…,m，计算样本xi和各个质心向量μj(j＝1,2,...,k)的距离
将xi标记最小的为dij所对应的的类别λi。此时更新Cλi＝Cλi∪{xi}；
对于j＝1,2,…,k，对Cj中所有的样本点重新计算新的质心
如果所有的k个质心向量都没有发生变化，则转到下个步骤：
输出簇划分C＝{C1,C2,...,Ck}。
步骤3，设计了一种新的目标检测边界框损失函数UIoU，并将其应用于YOLOv3算法上，如图5和图6所示，应用UIoU公式后，明显曲线更加稳定，UIoU公式如下：
LUIoU＝LDIoU+αv；
其中，α和v的公式如下：
其中，w1、w代表目标框和预测框的长，h1、h代表目标框和预测框的宽。UIoU求导公式如下：
步骤4，将步骤1得到的地基云状数据集输入步骤3改进后的YOLOv3网络，使用训练优化策略训练网络，得到训练好的权重文件，包括：
步骤4-1，YOLOv3的特征提取网络Darknet-53使用了全卷积网络(FullyConvolutional Network)，包含大量大小为3×3和1×1的卷积核，其次，Darknet-53借鉴了残差网络ResNet的思想在网络中融入了1，2，8，8，4个残差模块(Residual Block)。另外，网络使用了类似于特征金字塔网络(Feature Pyramid Netword)的概念从3个不同的尺度(13*13、26*26、52*52)提取特征，将早期layer的特征与深层layer的特征融合在了一起。YOLOv3通过向上采样调整了更深一层的特征图,不同尺度的特征图具有相同的尺寸，并将9组anchor box(先验框)按面积从小到大的顺序分配给了三个尺度的特征图，再对每个anchor box进行置信度回归，最后保留大于置信度阈值的预测框。
步骤4-2，模型训练与测试在Ubuntu18.04环境下进行，使用NVIDIA GeForce GTX1080Ti显卡。采用Darknet]框架进行训练，网络的训练参数设置如下：采用Multistep学习策略，初始学习率为0.001，max_batchs设为12000，decay为0.0005，训练时batch size为64，使用SGD优化算法，momentum为0.9。当损失函数在某个值上下浮动，停止训练，得到训练的权重文件。
步骤5，基于步骤4得到的权重文件进行地基云状的检测与分析，对测试集图片进行测试，生成带有云状类别检测框的图片，如图7和图8所示，本发明的检测准确率显然更高。采用AP50和mAP50作为评价指标，指标的计算需要用到准确率Precision和召回率Recall两个概念：
TP(True Positives)：数据集中实际被检测到的目标个数。
FP(False Positives)：检测模型误检测的目标个数。
FN(False Negatives)：检测模型漏检测的目标个数。
以Recall为横轴、Precision为纵轴构建P-R图，AP50的计算公式如下：
即AP50表示IoU阈值为0.5时P-R曲线与坐标轴所围成的面积。同时，将全部类别目标的平均精度mAP50表示为：
其中，N表示目标类别数，AP50i表示IoU阈值为0.5时每个目标类别的平均精度。
本发明实施的优点：本发明公开了一种基于深度学习的地基云状目标检测方法，包括以下步骤：采集地基云图，根据云状分类标准标注地基云图后预处理得到地基云状数据集；基于地基云状数据集使用聚类算法设计先验框尺寸；建立包含目标检测边界框损失函数的神经网络；将地基云状数据集输入神经网络根据预先设计的先验框尺寸进行训练得到权重文件；基于权重文件进行地基云状的检测和分析。相比于原YOLOv3网络，本发明检测准确率更高，而且更加稳定。本发明可应用于以下领域：1.地基云状数量统计；2.地基云状分类；3.地基云状目标检测。经试验验证：本发明提出的边界框损失函数UIoU是一种有效提升模型性能的方案。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域技术的技术人员在本发明公开的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于深度学习的地基云状目标检测方法，其特征在于，包括以下步骤：
采集地基云图，根据云状分类标准标注地基云图后预处理得到地基云状数据集；
基于地基云状数据集设计先验框；
建立包含目标检测边界框损失函数的神经网络；
根据先验框将地基云状数据集输入神经网络进行训练获得权重；
根据权重进行地基云状的检测和分析。
2.根据权利要求1所述的基于深度学习的地基云状目标检测方法，其特征在于，所述采集地基云图，根据云状分类标准标注地基云图后预处理得到地基云状数据集包括以下步骤：
拍摄天空视频流，设置每隔一个预设时间间隔截取视频流中的一张云图，并对云图数据进行裁剪处理获取地基云图；
对地基云图进行云状分类标注并生成地基云状数据集。
3.根据权利要求1所述的基于深度学习的地基云状目标检测方法，其特征在于，所述基于地基云状数据集设计先验框具体为：使用K-means聚类算法重新设计适用于地基云状数据集的先验框尺寸。
4.根据权利要求3所述的基于深度学习的地基云状目标检测方法，其特征在于，所述使用K-means聚类算法重新设计适用于地基云状数据集的先验框尺寸包括：
所述K-means算法，其输入是样本集D＝{x1,x2,...,xm}，聚类的簇树为k，最大迭代次数为N，输出为簇划分C＝{C1,C2,...,Ck}，具体算法有如下步骤：
从数据集D中随机选择k个样本作为初始的k个质心向量：{μ1,μ2,...,μm}；
对于n＝1,2,…,n，将簇划分为C，初始化为
对于i＝1,2,…,m，计算样本xi和各个质心向量μj(j＝1,2,...,k)的距离
将xi标记最小的为dij所对应的的类别。此时更新Cλi＝Cλi∪{xi}；
对于j＝1,2,…,k，对Cj中所有的样本点重新计算新的质心
如果所有的k个质心向量都没有发生变化，则转到输出步骤；
输出簇划分C＝{C1,C2,...,Ck}。
5.根据权利要求1所述的基于深度学习的地基云状目标检测方法，其特征在于，所述建立包含目标检测边界框损失函数的神经网络具体为：设计一种新的目标检测边界框损失函数UIoU，并将其应用于YOLOv3算法上形成改进后的神经网络。
6.根据权利要求5所述的基于深度学习的地基云状目标检测方法，其特征在于，所述UIoU公式包括：
LUIoU＝LDIoU+αv
其中，α和v的公式如下：
其中，w1、w代表目标框和预测框的长，h1、h代表目标框和预测框的宽，UIoU求导公式如下：
7.根据权利要求6所述的基于深度学习的地基云状目标检测方法，其特征在于，所述根据先验框将地基云状数据集输入神经网络进行训练获得权重具体为：将地基云状数据集输入改进后的YOLOv3神经网络，使用训练优化策略训练网络，得到训练好的权重文件。
8.根据权利要求7所述的基于深度学习的地基云状目标检测方法，其特征在于，所述将地基云状数据集输入改进后的YOLOv3神经网络，使用训练优化策略训练网络，得到训练好的权重文件包括：
YOLOv3的特征提取网络使用全卷积网络，包含大小为3×3和1×1的卷积核，所述特征提取网络中融入了1、2、8、8，这4个残差模块；所述特征提取网络从3个不同的尺度提取特征，将早期layer的特征与深层layer的特征融合；YOLOv3通过向上采样调整了更深一层的特征图,不同尺度的特征图具有相同的尺寸，并将9组先验框按面积从小到大的顺序分配给三个尺度的特征图，再对每个先验框进行置信度回归，最后保留大于置信度阈值的先验框；
网络的训练参数设置如下：采用Multistep学习策略，使用SGD优化算法，当损失函数在预设值上下浮动，停止训练，得到训练的权重文件。
9.根据权利要求1所述的基于深度学习的地基云状目标检测方法，其特征在于，所述根据权重进行地基云状的检测和分析具体为：对测试集图片进行测试，生成带有云状类别检测框的图片；采用AP50和mAP50作为评价指标，指标的计算使用准确率Precision和召回率Recall参数。
10.根据权利要求9所述的基于深度学习的地基云状目标检测方法，其特征在于，所述AP50和mAP50的指标计算包括：
TP(TruePositives)：数据集中实际被检测到的目标个数；
FP(FalsePositives)：检测模型误检测的目标个数；
FN(FalseNegatives)：检测模型漏检测的目标个数；
以Recall为横轴、Precision为纵轴构建P-R图，AP50的计算公式如下：
即AP50表示IoU阈值为0.5时P-R曲线与坐标轴所围成的面积。同时，将全部类别目标的平均精度mAP50表示为：
其中，N表示目标类别数，AP50i表示IoU阈值为0.5时每个目标类别的平均精度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110683061.2A CN113378739A (zh) | 2021-06-19 | 2021-06-19 | 一种基于深度学习的地基云状目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110683061.2A CN113378739A (zh) | 2021-06-19 | 2021-06-19 | 一种基于深度学习的地基云状目标检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113378739A true CN113378739A (zh) | 2021-09-10 |
Family
ID=77577876
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110683061.2A Pending CN113378739A (zh) | 2021-06-19 | 2021-06-19 | 一种基于深度学习的地基云状目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113378739A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114120150A (zh) * | 2021-11-10 | 2022-03-01 | 吉林省春城热力股份有限公司 | 一种基于无人机成像技术的道路目标检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111310820A (zh) * | 2020-02-11 | 2020-06-19 | 山西大学 | 基于交叉验证深度cnn特征集成的地基气象云图分类方法 |
| CN111401148A (zh) * | 2020-02-27 | 2020-07-10 | 江苏大学 | 一种基于改进的多级YOLOv3的道路多目标检测方法 |
| CN112418212A (zh) * | 2020-08-28 | 2021-02-26 | 西安电子科技大学 | 一种基于EIoU改进的YOLOv3算法 |
-
2021
- 2021-06-19 CN CN202110683061.2A patent/CN113378739A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111310820A (zh) * | 2020-02-11 | 2020-06-19 | 山西大学 | 基于交叉验证深度cnn特征集成的地基气象云图分类方法 |
| CN111401148A (zh) * | 2020-02-27 | 2020-07-10 | 江苏大学 | 一种基于改进的多级YOLOv3的道路多目标检测方法 |
| CN112418212A (zh) * | 2020-08-28 | 2021-02-26 | 西安电子科技大学 | 一种基于EIoU改进的YOLOv3算法 |
Non-Patent Citations (1)
| Title |
|---|
| 王胜春 等: "改进损失函数的地基云状目标检测算法", 《CNKI》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114120150A (zh) * | 2021-11-10 | 2022-03-01 | 吉林省春城热力股份有限公司 | 一种基于无人机成像技术的道路目标检测方法 |
| CN114120150B (zh) * | 2021-11-10 | 2024-07-16 | 吉林省春城热力股份有限公司 | 一种基于无人机成像技术的道路目标检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111080645B (zh) | 基于生成式对抗网络的遥感图像半监督语义分割方法 | |
| CN112926405B (zh) | 一种安全帽佩戴检测方法、***、设备及存储介质 | |
| CN106845430A (zh) | 基于加速区域卷积神经网络的行人检测与跟踪方法 | |
| CN111368712A (zh) | 一种基于深度学习的高光谱图像伪装目标检测方法 | |
| Alidoost et al. | A CNN-based approach for automatic building detection and recognition of roof types using a single aerial image | |
| CN104615986B (zh) | 利用多检测器对场景变化的视频图像进行行人检测的方法 | |
| Liu et al. | Super-pixel cloud detection using hierarchical fusion CNN | |
| CN113129335B (zh) | 一种基于孪生网络的视觉跟踪算法及多模板更新策略 | |
| WO2024051067A1 (zh) | 红外图像处理方法、装置及设备、存储介质 | |
| CN115187844A (zh) | 基于神经网络模型的图像识别方法、装置及终端设备 | |
| CN113033516A (zh) | 对象识别统计方法及装置、电子设备、存储介质 | |
| Yi et al. | Detection and localization for lake floating objects based on CA-faster R-CNN | |
| CN113378739A (zh) | 一种基于深度学习的地基云状目标检测方法 | |
| CN116403071B (zh) | 基于特征重构的少样本混凝土缺陷检测方法及装置 | |
| CN110659585B (zh) | 一种基于交互属性监督的行人检测方法 | |
| CN112560902A (zh) | 基于书脊视觉信息的图书识别方法及*** | |
| CN116935356A (zh) | 基于弱监督的自动驾驶多模态图片和点云实例分割方法 | |
| Nan et al. | Infrared object image instance segmentation based on improved mask-RCNN | |
| Su et al. | Online cascaded boosting with histogram of orient gradient features for car detection from unmanned aerial vehicle images | |
| CN113887455B (zh) | 一种基于改进fcos的人脸口罩检测***及方法 | |
| Xu et al. | Fast aircraft detection method in optical remote sensing images based on deep learning | |
| CN115830318A (zh) | 基于改进Mask-RCNN网络的重叠烟丝图像分割方法及装置 | |
| CN113139540B (zh) | 背板检测方法及设备 | |
| Wu et al. | Identification of bird’s nest hazard level of transmission line based on improved yolov5 and location constraints | |
| Guo et al. | A cloud boundary detection scheme combined with aslic and cnn using zy-3, gf-1/2 satellite imagery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210910 |
|
| RJ01 | Rejection of invention patent application after publication |