CN115565232A - 基于改进YOLOv5算法的配电房开关柜柜面部件识别方法 - Google Patents
基于改进YOLOv5算法的配电房开关柜柜面部件识别方法 Download PDFInfo
- Publication number
- CN115565232A CN115565232A CN202211299619.8A CN202211299619A CN115565232A CN 115565232 A CN115565232 A CN 115565232A CN 202211299619 A CN202211299619 A CN 202211299619A CN 115565232 A CN115565232 A CN 115565232A
- Authority
- CN
- China
- Prior art keywords
- feature map
- feature
- algorithm
- switch cabinet
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于改进YOLOv5算法的电房开关柜柜面部件识别方法,方法包括下述步骤:通过配电房中的摄像头采集开关柜图像,得到开关柜图像数据集;对开关柜图像数据集进行数据增强得到增强数据集,并划分为训练集和测试集;构造改进YOLOv5网络模型,包括:首先对网络结构进行改进,添加小目标检测层;在Neck网络中使用AF‑FPN结构代替FPN结构,最后使用SIOU损失函数作为bounding box的损失函数;在训练集上迭代训练改进YOLOv5网络模型直至收敛,保存最佳网络权重;将最佳网络权重载入改进YOLOv5网络模型中,使用测试集进行测试,输出柜面部件识别结果。本发明使用改进YOLOv5算法,在背景复杂、目标较小的情况下对柜面部件进行准确识别并进行性能评估,具有良好的检测识别效果。
Description
技术领域
本发明属于数字图像处理的技术领域,具体涉及一种基于改进YOLOv5算法的配电房开关柜柜面部件识别方法。
背景技术
随着生产生活对电力能源的需求量不断增加,对供电部门提供的电力供应质量(稳定性、不间断性及伴随服务)要求也越来越高;配电房作为电网中最重要的供电节点,其数量众多且在地域上分布分散、广泛。为保证电网正常运行,巡检人员需要对设备进行日常巡检和维护操作,但由于现场作业环境、人员复杂,多工种交叉作业,协作方多,会出现作业点分散、现场监管人工成本高、作业效率低、作业现场管理难、作业防范措施不到位、异常状况发生不能及时报警处理等问题。
安全生产是企业生存和发展的第一要素,虽然电力安全工作规程对相关人员进入作业现场应遵守的安全要求做出了严格的规定,但是现场作业环境复杂,存在着许多不可预计的危险,带来较大的安全隐患。目前虽然已可以对作业现场进行视频监控,但是视频监控带来的大量视频和图片数据也存在新的问题;由于拍摄到的视频及图片信息依然需要人工进行检查,而且不同电房图像往往背景比较复杂,尺度大小不一,工作人员在检查时容易产生视觉疲劳,出现漏检、误检的情况,降低了效率。因此,使用图像处理技术自动对柜面图片进行检测成为一种研究趋势。
随着图像处理技术的发展,深度学习在目标检测领域取得了不错的进展,目前经典的目标检测算法主要分为单阶段和双阶段两类,单阶段的包括YOLO、SDD、Retina-Net等,双阶段的包括R-CNN、Fast R-CNN、Mask R-CNN等;其中YOLO算法运行速度最快,准确度也较高,比较适合配电房内的开关柜的柜面上的刀闸开关、指示灯等柜面部件检测,但是由于不同电房图像背景复杂、存在遮挡、柜面部件较小等问题,识别效果并不太好,仍需进一步研究。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足,提供一种基于改进YOLOv5算法的配电房开关柜柜面部件识别方法,本发明采集开关柜图像,在背景复杂、目标较小的情况下使用改进YOLOv5算法对柜面部件进行准确识别并进行性能评估,具有良好的检测识别效果,为配电房智能化建设提供技术支持。
为了达到上述目的,本发明采用以下技术方案:
基于改进YOLOv5算法的配电房开关柜柜面部件识别方法,包括下述步骤:
通过配电房中的摄像头采集开关柜图像,得到开关柜图像数据集;
对开关柜图像数据集进行数据增强得到增强数据集,并划分为训练集和测试集;
构造改进YOLOv5网络模型,包括:首先对网络结构进行改进,添加小目标检测层;在Neck网络中使用AF-FPN结构代替FPN结构,最后使用SIOU损失函数作为bounding box的损失函数;
在训练集上迭代训练改进YOLOv5网络模型直至收敛,保存最佳网络权重;
将最佳网络权重载入改进YOLOv5网络模型中,使用测试集进行测试,输出柜面部件识别结果。
作为优选的技术方案,对开关柜图像数据集进行数据增强采用Mosaic-9数据增强方法,得到增强数据集,具体为:
将开关柜图像数据集中所有开关柜图像大小调整为统一大小;
从开关柜图像数据集中随机取出n张图片,进行随机裁剪、缩放,再随机排列拼接成一张图片,重复Batch-size次,得到Batch-size张马赛克数据增强图片,存入开关柜图像数据集中,得到增强数据集。
作为优选的技术方案,所述改进YOLOv5网络模型包括输入层、Backbone网络、Neck网络和预测层;
所述AF-FPN结构在FPN结构基础上增加自适应注意力模块AAM和特征增强模块FEM;
所述自适应注意力模块AAM用于减少特征通道和高层特征图中上下文信息的丢失;
所述特征增强模块FEM用于增强特征金字塔的表示,提高推理速度。
作为优选的技术方案,所述在训练集上迭代训练改进YOLOv5网络模型,具体为:
将训练集通过输入层输入Backbone网络中,提取训练集的特征映射;
根据训练集的特征映射,在Neck网络中获取训练集的特征图;
基于训练集的特征图在预测层中进行预测,计算损失,更新模型参数;
重新训练直至损失函数收敛或达到最大迭代次数,保存最佳网络权重。
作为优选的技术方案,所述训练集的特征映射表示为{C1,C2,C3,C4,C5};
所述Neck网络采用自上而下的下采样操作与低层次的特征映射融合,获取训练集的特征图,具体为:
将特征映射C5通过自适应注意力模块AAM生成特征映射M5,与特征映射C5进行融合后输入特征增强模块FPM中进行特征增强得到特征图P5;
将特征图P5通过下采样操作生成特征映射M4,与特征映射C4进行融合后输入特征增强模块FPM中进行特征增强得到特征图P4;
将特征图P4通过下采样操作生成特征映射M3,与特征映射C3进行融合后输入特征增强模块FPM中进行特征增强得到特征图P3。
作为优选的技术方案,所述将特征映射C5通过自适应注意力模块AAM生成特征映射M5,具体为:
对于输入的特征映射C5,首先通过自适应池化层获得3个不同尺度的语义特征;
使用1×1卷积对3个不同尺度的语义特征进行卷积操作,获取相同的通道维数;
利用双线性插值法将3个不同尺度的语义特征进行上采样操作,并通过Concat层将通道进行合并,得到特征图;
特征图依次经过1×1卷积层、ReLU激活层、3×3卷积层和sigmoid激活层,生成特征图的空间权值;
生成的空间权值与特征图经过Hadamard乘积操作后,分离成3个新的上下文特征表示并与输入特征映射C5进行matrix sum运算,得到特征映射M5。
作为优选的技术方案,所述特征增强模块FPM利用扩张卷积自适应地学习每个特征图中的不同感受野,包括多分支卷积层和分支池化层;
所述多分支卷积层通过扩张卷积为输入特征图提供不同大小的感受野,包括扩张卷积、BN层和ReLU激活层;所述多分支卷积层中的扩张卷积具有相同的内核大小,但扩张速率不同;扩张卷积的感受野公式为:
r1=d×(k-1)+1
rn=d×(k-1)+rn-1
其中,k表示卷积核尺寸,r表示扩张率,n表示扩张卷积个数,d表示卷积的stride;
所述分支池化层通过利用平均操作来融合不同多分支卷积层的感受野交通信息,提高多尺度精度预测,表达式为:
其中,yp表示分支池化层的输出;B表示多分支卷积层的分支数量,yi表示第i个分支卷积层的输出。
作为优选的技术方案,所述预测层采用自下而上的上采样操作与高层次的特征图融合进行预测,即将特征图P3进行上采样操作,与特征图P4进行融合后再进行上采样操作,与特征图P5进行融合,得到柜面部件的算法检测框;
将柜面部件的算法检测框与实际标注框进行比较,得到交并比,构建SIOU损失函数;
所述交并比公式表示为:
其中,B表示柜面部件的算法检测框,BGT表示柜面部件的实际标注框;
所述SIOU损失函数由四部分组成,分别为Angle cost角度函数、Distance cost函数、Shape cost函数和IoU coS函数;
所述Angle cost角度函数定义为:
其中,
所述Distance cost函数定义为:
所述Shape cost函数定义为:
所述IoU cos函数定义为:
所述SIOU损失函数表示为:
L=WboxLbox+WclsLcls
其中,Wbox表示算法检测框权重,Wcls表示分类损失权重,Lcls表示是focal loss;所述算法检测框权重和分类损失权重通过在不同数据集上使用遗传算法计算得到。
作为优选的技术方案,所述方法还包括:取得柜面部件识别结果后,使用精确度、召回率、平均精确率均值指标对网络模型性能进行评价;
所述准确度计算公式为:Precision=TP/(TP+FP)=TP/all detections;
所述召回率计算公式为:Recall=TP/(TP+FN)=TP/all ground trusts
所述平均准确率均值计算公式为:
其中,TP为算法检测框预测正确的区域,FP为算法检测框预测错误的区域,FN为实际标注框正确但算法检测框未预测到的区域;all detections为算法检测框的预测区域,all ground trusts为实际标注框的实际区域,r表示召回率,ρ(r)为召回率r的精度值,ρinterp(rn+1)为召回率大于等于r时,对应精度值ρ(r)中的最大精度值。
作为优选的技术方案,所述柜面部件包括运行状态警示牌、开关刀闸、接地刀闸及指示灯;
所述自适应注意力模块AAM中的自适应池化层的池化系数为[0.1,0.5],所述通道维数为256;
所述特征增强模块FPM中多分支卷积层的扩张卷积的核大小为3×3,不同分支的扩张速率d分别为1、3、5。
本发明与现有技术相比,具有如下优点和有益效果:
1、本发明采用Mosaic-9数据增强,丰富了数据集,提升了网络训练速度,同时合理地添加随机噪声数据,加强了网络模型对小目标样本的区分,提升了模型的泛化效果。
2、对YOLOv5网络结构进行了改进,增加小目标检测层,对较浅特征图与深特征图拼接后进行检测,提高了对小目标的检测效果,并且在Neck部分使用用AF-FPN代替原来的FPN,减少了特征图中上下文信息的丢失,增强了特征金字塔的表示,提高了推理速度。
3、改进预测框公式,使用SIOU Loss替换原来CIOU Loss来作为bounding box的损失函数,对比原先的CIOU Loss,提高了训练的速度和推理的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于改进YOLOv5算法的电房开关柜柜面部件识别方法的流程图;
图2为本发明实施例中Mosaic-9数据增强方法的流程示意图;
图3为本发明实施例中改进YOLOv5网络模型的结构示意图;
图4为本发明实施例中AF-FPN结构的工作示意图;
图5为本发明实施例中自适应注意力模块AAM的结构示意图;
图6为本发明实施例中特征增强模块FEM的结构示意图;
图7为本发明实施例中交并比IoU的示意图;
图8为本发明实施例中Angle cost角度函数的原理图;
图9为本发明实施例中Angle cost角度函数的曲线示意图;
图10为本发明实施例中Shape cost函数的原理图;
图11为本发明实施例中识别结果的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本申请所描述的实施例可以与其它实施例相结合。
如图1所示,本实施例基于改进YOLOv5算法的配电房开关柜柜面部件识别方法,包括下述步骤:
S1、通过配电房中的摄像头采集开关柜图像,得到开关柜图像数据集;
目前配电房中均安装有摄像头,用于监控配电房状态及进出人员信息,本发明在不安装多余设备的基础上,使用配电房中的摄像头来采集多张开关柜图像,组成开关柜图像数据集。
本实施例中在不同背景及不同柜面目标下,从摄像头中获取1258张以上的开关柜图像,尽可能地扩大丰富度。
S2、对开关柜图像数据集进行数据增强得到增强数据集,并划分为训练集和测试集;
便于对柜面部件的识别和检测,需要对开关柜图像数据集进行数据增强,以丰富数据集,本实施例中采用如图2所示的Mosaic-9数据增强方法进行数据增强,具体为:
将开关柜图像数据集中所有开关柜图像大小调整为统一大小;
从开关柜图像数据集中随机取出n张图片,进行随机裁剪、缩放,再随机排列拼接成一张图片,重复Batch-size次,得到Batch-size张马赛克数据增强图片,存入开关柜图像数据集中,得到增强数据集。
本实施例中每次从开关柜图像数据集中随机选取9张图片进行数据增强,丰富数据集的同时也增加了小样本目标,提升了网络的训练速度;并且合理地添加了随机噪声数据,能够加强网络模型对小目标样本的区分,进一步提升模型的泛化效果。得到增强数据集后,按照8∶2的比例划分为训练集和测试集。
S3、构造改进YOLOv5网络模型,包括:首先对网络结构进行改进,添加小目标检测层;在Neck网络中使用AF-FPN结构代替FPN结构,最后使用SIOU损失函数作为bounding box的损失函数;
如图3所示,基于YOLOv5算法构建YOLOv5网络模型,然后对其进行改进,首先对网络结构进行改进,增加小目标检测层,对较浅特征图与深特征图拼接后进行检测,虽然增加检测层后导致推理检测速度降低,但提高了对小目标的检测效果;接着在Neck网络中使用AF-FPN结构代替原来的FPN(特征金字塔)结构,如图4所示,AF-FPN结构是在传统特征金字塔网络(FPN)的基础上,增加了自适应注意力模块(AAM)和特征增强模块(FEM);使用AAM减少特征通道和高层特征图中上下文信息的丢失;使用FEM增强特征金字塔的表示,提高推理速度,实现识别性能的提高。
S4、在训练集上迭代训练改进YOLOv5网络模型直至收敛,保存最佳网络权重,具体为:
S41、将训练集通过输入层输入Backbone网络中,提取训练集的特征映射;
如图4所示,训练集经过Backbone网络中的多个卷积后,生成的特征映射为{C1,C2,C3,C4,C5};
S42、根据训练集的特征映射,在Neck网络中获取训练集的特征图;
Neck网络采用自上而下的下采样操作与低层次的特征映射融合,并使用FEM模块来扩展感受野,获取训练集的特征图,具体如图4所示:
将特征映射C5通过自适应注意力模块AAM生成特征映射M5,与特征映射C5进行融合后输入特征增强模块FPM中进行特征增强得到特征图P5;
将特征图P5通过下采样操作生成特征映射M4,与特征映射C4进行融合后输入特征增强模块FPM中进行特征增强得到特征图P4;
将特征图P4通过下采样操作生成特征映射M3,与特征映射C3进行融合后输入特征增强模块FPM中进行特征增强得到特征图P3。
其中,自适应注意力模块AAM生成特征映射M5的具体原理如图5所示:
对于输入的特征映射C5,大小为S=h×w,首先通过自适应池化层获得3个不同尺度的语义特征;本实施例中的池化系数为[0.1,0.5],根据数据集的目标大小自适应变化。
使用1×1卷积对3个不同尺度的语义特征进行卷积操作,获取相同的通道维数;本实施例中为256;
利用双线性插值法将3个不同尺度的语义特征进行上采样操作,上采样至S尺度并通过Concat层将通道进行合并,得到特征图;
特征图依次经过1×1卷积层、ReLU激活层、3×3卷积层和sigmoid激活层,生成特征图的空间权值;
生成的空间权值与特征图经过Hadamard乘积操作后,分离成3个新的上下文特征表示并与输入特征映射C5进行matrix sum运算,得到特征映射M5,最终得到的特征映射M5具有丰富的多尺度上下文信息,在一定程度上缓解了由于通道数量减少而造成的信息丢失。
同时,如图6所示,特征增强模块FPM利用扩张卷积自适应地学习每个特征图中的不同感受野,从而提高多尺度目标检测识别的准确性,其包括多分支卷积层和分支池化层;
其中,多分支卷积层通过扩张卷积为输入特征图提供不同大小的感受野,包括扩张卷积、BN层和ReLU激活层;其中的扩张卷积具有相同的内核大小,但扩张速率不同;具体来说,每个扩张卷积的核大小为3×3,不同分支的扩张速率d分别为1、3、5;扩张卷积支持指数扩展的感受野,而不损失分辨率;在扩张卷积的卷积运算中,由于卷积核的元素是间隔的,空间的大小取决于扩张率;正常卷积的扩张率为1,表示卷积核各元素之前没有空隙,广义上说,普通卷积是一种特殊的空洞卷积;当r=2时,表示卷积核各元素之前有一个空隙,即相邻两个元素间位置相差1;因此扩张卷积与标准卷积运算中卷积核的元素都是相邻的不同,在将扩张卷积核由3×3大小更改为7×7大小时,该层的感受野大小则为7×7;
扩张卷积的感受野公式为:
r1=d×(k-1)+1
rn=d×(k-1)+rn-1
其中,k表示卷积核尺寸,r表示扩张率,n表示扩张卷积个数,d表示卷积的stride;
分支池化层通过利用平均操作来融合不同多分支卷积层的感受野交通信息,避免引入额外参数,提高多尺度精度预测,表达式为:
其中,yp表示分支池化层的输出;B表示多分支卷积层的分支数量,yi表示第i个分支卷积层的输出。
S43、基于训练集的特征图在预测层中进行预测,计算损失,更新模型参数;
如图4所示,预测层采用自下而上的上采样操作与高层次的特征图融合进行预测,即将特征图P3进行上采样操作,与特征图P4进行融合后再进行上采样操作,与特征图P5进行融合,得到柜面部件的算法检测框;
如图7所示,将柜面部件的算法检测框与实际标注框进行比较,得到交并比,构建SIOU损失函数;交并比计算公式为:
其中,图中B表示柜面部件的算法检测框,BGT表示柜面部件的实际标注框;
本发明中使用SIOU损失函数替换原来CIOU Loss来作为bounding box的损失函数,优化网络模型;SIOU损失函数由四部分组成,分别为Angle cost角度函数、Distancecost函数、Shape cost函数和IoU cos函数;
如图8所示,图中B表示柜面部件的算法检测框,BGT表示柜面部件的实际标注框,当B到BGT的夹角小于α时,向最小α收敛,反之,向β收敛;因此使用Angle cost角度函数可以最大限度地减少与距离相关中的变量数量;本实施例中的改进YOLOv5网络模型首先将算法检测框带到X或Y轴(以最接近者为准),然后沿着相关轴继续接近,如果收敛过程将首先最小化α,否则最小化β:Angle cost角度函数的曲线图如图9所示,因此Anglecost角度函数定义为:
其中,
Distance cost函数鉴于上述所定义的Angle cost函数,重新定义为:
其中,γ=2-Λ,cw为实际标注框和算法检测框在x轴方向的差值;当α→0时,Distance cost的贡献率大大降低;相反,当α越接近π/4时,Distance cost贡献率越大;随着角度的增大,会带来较大的影响,所以γ被赋予时间优先的距离值随着角度的增加。
如图10所示,Shape cost函数定义为:
其中,W表示算法检测框宽度,H表示为算法检测框高度,WGt表示实际标注框宽度,HGt表示实际标注框高度,θ∈[2,6]表示关注程度;θ的值定义了每个数据集的Shape cost及其值是唯一的;θ的值是这个等式中非常重要的一项,它控制着对Shape cost的关注程度;如果θ的值设置为1,则将立即优化一个Shape,从而损害Shape的自由移动;因此计算θ的值将遗传算法用于每个数据集,本实施例中θ=4。
IoU cos函数定义为:
最终获得的SIOU损失函数表示为:
L=WboxLbox+WclsLcls
其中,Wbox表示算法检测框权重,Wcls表示分类损失权重,Lcls表示是focal loss。
在不同数据集上采用遗传算法对算法检测框权重及分类损失权重进行计算获取;本实施例中算法检测框权重Wbox=0.35,分类损失权重Wcls=0.65。
S44、重新训练直至损失函数收敛或达到最大迭代次数,保存最佳网络权重。
S5、将最佳网络权重载入改进YOLOv5网络模型中,使用测试集进行测试,输出柜面部件识别结果。
为了对识别结果进行评估,本实施例还使用精确度、召回率、平均精确率均值指标对网络模型性能进行评价;
如图7所示,交并比IoU=TP/(TP+FN+FP),IoU是实际标注框与算法检测框重叠区域除以它们的合并区域,其是指测量算法检测框是否准确地找到目标对象的准确率;其中TP为算法检测框预测正确的区域,FP为算法检测框预测错误的区域,FN为实际标注框正确但算法检测框未预测到的区域,TN为非实际标注框及算法检测框的区域;
其中,准确度计算公式为:Precision=TP/(TP+FP)=TP/all detections;
召回率计算公式为:Recall=TP/(TP+FN)=TP/all ground trusts
平均准确率均值计算公式为:
其中,all detections为算法检测框的预测区域,all ground trusts为实际标注框的实际区域,r表示召回率,ρ(r)为召回率r的精度值,ρinterp(rn+1)为召回率大于等于r时,对应精度值ρ(r)中的最大精度值。
如图11所示,本实施例中某一开关柜图像中柜面部件的识别结果,可见本发明能够对如运行状态警示牌、开关刀闸、接地刀闸及指示灯等柜面部件进行准确识别及标注,对配电房的维护及智能化建设具有重要意义。
需要说明的是,对于前述的各方法实施例,为了简便描述,将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其它顺序或者同时进行。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (10)
1.基于改进YOLOv5算法的配电房开关柜柜面部件识别方法,其特征在于,包括下述步骤:
通过配电房中的摄像头采集开关柜图像,得到开关柜图像数据集;
对开关柜图像数据集进行数据增强得到增强数据集,并划分为训练集和测试集;
构造改进YOLOv5网络模型,包括:首先对网络结构进行改进,添加小目标检测层;在Neck网络中使用AF-FPN结构代替FPN结构,最后使用SIOU损失函数作为bounding box的损失函数;
在训练集上迭代训练改进YOLOv5网络模型直至收敛,保存最佳网络权重;
将最佳网络权重载入改进YOLOv5网络模型中,使用测试集进行测试,输出柜面部件识别结果。
2.根据权利要求1所述的基于改进YOLOv5算法的配电房开关柜柜面部件识别方法,其特征在于,对开关柜图像数据集进行数据增强采用Mosaic-9数据增强方法,得到增强数据集,具体为:
将开关柜图像数据集中所有开关柜图像大小调整为统一大小;
从开关柜图像数据集中随机取出n张图片,进行随机裁剪、缩放,再随机排列拼接成一张图片,重复Batch-size次,得到Batch-size张马赛克数据增强图片,存入开关柜图像数据集中,得到增强数据集。
3.根据权利要求1所述的基于改进YOLOv5算法的配电房开关柜柜面部件识别方法,其特征在于,所述改进YOLOv5网络模型包括输入层、Backbone网络、Neck网络和预测层;
所述AF-FPN结构在FPN结构基础上增加自适应注意力模块AAM和特征增强模块FEM;
所述自适应注意力模块AAM用于减少特征通道和高层特征图中上下文信息的丢失;
所述特征增强模块FEM用于增强特征金字塔的表示,提高推理速度。
4.根据权利要求3所述的基于改进YOLOv5算法的配电房开关柜柜面部件识别方法,其特征在于,所述在训练集上迭代训练改进YOLOv5网络模型,具体为:
将训练集通过输入层输入Backbone网络中,提取训练集的特征映射;
根据训练集的特征映射,在Neck网络中获取训练集的特征图;
基于训练集的特征图在预测层中进行预测,计算损失,更新模型参数;
重新训练直至损失函数收敛或达到最大迭代次数,保存最佳网络权重。
5.根据权利要求4所述的基于改进YOLOv5算法的配电房开关柜柜面部件识别方法,其特征在于,所述训练集的特征映射表示为{C1,C2,C3,C4,C5};
所述Neck网络采用自上而下的下采样操作与低层次的特征映射融合,获取训练集的特征图,具体为:
将特征映射C5通过自适应注意力模块AAM生成特征映射M5,与特征映射C5进行融合后输入特征增强模块FPM中进行特征增强得到特征图P5;
将特征图P5通过下采样操作生成特征映射M4,与特征映射C4进行融合后输入特征增强模块FPM中进行特征增强得到特征图P4;
将特征图P4通过下采样操作生成特征映射M3,与特征映射C3进行融合后输入特征增强模块FPM中进行特征增强得到特征图P3。
6.根据权利要求5所述的基于改进YOLOv5算法的配电房开关柜柜面部件识别方法,其特征在于,所述将特征映射C5通过自适应注意力模块AAM生成特征映射M5,具体为:
对于输入的特征映射C5,首先通过自适应池化层获得3个不同尺度的语义特征;
使用1×1卷积对3个不同尺度的语义特征进行卷积操作,获取相同的通道维数;
利用双线性插值法将3个不同尺度的语义特征进行上采样操作,并通过Concat层将通道进行合并,得到特征图;
特征图依次经过1×1卷积层、ReLU激活层、3×3卷积层和sigmoid激活层,生成特征图的空间权值;
生成的空间权值与特征图经过Hadamard乘积操作后,分离成3个新的上下文特征表示并与输入特征映射C5进行matrix sum运算,得到特征映射M5。
7.根据权利要求5所述的基于改进YOLOv5算法的配电房开关柜柜面部件识别方法,其特征在于,所述特征增强模块FPM利用扩张卷积自适应地学习每个特征图中的不同感受野,包括多分支卷积层和分支池化层;
所述多分支卷积层通过扩张卷积为输入特征图提供不同大小的感受野,包括扩张卷积、BN层和ReLU激活层;所述多分支卷积层中的扩张卷积具有相同的内核大小,但扩张速率不同;扩张卷积的感受野公式为:
r1=d×(k-1)+1
rn=d×(k-1)+rn-1
其中,k表示卷积核尺寸,r表示扩张率,n表示扩张卷积个数,d表示卷积的stride;
所述分支池化层通过利用平均操作来融合不同多分支卷积层的感受野交通信息,提高多尺度精度预测,表达式为:
其中,yp表示分支池化层的输出;B表示多分支卷积层的分支数量,yi表示第i个分支卷积层的输出。
8.根据权利要求5所述的基于改进YOLOv5算法的配电房开关柜柜面部件识别方法,其特征在于,所述预测层采用自下而上的上采样操作与高层次的特征图融合进行预测,即将特征图P3进行上采样操作,与特征图P4进行融合后再进行上采样操作,与特征图P5进行融合,得到柜面部件的算法检测框;
将柜面部件的算法检测框与实际标注框进行比较,得到交并比,构建SIOU损失函数;
所述交并比公式表示为:
其中,B表示柜面部件的算法检测框,BGT表示柜面部件的实际标注框;
所述SIOU损失函数由四部分组成,分别为Angle cost角度函数、Distance cost函数、Shape cost函数和IoU cos函数;
所述Angle cost角度函数定义为:
其中,
所述Distance cost函数定义为:
所述Shape cost函数定义为:
所述IoU cos函数定义为:
所述SIOU损失函数表示为:
L=WboxLbox+WclsLcls
其中,Wbox表示算法检测框权重,Wcls表示分类损失权重,Lcls表示是focal loss;所述算法检测框权重和分类损失权重通过在不同数据集上使用遗传算法计算得到。
9.根据权利要求8所述的基于改进YOLOv5算法的配电房开关柜柜面部件识别方法,其特征在于,所述方法还包括:取得柜面部件识别结果后,使用精确度、召回率、平均精确率均值指标对网络模型性能进行评价;
所述准确度计算公式为:Precision=TP/(TP+FP)=TP/all detections;
所述召回率计算公式为:Recall=TP/(TP+FN)=TP/all ground trusts
所述平均准确率均值计算公式为:
其中,TP为算法检测框预测正确的区域,FP为算法检测框预测错误的区域,FN为实际标注框正确但算法检测框未预测到的区域;all detections为算法检测框的预测区域,allground trusts为实际标注框的实际区域,r表示召回率,ρ(r)为召回率r的精度值,ρinterp(rn+1)为召回率大于等于r时,对应精度值ρ(r)中的最大精度值。
10.根据权利要求8所述的基于改进YOLOv5算法的配电房开关柜柜面部件识别方法,其特征在于,所述柜面部件包括运行状态警示牌、开关刀闸、接地刀闸及指示灯;
所述自适应注意力模块AAM中的自适应池化层的池化系数为[0.1,0.5],所述通道维数为256;
所述特征增强模块FPM中多分支卷积层的扩张卷积的核大小为3×3,不同分支的扩张速率d分别为1、3、5。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211299619.8A CN115565232A (zh) | 2022-10-24 | 2022-10-24 | 基于改进YOLOv5算法的配电房开关柜柜面部件识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211299619.8A CN115565232A (zh) | 2022-10-24 | 2022-10-24 | 基于改进YOLOv5算法的配电房开关柜柜面部件识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115565232A true CN115565232A (zh) | 2023-01-03 |
Family
ID=84746310
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211299619.8A Pending CN115565232A (zh) | 2022-10-24 | 2022-10-24 | 基于改进YOLOv5算法的配电房开关柜柜面部件识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115565232A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116205895A (zh) * | 2023-03-16 | 2023-06-02 | 四川轻化工大学 | 一种基于改进YOLOv5的变压器漏油检测方法 |
CN116229570A (zh) * | 2023-02-21 | 2023-06-06 | 四川轻化工大学 | 一种基于机器视觉的高空作业人员行为态势识别方法 |
CN116342596A (zh) * | 2023-05-29 | 2023-06-27 | 云南电网有限责任公司 | 一种基于YOLOv5改进的变电站设备螺母缺陷识别检测方法 |
CN116524328A (zh) * | 2023-06-28 | 2023-08-01 | 中国科学院长春光学精密机械与物理研究所 | 基于改进的轻量化网络的目标识别方法及*** |
-
2022
- 2022-10-24 CN CN202211299619.8A patent/CN115565232A/zh active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116229570A (zh) * | 2023-02-21 | 2023-06-06 | 四川轻化工大学 | 一种基于机器视觉的高空作业人员行为态势识别方法 |
CN116229570B (zh) * | 2023-02-21 | 2024-01-23 | 四川轻化工大学 | 一种基于机器视觉的高空作业人员行为态势识别方法 |
CN116205895A (zh) * | 2023-03-16 | 2023-06-02 | 四川轻化工大学 | 一种基于改进YOLOv5的变压器漏油检测方法 |
CN116205895B (zh) * | 2023-03-16 | 2024-04-02 | 四川轻化工大学 | 一种基于改进YOLOv5的变压器漏油检测方法 |
CN116342596A (zh) * | 2023-05-29 | 2023-06-27 | 云南电网有限责任公司 | 一种基于YOLOv5改进的变电站设备螺母缺陷识别检测方法 |
CN116342596B (zh) * | 2023-05-29 | 2023-11-28 | 云南电网有限责任公司 | 一种基于YOLOv5改进的变电站设备螺母缺陷识别检测方法 |
CN116524328A (zh) * | 2023-06-28 | 2023-08-01 | 中国科学院长春光学精密机械与物理研究所 | 基于改进的轻量化网络的目标识别方法及*** |
CN116524328B (zh) * | 2023-06-28 | 2023-09-15 | 中国科学院长春光学精密机械与物理研究所 | 基于改进的轻量化网络的目标识别方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115565232A (zh) | 基于改进YOLOv5算法的配电房开关柜柜面部件识别方法 | |
Hayes et al. | Contextual anomaly detection in big sensor data | |
JP5647627B2 (ja) | 異常パターンの発見 | |
Ghamarian et al. | Hierarchical density-based cluster analysis framework for atom probe tomography data | |
CN109919032A (zh) | 一种基于动作预测的视频异常行为检测方法 | |
CN115577114A (zh) | 一种基于时序知识图谱的事件检测方法和装置 | |
CN111064620A (zh) | 基于运维知识库的电网多媒体会议室设备维护方法和*** | |
CN113076738A (zh) | Gnn编码器及基于图上下文学习的异常点检测方法 | |
CN114332473A (zh) | 目标检测方法、装置、计算机设备、存储介质及程序产品 | |
Rathore et al. | Multi scale graph wavenet for wind speed forecasting | |
CN112464439A (zh) | 基于三层数据挖掘的电力***故障类型分析方法及装置 | |
CN115905715A (zh) | 基于大数据和人工智能的互联网数据分析方法和平台 | |
CN115908407A (zh) | 基于红外图像温度值的电力设备缺陷检测方法及装置 | |
CN115905959A (zh) | 基于缺陷因子的电力断路器关联性故障分析方法及装置 | |
CN111966758B (zh) | 一种基于画像数据分析技术的电力隐患排查方法 | |
CN113052103A (zh) | 一种基于神经网络的电气设备缺陷检测方法及装置 | |
Baranwal et al. | Five deep learning recipes for the mask-making industry | |
Shen et al. | Long-term multivariate time series forecasting in data centers based on multi-factor separation evolutionary spatial–temporal graph neural networks | |
CN112836670A (zh) | 基于自适应图网络的行人动作检测方法及装置 | |
CN117911662B (zh) | 基于深度霍夫投票的数字孪生场景语义分割方法及*** | |
Chen et al. | Surface Defect Detection System of Condenser Tube Based on Deep Learning | |
Alhaisoni et al. | SCF: smart big data classification framework | |
Amin et al. | Link prediction in scientists collaboration with author name and affiliation | |
Pang et al. | Electrical insulator defect detection with incomplete annotations and imbalanced samples | |
CN111008238B (zh) | 基于关联演化大数据的关键模式自动定位与预警方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |