CN114299354A - 一种基于旋转框识别网络的绝缘子检测定位方法 - Google Patents

一种基于旋转框识别网络的绝缘子检测定位方法 Download PDF

Info

Publication number
CN114299354A
CN114299354A CN202111431311.XA CN202111431311A CN114299354A CN 114299354 A CN114299354 A CN 114299354A CN 202111431311 A CN202111431311 A CN 202111431311A CN 114299354 A CN114299354 A CN 114299354A
Authority
CN
China
Prior art keywords
module
insulator
fpn
network
pan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111431311.XA
Other languages
English (en)
Inventor
王道累
张世恒
杜文斌
张立新
朱瑞
袁斌霞
韩清鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Electric Power
Original Assignee
Shanghai University of Electric Power
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University of Electric Power filed Critical Shanghai University of Electric Power
Priority to CN202111431311.XA priority Critical patent/CN114299354A/zh
Publication of CN114299354A publication Critical patent/CN114299354A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及一种基于旋转框识别网络的绝缘子检测定位方法,包括以下步骤:S1:构建输电线路绝缘子图像数据集,进行绝缘子标注,并对数据库进行扩充;S2:构建绝缘子检测模型,所述绝缘子检测模型包括依次连接的主干网络、特征处理组件和预测模块,所述绝缘子检测模块的输入图像依次经过主干网络、特征处理组件进行特征提取后送入预测模块;S3:基于绝缘子图像数据集对多角度候选框生成网络进行训练;S4:将待检测的绝缘子图像送入多角度候选框生成网络,获取待检测的绝缘子图像中绝缘子的预测框。与现有技术相比,本发明具有检测、提取精度高等优点。

Description

一种基于旋转框识别网络的绝缘子检测定位方法
技术领域
本发明涉及绝缘子检测领域,尤其是涉及一种基于旋转框识别网络的绝缘子检测定位方法。
背景技术
现代社会电网规模的不断扩大给电力行业的维护与检查提出了巨大挑战,智能化巡检已成为输电线路巡检发展的新趋势。输电线路上的绝缘子拥有重量轻、防污闪等特点,能够对线路起到电气绝缘和机械固定的作用,在我国电网中被广泛应用。因此绝缘子的检测也成为了输电线路巡检的一个重要的环节。输电线路巡检方法通常分为人工巡检和无人机巡检,而随着电网规模的扩大,巡检工作量大幅增加,传统的人工巡检方法暴露出效率低和具有危险性等缺点,无人机航拍技术的发展,为输电线路的巡检提供了有力的帮助。无人机巡检具有成本低、效率高、灵活性强等优点,可以从不同位置、角度和距离收集输电线路上的绝缘子数据信息。
近年来,随着深度学习理论的不断突破,卷积神经网络大幅提升了图像识别的准确率,深度学习技术逐渐开始渗透到各个领域,基于深度学习的绝缘子检测方法也得到了迅速的发展。目前在输电线路绝缘子检测中主要存在以下几个问题:1)输电线路的背景信息十分复杂,背景中的植被以及交错的塔架等因素为绝缘子检测增加了许多干扰,大大增加了绝缘子检测的难度。2)绝缘子外形长宽比较大,常见的目标检测网络识别出的绝缘子预测框会包含很多除绝缘子外的无用信息,不利于后续对绝缘子状态和缺陷的分析。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于旋转框识别网络的绝缘子检测定位方法。
本发明的目的可以通过以下技术方案来实现:
一种基于旋转框识别网络的绝缘子检测定位方法,包括以下步骤:
S1:构建输电线路绝缘子图像数据集,进行绝缘子标注,并对数据库进行扩充;
S2:构建绝缘子检测模型,所述绝缘子检测模型包括依次连接的主干网络、特征处理组件和预测模块,所述绝缘子检测模块的输入图像依次经过主干网络、特征处理组件进行特征提取后送入预测模块;
S3:基于绝缘子图像数据集对多角度候选框生成网络进行训练;
S4:将待检测的绝缘子图像送入多角度候选框生成网络,获取待检测的绝缘子图像中绝缘子的预测框。
优选地,所述的主干网络包括依次连接的第一提取模块、第二提取模块、第三提取模块、第四提取模块。
优选地,所述的特征处理组件包括依次连接的FPN模块、PAN模块。
优选地,FPN模块包括第一FPN模块、第二FPN模块和第三FPN模块,所述第四提取模块的输出特征图送入第一FPN模块处理,所述第一FPN模块、第三提取模块的输出特征图送入第二FPN模块处理,所述第二提取模块、第二FPN模块的输出特征图送入第三FPN模块处理。
优选地,所述的PAN模块包括第一PAN模块、第二PAN模块、第三PAN模块,所述第三FPN模块的输出特征图送入第三PAN模块处理,所述第二FPN模块、第三PAN模块的输出特征图送入第二PAN模块处理,所述第一FPN模块、第二PAN模块的的输出特征图送入第一PAN模块处理,所述第一PAN模块、第二PAN模块、第三PAN模块的输出特征图送入预测模块处理。
优选地,所述的预测模块采用CSL环形平滑标签进行多角度绝缘子检测。
优选地,所述的CSL的表达式为:
Figure BDA0003380341920000021
其中,g(x)是窗口函数,x为输入值,r为窗口函数的半径,θ表示当前边界框的角度。
优选地,所述的预测模块的损失函数为:
Figure BDA0003380341920000022
其中,N表示预选框的数量,objn为一个二进制值,objn=1表示前景,objn=0表示背景,没有回归表示背景,v'nj表示预测的偏移值,vnj表示目标的真实值,θn、θ'n分别表示角度的真实值和预测值,tn代表对象的标签,pn是由Sigmoid函数计算的概率分布,λ1、λ2、λ3分别代表不同损失中的折中值,x,y,w,h,θreg分别为预测框中点坐标、宽、高以及角度函数,Lreg为回归损失,LCSL为聚焦损失,Lcsl为分类损失。
优选地,所述的预测模块中采用K-means聚类算法对锚点框进行处理,所述K-means聚类算法的公式为:
Figure BDA0003380341920000031
其中,k表示要划分簇的数目,Ni表示第i个簇集合,xj表示第j个样本值,ci表示第i个簇的中心,E表示所有数据样本对象与它所属的聚类中心的欧氏距离的平方和。
优选地,所述的步骤S1中数据库扩充采用的方法包括翻转、旋转、加入噪声、色域变化。
与现有技术相比,本发明具有如下优点:
1)本发明通过增加角度参数的方式对原有网络进行改进,根据绝缘子的外形特点,构建更加贴合绝缘子外形的旋转框,大幅提升模型对绝缘子特征的提取能力,在复杂背景下仍能有效提取绝缘子目标的特征,且高分辨率图片的输入尺度使模型对较远处拍摄的绝缘子的检测也具有优势。
2)本发明通过在网络中增加CSL(环形平滑标签)模型,将角度损失以分类损失的形式进行输出,有效的解决了由于角度参数的连续性所带来的角度边界差值突增的问题。大大提升了网络训练效果和针对绝缘子的旋转框检测精度。
3)本发明使用数据增强手段扩充数据集,防止模型训练时出现欠拟合情况,解决了目标检测中数据不足的问题。
附图说明
图1为本发明的流程图;
图2为本发明的模型结构示意图;
图3为四参数定义预测的说明图;
图4为五参数定义预测的说明图;
图5为原预测框;
图6为引入CSL后预测模块输出的预测框;
图7为角度突增问题的分析图;
图8为环形平滑标签结构图;
图9为特征处理组件的结构图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。注意,以下的实施方式的说明只是实质上的例示,本发明并不意在对其适用物或其用途进行限定,且本发明并不限定于以下的实施方式。
实施例
一种基于旋转框识别网络的绝缘子检测定位方法,包括以下步骤:
S1:构建输电线路绝缘子图像数据集,进行绝缘子标注,并对数据库进行扩充。通过无人机拍摄不同背景下的输电线路绝缘子图像,数据集中既要收集出现绝缘子的图像,同时也要收集没有出现绝缘子目标的图像作为训练的负样本,将数据集分为训练集和测试集。使用roLabelImg软件对数据集进行标注,采取YOLO格式保存图像中目标的中心点坐标、宽高和旋转角度。
本实施例中,通过数据增强手段对数据集进行扩增,主要包括翻转、旋转、加入噪声以及色域变化等手段,将扩增后的数据集以7:3的比例分为训练集和测试集输入模型中进行训练训练。
S2:构建绝缘子检测模型,绝缘子检测模型包括依次连接的主干网络、特征处理组件和预测模块,绝缘子检测模块的输入图像依次经过主干网络、特征处理组件进行特征提取后送入预测模块。本实施例中,特征处理组件包括依次连接的FPN模块、PAN模块。
具体地,如图2所示,主干网络包括依次连接的第一提取模块、第二提取模块、第三提取模块、第四提取模块;
FPN模块包括第一FPN模块、第二FPN模块和第三FPN模块,第四提取模块的输出特征图送入第一FPN模块处理,第一FPN模块、第三提取模块的输出特征图送入第二FPN模块处理,第二提取模块、第二FPN模块的输出特征图送入第三FPN模块处理;
PAN模块包括第一PAN模块、第二PAN模块、第三PAN模块,第三FPN模块的输出特征图送入第三PAN模块处理,第二FPN模块、第三PAN模块的输出特征图送入第二PAN模块处理,第一FPN模块、第二PAN模块的的输出特征图送入第一PAN模块处理,第一PAN模块、第二PAN模块、第三PAN模块的输出特征图送入预测模块处理。
本发明在应用时,改进目标检测框的参数定义,增加长边定义法如图3中五参数定义所示,将原网络预测矩形框四参数定义:xmin,ymin,xmax,ymax,进行参数定义形式的修改,如图4所示,修改后的预测矩形框参数为:centerx,centery,width,height,由矩形框中心点的坐标、矩形框长宽以及矩形框长边与x轴的夹角组成。相较与原参数定义方法,在预测框水平定义的基础上,增加了角度参数,大大提高了网络对特定目标特征的提取能力,使网络组在训练和预测阶段可以取得更好的效果。
图5为改进前预测框类型,改进后的预测框类型如图6所示,在原水平框的基础上,提供了旋转角度的选项,旋转框的标注方式更加适合绝缘子串外形的提点,标注时,标注框的边缘能够与绝缘子边缘更加的贴合。这种精确的标注方式,可以提供给网络更加准确的特征信息,有利于约束网络的训练方向和减少网络的收敛时间。
本实施例中,对绝缘子检测模型进行改进,引入角度参数,在网络训练角度回归过程中,因为角度连续性的原因,角度在边界处会出现差值突增问题,导致损失值突增,学***滑标签(CircularSmooth Label,CSL),如图8所示,对连续的角度进行分类,将回归问题转换为分类的问题,也就是将连续角度问题转换为离散角度问题,从而避免角度突变导致的损失值突变。将连续化转化为离散化,必定会存在一定的精度损失,探究此方法的可行性,需要计算出离散化带来的精度损失对最终检测结果的影响大小。计算公式如下。
精度最大损失:
Figure BDA0003380341920000051
精度平均损失:
Figure BDA0003380341920000052
通过计算,当角度ω=2时,精度最大损失为1,平均损失别为0.5,绝缘子串长宽比较大,在标注时标注框的长宽比平均可以达到1:9。如果两个绝缘子标注框角度相差1和0.5,则预测框与真实框交并比计算时会下降0.01和0.05左右,这对绝缘子检测效果的影响是很小的。所以此方法可以有效解决角度边界连续导致角度突增的问题,同时大大提升网络训练的鲁棒性。
CSL(环形平滑标签)的表达式如下:
Figure BDA0003380341920000061
其中,g(x)是窗口函数,x为输入值,r为窗口函数的半径,θ表示当前边界框的角度。
3)绝缘子串外形长宽比较大,初始的锚点框大小并不适合绝缘子的检测。本文利用YOLOv3网络中锚点框K-means聚类算法,公式如下:
Figure BDA0003380341920000062
其中k表示要划分簇的数目,Ni表示第i个簇集合,xj表示第j个样本值,ci表示第i个簇的中心,E表示所有数据样本对象与它所属的聚类中心的欧氏距离的平方和。当聚类中心点不在改变或者E的值收敛时,输出聚类结果。
由于网络增加了新的角度信息,故需要根据旋转框标注参数对算法进行修改,得到新的锚点框参数:[(184,21),(190,27),(251,30)],[(31,285),(300,38),(415,63)]
,[(611,77),(655,90),(758,99)],将新的参数输入网络代替初始参数,提高网络针对绝缘子的训练效果。
本实施例形成的模型整体结构如图2所示,网络的输入大小为1024×1024,原始图像在输入进网络后首先经Focus结构处理,对图片进行切片,将1024x1024x3的图像变成512x512x12的特征图,再经过一次卷积操作,最终变成512x512x32的特征图。相较于普通下采样操作,Focus的计算量会多一些,但下采样时不会带来信息的丢失。然后通过主干网络对绝缘子特征进行提取,提取后的特征输入FPN+PAN结构,结构图如图9所示。FPN层自顶向下传达强语义特征,PAN结构自底向上传达强定位特征,两个结构相结合,起到不同主干层对不同检测层特征进行聚合的效果。特征图通过FPN+PAN结构的特征融合后,最终得到三个不同大小的特征图用以预测。
S3:基于绝缘子图像数据集对多角度候选框生成网络进行训练。
将网络预测的结果与与标注框真实值进行比较,进行各输出参数的回归训练,回归损失类型包含:置信度损失、目标分类损失和定位损失。角度信息的加入对分类损失和置信度损失关联较小,故只需对定位损失做出修改,修改后的定位损失函数如下:
Figure BDA0003380341920000071
其中,N表示预选框的数量,objn为一个二进制值,objn=1表示前景,objn=0表示背景,没有回归表示背景,v'nj表示预测的偏移值,vnj表示目标的真实值,θn、θ'n分别表示角度的真实值和预测值,tn代表对象的标签,pn是由Sigmoid函数计算的概率分布,λ1、λ2、λ3分别代表不同损失中的折中值,x,y,w,h,θreg分别为预测框中点坐标、宽、高以及角度函数,Lreg为回归损失,LCSL为聚焦损失,Lcsl为分类损失。计算上述损失之和,当总损失数值收敛时,输出模型训练后的权重。利用权重对目标进行检测。最终通过NMS(非极大抑制)筛选掉与目标真实框重复度大于0.5的框,得到被检测目标的位置与种类信息。
本实施例中,采用本文使用精度(Presion)、召回率(Recall)和平均准确率(mAP)评估模型性能,精度和召回率的计算可表示为:
Figure BDA0003380341920000072
Figure BDA0003380341920000073
其中TP表示实际为正样本且被预测为正样本的预测框数量;FP表示实际为负样本但被预测为正样本的预测框数量;FN表示实际为正样本但被预测为负样本的预测框数量。
由精度p随召回率r变化的曲线在r从0到1的积分为准确率(AP),所有类的AP平均值即为平均准确率(mAP),其计算表示为:
Figure BDA0003380341920000074
基于上述内容,完成训练,得到训练好的检测模型。
S4:将待检测的绝缘子图像送入多角度候选框生成网络,获取待检测的绝缘子图像中绝缘子的预测框。
上述实施方式仅为例举,不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施,且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。

Claims (10)

1.一种基于旋转框识别网络的绝缘子检测定位方法,其特征在于,包括以下步骤:
S1:构建输电线路绝缘子图像数据集,进行绝缘子标注,并对数据库进行扩充;
S2:构建绝缘子检测模型,所述绝缘子检测模型包括依次连接的主干网络、特征处理组件和预测模块,所述绝缘子检测模块的输入图像依次经过主干网络、特征处理组件进行特征提取后送入预测模块;
S3:基于绝缘子图像数据集对多角度候选框生成网络进行训练;
S4:将待检测的绝缘子图像送入多角度候选框生成网络,获取待检测的绝缘子图像中绝缘子的预测框。
2.根据权利要求1所述的一种基于旋转框识别网络的绝缘子检测定位方法,其特征在于,所述的主干网络包括依次连接的第一提取模块、第二提取模块、第三提取模块、第四提取模块。
3.根据权利要求2所述的一种基于旋转框识别网络的绝缘子检测定位方法,其特征在于,所述的特征处理组件包括依次连接的FPN模块、PAN模块。
4.根据权利要求3所述的一种基于旋转框识别网络的绝缘子检测定位方法,其特征在于,FPN模块包括第一FPN模块、第二FPN模块和第三FPN模块,所述第四提取模块的输出特征图送入第一FPN模块处理,所述第一FPN模块、第三提取模块的输出特征图送入第二FPN模块处理,所述第二提取模块、第二FPN模块的输出特征图送入第三FPN模块处理。
5.根据权利要求4所述的一种基于旋转框识别网络的绝缘子检测定位方法,其特征在于,所述的PAN模块包括第一PAN模块、第二PAN模块、第三PAN模块,所述第三FPN模块的输出特征图送入第三PAN模块处理,所述第二FPN模块、第三PAN模块的输出特征图送入第二PAN模块处理,所述第一FPN模块、第二PAN模块的的输出特征图送入第一PAN模块处理,所述第一PAN模块、第二PAN模块、第三PAN模块的输出特征图送入预测模块处理。
6.根据权利要求1所述的一种基于旋转框识别网络的绝缘子检测定位方法,其特征在于,所述的预测模块采用CSL环形平滑标签进行多角度绝缘子检测。
7.根据权利要求6所述的一种基于旋转框识别网络的绝缘子检测定位方法,其特征在于,所述的CSL的表达式为:
Figure FDA0003380341910000021
其中,g(x)是窗口函数,x为输入值,r为窗口函数的半径,θ表示当前边界框的角度。
8.根据权利要求6所述的一种基于旋转框识别网络的绝缘子检测定位方法,其特征在于,所述的预测模块的损失函数为:
Figure FDA0003380341910000022
其中,N表示预选框的数量,objn为一个二进制值,objn=1表示前景,objn=0表示背景,没有回归表示背景,v'nj表示预测的偏移值,vnj表示目标的真实值,θn、θ'n分别表示角度的真实值和预测值,tn代表对象的标签,pn是由Sigmoid函数计算的概率分布,λ1、λ2、λ3分别代表不同损失中的折中值,x,y,w,h,θreg分别为预测框中点坐标、宽、高以及角度函数,Lreg为回归损失,LCSL为聚焦损失,Lcsl为分类损失。
9.根据权利要求8所述的一种基于旋转框识别网络的绝缘子检测定位方法,其特征在于,所述的预测模块中采用K-means聚类算法对锚点框进行处理,所述K-means聚类算法的公式为:
Figure FDA0003380341910000023
其中,k表示要划分簇的数目,Ni表示第i个簇集合,xj表示第j个样本值,ci表示第i个簇的中心,E表示所有数据样本对象与它所属的聚类中心的欧氏距离的平方和。
10.根据权利要求1所述的一种基于旋转框识别网络的绝缘子检测定位方法,其特征在于,所述的步骤S1中数据库扩充采用的方法包括翻转、旋转、加入噪声、色域变化。
CN202111431311.XA 2021-11-29 2021-11-29 一种基于旋转框识别网络的绝缘子检测定位方法 Pending CN114299354A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111431311.XA CN114299354A (zh) 2021-11-29 2021-11-29 一种基于旋转框识别网络的绝缘子检测定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111431311.XA CN114299354A (zh) 2021-11-29 2021-11-29 一种基于旋转框识别网络的绝缘子检测定位方法

Publications (1)

Publication Number Publication Date
CN114299354A true CN114299354A (zh) 2022-04-08

Family

ID=80965500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111431311.XA Pending CN114299354A (zh) 2021-11-29 2021-11-29 一种基于旋转框识别网络的绝缘子检测定位方法

Country Status (1)

Country Link
CN (1) CN114299354A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274748A (zh) * 2023-11-16 2023-12-22 国网四川省电力公司电力科学研究院 基于离群抑制的终生学习电力模型训练及检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274748A (zh) * 2023-11-16 2023-12-22 国网四川省电力公司电力科学研究院 基于离群抑制的终生学习电力模型训练及检测方法
CN117274748B (zh) * 2023-11-16 2024-02-06 国网四川省电力公司电力科学研究院 基于离群抑制的终生学习电力模型训练及检测方法

Similar Documents

Publication Publication Date Title
CN112199993B (zh) 基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法
CN114462555B (zh) 基于树莓派的多尺度特征融合配电网设备识别方法
CN112184692B (zh) 一种输电线路多目标检测方法
CN110838112A (zh) 一种基于霍夫变换和YOLOv3网络的绝缘子缺损检测方法
CN112507896B (zh) 一种采用改进的yolo-v4模型对樱桃果实进行检测的方法
CN111914720B (zh) 一种输电线路绝缘子爆裂识别方法及装置
CN112750125B (zh) 一种基于端到端关键点检测的玻璃绝缘子片定位方法
CN112818905B (zh) 一种基于注意力和时空信息的有限像素车辆目标检测方法
CN111428815B (zh) 一种基于Anchor angle机制的机械臂抓取检测方法
CN115272204A (zh) 一种基于机器视觉的轴承表面划痕检测方法
CN112884715A (zh) 一种基于深度学习的复合绝缘子均压环倾斜故障检测方法
CN114862768A (zh) 基于改进YOLOv5-LITE轻量级的配电组件缺陷识别方法
CN116385958A (zh) 一种用于电网巡检和监控的边缘智能检测方法
CN112633088A (zh) 一种基于航拍图像中光伏组件识别的电站容量估测方法
CN112507929A (zh) 一种基于改进YOLOv3网络的车身点焊焊渣精准检测方法
CN115984238A (zh) 一种基于深度神经网络的电网绝缘子缺陷检测方法及***
CN112464704A (zh) 一种基于特征融合与旋转目标检测器的遥感图像识别方法
CN109919215B (zh) 基于聚类算法改进特征金字塔网络的目标检测方法
Liao et al. Lr-cnn: Local-aware region cnn for vehicle detection in aerial imagery
CN116109950A (zh) 一种低空域反无人机视觉检测、识别与跟踪方法
CN115713546A (zh) 移动终端设备用的轻量化目标跟踪算法
CN114299354A (zh) 一种基于旋转框识别网络的绝缘子检测定位方法
CN112668662B (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
CN113989296A (zh) 基于改进U-net网络的无人机麦田遥感图像分割方法
CN117474883A (zh) 基于残差偏移网络自适应优化的绝缘子状态检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination