CN112183667B - 一种协同深度学习的绝缘子故障检测方法 - Google Patents

一种协同深度学习的绝缘子故障检测方法 Download PDF

Info

Publication number
CN112183667B
CN112183667B CN202011199000.0A CN202011199000A CN112183667B CN 112183667 B CN112183667 B CN 112183667B CN 202011199000 A CN202011199000 A CN 202011199000A CN 112183667 B CN112183667 B CN 112183667B
Authority
CN
China
Prior art keywords
insulator
image
algorithm
fcn
fault detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011199000.0A
Other languages
English (en)
Other versions
CN112183667A (zh
Inventor
王玉静
王卓
康守强
王庆岩
谢金宝
梁欣涛
康成璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202011199000.0A priority Critical patent/CN112183667B/zh
Publication of CN112183667A publication Critical patent/CN112183667A/zh
Application granted granted Critical
Publication of CN112183667B publication Critical patent/CN112183667B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

一种协同深度学习的绝缘子故障检测方法，属于绝缘子故障检测技术领域，用以解决由于航拍图像中绝缘子背景复杂导致绝缘子故障区域的定位及检测精度受到影响的问题。本发明的技术要点在于，以跳跃结构构建FCN‑8s模型，基于FCN算法完成绝缘子图像分割，有效完成了滤除背景的目的；使用随机性更小的K‑means++聚类算法对绝缘子数据集聚类分析，优化YOLOv3算法的初始锚点框参数，进一步提高目标检测模型的定位及检测精度；本发明构建协同FCN和YOLOv3算法的绝缘子故障检测模型，经实验对比，相比于原始YOLOv3算法有效降低了误检与漏检概率，所对比的各项评价指标均有显著提升，有助于工程上综合安全性和经济性的因素考虑做出合理应对。

Description

一种协同深度学习的绝缘子故障检测方法
技术领域
本发明涉及绝缘子故障检测技术领域，具体涉及一种协同深度学习的绝缘子故障检测方法。
技术背景
绝缘子作为电力***中关键的绝缘器件，在架空输电线路中起着机械支撑和防止电流回地的重要作用。作为易故障器件之一，受灾害、温度、潮湿等自然因素的影响，绝缘子很容易出现爆缸、金属护具脱落等物理故障，直接威胁着整个电力***的输电稳定性。随着无人机技术和计算机技术的飞速发展，基于航拍图像的输电线路中关键电气设备的故障巡检方式，已经成为线路巡检的主要发展方向。目前国内外在电力设备的检测方面的研究已经取得了一定的进展。
在传统图像处理领域，文献[1]在划分绝缘子区域的基础上，计算各部分的方差和纹理信息，并加权求和，有效提高了对绝缘子单一故障的检测精度。文献[2]提出一种基于频率调谐的绝缘子识别与定位算法，通过三通道阈值分割与轮廓识别，实现了从复杂背景的巡检图像中准确识别、定位绝缘子。文献[3]提出一种基于Harris角点匹配与谱聚类的绝缘子故障检测方法，可有效改善伞裙交错情况对绝缘子轮廓提取的影响。文献[4]提出一种基于可见光图像颜色特征与支持向量机相结合的识别方法，为绝缘子污秽等级识别提供新思路。上述方法基本实现了绝缘子检测，但是传统的人工提取特征的方法存在局限性，且计算开销大，检测的精度和速度远远达不到实际应用的要求。
随着神经网络算法的发展，深度学习取得了突破性进展，由于其强大的表征和建模能力，使得在目标检测领域显现出了巨大优越性。基于深度学习的目标检测算法可分为两类：基于区域建议和基于回归的算法。基于区域建议的标志性算法有R-CNN和Fast R-CNN，核心思想是先获得建议区域，然后在当前区域内进行分类，所以也称为two-stage目标检测算法。文献[5]提出Faster R-CNN算法，为了减少选择性搜索的时间，使用区域建议网络来提取建议框，在提高检测精度的同时将检测时间减少到原来的1/10。文献[6]使用Faster R-CNN算法进行输电线路检测，通过正则化优化模型结构以提高检测速度，对巡检图像的多目标检测获得了较高精度和速度。基于区域建议的目标检测算法均需要独立训练两个复杂的网络，虽然检测准确率高，但是训练和测试速度仍然缓慢，无法满足实际应用要求。
为解决目标检测算法训练和检测速度缓慢的问题，基于回归的目标检测算法被提出，标志性算法有SSD(Single Shot Multibox Detection)算法和YOLO(You Only LookOnce) 算法，核心思想是用单一的卷积神经网络，直接基于整幅图像预测包围边框的位置及所属类性，也称为one-stage目标检测算法。文献[7]使用SSD算法，将超深度卷积神经网络 (Visual Geometry Group，VGG)替换为MobileNets结构，并删掉池化层和全连接层，实现了红外图像下电力设备异常发热的快速检测。文献[8]提出YOLOv3算法，采用残差网络优化网络结构，最大程度平衡了检测精度与速度，对COCO数据集检测的MAP值达到55.3％，检测时间为29ms。文献[9]将YOLOv3算法用于绝缘子串的定位与异常识别，用Focal Loss 和均衡交叉熵函数改进损失函数，采用多阶段迁移学习策略训练网络，获得了91.8％的诊断精度。以上基于回归的目标检测算法虽然满足了实际应用中的速度要求，但是航拍图像中绝缘子背景复杂，受附近线路、杆塔等多因素干扰，导致模型对绝缘子故障区域的定位及检测精度受到影响。
发明内容
鉴于以上问题，为了排除航拍图像中线路、杆塔等复杂因素对故障区域定位准确性的干扰，提高模型的定位及检测精度，本发明提出一种协同深度学习算法的绝缘子故障检测方法。
该方法包括，
步骤一、获取绝缘子图像数据训练集和测试集，并对图像进行预处理；
步骤二、将绝缘子图像数据训练集输入VGG16特征提取网络，通过3次上采样得到与原图像相同尺寸的特征图，建立FCN算法权重模型；
步骤三、将绝缘子图像数据测试集输入所述VGG16特征提取网络，利用所述FCN算法权重模型对所述绝缘子图像数据测试集进行图像分割，获取绝缘子图像分割结果数据集；
步骤四、将所述绝缘子分割结果数据集输入Darknet-53特征提取网络，采用级联的方式得到3种尺度的特征图，建立YOLOv3算法权重模型；
步骤五、将绝缘子故障待检测图像数据输入所述Darknet-53特征提取网络，利用所述 YOLOv3算法权重模型对绝缘子故障待检测图像数据进行检测，获取绝缘子故障检测结果。
进一步地，步骤一中对图像进行预处理包括图像增强和图像归一化。
进一步地，步骤二中通过3次上采样得到与原图像相同尺寸的特征图的具体步骤包括，采用跳跃结构，通过融合浅层图像特征与深层语义特征形成FCN-8s模型以提升分割精度。
进一步地，所述FCN-8s模型形成过程为：首先将卷积层8输出结果进行2倍上采样，并和池化层4进行融合，对融合结果进行16倍上采样得到FCN-16s模型；然后将FCN-16s 模型输出结果进行2倍上采样，并和池化层3进行融合，对融合结果进行8倍上采样得到 FCN-8s模型。
进一步地，步骤三中在获取绝缘子图像分割结果数据集后，将绝缘子图像数据测试集中图像与绝缘子图像分割结果数据集中图像进行逻辑与运算，获取去除背景区域后的绝缘子图像分割结果数据集。
进一步地，步骤四中通过使用K-means++聚类算法对所述绝缘子分割结果数据集中的故障图像数据进行聚类分析，优化YOLOv3算法的锚点框参数，所述锚点框是根据目标框尺寸事先设定的固定尺寸的候选框。
进一步地，所述聚类分析包括计算样本框与锚点框之间的平均交并比，以聚类值与样本真实值之间的平均损失为目标函数，根据目标函数值和聚类中心个数获取9个锚点框参数。
进一步地，所述目标函数计算公式为：
Figure BDA0002754842270000031
其中，B表示样本目标真实框；C表示聚类中心；n表示样本总数；k表示聚类中心个数；nk表示第k个聚类中心中样本的个数；IIOU(B，C)表示目标真实框和中心框的交并比。
进一步地，步骤一中对图像进行预处理还包括在图像中利用labelme工具对绝缘子进行标记。
进一步地，步骤四中在所述绝缘子分割结果数据集中利用Labelimg对绝缘子故障进行标记，所述绝缘子故障包括均压环脱落故障和玻璃绝缘子爆缸故障。
本发明的有益技术效果是：本发明方法将FCN(全卷积网络)与YOLOv3目标检测算法相协同，第一阶段利用FCN算法对航拍图像预处理，设计跳跃结构融合浅层图像特征与深层语义特征，构建8倍上采样的绝缘子分割模型，结合图像像素逻辑运算，实现绝缘子目标的初步分割，避免背景区域对绝缘子故障检测的干扰，提高了绝缘子分割的准确性和完整性；在此基础上，第二阶段构建YOLOv3模型进行绝缘子故障检测，以深度神经网络Darknet-53作为特征提取器，借鉴特征金字塔思想，在3个尺度的输出张量上对绝缘子故障进行标记和类别预测，有效解决了漏检与误检问题，保证模型对不同尺寸的绝缘子故障准确检测，且显著提升了检测的置信度。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。
图1示出了根据本发明实施方式一种协同深度学习的绝缘子故障检测方法的流程示意图。
图2示出了根据本发明实施方式一种协同深度学习的绝缘子故障检测方法中的数据增强结果图。
图3示出了根据本发明实施方式一种协同深度学习的绝缘子故障检测方法中的绝缘子分割流程图。
图4示出了根据本发明实施方式一种协同深度学习的绝缘子故障检测方法中的跳跃结构图。
图5示出了根据本发明实施方式一种协同深度学习的绝缘子故障检测方法中的逻辑运算示意图。
图6示出了根据本发明实施方式一种协同深度学习的绝缘子故障检测方法中的Darknet-53网络结构图。
图7示出了根据本发明实施方式一种协同深度学习的绝缘子故障检测方法中的故障检测网络结构图。
图8示出了根据本发明实施方式一种协同深度学习的绝缘子故障检测方法中的目标函数D的变化曲线图。
图9示出了根据本发明实施方式一种协同深度学习的绝缘子故障检测方法中的绝缘子故障数据目标真实框和锚点框参数的长宽分布图。
图10示出了根据本发明实施方式一种协同深度学***均交并比函数的变化趋势图。
图11示出了根据本发明实施方式一种协同深度学习的绝缘子故障检测方法中的绝缘子故障在3种不同方法下的检测效果及其局部区域放大图；其中，图(a)代表YOLOv3算法，图(b)代表F-YOLOv3算法，图(c)代表F-YOLOv3-K算法。
具体实施方式
在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与***及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
图1示出了根据本发明实施方式一种协同深度学习的绝缘子故障检测方法的流程示意图。如图1所示，该方法的具体流程为：
步骤一、获取绝缘子图像数据训练集1和测试集，并对图像进行预处理；
1)数据集的获取：由于目前还没有绝缘子图像的公开数据集，为了验证本发明方法，自主建立了航拍绝缘子故障数据库，以无人机航拍的方式获取了大量绝缘子图像数据，并在图像中利用labelme工具对绝缘子进行标记。进一步地，在后续步骤中利用labelimg工具对绝缘子故障进行人工标记，定义I-1为均压环脱落故障，I-2为玻璃绝缘子爆缸故障。
2)数据增强：由于绝缘子为非易损器件且电力部门发现后的及时维修，故障数据较难采集，导致完好的正样本与故障的负样本在数量上严重不均衡，实际拍摄包含四季中晴天、阴雨天的多条线路样本，且正样本数量远大于负样本数量，数据集如表1所示。
表1航拍绝缘子数据集
Figure BDA0002754842270000051
由表1可以看出，I-1和I-2故障负样本一共280张，完好正样本数量远超故障负样本数量，而研究表明，某一类样本少会导致算法难以充分学习该类别的信息。为了避免部分正样本图像重复拍摄及故障样本不足导致无法获取充足特征信息的问题，一方面删除了部分不可用正样本数据，从中筛选1500张；另一方面对I-1和I-2故障负样本进行了数据增强处理，分别做亮度调整、旋转和翻转的形态学操作，模拟不同拍摄角度，不同光线等情形，增强后的故障负样本数量共计1400张，I-1和I-2故障分别为935张、465张，进一步提高模型的泛化能力，数据增强结果如图2所示。
3)图像归一化
由于计算资源的限制，且航拍设备拍摄获得的图像样本尺寸不一，大大增加了绝缘子定位难度，根据图像短边长度，等比例对所有图像的分辨率统一归一化处理，调整为500 ×500大小。
步骤二、将训练集1输入VGG16特征提取网络，通过3次上采样得到与原图像相同尺寸的特征图，建立FCN权重模型；
航拍绝缘子图像中通常包含复杂的环境背景，为了避免背景区域对绝缘子故障检测的干扰，一阶段，训练一个FCN语义分割模型用于初步分割绝缘子。
FCN算法为了实现对图像像素级的分类，以CNN分类网络为基础，首先，通过5次卷积、池化操作提取特征，得到含有深层语义信息的特征图；然后，采用反卷积代替CNN最后的全连接层，对最后一个卷积层的特征图进行上采样，以恢复图像的尺寸，从而预测每一个像素，同时保留了输入图像的空间信息；最后，利用Softmax分类器获得各个像素点的二分类结果，实现像素级预测，绝缘子的分割流程如图3所示。
本发明以VGG16为基础网络，C1-C5卷积层提取浅层图像特征，如边缘、纹理等，C6-C8 卷积层提取深层语义特征，得到1/32尺寸的热图。直接32倍上采样得到FCN-32s模型，由于只使用了深层特征，无法充分利用浅层的空间位置信息，导致分割结果粗糙、分割边界不连续。为了解决上述问题，充分利用浅层图像信息，补充特征细节，本发明设计了两种跳跃结构：1)将C8特征2倍上采样和P4特征融合，对融合结果16倍上采样得到FCN-16s 模型；2)将以上所得2倍上采样和P3特征融合，对融合结果8倍上采样得到FCN-8s模型；跳跃结构如图4所示。图4中C1和C2分别表示连续的两个卷积层，C3、C4、C5分别表示连续的三个卷积层，C6、C7、C8分别表示一个卷积层，P1、…、P5表示池化层，2×表示二倍上采样，H和W分别表示长和宽。
步骤三、将待分割图像即测试集输入到同一网络，调用FCN权重模型对一阶段测试集中的绝缘子图像分割，输出绝缘子分割结果；
进一步地，将一阶段测试集图像与测试集分割图像进行逻辑与运算，得到去除背景区域的绝缘子图像，逻辑运算示意图如图5所示。
步骤四、将步骤三的输出作为训练集2输入到Darknet-53特征提取网络，采用级联的方式得到3种尺度的特征图，建立YOLOv3权重模型；
第二阶段故障检测以YOLOv3算法为主体，其特征提取网络由Darknet-53修改所得，网络结构如图6所示，为避免池化操作产生的梯度消失和梯度***的负面影响，采用步长为2的卷积代替池化层进行降采样操作；大量使用残差结构，其中包含批量归一化(BN)和激活函数(LeakyReLU)，在加深网络的同时，进一步避免梯度消失的风险。
批量归一化(BN)的目的是使训练更加稳定和加快网络收敛速度，其计算公式为：
Figure BDA0002754842270000061
式中，x为BN输入，y为输出，γ和β为可学习参数。
为了有效提高网络的表达能力，该算法采用非饱和的LeakyReLU激活函数，当输入为负时，给其一个很小的坡度ai，可以减少静默单元的出现，使神经元保持学习，其计算公式为：
Figure BDA0002754842270000071
损失函数作为判定深度神经网络预测效果的重要参数之一，很大程度上决定模型的收敛效果，损失收敛越快、数值越小说明模型性能越好，YOLOv3采用误差的平方和作为损失函数，整合了目标定位偏移量损失、目标置信度损失以及目标分类损失，其计算公式为：
Figure BDA0002754842270000072
式中，(xi,yi,ωi,hi)分别表示第i个网格中预测目标框的中心点横纵坐标和预测目标框的宽高；
Figure BDA0002754842270000073
分别表示第i个网格中真实目标框的中心点横纵坐标和真实框的宽高；前两项中，s2为图像分割栅格数，B为每一个边界框，判断第i个栅格中第j个预测框是否负责该目标，用与目标真实框IOU最大的预测框计算目标定位偏移损失；第3、4项计算目标置信度损失，Ci与
Figure BDA0002754842270000074
分别为目标预测类别与实际类别，λnoobj为不含目标预测框的损失权重；第5项计算分类损失，预测框的损失权重，
Figure BDA0002754842270000075
分别为预测类别与实际类别的置信度。
在一阶段得到去除背景的分割绝缘子图像的基础上，二阶段YOLOv3算法的故障检测网络结构如图7所示，输入RGB三通道图像，经Darknet-53特征提取网络，采用步长为2的卷积核进行5次下采样，分别在3～5次下采样后输出尺寸为52×52、26×26、13×13的特征图。为了充分利用特征信息，对于大小为13×13、26×26的特征图，执行2倍上采样，并借鉴特征金字塔的思想进行不同尺寸特征图的张量拼接，最终在3个尺度的特征图上独立执行回归预测目标类别与形状。
步骤五、将测试或实际检测数据输入同一YOLOv3网络，调用YOLOv3权重模型对图像进行绝缘子故障检测，输出故障检测结果。
在检测阶段，对于输入的航拍绝缘子图像，预测一个三维张量，包括目标、目标边界框和目标类别。YOLO层将特征图划分成S×S的网格(不同尺度的特征图，S值不同)，为每个网格预测3个不同的边界框，并且张量大小可以表示为S×S×[3×(5+C)]，5包含目标框的坐标信息(x,y,w,h)和置信度，C表示预测类别数，所以对于每个维度输出结果为S×S×[3×(5+2)]，最终通过阈值设定及非极大值抑制，输出最高置信度的边界框。
YOLO二代算法开始引入了Faster R-CNN中所使用的锚点框(Anchor boxes)的思想，它是一组固定尺寸的候选框，往往根据训练集目标框尺寸事先设定。YOLOv3的默认锚点框参数是根据COCO数据集聚类得到的9个固定参数，不一定适合特定场景下的数据集。本发明根据航拍绝缘子数据自身特点，设计出更适合绝缘子数据的锚点框参数，分别使用 K-means和K-means++聚类算法对数据进行聚类分析，计算样本框与锚点框之间的平均交并比(avg IOU)，以聚类值与样本真实值之间的平均损失为目标函数，目标函数值越小，表明结果越准确，其目标函数D公式如下：
Figure BDA0002754842270000081
式中，B表示样本目标真实框，C表示聚类中心，n为样本总数，k表示聚类中心个数，nk表示第k个聚类中心中样本的个数，IIOU(B，C)表示目标真实框和中心框的交并比。分别在K＝1～20间对航拍绝缘子数据聚类分析，目标函数D的变化曲线如图8所示。
由图8可以看出，随着K值的增加，两种聚类算法损失函数Loss值逐渐减小，且 K-means++聚类算法相比K-means算法，Loss值更小。然而，锚点框数量的增加会大大降低网络计算速度，增加计算成本，且当K＝9时曲线趋于平稳，故选取K＝9时的聚类结果优化网络的锚点框参数。
根据K-means++算法得到的9个锚点框参数，得到航拍绝缘子故障数据目标真实框和锚点框参数的长宽分布如图9所示。图9中横纵坐标分别表示宽度和高度，绿色圆点表示绝缘子目标真实框分布，蓝色方块表示YOLOv3默认的9个锚点框分布，不能完全拟合真实的数据分布，红星表示K-means++算法得到的锚点框分布。可以看出，红星数据分布距离真实框分布更近，更能拟合真实的数据分布，进一步降低了锚点框与真实框的偏差。
具体实施例一
实验平台的硬件配备包括Inter(R)E5-2620 V4核心处理器、双Nvidia GeForceGTX 1080Ti显卡、32G内存；软件配备包括在Ubuntu 16.04操作***、Darknet深度学习框架下进行实验。
为验证跳跃结构对分割性能的提升效果，本发明以像素准确率(PA)、平均像素准确率 (MPA)、平均交并比(MIoU)和频权交并比(FWIoU)作为评价指标，评价模型性能，结果如表2所示。
表2不同分割方法的性能对比(％)
Figure BDA0002754842270000091
从表2可以看出，相比于FCN-32s方法，由于FCN-16s方法融合了浅层P4卷积特征，各项指标均有显著提高；相比于FCN-16s方法，本发明使用的FCN-8s方法进一步融合了浅层P3卷积特征，其像素准确率、平均交并比、频权交并比分别为99.91％、96.73％、98.26％，同时达到最高，平均像素准确率略微下降，说明本发明方法能有效提高分割性能。
各指标计算公式为：
Figure BDA0002754842270000092
Figure BDA0002754842270000093
Figure BDA0002754842270000094
Figure BDA0002754842270000095
式中，pii表示正确预测，pij表示原本为i类被预测为j类，k+1表示类别数。
使用K-means++算法聚类绝缘子故障数据所得参数训练YOLOv3网络，默认网络最大迭代次数为50200次，初始学***均交并比函数的变化趋势如图10所示。由图10 可以看出，随着迭代次数的增加，平均交并比逐渐增大，在30000次迭代之后，比值在0.85 处趋于稳定，达到理想训练效果。
验证利用本发明方法进行绝缘子故障检测的有效性，首先进行定性对比，绝缘子故障在3种不同方法下的检测效果及其局部区域放大图如图11所示。将协同FCN和YOLOv3算法的模型命名为F-YOLOv3，同时结合K-means++算法优化锚点框参数的协同FCN和YOLOv3算法模型命名为F-YOLOv3-K，分别以YOLOv3、F-YOLOv3及F-YOLOv3-K算法在测试/实际检测数据集上进行3组对比实验；其中，图(a)代表YOLOv3算法，图(b)代表F-YOLOv3 算法，图(c)代表F-YOLOv3-K算法；紫色矩形标签I-1表示均压环脱落故障，绿色矩形标签I-2表示玻璃绝缘子爆缸故障，红色菱形框表示漏检处，黄色圆形框表示误检处，蓝色线条表示正确检出。由图11可以看出，原始YOLOv3算法在部分图例检测中出现漏检与误检情况；F-YOLOv3方法有效降低了图例中的漏检与误检概率；F-YOLOv3-K方法进一步提高检测的置信度。通过大量数据对比验证，本发明方法有效解决了漏检与误检问题，且检测的置信度有显著提升，为进一步验证所提方法的有效性，本发明在定量方面补充了性能对比实验。
为验证协同深度学***均交并比(IOU)、单类故障精度(AP)、平均精度(MAP)、召回率(Recall)作为评价指标，评价模型性能，结果如表3所示。
YOLOv3-tiny为YOLOv3算法的简化算法，协同FCN和YOLOv3-tiny算法的模型命名为 F-YOLOv3-t，协同FCN和YOLOv3算法的模型命名为F-YOLOv3，同时结合K-means++算法优化锚点框参数的协同FCN和YOLOv3算法模型命名为F-YOLOv3-K。
表3评价指标对比
Figure BDA0002754842270000101
从表3可以看出，相对简化版YOLOv3-tiny模型，由于YOLOv3算法特征提取网络更深，特征更加丰富，所以其检测精度及平均交并比均有所提高；与原始单一的YOLOv3-tiny3及 YOLOv3模型相比，F-YOLOv3-t和F-YOLOv3采用协同FCN的方法，显著提升了模型的各项指标，说明该方法适用于绝缘子故障检测；F-YOLOv3-t比YOLOv3-tiny模型的MAP值高7 个百分点；F-YOLOv3比YOLOv3模型的MAP值高1.67个百分点，但F-YOLOv3对I-1故障检测的AP值有下降。而F-YOLOv3-K使用K-means++算法优化锚点框参数，进一步提升了IOU 和MAP值，最终本发明提出的F-YOLOV3-K方法的MAP值高达96.88％，其中I-2故障AP值为100％。
本发明提出了一种协同深度学习的绝缘子故障检测方法，实现了航拍图像绝缘子故障的端到端检测，通过对比实验分析，得到如下结论：
1)针对YOLOv3网络中受复杂地貌、杆塔等背景对检测准确率的干扰问题，一阶段，提出了一种基于FCN算法的绝缘子分割算法，有效完成了滤除背景的目的，并以跳跃结构构建了FCN-8s模型，提高了绝缘子分割的准确性和完整性，PA值高达99.91％。
2)根据航拍绝缘子故障目标尺寸特点，使用随机性更小的K-means++聚类算法对绝缘子数据集聚类分析，优化YOLOv3算法的初始锚点框参数，进一步提高了模型的定位及检测精度。
3)在自主建立的航拍绝缘子故障数据库上训练，采用二阶段的方式来构建协同FCN和 YOLOv3算法的绝缘子故障检测模型，并结合K-means++优化锚点框参数。经实验对比，提出的F-YOLOV3-K方法相比原始YOLOv3算法有效降低了误检与漏检概率，所对比的各项评价指标均有显著提升，MAP值上升4.65个百分点，达到96.88％。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。
本发明援引的文献如下：
[1]Zhang Xin-Ye，An Ju-Bai，Chen Fang-Ming.A method of insulator faultdetection from airborne images[C]//IEEE 2010Second WRI Global Congress onIntelligent Systems， Wuhan，2010：200-203.
[2]朱邵成，高清维，卢一相，等.基于频率调谐的绝缘子识别与定位[J].电工技术学报， 2018，33(23):5573-5580.
Zhu Shaocheng，Gao Qingwei，Lu Yixiang，et al.Insulator identificationand location based on frequency tuning[J].Transactions of ChinaElectrotechnical Society，2018，33(23):5573- 5580.
[3]张桂南，刘志刚.基于角点匹配与谱聚类的接触网绝缘子破损/夹杂异物故障检测[J].仪器仪表学报，2014，35(06):1370-1377.
Zhang Guinan，Liu Zhigang.Fault detection of OCS insulator breakage/inclusion based on corner matching and spectral clustering[J].Chinese Journalof Scientific Instrument，2014， 35(06):1370-1377.
[4]金立军，曹培，胡娟.可见光图像颜色特征与支持向量机相结合的绝缘子污秽状态识别方法[J].高压电器，2015，51(2):1-7+17.
Jin Lijun，Cao Pei，Hu Juan.Insulator contamination state recognitionmethod based on color feature of visible image and support vector machine[J].High Voltage Apparatus，2015，51(2): 1-7+17.
[5]Ren S，He K，Girshick R，et al.Faster R-CNN:towards real-time objectdetection with region proposal networks[J].IEEE Transactions on PatternAnalysis and Machine Intelligence，2017， 39(60):1137-1149.
[6]林刚，王波，彭辉，等.基于改进Faster-RCNN的输电线巡检图像多目标检测及定位[J]. 电力自动化设备，2019，39(05):213-218.
Lin Gang，Wang Bo，Peng Hui，et al.Multi target detection and locationof transmission line inspection image based on improved Faster-RCNN[J].Electric Power Automation Equipment，2019，39(05):213-218.
[7]王旭红，李浩，樊绍胜，等.基于改进SSD的电力设备红外图像异常自动检测方法[J].电工技术学报，2020，35(S1):302-310.
Wang Xuhong，Li Hao，Fan Shaosheng，et al.Automatic detection method ofabnormal infrared image of power equipment based on improved SSD[J].Transactions of China Electrotechnical Society，2020，35(S1):302-310.
[8]Redmon J，Farhadi A.YOLOv3:an incremental improvement[J].2018，1-4.
[9]颜宏文，陈金鑫.基于改进YOLOv3的绝缘子串定位与状态识别方法[J].高电压技术， 2020，46(02):423-432.
Yan Hongwen，Chen Wenxin.Insulator orientation recognition algorithmbased on deep learning[J].High Voltage Engineering，2020，46(02):423-432。

Claims (7)

1.一种协同深度学习的绝缘子故障检测方法，其特征在于，包括以下步骤，
步骤一、获取绝缘子图像数据训练集和测试集，并对图像进行预处理；
步骤二、将绝缘子图像数据训练集输入VGG16特征提取网络，通过3次上采样得到与原图像相同尺寸的特征图，建立FCN算法权重模型；
步骤三、将绝缘子图像数据测试集输入所述VGG16特征提取网络，利用所述FCN算法权重模型对所述绝缘子图像数据测试集进行图像分割，获取绝缘子图像分割结果数据集；将绝缘子图像数据测试集中图像与所述绝缘子图像分割结果数据集中图像进行逻辑与运算，获取去除背景区域后的绝缘子图像分割结果数据集；
步骤四、将所述绝缘子分割结果数据集输入Darknet-53特征提取网络，采用级联的方式得到3种尺度的特征图，建立YOLOv3算法权重模型；其中，通过使用K-means++聚类算法对所述绝缘子分割结果数据集中的故障图像数据进行聚类分析，计算样本框与锚点框之间的平均交并比，以聚类值与样本真实值之间的平均损失为目标函数，根据目标函数值和聚类中心个数获取9个锚点框参数，以此优化YOLOv3算法的锚点框参数，所述锚点框是根据目标框尺寸事先设定的固定尺寸的候选框；
步骤五、将绝缘子故障待检测图像数据输入所述Darknet-53特征提取网络，利用所述YOLOv3算法权重模型对绝缘子故障待检测图像数据进行检测，获取绝缘子故障检测结果。
2.根据权利要求1所述一种协同深度学习的绝缘子故障检测方法，其特征在于，步骤一中对图像进行预处理包括图像增强和图像归一化。
3.根据权利要求1所述一种协同深度学习的绝缘子故障检测方法，其特征在于，步骤二中通过3次上采样得到与原图像相同尺寸的特征图的具体步骤包括，采用跳跃结构，通过融合浅层图像特征与深层语义特征形成FCN-8s模型以提升分割精度。
4.根据权利要求3所述一种协同深度学习的绝缘子故障检测方法，其特征在于，所述FCN-8s模型形成过程为：首先将卷积层8输出结果进行2倍上采样，并和池化层4进行融合，对融合结果进行16倍上采样得到FCN-16s模型；然后将FCN-16s模型输出结果进行2倍上采样，并和池化层3进行融合，对融合结果进行8倍上采样得到FCN-8s模型。
5.根据权利要求4所述一种协同深度学习的绝缘子故障检测方法，其特征在于，步骤四中所述目标函数计算公式为：
Figure FDA0003379705130000011
其中，B表示样本目标真实框；C表示聚类中心；n表示样本总数；k表示聚类中心个数；nk表示第k个聚类中心中样本的个数；IIOU(B，C)表示目标真实框和中心框的交并比。
6.根据权利要求1所述一种协同深度学习的绝缘子故障检测方法，其特征在于，步骤一中对图像进行预处理还包括在图像中利用labelme工具对绝缘子进行标记。
7.根据权利要求1所述一种协同深度学习的绝缘子故障检测方法，其特征在于，步骤四中在所述绝缘子分割结果数据集中利用Labelimg对绝缘子故障进行标记，所述绝缘子故障包括均压环脱落故障和玻璃绝缘子爆缸故障。
CN202011199000.0A 2020-10-31 2020-10-31 一种协同深度学习的绝缘子故障检测方法 Active CN112183667B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011199000.0A CN112183667B (zh) 2020-10-31 2020-10-31 一种协同深度学习的绝缘子故障检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011199000.0A CN112183667B (zh) 2020-10-31 2020-10-31 一种协同深度学习的绝缘子故障检测方法

Publications (2)

Publication Number Publication Date
CN112183667A CN112183667A (zh) 2021-01-05
CN112183667B true CN112183667B (zh) 2022-06-14

Family

ID=73916828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011199000.0A Active CN112183667B (zh) 2020-10-31 2020-10-31 一种协同深度学习的绝缘子故障检测方法

Country Status (1)

Country Link
CN (1) CN112183667B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906620B (zh) * 2021-03-09 2022-10-28 唐山职业技术学院 无人机辅助的绝缘子故障检测方法、装置和电子设备
CN113077556A (zh) * 2021-03-29 2021-07-06 深圳大学 基于行人重识别的检票***及方法
CN113111802B (zh) * 2021-04-20 2023-05-23 池州学院 一种基于深度神经网络的绝缘子检测模型
CN113239838B (zh) * 2021-05-24 2022-09-20 国网湖北省电力有限公司黄石供电公司 一种用于输电铁塔的无人机智能巡检识别方法
CN113450318A (zh) * 2021-06-11 2021-09-28 东华大学 基于无人机自主视觉的初级配电***瓷绝缘子检测方法
CN113487541B (zh) * 2021-06-15 2022-05-03 三峡大学 绝缘子检测方法及装置
CN113888483A (zh) * 2021-09-18 2022-01-04 珠高电气检测有限公司 绝缘子损坏检测方法、***及介质
CN114092739B (zh) * 2021-11-02 2023-06-30 北京百度网讯科技有限公司 图像处理方法、装置、设备、存储介质和程序产品
CN114863354A (zh) * 2022-05-06 2022-08-05 广西柳工机械股份有限公司 一种工业物料的识别方法、装置、设备及存储介质
CN114972721A (zh) * 2022-06-13 2022-08-30 中国科学院沈阳自动化研究所 一种基于深度学习的输电线路绝缘子串识别定位方法
CN115359412B (zh) * 2022-10-24 2023-03-03 成都西交智汇大数据科技有限公司 一种盐酸中和实验评分方法、装置、设备及可读存储介质
CN116030366A (zh) * 2023-02-21 2023-04-28 中国电建集团山东电力建设第一工程有限公司 一种电力线路巡检检测方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537780A (zh) * 2018-03-27 2018-09-14 陕西科技大学 一种基于二阶全卷积神经网络的绝缘子故障检测方法
CN110135267A (zh) * 2019-04-17 2019-08-16 电子科技大学 一种大场景sar图像细微目标检测方法
CN110443142A (zh) * 2019-07-08 2019-11-12 长安大学 一种基于路面提取与分割的深度学习车辆计数方法
CN110570396A (zh) * 2019-08-07 2019-12-13 华中科技大学 一种基于深度学习的工业产品缺陷检测方法
CN111784656A (zh) * 2020-06-28 2020-10-16 京东数字科技控股有限公司 一种铁路接触网故障检测方法、装置、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680090A (zh) * 2017-10-11 2018-02-09 电子科技大学 基于改进全卷积神经网络的输电线路绝缘子状态识别方法
US20200126236A1 (en) * 2018-10-22 2020-04-23 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Image Segmentation using IOU Loss Functions
US11037289B2 (en) * 2018-10-26 2021-06-15 Taiwan Semiconductor Manufacturing Company Ltd. Method and system for scanning wafer
CN110033453B (zh) * 2019-04-18 2023-02-24 国网山西省电力公司电力科学研究院 基于改进YOLOv3的输变电线路绝缘子航拍图像故障检测方法
CN110992306B (zh) * 2019-11-04 2022-04-22 国网河北省电力有限公司检修分公司 基于深度学习的红外图像中劣化绝缘子的分割方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537780A (zh) * 2018-03-27 2018-09-14 陕西科技大学 一种基于二阶全卷积神经网络的绝缘子故障检测方法
CN110135267A (zh) * 2019-04-17 2019-08-16 电子科技大学 一种大场景sar图像细微目标检测方法
CN110443142A (zh) * 2019-07-08 2019-11-12 长安大学 一种基于路面提取与分割的深度学习车辆计数方法
CN110570396A (zh) * 2019-08-07 2019-12-13 华中科技大学 一种基于深度学习的工业产品缺陷检测方法
CN111784656A (zh) * 2020-06-28 2020-10-16 京东数字科技控股有限公司 一种铁路接触网故障检测方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于YOLOv3算法的绝缘子红外图像故障检测方法;武建华 等;《广东电力》;20200930;第33卷(第9期);第77-84页 *
基于深度学习的电力绝缘子故障检测方法研究;周鑫;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》;20190915;第40-59页 *

Also Published As

Publication number Publication date
CN112183667A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN112183667B (zh) 一种协同深度学习的绝缘子故障检测方法
CN110827251B (zh) 一种基于航拍图像的输电线路锁紧销缺陷检测方法
CN109118479B (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN107133943B (zh) 一种防震锤缺陷检测的视觉检测方法
CN108734143A (zh) 一种巡检机器人的基于双目视觉的输电线路在线检测方法
CN108038846A (zh) 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及***
CN106504233A (zh) 基于Faster R‑CNN的无人机巡检图像电力小部件识别方法及***
CN112233073A (zh) 一种变电设备红外热成像异常实时检测方法
CN112734692A (zh) 一种变电设备缺陷识别方法及装置
CN110838112A (zh) 一种基于霍夫变换和YOLOv3网络的绝缘子缺损检测方法
CN108710913A (zh) 一种基于深度学习的开关柜图像开关状态自动识别方法
CN113205063A (zh) 一种输电导线缺陷的视觉识别及定位方法
CN115731164A (zh) 基于改进YOLOv7的绝缘子缺陷检测方法
CN115294473A (zh) 一种基于目标检测与实例分割的绝缘子故障识别方法及***
CN105809716A (zh) 融合超像素与三维自组织背景减除法的前景提取方法
Wang et al. Railway insulator detection based on adaptive cascaded convolutional neural network
CN113469950A (zh) 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法
CN115205256A (zh) 一种融合迁移学习的输电线路绝缘子缺陷检测方法及***
CN116385958A (zh) 一种用于电网巡检和监控的边缘智能检测方法
CN115359054A (zh) 一种基于伪缺陷空间生成的电力设备缺陷检测方法
CN116681962A (zh) 基于改进YOLOv5的电力设备热图像检测方法及***
CN111598854A (zh) 基于丰富鲁棒卷积特征模型的复杂纹理小缺陷的分割方法
Chen et al. Insulator recognition method for distribution network overhead transmission lines based on modified yolov3
CN112837281B (zh) 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备
CN113536944A (zh) 基于图像识别的配电线路巡检数据识别及分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant