CN113112489B - 一种基于级联检测模型的绝缘子掉串故障检测方法 - Google Patents
一种基于级联检测模型的绝缘子掉串故障检测方法 Download PDFInfo
- Publication number
- CN113112489B CN113112489B CN202110437796.7A CN202110437796A CN113112489B CN 113112489 B CN113112489 B CN 113112489B CN 202110437796 A CN202110437796 A CN 202110437796A CN 113112489 B CN113112489 B CN 113112489B
- Authority
- CN
- China
- Prior art keywords
- layer
- insulator
- convolutional layer
- scale
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000012212 insulator Substances 0.000 title claims abstract description 174
- 238000001514 detection method Methods 0.000 title claims abstract description 154
- 238000012360 testing method Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 18
- 230000005540 biological transmission Effects 0.000 claims abstract description 16
- 238000007689 inspection Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 11
- 238000011176 pooling Methods 0.000 claims description 47
- 230000007704 transition Effects 0.000 claims description 42
- 230000004927 fusion Effects 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 7
- 101100076840 Arabidopsis thaliana MFL1 gene Proteins 0.000 description 4
- 101100533322 Candida albicans (strain SC5314 / ATCC MYA-2876) SFL2 gene Proteins 0.000 description 4
- 101100428781 Human herpesvirus 6A (strain Uganda-1102) U8 gene Proteins 0.000 description 4
- 101100428786 Human herpesvirus 6A (strain Uganda-1102) U9 gene Proteins 0.000 description 4
- 101100126953 Oryza sativa subsp. japonica KCS20 gene Proteins 0.000 description 4
- 101100511042 Oryza sativa subsp. japonica LFL1 gene Proteins 0.000 description 4
- 101150043825 SFL1 gene Proteins 0.000 description 4
- 101100538885 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) TUP1 gene Proteins 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 101100203828 Arabidopsis thaliana SPP3A gene Proteins 0.000 description 3
- 101100534124 Oryza sativa subsp. japonica SPP3 gene Proteins 0.000 description 3
- 102100030684 Sphingosine-1-phosphate phosphatase 1 Human genes 0.000 description 3
- 101710168942 Sphingosine-1-phosphate phosphatase 1 Proteins 0.000 description 3
- 102100030677 Sphingosine-1-phosphate phosphatase 2 Human genes 0.000 description 3
- 101710168938 Sphingosine-1-phosphate phosphatase 2 Proteins 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000010292 electrical insulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于级联检测模型的绝缘子掉串故障检测方法，涉及输电线路绝缘子故障检测技术领域，首先采集输电线路绝缘子航拍图像，制作绝缘子数据集和绝缘子掉串数据集；建立并训练绝缘子定位检测模型和绝缘子故障检测模型；先通过训练好的绝缘子定位检测模型定位出绝缘子位置，再利用绝缘子故障检测模型对定位出的绝缘子进行故障检测，最后在测试图像上输出定位和故障检测结果。本发明可以有效地提高绝缘子掉串故障检测的准确率；本发明对于航拍图像中不同尺度、复杂背景干扰、以及有遮挡的绝缘子检测具有很好的鲁棒性，可以有效实现对输电线路巡检图像中绝缘子掉串故障检测。
Description
技术领域
本发明涉及输电线路绝缘子故障检测技术领域，具体涉及一种基于级联检测模型的绝缘子掉串故障检测方法。
背景技术
绝缘子在输变电线路中数量众多，起着电气绝缘和机械连接的重要作用。由于输变电线路跨越各种复杂的自然地理环境，长期暴露在户外环境下，容易出现掉串故障。绝缘子掉串故障会影响整个输电线路的安全和稳定运行，甚至给电网造成巨大的经济损失。为了保证输电线路的正常运行，绝缘子掉串故障检测已成为输电线路智能检查的首要任务。为实现输变电线路的自动化与实时巡检，图像处理技术逐渐取代人工筛检航拍巡检图片。但传统的目标检测算法针对海量的巡检图片，检测速度与检测效果均无法满足实际应用需求。
随着深度神经网络的发展，特别是深度卷积网络在图像识别中的成功应用，深度学***衡。
发明内容
(一)解决的技术问题
本发明针对在上述现有技术的缺陷问题，提供了一种基于级联检测模型的绝缘子掉串故障检测方法。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
一种基于级联检测模型的绝缘子掉串故障检测方法，包括以下步骤：
S1、采集输电线路巡检图像，建立绝缘子图像集和绝缘子故障图像集；
S2、遍历绝缘子图像集和绝缘子故障图像集，对图像中绝缘子位置及绝缘子故障位置进行标注，制得绝缘子数据集和绝缘子故障数据集；
S3、将绝缘子数据集划分为绝缘子训练集和绝缘子测试集，将绝缘子故障数据集划分为绝缘子故障训练集和绝缘子故障测试集；
S4、建立基于深度学习的绝缘子定位检测模型，所述绝缘子定位检测模型具体包含依次连接的骨干网络、金字塔池化网络、特征融合网络、目标检测网络；建立三尺度预测的YOLOv4-tiny绝缘子故障检测模型；
S5、分别利用绝缘子训练集和绝缘子故障训练集训练绝缘子定位检测模型和绝缘子故障检测模型，得到训练好的绝缘子定位检测模型和绝缘子故障检测模型；
S6、将绝缘子测试集图像和绝缘子故障测试集图像输入步骤S5所述的绝缘子定位检测模型，先利用绝缘子定位检测模型检测绝缘子的位置，并将绝缘子位置作为感兴趣区域，再利用绝缘子故障检测模型对感兴趣区域内的绝缘子进行故障检测，最后在绝缘子测试集图像上输出检测结果。
根据本发明的一实施例，所述基于深度学习的绝缘子定位检测模型包括依次连接的骨干网络、金字塔池化网络、特征融合网络、检测网络；所述骨干网络包括依次连接的第一过渡卷积层、第一CSP模块、第二CSP模块、第三CSP模块、第四CSP模块、第五CSP模块，所述第一过渡卷积层为3×3×32的卷积层提取图像特征，得到416×416×32的特征图，所述第一CSP模块提取图像特征，得到208×208×64的特征图，所述第二CSP模块提取图像特征，得到104×104×128的特征图，所述第三CSP模块提取图像特征，得到52×52×256的特征图，所述第四CSP模块提取图像特征，得到26×26×512的特征图，所述第五CSP模块提取图像特征，得到13×13×1024的特征图；所述第三CSP模块、第四CSP模块、第五CSP模块输出分别通过三尺度金字塔池化网络池化操作后，利用特征融合网络进行三尺度特征融合，输出52×52、26×26、13×13特征经过残差网络后对图像中绝缘子进行预测。
根据本发明的一实施例，所述第一CSP模块包括第一降采样层、第一旁路卷积层、1个残差单元，所述第一降采样层为3×3×64步长为2的卷积层，所述第一旁路卷积层为3×3×64的卷积层，所述残差单元由1×1×32卷积层、3×3×64卷积层、shortcut连接组成，所述残差单元的输出与第一旁路卷积层输出融合得到特征208×208×64。
根据本发明的一实施例，所述第二CSP模块包括第二降采样层、第二旁路卷积层、2个残差单元，所述第二降采样层为3×3×128步长为2的卷积层，所述第二旁路卷积层为3×3×128的卷积层，所述残差单元由1×1×64卷积层、3×3×128卷积层、shortcut连接组成，所述残差单元的输出与第二旁路卷积层输出融合得到特征104×104×128。
根据本发明的一实施例，所述第三CSP模块包括第三降采样层、第二过渡卷积层、第三旁路卷积层、4个Dense单元、4个残差单元，所述第三降采样层为3×3×256步长为2的卷积层，所述第三旁路卷积层为3×3×256的卷积层，第二过渡卷积层为1×1×128卷积层，第三降采样层的输出分别与第三旁路卷积层、第二过渡卷积层相连，第二过渡卷积层的输出与4个依次连接的Dense单元相连，所述Dense单元由1×1×32卷积层、3×3×32卷积层和Concat连接组成，Dense单元输出与4个依次连接的残差单元相连，所述残差单元由1×1×128卷积层、3×3×256卷积层、shortcut连接组成，所述残差单元的输出与第三旁路卷积层输出融合得到特征52×52×256。
根据本发明的一实施例，所述第四CSP模块包括第四降采样层、第三过渡卷积层、第四旁路卷积层、4个Dense单元、4个残差单元，所述第四降采样层为3×3×512步长为2的卷积层，所述第四旁路卷积层为3×3×512的卷积层，第三过渡卷积层为1×1×256卷积层，第四降采样层的输出分别与第四旁路卷积层、第三过渡卷积层相连，第三过渡卷积层的输出与4个依次连接的Dense单元相连，所述Dense单元由1×1×64卷积层、3×3×64卷积层和Concat连接组成，Dense单元输出与4个依次连接的残差单元相连，所述残差单元由1×1×256卷积层、3×3×512卷积层、shortcut连接组成，所述残差单元的输出与第四旁路卷积层输出融合得到特征26×26×512。
根据本发明的一实施例，所述第五CSP模块包括第五降采样层、第四过渡卷积层、第五旁路卷积层、4个Dense单元、4个残差单元，所述第五降采样层为3×3×1024步长为2的卷积层，所述第五旁路卷积层为3×3×1024的卷积层，第四过渡卷积层为1×1×512卷积层，第五降采样层的输出分别与第五旁路卷积层、第四过渡卷积层相连，第四过渡卷积层的输出与4个依次连接的Dense单元相连，所述Dense单元由1×1×128卷积层、3×3×128卷积层和Concat连接组成，Dense单元输出与4个依次连接的残差单元相连，所述残差单元由1×1×512卷积层、3×3×1024卷积层、shortcut连接组成，所述残差单元的输出与第四旁路卷积层输出融合得到特征13×13×1024。
根据本发明的一实施例，所述金字塔池化网络为三尺度金字塔池化结构，输出特征层52×52×256连接大尺度金字塔池化结构，输出特征层26×26×512连接中尺度金字塔池化结构，输出特征层13×13×1024连接小尺度金字塔池化结构，每个尺度金字塔池化结构包括三个最大池化层，三个最大池化层对应的滤波器的尺寸分别为13×13、9×9、5×5。
根据本发明的一实施例，经过骨干网络提取的三个有效特征层用于特征融合网络，特征层52×52×256对应第一大尺度特征层LFL0，特征层26×26×512对应第一中尺度特征层MFL0，特征层13×13×1024对应第一小尺度特征层SFL0；第一小尺度特征层SFL0经过金字塔池化结构SPP1和卷积操作得到第二小尺度特征层SFL1，第一中尺度特征层MFL0经过金字塔池化结构SPP2和卷积操作得到第二中尺度特征层MFL1，第一大尺度特征层LFL0经过金字塔池化结构SPP3和卷积操作得到第二大尺度特征层LFL1；第二小尺度特征层SFL经过上采样运算后与第二中尺度特征层MFL1融合得到第三中尺度特征层MFL2，第三中尺度特征层MFL2通过上采样运算后与第二大尺度特征层LFL1融合得到第三大尺度特征层LFL2；第三大尺度特征层LFL2通过下采样运算后与第三中尺度特征层MFL2融合得到第四中尺度特征层MFL3，第四中尺度特征层MFL3通过下采样运算后与第二小尺度特征层SFL1融合得到第三小尺度特征层SFL2；第三小尺度特征层SFL2、第四中尺度特征层MFL3、第三大尺度特征层LFL2输出特征13×13、26×26、52×52分别经过三个残差模块后给三尺度目标检测层，三尺度目标检测层分别对特征尺度为13×13、26×26、52×52的绝缘子图像进行预测。
(三)有益效果
本发明的有益效果：一种基于级联检测模型的绝缘子掉串故障检测方法，先利用绝缘子定位检测模型定位出图像中的绝缘子位置，再利用绝缘子故障检测模型对定位的绝缘子进行故障检测，可以有效地提高绝缘子故障检测的准确率和召回率；本发明对于航拍图像中不同尺度、复杂背景干扰、以及有遮挡的绝缘子检测具有很好的鲁棒性，可以有效实现对输电线路巡检中绝缘子故障检测；本发明绝缘子定位检测模型在骨干网络中引入跨阶段局部网络加强特征复用和传播，能够在有效提取复杂环境下的目标特征、保证检测精度的同时，提高目标的检测准确率和召回率；本发明绝缘子故障检测模型采用三尺度预测的YOLOv4-tiny，YOLOv4-tiny不仅内存占用量小，而且检测速度快，具有较高的检测准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明检测方法流程图；
图2为本发明绝缘子定位检测模型结构图；
图3(a)为第一CSP模块结构图；
图3(b)为第二CSP模块结构图；
图3(c)为第三CSP模块结构图；
图3(d)为第四CSP模块结构图；
图3(e)为第五CSP模块结构图；
图4为金字塔池化网络结构图；
图5为残差模块结构图；
图6(a)为以田地为背景的本发明定位检测模型的检测结果；
图6(b)为以田地为背景的本发明故障检测模型的检测结果；
图7(a)为以河流为背景的本发明定位检测模型的检测结果；
图7(b)为以河流为背景的本发明故障检测模型的检测结果；
图8(a)为以电力架为背景的本发明定位检测模型的检测结果；
图8(b)为以电力架为背景的本发明故障检测模型的检测结果；
图9(a)为复杂背景干扰的本发明定位检测模型的检测结果；
图9(b)为复杂背景干扰的本发明故障检测模型的检测结果。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
结合图1，一种基于级联检测模型的绝缘子掉串故障检测方法，包括以下步骤：
S1、采集输电线路巡检航拍图像，建立绝缘子图像集和绝缘子故障图像集。
S2、遍历图像集，使用Label-image标注工具对图像中绝缘子位置及绝缘子故障位置进行标注，制得绝缘子数据集和绝缘子故障数据集。
S3、将数据集划分为训练集和测试集，训练数据集与测试数据集按照2：1比例选取。
选取航拍绝缘子图像4500张，其中包含1331中绝缘子故障图像，选取3000张绝缘子图像用作训练集，其中包含809张标注后的绝缘子故障图像，剩余1500张图像用于测试集。
S4、建立基于深度学习的绝缘子定位检测模型，所述检测模型具体包含依次连接的骨干网络、金字塔池化网络、特征融合网络、目标检测网络；建立三尺度预测的YOLOv4-tiny绝缘子故障检测模型。
S5、分别利用绝缘子图像训练集和绝缘子故障图像训练集训练绝缘子定位检测模型和绝缘子故障检测模型，得到训练好的绝缘子定位检测模型和绝缘子故障检测模型。
S6、将测试集图像输入步骤S5所述的绝缘子定位检测模型，先利用绝缘子定位检测模型检测绝缘子的位置，并将绝缘子位置作为感兴趣区域，再利用绝缘子故障检测模型对感兴趣区域内的绝缘子进行故障检测，最后在测试集绝缘子图像上输出检测结果。
结合图2，基于深度学习的绝缘子定位检测模型包括依次连接的骨干网络、金字塔池化网络、特征融合网络、检测网络；所述骨干网络包括依次连接的第一过渡卷积层、第一CSP模块(CSP跨阶段局部网络)、第二CSP模块、第三CSP模块、第四CSP模块、第五CSP模块，所述第一过渡卷积层为3×3×32的卷积层提取图像特征，得到416×416×32的特征图，所述第一CSP模块提取图像特征，得到208×208×64的特征图，所述第二CSP模块提取图像特征，得到104×104×128的特征图，所述第三CSP模块提取图像特征，得到52×52×256的特征图，所述第四CSP模块提取图像特征，得到26×26×512的特征图，所述第五CSP模块提取图像特征，得到13×13×1024的特征图；所述第三CSP模块、第四CSP模块、第五CSP模块输出分别通过三尺度金字塔池化网络池化操作后，利用特征融合网络进行三尺度特征融合，输出52×52、26×26、13×13特征经过残差网络后对图像中绝缘子进行预测。
结合图3(a)，第一CSP模块包括第一降采样层、第一旁路卷积层、1个残差单元，所述第一降采样层为3×3×64步长为2的卷积层，所述第一旁路卷积层为3×3×64的卷积层，所述残差单元由1×1×32卷积层、3×3×64卷积层、shortcut连接组成，所述残差单元的输出与第一旁路卷积层输出融合得到特征208×208×64。
结合图3(b)，第二CSP模块包括第二降采样层、第二旁路卷积层、2个残差单元，所述第二降采样层为3×3×128步长为2的卷积层，所述第二旁路卷积层为3×3×128的卷积层，所述残差单元由1×1×64卷积层、3×3×128卷积层、shortcut连接组成，所述残差单元的输出与第二旁路卷积层输出融合得到特征104×104×128。
结合图3(c)，所述第三CSP模块包括第三降采样层、第二过渡卷积层、第三旁路卷积层、4个Dense(Dense密集连接)单元、4个残差单元，所述第三降采样层为3×3×256步长为2的卷积层，所述第三旁路卷积层为3×3×256的卷积层，第二过渡卷积层为1×1×128卷积层，第三降采样层的输出分别与第三旁路卷积层、第二过渡卷积层相连，第二过渡卷积层的输出与4个依次连接的Dense单元相连，所述Dense单元由1×1×32卷积层、3×3×32卷积层和Concat连接组成，Dense单元输出与4个依次连接的残差单元相连，所述残差单元由1×1×128卷积层、3×3×256卷积层、shortcut连接组成，所述残差单元的输出与第三旁路卷积层输出融合得到特征52×52×256。
结合图3(d)，所述第四CSP模块包括第四降采样层、第三过渡卷积层、第四旁路卷积层、4个Dense单元、4个残差单元，所述第四降采样层为3×3×512步长为2的卷积层，所述第四旁路卷积层为3×3×512的卷积层，第三过渡卷积层为1×1×256卷积层，第四降采样层的输出分别与第四旁路卷积层、第三过渡卷积层相连，第三过渡卷积层的输出与4个依次连接的Dense单元相连，所述Dense单元由1×1×64卷积层、3×3×64卷积层和Concat连接组成，Dense单元输出与4个依次连接的残差单元相连，所述残差单元由1×1×256卷积层、3×3×512卷积层、shortcut连接组成，所述残差单元的输出与第四旁路卷积层输出融合得到特征26×26×512。
结合图3(e)，所述第五CSP模块包括第五降采样层、第四过渡卷积层、第五旁路卷积层、4个Dense单元、4个残差单元，所述第五降采样层为3×3×1024步长为2的卷积层，所述第五旁路卷积层为3×3×1024的卷积层，第四过渡卷积层为1×1×512卷积层，第五降采样层的输出分别与第五旁路卷积层、第四过渡卷积层相连，第四过渡卷积层的输出与4个依次连接的Dense单元相连，所述Dense单元由1×1×128卷积层、3×3×128卷积层和Concat连接组成，Dense单元输出与4个依次连接的残差单元相连，所述残差单元由1×1×512卷积层、3×3×1024卷积层、shortcut连接组成，所述残差单元的输出与第四旁路卷积层输出融合得到特征13×13×1024。
用于本发明绝缘子定位检测模型的金字塔池化网络为三尺度金字塔池化结构，输出特征层52×52×256连接大尺度金字塔池化结构SPP3，输出特征层26×26×512连接中尺度金字塔池化结构SPP2，输出特征层13×13×1024连接小尺度金字塔池化结构SPP1，结合图4，每个尺度金字塔池化结构包括三个最大池化层，三个最大池化层对应的滤波器的尺寸分别为13×13、9×9、5×5。输入特征通过三个不同规模的最大池化操作得到三个局部特征图，再将输入特征与三个局部特征图融合得到特征图。三尺度金字塔池化结构的使用可以大大增加局部区域特征图的接收范围，获得更丰富的局部特征信息，并提高预测的准确性。
结合图1，经过骨干网络提取的三个有效特征层用于特征融合网络，特征层52×52×256对应第一大尺度特征层LFL0，特征层26×26×512对应第一中尺度特征层MFL0，特征层13×13×1024对应第一小尺度特征层SFL0；第一小尺度特征层SFL0经过金字塔池化结构SPP1和卷积操作得到第二小尺度特征层SFL1，第一中尺度特征层MFL0经过金字塔池化结构SPP2和卷积操作得到第二中尺度特征层MFL1，第一大尺度特征层LFL0经过金字塔池化结构SPP3和卷积操作得到第二大尺度特征层LFL1；第二小尺度特征层SFL经过上采样运算后与第二中尺度特征层MFL1融合得到第三中尺度特征层MFL2，第三中尺度特征层MFL2通过上采样运算后与第二大尺度特征层LFL1融合得到第三大尺度特征层LFL2；第三大尺度特征层LFL2通过下采样运算后与第三中尺度特征层MFL2融合得到第四中尺度特征层MFL3，第四中尺度特征层MFL3通过下采样运算后与第二小尺度特征层SFL1融合得到第三小尺度特征层SFL2；第三小尺度特征层SFL2、第四中尺度特征层MFL3、第三大尺度特征层LFL2输出特征13×13、26×26、52×52分别经过三个残差模块后给三尺度目标检测层，三尺度目标检测层分别对特征尺度为13×13、26×26、52×52的绝缘子图像进行预测。
结合图5，所述第三残差模块由3个残差单元组成，残差单元由1×1×128卷积层、3×3×256卷积层、shortcut连接组成，第三残差模块输出特征为52×52×256；所述第二残差模块由3个残差单元组成，残差单元由1×1×256卷积层、3×3×512卷积层、shortcut连接组成，第二残差模块输出特征为26×26×512；所述第一残差模块由3个残差单元组成，残差单元由1×1×512卷积层、3×3×1024卷积层、shortcut连接组成，第一残差模块输出特征为13×13×1024。目标检测网络采用残差模块替换5层卷积层可以避免特征梯度消失或梯度***。
为了验证本发明绝缘子定位检测模型的有效性，将本发明的检测模型与YOLOv3在测试集进行了对比实验。实验条件如下：在硬件方面，CPU是具有3.60GHz的
Core i9-9900K，总内存为32GB；GPU是具有10G内存的NVIDIA GeForce GTX 3080。在软件方面，CUDA11.1和cuDNN 8.0.5加速器，并配备了Open CV 3.4.0、Visual Studio 2017、Windows 10操作***和Dark-net深度学***均精确率、准确率和召回率)如表1所示。两种检测网络的平均精确率分别为90.3％和94.4％；两种检测网络的准确率分别为90％和94％；两种检测网络的召回率分别为91％和95％。因此，综合考虑平均精确率、准确率和召回率，本发明检测模型相比于YOLOv3具有较好的检测性能。本发明绝缘子故障检测模型采用三尺度预测的YOLOv4-tiny，YOLOv4-tiny内存占用量小且只有25MB，相比于YOLOv3-tiny的33MB要小，而且要远小于YOLOv3、YOLOv4的内存占用量。而且YOLOv4-tiny检测速度快，可以实现每秒200张以上的绝缘子故障图像检测，检测准确率达到90％以上。
表1：两种检测模型的测试指标
为了验证本发明检测模型在不同背景干扰和不同尺度下绝缘子定位和故障检测的准确性，图6-9给出了本发明定位检测模型和故障检测模型的检测结果。图6是以田地为背景干扰的实验结果，图6(a)中绝缘子定位模型定位出了3个绝缘子，图6(b)为绝缘子故障检测模型在图6(a)的基础上检测出1处绝缘子故障。图7是以河流为背景干扰的实验结果，图7(a)中绝缘子定位模型定位出了3个绝缘子，图7(b)为绝缘子故障检测模型在图7(a)的基础上检测出3处绝缘子故障。图8是以电力架为背景干扰的实验结果，图8(a)中绝缘子定位模型定位出了3个绝缘子，其中包括有遮挡部分的绝缘子，图8(b)为绝缘子故障检测模型在图8(a)的基础上检测出2处绝缘子故障。图9是复杂背景干扰下的实验结果，图9(a)中绝缘子定位模型定位出了4个绝缘子，图9(b)为绝缘子故障检测模型在图9(a)的基础上检测出2处绝缘子故障。
综上所述，本发明实施例，基于级联检测模型的绝缘子掉串故障检测方法，先利用绝缘子定位检测模型定位出图像中的绝缘子，再利用绝缘子故障检测模型对定位的绝缘子进行故障检测，可以有效地提高绝缘子故障检测的准确率；本发明对于航拍图像中不同尺度、复杂背景干扰、以及有遮挡的绝缘子检测具有很好的鲁棒性，可以有效实现对输电线路巡检中绝缘子故障检测；本发明绝缘子定位检测模型在骨干网络中引入跨阶段局部网络加强特征复用和传播，能够在有效提取复杂环境下的目标特征、保证检测精度的同时，提高目标的检测准确率和召回率；本发明绝缘子故障检测模型采用三尺度预测的YOLOv4-tiny，YOLOv4-tiny不仅内存占用量小，而且检测速度快，具有较高的检测准确率。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (5)
1.一种基于级联检测模型的绝缘子掉串故障检测方法，其特征在于，包括以下步骤：
S1、采集输电线路巡检图像，建立绝缘子图像集和绝缘子故障图像集；
S2、遍历绝缘子图像集和绝缘子故障图像集，对图像中绝缘子位置及绝缘子故障位置进行标注，制得绝缘子数据集和绝缘子故障数据集；
S3、将绝缘子数据集划分为绝缘子训练集和绝缘子测试集，将绝缘子故障数据集划分为绝缘子故障训练集和绝缘子故障测试集；
S4、建立基于深度学习的绝缘子定位检测模型，所述绝缘子定位检测模型具体包含依次连接的骨干网络、金字塔池化网络、特征融合网络、目标检测网络；建立三尺度预测的YOLOv4-tiny绝缘子故障检测模型；
S5、分别利用绝缘子训练集和绝缘子故障训练集训练绝缘子定位检测模型和绝缘子故障检测模型，得到训练好的绝缘子定位检测模型和绝缘子故障检测模型；
S6、将绝缘子测试集图像和绝缘子故障测试集图像输入步骤S5所述的绝缘子定位检测模型，先利用绝缘子定位检测模型检测绝缘子的位置，并将绝缘子位置作为感兴趣区域，再利用绝缘子故障检测模型对感兴趣区域内的绝缘子进行故障检测，最后在绝缘子测试集图像上输出检测结果；
所述骨干网络包括依次连接的第一过渡卷积层、第一CSP模块、第二CSP模块、第三CSP模块、第四CSP模块、第五CSP模块，所述第一过渡卷积层为3×3×32的卷积层提取图像特征，得到416×416×32的特征图，所述第一CSP模块提取图像特征，得到208×208×64的特征图，所述第二CSP模块提取图像特征，得到104×104×128的特征图，所述第三CSP模块提取图像特征，得到52×52×256的特征图，所述第四CSP模块提取图像特征，得到26×26×512的特征图，所述第五CSP模块提取图像特征，得到13×13×1024的特征图；所述第三CSP模块、第四CSP模块、第五CSP模块的输出分别通过金字塔池化网络池化操作后，利用特征融合网络进行三尺度特征融合，输出52×52、26×26、13×13特征经过残差网络后对图像中绝缘子位置及绝缘子故障位置进行预测；
所述第一CSP模块包括第一降采样层、第一旁路卷积层、残差单元，所述第一降采样层为3×3×64步长为2的卷积层，所述第一旁路卷积层为3×3×64的卷积层，所述残差单元由1×1×32卷积层、3×3×64卷积层、shortcut连接组成，所述残差单元的输出与第一旁路卷积层输出融合得到特征208×208×64；
所述第二CSP模块包括第二降采样层、第二旁路卷积层、2个残差单元，所述第二降采样层为3×3×128步长为2的卷积层，所述第二旁路卷积层为3×3×128的卷积层，所述残差单元由1×1×64卷积层、3×3×128卷积层、shortcut连接组成，所述残差单元的输出与第二旁路卷积层输出融合得到特征104×104×128；
所述第三CSP模块包括第三降采样层、第二过渡卷积层、第三旁路卷积层、4个Dense单元、4个残差单元，所述第三降采样层为3×3×256步长为2的卷积层，所述第三旁路卷积层为3×3×256的卷积层，第二过渡卷积层为1×1×128卷积层，第三降采样层的输出分别与第三旁路卷积层、第二过渡卷积层相连，第二过渡卷积层的输出与4个依次连接的Dense单元相连，所述Dense单元由1×1×32卷积层、3×3×32卷积层和Concat连接组成，Dense单元输出与4个依次连接的残差单元相连，所述残差单元由1×1×128卷积层、3×3×256卷积层、shortcut连接组成，所述残差单元的输出与第三旁路卷积层输出融合得到特征52×52×256。
2.如权利要求1所述的一种基于级联检测模型的绝缘子掉串故障检测方法，其特征在于，所述第四CSP模块包括第四降采样层、第三过渡卷积层、第四旁路卷积层、4个Dense单元、4个残差单元，所述第四降采样层为3×3×512步长为2的卷积层，所述第四旁路卷积层为3×3×512的卷积层，第三过渡卷积层为1×1×256卷积层，第四降采样层的输出分别与第四旁路卷积层、第三过渡卷积层相连，第三过渡卷积层的输出与4个依次连接的Dense单元相连，所述Dense单元由1×1×64卷积层、3×3×64卷积层和Concat连接组成，Dense单元输出与4个依次连接的残差单元相连，所述残差单元由1×1×256卷积层、3×3×512卷积层、shortcut连接组成，所述残差单元的输出与第四旁路卷积层输出融合得到特征26×26×512。
3.如权利要求2所述的一种基于级联检测模型的绝缘子掉串故障检测方法，其特征在于，所述第五CSP模块包括第五降采样层、第四过渡卷积层、第五旁路卷积层、4个Dense单元、4个残差单元，所述第五降采样层为3×3×1024步长为2的卷积层，所述第五旁路卷积层为3×3×1024的卷积层，第四过渡卷积层为1×1×512卷积层，第五降采样层的输出分别与第五旁路卷积层、第四过渡卷积层相连，第四过渡卷积层的输出与4个依次连接的Dense单元相连，所述Dense单元由1×1×128卷积层、3×3×128卷积层和Concat连接组成，Dense单元输出与4个依次连接的残差单元相连，所述残差单元由1×1×512卷积层、3×3×1024卷积层、shortcut连接组成，所述残差单元的输出与第四旁路卷积层输出融合得到特征13×13×1024。
4.如权利要求1所述的一种基于级联检测模型的绝缘子掉串故障检测方法，其特征在于，所述金字塔池化网络为三尺度金字塔池化结构，输出特征层52×52×256连接大尺度金字塔池化结构，输出特征层26×26×512连接中尺度金字塔池化结构，输出特征层13×13×1024连接小尺度金字塔池化结构，每个尺度金字塔池化结构包括三个最大池化层，三个最大池化层对应的滤波器的尺寸分别为13×13、9×9、5×5。
5.如权利要求4所述的一种基于级联检测模型的绝缘子掉串故障检测方法，其特征在于，经过骨干网络提取的三个有效特征层用于特征融合网络，特征层52×52×256对应第一大尺度特征层，特征层26×26×512对应第一中尺度特征层，特征层13×13×1024对应第一小尺度特征层；第一小尺度特征层经过金字塔池化结构和卷积操作得到第二小尺度特征层，第一中尺度特征层经过金字塔池化结构和卷积操作得到第二中尺度特征层，第一大尺度特征层经过金字塔池化结构和卷积操作得到第二大尺度特征层；第二小尺度特征层经过上采样运算后与第二中尺度特征层融合得到第三中尺度特征层，第三中尺度特征层通过上采样运算后与第二大尺度特征层融合得到第三大尺度特征层；第三大尺度特征层通过下采样运算后与第三中尺度特征层融合得到第四中尺度特征层，第四中尺度特征层通过下采样运算后与第二小尺度特征层融合得到第三小尺度特征层；第三小尺度特征层、第四中尺度特征层、第三大尺度特征层输出特征13×13、26×26、52×52分别经过三个残差模块后给三尺度目标检测网络，三尺度目标检测网络分别对特征尺度为13×13、26×26、52×52的绝缘子图像进行预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110437796.7A CN113112489B (zh) | 2021-04-22 | 2021-04-22 | 一种基于级联检测模型的绝缘子掉串故障检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110437796.7A CN113112489B (zh) | 2021-04-22 | 2021-04-22 | 一种基于级联检测模型的绝缘子掉串故障检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113112489A CN113112489A (zh) | 2021-07-13 |
| CN113112489B true CN113112489B (zh) | 2022-11-15 |
Family
ID=76719754
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110437796.7A Active CN113112489B (zh) | 2021-04-22 | 2021-04-22 | 一种基于级联检测模型的绝缘子掉串故障检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113112489B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113538411A (zh) * | 2021-08-06 | 2021-10-22 | 广东电网有限责任公司 | 一种绝缘子缺陷检测方法及装置 |
| CN115619763A (zh) * | 2022-10-31 | 2023-01-17 | 国网湖北省电力有限公司超高压公司 | 基于多级推理检测的输电线路小部件图像目标检测方法 |
| CN116596908B (zh) * | 2023-05-30 | 2024-02-06 | 南京亦鑫同电气有限责任公司 | 基于数据处理的电线电缆安全状态评估方法及*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2019101133A4 (en) * | 2019-09-30 | 2019-10-31 | Bo, Yaxin MISS | Fast vehicle detection using augmented dataset based on RetinaNet |
| CN112101433A (zh) * | 2020-09-04 | 2020-12-18 | 东南大学 | 一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法 |
| CN112183578A (zh) * | 2020-09-01 | 2021-01-05 | 国网宁夏电力有限公司检修公司 | 一种目标检测方法、介质及*** |
| CN112184666A (zh) * | 2020-09-28 | 2021-01-05 | 国网江西省电力有限公司电力科学研究院 | 一种目标设备的检测方法、装置及*** |
| CN112258446A (zh) * | 2020-08-31 | 2021-01-22 | 洛阳中信成像智能科技有限公司 | 一种基于改进yolo算法的工业零件缺陷检测方法 |
| CN112561899A (zh) * | 2020-12-23 | 2021-03-26 | 镇江市高等专科学校 | 电力巡检图像识别方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11195057B2 (en) * | 2014-03-18 | 2021-12-07 | Z Advanced Computing, Inc. | System and method for extremely efficient image and pattern recognition and artificial intelligence platform |
| CN110033453B (zh) * | 2019-04-18 | 2023-02-24 | 国网山西省电力公司电力科学研究院 | 基于改进YOLOv3的输变电线路绝缘子航拍图像故障检测方法 |
-
2021
- 2021-04-22 CN CN202110437796.7A patent/CN113112489B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2019101133A4 (en) * | 2019-09-30 | 2019-10-31 | Bo, Yaxin MISS | Fast vehicle detection using augmented dataset based on RetinaNet |
| CN112258446A (zh) * | 2020-08-31 | 2021-01-22 | 洛阳中信成像智能科技有限公司 | 一种基于改进yolo算法的工业零件缺陷检测方法 |
| CN112183578A (zh) * | 2020-09-01 | 2021-01-05 | 国网宁夏电力有限公司检修公司 | 一种目标检测方法、介质及*** |
| CN112101433A (zh) * | 2020-09-04 | 2020-12-18 | 东南大学 | 一种基于YOLO V4和DeepSORT的分车道车辆自动计数方法 |
| CN112184666A (zh) * | 2020-09-28 | 2021-01-05 | 国网江西省电力有限公司电力科学研究院 | 一种目标设备的检测方法、装置及*** |
| CN112561899A (zh) * | 2020-12-23 | 2021-03-26 | 镇江市高等专科学校 | 电力巡检图像识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| detection of power line insulator defects using aerial images analyzed with convolutional neural networks;xian tao et al.;《IEEE transactions on systems，man，and cybernetics：systems》;20181014;第50卷(第4期);第1486-1498页 * |
| performance enhancement of yolov3 by adding prediction layers with spatial pyramid pooling for vehicle detection;kwang-ju kim et al.;《2018 15th IEEE international conference on advanced video and signal》;20190214;第1-6页 * |
| 基于深度学习框架的装配机器人零件实时检测方法;余永维等;《兵工学报》;20201231(第10期);第2122-2130页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113112489A (zh) | 2021-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113112489B (zh) | 一种基于级联检测模型的绝缘子掉串故障检测方法 | |
| CN110084124A (zh) | 基于特征金字塔网络的特征增强目标检测方法 | |
| CN114240878A (zh) | 面向巡检场景的绝缘子缺陷检测神经网络构建与优化方法 | |
| CN112861729B (zh) | 一种基于伪深度图引导的实时深度补全方法 | |
| CN109934222A (zh) | 一种基于迁移学习的绝缘子串自爆识别方法 | |
| CN110378222A (zh) | 一种输电线路防震锤目标检测与缺陷识别方法及装置 | |
| CN115294476B (zh) | 面向无人机电力巡检的边缘计算智能检测方法及设备 | |
| CN111914484A (zh) | 一种用于电网暂态稳定评估的递归图卷积网络*** | |
| CN115100549A (zh) | 一种基于改进YOLOv5的输电线路金具检测方法 | |
| CN112288700A (zh) | 一种铁轨缺陷检测方法 | |
| CN117113066B (zh) | 一种基于计算机视觉的输电线路绝缘子缺陷检测方法 | |
| CN116543346A (zh) | 一种基于深度学习的输电线路视频山火检测方法 | |
| CN113012107B (zh) | 电网缺陷检测方法及*** | |
| CN117218102A (zh) | 一种基于改进YOLOv5的绝缘子缺陷检测方法及其*** | |
| CN112837281A (zh) | 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备 | |
| CN113095252A (zh) | 一种用于电力巡检绝缘子故障图像识别方法 | |
| Wang et al. | Analyzing vulnerability of optical fiber network considering recoverability | |
| CN113095420A (zh) | 一种基于改进YOLOv3的绝缘子故障检测方法 | |
| CN117173120A (zh) | 一种芯片焊缝空洞缺陷检测方法及*** | |
| CN111935762A (zh) | 一种5g承载网下基于ewt和cnn的配网故障诊断方法和*** | |
| CN113095253B (zh) | 一种用于无人机巡检输电线路的绝缘子检测方法 | |
| CN113780358A (zh) | 一种基于无锚网络的实时金具检测方法 | |
| CN113111802B (zh) | 一种基于深度神经网络的绝缘子检测模型 | |
| CN113177717A (zh) | 一种基于影响增量灵敏度的输电***韧性快速评估方法 | |
| CN113033489A (zh) | 基于轻量级深度学习算法的输电线路绝缘子识别定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231101 Address after: No. 186, Cuiping Road West, Laibin City, Guangxi Zhuang Autonomous Region Patentee after: LAIBIN POWER SUPPLY BUREAU OF GUANGXI POWER GRID CO.,LTD. Patentee after: Laibin Binsheng Electric Power Engineering Co.,Ltd. Address before: No. 169, Jianshe West Road, Guichi District, Chizhou City, Anhui Province 247099 Patentee before: CHIZHOU University |
|
| TR01 | Transfer of patent right |