CN115205256A - 一种融合迁移学习的输电线路绝缘子缺陷检测方法及*** - Google Patents
一种融合迁移学习的输电线路绝缘子缺陷检测方法及*** Download PDFInfo
- Publication number
- CN115205256A CN115205256A CN202210829669.6A CN202210829669A CN115205256A CN 115205256 A CN115205256 A CN 115205256A CN 202210829669 A CN202210829669 A CN 202210829669A CN 115205256 A CN115205256 A CN 115205256A
- Authority
- CN
- China
- Prior art keywords
- insulator
- faster
- data set
- defect
- cnn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000012212 insulator Substances 0.000 title claims abstract description 258
- 238000001514 detection method Methods 0.000 title claims abstract description 99
- 230000007547 defect Effects 0.000 title claims abstract description 95
- 230000005540 biological transmission Effects 0.000 title claims abstract description 21
- 238000013526 transfer learning Methods 0.000 title claims description 15
- 230000004927 fusion Effects 0.000 title description 4
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000013508 migration Methods 0.000 claims abstract description 22
- 230000005012 migration Effects 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims description 42
- 230000002950 deficient Effects 0.000 claims description 38
- 238000005520 cutting process Methods 0.000 claims description 24
- 238000011176 pooling Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 26
- 230000000694 effects Effects 0.000 abstract description 8
- 238000013527 convolutional neural network Methods 0.000 description 65
- 238000007689 inspection Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004880 explosion Methods 0.000 description 3
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 2
- 241000566145 Otus Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 229910052739 hydrogen Inorganic materials 0.000 description 2
- 239000001257 hydrogen Substances 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000010891 electric arc Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000002241 glass-ceramic Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 208000013409 limited attention Diseases 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000002910 structure generation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种融合迁移学习的输电线路绝缘子缺陷检测方法及***，属于绝缘子检测领域，首选构建正常绝缘子数据集和缺陷绝缘子数据集，然后利用正常绝缘子数据集训练第一FasterR‑CNN网络，将模型迁移到样本数量较少的绝缘子缺陷图像上，对绝缘子进行定位并裁剪绝缘子区域，最后以绝缘子局部图像为输入，使用FasterR‑CNN模型对绝缘子缺陷检测权重进行训练，实现缺陷的分类和定位。本发明以FasterR‑CNN算法作为基线模型，提出了融合迁移学习的两级的目标检测模型，有效解决了在背景复杂的情况下检测效果不佳的问题，提高了绝缘子缺陷的检测精度。
Description
技术领域
本发明涉及绝缘子检测领域，特别是涉及一种融合迁移学习的输电线路绝缘子缺陷检测方法及***。
背景技术
输电线路检测是电力***安全、不间断、可靠运行的重要保证。在输电线路中，绝缘子作为一种重要的电力器件，主要起到了导线的固定支撑和绝缘保护的作用，作为玻璃陶瓷器件，长期工作于恶劣的外界环境中，在积污、受潮和电场等外界环境作用下，绝缘子表面电流发生泄露，产生部分干带，干带位置发生空气击穿时，产生的电弧会蚀伤玻璃伞裙，当蚀伤深度较深时将造成自爆。长期使用的绝缘子会发生老化，性能不断下降最终丧失绝缘的作用，其他缺陷类型还包括掉串、锈蚀、污秽、闪络或电蚀。一旦出现故障，会对输电线路的安全性和可靠性产生一定程度上的威胁。因此，应该将准确、高效地排查绝缘子是否处于完好状态视为重要的问题。
传统的电力安全巡检主要以人工实地勘察为主。由于大多数高压架空线路都是设立在复杂地形的自然界中，这使得专业人员需要通过高空作业来进行巡检操作。这种人工检查的方式不仅会很大程度上受自然环境和气候条件的限制，风险系数高，而且架空输电线路也很多，使用的绝缘子种类多种多样，只依赖于这种人工检查方法，工作量大、危险系数高、效率低。长时间的高空作业也会导致因疲劳而降低探测精度。为了避免这些问题的存在，让电力巡检更加高效化、自动化、智能化，近年来出现的无人机巡检逐渐取缔了人工巡检。该无人机操作简单，对环境要求低，不仅减少了人工投资，提高了能源巡查效率，也保障了巡查的安全。
然而，无人机拍摄的高清绝缘子图像数量众多，图像中的绝缘子所在的背景存在干扰性强，主体大小不一。仅通过手动处理图像信息来确定绝缘子是否处于良好状态需要很长时间。因此，对图像数据信息进行自动处理，提高检测绝缘子状态的精度和效率，成为了提高电力巡检效率的关键因素之一。
为了从无人机采集的图像中辨别出缺陷绝缘子，国内外的研究主要经历了以传统图像处理技术与深度学习技术为基础的两个阶段。
传统的图像检测算法一般是通过图形分割以及机器学习等方法，提取给定图像的特征，建立对应的数学模型，再利用数学模型以及提取到的图像特征，训练图像特征分类器，对绝缘子进行检测和定位。
杨辉金等人使用LBP(Local Binary Pattern,局部二值模式)算子提取给定图像特征，紧接着使用Adaboost算法对特征进行分类，最后利用OTUS阈值分割对裂纹缺陷进行检测。徐向军等人使用边缘检测算子检测图像中绝缘子的边缘特征，再利用高斯尺度空间分解以及绝缘子形状特征，对绝缘子进行检测。钟超等人先使用偏微分方程对图像进行预处理，然后通过分析绝缘子形状特征提出基于绝缘子轮廓的检测算法。Zhao使用SURF(Speeded Up Robust Features)对巡检图像进行特征提取，然后使用相关系数IFS实现特征分类，通过对照各类的形状特征值以及最小限制矩形实现绝缘子的检测。Zhao等人基于绝缘子形状特征，提出了结合方向角检测以及先验知识的绝缘子定位算法。伍洋等人基于Ada Boost级联分类器提出了两种绝缘子检测算法，一种是结合目标建议Bing的算法，另一种是结合绝缘子3D模型、sketch提取的绝缘子检测算法。Zhai等人针对绝缘子的结构和变形问题融合自适应学***等人使用OTUS对图像进行分割处理从而提取绝缘子不变矩特征，再使用机器学习算法精确定位绝缘子，最后结合相邻绝缘子片的欧式距离分析出绝缘子自破裂缺陷位置。Cheng等人利用边缘检测算子进行提取，然后结合绝缘子空间特征检测绝缘子自爆缺陷。然而传统的检测方式以人为提取的特征为检测依据，带来了精度低、泛化能力差等一系列缺点。
随着深度学习算法成为研究热点，深度学习在图像处理领域中的发展逐渐成熟。
Xian等人提出基于CNN(Convolutional Neural Network，卷积神经网络)的两级级联网络：先于一级定位绝缘子，再由二级检测绝缘子缺陷。Li等人融合FasterR-CNN网络和U-Net对无人机采集图像中的绝缘子进行定位和缺陷检测。潘哲等人提出基于MFIDN的检测网络，该算法的特点在于：使用多尺度预测结构，采用具有弱监督细粒度的MFIFIN网络检测绝缘子。李军锋等人在Alex Net的基础上，结合随机森林分类器实现对电力设备的检测。杜丽群等人以基于VGG-16的SSD网络为基础，利用微调网络模型、生成自适应默认框对绝缘子进行检测。刘业鹏等人在SSD检测模型的基础上进行改进，实现对绝缘子的检测，在图像底层引入FPN结构，增强了对特征信息的提取从而提高了检测精度。但这些深度学习算法模型的参数量大、泛化能力较弱、计算性能受限，在背景复杂的情况下检测效果不佳。
发明内容
本发明的目的是提供一种融合迁移学习的输电线路绝缘子缺陷检测方法及***，以提高绝缘子缺陷的检测精度。
为实现上述目的，本发明提供了如下方案：
一种融合迁移学习的输电线路绝缘子缺陷检测方法，所述方法包括：
构建正常绝缘子数据集和缺陷绝缘子数据集；所述正常绝缘子数据集包括正常绝缘子图像和对正常绝缘子的标注；所述缺陷绝缘子数据集包括带缺陷的绝缘子图像和对带缺陷的绝缘子的标注；
利用正常绝缘子数据集训练第一Faster R-CNN网络，并将训练后的第一FasterR-CNN网络的绝缘子检测权重迁移至第二Faster R-CNN网络，获得Faster R-CNN迁移网络；
采用缺陷绝缘子数据集训练Faster R-CNN迁移网络，获得绝缘子检测模型；
将缺陷绝缘子数据集中每张带缺陷的绝缘子图像分别输入至绝缘子检测模型，对绝缘子图像中的绝缘子进行定位，输出多张带有绝缘子标注框的绝缘子图像；
在每张带有绝缘子标注框的绝缘子图像中沿着标注框进行裁剪，并对裁剪得到的绝缘子的缺陷部分进行标注；
采用由多张裁剪得到的绝缘子图像和对缺陷部分进行的标注所构成的缺陷数据集训练第三Faster R-CNN网络，获得缺陷检测模型；
根据待检测的带缺陷的绝缘子图像，依次利用所述绝缘子检测模型和所述缺陷检测模型，获得绝缘子的缺陷图像。
可选的，所述在每张带有绝缘子标注框的绝缘子图像中沿着标注框进行裁剪，之后还包括：
调用imgaug图像增强库增强裁剪得到的绝缘子图像的数量。
可选的，所述第三Faster R-CNN网络将Faster R-CNN网络的主干网络backbone替换为mobilenet-V2，并在Faster R-CNN网络的池化层和全连接层之间添加了注意力模块CBAM。
可选的，所述第一Faster R-CNN网络、所述第二Faster R-CNN网络和所述第三Faster R-CNN网络的损失均包括RPN损失和Faster RCNN损失，RPN损失和Faste RCNN损失均包括分类损失和回归损失。
一种融合迁移学习的输电线路绝缘子缺陷检测***，所述***包括：
数据集构建模块，用于构建正常绝缘子数据集和缺陷绝缘子数据集；所述正常绝缘子数据集包括正常绝缘子图像和对正常绝缘子的标注；所述缺陷绝缘子数据集包括带缺陷的绝缘子图像和对带缺陷的绝缘子的标注；
第一训练模块，用于利用正常绝缘子数据集训练第一Faster R-CNN网络，并将训练后的第一Faster R-CNN网络的绝缘子检测权重迁移至第二Faster R-CNN网络，获得Faster R-CNN迁移网络；
第二训练模块，用于采用缺陷绝缘子数据集训练Faster R-CNN迁移网络，获得绝缘子检测模型；
绝缘子定位模块，用于将缺陷绝缘子数据集中每张带缺陷的绝缘子图像分别输入至绝缘子检测模型，对绝缘子图像中的绝缘子进行定位，输出多张带有绝缘子标注框的绝缘子图像；
绝缘子裁剪模块，用于在每张带有绝缘子标注框的绝缘子图像中沿着标注框进行裁剪，并对裁剪得到的绝缘子的缺陷部分进行标注；
第三训练模块，用于采用由多张裁剪得到的绝缘子图像和对缺陷部分进行的标注所构成的缺陷数据集训练第三Faster R-CNN网络，获得缺陷检测模型；
缺陷检测模块，用于根据待检测的带缺陷的绝缘子图像，依次利用所述绝缘子检测模型和所述缺陷检测模型，获得绝缘子的缺陷图像。
可选的，所述***还包括：
增强模块，用于调用imgaug图像增强库增强裁剪得到的绝缘子图像的数量。
可选的，所述第三Faster R-CNN网络将Faster R-CNN网络的主干网络backbone替换为mobilenet-V2，并在Faster R-CNN网络的池化层和全连接层之间添加了注意力模块CBAM。
可选的，所述第一Faster R-CNN网络、所述第二Faster R-CNN网络和所述第三Faster R-CNN网络的损失均包括RPN损失和Faste RCNN损失，RPN损失和Faste RCNN损失均包括分类损失和回归损失。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开一种融合迁移学习的输电线路绝缘子缺陷检测方法及***，首选构建正常绝缘子数据集和缺陷绝缘子数据集，然后利用正常绝缘子数据集训练第一Faster R-CNN网络，将模型迁移到样本数量较少的绝缘子缺陷图像上，对绝缘子进行定位并裁剪绝缘子区域，最后以绝缘子局部图像为输入，使用Faster R-CNN模型对绝缘子缺陷检测权重进行训练，实现缺陷的分类和定位。本发明以Faster R-CNN算法作为基线模型，提出了融合迁移学习的两级的目标检测模型，有效解决了在背景复杂的情况下检测效果不佳的问题，提高了绝缘子缺陷的检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种融合迁移学习的输电线路绝缘子缺陷检测方法的流程图；
图2为本发明实施例提供的一种融合迁移学习的输电线路绝缘子缺陷检测方法的原理图；
图3为本发明实施例提供的源域和目标域的样本集存在相似性的示意图；
图4为本发明实施例提供的Faster R-CNN的算法流程图；
图5为本发明实施例提供的RPN的网络结构图；
图6为本发明实施例提供的CBAM注意力机制添加示意图；
图7为本发明实施例提供的交并比示意图；
图8为本发明实施例提供的边界框回归示意图；
图9为本发明实施例提供的TST R-CNN算法检测效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种融合迁移学习的输电线路绝缘子缺陷检测方法及***，以提高绝缘子缺陷的检测精度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明实施例提供了一种融合迁移学习的输电线路绝缘子缺陷检测方法，如图1-2所示，方法包括以下步骤：
步骤S1，构建正常绝缘子数据集和缺陷绝缘子数据集；所述正常绝缘子数据集包括正常绝缘子图像和对正常绝缘子的标注；所述缺陷绝缘子数据集包括带缺陷的绝缘子图像和对带缺陷的绝缘子的标注。
数据集准备：使用无人机在输电线路巡检现场拍摄的图像构建数据集，通过lableimg工具对绝缘子进行标注用于训练和测试。数据标签的标注质量对模型的训练效果也会造成影响，标注时绘制的标注框需要贴近检测对象的边缘并进行独立标注，过程中需要严格按照标注的规则。标注结束后保存为.xml文件，文件中的信息可以读包括图像名称、图像的位置、标注的边界框名称及位置。
在本发明的模型训练过程中，需要使用到的数据集包括来自于公开的绝缘子数据集(CPLID)中的正常的绝缘子图像共600张和自己收集标注的绝缘子缺陷图像共350张。数据集均为PASCAL VOC格式，通过使用Label Img工具进行标注，绝缘子图像的标签类别为Insulator，绝缘子缺陷图像的标签类别为damaged、missing。
迁移学***台的训练要求的问题，导致很难训练出适配度高、泛化能力强的权重，迁移学习可以很好的解决这种问题。迁移问题中涉及到知识的迁移，学习的主体可以分为有经验的源域和无经验的目标域，其中包括了数据和这些数据对应的概率分布。
按照学习方法的不同，迁移学习又被分为基于样本、特征、模型和关系的迁移。在本文中使用到的是基于样本的迁移，由于源域和目标域的样本集存在相似性，如图3所示，一些特征数据和信息是存在重合的，因此在一个数据集上习得的知识可以应用在另外一个任务当中。具体在训练过程中体现为：先对源域的样本进行权重的训练与衡量，再迁移到目标域中用于对相似样本的检测。
由于绝缘子的自爆、破损缺陷，具有目标小、特征提取难度大等问题。同时，在检测的过程中，现有的目标检测模型会受到图像背景复杂、样本数据量小的干扰。针对上述问题，本发明以Faster R-CNN算法作为基础模型，提出了融合迁移学习的两级的目标检测模型TST R-CNN(Two-stage transfer Region-CNN)，结构如图2所示。图2中，feature maps表示特征图，Proposals表示建议框，ROI Pooling表示池化层，FC layers表示全连接层。
第一阶段在样本数量充足的公开绝缘子数据集上训练绝缘子检测权重，使用Faster R-CNN网络作为训练过程中的基础算法；再将模型迁移到样本数量较少的绝缘子缺陷图像上，对绝缘子进行定位并裁剪绝缘子区域。
第二阶段以绝缘子局部图像为输入，使用Faster R-CNN模型对绝缘子缺陷检测权重进行训练，实现缺陷的分类和定位。在本文提出的模型中，复杂的绝缘子图像背景通过裁剪的方式，对缺陷检测的干扰得到有效的减少，将有限的注意力集中在绝缘子主体上，从而快速获得最有效的信息，挖掘缺陷目标的特征，实现了检测精度上的提升。
第一阶段对应下面的步骤S2、S3和S4，第二阶段对应下面的步骤S5和S6。
步骤S2，利用正常绝缘子数据集训练第一Faster R-CNN网络，并将训练后的第一Faster R-CNN网络的绝缘子检测权重迁移至第二Faster R-CNN网络，获得Faster R-CNN迁移网络。
步骤S3，采用缺陷绝缘子数据集训练Faster R-CNN迁移网络，获得绝缘子检测模型。
步骤S4，将缺陷绝缘子数据集中每张带缺陷的绝缘子图像分别输入至绝缘子检测模型，对绝缘子图像中的绝缘子进行定位，输出多张带有绝缘子标注框的绝缘子图像。
步骤S5，在每张带有绝缘子标注框的绝缘子图像中沿着标注框进行裁剪，并对裁剪得到的绝缘子的缺陷部分进行标注。
步骤S6，采用由多张裁剪得到的绝缘子和对缺陷部分进行的标注所构成的缺陷数据集训练第三Faster R-CNN网络，获得缺陷检测模型。
第一阶段中的第一Faster R-CNN网络和第二Faster R-CNN网络的算法流程如图4所示。Faster R-CNN网络中的RPN的网络结构如图5所示。图4中，Classifier表示分类器，cls_logits表示分类预测得分结果，box_pred表示预测框的参数值。图5中，2K scores表示分类预测得分结果的数据维度为2K，4K coordinates表示预测框的参数值的数据维度为4K，anchor box表示RPN结构生成的预测框。
第二阶段中的第三Faster R-CNN网络结构如图6所示。对第三Faster R-CNN网络进行了轻量化设计：
1)将TST R-CNN模型主干网络backbone替换为mobilenet-V2
MobileNet v2网络是由***团队在2018年提出的，相比MobileNet V1网络，准确率更高，模型更小。网络中的主要结构有：Inverted Residuals(倒残差结构)和LinearBottlenecks(结构的最后一层采用线性层)
2)添加注意力模块CBAM
CBAM包含2个独立的子模块，通道注意力模块(Channel Attention Module，CAM)和空间注意力模块(Spartial Attention Module，SAM)，分别进行通道与空间上的Attention。这样不只能够节约参数和计算力，并且保证了其能够作为即插即用的模块集成到现有的网络架构中去。CBAM具***置见图4-1蓝色部分。增加CBAM注意力机制，很好地学习利用目标区域的信息并从中聚合特征，提高了绝缘子缺陷的检测精度。
第一阶段和第二阶段的网络性能评价指标均包括：
(1)交并比
交并比的概念来自于数学中的集合，当描述两个集合A和B之间的关系时，使用集合的交集来表示包含的共同元素。而在检测任务中，使用交并比(Intersection of Union，IOU)描述两个框之间的重回度，如图7所示，左上方为标记的真实边界框B，右下方为预测的边界框A，交并比的公式如式(3-1)所示：
结合公式可以看出，IOU即为预测框A与真实标记框B的交集和并集的比值。在目标检测算法中，人为设定阈值N，若IOU＞N，则预测框归为前景，反之则归为背景。IOU阈值的合理设置有利于提高检测的精度。
(2)边界框回归
在目标检测算法中，使用边界框回归操作对预测的边界框位置进行修正，如图8中，使用最外侧窗口G表示实际的边界框位置，最内侧P表示预测框位置，这种情况下由于IOU较小，并没有将绝缘子完全预测，甚至可能被归为背景类别。此时需要对预测框进行微调，使得与真实的框位置更加接近，调整后的框在图中如G'所示。
对于窗口，一般使用(x,y,w,h)表示，分别代表窗口的中心点坐标和宽高。回归操作总体分为平移和尺度缩放，微调后的预测框G'与预测前的P之间，边界框参数之间的关系为：
G'x＝Pwdx(P)+Px (3-2)
G'y＝Phdy(P)+Py (3-3)
G'w＝Pwexp(dw(P)) (3-4)
G'h＝Phexp(dh(P)) (3-5)
其中，Px，Py，Pw，Ph分别代表候选框的中心点x，y坐标，以及宽高；G'x，G'y，G'w，G'h分别代表最终预测框的中心点x，y坐标，以及宽高。由此，预测框的边界框回归问题转化为d*(P)(*代表(x,y,w,h))求解的问题。在论文的研究过程中，记
即为特征与权重参数的乘积，因此使用最小二乘法或梯度下降法求解，权重w*的表达式为:
其中，(tx,tv)代表平移量，(tw,th)指缩放量。
tx＝(Gx-Px)/Pw (3-7)
ty＝(Gy-Py)/Ph (3-8)
tw＝log(Gw/Pw) (3-9)
th＝log(Gh/Ph) (3-10)
对比
为预测框的实际偏移量，损失函数定义为：
通过(3-6)～(3-11)求得实际偏移量最接近预测偏移量时的权重参数，得到
再由(3-2)～(3-5)得到微调后的预测框，完成整个边界框回归的过程。公式(3-6)中
表示优化过程中的权重参数，λ表示平衡系数，用于平衡分类损失和边界框回归损失，
表示第i个锚框对应的真值，N表示预测框的个数。公式(3-7)～(3-10)中Gx、Gy、Gw、Gh分别表示图像标注框的中心点x，y坐标，以及宽高。
(3)损失函数计算
TST R-CNN算法由两个阶段的FasterR-CNN组成，其中的损失主要分为RPN损失和Faste RCNN损失，两类损失都包括了分类损失(cls loss)和回归损失(bbox regressionloss)。其中，RPN的损失函数定义为式(3-12)所示，Faste RCNN网络与之类似。
其中，Pi表示第i个anchor预测为真实标签的概率；P* i在正样本时为1，负样本时为0；ti表示预测第i个anchor的边界框回归参数；t* i表示第i个anchor对应的真实目标边界框的边界框回归参数；Ncls表示小批量数据的多少；Nreg表示anchor位置的个数。
其中对于单样本的分类损失，根据交叉熵损失函数，其定义如下式：
相应的，其回归损失的定义为：
其中，
函数的定义如下：
对于(3-14)式，ti＝[tx，ty，tw，th]以及
各个参数的计算方法为：
tx＝(x-xa)/wa (3-16)
tv＝(y-ya)/ha (3-17)
tw＝log(w/wa) (3-18)
th＝log(h/ha) (3-19)
其中，(x,y,w,h)，(xa，ya，wa，ha)，(x*,y*,w*,h*)分别对应预测框、锚框以及实际边界框的中心坐标及宽高。
步骤S7，根据待检测的带缺陷的绝缘子图像，依次利用所述绝缘子检测模型和所述缺陷检测模型，获得绝缘子的缺陷图像。
TST R-CNN算法检测效果如图9所示。实验结果可验证，本文方法大幅降低了模型的参数量，提高了绝缘子缺陷的定位检测速度和精度和算法的部署能力，使用一种基于FasterR-CNN的两级检测网络TST R-CNN算法，先对绝缘子局部位置进行裁剪，再训练缺陷的检测权重，大大降低了复杂背景对缺陷检测的干扰。
本发明提出了一种基于Faster R-CNN的两级检测网络TST R-CNN，将TST R-CNN模型主干网络backbone替换为mobilenet-V2，增加注意力机制CBAM。先对绝缘子局部位置进行裁剪，再训练缺陷的检测权重。本发明的主要工作包括：
(1)分别收集无人机巡检采集的正常绝缘子图像及带缺陷的绝缘子图像，各自作为两个训练阶段的数据集。运用Label Img工具对数据集进行标注，建立了PASCALVOC格式的绝缘子数据集，按照训练需要进行划分。在第二阶段训练过程中，针对绝缘子局部图像数量不足的问题，调用imgaug图像增强库对样本数据集进行增强，保证了第二阶段训练数据的可靠性。
(2)为了满足精度要求，本发明提出的TST R-CNN目标检测模型通过将绝缘子局部图像裁剪后再训练缺陷检测权重，大大降低了复杂背景对缺陷检测的干扰，解决了样本数据量小的问题。
(3)将TST R-CNN模型主干网络backbone替换为轻量化网络mobilenet-V2，增加CBAM注意力机制，很好的学习利用目标信息并从中聚合特征，提高了绝缘子缺陷的检测精度和检测速度。
本发明提出的一种融合迁移学习的输电线路绝缘子缺陷的检测方法，以FasterR-CNN算法作为基线模型，提出了融合迁移学习的两级的目标检测模型TST R-CNN(Two-Stage Transfer R-CNN)，有效解决了图像背景复杂、样本数据量小的问题。针对绝缘子局部图像数量不足的问题，调用imgaug图像增强库对样本数据集进行增强，缓解小数据集训练不充分的问题。增加CBAM注意力机制，很好地学习利用目标区域的信息并从中聚合特征，提高了绝缘子缺陷的检测精度。
本发明实施例还提供了一种融合迁移学习的输电线路绝缘子缺陷检测***，***包括：
数据集构建模块，用于构建正常绝缘子数据集和缺陷绝缘子数据集；所述正常绝缘子数据集包括正常绝缘子图像和对正常绝缘子的标注；所述缺陷绝缘子数据集包括带缺陷的绝缘子图像和对带缺陷的绝缘子的标注；
第一训练模块，用于利用正常绝缘子数据集训练第一Faster R-CNN网络，并将训练后的第一Faster R-CNN网络的绝缘子检测权重迁移至第二Faster R-CNN网络，获得Faster R-CNN迁移网络；
第二训练模块，用于采用缺陷绝缘子数据集训练Faster R-CNN迁移网络，获得绝缘子检测模型；
绝缘子定位模块，用于将缺陷绝缘子数据集中每张带缺陷的绝缘子图像分别输入至绝缘子检测模型，对绝缘子图像中的绝缘子进行定位，输出多张带有绝缘子标注框的绝缘子图像；
绝缘子裁剪模块，用于在每张带有绝缘子标注框的绝缘子图像中沿着标注框进行裁剪，并对裁剪得到的绝缘子的缺陷部分进行标注；
第三训练模块，用于采用由多张裁剪得到的绝缘子图像和对缺陷部分进行的标注所构成的缺陷数据集训练第三Faster R-CNN网络，获得缺陷检测模型；
缺陷检测模块，用于根据待检测的带缺陷的绝缘子图像，依次利用所述绝缘子检测模型和所述缺陷检测模型，获得绝缘子的缺陷图像。
***还包括：增强模块，用于调用imgaug图像增强库增强裁剪得到的绝缘子图像的数量。
第三Faster R-CNN网络将Faster R-CNN网络的主干网络backbone替换为mobilenet-V2，并在Faster R-CNN网络的池化层和全连接层之间添加了注意力模块CBAM。
第一Faster R-CNN网络、所述第二Faster R-CNN网络和所述第三Faster R-CNN网络的损失均包括RPN损失和Faste RCNN损失，RPN损失和Faste RCNN损失均包括分类损失和回归损失。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种融合迁移学习的输电线路绝缘子缺陷检测方法，其特征在于，所述方法包括：
构建正常绝缘子数据集和缺陷绝缘子数据集；所述正常绝缘子数据集包括正常绝缘子图像和对正常绝缘子的标注；所述缺陷绝缘子数据集包括带缺陷的绝缘子图像和对带缺陷的绝缘子的标注；
利用正常绝缘子数据集训练第一Faster R-CNN网络，并将训练后的第一Faster R-CNN网络的绝缘子检测权重迁移至第二Faster R-CNN网络，获得Faster R-CNN迁移网络；
采用缺陷绝缘子数据集训练Faster R-CNN迁移网络，获得绝缘子检测模型；
将缺陷绝缘子数据集中每张带缺陷的绝缘子图像分别输入至绝缘子检测模型，对绝缘子图像中的绝缘子进行定位，输出多张带有绝缘子标注框的绝缘子图像；
在每张带有绝缘子标注框的绝缘子图像中沿着标注框进行裁剪，并对裁剪得到的绝缘子的缺陷部分进行标注；
采用由多张裁剪得到的绝缘子图像和对缺陷部分进行的标注所构成的缺陷数据集训练第三Faster R-CNN网络，获得缺陷检测模型；
根据待检测的带缺陷的绝缘子图像，依次利用所述绝缘子检测模型和所述缺陷检测模型，获得绝缘子的缺陷图像。
2.根据权利要求1所述的方法，其特征在于，所述在每张带有绝缘子标注框的绝缘子图像中沿着标注框进行裁剪，之后还包括：
调用imgaug图像增强库增强裁剪得到的绝缘子图像的数量。
3.根据权利要求1所述的方法，其特征在于，所述第三Faster R-CNN网络将Faster R-CNN网络的主干网络backbone替换为mobilenet-V2，并在Faster R-CNN网络的池化层和全连接层之间添加了注意力模块CBAM。
4.根据权利要求1所述的方法，其特征在于，所述第一Faster R-CNN网络、所述第二Faster R-CNN网络和所述第三Faster R-CNN网络的损失均包括RPN损失和Faste RCNN损失，RPN损失和Faste RCNN损失均包括分类损失和回归损失。
5.一种融合迁移学习的输电线路绝缘子缺陷检测***，其特征在于，所述***包括：
数据集构建模块，用于构建正常绝缘子数据集和缺陷绝缘子数据集；所述正常绝缘子数据集包括正常绝缘子图像和对正常绝缘子的标注；所述缺陷绝缘子数据集包括带缺陷的绝缘子图像和对带缺陷的绝缘子的标注；
第一训练模块，用于利用正常绝缘子数据集训练第一Faster R-CNN网络，并将训练后的第一Faster R-CNN网络的绝缘子检测权重迁移至第二Faster R-CNN网络，获得FasterR-CNN迁移网络；
第二训练模块，用于采用缺陷绝缘子数据集训练Faster R-CNN迁移网络，获得绝缘子检测模型；
绝缘子定位模块，用于将缺陷绝缘子数据集中每张带缺陷的绝缘子图像分别输入至绝缘子检测模型，对绝缘子图像中的绝缘子进行定位，输出多张带有绝缘子标注框的绝缘子图像；
绝缘子裁剪模块，用于在每张带有绝缘子标注框的绝缘子图像中沿着标注框进行裁剪，并对裁剪得到的绝缘子的缺陷部分进行标注；
第三训练模块，用于采用由多张裁剪得到的绝缘子图像和对缺陷部分进行的标注所构成的缺陷数据集训练第三Faster R-CNN网络，获得缺陷检测模型；
缺陷检测模块，用于根据待检测的带缺陷的绝缘子图像，依次利用所述绝缘子检测模型和所述缺陷检测模型，获得绝缘子的缺陷图像。
6.根据权利要求5所述的***，其特征在于，所述***还包括：
增强模块，用于调用imgaug图像增强库增强裁剪得到的绝缘子图像的数量。
7.根据权利要求5所述的***，其特征在于，所述第三Faster R-CNN网络将Faster R-CNN网络的主干网络backbone替换为mobilenet-V2，并在Faster R-CNN网络的池化层和全连接层之间添加了注意力模块CBAM。
8.根据权利要求5所述的***，其特征在于，所述第一Faster R-CNN网络、所述第二Faster R-CNN网络和所述第三Faster R-CNN网络的损失均包括RPN损失和Faste RCNN损失，RPN损失和Faste RCNN损失均包括分类损失和回归损失。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210829669.6A CN115205256A (zh) | 2022-07-14 | 2022-07-14 | 一种融合迁移学习的输电线路绝缘子缺陷检测方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210829669.6A CN115205256A (zh) | 2022-07-14 | 2022-07-14 | 一种融合迁移学习的输电线路绝缘子缺陷检测方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115205256A true CN115205256A (zh) | 2022-10-18 |
Family
ID=83582438
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210829669.6A Pending CN115205256A (zh) | 2022-07-14 | 2022-07-14 | 一种融合迁移学习的输电线路绝缘子缺陷检测方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115205256A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115546568A (zh) * | 2022-12-01 | 2022-12-30 | 合肥中科类脑智能技术有限公司 | 绝缘子缺陷检测方法、***、设备及存储介质 |
| CN116152258A (zh) * | 2023-04-23 | 2023-05-23 | 广东电网有限责任公司佛山供电局 | 一种输电线路绝缘子缺陷检测方法、装置、设备及介质 |
| CN117274723A (zh) * | 2023-11-22 | 2023-12-22 | 国网智能科技股份有限公司 | 一种用于输电巡检的目标识别方法、***、介质及设备 |
-
2022
- 2022-07-14 CN CN202210829669.6A patent/CN115205256A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115546568A (zh) * | 2022-12-01 | 2022-12-30 | 合肥中科类脑智能技术有限公司 | 绝缘子缺陷检测方法、***、设备及存储介质 |
| CN115546568B (zh) * | 2022-12-01 | 2023-03-10 | 合肥中科类脑智能技术有限公司 | 绝缘子缺陷检测方法、***、设备及存储介质 |
| CN116152258A (zh) * | 2023-04-23 | 2023-05-23 | 广东电网有限责任公司佛山供电局 | 一种输电线路绝缘子缺陷检测方法、装置、设备及介质 |
| CN117274723A (zh) * | 2023-11-22 | 2023-12-22 | 国网智能科技股份有限公司 | 一种用于输电巡检的目标识别方法、***、介质及设备 |
| CN117274723B (zh) * | 2023-11-22 | 2024-03-26 | 国网智能科技股份有限公司 | 一种用于输电巡检的目标识别方法、***、介质及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109118479B (zh) | 基于胶囊网络的绝缘子缺陷识别定位装置及方法 | |
| CN115205256A (zh) | 一种融合迁移学习的输电线路绝缘子缺陷检测方法及*** | |
| CN112183667B (zh) | 一种协同深度学习的绝缘子故障检测方法 | |
| CN111444939B (zh) | 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法 | |
| CN108038846A (zh) | 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及*** | |
| CN109389180A (zh) | 一款基于深度学习的电力设备图像识别方法及巡查机器人 | |
| Liao et al. | Study on power line insulator defect detection via improved faster region-based convolutional neural network | |
| Adou et al. | Insulator faults detection based on deep learning | |
| CN111242144B (zh) | 电网设备异常的检测方法和装置 | |
| CN109034035A (zh) | 基于显著性检测和特征融合的行人重识别方法 | |
| CN113592822A (zh) | 一种电力巡检图像的绝缘子缺陷定位方法 | |
| CN113920400A (zh) | 一种基于改进YOLOv3的金属表面缺陷检测方法 | |
| Wang et al. | Insulator defect recognition based on faster R-CNN | |
| CN111680759B (zh) | 一种电网巡检绝缘子检测分类方法 | |
| CN111046950A (zh) | 一种图像处理方法、装置、存储介质和电子装置 | |
| Xu et al. | Detection method of insulator based on single shot multibox detector | |
| Wang et al. | Railway insulator detection based on adaptive cascaded convolutional neural network | |
| CN113536944A (zh) | 基于图像识别的配电线路巡检数据识别及分析方法 | |
| Lian et al. | Insulator defect detection algorithm based on improved YOLOv5 | |
| Chen et al. | Real-time detection of UAV detection image of power line insulator bursting based on YOLOV3 | |
| Zhang et al. | Pavement crack detection based on deep learning | |
| CN115100546A (zh) | 一种基于mobilenet的电力设备小目标缺陷识别方法及*** | |
| Luo et al. | SOLOv2-cable: A power cable segmentation algorithm in complex scenarios | |
| Lv et al. | Research on Insulator Defect Detection and Recognition in Overhead Transmission Line Based on Convolutional Neural Network | |
| CN114202536A (zh) | 一种基于AT-EnFCM-SCNN的灾害环境特征提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |