CN110618129A - 一种电网线夹自动检测与缺陷识别方法及装置 - Google Patents

Abstract

本发明公开了一种电网线夹自动检测与缺陷识别方法，包括以下步骤：通过图像采集模块获取线夹图片；对线夹图片进行训练获取线夹类型；对线夹图片进行分类删选；对故障线夹进行识别并输出。本发明还公开一种电网线夹自动检测与缺陷识别装置。本发明通过图像采集模块对输电线路上的线夹进行图像采集，通过采用Faster R‑CNN技术对线夹图片进行训练，采用增广训练技术，解决了对于新的线夹特征需要重新训练造成的时间长，模型更新周期慢的缺陷，对线夹的故障检测，极大地节省了检修成本，使巡线***更为高效和智能。

Description

一种电网线夹自动检测与缺陷识别方法及装置

技术领域

本发明涉及架空输电线路安全技术领域，尤其涉及一种电网线夹自动检测与缺陷识别方法及装置。

背景技术

在架空输电线路中，各种输电线犬牙交错，输电线之间可能会相互缠绕、拉扯、震动，这些都容易导致线路断股，严重威胁到架空输电线路的安全可靠运行。线夹是架空输电线路中的重要器件，可以包裹起大量输电线路，对输电线路起到保护和辅助减振的作用，极大地延长了输电线路的使用年限。但是架空输电线路用于远距离电力传输，期间必然会跨越不同的自然环境。在经历长时间风吹日晒后，线夹会产生各种缺陷，导致线夹不能发挥原本的作用。所以在架空输电线路的巡检过程中，线夹的缺陷检测是巡检的重要工作。更重要的是：线夹的种类繁多，我们需要区分大量不同种类的线夹。在目前的架空输电线路的巡检过程中，人工巡检非常耗时，且巡检人员的工作存在一定的危险性。

近年来，随着无人机技术的快速发展，以及高效稳定的无人机在其他领域的应用。国内许多电力公司开始陆续采用无人机来辅助巡检工作。通过无人机拍摄的图片，获取线夹图片，通过对线夹图片的检测进行缺陷识别。在当前的目标检测领域，卷积神经网络的应用使得目标检测的性能有了一个极大的飞跃，Faster R-CNN属于两阶段目标检测算法，第一步，提取proposal；第二步，经过分类和回归完成目标检测，分类则是标出感兴趣目标的类别，回归则是对物体的bounding box（边界框）做出修正。YOLO和SSD属于单阶段的检测算法，直接通过分类和回归实现目标检测；Faster R-CNN属于两阶段目标检测算法，可以实现达到比单阶段检测算法更高的精度。该方法不仅从目标的颜色和纹理，并从多种特征多颜色通道对目标提取特征，通过卷积可以过滤一部分噪声以及环境干扰，保持精准的识别率，这对于线夹在背景复杂的情况下仍能保持较高的识别率意义重大。

线夹种类繁多，在电网线夹检测模型上线运行后往往会出现新的电网线夹因前期没有训练数据而全部漏检，利用大量线夹数据去训练Faster R-CNN模型，从而使模型能够收敛，从而能够拟合出待检测图片中的线夹，达到检测出线夹并对其做出分类的目的。然而，在实际应用中，大量的不同特征的线夹，例如外观、纹理很难能够一次就能收集完，那么出现了新特征的线夹，当前的解决方案是将现收集到的数据和之前收集到的数据统一起来重新进行训练，这样的解决方案就有一个缺陷，随着新收集的数据的加入，使得整体数据越来越多，模型训练越来越慢，模型更新周期越来越长，严重影响了工作效率。

发明内容

针对上述现有技术存在不足，本发明提供一种电网线夹自动检测与缺陷识别方法及装置，针对于新增类别对全连接层做增广训练，从而实现电网线夹目标检测模型的快速更新换代以及电网线夹缺陷的自动识别。

本发明采用的技术方案为：

一种电网线夹自动检测与缺陷识别方法，包括以下步骤：

通过图像采集模块获取线夹图片；

对线夹图片进行训练获取线夹类型；

对线夹图片进行分类删选；

对故障线夹进行识别并输出。

作为本发明的进一步技术方案为：所述通过图像采集模块获取线夹图片，具体包括：采用无人机和摄像装置相结合的拍摄方式，对输电线路上的线夹进行拍摄得到线夹图片。

作为本发明的进一步技术方案为：所述对线夹图片进行训练获取线夹类别；具体包括：

选取一定数量的线夹图片作为训练样本；

利用Fast R-CNN中的卷积核提取出线夹特征进行训练获得线夹类别。

作为本发明的进一步技术方案为：所述对线夹图片进行训练获取线夹类别；还包括：对于未分类的线夹图片进行增广训练，获取线夹增广类型。

进一步的，所述线夹特征包括线夹颜色、线夹轮廓、线夹纹理。

作为本发明的进一步技术方案为：所述对线夹图片进行分类删选；具体包括：

通过区域提议网络在线夹图片上产生包围框；

判断包围框内是否为目标线夹；

若包围框内为目标线夹，通过Fast R-CNN中的分类器辨别出其类别完成线夹图片的分类。

作为本发明的进一步技术方案为：对故障线夹进行识别并输出；具体包括：

对线夹故障点样本图片进行训练，获取线夹故障类别；

通过基于Fast R-CNN中的卷积核提取出目标线夹的包围框，

对包围框内的目标线夹进行故障定位，识别故障类型；

输出故障位置及故障类型。

本发明还提出一种电网线夹自动检测与缺陷识别装置，包括：

图像采集模块，用于获取线夹图片；

线夹类型训练模块，用于对线夹图片进行训练获取线夹类型；

线夹分类模块，用于对线夹图片进行分类删选；

线夹故障检测模块，用于对故障线夹进行识别并输出。

本发明的有益效果为：

本发明通过图像采集模块对输电线路上的线夹进行图像采集，通过采用 Faster R-CNN技术对线夹图片进行训练，获得线夹类型，实现对线夹类型的分类，同时通过对故障线夹进行训练识别，实现对输电线路的线夹器件的故障识别并定位出故障点同时检测出故障类型。本发明采用增广训练技术，通过对一部分线夹图片进行训练，对于后续增加的线夹特征类型可以通过全连接层做增广训练，解决了对于新的线夹特征需要重新训练造成的时间长，模型更新周期慢的缺陷，提高检测识别效率。

附图说明

图1为本发明提出的一种电网线夹自动检测与缺陷识别方法流程图；

图2为本发明提出的所述对故障线夹进行识别并输出流程图；

图3 为本发明提出的Faster R-CNN工作流程图；

图4为本发明提出的 Faster R-CNN网络结构图；

图5为本发明提出的一种电网线夹自动检测与缺陷识别装置结构图。

具体实施方式

本发明提供一种电网线夹自动检测与缺陷识别方法，本方法研究出现新的电网线夹目标类别时的模型增广训练技术。Faster R-CNN是以卷积层和池化层作为模型的前期和中期结构，可以笼统地称作特征提取部分，这部分最终产生的是一个高维矩阵形式的特征图，一般不会超过四维，最后送入全连接层进行分类，针对于新增类别对全连接层做增广训练，实现电网线夹目标检测模型的快速更新换代以及电网线夹缺陷的自动识别。

目标检测是指识别出图像中的感兴趣目标并且确定出目标的位置和大小；分类是主要是基于图像的内容对图像进行标记，通常会有一组固定的标签，建立的模型必须预测出最适合图像的标签。

训练模型就是利用大量已经标注过什么是线夹的图片数据去让网络“学会”什么是线夹，以及线夹的位置。即：将数据（已标注的图片）输入神经网络（每个神经元先输入值加权累加再输入激活函数作为该神经元的输出值）正向传播，得到得分；将“得分”输入损失函数（正则化惩罚，防止过度拟合），与期待值比较得到误差，多个则为和，通过误差判断识别程度（损失值越小越好）；通过反向传播（反向求导，损失函数和神经网络中每个激活函数都要求，最终目的是使误差最小）来确定梯度向量；最后通过梯度向量来调整每一个权值，向“得分”使误差趋于0或收敛的趋势调节；重复上述过程直到设定次数或损误差失的平均值不再下降（最低点）。

全连接层（fully connected layers，FC）在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在 CNN 中，全连接常出现在最后几层，用于对前面设计的特征做加权和。比如Faster R-CNN，前面的卷积和池化相当于做特征工程，后面的全连接相当于做特征加权。

本发明提供的技术方案总体思路如下：

本发明提供一种电网线夹自动检测与缺陷识别方法，通过电网线夹目标类别时的模型增广训练技术，即收集到新的数据后不会将其与之前的数据一起训练，而是指利用这些新收集的数据针对新增不同特征的线夹对全连接层做增广训练，这样极大地缩短的模型更新周期。提高电网线夹自动检测与缺陷识别的准确性。

以上是本申请的核心思想，为了使本技术领域的人员更好地理解本申请方案，下面结合附图对本申请作进一步的详细说明。应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。

实施例一

如图1所示，为本发明提出的一种电网线夹自动检测与缺陷识别方法流程图。

参照图1，一种电网线夹自动检测与缺陷识别方法，包括以下步骤：

步骤101，通过图像采集模块获取线夹图片；

步骤102，对线夹图片进行训练获取线夹类型；

步骤103，对线夹图片进行分类删选；

步骤104，对故障线夹进行识别并输出。

本发明实施例中，通过图像采集模块对输电线路上的线夹进行图像采集，通过采用 Faster R-CNN技术对线夹图片进行训练，获得线夹类型，实现对线夹类型的分类，同时通过对故障线夹进行训练识别，实现对输电线路的线夹器件的故障识别并定位出故障点同时检测出故障类型。本发明采用增广训练技术，通过对一部分线夹图片进行训练，对于后续增加的线夹特征类型可以通过全连接层做增广训练，解决了对于新的线夹特征需要重新训练造成的时间长，模型更新周期慢的缺陷，提高检测识别效率。

在步骤101中，所述通过图像采集模块获取线夹图片，具体包括：采用无人机和摄像装置相结合的拍摄方式，对输电线路上的线夹进行拍摄得到线夹图片。

具体为，通过无人机拍摄不同背景下、不同角度下的输电线路图片，增加样本的多样性，从而更好的提高模型的泛化能力。对于拍摄的图片进行筛选，删除不含有线夹的图片。

在步骤102中，所述对线夹图片进行训练获取线夹类别；具体包括：

选取一定数量的线夹图片作为训练样本；

利用Fast R-CNN中的卷积核提取出线夹特征进行训练获得线夹类别。

首先对获取的线夹图片进行处理训练，一定数量指首次获得的线夹图片，这些线夹图片作为训练样本，通过对线夹图片的处理得到线夹特征，从而确定线夹类型，对于后续拍摄获得的线夹图片，可以通过后续的增广训练增加未确定的线夹类型，对于一定数量不做限制，可以根据首次获得线夹图片确定，也可以选取其中一部分作为训练样本，具体以实际设计为准，可选的，将部分图像中的线夹作为训练样本并利用Fast R-CNN中的卷积核提取出线夹颜色、轮廓、纹理等特征作为特征向量进行训练。

其中，所述对线夹图片进行训练获取线夹类别；还包括：对于未分类的线夹图片进行增广训练，获取线夹增广类型。

遇到没有收集过的线夹图像时，不需要将所有图像都重新训练一遍，可采用本发明研究出的基于全连接层增广的模型增广训练的训练方法。具体方法就是对新收集的数据针对新增类别对全连接层做增广训练，也就是在原训练好的模型上进行模型微调。

本发明实施例中，所述对线夹图片进行分类删选；具体包括：

通过区域提议网络在线夹图片上产生包围框；

判断包围框内是否为目标线夹；

若包围框内为目标线夹，通过Fast R-CNN中的分类器辨别出其类别完成线夹图片的分类。

检测时，通过区域提议网络在图像上产生可能为目标的包围框，训练后的模型可对这些包围框进行判定，检测是否为目标线夹，可有效适用于各种不同类型的线夹的图像检测可定位出线夹所在图像位置，并且通过Fast R-CNN中的分类器辨别出其类别。

参见图2，为本发明提出的所述对故障线夹进行识别并输出流程图；

如图2所示，对故障线夹进行识别并输出，具体包括：

步骤141，对线夹故障点样本图片进行训练，获取线夹故障类别；

步骤142，通过基于Fast R-CNN中的卷积核提取出目标线夹的包围框；

步骤143，对包围框内的目标线夹进行故障定位，识别故障类型；

步骤144，输出故障位置及故障类型。

对于线夹故障定位：线夹故障的训练过程与检测同线夹分类，由于当线夹发生生锈故障或其他故障时，其特征与其它线夹存在差异，因此通过基于Fast R-CNN中的卷积核提取出其轮廓、纹理等特征可检测出线夹掉串故障所在包围框，并定位出故障位置。

基于Faster R-CNN的线夹故障检测分为两个检测过程：线夹分类检测与线夹故障定位。工作流程图如图1所示，对于无人机输电线路航拍的海量照片，有一大部分的照片不能用来检测线夹故障，故通过线夹分类检测，将些海量照片进行智能筛选并进行分类，为下一步进行故障检测奠定基础。线夹分类检测模块的训练正样本为各种类别的线夹，在复杂背景中节能达到识别。对于分类筛选出的照片，进行线夹故障检测与定位，该模块的训练正样本为线夹的故障点，故可用于线夹生锈的故障情况进行故障点定位，并在有故障线夹的图中用包围框框出故障点并显示故障类型，做到线夹故障的智能检测。

Faster R-CNN工作流程图如图3所示，Faster R-CNN方法包含2个CNN网络：区域提议网络RPN（Regional Proposal Network）和Fast R-CNN检测网络。其中RPN为全卷积网络，其核心思想是使用卷积神经网络直接产生区域提议，在图片中生成一系列多尺度多长宽比的候选框。Fast R-CNN基于RPN提取的候选框检测并识别其中的目标。

图4为Faster R-CNN网络结构图，具体检测过程如下：输入的图像首先通过卷积层，经过卷积和池化操作，缩减图像尺寸并深度提取图像特征，在最后一层卷基层上形成特征图，特征图为输入图像的深层卷积特征，同类物体的深层特征十分接近；而不同类物体的深层特征差异很大，即在特征图上物体具有很好的可分性。RPN网络在特征图上进行窗口滑动，提取出一系列候选框，并判断窗口为目标还是背景。最后通过Fast R-CNN 检测网络，该网络同样对特征图进行特征提取，将提取的区域特征和RPN提取的候选框一起经过ROIpooling层，ROI pooling层同时收集特征图与候选框，并进行区域特征提取，并将其送入后续的两层全连接层并通过softmax判定目标类别，同时显示目标所在图像的位置，并对检测框进行修正，使得检测框的位置更为准确。Faster R-CNN方法可进行分类与定位，可同时找出线夹的位置并识别其类型，同样的也可对线夹故障类型进行批量处理，高效而智能。

实施例二

基于与前述实施例中一种电网线夹自动检测与缺陷识别方法同样的发明构思，本发明还提供一种电网线夹自动检测与缺陷识别装置。

参见图5，一种电网线夹自动检测与缺陷识别装置，包括：

图像采集模块201，用于获取线夹图片；

线夹类型训练模块202，用于对线夹图片进行训练获取线夹类型；

线夹分类模块203，用于对线夹图片进行分类删选；

线夹故障检测模块204，用于对故障线夹进行识别并输出。

实施例一中的一种电网线夹自动检测与缺陷识别方法的各种变化方式和具体实例同样适用于本实施例的一种电网线夹自动检测与缺陷识别装置，通过前述对一种电网线夹自动检测与缺陷识别方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种电网线夹自动检测与缺陷识别装置，所以为了说明书的简洁，在此不再详述。

上述实施例为本发明的经典案例，但本发明的实施方式并不受上述实施例的限制。其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化等，均应为等效的置换方式，都包含在本发明的保护范围之内。

本申请是参照根据本申请实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，所属领域的普通技术人员参照上述实施例依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (8)

1.一种电网线夹自动检测与缺陷识别方法，其特征在于，包括以下步骤：

通过图像采集模块获取线夹图片；

对线夹图片进行训练获取线夹类型；

对线夹图片进行分类删选；

对故障线夹进行识别并输出。

2.根据权利要求1所述的方法，其特征在于，所述通过图像采集模块获取线夹图片，具体包括：采用无人机和摄像装置相结合的拍摄方式，对输电线路上的线夹进行拍摄得到线夹图片。

3.根据权利要求1所述的方法，其特征在于，所述对线夹图片进行训练获取线夹类别；具体包括：

选取一定数量的线夹图片作为训练样本；

利用Fast R-CNN中的卷积核提取出线夹特征进行训练获得线夹类别。

4.根据权利要求3所述的方法，其特征在于，所述对线夹图片进行训练获取线夹类别；还包括：对于未分类的线夹图片进行增广训练，获取线夹增广类型。

5.根据权利要求3所述的方法，其特征在于，所述线夹特征包括线夹颜色、线夹轮廓、线夹纹理。

6.根据权利要求1所述的方法，其特征在于，所述对线夹图片进行分类删选；具体包括：

通过区域提议网络在线夹图片上产生包围框；

判断包围框内是否为目标线夹；

若包围框内为目标线夹，通过Fast R-CNN中的分类器辨别出其类别完成线夹图片的分类。

7.根据权利要求1所述的方法，其特征在于，对故障线夹进行识别并输出；具体包括：

对线夹故障点样本图片进行训练，获取线夹故障类别；

通过基于Fast R-CNN中的卷积核提取出目标线夹的包围框，

对包围框内的目标线夹进行故障定位，识别故障类型；

输出故障位置及故障类型。

8.根据权利要求1-7中任一所述的方法提出一种电网线夹自动检测与缺陷识别装置，其特征在于，包括：

图像采集模块，用于获取线夹图片；

线夹类型训练模块，用于对线夹图片进行训练获取线夹类型；

线夹分类模块，用于对线夹图片进行分类删选；

线夹故障检测模块，用于对故障线夹进行识别并输出。