CN111915558B - 一种高压输电线销钉状态检测方法 - Google Patents

Abstract

本发明属于深度学习技术领域，具体涉及一种高压输电线销钉状态检测方法。本发明将销钉状态检测的注意力集中在装配销钉的特定区域——而不像传统方法那样检测整张图像，自动过滤大部分没有装配销钉的背景区域。此外，在轻量级骨干网基础上构建特征金字塔网络——而不像传统方法那样采用重量级网络，快速提取图像的多尺度特征。销钉状态检测的速度更快，检测精度也更高，抗干扰能力更强。

Description

一种高压输电线销钉状态检测方法

技术领域

本发明属于深度学习技术领域，具体涉及一种高压输电线销钉状态检测方法。

背景技术

高压输电线的螺纹紧固件包括螺栓、螺母和销钉。高压输电线存在导线舞动，铁塔本身也有高频振荡。这些恶劣的工作环境导致销钉存在松动脱落的可能，而销钉正是防止螺母脱落的关键部件，一旦螺纹紧固件失效，将直接导致电网发生严重故障。因此，设计一种高效准确的销钉状态检测技术，对于保障电网的安全经济运行至关重要。

目前，销钉状态检测主要依靠人工判别完成。近年来随着计算机视觉等领域的崛起，逐渐出现了在无人机航拍图像基础上，应用自动化检测算法实现销钉状态判别的技术。自动销钉状态检测的第一类方法采用两阶段思路，第一阶段采用尺度不变特征变换(ScaleInvariant Feature Transform,SIFT)、聚合通道特征(Aggregate Channel Features,ACF)等提取图像的局部特征，构造训练集，通过支持向量机(Support Vector Machine,SVM)、自适应提升(Adaptive Boosting,AdaBoost)等算法训练二分类器，结合滑动窗口技术检测图像中的螺纹紧固件，再辅以非最大值抑制(Non-Maximum Suppression,NMS)消除重复检测框。由于销钉就装配在螺栓穿过螺母的部分，所以检测到的螺纹紧固件区域就包含有销钉。第一阶段也有采用直方图反向投影，结合SIFT匹配定位螺纹紧固件的方法。第二阶段采用卷积神经网络(Convolutional Neural Network,CNN)对螺纹紧固件进行分类，判别其包含还是缺失销钉。自动销钉状态检测的第二类方法采用单阶段思路，将螺纹紧固件的检测和销钉状态的判别集成到一个阶段完成。采用特征金字塔网络(Feature PyramidNetwork,FPN)作为骨干网，通过添加自顶向下的隐连接强化标准卷积网络，构建图像丰富的多尺度特征金字塔。然后为FPN的每级输出并行添加两个子网络，一个用于预测物体的类别概率，一个用于回归物体的包围框。

由于拍摄角度多变，螺纹紧固件在图像上的纵横比不能近似为固定值，采用滑动窗口的第一类方法将不得不在图像金字塔上，应用多种长宽比的窗口来检测不同视角、不同距离的螺纹紧固件。这是一笔庞大的计算开销，且人工设计的特征难以保证分类器在实际应用场景有足够的精度。由于螺纹紧固件相对无人机拍摄的高清图像占比很小，在可支配的计算资源和可接受的延时条件下，第二类方法难以达到实用的检测精度。

发明内容

针对传统的销钉状态检测技术的不足，本发明提出了一种级联的销钉状态检测技术，能在复杂背景和成像条件下快速准确地检测螺纹紧固件，并准确判断销钉是否脱落。

为实现上述目的，本发明采用如下技术方案：

一种高压输电线销钉状态检测方法，包括以下步骤：

S1、构建训练数据集：利用无人机拍摄输电线路铁塔图像，拍摄环境的天气状况包括晴、雨、雪、雾，覆盖所有类型的导线和铁塔连接件、绝缘子和铁塔连接件，利用标注工具标注连接件和螺纹紧固件的外接矩形和类别，类别包括连接件、带销钉的螺纹紧固件、缺失销钉的螺纹紧固件；将标注后的图像分别作为连接件训练数据集和螺纹紧固件训练数据集；将数据集复制为两组，第一组移除螺纹紧固件的标注信息，作为训练连接件检测器的数据集；第二组以连接件为中心从原始图像中截取长度和宽度分别为连接件长宽两倍的子图像作为螺纹紧固件检测器训练图像。

S2、分别构建连接件检测神经网络和螺纹紧固件神经网络，将卷积层定义为Convn，特征金字塔定义为Stagen，n是指卷积层或特征金字塔的层数，连接件检测神经网络依次包括Conv1、最大池化层、Stage2、Stage3、Stage4；特征金字塔输出的张量表示为通道数×高度×宽度的形式，Stage4的输出为256×19×19，Stage3的输出为256×38×38，Stage2的输出为256×76×76；在上面设计的特征提取骨干网的基础上，构建3个执行目标检测任务的网络分支，用于在特征输出图上逐点预测目标的位置、大小和类别；将Stage4的输出输入第一网络分支，第一网络分支包括Stage5和Conv2，第一网络分支的输出为OC×19×19，OC＝3×(5+#classes)，其中“5”表示需要预测连接器或螺纹紧固件的横坐标、纵坐标、长度、宽度、存在的置信度等5个指标，#classes为需要检测的类别数；将Stage4的输出通过最近邻插值法，将特征图的分辨率扩大2倍为38×38后，与Stage3的输出融合后输入第二网络分支，第二网络分支包括Stage6和Conv3，第二网络分支的输出为OC×38×38；将Stage3的输出通过最近邻插值法，将特征图的分辨率扩大2倍为76×76后，与Stage2的输出融合后输入第三网络分支，第三网络分支包括Stage7和Conv4，第二网络分支的输出为OC×76×76；螺纹紧固件神经网络与连接件检测神经网络的结构相同；

S3、采用训练数据集对构建的神经网络进行训练：采用连接件训练数据集对连接件检测神经网络进行训练，螺纹紧固件训练数据对螺纹紧固件神经网络进行训练，训练方法为批量随机梯度下降法，损失函数为均方误差和二值交叉熵函数，最后的总损失为3个执行目标检测任务网络分支的损失之和，采用反向传播算法更新网络的参数，获得训练好的连接件检测神经网络和螺纹紧固件神经网络；

S4、将实时获取的输电线路铁塔图像，输入训练好的连接件检测神经网络，获得连接件区域，定义连接件区域的坐标为(xmin，ymin，xmax，ymax)，根据获得的坐标，计算感兴趣的销钉检测区域为(xmin-δx，ymin-δy，xmax+δx，ymax+δy)，其中δx和δy分别为水平和垂直方向的偏移量，取值为：δx＝(xmax-xmin)/2，δy＝(ymax-ymin)/2；将感兴趣的销钉检测区域输入训练好的螺纹紧固件神经网络，获得销钉状态检测结果。

本发明的有益效果为：将销钉状态检测的注意力集中在装配销钉的特定区域——而不像传统方法那样检测整张图像，自动过滤大部分没有装配销钉的背景区域，算法的抗干扰能力更强，不仅显著提升了算法的处理速度，而且也大大提升了销钉状态检测精度。此外，在轻量级骨干网基础上构建特征金字塔网络——而不像传统方法那样采用重量级网络，采用更为硬件友好的基本单元构建网络，在确保算法复杂度不高的前提下可构建更宽和更深的网络，意味着网络的特征表达能力更强，检测销钉状态的精度更高，并且检测的速度更快。

附图说明

图1为销钉状态检测的流程图；

图2为构建的特征网络结构示意图；

图3为矩形的交集和并集的面积比的计算方式示意图；

图4为轻量级网络ShuffleNetV2的结构示意图。

具体实施方式

下面结合附图和实施例对本发明进行进一步说明。

实施例

本例的处理流程如图1所示，数据收集和标注。利用无人机拍摄输电线路铁塔图像，拍摄环境要包括晴、雨、雪、雾等不同天气状况，覆盖所有类型的导线和铁塔连接件、绝缘子和铁塔连接件。利用标注工具标注连接件和螺纹紧固件的外接矩形和类别，类别包括连接件、带销钉的螺纹紧固件、缺失销钉的螺纹紧固件。

销钉数据预处理。由标注的连接件区域坐标，确定感兴趣(Region of Interest，ROI)的销钉状态检测区域。记连接件区域标注数据为(xmin，ymin，xmax，ymax)，设定(xmin-δx，ymin-δy，xmax+δx，ymax+δy)为感兴趣的销钉状态检测区域，其中δx和δy分别为水平和垂直方向的偏移量，取值为：δx＝(xmax-xmin)/2，δy＝(ymax-ymin)/2。根据销钉状态检测区域坐标从原始图像中裁剪出销钉状态检测区域，用于后续训练任务。

构建导线和绝缘子的连接件检测器以及销钉状态检测器。连接件和销钉采用同一种网络架构。采用轻量级网络ShuffleNetV2作为骨干网，同时添加FPN旁支构建图像的特征金字塔，然后从FPN的各级输出添加子网络，用于预测连接件或销钉的边框、置信度及类别概率。具体的骨干网主干部分配置见表1。其中Stagen(n＝1,2,...,7)采用如图4所示的基本构造单元，先采用图4左)的结构单元执行下采样，缩小特征图的分辨率，然后调用数次图4右)结构的单元强化缩小了分辨率的特征图的表达能力。

表1骨干网主干部分配置

构建三个等级的特征金字塔。骨干网主分支的Stage2、Stage3和Stage4的最后一层的输出作为构建特征金字塔的参考特征图，其分辨率分别为76×76、38×38和19×19，如附图二所示，三个等级的金字塔特征设定为256个通道。首先在Stage4之后接1×1的卷积，将特征的通道数减为256，然后采用最近邻插值法，将特征图的分辨率扩大2倍为38×38，这样处理之后特征的大小为256×38×38(张量采用通道数×高度×宽度的表示方式，下同)。类似的，Stage3的输出特征经1×1的卷积减为256个通道，成为256×38×38的特征，然后将上述两个等大的特征逐点相加，再以3×3的卷积对融合之后的特征进行处理，在保持通道数不变的前提下，削弱上采样引入的混叠效应。至于Stage4和Stage3融合之后的特征，和Stage2的输出特征的融合方式，和上述方法一致。最终特征金字塔输出三个等级的特征：256×19×19、256×38×38和256×76×76。

在上述设计的骨干网的基础上，从特征金字塔各级输出接入执行连接件或销钉检测任务的子网络。三个子网络由ShuffleNetV2基本单元、卷积层和输出层构成，如表2所示。其中的Stage5、Stage6和Stage7用于强化金字塔输出的特征，Conv2、Conv3和Conv4用于将特征的通道数规范到需要预测的变量个数。设定每个子网络负责预测3个尺度的边框，那么Conv2、Conv3和Conv4最终输出的通道数为3×(5+#classes)，其中#classes为需要检测的类别数。

表2检测子网络配置

注：OC＝3×(5+#classes)，#classes表示需要预测的类别数。

训练连接器检测器和销钉检测器。由于采用级联检测的策略，连接器检测器和销钉检测器需要分开训练。采用均方误差(Mean Square Error,MSE)度量连接器或销钉外接矩形的预测值和实际值的误差，二值交叉熵(Binary Cross Entropy,BCE)度量连接器或销钉类别概率的预测值和实际值的误差。采用批量随机梯度下降法(Stochastic GradientDescent,SGD)，结合冲量机制训练绝缘子检测器。初始学习率设置为0.001，冲量设置为0.9，正则项权重为0.0005，采用阶梯型学习率更新策略，总迭代次数设置为200，到总迭代次数的80％和90％时分别将学习率降低10倍。

在连接器和销钉数据集上评估本例采用方法的性能。将连接器和销钉数据集中的所有图像分别交给连接器检测器和销钉检测器处理，得到连接器和销钉的预测值。由于同一个物体可能有多个检测结果，所以需要对原始的预测输出进行非最大值抑制，合并相似的检测框。然后将NMS之后的预测值和标注值比较，计算平均准确率(Average Precision,AP)、处理速度等指标。其中，公式(1)用于判断连接器和销钉检测结果正确与否，如果连接器和销钉的预测框和实际框交集和并集的面积之比(Intersection over Union,IoU，参看附图二)大于0.5，认为这个检测结果是正确的，对应的真阳(True Positive,TP)就累加一，反之，则对应的假阳(False Positive,FP)就累加一。根据公式(2)，由TP和FP计算检测连接器和销钉的精确度。根据公式(3)，计算连接器和销钉检测器的召回率。其中的TP和FN之和就是标注的数据集中连接器和销钉的样本总数。然后由precision和recall计算P-R曲线的积分面积，得到AP。

在实际部署检测模型的时候，首先让连接件检测器处理原始图像，输出连接件子区域，然后按照数据预处理部分同样的方法获取感兴趣的销钉状态检测区域。对每个ROI调用销钉状态检测器处理，判断销钉是否脱落。

Claims (1)

1.一种高压输电线销钉状态检测方法，其特征在于，包括以下步骤：

S1、构建训练数据集：利用无人机拍摄输电线路铁塔图像，拍摄环境的天气状况包括晴、雨、雪、雾，覆盖所有类型的导线和铁塔连接件、绝缘子和铁塔连接件，利用标注工具标注连接件和螺纹紧固件的外接矩形和类别，类别包括连接件、带销钉的螺纹紧固件、缺失销钉的螺纹紧固件；将标注后的图像分别作为连接件训练数据集和螺纹紧固件训练数据集；

S2、分别构建连接件检测神经网络和螺纹紧固件神经网络，将卷积层定义为Convn，特征金字塔定义为Stagen，n是指卷积层或特征金字塔的层数，连接件检测神经网络依次包括Conv1、最大池化层、Stage2、Stage3、Stage4；特征金字塔输出的张量表示为通道数×高度×宽度的形式，Stage4的输出为256×19×19，Stage3的输出为256×38×38，Stage2的输出为256×76×76；将Stage4的输出输入第一网络分支，第一网络分支包括Stage5和Conv2，第一网络分支的输出为OC×19×19，OC＝3×(5+#classes)，其中，5表示需要预测的5个指标，分别为横坐标、纵坐标、长度、宽度、存在的置信度，#classes为需要检测的类别数；将Stage4的输出通过最近邻插值法，将特征图的分辨率扩大2倍为38×38后，与Stage3的输出融合后输入第二网络分支，第二网络分支包括Stage6和Conv3，第二网络分支的输出为OC×38×38；将Stage3的输出通过最近邻插值法，将特征图的分辨率扩大2倍为76×76后，与Stage2的输出融合后输入第三网络分支，第三网络分支包括Stage7和Conv4，第二网络分支的输出为OC×76×76；螺纹紧固件神经网络与连接件检测神经网络的结构相同；

S3、采用训练数据集对构建的神经网络进行训练：采用连接件训练数据集对连接件检测神经网络进行训练，螺纹紧固件训练数据对螺纹紧固件神经网络进行训练，训练方法为批量随机梯度下降法，损失函数为均方误差和二值交叉熵函数，最后的总损失为第一网络分支、第二网络分支和第三网络分支的损失之和，采用反向传播算法更新网络的参数，获得训练好的连接件检测神经网络和螺纹紧固件神经网络；

S4、将实时获取的输电线路铁塔图像，输入训练好的连接件检测神经网络，获得连接件区域，定义连接件区域的坐标为(xmin，ymin，xmax，ymax)，根据获得的坐标，计算感兴趣的销钉检测区域为(xmin-δx，ymin-δy，xmax+δx，ymax+δy)，其中δx和δy分别为水平和垂直方向的偏移量，取值为：δx＝(xmax-xmin)/2，δy＝(ymax-ymin)/2；将感兴趣的销钉检测区域输入训练好的螺纹紧固件神经网络，获得销钉状态检测结果。