CN109615611A - 一种基于巡检影像的绝缘子自爆缺陷检测方法 - Google Patents

Abstract

本发明提供一种基于巡检影像的绝缘子自爆缺陷检测方法，包括：获取电力巡线无人机拍摄的包括有玻璃绝缘子的待检测巡检影像并人工标注少量绝缘子自爆缺陷；在仿真***中批量生成包含绝缘子缺陷的虚拟巡检影像；对真实和虚拟影像进行滤波增强处理，得到滤波增强后的巡检影像联合训练集；利用联合训练集训练基于Faster R‑CNN深度学习网络获取绝缘子自爆缺陷检测模型；检测模型可对所述滤波增强后的待检测巡检影像进行检测，确定所述包括有玻璃绝缘子的待检测巡检影像中是否包括自爆缺陷。本发明提供的方法解决了以往深度学习训练中大数据训练集数量不足问题；提高了绝缘子自爆缺陷检测的准确率。

Description

一种基于巡检影像的绝缘子自爆缺陷检测方法

技术领域

本发明涉及电网运维技术领域，并且更具体地，涉及一种基于巡检影像的绝缘子自爆缺陷检测方法。

背景技术

玻璃绝缘子在电网运行中应用广泛，是无人机巡检的重点拍摄部件。玻璃绝缘子的集中自爆可能会造成线路跳闸故障，危及线路稳定运行。

近年来电力巡线无人机已经得到推广应用，产生了海量巡检影像。由人工来判读巡检影像并检测绝缘子自爆缺陷，效率低、主观性强、一致性差，极大地限制了运维工作效率。而目前已有的基于巡检影像自动检测绝缘子自爆缺陷的方法的正确率和漏检率都无法满足应用需求。

发明内容

本发明提供了一种基于巡检影像的绝缘子自爆缺陷检测方法，以解决目前绝缘子自爆缺陷检测方法的正确率和漏检率都无法满足应用需求的问题。

本发明提供的巡检影像的绝缘子自爆缺陷检测方法，包括：

获取电力巡线无人机拍摄的包括有玻璃绝缘子缺陷的多幅真实巡检影像并人工标注绝缘子自爆缺陷；

生成包含绝缘子自爆缺陷的虚拟巡检影像并自动标注绝缘子自爆缺陷；

对真实巡检影像、虚拟巡检影像进行滤波增强处理，得到滤波增强后的真实巡检影像和虚拟巡检影像；

按照预先设定的数量比组合滤波增强后的真实巡检影像和虚拟巡检影像，构成联合训练集；

利用联合训练集训练基于Faster R-CNN深度学习网络，确定绝缘子自爆缺陷检测模型，绝缘子自爆缺陷检测模型在确定真实巡检影像或虚拟巡检影中绝缘子所属的自爆缺陷类型时，针对相应的自爆缺陷类型的置信度大于预先设定的检出阈值。

进一步地，自爆缺陷类型包括：玻璃绝缘子串中单片自爆、玻璃绝缘子串中连续多片自爆、玻璃绝缘子串中金具连接端单片自爆和玻璃绝缘子串金具连接端多片自爆。

进一步地，的绝缘子自爆缺陷检测方法，还包括：

获取电力巡线无人机拍摄的包括有玻璃绝缘子的待检测巡检影像；

对待检测巡检影像进行滤波增强处理，得到滤波增强后的待检测巡检影像；

利用绝缘子自爆缺陷检测模型检测，滤波增强后的待检测巡检影像，以确定包括有玻璃绝缘子的待检测巡检影像中是否包括自爆缺陷。

进一步地，进行滤波增强处理，包括：

1)采用四邻域中值滤波遍历巡检影像，得到中值滤波后的巡检影像；

2)采用具有0°、45°、90°和135°这4个方向模板的Sobel边缘算子遍历中值滤波后的巡检影像，得到边缘突出的巡检影像；

3)利用四邻域灰度对比法，对边缘突出的待检测巡检影像消噪，得到滤波增强后的巡检影像。

进一步地，利用四邻域灰度对比法，对边缘突出后的待检测巡检影像消噪，得到滤波增强后的待检测巡检影像，包括：

对任一像素点f(x,y)，若|f(x,y)-f(x+i,y+j)|＞TH，对于任意i＝-1,1；j＝-1,1均成立，则像素点为噪声点；其中，阈值TH为不小于20的常数；

将确定为噪声点的像素点的灰度值指定为255。

进一步地，生成包含绝缘子自爆缺陷的虚拟巡检影像并自动标注绝缘子自爆缺陷，包括：

1)利用激光扫描仪测量具有不同自爆缺陷类型的玻璃绝缘子及正常的玻璃绝缘子的实物，获得实物的三维几何数据；

2)根据三维几何数据，分别针对不同自爆缺陷类型的绝缘子片、正常绝缘子片、连接件建立三维虚拟模型，并渲染得到有缺陷的绝缘子影像、正常的绝缘子影像和金具连接件的影像；

3)根据预先设定的规律，生成绝缘子串虚拟影像，在绝缘子串虚拟影像的不同区域随机地分布有至少一个有缺陷的绝缘子；

4)对生成的绝缘子串虚拟影像从多个不同角度模拟拍照，将拍照结果渲染输出为图片影像格式，并记录有缺陷的绝缘子及邻近的正常绝缘子所在区域的像素点的坐标信息。

进一步地，人工标注绝缘子自爆缺陷包括：

人工标注获取的具有不同自爆缺陷类型的玻璃绝缘子的真实巡检影像中的自爆缺陷区域及其邻近的正常绝缘子片或金具连接端所在的区域。

进一步地，

自动标注绝缘子自爆缺陷包括：

确定多个不同拍摄视角下具有不同自爆缺陷类型的玻璃绝缘子的虚拟标影中自爆缺陷绝缘子片及其邻近的正常绝缘子片或金具连接端所在的区域的像素点的坐标信息。

进一步地，还包括：

在确定包括有玻璃绝缘子的待检测巡检影像中包括自爆缺陷后，将贴合具有自爆缺陷的绝缘子片及其两端邻近的正常绝缘子所在像素区域的最小外接矩形叠加在待检测巡检影像上。

进一步地，利用联合训练集训练基于Faster R-CNN深度学习网络，确定绝缘子自爆缺陷检测模型时，

若针对相应的自爆缺陷类型的置信度大于预先设定的检出阈值，则确定检测结果有效，并在巡检影像中用矩形框标记绝缘子自爆缺陷所在的区域；

若针对相应的自爆缺陷类型的置信度不大于预先设定的检出阈值，则确定检测结果无效。

本发明提供的巡检影像的绝缘子自爆缺陷检测方法，利用滤波增强突出虚拟影像和真实影像中的目标几何特征以及特征的拟合性。采用联合训练集训练Faster R-CNN模型，解决了以往深度学习训练中大数据训练集数量不足问题，同时降低了大规模人工标注巡检影像中缺陷目标的人工成本。

附图说明

通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：

图1为本发明优选实施方式的基于巡检影像的绝缘子自爆缺陷检测方法的流程示意图；

图2是本发明优选实施方式的基于巡检影像的绝缘子自爆缺陷检测方法中滤波增强步骤的流程示意图；

图3是本发明优选实施方式中基于巡检影像的绝缘子自爆缺陷检测方法的流程示意图。

具体实施方式

现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。

除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。

在基于巡检影像进行电力设备缺陷检测时，有两类问题一直未能有完备的解决方案，一是各平台获取的巡检设备缺陷影像数据集的缺失问题，二是从相似的正常状态绝缘子部件中准确定位出绝缘子的自爆缺陷位置。从电力无人机获取的巡检影像中检测绝缘子自爆缺陷位置兼具以上两类问题。

因此，采用深度学习技术来展开基于巡检影像的玻璃绝缘子自爆检测具有重要意义。深度学习技术中必然涉及到训练深度学习网络。在训练深度学习网络时，需要大量经过标注的绝缘子自爆缺陷影像标准样本作为深度学习网络的训练集和测试集。

为了获取数量充足的经过标注的绝缘子自爆缺陷影像标准样本，就需要由电力无人机去获取不同拍摄角度下的各类型绝缘子的自爆缺陷标准影像，并由人工对这些自爆缺陷标准影像进行信息标注。这两项工作的时间和人力成本都非常高昂。

另一个需要关注的事实是，虽然当前电力无人机获取的电力设备巡检影像的分辨率越来越高，但是受到拍摄距离的限制，绝缘子自爆缺陷影像在整张巡检影像中的区域范围较小，其特征信息容易淹没在周围的环境中，且极易受到附近正常绝缘子的干扰，因此，即使是人工作业，从巡检影像中准确定位自爆缺陷的绝缘子目标也很困难。

此外，由于电力***中玻璃绝缘子自爆缺陷的发生率比较低，基于自爆缺陷的玻璃绝缘子的数量比较少，要完成多角度大批量采集包含绝缘子自爆缺陷的巡检影像尤为困难，而这将导致目标设备缺陷样本的数量难以满足深度学习网络训练和测试需要的数据要求。缺陷样本的数量不足，导致生成的检测模型出现过拟合现象，而造成识别效果不稳定。

因此，对于目标检测领域表现最好的深度学习技术，由于受到现有神经网络容量限制，原始分辨率的巡检影像在经过卷积处理和降采样层之后，尺寸较小的绝缘子自爆目标会失去特征信息，更加难以识别。

本发明提供一种基于巡检影像的绝缘子自爆缺陷检测方法，包括：获取电力巡线无人机拍摄的包括有玻璃绝缘子的待检测巡检影像并人工标注少量绝缘子自爆缺陷；在仿真***中批量生成包含绝缘子缺陷的虚拟巡检影像；对真实和虚拟影像进行滤波增强处理，得到滤波增强后的巡检影像联合训练集；利用联合训练集训练基于Faster R-CNN深度学习网络获取绝缘子自爆缺陷检测模型；检测模型可对所述滤波增强后的待检测巡检影像进行检测，确定所述包括有玻璃绝缘子的待检测巡检影像中是否包括自爆缺陷。

本发明提出了“生成虚拟样本-目标自动标记-组成联合训练集-滤波增强预处理-训练深度学习检测模型”这一完整的技术路线。本发明提供的方法利用批量生成的虚拟巡检影像，解决了以往深度学习训练中大数据训练集数量不足问题，同时降低了大规模人工标注巡检影像中缺陷目标的人工成本；采用滤波增强突出虚拟影像和真实影像中的目标几何特征以及特征的拟合性；采用联合训练集训练Faster R-CNN模型，提高了绝缘子自爆缺陷检测的准确率。

如图1所示，本发明实施例的巡检影像的绝缘子自爆缺陷检测方法，包括：

S10：获取电力巡线无人机拍摄的包括有玻璃绝缘子缺陷的多幅真实巡检影像并人工标注绝缘子自爆缺陷；

S20：生成包含绝缘子自爆缺陷的虚拟巡检影像并自动标注绝缘子自爆缺陷；

S30：对真实巡检影像、虚拟巡检影像进行滤波增强处理，得到滤波增强后的真实巡检影像和虚拟巡检影像；

S40：按照预先设定的数量比组合滤波增强后的真实巡检影像和虚拟巡检影像，构成联合训练集；

S50：利用联合训练集训练基于Faster R-CNN深度学习网络，确定绝缘子自爆缺陷检测模型，绝缘子自爆缺陷检测模型在确定真实巡检影像或虚拟巡检影中绝缘子所属的自爆缺陷类型时，针对相应的自爆缺陷类型的置信度大于预先设定的检出阈值。

应该理解为，电力巡线无人机拍摄的包括有玻璃绝缘子缺陷的多幅真实巡检影像中，包括有各种典型的缺陷类型。应该理解为，绝缘子自爆缺陷检测模型在确定真实巡检影像或虚拟巡检影中绝缘子所属的自爆缺陷类型时，针对相应的自爆缺陷类型的置信度大于预先设定的检出阈值；若置信度不大于预先设定的检出阈值，则进一步对自爆缺陷类型的结构参数或权重参数进行调整，直到针对所有具有典型的缺陷类型的巡检影像都满足检出的置信度大于预先设定的检出阈值。

具体实施时，该绝缘子自爆缺陷检测方法，还包括：

获取电力巡线无人机拍摄的包括有玻璃绝缘子的待检测巡检影像；

对待检测巡检影像进行滤波增强处理，得到滤波增强后的待检测巡检影像；

利用绝缘子自爆缺陷检测模型检测，滤波增强后的待检测巡检影像，以确定包括有玻璃绝缘子的待检测巡检影像中是否包括自爆缺陷。

应该理解为，包括有玻璃绝缘子的待检测巡检影像中可能包括自爆缺陷，也可能不包括自爆缺陷。

在包括有玻璃绝缘子的待检测巡检影像中可能包括的自爆缺陷类型包括：玻璃绝缘子串中单片自爆、玻璃绝缘子串中连续多片自爆、玻璃绝缘子串中金具连接端单片自爆和玻璃绝缘子串金具连接端多片自爆。

具体实施时，该绝缘子自爆缺陷检测方法，进行滤波增强处理，包括：

1)采用四邻域中值滤波遍历巡检影像，得到中值滤波后的巡检影像；

2)采用具有0°、45°、90°和135°这4个方向模板的Sobel边缘算子遍历中值滤波后的巡检影像，得到边缘突出的巡检影像；

3)利用四邻域灰度对比法，对边缘突出的待检测巡检影像消噪，得到滤波增强后的巡检影像。

具体实施时，该绝缘子自爆缺陷检测方法，利用四邻域灰度对比法，对边缘突出后的待检测巡检影像消噪，得到滤波增强后的待检测巡检影像，包括：

对任一像素点f(x,y)，若|f(x,y)-f(x+i,y+j)|＞TH，对于任意i＝-1,1；j＝-1,1均成立，则像素点为噪声点；其中，阈值TH为不小于20的常数；

将确定为噪声点的像素点的灰度值指定为255。

具体实施时，该绝缘子自爆缺陷检测方法，生成包含绝缘子自爆缺陷的虚拟巡检影像并自动标注绝缘子自爆缺陷，包括：

1)利用激光扫描仪测量具有不同自爆缺陷类型的玻璃绝缘子及正常的玻璃绝缘子的实物，获得实物的三维几何数据；

2)根据三维几何数据，分别针对不同自爆缺陷类型的绝缘子片、正常绝缘子片、连接件建立三维虚拟模型，并渲染得到有缺陷的绝缘子影像、正常的绝缘子影像和金具连接件的影像；

3)根据预先设定的规律，生成绝缘子串虚拟影像，在绝缘子串虚拟影像的不同区域随机地分布有至少一个有缺陷的绝缘子；

4)对生成的绝缘子串虚拟影像从多个不同角度模拟拍照，将拍照结果渲染输出为图片影像格式，并记录有缺陷的绝缘子及邻近的正常绝缘子所在区域的像素点的坐标信息。

具体实施时，该绝缘子自爆缺陷检测方法中，人工标注绝缘子自爆缺陷包括：

人工标注获取的具有不同自爆缺陷类型的玻璃绝缘子的真实巡检影像中的自爆缺陷区域及其邻近的正常绝缘子片或金具连接端所在的区域。

具体实施时，该绝缘子自爆缺陷检测方法中，自动标注绝缘子自爆缺陷包括：

确定多个不同拍摄视角下具有不同自爆缺陷类型的玻璃绝缘子的虚拟标影中自爆缺陷绝缘子片及其邻近的正常绝缘子片或金具连接端所在的区域的像素点的坐标信息。

经过标注后，扩大了缺陷区域，形成了缺陷组合区域，从而有利于目标检测。具体地，缺陷组合区域包括以下类型：

具有自爆缺陷的单片绝缘子片及其两端邻近的正常绝缘子片所在的像素点的集合；或

具有连续的自爆缺陷的多片绝缘子片及分别在两端邻近多片绝缘子片的两片正常绝缘子片所在的像素点的集合；

金具连接端、与金具连接的具有自爆缺陷的首片绝缘子及与首片绝缘子相邻的下一片正常的绝缘子片所在的像素点的集合；

金具连接端、与金具连接的连续的具有自爆缺陷的多片绝缘子及与多片绝缘子相邻的下一片正常的绝缘子片所在的像素点的集合。

具体实施时，该绝缘子自爆缺陷检测方法，还包括：

在确定包括有玻璃绝缘子的待检测巡检影像中包括自爆缺陷后，将贴合具有自爆缺陷的绝缘子片及其两端邻近的正常绝缘子所在像素区域的最小外接矩形叠加在待检测巡检影像上。

具体实施时，该绝缘子自爆缺陷检测方法，

利用联合训练集训练基于Faster R-CNN深度学习网络，确定绝缘子自爆缺陷检测模型时，

若针对相应的自爆缺陷类型的置信度大于预先设定的检出阈值，则确定检测结果有效，并在巡检影像中用矩形框标记绝缘子自爆缺陷所在的区域；

若针对相应的自爆缺陷类型的置信度不大于预先设定的检出阈值，则确定检测结果无效。

本实施例提出的绝缘子自爆缺陷检测方法以电力无人机巡检影像中玻璃绝缘子自爆缺陷为检测目标，利用自爆缺陷的绝缘子及相邻的正常绝缘子的结构特征较丰富这一特性建立组合识别模型，并作为绝缘子自爆缺陷的待检测目标；采用虚拟引擎渲染数据与少量真实巡检影像共同构建训练集；将原始的影像数据经滤波增强后用于训练Faster R-CNN深度学习网络，生成准确率满足要求的检测模型；用生成的检测模型处理电力无人机获取的巡检影像，可以有效地检测出绝缘子自爆缺陷。

本实施例提出的绝缘子自爆缺陷检测方法提高了绝缘子自爆检测的准确率，从而可以有效提升输电线路运维工作效率。

以下详细说明本实施例提出的绝缘子自爆缺陷检测方法。

1)、制作虚拟绝缘子三维模型

1.1绝缘子目标区域选择

由于具有自爆缺陷的绝缘子片这一检测目标在电力巡检影像中的相对范围较小，本实施例将检测目标扩大到具有自爆缺陷的绝缘子片及其两端邻近的正常绝缘子片。

具有自爆缺陷的绝缘子片和其两端邻近的正常绝缘子片占据的组合区域在巡检影像中具有合适的大小，特征鲜明，且相对稳定，作为基于深度学习网络生成的检测模型的输入，可以提高检出准确率。

具体地，具有自爆缺陷的绝缘子片和其两端邻近的正常绝缘子片占据的组合区域有以下3种情况：

在绝缘子串中，具有自爆缺陷的绝缘子片的区域为自爆缺陷位置；若其左右两侧相邻的两片绝缘子片均正常，则以该正常的两片绝缘子片为这个具有自爆缺陷的组合区域的边界。

若在绝缘子串中，存在连续多片具有自爆缺陷的绝缘子片，则直到其左右两侧相邻的两片绝缘子均为正常时，以该正常的两片绝缘子片为这个具有自爆缺陷的组合区域的边界。

若在绝缘子串与金具连接处的首片绝缘子具有自爆缺陷，则以该自爆绝缘子与金具连接端至相邻的下一片正常的绝缘子片为这个具有自爆缺陷的组合区域的边界。

在基于深度学习网络生成检测模型时，所使用的训练集或检测中的每一个标准影像样本中，至少包括以上3种类型的组合区域中的一种。

1.2绝缘子自爆缺陷目标定义分类

本实施例的缺陷样本包括玻璃绝缘子串中单片自爆、玻璃绝缘子串中连续多片自爆、玻璃绝缘子串中金具连接端单片自爆和玻璃绝缘子串金具连接端多片自爆这四类玻璃绝缘子自爆缺陷目标，并以正常安装的玻璃绝缘子串作为对照样本，进行后续的缺陷检测试验。

1.3真实绝缘子部件三维激光扫描

采用激光扫描仪精准测量绝缘子及其连接件，以获得绝缘子精确的建模数据。

具体地，用激光扫描仪分别扫描玻璃绝缘子串中单片自爆、玻璃绝缘子串中连续多片自爆、玻璃绝缘子串金具连接端单片自爆、玻璃绝缘子串金具连接端多片自爆等这四类玻璃绝缘子自爆缺陷的标准样本及作为对照的正常安装的玻璃绝缘子串，从而获取正常和有缺陷的各类绝缘子的精确三维几何信息。

1.4虚拟样本建模

具体地，虚拟样本建模时，采用具有较强建模功能和渲染能力的3DMax软件。输入利用激光扫描仪获取的绝缘子各部件的精确三维信息，选用多边形方法对绝缘子片和对应的连接金具进行建模，即可得到精确的三维绝缘子组合及绝缘子自曝缺陷模型。

也可以采用Geomagic软件进行数据处理和三维建模。并采用Unity3D渲染组件让模型达到接近现实的效果。

另外，对绝缘子自爆缺陷，则需要设计函数，使得四类缺陷，在虚拟的绝缘子串的不同区域随机地生成。

应该理解为，一个有效的虚拟影像样本中，至少包括以上4种缺陷类型中的至少一类。

1.5生成含绝缘子自爆缺陷的虚拟巡检影像样本

在无人机电力巡检中，无人机通常会沿着架空输电线路飞行，在规定的作业位置拍摄目标设备巡检影像。在生成虚拟巡检影像样本时，根据无人机巡检的拍摄特点对虚拟场景中的虚拟相机进行控制，从而模拟真实无人机电力巡检中的拍摄角度，使生成的虚拟样本最大限度地接近真实无人机巡检影像。

具体地，借助Unity3D游戏引擎中的相机(Camera)功能，对绝缘子串进行模拟拍照，并将拍照结果渲染输出为通用的图片影像格式；并记录虚拟影像中绝缘子缺陷位置的像素坐标信息及生成对应的绝缘子自爆部位的标注信息文件，其中，该标注信息文件中记录有绝缘子自爆缺陷的缺陷属性和自爆位置所在矩形区域的四个顶点处像素坐标值。

上述生成虚拟影像和标注信息的方法既解决了巡检影像中绝缘子自爆缺陷样本稀少的问题，又大幅减少了人工标注的工作量。

将以上虚拟影像绝缘子自爆缺陷样本和由电力无人机获取的真实影像绝缘子自爆缺陷样本按照设定的比例进行组合，共同作为基于深度学习网络生成检测模型时的训练集或测试集。

2)、影像滤波增强

绝缘子自爆缺陷目标均有相对突出的几何轮廓特征，本实施例引入滤波增强步骤，进一步增强巡检影像中绝缘子自爆缺陷目标的边缘梯度信息，同时弱化背景噪声对检测结果的影响，以增加绝缘子自爆缺陷目标的检出概率。影像滤波增强的具体步骤如图2所示。

2.1.图像中值滤波

图像中的边缘与噪声在频域中均表现为高频成分。在检测之前对图像进行滤波处理，以减少噪声对边缘检测的影响。

优选地，采用中值滤波。中值滤波时，用一个固定大小的窗口在图像上逐点扫描，把窗口内的像素按灰度大小排列，并取灰度居中的灰度值作为窗口中心的像素的灰度值。

具体地，对于一幅分辨率为M×N的巡检影像，记巡检影像中每一个像素点的灰度值为f(x,y)，采用四邻域中值滤波对影像进行遍历，中值滤波后，记巡检影像中每一个像素点的灰度值为G(x,y)：

G(x,y)＝MED{f(x-1,y),f(x,y-1),f(x,y+1),f(x+1,y),f(x,y)}

其中，MED为取中值的函数。

2.2.增加Sobel方向模板

图像的边缘有很多方向，除了水平和垂直方向以外，还有其他的边缘方向，如45°等。

为了增加像素点检测边缘的精度，将经典Sobel边缘算子的方向模板由2个增加为4个，分别为：

依次以以上4个方向模板分别遍历每一幅巡检影像。如，在重采样操作时，对每一个像素点f(x,y)，其灰度的重采样值为以其为中心点的3×3区域内的像素值按照以上模板的权重加权计算后的灰度值。

2.3消除噪声点

绝缘子自爆缺陷影像中所有的潜在目标，其边缘具有方向和幅度这两个特征。垂直于边缘走向，像素灰度值变化剧烈；沿着边缘走向，像素灰度值变化平缓，即沿着边缘点方向，总能找到灰度值和方向相差很小的另一边缘点。

由于噪声是随机的，任一噪声像素点沿边缘方向很难找到灰度值和方向相差很小的另一噪声点。

本实施例利用这一基本思想，将实际边缘点与噪声点区分开来。具体地，对于一幅具体的数字图像，在利用4方向模板Sobel算子检测出边缘点之后，对任一像素点f(x,y)若|f(x,y)-f(x+i,y+j)|＞TH，对于任意i＝0,-1,1；j＝0,-1,1均成立，则可判断该像素点为噪声点；优选地，阈值TH的值为30。

随后，则从图像中，将该噪声点f(x,y)去除。具体地，将该点的灰度值赋值为255，将噪声点变成为白色背景。

通过以上操作，已经弱化了目标物的颜色和背景纹理，同时突出目标物的轮廓和形状的特征，可以在一定程度上避免深度学习判别规则在虚拟影像细节处出现过拟合现象。

以上滤波处理未改变原始巡检影像的分辨率，因此待检测的巡检影像经滤波增强处理后经基于深度学习网络的检测模型检测后，输出的目标区域的像素点坐标与在原始影像中的像素点坐标相同；因此，在输出检测结果时，可以将绝缘子自爆区域的矩形标记框作为图层叠加在在原始影像中进行显示。

3)、Faster R-CNN深度学习网络检测绝缘子自爆缺陷

本实施例采用在深度学习领域广泛应用的Faster R-CNN深度学习网络，FasterR-CNN深度学习网络在目标检测的准确率和计算效率上具有显著的优势。

Faster R-CNN深度学习网络由共享权值层及其后并行连接的区域提取网络(Region proposal network，以下简称RPN)和目标检测网络(Fast R-CNN，以下简称FRCN)组成。

本实施例中的Faster R-CNN深度学习网络在共享权值层采用16层VGG16网络。

区域提取网络RPN是一个具有多个卷积层结构的全卷积网络。RPN通过判断最后一层特征中每一个像素位置处该像素属于待检测目标的概率，向FRCN网络提供候选区域的像素坐标初值以供检测。FRCN又分为两个并行的外接框回归网络和目标类别分值网络。

利用少量的真实巡检影像与生成的虚拟巡检影像及其对应的缺陷区域标注信息构成、训练集来训练Faster R-CNN深度学习网络，并获得绝缘子自爆缺陷检测模型，该检测模型用于绝缘子自爆缺陷检测，输出满足概率置信度阈值条件的绝缘子自爆缺陷目标区域的像素点坐标。

进一步处理后，可以在巡检图像中以矩形框的方式突出显示自爆缺陷目标区域。

绝缘子自爆缺陷检测的过程具体为：输入待检测的巡检影像，通过Faster R-CNN深度学习网络共享权值层采用VGG16网络对输入影像逐层进行逐像素卷积操作，生成对应层内所有像素的所有特征向量；将特征向量输入并行的区域提取网络RPN和目标检测网络FRCN，将所有潜在绝缘子自爆目标区域像素的特征向量与训练后生成的绝缘子自爆缺陷标准特征向量比较，经循环迭代求解，其匹配概率为置信度得分值；确定大于预先指定的阈值的绝缘子自爆缺陷的区域像素点坐标为检测到的目标区域。该目标区域具有一个对应的置信度得分值。

具体实施时，基于Faster R-CNN深度学习网络的检测模型检测绝缘子自爆缺陷的具体步骤如图3所示。

3.1输入巡检影像生成和提取待检测目标特征

将原始巡检影像输入至Faster R-CNN共享权值层，经过共享权值层VGG16网络前13层的多层卷积和下采样处理；处理后的原始巡检影像可反映图中一些非表征的隐含信息，并已经排除了无关图像信息的干扰。

本实施例中，在共享权值层的VGG16网络中，设置卷积核为3×3像素的滑动窗口。对于每一个滑动窗口，可以生成多维特征向量，记为k个；则对于卷积神经网络每层w×h规格的特征影像，对应地生成w×h×k个特征向量。

该滑动窗口顺序地遍历原始输入图像，并逐层下采样，将获取的特征向量输入区域特征提取网络RPN。

具体地，卷积运算提取的是不同的特征，有些是颜色分布，有些是纹理特征，有些是边界特征，有些是角点特征等；这个提取过程是盲目的。

这些初步提取的特征经过后面几个卷积层后，会得到表达能力更强的特征。卷积运算的结果可以看成是模板匹配程度计算的过程。

具体地，针对巡检影像，可以通过标准VGG16卷积神经网络生成512维全连接特征向量。

3.2深度挖掘图像特征信息

将生成的512维全连接特征向量输入具有外接框回归网络和目标类别分值网络的FRCN的这两个分支的全连接层，由全连接层整合特征并交由分类器进行分类处理，生成判定规则，作为后续绝缘子目标的检测依据。

采用卷积的方式实现全连接处理的优势是使得输入影像的尺寸没有限定，可处理任意分辨率的巡检原始图像。

在基于Faster R-CNN深度学习网络的检测模型中，预测层RPN和判定层FRCN这两个分支的作用分别如下：

1、RPN：用于判定绝缘子自爆缺陷目标提取特征的中心点的像素坐标x、y和宽高w、h；

2、FRCN：用于判定该特征属于待识别绝缘子目标或图片中非目标背景。采用滑动窗口的处理方式保证遍历以上两个分支关联卷积层的全部特征空间，其卷积结果输入区域特征提取网络RPN，进行下一轮循环迭代。

上述过程通过以下规则迭代计算实现。

1、训练区域特征提取网络，初始模型采用ImageNet预训练模型进行初始化，与VGG16网络中共有的层参数可以直接拷贝经ImageNet训练得到的模型中的参数；

2、用区域特征提取网络RPN与目标类别分值网络FRCN，交替训练，提取绝缘子自爆像素区域特征。

3、各层损失函数采用用标准差＝0.01的高斯分布。

4、初始化共用卷积层，迭代执行1,2,3，迭代50000次，训练结束。

5、生成黑箱判别规则，根据上述计算，对原始输入图像的每个像素区域，均生成了黑箱式判别规则，具体为区域像素的黑箱特征计算，置信度值取值范围为由0至1；当置信度为1时，记为完全匹配。

本实施例中置信度评分计算采用Faster R-CNN算法源码，未经改动。

3.3定位绝缘子缺陷目标像素区域

a、将不同类型的窗口采集到的特征降维到固定维度。

将输入的待检测巡检影像进行卷积操作下采样后，输入分类层，采用在3.2中生成的判别规则，分类层给出滑动窗口内包含目标的置信度得分，对预先设定的大小为0～1之间的置信度阈值，其中，得分高的矩形像素区域作为正样本，得分低的认为是负样本，并舍弃。

如预先给定的置信度阈值为给定0.9，则置信度大于等于0.9时，认为检测结果有效，并进一步显示检测到的目标区域；若低于0.9，则认为检测结果错误。

b、当分类层给出的结果判定该像素区域内大于置信度阈值时，认为该像素区域内有绝缘子自爆缺陷目标，需要对目标的位置框进一步回归校正，使识别结果输出的矩形框区域精确贴合绝缘子自爆缺陷目标像素区域的最小外接矩形。

位置回归校正计算中的重叠度判断阈值通过IOU计算，IOU＝两框交集区域面积/两框并集面积。当输出的两个像素区域面积重叠度其值大于0.3时，认为以上两个区域可能存在重复输出，需要重新进行回归计算，消除多余的重复输出。

若输入图像内对应的绝缘子自爆目标像素区域与原始输入巡检影像中的目标的真实区域的重叠度大于等于设定IOU阈值(如，0.5)，则判定该像素区域有绝缘子目标，设置区域标签为1；若重叠率小于IOU阈值(如，0.5)，则设置区域标签为0，认为该区域像素为非目标的背景区域。

c、对于标签为1的区域，寻找映射回输入图像的坐标与图像中真实的目标坐标之间的映射关系，完成回归定位过程，确定绝缘子区域像素坐标位置。标签为0的区域认为是错误识别，不参与后续运算。

d、通过回归校正，对目标进行分类，并且使用多任务损失函数边框回归算法，得出下采样图像中目标的精确边界框的坐标，之后逐级恢复至巡检图像原始分辨率，输出原始巡检影像像素坐标系下绝缘子自爆缺陷目标区域的最小外接矩形四个顶点的像素坐标，绘制矩形并高亮显示，供人工审核。

以下对基于巡检影像的绝缘子自爆缺陷检测方法，分阶段进行完整的说明。

1.绝缘子及缺陷设备三维建模

利用游标卡尺测量连接金具、卡扣等小金具的精确尺寸，采用多边形建模生成立体模型；

激光扫描仪扫描正常玻璃绝缘子串各类设备部件，以及四类缺陷绝缘子自爆缺陷的三维立体信息，并在虚拟仿真软件中建模。

2.生成虚拟样本

针对无人机巡检影像中绝缘子自爆缺陷样本不足问题，依据获取的绝缘子等部件的三维信息在虚拟显示软件中批量生成巡检影像。像素分辨率可任意设置，推荐分辨率在6000×4000至1024×768之间的任意分辨率。虚拟影像样本中包含程序生成的各类绝缘子自爆缺陷目标，推荐每张虚拟样本巡检影像中绝缘子缺陷的数量不少于3个，在绝缘子串两端连接金具间各正常绝缘子片安装位置随机生成。虚拟影像样本绝缘子自爆缺陷的标记信息由程序自动生成。

3.人工标注少量真实巡检影像

人工标注包含绝缘子自爆缺陷500张真实巡检影像，其中各类型绝缘子自爆缺陷数量尽量均衡，标记各类绝缘子自爆缺陷目标区域的最小外接矩形，作为训练集中绝缘子缺陷的标准目标区域，并同步对应生成标注信息。

4.组成训练集

本实施例的深度学***衡训练Faster R-CNN模型识别的精度与人工标注的成本。

其中，真实巡检影像的分辨率涵盖6000×4000至1024×768现有各巡检平台主流分辨率，并附加有线路信息(如线路名、电压等级、所属省市公司等)。

5.滤波增强

采用滤波增强预处理训练集的虚拟和真实巡检影像，尽可能增强虚拟影像和真实影像中的目标几何轮廓特征的权重，并增强虚拟影像与真实影像的拟合性。

6.训练Faster R-CNN模型

将训练集与对应的标注信息输入Faster R-CNN深度学习网络，训练绝缘子自爆缺陷检测模型。

以上已经通过参考少量实施方式描述了本发明。然而，本领域技术人员所公知的，正如附带的专利权利要求所限定的，除了本发明以上公开的其他的实施例等同地落在本发明的范围内。

通常地，在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释，除非在其中被另外明确地定义。所有的参考“一个/所述/该[装置、组件等]”都被开放地解释为所述装置、组件等中的至少一个实例，除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行，除非明确地说明。

Claims (10)

1.一种基于巡检影像的绝缘子自爆缺陷检测方法，其特征在于，包括：

获取电力巡线无人机拍摄的包括有玻璃绝缘子缺陷的多幅真实巡检影像并人工标注绝缘子自爆缺陷；

生成包含绝缘子自爆缺陷的虚拟巡检影像并自动标注绝缘子自爆缺陷；

对所述真实巡检影像、所述虚拟巡检影像进行滤波增强处理，得到滤波增强后的真实巡检影像和虚拟巡检影像；

按照预先设定的数量比组合滤波增强后的真实巡检影像和虚拟巡检影像，构成联合训练集；

利用所述联合训练集训练基于Faster R-CNN深度学习网络，确定绝缘子自爆缺陷检测模型，所述绝缘子自爆缺陷检测模型在确定所述真实巡检影像或虚拟巡检影中绝缘子所属的自爆缺陷类型时，针对相应的自爆缺陷类型的置信度大于预先设定的检出阈值。

2.如权利要求1所述的绝缘子自爆缺陷检测方法，其特征在于，

所述自爆缺陷类型包括：玻璃绝缘子串中单片自爆、玻璃绝缘子串中连续多片自爆、玻璃绝缘子串中金具连接端单片自爆和玻璃绝缘子串金具连接端多片自爆。

3.如权利要求1所述的绝缘子自爆缺陷检测方法，其特征在于，还包括：

获取电力巡线无人机拍摄的包括有玻璃绝缘子的待检测巡检影像；

对所述待检测巡检影像进行滤波增强处理，得到滤波增强后的待检测巡检影像；

利用所述绝缘子自爆缺陷检测模型检测，所述滤波增强后的待检测巡检影像，以确定所述包括有玻璃绝缘子的待检测巡检影像中是否包括自爆缺陷。

4.如权利要求1所述的绝缘子自爆缺陷检测方法，其特征在于，

所述进行滤波增强处理，包括：

1)采用四邻域中值滤波遍历巡检影像，得到中值滤波后的巡检影像；

2)采用具有0°、45°、90°和135°这4个方向模板的Sobel边缘算子遍历所述中值滤波后的巡检影像，得到边缘突出的巡检影像；

3)利用四邻域灰度对比法，对所述边缘突出的待检测巡检影像消噪，得到滤波增强后的巡检影像。

5.如权利要求1所述的绝缘子自爆缺陷检测方法，其特征在于，

所述利用四邻域灰度对比法，对所述边缘突出后的待检测巡检影像消噪，得到滤波增强后的待检测巡检影像，包括：

对任一像素点f(x,y)，若|f(x,y)-f(x+i,y+j)|＞TH，对于任意i＝-1,1；j＝-1,1均成立，则所述像素点为噪声点；其中，阈值TH为不小于20的常数；

将确定为噪声点的像素点的灰度值指定为255。

6.如权利要求1所述的绝缘子自爆缺陷检测方法，其特征在于，

所述生成包含绝缘子自爆缺陷的虚拟巡检影像并自动标注绝缘子自爆缺陷，包括：

1)利用激光扫描仪测量具有不同自爆缺陷类型的玻璃绝缘子及正常的玻璃绝缘子的实物，获得所述实物的三维几何数据；

2)根据所述三维几何数据，分别针对不同自爆缺陷类型的绝缘子片、正常绝缘子片、连接件建立三维虚拟模型，并渲染得到有缺陷的绝缘子影像、正常的绝缘子影像和金具连接件的影像；

3)根据预先设定的规律，生成绝缘子串虚拟影像，在所述绝缘子串虚拟影像的不同区域随机地分布有至少一个有缺陷的绝缘子；

4)对生成的绝缘子串虚拟影像从多个不同角度模拟拍照，将拍照结果渲染输出为图片影像格式，并记录有缺陷的绝缘子及邻近的正常绝缘子所在区域的像素点的坐标信息。

7.如权利要求1所述的绝缘子自爆缺陷检测方法，其特征在于，

所述人工标注绝缘子自爆缺陷包括：

人工标注获取的具有不同自爆缺陷类型的玻璃绝缘子的真实巡检影像中的自爆缺陷区域及其邻近的正常绝缘子片或金具连接端所在的区域。

8.如权利要求1所述的绝缘子自爆缺陷检测方法，其特征在于，

所述自动标注绝缘子自爆缺陷包括：

确定多个不同拍摄视角下具有不同自爆缺陷类型的玻璃绝缘子的虚拟标影中自爆缺陷绝缘子片及其邻近的正常绝缘子片或金具连接端所在的区域的像素点的坐标信息。

9.如权利要求3所述的绝缘子自爆缺陷检测方法，其特征在于，还包括：

在确定所述包括有玻璃绝缘子的待检测巡检影像中包括自爆缺陷后，将贴合具有自爆缺陷的绝缘子片及其两端邻近的正常绝缘子所在像素区域的最小外接矩形叠加在所述待检测巡检影像上。

10.如权利要求1所述的绝缘子自爆缺陷检测方法，其特征在于，

利用所述联合训练集训练基于Faster R-CNN深度学习网络，确定绝缘子自爆缺陷检测模型时，

若针对相应的自爆缺陷类型的置信度大于预先设定的检出阈值，则确定检测结果有效，并在巡检影像中用矩形框标记绝缘子自爆缺陷所在的区域；

若针对相应的自爆缺陷类型的置信度不大于预先设定的检出阈值，则确定检测结果无效。