CN108389197B - 基于深度学习的输电线路缺陷检测方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的输电线路缺陷检测方法，利用无人机巡检输电线路时拍摄的图像，或利用人工巡检时手机拍摄的图像，或利用输电杆塔上固定摄像头拍摄的视频截取图像，图像分辨率可以任意，通过从这些图像源中裁剪出检测目标，生成一个固定分辨率的图像作为训练样本，将这些包含各种输电线路缺陷的正负训练样本子图像输入到目标检测深度神经网络中进行学习，生成统一的包含所有输电线路缺陷的检测模型，再利用此统一的深度神经网络模型，对输入任意分辨率的输电线路图像进行自适应的全部缺陷检测，输出这幅图像中包含的全部缺陷类别并且标注出缺陷位置。

Description

基于深度学习的输电线路缺陷检测方法

技术领域

本发明涉及数字图像识别技术领域，尤其涉及基于深度学习算法的输电线路缺陷的智能检测领域，具体是指一种基于深度学习的输电线路缺陷检测方法。

背景技术

由于我国输电线路分布点多面广，所处地形复杂，自然环境恶劣，电力线及杆塔附件长期暴露在野外，受到持续的机械张力、雷击闪络、材料老化、人为的影响而产生倒塔、断股、磨损、腐蚀、受力等损伤。绝缘子还存在被雷击损伤，树木生长引起输电线放电，杆塔存在被偷窃等意外事件，因此为了安全和可靠地供电，输电线路缺陷检测智能化已日益显出其迫切性。通过基于深度学习算法的图像识别方法，能及时判别输电线路巡检图像中的各种缺陷隐患，可以避免人工慌检、漏检、误检情况，从而可以提高缺陷上报及处理效率。

在输电线路缺陷检测方法中，大部分现有技术只能识别一种缺陷，如只是对输电线路中的鸟巢进行识别，或只是对输电线路中绝缘子的缺失进行检测，或只是对输电线路中防震锤的缺失进行检测，或只是对输电线路中螺栓的缺失进行检测。而虽然可以对输电线路中的多个部件进行识别和定位的技术，但也没有对输电线路中的各种部件缺陷进行检测，其识别步骤也繁琐复杂，而且不能通过训练出的单一深度网络模型自适应地处理各种分辨率图像和对各种缺陷进行检测。

发明内容

本发明的目的是提供一种克服了上述现有技术的缺点，可应用于对电网输电线路元器件和设施的智能监测的输电线路缺陷检测的方法。

为了实现上述目的，本发明的基于深度学习的输电线路缺陷检测方法如下：

该基于深度学习的输电线路缺陷检测方法，其主要特点是，所述的方法包括以下步骤：

(1)对输电线路源图像进行处理而获取到训练样本，通过训练样本对深度神经网络进行训练，获取可用于输电线路缺陷检测的深度神经网络模型；

(2)向所述的深度神经网络模型中输入待检测的输电线路原始图像进行自适应缺陷检测；

(3)输出输电线路原始图像中可能存在的所有缺陷类别和在原始图像中的位置。

较佳地，所述的步骤(1)中对输电线路源图像进行处理而获取到训练样本包括以下步骤：

(1.1)对输电线路源图像进行裁剪，使其被裁剪为包含目标物缺陷的子图像；

(1.2)对包含目标物缺陷的子图像进行缩放，并生成具有第一固定分辨率的正负训练样本子图像，其中，正训练样本子图像为不包含目标物缺陷的子图像，负训练样本子图像为包含目标物缺陷的子图像；

(1.3)在正负训练样本子图像中标注目标物缺陷的类别和位置；

(1.4)将标注好目标物缺陷的类别和位置的正负训练样本子图像输入到深度神经网络中进行端到端的学习训练；

(1.5)当对深度神经网络的训练达到设定的精度要求或者迭代达到设定的次数后，生成能检测包含可用于输电线路缺陷检测的深度神经网络模型。

更佳地，所述的步骤(2)具体包括以下步骤：

(2.1)加载步骤(1)中获取的深度神经网络模型；

(2.2)将待检测的输电线路原始图像输入到该深度神经网络模型中，由该深度神经网络模型对输入其中的输电线路原始图像进行自适应缺陷检测。

更佳地，所述的步骤(2.2)中深度神经网络模型对输入其中的输电线路原始图像进行自适应缺陷检测包括：

对输电线路原始图像中的大目标物缺陷进行识别，以及对输电线路原始图像中的小目标物缺陷进行识别。

更佳地，所述的对输电线路原始图像中大目标物缺陷进行识别为：

将输电线路原始图像缩放至第二固定分辨率后，将缩放后的子图像输入到深度神经网络模型中进行正向传播运算，获取输电线路原始图像中的大目标物缺陷。

更佳地，所述的对输电线路原始图像中的小目标物缺陷进行识别为：

判断输电线路原始图像的分辨率，判断其是否大于预设阈值，若是，则将所述的输电线路图像切割为多个固定分辨率的子图像，并将各个固定分辨率的子图像都输入到所述的深度神经网络模型中进行正向传播运算，获取输电线路原始图像中的小目标物缺陷。

更佳地，所述的步骤(2.2)后还包括以下步骤：

(2.3)将目标物缺陷在子图像中的坐标位置转换为在输电线路原始图像中的坐标位置，并在输电线路原始图像中标注目标物缺陷的类别和位置。

较佳地，所述的深度神经网络包括Faster-RCNN网络或YOLO网络或SSD网络。

采用本发明的基于深度学习的输电线路缺陷检测方法，基于深度卷积神经网络的目标检测技术，对若干种输电线路元器件和附件的缺陷状态进行学习，对任意来源的输电线路，只要获取到其图像，都可以进行自适应处理检测，利用一个深度神经网络模型就能识别出所有可能的输电线路缺陷或异常(在训练样本包含的目标物缺陷和数目足够多的情况下)，解决了输电线路巡检的海量图像缺陷检测问题。本发明与现有技术相比具有如下优势：可以同时检测若干缺陷，特别是可以同时检测图像中的大目标缺陷(如塔基植被覆盖)和非常细小的目标缺陷(螺栓缺失或销钉缺失)；所有输电线路的缺陷检测使用统一的深度神经网络模型，这样在保证检测精度的情况下，大大简化了检测流程、减小了内存占用、提高了检测速度；可以对任意分辨率的输入图像进行自适应的缺陷检测。

附图说明

图1为本发明的基于深度学习的输电线路缺陷检测方法的流程图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

该基于深度学习的输电线路缺陷检测方法，其主要特点是，所述的方法包括以下步骤：

(1)对输电线路源图像进行处理而获取到训练样本，通过训练样本对深度神经网络进行训练，获取可用于输电线路缺陷检测的深度神经网络模型；

(2)向所述的深度神经网络模型中输入待检测的输电线路原始图像进行自适应缺陷检测；

(3)输出输电线路原始图像中可能存在的所有缺陷类别和在原始图像中的位置。

在一种较佳的实施例中，所述的步骤(1)中对输电线路源图像进行处理而获取到训练样本包括以下步骤：

(1.1)对输电线路源图像进行裁剪，使其被裁剪为包含目标物缺陷的子图像；

(1.2)对包含目标物缺陷的子图像进行缩放，并生成具有第一固定分辨率的正负训练样本子图像，其中，正训练样本子图像为不包含目标物缺陷的子图像，负训练样本子图像为包含目标物缺陷的子图像；

(1.3)在正负训练样本子图像中标注目标物缺陷的类别和位置；

(1.4)将标注好目标物缺陷的类别和位置的正负训练样本子图像输入到深度神经网络中进行端到端的学习训练；

(1.5)当对深度神经网络的训练达到设定的精度要求或者迭代达到设定的次数后，生成能检测包含可用于输电线路缺陷检测的深度神经网络模型。

在具体实施例中，每种类别的目标物缺陷的正训练样本子图像与负样本子图像的数目相近，不同种类的正训练样本子图像与负样本子图像的数目相近。

在一种更佳的实施例中，所述的步骤(2)具体包括以下步骤：

(2.1)加载步骤(1)中获取的深度神经网络模型；

(2.2)将待检测的输电线路原始图像输入到该深度神经网络模型中，由该深度神经网络模型对输入其中的输电线路原始图像进行自适应缺陷检测。

在一种更佳的实施例中，所述的步骤(2.2)中深度神经网络模型对输入其中的输电线路原始图像进行自适应缺陷检测包括：

对输电线路原始图像中的大目标物缺陷进行识别，以及对输电线路原始图像中的小目标物缺陷进行识别。

在一种更佳的实施例中，所述的对输电线路原始图像中大目标物缺陷进行识别为：

将输电线路原始图像缩放至第二固定分辨率后，将缩放后的子图像输入到深度神经网络模型中进行正向传播运算，获取输电线路原始图像中的大目标物缺陷。

在一种更佳的实施例中，所述的对输电线路原始图像中的小目标物缺陷进行识别为：

判断输电线路原始图像的分辨率，判断其是否大于预设阈值，若是，则将所述的输电线路图像切割为多个固定分辨率的子图像，并将各个固定分辨率的子图像都输入到所述的深度神经网络模型中进行正向传播运算，获取输电线路原始图像中的小目标物缺陷。

在具体实施例中，该预设阈值与所述的第二固定分辨率相关。

在一种更佳的实施例中，所述的步骤(2.2)后还包括以下步骤：

(2.3)将目标物缺陷在子图像中的坐标位置转换为在输电线路原始图像中的坐标位置，并在输电线路原始图像中标注目标物缺陷的类别和位置。

在一种较佳的实施例中，所述的深度神经网络包括Faster-RCNN网络或YOLO网络或SSD网络。

在具体实施例中，输电线路源图像和输电线路原始图像可来自于利用无人机巡检输电线路时拍摄的图像，或利用人工巡检时手机拍摄的图像，或利用输电杆塔上固定摄像头拍摄的视频截取图像。从这些图像源中裁剪出检测目标，生成具有第一固定分辨率的正负训练样本子图像作为训练样本，将这些包含各种输电线路缺陷的正负训练样本子图像输入到目标检测深度神经网络中进行学习，生成统一的包含所有输电线路缺陷的检测模型，再利用此统一的深度神经网络模型，对输入任意分辨率的输电线路图像进行自适应的全部缺陷检测，输出这幅图像中包含的全部缺陷类别并且标注出缺陷位置。

请参阅图1，基于深度学习的输电线路缺陷检测方法包括两大部分内容，第一部分就是基于目标检测的深度神经网络架构训练出能检测若干输电线路缺陷的参数模型；第二部分就是利用第一部分训练出的一个深度神经网络模型对各种来源的输电线路图像进行全部缺陷的检测。

第一部分深度神经网络模型的生成包含以下内容：

101.获取各种来源的含各种输电线路缺陷类别的输电线路源图像，输电线路源图像来源可以来自于无人机巡检输电线路拍摄的高清图像，也可以来自于人工巡检输电线路利用手机拍摄的图像，也可以来自于输电杆塔上固定摄像头拍摄的视频截取的图像，图像分辨率可以是任意的。这里的输电线路缺陷类别不仅仅是一种缺陷类别，可以是若干种(如几种、几十种或几百种)输电线路缺陷类别。所要检测缺陷的元器件或附件可以是占图像比例很大的大目标(如输电杆塔塔基)，也可以是占图像比例很小的小目标(如销钉)。

在具体实施例中，获取到的输电线路源图像的分辨率可以是任意的，例如图像分辨率可以从176×144到4096×4096。这里的输电线路缺陷类别不仅仅是一种缺陷类别，可以是若干种(如几种、几十种或几百种)输电线路缺陷类别，例如塔基浸水、塔基植被覆盖、塔基掩埋、杆塔地线锈蚀、塔材锈蚀、杆塔鸟巢、螺栓锈蚀、螺栓退出、螺栓缺失、销钉退出、销钉缺失、绝缘子自爆、绝缘子倾斜、防震锤损坏、均压环损坏等等。

102.从源图像中裁剪出含清晰目标的子图像，再缩放生成固定分辨率N×N的正负训练样本子图像，如分辨率取512×512，某个目标的正样本是指图像中不含这个目标物缺陷的图像，某个目标的负样本是指图像中含有这个目标物缺陷的图像，一幅样本中也可能含有多个目标物。由于所要检测缺陷的元器件或附件在图像中的占比差异极大，为了能在一个深度神经网络模型中同时检测出占比差异大的目标缺陷，这一步是非常关键的内容。

103.对样本进行缺陷类别的标注和缺陷目标物在图像中的位置进行标注，这里标注的每种目标物的正样本数和负样本数应该尽量相等，而且不同种类缺陷的样本数也要尽量相等。

104.将标注好的包含各种输电线路缺陷的正负训练样本子图像输入到目标检测深度神经网络中进行端到端的学习训练，这里的目标检测深度神经网络可以是Faster-RCNN网络或YOLO网络或SSD网络等，为了保证精度，每种类别缺陷正负训练样本子图像数尽量都要达到1000以上。

105.当目标检测深度神经网络的训练达到设定的精度要求或迭代达到设定的次数后，生成能检测包含若干输电线路缺陷的统一的深度神经网络模型。此统一的深度神经网络模型将应用到第二部分进行输电线路原始图像的缺陷检测中。

在具体实施例中，所述的深度神经网络模型包括Faster-RCNN网络参数模型。

第二部分利用统一的深度神经网络模型对输电线路图像进行缺陷检测包含以下内容：

201.将统一的深度神经网络模型加载入内存，因为检测若干输电线路缺陷只使用这一个模型，因此可以大大节省内存消耗，避免了多个模型加载的频繁内存切换。

202.将各种来源的输电线路原始图像，输入到第一部分过程中生成的基于目标检测的深度神经网络模型进行正向传播运算，输出该输电线路原始图像中可能存在的缺陷类别和在输电线路原始图像中的位置标注。202过程中对输入的输电线路原始图像的处理包括以下内容：

202-1.首先将输电线路原始图像缩放到N×N分辨率，输入到深度神经网络模型进行正向传播运算，这样处理可以检测出输电线路原始图像中的空间占比大的目标物缺陷(如杆塔塔基植被覆盖)。这里输出缺陷位置的坐标再缩放为源图像中的坐标，并在输电线路原始图像中标注目标物缺陷的类别和位置。

202-2.针对输电线路原始图像分辨率进行判别，如图像分辨率X×Y>1.5N×1.5N(此为判别是否需要进行小目标物缺陷检测的标准，若该输电线路原始图像的图像分辨率达到要求，则进行小目标缺陷检测)，则将输电线路原始图像分成(X/N)×(Y/N)个分辨率为N×N的子图像(结果四舍五入)，相邻区域尽量重叠。对分成的子图像分别输入到深度神经网络模型进行正向传播运算，这样可以检测出输电线路原始图像中的空间占比小的目标物缺陷(如销钉缺失)。当检测到目标物缺陷时，将目标物缺陷在子图像中的坐标位置转换为在输电线路原始图像中的坐标位置，并在输电线路原始图像中标注目标物缺陷的类别和位置。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

采用本发明的基于深度学习的输电线路缺陷检测方法，基于深度卷积神经网络的目标检测技术，对若干种输电线路元器件和附件的缺陷状态进行学习，对任意来源的输电线路，只要获取到其图像，都可以进行自适应处理检测，利用一个深度神经网络模型就能识别出所有可能的输电线路缺陷或异常(在训练样本包含的目标物缺陷和数目足够多的情况下)，解决了输电线路巡检的海量图像缺陷检测问题。本发明与现有技术相比具有如下优势：可以同时检测若干缺陷，特别是可以同时检测图像中的大目标缺陷(如塔基植被覆盖)和非常细小的目标缺陷(螺栓缺失或销钉缺失)；所有输电线路的缺陷检测使用统一的深度神经网络模型，这样在保证检测精度的情况下，大大简化了检测流程、减小了内存占用、提高了检测速度；可以对任意分辨率的输入图像进行自适应的缺陷检测。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (3)

1.一种基于深度学习的输电线路缺陷检测方法，其特征在于，所述的方法包括以下步骤：

(1)对输电线路源图像进行处理而获取到训练样本，通过训练样本对深度神经网络进行训练，获取可用于输电线路缺陷检测的深度神经网络模型；

(2)向所述的深度神经网络模型中输入待检测的输电线路原始图像进行自适应缺陷检测；

(3)输出输电线路原始图像中可能存在的所有缺陷类别和在原始图像中的位置；

所述的步骤(1)中对输电线路源图像进行处理而获取到训练样本包括以下步骤：

(1.1)对输电线路源图像进行裁剪，使其被裁剪为包含目标物缺陷的子图像；

(1.2)对包含目标物缺陷的子图像进行缩放，并生成具有第一固定分辨率的正负训练样本子图像，其中，正训练样本子图像为不包含目标物缺陷的子图像，负训练样本子图像为包含目标物缺陷的子图像；

(1.3)在正负训练样本子图像中标注目标物缺陷的类别和位置；

(1.4)将标注好目标物缺陷的类别和位置的正负训练样本子图像输入到深度神经网络中进行端到端的学习训练；

(1.5)当对深度神经网络的训练达到设定的精度要求或者迭代达到设定的次数后，生成能检测包含可用于输电线路缺陷检测的深度神经网络模型；

所述的步骤(2)具体包括以下步骤：

(2.1)加载步骤(1)中获取的深度神经网络模型；

(2.2)将待检测的输电线路原始图像输入到该深度神经网络模型中，由该深度神经网络模型对输入其中的输电线路原始图像进行自适应缺陷检测；

所述的步骤(2.2)中深度神经网络模型对输入其中的输电线路原始图像进行自适应缺陷检测包括：

对输电线路原始图像中的大目标物缺陷进行识别，以及对输电线路原始图像中的小目标物缺陷进行识别；

所述的对输电线路原始图像中的大目标物缺陷进行识别为：

将输电线路原始图像缩放至第二固定分辨率后，将缩放后的子图像输入到深度神经网络模型中进行正向传播运算，获取输电线路原始图像中的大目标物缺陷；

所述的对输电线路原始图像中的小目标物缺陷进行识别为：

判断输电线路原始图像的分辨率，判断其是否大于预设阈值，若是，则将所述的输电线路图像切割为多个固定分辨率的子图像，并将各个固定分辨率的子图像都输入到所述的深度神经网络模型中进行正向传播运算，获取输电线路原始图像中的小目标物缺陷。

2.根据权利要求1所述的基于深度学习的输电线路缺陷检测方法，其特征在于，所述的步骤(2.2)后还包括以下步骤：

(2.3)将目标物缺陷在子图像中的坐标位置转换为在输电线路原始图像中的坐标位置，并在输电线路原始图像中标注目标物缺陷的类别和位置。

3.根据权利要求1所述的基于深度学习的输电线路缺陷检测方法，其特征在于，所述的深度神经网络包括Faster-RCNN网络或YOLO网络或SSD网络。

Images