CN108761237A - 无人机电力巡检图像关键电力部件自动诊断与标注*** - Google Patents

Abstract

本发明涉及一种无人机电力巡检图像关键电力部件自动诊断与标注***，包括一电力部件目标检测模块、一电力部件故障检测模块、一提供人机交互功能的人机交互模块、一标注模块以及一无人机电力巡检影像库。本发明实现了无人机电力巡检图像智能化自动诊断、标注，减轻巡检人员工作量，提升巡检效率及准确率，为人工智能在电力巡检关键电力部件识别与故障检测领域的应用提供数据支持。同时，促进电力巡检图像存储、标注的规范化、标准化。

Description

无人机电力巡检图像关键电力部件自动诊断与标注***

技术领域

本发明涉及人工智能、计算机技术、电网运检维护技术以及电力监测技术领域，特别是一种无人机电力巡检图像关键电力部件自动诊断与标注***。

背景技术

随着经济社会的发展，发电量与用电量逐年上升。电网规模不断扩大，输电线路运检维护的工作量也随之增大，电力部门每年都要花费巨大的人力和物力资源进行运检维护工作。近几年随着无人机技术的发展，利用无人机航拍的方式进行电力巡检变得越来越普遍，通过对无人机航拍得到的影像数据进行分析，来发现巡检中的存在的故障情况。目前巡检图像分析主要还是由人工完成，大量的巡检图像给后期数据分析处理带来了巨大的挑战，电力巡检人员长时间的通过眼睛分析电力巡检图像，不仅效率低下，还极易产生视觉疲劳，从而导致严重的错判或者漏判。随着人工智能技术的快速发展，基于深度学***。

发明内容

发明的目的在于提供一种无人机电力巡检图像关键电力部件自动诊断与标注***，以克服现有技术中存在的缺陷。

为实现上述目的，本发明的技术方案是：一种无人机电力巡检图像关键电力部件自动诊断与标注***，包括一电力部件目标检测模块、一电力部件故障检测模块、一提供人机交互功能的人机交互模块、一标注模块以及一无人机电力巡检影像库；

所述电力部件目标检测模块从所述无人机电力巡检影像库中获取待标注电力巡检图像，通过一电力部件目标检测模型检测该图像中的电力部件类别及电力部件的位置，并为待标注电力巡检图像标注电力部件的类别信息及该电力部件在图像中的位置坐标，并通过所述人机交互模块显示；

所述电力部件故障检测模块获取经所述电力部件目标检测模块检测标注后的图像，通过一电力部件故障检测模型检测该图像中电力部件对应的故障状态和故障位置，并为待标注电力巡检图像标注电力部件的故障状态信息及故障在图像中的位置坐标，并通过所述人机交互模块显示；

所述标注模块用于生成电力部件目标检测模型与电力部件故障检测模型预训练的训练数据以及用于对电力部件目标检测模型与电力部件故障检测模型在自动检测标注阶段处理的检测标注图像进行审核与修正，并将审核存在错误，且完成修正后的数据作为电力部件目标检测模型或电力部件故障检测模型后续训练的训练数据；

所述无人机电力巡检影像库用于存储待标注电力巡检图像、训练数据以及标注处理后的图像及其对应的标注数据。

在本发明一实施例中，在预训练阶段，所述标注模块从所述无人机电力巡检影像库中获取待标注电力巡检图像数据，在待标注电力巡检图像中框选电力部件、电力部件故障区域，标注分类信息；其中，分类信息包括：电力部件类别及电力部件在图像中的位置坐标，电力部件故障状态及故障在图像中的位置坐标；完成标注后，将图像及其标注数据存储至所述无人机电力巡检影像库，并作为预训练阶段的训练数据。

在本发明一实施例中，提取训练数据中的标注后的图像、电力部件类别及电力部件在图像中的位置坐标作为目标检测训练集，经一SSD部件目标检测网络进行训练，建立所述电力部件目标检测模型。

在本发明一实施例中，提取训练数据中的标注后的图像、电力部件故障状态及故障在图像中的位置坐标作为故障检测训练集，经一SSD故障目标检测网络进行训练，建立所述电力部件故障检测模型。

在本发明一实施例中，通过如下步骤实现自动诊断与标注：

步骤S1：根据所述无人机电力巡检影像库接口，从所述无人机电力巡检影像库中获取待标注电力巡检图像；

步骤S2：通过电力部件目标检测模块在待标注电力巡检图像中检测并框选出电力部件所在区域，并标注电力部件类别信息和电力部件在图像中的位置坐标；

步骤S3：将步骤S2检测标注的结果经由标注模块以及人机交互界模块进行审核；若审查无误，则转入步骤S4；否则，进行修正处理，将修正结果进入步骤S4，并标记该图像，作为电力部件目标检测模型的后续训练数据；

步骤S4：通过电力部件故障检测模块读取步骤S3已框选的电力部件所在区域，在该区域内检测并框选出电力部件故障所在区域，并标注电力部件故障状态信息及故障在图像中的位置坐标；

步骤S5：将步骤S4检测标注的结果经由标注模块以及人机交互界模块进行审核；若审查无误，则进入步骤S6；否则，进行修正处理，将修正结果进入步骤S6，并标记该图像，作为电力部件故障检测模型的后续训练数据；

步骤S6：融合步骤S3和步骤S5的处理结果，生成一xml文件，与图像一同存入所述无人机电力巡检影像库；所述xml文件包括：电力部件类别信息和电力部件在图像中的位置坐标，以及电力部件故障类别信息和故障在图像中的位置坐标。

相较于现有技术，本发明具有以下有益效果：本发明提供的一种无人机电力巡检图像关键电力部件自动诊断与标注***，基于深度学习技术，能够对无人机电力巡检图像中的关键电力部件进行自动诊断、标注的方法及***，实现了无人机电力巡检图像关键电力部件的智能化诊断、自动标注，为人工智能在电力巡检关键部件识别与故障检测的应用提供数据支持，促进电力巡检图像存储、标注的规范化，进一步提高图像标注和电力巡检效率。

附图说明

图1为本发明中无人机电力巡检图像关键电力部件自动诊断与标注***的***结构图。

图2为本发明中无人机电力巡检图像关键电力部件自动诊断与标注***的预训练流程图。

图3为本发明中无人机电力巡检图像关键电力部件自动诊断与标注***的工作流程图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明一种无人机电力巡检图像关键电力部件自动诊断与标注***，如图1所示，包括一电力部件目标检测模块、一电力部件故障检测模块、一提供人机交互功能的人机交互模块、一标注模块以及一无人机电力巡检影像库。在预训练阶段，该***获取待标注的无人机电力巡检图像，为部分待标注的无人机电力巡检图像标注电力部件类别和部件位置信息，以及对应的电力部件故障状态和故障位置信息，制作电力部件目标检测模型预训练数据集和电力部件故障检测模型预训练数据集，分别对电力部件目标检测模型和电力部件故障检测模型进行预训练。利用训练好的电力部件目标检测模型处理待标注电力巡检图像，框选出图像中的电力部件位置并标注电力部件类别和部件在图像中位置坐标；利用训练好的电力部件故障检测模型处理待标注电力巡检图像中框选出的电力部件区域，得到对应电力部件故障状态与故障位置坐标。通过融合电力巡检图中电力部件类别与部件位置信息和电力部件故障类别与故障位置信息，生成包含电力部件类别和电力部件所在电力巡检图中的位置坐标，以及电力部件的故障类别和故障所在图像中的位置坐标的xml文件。

在本实施例中，对于标注模块，采用电力无人机巡检影像电力部件标准分类术语库和电力无人机巡检影像电力部件故障标准分类术语库作为影像中电力部件及其故障状态的标注命名规范。标注模块根据电力巡检影像库接口，从影像库中获取待标注电力巡检图像数据，在待标注电力巡检图像中框选出电力部件、电力部件故障区域，标注分类信息。分类信息包括电力部件的类别及部件在图像中的位置坐标，电力部件的故障状态及故障在图像中的位置坐标。

在本实施例中，标注模块通过人机交互模块与***操作人员交互，一方面，在***运行前期，操作人员使用标注模块对电力巡检图像进行标注，制作电力部件目标检测模型和电力部件故障检测模型的预训练数据集；另一方面，在***正常运行期间，操作人员对***自动检测、标注的图像进行审核，对错误标注信息通过标注模块进行修正，为电力部件目标检测模型和电力部件故障检测模型的进一步训练提供数据。

在本实施例中，对于电力部件目标检测模块，采用电力无人机巡检影像电力部件标准分类方法作为影像中电力部件的分类依据，采用电力无人机巡检影像电力部件标准分类术语库作为影像中电力部件的分类命名规范。

在训练阶段，电力部件目标检测模块使用SSD部件目标检测网络，利用标注模块标注处理过的图像及图像标注中电力部件的类别、部件位置信息作为预训练数据集进行训练，得到电力部件目标检测模型。并将在电力部件目标检测模块进行检测标注处理，但处理有误，经由标注模块进行审核修改处理后的图像以及修正后的标注信息作为后续训练数据，对电力部件目标检测模型继续训练，进一步提高标注的准确度。在该过程中，经过小数据集预训练的电力部件目标检测模型为用于目标检测的SSD网络，预训练数据集较小，但通过***本身不断产生自训练数据集，电力部件目标检测模型将不断提高自己的目标识别准确率。

在检测阶段，电力部件目标检测模块，通过从影像数据库获取待标注的电力巡检图像数据，利用事先经过小数据集预训练的电力部件目标检测模型检测图像中的关键电力部件类别及其所在位置，为待标注的图像标注电力部件的类别信息及部件在图中的位置坐标。

在本实施例中，对于电力部件故障检测模块，采用电力无人机巡检影像电力部件标准故障分类方法作为影像中电力部件故障状态的分类依据，采用电力无人机巡检影像电力部件故障标准分类术语库作为影像中电力部件故障状态的分类命名规范。

在训练阶段，电力部件故障检测模块，使用SSD故障目标检测网络，利用标注模块标注处理过的图像原图及图像标注信息作为预训练数据集进行训练，得到电力部件故障诊断模型。并将在电力部件故障检测模块进行检测标注处理，但处理有误，经由标注模块进行审核修改处理后的图像以及修正后的标注信息作为后续训练数据，对电力部件故障检测模型继续训练，进一步提高标注的准确度。在该过程中，经过小数据集预训练的电力部件故障检测模型为用于故障检测的SSD网络，预训练数据集较小，但通过***本身不断产生自训练数据集，所述电力部件故障检测模型目将不断提高自己的故障检测准确率。

在检测阶段，获取电力部件目标检测模块处理过的标注图像及其对应的标注信息，利用事先经过小数据集预训练的电力部件故障检测模型检测图像中被检测到的电力部件对应的故障状态和位置，为待标注的图像标注电力部件的故障状态信息及故障在图中的坐标位置。

在本实施例中，本***的预训练训练方法如图2所示。电力部件目标检测模型，预训练集由一定数量的完成标注的电力巡检图像原图和图像标注的电力部件分类信息组成，电力部件分类信息即指图像中电力部件的类别和电力部件所在原图中的位置坐标。电力部件故障检测模型，预训练集由一定数量的完成标注的电力巡检图像原图、图像标注的电力部件分类信息和图像标注的电力部件故障分类信息组成，电力部件故障分类信息即指图像中对应电力部件的故障状态和故障所在原图中的位置坐标。

在本实施例中，本***正常运行状态下的工作流程如图3所示。所述电力部件目标检测模块和电力部件故障检测模块，对待标注的电力巡检图像进行的检测、标注结果均通过人机交互界面交由***操作人员进行审核。对于审核发现有误的标注信息，由人工通过标注模块进行修正，将修正后的结果进入下一个工作步骤，并将修正后的标注信息及对应的图像原图收入对应训练集，对对应检测模型进行进一步训练。具体包括如下步骤：

步骤S1、根据电力巡检影像库接口，从影像库中获取无人机电力巡检图像数据；

步骤S2、使用电力部件目标检测模块，对获取的待标注无人机电力巡检图像进行处理，在所述待标注的电力巡检图像中检测、框选出电力部件所在区域，并标注部件类别和部件所在图像中的位置坐标。

步骤S3、将步骤S2识别出的电力部件类别及框选的区域经由人机交互界面进行人工审查。如审查无误，则进入下一步骤；否则对审查有误的信息进行人工修正，将修正结果进入下一步骤，并将该图像及其修正的标注信息归入目标检测训练集，对目标检测模型进行进一步训练。

步骤S4、使用电力部件故障检测模块，读取待标注图像中步骤S3所述的已框选电力部件区域，在所述区域内检测、框选出电力部件故障所在区域，并标注对应电力部件的故障状态及故障在原图中的位置坐标。

步骤S5、将步骤S4识别出的电力部件的故障状态及框选区域经由人机交互界面进行人工审查。如审查无误，则进入下一步骤；否则对审查有误的信息进行人工修正，将修正结果进入下一步骤，并将该图像及其修正的标注信息归入故障检测训练集，对故障检测模型进行进一步训练。

步骤S6、融合步骤S3和步骤S5的处理结果，进一步生成包含电力部件类别和电力部件所在电力巡检图中的位置坐标信息，以及电力部件的故障类别和故障所在区域坐标信息的xml文件。

在本实施例中，所有进行的电力部件类别标注和电力部件故障类别标注，不论是通过标注模块人工实现的，还是通过电力部件目标检测模块或电力部件故障检测模块实现的，均遵从电力无人机巡检影像电力部件标准分类方法和电力无人机巡检影像电力部件标准故障分类方法，采用电力无人机巡检影像电力部件标准分类术语库和电力无人机巡检影像电力部件故障标准分类术语库作为其标注命名规范。

在本实施例中，生成的标注信息均以xml格式的文件进行存储。xml格式文件的内容主要包括：电力巡检图片的尺寸；图像所包含的关键电力部件类别信息及部件在图像中的位置信息；图像所包含的关键电力部件的故障状态及故障在图像中的位置信息。其中，目标的位置信息用Xmin，Ymin，Xmax，Ymax四个值表示。

在本实施例中，随着训练数据集的不断扩充及对模型的不断训练，电力部件目标检测模块和电力部件故障检测模块能够较为准确的对电力巡检图像进行智能标注，逐步减轻***对人工的依赖程度，从需要人工标注建立预训练集，到人工只负责审核，直至最终彻底不需要人工干预即可实现自动标注。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (5)

1.一种无人机电力巡检图像关键电力部件自动诊断与标注***，其特征在于，包括一电力部件目标检测模块、一电力部件故障检测模块、一提供人机交互功能的人机交互模块、一标注模块以及一无人机电力巡检影像库；

所述电力部件目标检测模块从所述无人机电力巡检影像库中获取待标注电力巡检图像，通过一电力部件目标检测模型检测该图像中的电力部件类别及电力部件的位置，并为待标注电力巡检图像标注电力部件的类别信息及该电力部件在图像中的位置坐标，并通过所述人机交互模块显示；

所述电力部件故障检测模块获取经所述电力部件目标检测模块检测标注后的图像，通过一电力部件故障检测模型检测该图像中电力部件对应的故障状态和故障位置，并为待标注电力巡检图像标注电力部件的故障状态信息及故障在图像中的位置坐标，并通过所述人机交互模块显示；

所述标注模块用于生成电力部件目标检测模型与电力部件故障检测模型预训练的训练数据以及用于对电力部件目标检测模型与电力部件故障检测模型在自动检测标注阶段处理的检测标注图像进行审核与修正，并将审核存在错误，且完成修正后的数据作为电力部件目标检测模型或电力部件故障检测模型后续训练的训练数据；

所述无人机电力巡检影像库用于存储待标注电力巡检图像、训练数据以及标注处理后的电力巡检图像及其对应的标注数据。

2.根据权利要求1所述的无人机电力巡检图像关键电力部件自动诊断与标注***，其特征在于，在预训练阶段，所述标注模块从所述无人机电力巡检影像库中获取待标注电力巡检图像数据，在待标注电力巡检图像中框选电力部件、电力部件故障区域，标注分类信息；其中，分类信息包括：电力部件类别及电力部件在图像中的位置坐标，电力部件故障状态及故障在图像中的位置坐标；完成标注后，将图像及其标注数据存储至所述无人机电力巡检影像库，并作为预训练阶段的训练数据。

3.根据权利要求1所述的无人机电力巡检图像关键电力部件自动诊断与标注***，其特征在于，提取训练数据中的标注后的图像、电力部件类别及电力部件在图像中的位置坐标作为目标检测训练集，经一SSD部件目标检测网络进行训练，建立所述电力部件目标检测模型。

4.根据权利要求1所述的无人机电力巡检图像关键电力部件自动诊断与标注***，其特征在于，提取训练数据中的标注后的图像、电力部件故障状态及故障在图像中的位置坐标作为故障检测训练集，经一SSD故障目标检测网络进行训练，建立所述电力部件故障检测模型。

5.根据权利要求1所述的无人机电力巡检图像关键电力部件自动诊断与标注***，其特征在于，通过如下步骤实现自动诊断与标注：

步骤S1：根据所述无人机电力巡检影像库接口，从所述无人机电力巡检影像库中获取待标注电力巡检图像；

步骤S2：通过电力部件目标检测模块在待标注电力巡检图像中检测并框选出电力部件所在区域，并标注电力部件类别信息和电力部件在图像中的位置坐标；

步骤S3：将步骤S2检测标注的结果经由标注模块以及人机交互界模块进行审核；若审查无误，则转入步骤S4；否则，进行修正处理，将修正结果进入步骤S4，并标记该图像，作为电力部件目标检测模型的后续训练数据；

步骤S4：通过电力部件故障检测模块读取步骤S3已框选的电力部件所在区域，在该区域内检测并框选出电力部件故障所在区域，并标注电力部件故障状态信息及故障在图像中的位置坐标；

步骤S5：将步骤S4检测标注的结果经由标注模块以及人机交互界模块进行审核；若审查无误，则进入步骤S6；否则，进行修正处理，将修正结果进入步骤S6，并标记该图像，作为电力部件故障检测模型的后续训练数据；

步骤S6：融合步骤S3和步骤S5的处理结果，生成一xml文件，与图像一同存入所述无人机电力巡检影像库；所述xml文件包括：电力部件类别信息和电力部件在图像中的位置坐标，以及电力部件故障类别信息和故障在图像中的位置坐标。