CN112070135A - 电力设备图像检测方法、装置、电力设备及存储介质 - Google Patents

电力设备图像检测方法、装置、电力设备及存储介质 Download PDF

Info

Publication number
CN112070135A
CN112070135A CN202010888398.2A CN202010888398A CN112070135A CN 112070135 A CN112070135 A CN 112070135A CN 202010888398 A CN202010888398 A CN 202010888398A CN 112070135 A CN112070135 A CN 112070135A
Authority
CN
China
Prior art keywords
defect
picture
model
pictures
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010888398.2A
Other languages
English (en)
Inventor
郭艳婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Huizhou Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Guangdong Power Grid Co Ltd
Huizhou Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Huizhou Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Co Ltd
Priority to CN202010888398.2A priority Critical patent/CN112070135A/zh
Publication of CN112070135A publication Critical patent/CN112070135A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种电力设备图像检测方法、装置、电力设备及存储介质。该电力设备图像检测方法包括：基于样本缺陷图片构建第一训练集；使用第一训练集对预设的神经网络模型进行训练，得到缺陷检测模型；对待检测图片按照预设方法进行分类，得到缺陷图片；通过缺陷检测模型对缺陷图片进行识别，以确定缺陷图片的缺陷类别和缺陷位置。通过对电力***中巡检设备产生的巨量的电力设备图片进行自动检测，并基于自动检测结果对图片进行自动分类以挑选出缺陷图片以及对缺陷图片进行缺陷位置的自动标记，从而提高了对于图片的识别效率和识别准确率，解决了现有技术中需要通过人工识别和标记图片缺陷而导致的效率低和识别正确率低的问题。

Description

电力设备图像检测方法、装置、电力设备及存储介质
技术领域
本发明实施例涉及电气设备运维技术领域，尤其涉及一种电力设备图像检测方法、装置、电力设备及存储介质。
背景技术
近些年，数码摄像和机器人技术不断发展，新建的智能变电站和一些改造的无人值守变电站通过视频监控或者是机器人搭载照相机等手段实现高效地变电站巡检，把现场的图像数据传输到监控中心进行人工分析和识别。
现有的图像和视频数据存量大，增长速度快，巡视中变电站设备出现的具体缺陷种类多，巡视产生的图像数量大，当前主要依靠人工对这些图像进行识别来找出缺陷图片的具体缺陷位置，存在效率低和识别准确性低的问题。
发明内容
本发明实施例提供一种电力设备图像检测方法、装置、电力设备及存储介质，对批量的巡检图片进行自动缺陷识别，提高对巨量图片的识别效率和识别准确性。
第一方面，本发明实施例提供了一种电力设备图像检测方法，包括：
基于样本缺陷图片构建第一训练集；
使用所述第一训练集对预设的神经网络模型进行训练，得到缺陷检测模型；
对待检测图片按照预设方法进行分类，得到缺陷图片；
通过所述缺陷检测模型对所述缺陷图片进行识别，以确定所述缺陷图片的缺陷类别和缺陷位置。
可选的，在所述使用所述第一训练集对预设的神经网络模型进行训练之前，所述方法还包括：
标记所述第一训练集中样本缺陷图片的缺陷区域，并为所述缺陷区域分配缺陷类别。
可选的，所述使用所述第一训练集对预设的神经网络模型进行训练，得到缺陷检测模型，包括：
基于所述样本缺陷图片的缺陷区域生成训练样本参数集，其中，所述训练样本参数集包括所述样本缺陷图片的缺陷类别和所述缺陷区域的位置信息；
基于Darknet-53框架构建YOLOv3模型；
将所述训练样本参数集输入所述YOLOv3模型，对所述YOLOv3模型进行训练，得到所述缺陷检测模型。
可选的，所述通过所述缺陷检测模型对所述缺陷图片进行识别，以确定所述缺陷图片的缺陷类别和缺陷位置，包括：
所述缺陷检测模型的特征提取网络提取所述缺陷图片的目标特征单元；
所述缺陷检测模型为所述目标特征单元分配不同尺寸的边界框，将所述不同尺寸的边界框应用在不同分辨率的特征图上；
所述缺陷检测模型对特征图上不同尺寸的边界框区域进行检测，通过检测层输出缺陷图片的缺陷位置和缺陷类别。
可选的，所述缺陷类别包括如下至少一种：部件破损类，呼吸器缺陷类，状态指示缺陷类，异物类，渗漏油类和外观不整洁类。
可选的，所述对待检测图片按照预设方法进行分类，得到缺陷图片，包括：
使用第二训练集对VGG16模型进行训练，得到缺陷分类模型，其中，所述第二训练集中包括无缺陷图片和有缺陷图片；
基于所述缺陷分类模型对待检测图片进行识别，得到缺陷图片。
第二方面，本发明实施例还提供了一种电力设备图像检测装置，包括：
第一训练集构建模块，用于基于样本缺陷图片构建第一训练集；
模型训练模块，用于使用所述第一训练集对预设的神经网络模型进行训练，得到缺陷检测模型；
缺陷图片获取模块，用于对待检测图片按照预设方法进行分类，得到缺陷图片；
识别模块，用于通过所述缺陷检测模型对所述缺陷图片进行识别，以确定所述缺陷图片的缺陷类别和缺陷位置。
可选的，该电力设备图像检测装置还包括：
缺陷区域标记模块，用于标记所述第一训练集中样本缺陷图片的缺陷区域，并为所述缺陷区域分配缺陷类别。
第三方面，本发明实施例还提供了一种电力设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所述的电力设备图像检测方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的电力设备图像检测方法。
本发明实施例提供的电力设备图像检测方法，通过选取包含各类缺陷的图片构建第一训练集，由第一训练集对预设的神经网络模型进行训练而得到表征图片特征和图片缺陷位置对应关系的缺陷检测模型；通过对待检测图片按照一定的方法进行分类处理，得到有缺陷的图片；再使用训练好的缺陷检测模型对所得到的缺陷图片进行识别，而得到标注出具体缺陷位置和关联了缺陷类别的缺陷图片，从而实现对待检测图片的缺陷检测。本实施例解决了现有技术中需要通过人工识别和标记图片缺陷而导致的效率低和识别正确率低的问题，通过对电力***中巡检设备产生的巨量的电力设备图片进行自动检测，并基于自动检测结果对图片进行自动分类以挑选出缺陷图片以及对缺陷图片进行缺陷位置的自动标记，从而提高了对于图片的识别效率和识别准确率，对巡检设备产生的巨量图片进行了充分利用，从图片的产生到图片缺陷位置的识别，由相关电力设备自动执行，进一步提高了电力***的自动化管理水平。
附图说明
图1为本发明实施例提供的一种电力设备图像检测方法的流程图；
图2为本发明实施例提供的VGG16模型的整体架构图；
图3为本发明实施例提供的另一种电力设备图像检测方法的流程图；
图4为本发明实施例提供的YOLOv3模型的整体架构图；
图5为本发明实施例提供的一种电力设备图像检测装置的结构框图；
图6为本发明实施例提供的一种电力设备的结构框图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
图1为本发明实施例提供的一种电力设备图像检测方法的流程图，该方法可适用于对电力***中自动巡检设备产生的巨量图片进行自动检测，识别出缺陷图片并对缺陷图片的具体缺陷位置进行自动标注的情况。通过对图片进行自动标记，运维人员可基于图片的缺陷位置有针对性的进行设备维护。该方法可以由电力设备来执行，电力设备例如可以为配置有图像检测算法的计算机设备等。参考图1，该电力设备图像检测方法包括如下步骤：
S110、基于样本缺陷图片构建第一训练集。
其中，样本缺陷图片是一个图片集合，其包含有各种不同类型的缺陷图片。
样本缺陷图片可通过对存在典型缺陷的电力设备进行图片采集得到。在一个实施例中，样本缺陷图片的包括如下缺陷类型的图片：部件破损类图片，呼吸器缺陷类图片，状态指示缺陷类图片，异物类图片，渗漏油类图片和外观不整洁类图片。
示例性的，样本缺陷图片可以包括8000张图片和8000张图片对应的xml文件，其中，电流互感器二次接线盒锈蚀图片2000张图片，变压器渗油图片2000张图片，变压器套管污秽图片2000张图片，以及变压器脱漆缺陷图片2000张图片。需要注意的是，样本缺陷图片中不含正常图片。
S120、使用第一训练集对预设的神经网络模型进行训练，得到缺陷检测模型。
其中，第一训练集中包含了各种缺陷类别的图片，因而由第一训练集对神经网络模型进行训练后，该神经网络模型便建立了图片特征单元与图像缺陷位置的对应关系，即为缺陷检测模型。
可选的，缺陷类别包括如下至少一种：部件破损类，呼吸器缺陷类，状态指示缺陷类，异物类，渗漏油类和外观不整洁类。
在一个实施例中，神经网络模型采用YOLO模型，关于缺陷检测模型的建立过程可参见后述实施例的介绍。
S130、对待检测图片按照预设方法进行分类，得到缺陷图片。
其中，因为待检测图片中可能包含有正常图片，即无缺陷图片，这些正常的图片无法被分配缺陷类型，因而在对待检测图片进行缺陷检测前，需要对待检测图片进行分类，以筛选出存在缺陷的图片。
在一个实施例中，使用VGG16模型来构建分类模型，并由分类模型对待检测图片进行分类而得到缺陷图片，该过程具体包括：
使用第二训练集对VGG16模型进行训练，得到缺陷分类模型，其中，第二训练集中包括无缺陷图片和有缺陷图片；
基于缺陷分类模型对待检测图片进行识别，得到缺陷图片。
其中，第二训练集中包含有一定数量的正常图片和一定数量的缺陷图片，这些缺陷图片覆盖了常见的缺陷类别。
图2为本发明实施例提供的VGG16模型的整体架构图，由图2可以看出，VGG16模型包括卷积层，池化层，全连接层和输出层。卷积层和输入层有规律的交错分布，卷积层进行特征提取，池化层进行特征选择，通常卷积层的多个窗口对输入层做卷积操作，池化层用一个窗口对卷积层做池化操作。全连接层可以对具有类别区分性的局部信息进行整合，把所有局部特征整合成全局特征。输出层输出分类结果。
具体到本实施例中，因为缺陷识别模型由VGG16模型训练而来，因而缺陷分类模型与VGG16模型具有相同的网络结构。具体而言，缺陷分类模型中的卷积层由多个特征面组成，每个特征面由多个特征单元组成，每一个特征单元通过卷积核与上一层特征的局部区域相连。卷积层中的每一个特征单元对应上一层输入网络中3*3或者5*5的小块，对上一层局部小块的特征进行作用得到更抽象的特征。卷积核是一个权值矩阵，每个卷积核对应一组固定的权重，不同的卷积核提取不同的特征如轮廓、纹理、颜色深浅等，因而提取图像的不同特征需要多个不同的卷积核作用。
可见，卷积层所提取的各个特征块均为电力设备的部分特征，这些特征是分散的，因而需要对这些特征进行整合，以得到电力设备完整的图像特征。
在对各个特征块进行整合处理前，缺陷分类模型中的池化层对特征块进行处理，以降低数据维度，减少计算量。缺陷分类模型中的池化层不会改变缺陷分类模型的深度，但是可以缩小输入矩阵的大小，从而减少缺陷分类模型的参数个数。
经过几轮的卷积和池化作用后，图片的浅层特征信息被抽象成信息含量更高的特征，卷积和池化操作是图像特征提取的过程，经过若干层的卷积，池化操作后，将得到的特征图依次按行展开，连接成向量，输入全连接层，全连接层可以对具有类别区分性的局部信息进行整合，把所有局部特征整合成全局特征，最后通过输出层输出对该待检测图片的分类结果。对各种缺陷类别的缺陷图片进行汇总，得到全部的缺陷图片。
S140、通过缺陷检测模型对缺陷图片进行识别，以确定缺陷图片的缺陷类别和缺陷位置。
由上述分析可知，缺陷检测模型已经建立了图片的缺陷位置与图片特征单元的对应关系，因而通过缺陷检测模型对缺陷图片进行识别后，可以确定出各个缺陷图片的缺陷类别以及具体的缺陷位置。
本发明实施例提供的电力设备图像检测方法，通过选取包含各类缺陷的图片构建第一训练集，由第一训练集对预设的神经网络模型进行训练而得到表征图片特征和图片缺陷位置对应关系的缺陷检测模型；通过对待检测图片按照一定的方法进行分类处理，得到有缺陷的图片；再使用训练好的缺陷检测模型对所得到的缺陷图片进行识别，而得到标注出具体缺陷位置和关联了缺陷类别的缺陷图片，从而实现对待检测图片的缺陷检测。本实施例解决了现有技术中需要通过人工识别和标记图片缺陷而导致的效率低和识别正确率低的问题，通过对电力***中巡检设备产生的巨量的电力设备图片进行自动检测，并基于自动检测结果对图片进行自动分类以挑选出缺陷图片以及对缺陷图片进行缺陷位置的自动标记，从而提高了对于图片的识别效率和识别准确率，对巡检设备产生的巨量图片进行了充分利用，从图片的产生到图片缺陷位置的识别，由相关电力设备自动执行，进一步提高了电力***的自动化管理水平。
可选的，图3为本发明实施例提供的另一种电力设备图像检测方法的流程图，在上述实施例的基础上，本实施例在上述实施例的基础上进行了优化，参考图3，该方法具体包括如下步骤：
S310、基于样本缺陷图片构建第一训练集。
S320、标记第一训练集中样本缺陷图片的缺陷区域，并为缺陷区域分配缺陷类别。
其中，可通过标记工具对第一训练集中的缺陷图片进行标记。在一实施例中，使用LabelImg工具对缺陷图片进行标记。在使用LabelImg对缺陷图片进行标记后，生成遵循PASCAL VOC格式的xml文件。所生成的xml文件中有5个重要的参数，包括：目标标签名name，标记框的左上角横坐标值和纵坐标值xmin和ymin，右下角横坐标值和纵坐标值xmax和ymax。图片中每一个所标注的标记框都会有5个这样的参数，同一张图片中的各标记框所对应的参数保存在同一个xml文件中。
示例性的，表1为本发明实施例提供的一种缺陷类别的划分方法，在对缺陷区域进行缺陷类别分配时，可将缺陷类别所对应的缺陷标签分配给对应的标记框，因为缺陷标签与缺陷类别有着唯一的对应关系，因而通过将缺陷标签分配给对应的标记框，可以确定各个标记框的缺陷类别，实现将缺陷区域与缺陷类别的关联。
表1缺陷类别及标签分配
Figure BDA0002656218860000091
Figure BDA0002656218860000101
S330、基于样本缺陷图片的缺陷区域生成训练样本参数集。
其中，训练样本参数集包括样本缺陷图片的缺陷类别和缺陷区域的位置信息。
由上述分析可知，在对图片的缺陷区域进行标记后，每个标记框都会有5个关键参数，以通过这5个关键参数来唯一表征对应标记框。
训练样本参数集是对表征缺陷区域的5个关键参数按照YOLOv3模型可识别的文件格式进行记录所形成的参数集合。例如，对某一样本缺陷图片，其图像尺寸为3456*4608，name名称为wuzi，该标记框左上角和右下角的像素坐标为(1035，2097)和(1907，2982)。该标记框参数信息在参与训练之前会转换成YOLOv3可识别的txt标记文件，标记框的5各关键参数被对应存储在txt文件中，包括目标检测区域的缺陷类别以及标记框左上角和右下角横纵坐标归一化后的4个坐标值，同一张样本缺陷图片的各标记框的关键参数被保存在同一txt文件中，全部样本缺陷图片的txt文件构成训练样本参数集。
示例性的，在用于训练缺陷检测模型的VOCdekit训练数据文件夹下创建3个子文件夹，Annotations文件夹用于存放8000个xml文件，Imagesets文件夹下创建一个Main文件夹用于存放记录有8000张图片图片名的txt文件，JPEGImages存放有8000张训练图片，Annotations文件夹下的8000个xml文件还需要转换成8000个YOLOv3可识别的txt标记文件，训练图片中的每一个标记框对应txt文件中的5个关键数据(包括检测目标的类别，标记框左上角和右下角横纵坐标归一化后的4个坐标值)。将8000个txt文件一起放到JPEGImages文件夹下，构建用于训练缺陷检测模型的VOCdekit数据集，即训练样本参数集。
S340、基于Darknet-53框架构建YOLOv3模型。
其中，以Darknet-53作为YOLOv3模型的主干网，构建出的YOLOv3模型对小目标具有较好的识别效果。
在一个实施例中，参与模型训练的训练样本参数集准备好后需要对原始模型进行修改，包括目标检测的类别，3个不同尺度检测处的卷积核数目，每种缺陷类别对应的实际缺陷名称，训练数据集在代码中的接口。
S350、将训练样本参数集输入YOLOv3模型，对YOLOv3模型进行训练，得到缺陷检测模型。
示例性的，变电站设备缺陷检测样本见表2。其中的训练样本用于目标检测训练，包括8000张图片和8000张图片对应的xml文件，训练样本中不含正常图片。
输入图片的尺寸为416*416，学习率为0.001，每批处理8张，训练批次为10000次，训练完成后，将训练好的模型权重保存在二进制文件中。使用训练得到的缺陷检测模型分别对电流互感器二次接线盒锈蚀图片，变压器渗油图片，变压器套管污秽图片以及变压器脱漆图片进行检测。通过成功检测率、召回率、误检率以及漏检率这几个指标对训练的缺陷检测模型进行评价。其中，成功检测率为检测出缺陷的图片数除以检测样本数，召回率为检测到的***框数目除以实际上存在的***框数目，误检率为检测出来错误的缺陷框总个数除以检测出来的包含正确和错误的缺陷框总个数，漏检率为没有检测到的***框数目除以实际上存在的***框数目。
表2变电站设备缺陷检测样本
Figure BDA0002656218860000121
模型训练完成后分别使用200张电流互感器二次接线盒锈蚀图片、200张变压器渗油图片、200张变压器套管污秽图片和200张变压器脱漆图片对缺陷检测模型进行验证，验证结果如表3所示。由表3可见，训练得到的缺陷检测模型对四类缺陷的成功检测率均达80％以上，具有很高的缺陷位置识别率。
表3缺陷图片检测情况
Figure BDA0002656218860000122
S360、对待检测图片按照预设方法进行分类，得到缺陷图片。
S370、通过缺陷检测模型对缺陷图片进行识别，以确定缺陷图片的缺陷类别和缺陷位置。
其中，在使用YOLOv3模型训练得到缺陷检测模型的情况下，通过缺陷检测模型对缺陷图片进行识别的过程可具体优化如下：
缺陷检测模型的特征提取网络提取缺陷图片的目标特征单元；
缺陷检测模型为目标特征单元分配不同尺寸的边界框，将不同尺寸的边界框应用在不同分辨率的特征图上；
缺陷检测模型对特征图上不同尺寸的边界框区域进行检测，通过检测层输出缺陷图片的缺陷位置和缺陷类别。
具体地，图4为本发明实施例提供的YOLOv3模型的整体架构图，YOLOv3融合了YOLOv2、Darknet-19以及其他新型残差网络，整体体量更大，前53层搭载了Darknet-53，有52个卷积层和1个全连接层，YOLOv3的前52层完全是套接在Darknet-53的前52层上，可以充分利用到Darknet-53的超强特征提取能力，对后续检测模型进行初始化。Darknet-53中对标准的残差基本单元进行改进，1*1卷积极大减少每次卷积的通道数，减少了计算量和参数量，网络的深度增加，特征表达得到加强，检测效果得到提升。YOLOv3还借鉴了残差网络中的跳层连接，通过route操作把深层和浅层的特征结合在一起，让网络进行综合学习表达效果更优。
YOLOv3对于每个输出的变电站设备特征图，首先还是将变电站设备特征图划分成S*S的网格，YOLOv3在32倍、16倍和8倍降采样时都进行了3个不同尺度的检测，有利于不同尺寸的目标检测，检测层用于坐标及类别结果的输出。YOLOv3每个尺度下每个特征单元预测3个边界框，输入图像为416*416时，YOLOv3预测的边框数为(13*13+26*26+52*52)*3。特征图中的每个特征单元都会有三个边界框，每个边界框预测5个回归值(tx，ty，tw，th，to)，前4个参数表征位置，第5个特定类别边框的概率，所以一个尺度下的预测参数个数为S*S*(3*(4+1+N))，N为数据集中总共含有的类别数。输出位置中心点坐标bx和by是相对于单元格边界的位置，宽度tw和高度th是相对于整个图像进行预测的。
本实施例通过选取样本缺陷图片构成第一训练集，通过对样本缺陷图片进行缺陷区域标记，建立样本缺陷图片的缺陷特征与缺陷区域的对应关系，基于对样本缺陷图片所标记的标记框生成训练样本参数集，将训练样本参数集输入搭建的YOLOv3模型以对YOLOv3模型进行训练而得到缺陷检测模型，从而使得训练得到的缺陷检测模型具备图片缺陷区域与图片缺陷特征的对应关系。由巡检设备生成的巨量图片通过预设的分类模型进行自动筛选后，得到存在缺陷的图片，再由所建立的缺陷检测模型对分类得到的缺陷图片进行缺陷位置的自动标记，而输出标记好缺陷位置和缺陷类别的缺陷图片，因为无需人为参与，因而大大提高了对于巨量图片的缺陷位置识别效率和识别准确率。
可选的，图5为本发明实施例提供的一种电力设备图像检测装置的结构框图，该电力设备图像检测装置包括：第一训练集构建模块510、模型训练模块520、缺陷图片获取模块530和识别模块540，其中，
第一训练集构建模块510，用于基于样本缺陷图片构建第一训练集；
模型训练模块520，用于使用所述第一训练集对预设的神经网络模型进行训练，得到缺陷检测模型；
缺陷图片获取模块530，用于对待检测图片按照预设方法进行分类，得到缺陷图片；
识别模块540，用于通过缺陷检测模型对缺陷图片进行识别，以确定缺陷图片的缺陷类别和缺陷位置。
可选的，在上述实施例的基础上，该电力设备图像检测装置还包括：
缺陷区域标记模块，用于标记第一训练集中样本缺陷图片的缺陷区域，并为缺陷区域分配缺陷类别。
可选的，在上述实施例的基础上，模型训练模块520包括：
训练样本参数集生成单元，用于基于样本缺陷图片的缺陷区域生成训练样本参数集，其中，训练样本参数集包括样本缺陷图片的缺陷类别和缺陷区域的位置信息；
YOLOv3模型构建单元，用于基于Darknet-53框架构建YOLOv3模型；
训练单元，用于将训练样本参数集输入YOLOv3模型，对YOLOv3模型进行训练，得到缺陷检测模型。
可选的，在上述实施例的基础上，
缺陷检测模型的特征提取网络提取缺陷图片的目标特征单元；
缺陷检测模型为目标特征单元分配不同尺寸的边界框，将不同尺寸的边界框应用在不同分辨率的特征图上；
缺陷检测模型对特征图上不同尺寸的边界框区域进行检测，通过检测层输出缺陷图片的缺陷位置和缺陷类别。
可选的，在上述实施例的基础上，缺陷类别包括如下至少一种：部件破损类，呼吸器缺陷类，状态指示缺陷类，异物类，渗漏油类和外观不整洁类。
可选的，在上述实施例的基础上，缺陷图片获取模块530包括：
缺陷分类模型训练单元，用于使用第二训练集对VGG16模型进行训练，得到缺陷分类模型，其中，第二训练集中包括无缺陷图片和有缺陷图片；
识别单元，用于基于缺陷分类模型对待检测图片进行识别，得到缺陷图片。
本发明实施例所提供的电力设备图像检测装置，通过选取样本缺陷图片构成第一训练集，通过对样本缺陷图片进行缺陷区域标记，建立样本缺陷图片的缺陷特征与缺陷区域的对应关系，基于对样本缺陷图片所标记的标记框生成训练样本参数集，将训练样本参数集输入搭建的YOLOv3模型以对YOLOv3模型进行训练而得到缺陷检测模型，从而使得训练得到的缺陷检测模型具备图片缺陷区域与图片缺陷特征的对应关系。由巡检设备生成的巨量图片通过预设的分类模型进行自动筛选后，得到存在缺陷的图片，再由所建立的缺陷检测模型对分类得到的缺陷图片进行缺陷位置的自动标记，而输出标记好缺陷位置和缺陷类别的缺陷图片，因为无需人为参与，因而大大提高了对于巨量图片的缺陷位置识别效率和识别准确率。
可选的，图6为本发明实施例提供的一种电力设备的结构框图。图6为本发明实施例提供的一种电力设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性电力设备612的框图。图6显示的电力设备612仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，电力设备612以通用计算设备的形式表现。电力设备612的组件可以包括但不限于：一个或者多个处理器或者处理单元616，***存储器628，连接不同***组件(包括***存储器628和处理单元616)的总线618。
总线618表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
电力设备612典型地包括多种计算机***可读介质。这些介质可以是任何能够被电力设备612访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
***存储器628可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(RAM)630和/或高速缓存存储器632。电力设备612可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***634可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线618相连。存储器628可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块642的程序/实用工具640，可以存储在例如存储器628中，这样的程序模块642包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块642通常执行本发明所描述的实施例中的功能和/或方法。
电力设备612也可以与一个或多个外部设备614(例如键盘、指向设备、显示器624等)通信，还可与一个或者多个使得用户能与该电力设备612交互的设备通信，和/或与使得该电力设备612能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口622进行。并且，电力设备612还可以通过网络适配器620与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器620通过总线618与电力设备612的其它模块通信。应当明白，尽管图中未示出，可以结合电力设备612使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理单元616通过运行存储在***存储器628中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的电力设备图像检测方法，该方法包括：
基于样本缺陷图片构建第一训练集；
使用第一训练集对预设的神经网络模型进行训练，得到缺陷检测模型；
对待检测图片按照预设方法进行分类，得到缺陷图片；
通过缺陷检测模型对缺陷图片进行识别，以确定缺陷图片的缺陷类别和缺陷位置。
可选的，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的电力设备图像检测方法，该方法包括：
基于样本缺陷图片构建第一训练集；
使用第一训练集对预设的神经网络模型进行训练，得到缺陷检测模型；
对待检测图片按照预设方法进行分类，得到缺陷图片；
通过缺陷检测模型对缺陷图片进行识别，以确定缺陷图片的缺陷类别和缺陷位置。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种电力设备图像检测方法，其特征在于，包括：
基于样本缺陷图片构建第一训练集；
使用所述第一训练集对预设的神经网络模型进行训练，得到缺陷检测模型；
对待检测图片按照预设方法进行分类，得到缺陷图片；
通过所述缺陷检测模型对所述缺陷图片进行识别，以确定所述缺陷图片的缺陷类别和缺陷位置。
2.根据权利要求1所述的电力设备图像检测方法，其特征在于，在所述使用所述第一训练集对预设的神经网络模型进行训练之前，所述方法还包括：
标记所述第一训练集中样本缺陷图片的缺陷区域，并为所述缺陷区域分配缺陷类别。
3.根据权利要求1所述的电力设备图像检测方法，其特征在于，所述使用所述第一训练集对预设的神经网络模型进行训练，得到缺陷检测模型，包括：
基于所述样本缺陷图片的缺陷区域生成训练样本参数集，其中，所述训练样本参数集包括所述样本缺陷图片的缺陷类别和所述缺陷区域的位置信息；
基于Darknet-53框架构建YOLOv3模型；
将所述训练样本参数集输入所述YOLOv3模型，对所述YOLOv3模型进行训练，得到所述缺陷检测模型。
4.根据权利要求1所述的电力设备图像检测方法，其特征在于，所述通过所述缺陷检测模型对所述缺陷图片进行识别，以确定所述缺陷图片的缺陷类别和缺陷位置，包括：
所述缺陷检测模型的特征提取网络提取所述缺陷图片的目标特征单元；
所述缺陷检测模型为所述目标特征单元分配不同尺寸的边界框，将所述不同尺寸的边界框应用在不同分辨率的特征图上；
所述缺陷检测模型对特征图上不同尺寸的边界框区域进行检测，通过检测层输出缺陷图片的缺陷位置和缺陷类别。
5.根据权利要求1所述的电力设备图像检测方法，其特征在于，所述缺陷类别包括如下至少一种：部件破损类，呼吸器缺陷类，状态指示缺陷类，异物类，渗漏油类和外观不整洁类。
6.根据权利要求1所述的电力设备图像检测方法，其特征在于，所述对待检测图片按照预设方法进行分类，得到缺陷图片，包括：
使用第二训练集对VGG16模型进行训练，得到缺陷分类模型，其中，所述第二训练集中包括无缺陷图片和有缺陷图片；
基于所述缺陷分类模型对待检测图片进行识别，得到缺陷图片。
7.一种电力设备图像检测装置，其特征在于，包括：
第一训练集构建模块，用于基于样本缺陷图片构建第一训练集；
模型训练模块，用于使用所述第一训练集对预设的神经网络模型进行训练，得到缺陷检测模型；
缺陷图片获取模块，用于对待检测图片按照预设方法进行分类，得到缺陷图片；
识别模块，用于通过所述缺陷检测模型对所述缺陷图片进行识别，以确定所述缺陷图片的缺陷类别和缺陷位置。
8.根据权利要求7所述的电力设备图像检测装置，其特征在于，还包括：
缺陷区域标记模块，用于标记所述第一训练集中样本缺陷图片的缺陷区域，并为所述缺陷区域分配缺陷类别。
9.一种电力设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的电力设备图像检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的电力设备图像检测方法。
CN202010888398.2A 2020-08-28 2020-08-28 电力设备图像检测方法、装置、电力设备及存储介质 Pending CN112070135A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010888398.2A CN112070135A (zh) 2020-08-28 2020-08-28 电力设备图像检测方法、装置、电力设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010888398.2A CN112070135A (zh) 2020-08-28 2020-08-28 电力设备图像检测方法、装置、电力设备及存储介质

Publications (1)

Publication Number Publication Date
CN112070135A true CN112070135A (zh) 2020-12-11

Family

ID=73659823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010888398.2A Pending CN112070135A (zh) 2020-08-28 2020-08-28 电力设备图像检测方法、装置、电力设备及存储介质

Country Status (1)

Country Link
CN (1) CN112070135A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508137A (zh) * 2021-02-09 2021-03-16 南方电网数字电网研究院有限公司 变压器异常检测方法、装置、计算机设备和存储介质
CN113077556A (zh) * 2021-03-29 2021-07-06 深圳大学 基于行人重识别的检票***及方法
CN113313706A (zh) * 2021-06-28 2021-08-27 安徽南瑞继远电网技术有限公司 基于检测参考点偏移分析的电力设备缺陷图像检测方法
CN113379728A (zh) * 2021-07-02 2021-09-10 上海电气集团股份有限公司 铁轨表面的缺陷检测方法、***、设备及可读存储介质
CN113610749A (zh) * 2021-04-21 2021-11-05 北京智慧空间科技有限责任公司 基于神经网络的风机叶片缺陷检测方法
CN114202725A (zh) * 2021-12-07 2022-03-18 牧原食品股份有限公司 一种基于智能视觉的沼液外溢监视方法及***
CN114444550A (zh) * 2022-04-02 2022-05-06 中国人民解放***箭军工程大学 结构化数据解析方法、装置、电子设备及存储介质
CN115457297A (zh) * 2022-08-23 2022-12-09 中国航空油料集团有限公司 航油油库漏油检测方法、装置及航油安全运维***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106556781A (zh) * 2016-11-10 2017-04-05 华乘电气科技（上海）股份有限公司 基于深度学习的局部放电缺陷图像诊断方法及***
CN106803254A (zh) * 2017-01-17 2017-06-06 广东容祺智能科技有限公司 一种输电线路中绝缘子缺损分析的图片自动检测方法
CN108597053A (zh) * 2018-04-25 2018-09-28 北京御航智能科技有限公司 基于图像数据和神经网络的杆塔和通道目标识别与缺陷诊断方法
CN109711437A (zh) * 2018-12-06 2019-05-03 武汉三江中电科技有限责任公司 一种基于yolo网络模型的变压器部件识别方法
CN110689531A (zh) * 2019-09-23 2020-01-14 云南电网有限责任公司电力科学研究院 一种基于yolo的输电线路机巡图像缺陷自动识别方法
US20200151448A1 (en) * 2018-11-13 2020-05-14 Adobe Inc. Object Detection In Images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106556781A (zh) * 2016-11-10 2017-04-05 华乘电气科技（上海）股份有限公司 基于深度学习的局部放电缺陷图像诊断方法及***
CN106803254A (zh) * 2017-01-17 2017-06-06 广东容祺智能科技有限公司 一种输电线路中绝缘子缺损分析的图片自动检测方法
CN108597053A (zh) * 2018-04-25 2018-09-28 北京御航智能科技有限公司 基于图像数据和神经网络的杆塔和通道目标识别与缺陷诊断方法
US20200151448A1 (en) * 2018-11-13 2020-05-14 Adobe Inc. Object Detection In Images
CN109711437A (zh) * 2018-12-06 2019-05-03 武汉三江中电科技有限责任公司 一种基于yolo网络模型的变压器部件识别方法
CN110689531A (zh) * 2019-09-23 2020-01-14 云南电网有限责任公司电力科学研究院 一种基于yolo的输电线路机巡图像缺陷自动识别方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508137B (zh) * 2021-02-09 2021-07-06 南方电网数字电网研究院有限公司 变压器异常检测方法、装置、计算机设备和存储介质
CN112508137A (zh) * 2021-02-09 2021-03-16 南方电网数字电网研究院有限公司 变压器异常检测方法、装置、计算机设备和存储介质
CN113077556A (zh) * 2021-03-29 2021-07-06 深圳大学 基于行人重识别的检票***及方法
CN113610749B (zh) * 2021-04-21 2024-04-19 北京智慧空间科技有限责任公司 基于神经网络的风机叶片缺陷检测方法
CN113610749A (zh) * 2021-04-21 2021-11-05 北京智慧空间科技有限责任公司 基于神经网络的风机叶片缺陷检测方法
CN113313706A (zh) * 2021-06-28 2021-08-27 安徽南瑞继远电网技术有限公司 基于检测参考点偏移分析的电力设备缺陷图像检测方法
CN113313706B (zh) * 2021-06-28 2022-04-15 安徽南瑞继远电网技术有限公司 基于检测参考点偏移分析的电力设备缺陷图像检测方法
CN113379728A (zh) * 2021-07-02 2021-09-10 上海电气集团股份有限公司 铁轨表面的缺陷检测方法、***、设备及可读存储介质
CN114202725A (zh) * 2021-12-07 2022-03-18 牧原食品股份有限公司 一种基于智能视觉的沼液外溢监视方法及***
CN114444550B (zh) * 2022-04-02 2022-07-29 中国人民解放***箭军工程大学 结构化数据解析方法、装置、电子设备及存储介质
CN114444550A (zh) * 2022-04-02 2022-05-06 中国人民解放***箭军工程大学 结构化数据解析方法、装置、电子设备及存储介质
CN115457297A (zh) * 2022-08-23 2022-12-09 中国航空油料集团有限公司 航油油库漏油检测方法、装置及航油安全运维***
CN115457297B (zh) * 2022-08-23 2023-09-26 中国航空油料集团有限公司 航油油库漏油检测方法、装置及航油安全运维***

Similar Documents

Publication Publication Date Title
CN112070135A (zh) 电力设备图像检测方法、装置、电力设备及存储介质
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN112580439B (zh) 小样本条件下的大幅面遥感图像舰船目标检测方法及***
CN111563557B (zh) 一种电力电缆隧道内目标检测的方法
CN112070134A (zh) 电力设备图像分类方法、装置、电力设备及存储介质
CN111444939A (zh) 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法
CN113643228B (zh) 一种基于改进的CenterNet网络的核电站设备表面缺陷检测方法
CN109558792B (zh) 一种基于样本和特征检测互联网徽标内容的方法和***
CN111900694B (zh) 一种基于自动识别的继电保护设备信息采集方法及***
CN114511718B (zh) 一种建筑施工用物料智能管理方法及***
CN113592822A (zh) 一种电力巡检图像的绝缘子缺陷定位方法
CN111815576B (zh) 金属部件腐蚀状况检测方法、装置、设备和存储介质
CN116823793A (zh) 设备缺陷检测方法、装置、电子设备和可读存储介质
CN115131747A (zh) 基于知识蒸馏的输电通道工程车辆目标检测方法及***
CN114694130A (zh) 基于深度学习的铁路沿线电线杆及杆号检测方法和装置
CN114972880A (zh) 一种标签识别方法、装置、电子设备及存储介质
CN111507398A (zh) 基于目标检测的变电站金属仪器锈蚀识别方法
CN113408630A (zh) 一种变电站指示灯状态识别方法
CN112529836A (zh) 高压线路缺陷检测方法、装置、存储介质及电子设备
CN110765900A (zh) 一种基于dssd的自动检测违章建筑方法及***
CN110163081A (zh) 基于ssd的实时区域入侵检测方法、***及存储介质
CN114882242A (zh) 基于计算机视觉的违规图像识别方法及***
CN111062388B (zh) 基于深度学习的广告文字的识别方法、***、介质及设备
CN113837178A (zh) 一种基于深度学习的变电站表计自动定位与统一分割方法
CN112016515A (zh) 一种档案柜空位检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination