CN107742093B - 一种红外图像电力设备部件实时检测方法、服务器及*** - Google Patents

一种红外图像电力设备部件实时检测方法、服务器及*** Download PDF

Info

Publication number
CN107742093B
CN107742093B CN201710780528.9A CN201710780528A CN107742093B CN 107742093 B CN107742093 B CN 107742093B CN 201710780528 A CN201710780528 A CN 201710780528A CN 107742093 B CN107742093 B CN 107742093B
Authority
CN
China
Prior art keywords
prediction
frame
power equipment
neural network
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710780528.9A
Other languages
English (en)
Other versions
CN107742093A (zh
Inventor
林颖
秦佳峰
辜超
钱元梁
郭志红
李程启
杨祎
白德盟
张皓
李娜
朱梅
徐冉
张围围
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201710780528.9A priority Critical patent/CN107742093B/zh
Publication of CN107742093A publication Critical patent/CN107742093A/zh
Application granted granted Critical
Publication of CN107742093B publication Critical patent/CN107742093B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种红外图像电力设备部件实时检测方法、服务器及***，其中该方法包括步骤(1)：获取包含已知电力设备部件的红外图像构成样本集，其中样本集中每幅红外图像均已标示目标框且具有部件级标签，目标框是含有单个已知电力设备部件的图像区域；步骤(2)：构建基于YOLO目标检测框架的电力设备部件检测的神经网络，将利用样本集中的红外图像及其对应的部件级标签输入至已构建的神经网络并对其进行训练；步骤(3)：采用训练后的电力设备部件检测的神经网络对具有未知部件级标签的待测红外图像进行处理，输出电力设备部件的检测结果。

Description

一种红外图像电力设备部件实时检测方法、服务器及***
技术领域
本发明属于电力设备检测领域，尤其涉及一种红外图像电力设备部件实时检测方法、服务器及***。
背景技术
电力设备是电网运行的基本单元，对电力设备状态进行有效、准确的检测和评估，是电力设备状态检修和寿命周期管理的前提，也是智能调度运行的重要依据，可以为电网安全、可靠、高效的运行提供有力的技术支撑。
为了对电力设备进行故障诊断，首先需要对图像中的电力设备进行检测和定位。具体地，需要对电力设备上的各个部件进行准确的定位和识别。传统的基于计算机视觉的红外图像电力设备部件检测技术仍然在采用人工设计的特征，不仅需要为在特定场景下的应用调整许多模型的参数，并且当红外图像的背景相对比较复杂的时候，传统的方法无法提供令人满意的结果。
发明内容
为了解决现有技术的不足，本发明的第一目的提供了一种红外图像电力设备部件实时检测方法，该方法对电力设备部件定位的准确度高，能够快速电力设备部件检测的应用场景。
本发明的一种红外图像电力设备部件实时检测方法，包括：
步骤(1)：获取包含已知电力设备部件的红外图像构成样本集，其中样本集中每幅红外图像均已标示目标框且均具有部件级标签，目标框是含有单个已知电力设备部件的图像区域；
步骤(2)：构建基于YOLO目标检测框架的电力设备部件检测的神经网络，将利用样本集中的红外图像及其对应的部件级标签输入至已构建的神经网络并对其进行训练；
步骤(3)：采用训练后的电力设备部件检测的神经网络对具有未知部件级标签的待测红外图像进行处理，输出电力设备部件的检测结果。
进一步的，在所述步骤(2)对已构建的神经网络进行训练的过程中，通过多尺度特征提取到融合多尺度特征的特征图，在特征图中建立预测框，再通过多任务学习进行处理使得预测框接近于目标框。
在步骤(2)中，将红外图像进行多尺度处理，其中，尺度是指图像大小上的变化，获得一系列不同尺度的特征图；
取任一较低层的特征图进行重组处理使得图像大小为原来的四分之一并且深度为原来4倍，将重组处理后的较低层的特征图和较高层的特征图在深度方向上进行连接，得到融合之后的最终特征图，该特征图再经过一次卷积操作之后作为多任务学习步骤的输入。
具体实施中，多尺度特征提取包括传统的深度神经网络中的卷积、激活、池化以及批规范化的运算，具体是由原始的将红外图像I逐渐进行图像缩小，图像缩小的同时深度增加，从而获得一系列的不同尺度的特征图。为了得到融合多尺度信息的特征图，本方法将低层的分辨率较高的特征图重组成为长宽分辨率为原来四分之一，深度为原来4倍的特征图，然后将该特征图和高层分辨率一致的特征图在深度方向上进行连接，得到融合之后的特征图。
其中，较低层的特征图的图像长宽分辨率较大，较高层的特征图长宽分辨率较小。
进一步的，在所述步骤(2)对已构建的神经网络进行训练的过程，还包括：
将红外图像分成预设大小的网格，在每一个具有目标框的网格内随机生成若干个预测框，每一个预测框具有框标签；
在具有目标框的每个网格中，找到和目标框之间交叠率最大的预测框作为该网格的实际预测框；
采用带动量SGD算法以实际预测框的框标签为训练对象进行迭代运算训练，使得每个网格内的实际预测框逐渐接近目标框，完成训练。
其中，交叠率为预测框和目标框之间的重叠面积占预测框和目标框总面积的比例。
进一步的，在所述步骤(3)中采用训练后的电力设备部件检测的神经网络对具有未知部件级标签的待测红外图像进行处理的过程包括：
在电力设备部件检测神经网络的输出端得到未知待测图像划分成预设大小的网格以及各个网格获得各自的预测框的结果；
对所有的预测框进行非极大值抑制，根据置信度选择预测框作为最终的预测结果。
进一步的，对所有的预测框进行非极大值抑制，根据置信度选择预测框作为最终的预测结果的过程为：
首先，对于属于同一电力设备部件类别的所有的预测框，若任意两个预测框的交叠率大于非极大值抑制交叠率阈值，则将置信度较小的预测框的置信度设置为0，置信度较大的预测框保留下来；
然后，保留下来的预测框用置信度阈值进行筛选，排除预测框的框标签中置信度小于置信度阈值的预测框，保留预测框的框标签中置信度大于等于置信度阈值的预测框。
本发明的第二目的是提供了一种红外图像电力设备部件实时检测服务器。
本发明的一种红外图像电力设备部件实时检测服务器，包括：
样本集构建模块，其用于获取包含已知电力设备部件的红外图像构成样本集，其中样本集中每幅红外图像均已标示目标框且均具有部件级标签，目标框是含有单个已知电力设备部件的图像区域；
神经网络训练模块，其用于构建基于YOLO目标检测框架的电力设备部件检测的神经网络，将利用样本集中的红外图像及其对应的部件级标签输入至已构建的神经网络并对其进行训练；
部件检测模块，其用于采用训练后的电力设备部件检测的神经网络对具有未知部件级标签的待测红外图像进行处理，输出电力设备部件的检测结果。
进一步的，在所述神经网络训练模块中，通过多尺度特征提取到融合多尺度特征的特征图，在特征图中建立预测框，再通过多任务学习进行处理使得预测框接近于目标框。
在该模块中，将红外图像进行多尺度处理，其中，尺度是指图像大小上的变化，获得一系列不同尺度的特征图；
取任一较低层的特征图进行重组处理使得图像大小为原来的四分之一并且深度为原来4倍，将重组处理后的较低层的特征图和较高层的特征图在深度方向上进行连接，得到融合之后的最终特征图，该特征图再经过一次卷积操作之后作为多任务学习步骤的输入。
具体实施中，多尺度特征提取包括传统的深度神经网络中的卷积、激活、池化以及批规范化的运算，具体是由原始的将红外图像I逐渐进行图像缩小，图像缩小的同时深度增加，从而获得一系列的不同尺度的特征图。为了得到融合多尺度信息的特征图，本方法将低层的分辨率较高的特征图重组成为长宽分辨率为原来四分之一，深度为原来4倍的特征图，然后将该特征图和高层分辨率一致的特征图在深度方向上进行连接，得到融合之后的特征图。
进一步的，所述神经网络训练模块，还用于：
将红外图像分成预设大小的网格，在每一个具有目标框的网格内随机生成若干个预测框，每一个预测框具有框标签；
在具有目标框的每个网格中，找到和目标框之间交叠率最大的预测框作为该网格的实际预测框；
采用带动量SGD算法以实际预测框的框标签为训练对象进行迭代运算训练，使得每个网格内的实际预测框逐渐接近目标框，完成训练。
其中，交叠率为预测框和目标框之间的重叠面积占预测框和目标框总面积的比例。
其中，较低层的特征图的图像长宽分辨率较大，较高层的特征图长宽分辨率较小。
进一步的，所述部件检测模块，还用于：
在电力设备部件检测神经网络的输出端得到未知待测图像划分成预设大小的网格以及各个网格获得各自的预测框的结果；
对所有的预测框进行非极大值抑制，根据置信度选择预测框作为最终的预测结果。
进一步的，所述部件检测模块，还用于：
首先，对于属于同一电力设备部件类别的所有的预测框，若任意两个预测框的交叠率大于非极大值抑制交叠率阈值，则将置信度较小的预测框的置信度设置为0，置信度较大的预测框保留下来；
然后，保留下来的预测框用置信度阈值进行筛选，排除预测框的框标签中置信度小于置信度阈值的预测框，保留预测框的框标签中置信度大于等于置信度阈值的预测框。
本发明的第三目的是提供了一种红外图像电力设备部件实时检测***。
本发明的一种红外图像电力设备部件实时检测***，包括检测服务器和客户端，所述检测服务器被配置为：
获取包含已知电力设备部件的红外图像构成样本集，其中样本集中每幅红外图像均已标示目标框且均具有部件级标签，目标框是含有单个已知电力设备部件的图像区域；
构建基于YOLO目标检测框架的电力设备部件检测的神经网络，将利用样本集中的红外图像及其对应的部件级标签输入至已构建的神经网络并对其进行训练；
采用训练后的电力设备部件检测的神经网络对具有未知部件级标签的待测红外图像进行处理，输出电力设备部件的检测结果。
进一步的，所述检测服务器还被配置为：对已构建的神经网络进行训练的过程中，通过多尺度特征提取到融合多尺度特征的特征图，在特征图中建立预测框，再通过多任务学习进行处理使得预测框接近于目标框。
进一步的，所述检测服务器还被配置为：
将红外图像分成预设大小的网格，在每一个具有目标框的网格内随机生成若干个预测框，每一个预测框具有框标签；
在具有目标框的每个网格中，找到和目标框之间交叠率最大的预测框作为该网格的实际预测框；
采用带动量SGD算法以实际预测框的框标签为训练对象进行迭代运算训练，使得每个网格内的实际预测框逐渐接近目标框，完成训练。
进一步的，所述检测服务器还被配置为：在电力设备部件检测神经网络的输出端得到未知待测图像划分成预设大小的网格以及各个网格获得各自的预测框的结果；
对所有的预测框进行非极大值抑制，根据置信度选择预测框作为最终的预测结果。
进一步的，所述检测服务器还被配置为：在对所有的预测框进行非极大值抑制，根据置信度选择预测框作为最终的预测结果的过程中，首先，对于属于同一电力设备部件类别的所有的预测框，若任意两个预测框的交叠率大于非极大值抑制交叠率阈值，则将置信度较小的预测框的置信度设置为0，置信度较大的预测框保留下来；
然后，保留下来的预测框用置信度阈值进行筛选，排除预测框的框标签中置信度小于置信度阈值的预测框，保留预测框的框标签中置信度大于等于置信度阈值的预测框。
与现有技术相比，本发明的有益效果是：
本发明方法利用YOLO目标检测框架，在大量已标注部件的红外图像上进行训练，充分学习得到网络的参数，采用的全卷积神经网络的设计方式使得模型的测试速度能够在GPU上超过20帧每秒，适合高精度，快速电力设备部件检测的应用场景。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为本发明的红外图像电力设备部件实时检测方法流程图。
图2为本发明的构建的神经网络示意图。
图3(a)为本发明实施例一的电力设备部件检测结果示意图。
图3(b)为本发明实施例二的电力设备部件检测结果示意图。
图3(c)为本发明实施例三的电力设备部件检测结果示意图。
图3(d)为本发明实施例四的电力设备部件检测结果示意图。
图4为本发明的红外图像电力设备部件实时检测服务器结构示意图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
由于深度学习因为其优越的学习能力和表达能力，在泛化的目标检测领域取得了突破性的进展。为了提供训练深度学习模型所需要的数据，本方法首先收集了近8000张电力设备的红外热像图，并对它们进行了部件级别的标注。红外图像中的电力设备部件检测相比泛化的目标检测的区别主要体现在电力设备在红外图像中可能是倾斜的，而目前绝大部分目标检测任务针对的是正的目标检测。
图1为本发明的红外图像电力设备部件实时检测方法流程图。
如图1所示，本发明的一种红外图像电力设备部件实时检测方法，包括：
步骤(1)：获取包含已知电力设备部件的红外图像构成样本集，其中样本集中每幅红外图像均已标示目标框且均具有部件级标签，目标框是含有单个已知电力设备部件的图像区域。
每幅红外图像I均已标示目标框，目标框是含有单个已知电力设备部件的图像区域，每幅红外图像I均具有部件级标签，部件级标签为[ci,xi,yi,θi,wi,hi]，其中i表示目标框的序号，ci表示目标框内所包含电力设备部件的类别，共有C个类别的电力设备部件；xi,yi分别表示目标框中心点的x坐标和y坐标，θi,wi,hi分别表示目标框的倾斜角、宽度和高度；x坐标和y坐标分别是指图像的横纵坐标。倾斜角是目标框的纵边和图像横坐标方向之间的夹角。
具体实施中，电力设备部件分为瓷套、密封罩-CT、密封罩-PT、法兰、均压环、灭弧室六类。其中，红外图像I中包含有电力设备，电力设备下又细分为部件，使得图像中不同的电力设备部件可能属于不同的电力设备，可能属于相同的电力设备。
步骤(2)：构建基于YOLO目标检测框架的电力设备部件检测的神经网络，如图2所示，将利用样本集中的红外图像及其对应的部件级标签输入至已构建的神经网络并对其进行训练。
在所述步骤(2)对已构建的神经网络进行训练的过程中，通过多尺度特征提取到融合多尺度特征的特征图，在特征图中建立预测框，再通过多任务学习进行处理使得预测框接近于目标框。
在步骤(2)中，将红外图像进行多尺度处理，其中，尺度是指图像大小上的变化，获得一系列不同尺度的特征图；
取任一较低层的特征图进行重组处理使得图像大小为原来的四分之一并且深度为原来4倍，将重组处理后的较低层的特征图和较高层的特征图在深度方向上进行连接，得到融合之后的最终特征图，该特征图再经过一次卷积操作之后作为多任务学习步骤的输入。
具体实施中，多尺度特征提取包括传统的深度神经网络中的卷积、激活、池化以及批规范化的运算，具体是由原始的将红外图像I逐渐进行图像缩小，图像缩小的同时深度增加，从而获得一系列的不同尺度的特征图。为了得到融合多尺度信息的特征图，本方法将低层的分辨率较高的特征图重组成为长宽分辨率为原来四分之一，深度为原来4倍的特征图，然后将该特征图和高层分辨率一致的特征图在深度方向上进行连接，得到融合之后的特征图。
其中，较低层的特征图的图像长宽分辨率较大，较高层的特征图长宽分辨率较小。
在所述步骤(2)对已构建的神经网络进行训练的过程，还包括：
将红外图像分成S×S大小的网格，在每一个具有目标框的网格内随机生成B(B为大于或等于1的整数)个预测框，每一个预测框具有框标签；其中，没有目标框的网格不生成预测框，B个预测框允许可以重叠，以目标框的中心点是否位于网格内判断网格内是否具有目标框；
每一个预测框具有框标签[s,p,tx,ty,tθ,tw,th]，其中s表示预测框内存在电力设备部件的置信度，p表示预测框内存在电力设备部件情况下电力设备部件所属类别的概率分布，tθ表示预测框的倾斜角，tx,ty分别表示预测框中心点的x,y坐标，tw,th分表表示预测框的宽度和高度；其中，置信度s和概率分布p的初始值是随机生成的，并且初始值不等于零。
在具有目标框的每个网格中，找到和目标框之间交叠率最大的预测框作为该网格的实际预测框；
采用带动量SGD算法以实际预测框的框标签为训练对象进行迭代运算训练，使得每个网格内的实际预测框逐渐接近目标框，完成训练。
其中，交叠率为预测框和目标框之间的重叠面积占预测框和目标框总面积的比例。
在步骤(2)的神经网络的训练过程具体包括定位损失函数、分类损失函数以及倾斜角一致性约束损失函数：
L＝Lloc+Lcls+Lort
其中，L表示各类损失函数之和，Lloc表示定位损失函数，Lcls表示分类损失函数，Lort表示倾斜角一致性损失函数；
定位损失函数表示为：
Figure BDA0001396831890000071
其中，
Figure BDA0001396831890000072
表示第i个网格中第j个预测框是否是最接近预测框的指示函数，当第i个网格中第j个预测框是最接近预测框时指示函数
Figure BDA0001396831890000081
为1，当第i个网格中第j个预测框不是最接近预测框时指示函数
Figure BDA0001396831890000082
为0；
Figure BDA0001396831890000083
表示预测框中存在电力设备部件的置信度真值，
Figure BDA0001396831890000084
表示目标框位置和角度参数的真实值，
Figure BDA0001396831890000085
λnoobj表示不存在电力设备部件的网格的损失函数权重，λloc表示定位任务的损失函数权重；
Figure BDA0001396831890000086
表示第i个网格中第j个预测框是否非最接近预测框，当第i个网格中第j个预测框不是最接近预测框时指示函数
Figure BDA0001396831890000087
为1，当第i个网格中第j个预测框是最接近预测框时指示函数
Figure BDA0001396831890000088
为0.
sij表示第i个网格中第j个预测框的预测置信度，
Figure BDA0001396831890000089
表示第i个网格中第j个预测框对应的真实置信度。当第i个网格中第j个预测框是最接近预测框时，
Figure BDA00013968318900000810
为1，否则
Figure BDA00013968318900000811
为0.
tij表示第i个网格中第j个预测框的预测位置和角度参数，
Figure BDA00013968318900000812
表示第i个网格中第j个预测框对应的真实目标框的位置和角度参数。只有当第i个网格中第j个预测框时最接近预测框时，它才有对应的真实目标框。
Figure BDA00013968318900000813
表示求L2范数计算。
分类损失函数表示为：
Figure BDA00013968318900000814
其中，λcls表示分类任务的损失函数权重；
其中，pij表示第i个网格中第j个预测框属于各个电力设备部件类别的预测的概率分布，
Figure BDA00013968318900000815
表示第i个网格中第j个预测框属于各个电力设备部件类别真实的概率分布。只有当第i个网格中第j个预测框是最接近预测框时，才会计算这一部分损失函数。
倾斜角一致性约束损失函数表示为：
Figure BDA00013968318900000816
其中，g表示第g个设备组，假设图像I一共有G个设备组。
Figure BDA00013968318900000817
表示第i个网格的第j个预测框对应第g个设备组之间关系的指示函数，当第i个网格的第j个预测框是最接近预测框并且属于第g个设备组Ωg时，
Figure BDA00013968318900000818
为1，否则为0；
Figure BDA00013968318900000819
表示第g个设备组倾斜角的平均值；
Figure BDA0001396831890000091
表示第i个网格中第j个预测框的预测的倾斜角。
本发明通过倾斜角一致性约束损失函数让属于同一电力设备上的所有部件对应的预测框的倾斜角保持一致：首先找到在同一个电力设备上的所有部件，使得任意两个部件预测框的倾斜角接近，并且这两个部件预测框中心连线的倾斜角和倾斜角的平均值接近。从而使得图像上G个设备的每个设备都由一组倾斜角接近预测框对应的部件组成。
本方法采用了基于YOLO的目标检测框架，在训练时通过加入倾斜角一致性约束提高模型的定位能力。测试时直接将未知标签的图像通过一次神经网络的前向传播，经过非极大值抑制即可得到电力设备部件的检测结果。测试时在GPU上能达到超过20帧每秒的速度。
具体实施中，动量设置为0.9，一共迭代90000次，前30000次学习率为0.01，后60000次学习率为0.001.训练结束后，保存电力设备部件检测的神经网络的参数。
步骤(3)：采用训练后的电力设备部件检测的神经网络对具有未知部件级标签的待测红外图像进行处理，输出电力设备部件的检测结果。
在所述步骤(3)中采用训练后的电力设备部件检测的神经网络对具有未知部件级标签的待测红外图像进行处理的过程包括：
在电力设备部件检测神经网络的输出端得到未知待测图像划分成预设大小的网格以及各个网格获得各自的预测框的结果；
对所有的预测框进行非极大值抑制，根据置信度选择预测框作为最终的预测结果。
对所有的预测框进行非极大值抑制，根据置信度选择预测框作为最终的预测结果的过程为：
首先，对于属于同一电力设备部件类别的所有的预测框，若任意两个预测框的交叠率大于非极大值抑制交叠率阈值，则将置信度较小的预测框的置信度设置为0，置信度较大的预测框保留下来；
然后，保留下来的预测框用置信度阈值进行筛选，排除预测框的框标签中置信度小于置信度阈值的预测框，保留预测框的框标签中置信度大于等于置信度阈值的预测框。
具体实施中，将未知图像作为电力设备部件检测的神经网络的输入，得到所有网格预测的预测框，采用非极大值抑制算法，当预测为相同类的两个预测框的交叠率大于0.4时，将置信度较小的预测框的置信度设置为0，置信度较大的预测框保留。最后，选择置信度大于0.2的预测框作为最终的预测结果。图2展示实施例一些电力设备部件检测结果。
本实施例最后在收集的红外图像电力设备部件数据集上进行测试，如图3(a)-图3(d)所示，一共有瓷套、密封罩-CT、密封罩-PT、法兰、均压环、灭弧室共6种电力设备部件的类型。其中，0为瓷套；1为密封罩-CT；2为密封罩-PT；3为均压环；4为法兰；5为灭弧室。
随机选取数据集的60％进行训练，剩下的40％进行测试。使用目标检测的标准评判准则AP和mAP进行评测，表1给出了本方法在测试集上的AP和mAP值，其中mAP的值为各个类别的AP值的平均。AP和mAP值越大，说明性能越好。
Figure BDA0001396831890000101
从上表中可以看到，本方法的mAP值达到了92.4，其中个别类别的AP值超过了95。从测试结果可以显示本方法突出显著的技术效果。
本发明方法利用YOLO目标检测框架，在大量已标注部件的红外图像上进行训练，充分学习得到网络的参数，利用倾斜角一致性约束提高了本方法对电力设备部件定位的准确度。本方法采用的全卷积神经网络的设计方式使得模型的测试速度能够在GPU上超过20帧每秒，适合高精度，快速电力设备部件检测的应用场景。
图4为本发明的红外图像电力设备部件实时检测服务器结构示意图。
如图4所示，本发明的一种红外图像电力设备部件实时检测服务器，包括：
(1)样本集构建模块，其用于获取包含已知电力设备部件的红外图像构成样本集，其中样本集中每幅红外图像均已标示目标框且均具有部件级标签，目标框是含有单个已知电力设备部件的图像区域。
(2)神经网络训练模块，其用于构建基于YOLO目标检测框架的电力设备部件检测的神经网络，将利用样本集中的红外图像及其对应的部件级标签输入至已构建的神经网络并对其进行训练；
在所述神经网络训练模块中，通过多尺度特征提取到融合多尺度特征的特征图，在特征图中建立预测框，再通过多任务学习进行处理使得预测框接近于目标框。
在该模块中，将红外图像进行多尺度处理，其中，尺度是指图像大小上的变化，获得一系列不同尺度的特征图；
取任一较低层的特征图进行重组处理使得图像大小为原来的四分之一并且深度为原来4倍，将重组处理后的较低层的特征图和较高层的特征图在深度方向上进行连接，得到融合之后的最终特征图，该特征图再经过一次卷积操作之后作为多任务学习步骤的输入。
具体实施中，多尺度特征提取包括传统的深度神经网络中的卷积、激活、池化以及批规范化的运算，具体是由原始的将红外图像I逐渐进行图像缩小，图像缩小的同时深度增加，从而获得一系列的不同尺度的特征图。为了得到融合多尺度信息的特征图，本方法将低层的分辨率较高的特征图重组成为长宽分辨率为原来四分之一，深度为原来4倍的特征图，然后将该特征图和高层分辨率一致的特征图在深度方向上进行连接，得到融合之后的特征图。
所述神经网络训练模块，还用于：
将红外图像分成预设大小的网格，在每一个具有目标框的网格内随机生成若干个预测框，每一个预测框具有框标签；
在具有目标框的每个网格中，找到和目标框之间交叠率最大的预测框作为该网格的实际预测框；
采用带动量SGD算法以实际预测框的框标签为训练对象进行迭代运算训练，使得每个网格内的实际预测框逐渐接近目标框，完成训练。
其中，交叠率为预测框和目标框之间的重叠面积占预测框和目标框总面积的比例。
其中，较低层的特征图的图像长宽分辨率较大，较高层的特征图长宽分辨率较小。
(3)部件检测模块，其用于采用训练后的电力设备部件检测的神经网络对具有未知部件级标签的待测红外图像进行处理，输出电力设备部件的检测结果。
所述部件检测模块，还用于：
在电力设备部件检测神经网络的输出端得到未知待测图像划分成预设大小的网格以及各个网格获得各自的预测框的结果；
对所有的预测框进行非极大值抑制，根据置信度选择预测框作为最终的预测结果。
所述部件检测模块，还用于：
首先，对于属于同一电力设备部件类别的所有的预测框，若任意两个预测框的交叠率大于非极大值抑制交叠率阈值，则将置信度较小的预测框的置信度设置为0，置信度较大的预测框保留下来；
然后，保留下来的预测框用置信度阈值进行筛选，排除预测框的框标签中置信度小于置信度阈值的预测框，保留预测框的框标签中置信度大于等于置信度阈值的预测框。
本发明的该服务器利用YOLO目标检测框架，在大量已标注部件的红外图像上进行训练，充分学习得到网络的参数，该***采用的全卷积神经网络的设计方式使得模型的测试速度能够在GPU上超过20帧每秒，适合高精度，快速电力设备部件检测的应用场景。
本发明还提供了一种红外图像电力设备部件实时检测***。
本发明的一种红外图像电力设备部件实时检测***，包括检测服务器和客户端，所述检测服务器被配置为：
获取包含已知电力设备部件的红外图像构成样本集，其中样本集中每幅红外图像均已标示目标框且均具有部件级标签，目标框是含有单个已知电力设备部件的图像区域；
构建基于YOLO目标检测框架的电力设备部件检测的神经网络，将利用样本集中的红外图像及其对应的部件级标签输入至已构建的神经网络并对其进行训练；
采用训练后的电力设备部件检测的神经网络对具有未知部件级标签的待测红外图像进行处理，输出电力设备部件的检测结果。
进一步的，所述检测服务器还被配置为：对已构建的神经网络进行训练的过程中，通过多尺度特征提取到融合多尺度特征的特征图，在特征图中建立预测框，再通过多任务学习进行处理使得预测框接近于目标框。
进一步的，所述检测服务器还被配置为：
将红外图像分成预设大小的网格，在每一个具有目标框的网格内随机生成若干个预测框，每一个预测框具有框标签；
在具有目标框的每个网格中，找到和目标框之间交叠率最大的预测框作为该网格的实际预测框；
采用带动量SGD算法以实际预测框的框标签为训练对象进行迭代运算训练，使得每个网格内的实际预测框逐渐接近目标框，完成训练。
进一步的，所述检测服务器还被配置为：在电力设备部件检测神经网络的输出端得到未知待测图像划分成预设大小的网格以及各个网格获得各自的预测框的结果；
对所有的预测框进行非极大值抑制，根据置信度选择预测框作为最终的预测结果。
进一步的，所述检测服务器还被配置为：在对所有的预测框进行非极大值抑制，根据置信度选择预测框作为最终的预测结果的过程中，首先，对于属于同一电力设备部件类别的所有的预测框，若任意两个预测框的交叠率大于非极大值抑制交叠率阈值，则将置信度较小的预测框的置信度设置为0，置信度较大的预测框保留下来；
然后，保留下来的预测框用置信度阈值进行筛选，排除预测框的框标签中置信度小于置信度阈值的预测框，保留预测框的框标签中置信度大于等于置信度阈值的预测框。
本发明的该***利用YOLO目标检测框架，在大量已标注部件的红外图像上进行训练，充分学习得到网络的参数，该***采用的全卷积神经网络的设计方式使得模型的测试速度能够在GPU上超过20帧每秒，适合高精度，快速电力设备部件检测的应用场景。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (15)

1.一种红外图像电力设备部件实时检测方法，其特征在于，包括：
步骤(1)：获取包含已知电力设备部件的红外图像构成样本集，其中样本集中每幅红外图像均已标示目标框且均具有部件级标签，目标框是含有单个已知电力设备部件的图像区域；
步骤(2)：构建基于YOLO目标检测框架的电力设备部件检测的神经网络，将利用样本集中的红外图像及其对应的部件级标签输入至已构建的神经网络并对其进行训练；
步骤(3)：采用训练后的电力设备部件检测的神经网络对具有未知部件级标签的待测红外图像进行处理，输出电力设备部件的检测结果；
在步骤(2)的神经网络的训练过程具体包括定位损失函数、分类损失函数以及倾斜角一致性约束损失函数：
L＝Lloc+Lcls+Lort
其中，L表示各类损失函数之和，Lloc表示定位损失函数，Lcls表示分类损失函数，Lort表示倾斜角一致性损失函数；
倾斜角一致性约束损失函数表示为：
Figure FDA0002185654360000011
其中，g表示第g个设备组，图像I一共有G个设备组；
Figure FDA0002185654360000012
表示第i个网格的第j个预测框对应第g个设备组之间关系的指示函数，当第i个网格的第j个预测框是最接近预测框并且属于第g个设备组Ωg时，
Figure FDA0002185654360000013
为1，否则为0；
Figure FDA0002185654360000014
表示第g个设备组倾斜角的平均值；
Figure FDA0002185654360000015
表示第i个网格中第j个预测框的预测的倾斜角。
2.如权利要求1所述的一种红外图像电力设备部件实时检测方法，其特征在于，在所述步骤(2)对已构建的神经网络进行训练的过程中，通过多尺度特征提取到融合多尺度特征的特征图，在特征图中建立预测框，再通过多任务学习进行处理使得预测框接近于目标框。
3.如权利要求2所述的一种红外图像电力设备部件实时检测方法，其特征在于，在所述步骤(2)对已构建的神经网络进行训练的过程，还包括：
将红外图像分成预设大小的网格，在每一个具有目标框的网格内随机生成若干个预测框，每一个预测框具有框标签；
在具有目标框的每个网格中，找到和目标框之间交叠率最大的预测框作为该网格的实际预测框；
采用带动量SGD算法以实际预测框的框标签为训练对象进行迭代运算训练，使得每个网格内的实际预测框逐渐接近目标框，完成训练。
4.如权利要求1所述的一种红外图像电力设备部件实时检测方法，其特征在于，在所述步骤(3)中采用训练后的电力设备部件检测的神经网络对具有未知部件级标签的待测红外图像进行处理的过程包括：
在电力设备部件检测神经网络的输出端得到未知待测图像划分成预设大小的网格以及各个网格获得各自的预测框的结果；
对所有的预测框进行非极大值抑制，根据置信度选择预测框作为最终的预测结果。
5.如权利要求4所述的一种红外图像电力设备部件实时检测方法，其特征在于，对所有的预测框进行非极大值抑制，根据置信度选择预测框作为最终的预测结果的过程为：
首先，对于属于同一电力设备部件类别的所有的预测框，若任意两个预测框的交叠率大于非极大值抑制交叠率阈值，则将置信度较小的预测框的置信度设置为0，置信度较大的预测框保留下来；
然后，保留下来的预测框用置信度阈值进行筛选，排除预测框的框标签中置信度小于置信度阈值的预测框，保留预测框的框标签中置信度大于等于置信度阈值的预测框。
6.一种红外图像电力设备部件实时检测服务器，其特征在于，包括：
样本集构建模块，其用于获取包含已知电力设备部件的红外图像构成样本集，其中样本集中每幅红外图像均已标示目标框且均具有部件级标签，目标框是含有单个已知电力设备部件的图像区域；
神经网络训练模块，其用于构建基于YOLO目标检测框架的电力设备部件检测的神经网络，将利用样本集中的红外图像及其对应的部件级标签输入至已构建的神经网络并对其进行训练；
部件检测模块，其用于采用训练后的电力设备部件检测的神经网络对具有未知部件级标签的待测红外图像进行处理，输出电力设备部件的检测结果；
在神经网络的训练过程具体包括定位损失函数、分类损失函数以及倾斜角一致性约束损失函数：
L＝Lloc+Lcls+Lort
其中，L表示各类损失函数之和，Lloc表示定位损失函数，Lcls表示分类损失函数，Lort表示倾斜角一致性损失函数；
倾斜角一致性约束损失函数表示为：
Figure FDA0002185654360000031
其中，g表示第g个设备组，图像I一共有G个设备组；
Figure FDA0002185654360000032
表示第i个网格的第j个预测框对应第g个设备组之间关系的指示函数，当第i个网格的第j个预测框是最接近预测框并且属于第g个设备组Ωg时，
Figure FDA0002185654360000033
为1，否则为0；
Figure FDA0002185654360000034
表示第g个设备组倾斜角的平均值；
Figure FDA0002185654360000035
表示第i个网格中第j个预测框的预测的倾斜角。
7.如权利要求6所述的一种红外图像电力设备部件实时检测服务器，其特征在于，在所述神经网络训练模块中，通过多尺度特征提取到融合多尺度特征的特征图，在特征图中建立预测框，再通过多任务学习进行处理使得预测框接近于目标框。
8.如权利要求7所述的一种红外图像电力设备部件实时检测服务器，其特征在于，所述神经网络训练模块，还用于：
将红外图像分成预设大小的网格，在每一个具有目标框的网格内随机生成若干个预测框，每一个预测框具有框标签；
在具有目标框的每个网格中，找到和目标框之间交叠率最大的预测框作为该网格的实际预测框；
采用带动量SGD算法以实际预测框的框标签为训练对象进行迭代运算训练，使得每个网格内的实际预测框逐渐接近目标框，完成训练。
9.如权利要求6所述的一种红外图像电力设备部件实时检测服务器，其特征在于，所述部件检测模块，还用于：
在电力设备部件检测神经网络的输出端得到未知待测图像划分成预设大小的网格以及各个网格获得各自的预测框的结果；对所有的预测框进行非极大值抑制，根据置信度选择预测框作为最终的预测结果。
10.如权利要求9所述的一种红外图像电力设备部件实时检测服务器，其特征在于，所述部件检测模块，还用于：
首先，对于属于同一电力设备部件类别的所有的预测框，若任意两个预测框的交叠率大于非极大值抑制交叠率阈值，则将置信度较小的预测框的置信度设置为0，置信度较大的预测框保留下来；
然后，保留下来的预测框用置信度阈值进行筛选，排除预测框的框标签中置信度小于置信度阈值的预测框，保留预测框的框标签中置信度大于等于置信度阈值的预测框。
11.一种红外图像电力设备部件实时检测***，其特征在于，包括检测服务器和客户端，所述检测服务器被配置为：
获取包含已知电力设备部件的红外图像构成样本集，其中样本集中每幅红外图像均已标示目标框且均具有部件级标签，目标框是含有单个已知电力设备部件的图像区域；
构建基于YOLO目标检测框架的电力设备部件检测的神经网络，将利用样本集中的红外图像及其对应的部件级标签输入至已构建的神经网络并对其进行训练；
采用训练后的电力设备部件检测的神经网络对具有未知部件级标签的待测红外图像进行处理，输出电力设备部件的检测结果；
在神经网络的训练过程具体包括定位损失函数、分类损失函数以及倾斜角一致性约束损失函数：
L＝Lloc+Lcls+Lort
其中，L表示各类损失函数之和，Lloc表示定位损失函数，Lcls表示分类损失函数，Lort表示倾斜角一致性损失函数；
倾斜角一致性约束损失函数表示为：
Figure FDA0002185654360000041
其中，g表示第g个设备组，图像I一共有G个设备组；
Figure FDA0002185654360000042
表示第i个网格的第j个预测框对应第g个设备组之间关系的指示函数，当第i个网格的第j个预测框是最接近预测框并且属于第g个设备组Ωg时，
Figure FDA0002185654360000043
为1，否则为0；
Figure FDA0002185654360000044
表示第g个设备组倾斜角的平均值；
Figure FDA0002185654360000045
表示第i个网格中第j个预测框的预测的倾斜角。
12.如权利要求11所述的一种红外图像电力设备部件实时检测***，其特征在于，所述检测服务器还被配置为：对已构建的神经网络进行训练的过程中，通过多尺度特征提取到融合多尺度特征的特征图，在特征图中建立预测框，再通过多任务学习进行处理使得预测框接近于目标框。
13.如权利要求12所述的一种红外图像电力设备部件实时检测***，其特征在于，所述检测服务器还被配置为：
将红外图像分成预设大小的网格，在每一个具有目标框的网格内随机生成若干个预测框，每一个预测框具有框标签；
在具有目标框的每个网格中，找到和目标框之间交叠率最大的预测框作为该网格的实际预测框；
采用带动量SGD算法以实际预测框的框标签为训练对象进行迭代运算训练，使得每个网格内的实际预测框逐渐接近目标框，完成训练。
14.如权利要求11所述的一种红外图像电力设备部件实时检测***，其特征在于，所述检测服务器还被配置为：在电力设备部件检测神经网络的输出端得到未知待测图像划分成预设大小的网格以及各个网格获得各自的预测框的结果；
对所有的预测框进行非极大值抑制，根据置信度选择预测框作为最终的预测结果。
15.如权利要求14所述的一种红外图像电力设备部件实时检测***，其特征在于，所述检测服务器还被配置为：在对所有的预测框进行非极大值抑制，根据置信度选择预测框作为最终的预测结果的过程中，首先，对于属于同一电力设备部件类别的所有的预测框，若任意两个预测框的交叠率大于非极大值抑制交叠率阈值，则将置信度较小的预测框的置信度设置为0，置信度较大的预测框保留下来；
然后，保留下来的预测框用置信度阈值进行筛选，排除预测框的框标签中置信度小于置信度阈值的预测框，保留预测框的框标签中置信度大于等于置信度阈值的预测框。
CN201710780528.9A 2017-09-01 2017-09-01 一种红外图像电力设备部件实时检测方法、服务器及*** Active CN107742093B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710780528.9A CN107742093B (zh) 2017-09-01 2017-09-01 一种红外图像电力设备部件实时检测方法、服务器及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710780528.9A CN107742093B (zh) 2017-09-01 2017-09-01 一种红外图像电力设备部件实时检测方法、服务器及***

Publications (2)

Publication Number Publication Date
CN107742093A CN107742093A (zh) 2018-02-27
CN107742093B true CN107742093B (zh) 2020-05-05

Family

ID=61235173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710780528.9A Active CN107742093B (zh) 2017-09-01 2017-09-01 一种红外图像电力设备部件实时检测方法、服务器及***

Country Status (1)

Country Link
CN (1) CN107742093B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416979A (zh) * 2018-03-08 2018-08-17 辽宁工程技术大学 一种智能老年人摔倒报警***
CN108288055B (zh) * 2018-03-14 2020-09-22 台州智必安科技有限责任公司 基于深度网络与分级测试的电力机车受电弓及电弧检测方法
CN108597053A (zh) * 2018-04-25 2018-09-28 北京御航智能科技有限公司 基于图像数据和神经网络的杆塔和通道目标识别与缺陷诊断方法
CN108968811A (zh) * 2018-06-20 2018-12-11 四川斐讯信息技术有限公司 一种扫地机器人的物体识别方法及***
CN109344850A (zh) * 2018-07-27 2019-02-15 华南理工大学 一种基于yolo的水表自动检测方法
CN109165611B (zh) * 2018-08-31 2020-03-24 广州市派客朴食信息科技有限责任公司 一种基于机器视觉和神经网络的碗碟识别智能结算方法
CN109409197A (zh) * 2018-08-31 2019-03-01 广州市派客朴食信息科技有限责任公司 一种基于神经网络的碗碟检测方法
CN109255320B (zh) * 2018-09-03 2020-09-25 电子科技大学 一种改进的非极大值抑制方法
CN109784348B (zh) * 2018-12-17 2021-06-18 中国科学院深圳先进技术研究院 一种红外电力设备识别和在线诊断方法及其***
CN109815800A (zh) * 2018-12-17 2019-05-28 广东电网有限责任公司 基于回归算法的目标检测方法及***
CN109740662A (zh) * 2018-12-28 2019-05-10 成都思晗科技股份有限公司 基于yolo框架的图像目标检测方法
CN109783560A (zh) * 2019-01-16 2019-05-21 江苏圣通电力新能源科技有限公司 基于深度学习多特征融合的电力设备状态的检测方法
CN109784336A (zh) * 2019-01-30 2019-05-21 云南电网有限责任公司电力科学研究院 一种基于yolo目标检测算法的红外图像故障点识别方法
CN111666958A (zh) * 2019-03-05 2020-09-15 中科院微电子研究所昆山分所 基于图像识别的设备状态检测方法、装置、设备及介质
CN110738238B (zh) * 2019-09-18 2023-05-26 平安科技（深圳）有限公司 一种证件信息的分类定位方法及装置
CN110618424B (zh) * 2019-09-27 2021-09-21 中科九度(北京)空间信息技术有限责任公司 一种基于多传感器融合的远距离高压线发现方法
CN110992307A (zh) * 2019-11-04 2020-04-10 华北电力大学（保定） 基于yolo的绝缘子定位识别方法及装置
CN111784767B (zh) * 2020-06-08 2024-06-18 珠海格力电器股份有限公司 一种确定目标位置方法及设备
CN111815567A (zh) * 2020-06-15 2020-10-23 国网上海市电力公司 一种高识别率电力设备自动标注方法和装置
CN111815581A (zh) * 2020-06-27 2020-10-23 国网上海市电力公司 一种电力隔离开关及其部件自动识别方法和装置
CN112380952B (zh) * 2020-11-10 2022-10-11 广西大学 基于人工智能的电力设备红外图像实时检测及识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022237A (zh) * 2016-05-13 2016-10-12 电子科技大学 一种端到端的卷积神经网络的行人检测方法
CN106504233A (zh) * 2016-10-18 2017-03-15 国网山东省电力公司电力科学研究院 基于Faster R‑CNN的无人机巡检图像电力小部件识别方法及***
CN106778472A (zh) * 2016-11-17 2017-05-31 成都通甲优博科技有限责任公司 基于深度学习的输电走廊常见侵入物目标检测与识别方法
CN107038448A (zh) * 2017-03-01 2017-08-11 中国科学院自动化研究所 目标检测模型构建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022237A (zh) * 2016-05-13 2016-10-12 电子科技大学 一种端到端的卷积神经网络的行人检测方法
CN106504233A (zh) * 2016-10-18 2017-03-15 国网山东省电力公司电力科学研究院 基于Faster R‑CNN的无人机巡检图像电力小部件识别方法及***
CN106778472A (zh) * 2016-11-17 2017-05-31 成都通甲优博科技有限责任公司 基于深度学习的输电走廊常见侵入物目标检测与识别方法
CN107038448A (zh) * 2017-03-01 2017-08-11 中国科学院自动化研究所 目标检测模型构建方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Detecting Oriented Text in Natural Images by Linking Segments;Baoguang Shi et al.;《arXiv》;20170319;全文 *
Joseph Redmon et al..You Only Look Once:Unified, Real-Time Object Detection.《2016 IEEE Conference on Computer Vision and Pattern Recognition》.2016, *
Oriented Object Proposals;S. He and R. W. Lau;《 Proc. Int. Conf.Comput. Vis.》;20151231;全文 *
Recent progress in diagnosing the reliability of electrical equipment by using infrared thermography;Mohd Shawal Jadin et al.;《ELSEVIER》;20121231;全文 *
YOLO9000:Better, Faster, Stronger;Joseph Redmon et al.;《2017 IEEE Conference on Computer Vision and Pattern Recognition》;20170731;第6517-6525页 *
You Only Look Once:Unified, Real-Time Object Detection;Joseph Redmon et al.;《2016 IEEE Conference on Computer Vision and Pattern Recognition》;20161231;第779-788页 *

Also Published As

Publication number Publication date
CN107742093A (zh) 2018-02-27

Similar Documents

Publication Publication Date Title
CN107742093B (zh) 一种红外图像电力设备部件实时检测方法、服务器及***
CN111784685B (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN112199993B (zh) 基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法
CN109118479B (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN112200178B (zh) 基于人工智能的变电站绝缘子红外图像检测方法
CN110288586A (zh) 一种基于可见光图像数据的多尺度输电线路缺陷检测方法
KR102346676B1 (ko) 딥러닝 기반의 시설물 손상영상 분류를 활용한 손상도 생성방법
CN111914720B (zh) 一种输电线路绝缘子爆裂识别方法及装置
CN110133443B (zh) 基于平行视觉的输电线路部件检测方法、***、装置
CN107247952B (zh) 基于深层监督的循环卷积神经网络的视觉显著性检测方法
CN112967248B (zh) 生成缺陷图像样本的方法、装置、介质及程序产品
CN110992307A (zh) 基于yolo的绝缘子定位识别方法及装置
CN113284144B (zh) 一种基于无人机的隧道检测方法及装置
CN111507249A (zh) 基于目标检测的变电站鸟窝识别方法
CN113989631A (zh) 一种基于卷积神经网络的红外图像目标检测网络压缩方法
CN110059544B (zh) 一种基于道路场景的行人检测方法和***
CN115937492A (zh) 一种基于特征识别的变电设备红外图像识别方法
Wang et al. High-Voltage Transmission Line Foreign Object and Power Component Defect Detection Based on Improved YOLOv5
CN115546666A (zh) 基于无人机巡检的电力设备螺栓检测方法及***
CN108564125A (zh) 一种绝缘子图像分类方法及***
CN111144420A (zh) 基于小样本的电塔缺陷监测方法及***
Cao et al. FOD detection using a multi-channel information fusion method
CN110826647A (zh) 一种电力设备异物外观自动检测方法及***
Wu et al. Detection of Defects in Power Grid Inspection Images Based on Multi-scale Fusion
CN118096684A (zh) 一种输电线路缺陷检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Ji'nan City, Shandong Province Wang Yue Road 250003 No. 2000

Applicant after: Electric Power Research Institute of State Grid Shandong Electric Power Company

Applicant after: State Grid Co., Ltd.

Address before: Ji'nan City, Shandong Province Wang Yue Road 250003 No. 2000

Applicant before: Electric Power Research Institute of State Grid Shandong Electric Power Company

Applicant before: State Grid Corporation

CB02 Change of applicant information
CB03 Change of inventor or designer information

Inventor after: Lin Ying

Inventor after: Li Na

Inventor after: Zhu Mei

Inventor after: Xu Ran

Inventor after: Zhang Weiwei

Inventor after: Qin Jiafeng

Inventor after: Gu Chao

Inventor after: Qian Yuanliang

Inventor after: Guo Zhihong

Inventor after: Li Chengqi

Inventor after: Yang Dai

Inventor after: Bai Demeng

Inventor after: Zhang Hao

Inventor before: Lin Ying

Inventor before: Zhu Mei

Inventor before: Xu Ran

Inventor before: Zhang Weiwei

Inventor before: Qin Jiafeng

Inventor before: Gu Chao

Inventor before: Guo Zhihong

Inventor before: Li Chengqi

Inventor before: Yang Dai

Inventor before: Bai Demeng

Inventor before: Zhang Hao

Inventor before: Li Na

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant