CN112233074A - 一种基于可见光及红外融合图像的电力故障检测方法 - Google Patents

一种基于可见光及红外融合图像的电力故障检测方法 Download PDF

Info

Publication number
CN112233074A
CN112233074A CN202011058538.XA CN202011058538A CN112233074A CN 112233074 A CN112233074 A CN 112233074A CN 202011058538 A CN202011058538 A CN 202011058538A CN 112233074 A CN112233074 A CN 112233074A
Authority
CN
China
Prior art keywords
image
frequency
sub
fused
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011058538.XA
Other languages
English (en)
Inventor
郝建军
赵晓宇
赵国伟
张政
樊兴超
薛震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Datong Power Supply Co of State Grid Shanxi Electric Power Co Ltd
Original Assignee
Datong Power Supply Co of State Grid Shanxi Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Datong Power Supply Co of State Grid Shanxi Electric Power Co Ltd filed Critical Datong Power Supply Co of State Grid Shanxi Electric Power Co Ltd
Priority to CN202011058538.XA priority Critical patent/CN112233074A/zh
Publication of CN112233074A publication Critical patent/CN112233074A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种基于可见光及红外融合图像的电力故障检测方法，包括：步骤1，获取同一视角下待检测区域的第一图像和第二图像；步骤2，分别将第一图像和第二图像逐级分解，根据预设融合条件、以及分解后第一图像和第二图像中相同位置处的图像，生成融合图像；步骤3，根据故障检测模型，对融合图像进行故障识别，在融合图像中添加预测框，预测框中标注有预测标签，预测标签用于判断融合图像中的电力设备是否故障，其中，故障检测模型的模型参数由神经网络模型与样本融合图像确定。通过本申请中的技术方案，能够有效对电力设备进行故障检测，实用性强、便于推广，经济效益和社会效益都较高，提升了电网运行的稳定性。

Description

一种基于可见光及红外融合图像的电力故障检测方法
技术领域
本申请涉及电力故障检测的技术领域，具体而言，涉及一种基于可见 光及红外融合图像的电力故障检测方法。
背景技术
为了满足国内对电力能源越来越高的需求，需要对电力线路在高电压、 大容量方向上继续扩建，这就导致电力设备维护成为了不能忽视的问题。 一方面，跨地形的精确维护、高效率维护都是难以解决的问题；另一方面， 电力线路上的输电设备易发生损坏，特别是对于偏远地区，这些输电设备 所处的位置较为偏远、运行环境较为恶略，这些设备损坏时极易引起大规 模的供电故障和事故。因此，需要对电力线路进行定期巡检，而传统的电力电路巡检，通常为人工巡检，导致巡检人员工作量大、危险程度高、巡 检效率偏低。
而现有技术中，可以利用红外成像传感器对热目标的良好探测性能， 对电力线路进行故障检测，但是，红外成像传感器成像后的图像背景信息 模糊不清，不能准确识别出过热的具体部位，即不能分辨出哪个部件出现 了故障，无法进行远距离故障检测，也不利于对故障设备进行精准维护。
发明内容
本申请的目的在于：解决现有电力设备故障检测过程中存在的问题， 提高电力设备进行故障检测的有效性，提升电网运行的稳定性。
本申请的技术方案是：提供了一种基于可见光及红外融合图像的电力 故障检测方法，方法包括：步骤1，获取同一视角下待检测区域的第一图像 和第二图像；步骤2，分别将第一图像和第二图像逐级分解，根据预设融合 条件、以及分解后第一图像和第二图像中相同位置处的图像，生成融合图 像；步骤3，根据故障检测模型，对融合图像进行故障识别，在融合图像中 添加预测框，预测框中标注有预测标签，预测标签用于判断融合图像中的电力设备是否故障，其中，故障检测模型的模型参数由神经网络模型与样 本融合图像确定。
上述任一项技术方案中，进一步地，预设融合条件包括低频预设融合 条件和高频预设融合条件，步骤2，具体包括：
步骤21，根据高斯滤波函数，分别对第一图像和第二图像进行滤波处 理；
步骤22，采用小波变换法，分别将滤波后的第一图像、第二图像进行 逐级分解，其中，每一级分解得到的图像包括第一低频图像、第一高频图 像、第二低频图像、第二高频图像，当前级别的第一低频图像、第二低频 图像，可分解为下一级别的第一低频图像、第一高频图像、第二低频图像、 第二高频图像；
步骤23，根据低频预设融合条件，将相同位置处的第一低频图像与第 二低频图像进行低频融合，记作融合低频图像；
步骤24，根据高频预设融合条件以及分解后的第一高频图像和第二高 频图像所在的位置，依次选取每一级分解出的、相同位置处的第一高频图 像或第二高频图像，记作该位置处的融合高频图像；
步骤25，采用小波逆变换法，根据融合低频图像和不同位置处的融合 高频图像，生成融合图像。
上述任一项技术方案中，进一步地，步骤23，具体包括：
步骤231，将相同位置处的第一低频图像拆分为大小相等的多个第一子 块图像、以及将第二低频图像拆分为大小相等的多个第二子块图像，第一 子块图像的数量等于第二子块图像的数量；
步骤232，依次分别计算相同位置处第一子块图像与第二子块图像的相 关系数，相关系数ρ(A,B)的计算公式为：
ρ(A,B)＝Cov(A,B)/σAσB
Cov(A,B)＝E[(A-E[A])(B-E[B])]
式中，A为第一子块图像中的像素值，B为第二子块图像中的像素值， Cov(·)为协方差运算，E(·)为方差运算，σA为第一子块图像的标准差，σB为 第二子块图像的标准差；
步骤233，根据相关系数、第一子块图像、第二子块图像，生成融合低 频图像。
上述任一项技术方案中，进一步地，步骤24，具体包括：
步骤241，将相同级别的第一高频图像拆分为大小相等的多个第三子块 图像、以及第二高频图像拆分为大小相等的多个第四子块图像，第三子块 图像的数量等于第四子块图像的数量；
步骤242，计算第三子块图像、第四子块图像中的像素平均值，依次选 取同一级别下、相同位置处第三子块图像、第四子块图像中像素平均值较 大的图像，作为该位置处的融合高频图像。
上述任一项技术方案中，进一步地，步骤3中，故障检测模型的模型 参数由神经网络模型与样本融合图像确定，具体包括：
步骤31，获取电力设备运行状态下同一视角下的样本图像，并根据样 本图像生成样本融合图像；
步骤32，构建神经网络模型，神经网络模型包括正向传播路径和反向 传播路径，在反向传播路径中引入动量因子，对反向传播路径中的权值和 阈值进行调节，其中，调节权值和阈值的计算公式为：
Δωji(k+1)＝(1-mc(k))η(k)δjxji+mc(k)Δωji(k)
Δbj(k+1)＝(1-mc(k))η(k)δj+mc(k)Δbj(k)
Figure BDA0002711531970000041
式中，Δωji(k+1)为第k+1次迭代的权值调整量，Δbj(k+1)为第k+1次 迭代的阈值调整量，mc(k)为第k次迭代时对应的动量因子，η(k)为第k次 迭代时对应的学*** 方和；
步骤33，将样本融合图像输入引入动量因子后的神经网络模型，根据 第k次迭代过程中反向传播路径回传的权值和阈值，进行第k+1次迭代， 当判定第k+1次迭代收敛时，将神经网络模型记作故障检测模型，将神经 网络模型的参数记作模型参数。
上述任一项技术方案中，进一步地，学习速率η的计算公式为：
Figure BDA0002711531970000042
上述任一项技术方案中，进一步地，样本融合图像中标定有设备标签。
上述任一项技术方案中，进一步地，设备标签包括待检测电力设备在 融合图像中的第一坐标、第二坐标以及设备类型，所述第二坐标位于所述 第一坐标的对侧。
本申请的有益效果是：
通过本申请中的技术方案，能够有效对电力设备进行故障检测，实用 性强，便于推广，经济效益和社会效益都较高，提升了电网运行的稳定性。
在本申请对待检测区域的图像进行融合时，为了充分利用可见光图像 和红外图像的特性，采用多级分解、同级融合的图像处理与融合机制，对 可见光图像和红外图像进行融合处理，使最终结果不仅可以保留可见光图 像的颜色和清晰的细节轮廓以及边缘，还可以保留红外图像中红外图像的 亮度信息，使红外目标物体相对背景亮度突出，更容易识别目标。
本申请还使用附加动量法和自适应学习率调整法两种策略相结合的改 进BP算法，更新模型参数，既可有效地抑制网络陷入局部极小，又有利于 缩短学习时间，提高故障检测模型对待检测区域的融合图像的识别效率， 优化电力设备故障检测的实时性。
在本申请的一个优选实现方式中，在无人机上同时搭载可见光成像设 备和红外成像设备，通过人员的监控可以获取同视角的可见光图像和红外 图像，为得到融合图像做了充足准备，并且可以拍摄较长线路及设备的图 片信息，避免了传统方法效率低的问题。同时，可以将图像处理与融合机 制搭建在无人机上，在这个机制上进行了红外和可见光图像的基于V4L2 接口的图像实时采集和基于TCP/IP协议的图像实时传输，并且能实现可见光与红外图像的高效融合，提高电力设备故障检测的实时性。
进一步的，本申请在故障检测模型对所述融合图像进行故障识别的过 程中，为了减少重叠的预测框，提高模型运行效率，在NMS的改进方法 Soft-NMS的基础上，通过动态改变阈值来减少同一个物体周围的多个预测 框，提高了故障识别的准确性，并优化了故障识别的显示效果。
附图说明
本申请的上述和/或附加方面的优点在结合下面附图对实施例的描述中 将变得明显和容易理解，其中：
图1是根据本申请的一个实施例的基于可见光及红外融合图像的电力 故障检测方法的示意流程图；
图2是根据本申请的一个实施例的图像采集装置的示意图；
图3是根据本申请的一个实施例的融合图像生成过程的示意流程图。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附 图和具体实施方式对本申请进行进一步的详细描述。需要说明的是，在不 冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。
在下面的描述中，阐述了很多具体细节以便于充分理解本申请，但是， 本申请还可以采用其他不同于在此描述的其他方式来实施，因此，本申请 的保护范围并不受下面公开的具体实施例的限制。
如图1所示，本实施例提供了一种基于可见光及红外融合图像的电力 故障检测方法，方法包括：
步骤1，获取同一视角下待检测区域的第一图像和第二图像；
具体的，如图2所示，本实施例中采用无人机作为图像获取设备，在 无人机的机身下端分别设置两个固定座，每一个固定座设置一个转动云台， 转动云台能够上下左右自由转动，以通过两个摄像机来获取同一视角下的 两张图像，即待检测区域的第一图像和第二图像。
本实施例设定第一图像为可见光图像，第二图像为红外图像。
步骤2，分别将第一图像和第二图像逐级分解，根据预设融合条件、以 及分解后第一图像和第二图像中相同位置处的图像，生成融合图像；
需要说明的是，第一图像和第二图像的融合可以通过在无人机上搭建 的图像处理与融合机制实现，也可以由无人机通过无线传输网发送给终端 后，由在终端上搭建的图像处理与融合机制实现，本实施例并不限定。
本实施例中，无人机通过V4L2接口进行图像实时采集，并基于TCP/IP 协议进行图像实时传输。
通过本实施例中的图像处理与融合机制中，得到的融合图像，不仅可 以保留可见光图像的颜色和清晰的轮廓边缘，还可以保留红外图像的亮度 信息。
需要说明的是，在对本实施例中的故障检测模型进行训练、测试过程 中，也需要利用图像获取设备进行样本图像的采集，并且，在经过图像处 理与融合机制进行融合生成样本融合图像后，需要对样本融合图像中的电 力设备进行设备标签的标定，以标定：电力设备在图像中的坐标(可以包 括左上角的坐标、右下角的坐标)；电力设备的类型，如绝缘子可标记为 jyz；电力设备是否故障，如绝缘子故障时可标记为jyzgz，若未故障，则仅 标记类型即可。
本实施例中，在标定电力设备的设备标签时，可以采用labelImg工具 进行人工数据标注。
需要说明的是，现有的图像融合方法计算量较大、且融合速率较慢， 为了将图像融合应用在本实施例中的电力故障检测中，本实施例中示出一 种生成融合图像的方法，具体包括：
步骤21，根据高斯滤波函数，分别对第一图像和第二图像进行滤波处 理，将其分辨率转换为320*320。
在滤波过程中，用一个用户指定的模板(或称卷积、掩膜)去扫描图 像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模 板中心像素点的值。由于图像是二维的，所以在图像处理中常使用的是二 维高斯函数，此处二维高斯分布函数的计算公式为：
Figure BDA0002711531970000071
式中，x、y为像素点坐标，预设参数θ通常可以设定为1.5，其大小决 定了高斯函数的宽度。
步骤22，采用小波变换法，分别将滤波后的第一图像、第二图像进行 逐级分解，每一级别分解后得到的图像均包括第一低频图像、第一高频图 像、第二低频图像、第二高频图像。
分解后再次采用相同的小波变换法，便可以对当前级别的第一低频图 像、第二低频图像进行再次分解，分解为下一级别的第一低频图像、第一 高频图像、第二低频图像、第二高频图像，即每个级别的低频图像还可以 逐级分解，以便提高图像融合的精度；
采用小波变换法分解图像的具体过程，本实施例并不限定。
不同频率分量级别的、分解得到的图像，可采用不同的融合规则进行 融合处理，得到融合后的图像。
需要说明的是，每一级分解得到的图像的位置并未改变，融合时根据 相同位置处的图像进行融合，即可得到第一图像、第二图像对应的融合图 像。
在本实施例中，利用图像的低频部分表现图像的概貌和平均特性，图 像的高频部分反应图像的细节特性。
步骤23，根据预设融合条件中的低频预设融合条件，逐级将相同位置 处的第一低频图像与第二低频图像进行低频融合，记作融合低频图像；
步骤24，根据预设融合条件中的高频预设融合条件以及分解后每一级 的所述第一高频图像和所述第二高频图像所在的位置，依次选取每一级分 解出的、相同位置处的第一高频图像或第二高频图像，记作该位置处的所 述融合高频图像；
如图3所示，在进行分解时，以第一图像为例，首先将第一图像分解 为第一级的第一低频图像、第一高频图像(包括图像8-10)，再次对第一 级的第一低频图像进行分解，得到第二级的第一低频图像、第一高频图像 (包括图像5-7)，再对第二级的第一低频图像进行分解，得到第三级的第 一低频图像(包括图像1)、第一高频图像(包括图像2-4)。
在进行融合时，首先根据低频预设融合条件对分解后的、两个图像中 的图像1进行低频融合，根据高频预设融合条件对图像2-4进行选取，得到 第三级对应的融合高频图像；再根据相同的高频预设融合条件对图像5-7 进行选取，得到第二级对应的融合高频图像；最后根据高频预设融合条件 对图像8-10进行选取，得到第一级对应的融合高频图像。
需要说明的是，第一图像和第二图像的分解由预设图像分解条件、图 像中的像素信息确定，本实施例对图像分解的过程并不限定。
在根据低频预设融合条件，对第一低频图像与第二低频图像进行低频 融合时，具体包括：
步骤231，将相同位置处的第一低频图像拆分为大小相等的多个M×N 第一子块图像、以及将第二低频图像拆分为大小相等的多个M×N第二子 块图像，第一子块图像的数量等于第二子块图像的数量；
本实施例中，由于第一子块图像的大小等于第二子块图像的大小，且 原始图像(第一图像和第二图像)的拍摄视角相同，因此，拆分后的第一 子块图像中的场景对应于第二子块图像中的场景，两者可以通过编号进行 一一对应，即第q个第一子块图像与第q个第二子块图像对应。
以子块图像为单位，对每个子块图像进行数值分布统计，计算其方差、 标准差、协方差，进而计算相关系数。
步骤232，依次分别计算相同位置处的第一子块图像与第二子块图像的 相关系数ρ(A,B)，ρ(A,B)∈[0,1]，相关系数ρ(A,B)的计算公式为：
ρ(A,B)＝Cov(A,B)/σAσB
Cov(A,B)＝E[(A-E[A])(B-E[B])]
式中，A为第一子块图像中的像素值，B为第二子块图像中的像素值， Cov(·)为协方差运算，E(·)为方差运算，σA为第一子块图像的标准差，σB为 第二子块图像的标准差；
步骤233，根据所述相关系数、所述第一子块图像、所述第二子块图像， 生成所述融合低频图像。
具体的，通过设定融合阈值，依次判断相关系数ρ(A,B)是否在融合阈 值的范围内，当相关系数ρ(A,B)在融合阈值范围内时，选取第一子块图像 作为融合子图像，否则，选取第二子块图像作为融合子图像。
进而根据选取出的融合子图像以及该图像所在的位置，生成融合低频 图像。
进一步的，为了提高融合图像的精度，充分利用可见光图像的颜色和 清晰的轮廓边缘、以及红外图像的亮度信息，本实施例还示出了一种改进 的低频图像融合方法，该方法具体包括：
当判定相关系数ρ(A,B)属于第一阈值时，即ρ(A,B)∈[0,0.19)，若第一 子块图像的标准差σA大于或等于第二子块图像的标准差σB时，将第一子 块图像记作融合低频子图像，否则，将第二子块图像记作融合低频子图像；
当判定相关系数ρ(A,B)属于第二阈值时，即ρ(A,B)∈[0.19,0.5)，融合 低频子图像F的计算公式为：
Figure BDA0002711531970000101
当判定相关系数ρ(A,B)属于第三阈值时，即ρ(A,B)∈[0.5,1)，融合低频 子图像F的计算公式为：
Figure BDA0002711531970000102
进一步的，在根据高频预设融合条件，选取融合高频图像时，具体包 括：
步骤241，将相同级别的第一高频图像拆分为大小相等的多个第三子块 图像、以及第二高频图像拆分为大小相等的多个第四子块图像，第三子块 图像的数量等于第四子块图像的数量；
步骤242，计算所述第三子块图像、所述第四子块图像中的像素平均值， 依次选取同一级别下、相同位置处第三子块图像、第四子块图像中像素平 均值较大的图像，作为相应位置处的融合高频图像。
具体的，如图3所示，首先将第一图像中的图像2-4进行拆分，得到第 三级对应的第三子块图像，计算各个第三子块图像对应的像素平均值，同 时对第二图像中的图像2-4进行拆分，得到第三级对应的第四子块图像，计 算各个第四子块图像对应的像素平均值，根据子块图像的位置，依次选取 像素平均值较大的图像作为第三级对应的各个融合高频图像。
之后采用同样的方式，在图像5-7中确定第二级对应的各个融合高频图 像，在图像8-10中确定第一级对应的各个融合高频图像。
步骤25，采用小波逆变换法，根据融合低频图像和融合高频图像，生 成融合图像。
步骤3，根据故障检测模型，对融合图像进行故障识别，在融合图像中 添加预测框，预测框中标注有预测标签，预测标签用于判断融合图像中的 电力设备是否故障，其中，故障检测模型的模型参数由神经网络模型与样 本融合图像确定。
本实施例中，故障检测模型的模型参数通过将样本融合图像输入至具 有自学习能力的网络模型中，利用网络模型的自学习能力进行确定，将确 定模型参数后的网络模型记作故障检测模型，该故障检测模型即可对上述 过程中得到的融合图像进行故障识别。
本实施例中，采用神经网络中的BP网络模型作为网络模型，BP网络 模型中模型参数的确定过程，具体包括：
步骤31，获取电力设备运行状态下同一视角下的样本图像，并根据样 本图像生成样本融合图像；
步骤32，构建神经网络模型，神经网络模型包括正向传播路径和反向 传播路径，在反向传播路径中引入动量因子，对反向传播路径中的权值和 阈值进行调节，其中，调节权值和阈值的计算公式为：
Δωji(k+1)＝(1-mc(k))η(k)δjxji+mc(k)Δωji(k)
Δbj(k+1)＝(1-mc(k))η(k)δj+mc(k)Δbj(k)
Figure BDA0002711531970000121
式中，Δωji(k+1)为第k+1次迭代的权值调整量，Δbj(k+1)为第k+1次 迭代的阈值调整量，mc(k)为第k次迭代时对应的动量因子，η(k)为第k次 迭代时对应的学*** 方和；
具体的，通过引入动量因子，使网络在修正权值时不仅考虑误差在梯 度上的作用，而且考虑在误差曲面上变化趋势的影响。在没有附加动量的 作用下，网络可能陷入浅的局部极小值，利用附加动量的作用有可能滑过 这些极小值。
由于在误差曲面的平坦区，学习速率η(k)过小会使训练次数增加，故 希望增大η(k)值；而在误差变化剧烈区，η(k)过大会使调整量过大而跨过较 窄的“坑凹”处，使迭代次数增加训练出现振荡。因此，对学习速率η(k) 进行自适应调整，加速BP网络的收敛。学习速率η(k)的计算公式为：
Figure BDA0002711531970000131
通过引入动量因子以及对学习速率η进行自适应调整，既可有效地抑 制网络陷入局部极小，又有利于缩短学习时间。
步骤33，将样本融合图像输入引入动量因子后的神经网络模型，根据 第k次迭代过程中反向传播路径回传的权值和阈值，进行第k+1次迭代， 当判定第k+1次迭代收敛时，将神经网络模型记作故障检测模型，将神经 网络模型的参数记作模型参数。
具体的，对整个样本数据集进行数据标注，然后根据实际情况按照一 定比例，将样本数据集分为训练集和测试集(测试集一般较少，如占样本 数据集的20％)。
将训练集输入到上述模型中进行迭代训练，根据标定好的设备标签与 模型输出结果的误差，利用改进的BP算法调整权值和阈值，直到模型收敛， 即标定好的设备标签与模型输出结果的误差稳定在一定的范围。
之后，将测试集输入到上述训练好的模型中，进行模型测试，输出模 型准确率，若准确率符合预期，则可将该模型作为故障检测模型。
本实施例中得到的故障检测模型可在融合图像上添加预测标签，该预 测标签与样本融合图像中标定的设备标签相对应，由引入动量因子及学习 速率改为自适应调整后的BP神经网络算法预测得出。
本实施例中，通过无人机获取待检测区域的原始图像(第一图像和第 二图像)，再通过图像处理与融合机制，将第一图像和第二图像进行融合， 得到融合图像，将融合图像作为输入，输入到上述故障检测模型中，通过 BP神经网络算法，输出带有预测框的融合图像，其中，预测框上注明预测 标签(设备标签)，该预测框中的预测标签即可表明预测的设备状态，如 标签为“jyzgz”，则代表该待检测区域中的设备绝缘子故障。
需要说明的是，本实施例中还使用动态改变阈值的Soft-NMS方法，来 减少重叠的预测框，留下置信度得分高于阈值t的预测框，提高故障检测模 型输出结果的可辨识度，其中，阈值t的调节公式为：
Figure BDA0002711531970000141
式中，IoU为交并比。
以上结合附图详细说明了本申请的技术方案，本申请提出了一种基于 可见光及红外融合图像的电力故障检测方法，包括：步骤1，获取同一视角 下待检测区域的第一图像和第二图像；步骤2，分别将第一图像和第二图像 逐级分解，根据预设融合条件、以及分解后第一图像和第二图像中相同位 置处的图像，生成融合图像；步骤3，根据故障检测模型，对融合图像进行 故障识别，在融合图像中添加预测框，预测框中标注有预测标签，预测标签用于判断融合图像中的电力设备是否故障，其中，故障检测模型的模型 参数由神经网络模型与样本融合图像确定。通过本申请中的技术方案，能 够有效对电力设备进行故障检测，实用性强、便于推广，经济效益和社会 效益都较高，提升了电网运行的稳定性。
本申请中的步骤可根据实际需求进行顺序调整、合并和删减。
本申请装置中的单元可根据实际需求进行合并、划分和删减。
尽管参考附图详地公开了本申请，但应理解的是，这些描述仅仅是示 例性的，并非用来限制本申请的应用。本申请的保护范围由附加权利要求 限定，并可包括在不脱离本申请保护范围和精神的情况下针对发明所作的 各种变型、改型及等效方案。

Claims (8)

1.一种基于可见光及红外融合图像的电力故障检测方法，其特征在于，所述方法包括：
步骤1，获取同一视角下待检测区域的第一图像和第二图像；
步骤2，分别将所述第一图像和所述第二图像逐级分解，根据预设融合条件、以及分解后所述第一图像和所述第二图像中相同位置处的图像，生成融合图像；
步骤3，根据所述故障检测模型，对所述融合图像进行故障识别，在所述融合图像中添加预测框，所述预测框中标注有预测标签，所述预测标签用于判断所述融合图像中的电力设备是否故障，其中，所述故障检测模型的模型参数由神经网络模型与样本融合图像确定。
2.如权利要求1所述的基于可见光及红外融合图像的电力故障检测方法，其特征在于，所述预设融合条件包括低频预设融合条件和高频预设融合条件，其特征在于，所述步骤2，具体包括：
步骤21，根据高斯滤波函数，分别对所述第一图像和所述第二图像进行滤波处理；
步骤22，采用小波变换法，分别将所述滤波后的第一图像、第二图像进行逐级分解，其中，每一级分解得到的图像包括第一低频图像、第一高频图像、第二低频图像、第二高频图像，当前级别的第一低频图像、第二低频图像，可分解为下一级别的第一低频图像、第一高频图像、第二低频图像、第二高频图像；
步骤23，根据所述低频预设融合条件，将相同位置处的所述第一低频图像与所述第二低频图像进行低频融合，记作融合低频图像；
步骤24，根据所述高频预设融合条件以及分解后的所述第一高频图像和所述第二高频图像所在的位置，依次选取每一级分解出的、相同位置处的所述第一高频图像或所述第二高频图像，记作该位置处的所述融合高频图像；
步骤25，采用小波逆变换法，根据所述融合低频图像和不同位置处的所述融合高频图像，生成所述融合图像。
3.如权利要求2所述的基于可见光及红外融合图像的电力故障检测方法，其特征在于，所述步骤23，具体包括：
步骤231，将相同位置处的所述第一低频图像拆分为大小相等的多个第一子块图像、以及将所述第二低频图像拆分为大小相等的多个第二子块图像，所述第一子块图像的数量等于所述第二子块图像的数量；
步骤232，依次分别计算相同位置处所述第一子块图像与所述第二子块图像的相关系数，所述相关系数ρ(A,B)的计算公式为：
ρ(A,B)＝Cov(A,B)/σAσB
Cov(A,B)＝E[(A-E[A])(B-E[B])]
式中，A为所述第一子块图像中的像素值，B为所述第二子块图像中的像素值，Cov(·)为协方差运算，E(·)为方差运算，σA为第一子块图像的标准差，σB为第二子块图像的标准差；
步骤233，根据所述相关系数、所述第一子块图像、所述第二子块图像，生成所述融合低频图像。
4.如权利要求2所述的基于可见光及红外融合图像的电力故障检测方法，其特征在于，所述步骤24，具体包括：
步骤241，将相同级别的所述第一高频图像拆分为大小相等的多个第三子块图像、以及所述第二高频图像拆分为大小相等的多个第四子块图像，所述第三子块图像的数量等于所述第四子块图像的数量；
步骤242，计算所述第三子块图像、所述第四子块图像中的像素平均值，依次选取同一级别下、相同位置处所述第三子块图像、第四子块图像中像素平均值较大的图像，作为该位置处的所述融合高频图像。
5.如权利要求1所述的基于可见光及红外融合图像的电力故障检测方法，其特征在于，所述步骤3中，所述故障检测模型的模型参数由神经网络模型与样本融合图像确定，具体包括：
步骤31，获取电力设备运行状态下同一视角下的样本图像，并根据所述样本图像生成所述样本融合图像；
步骤32，构建神经网络模型，所述神经网络模型包括正向传播路径和反向传播路径，在所述反向传播路径中引入动量因子，对所述反向传播路径中的权值和阈值进行调节，其中，调节所述权值和所述阈值的计算公式为：
Δωji(k+1)＝(1-mc(k))η(k)δjxji+mc(k)Δωji(k)
Δbj(k+1)＝(1-mc(k))η(k)δj+mc(k)Δbj(k)
Figure FDA0002711531960000031
式中，Δωji(k+1)为第k+1次迭代的权值调整量，Δbj(k+1)为第k+1次迭代的阈值调整量，mc(k)为第k次迭代时对应的动量因子，η(k)为第k次迭代时对应的学***方和；
步骤33，将所述样本融合图像输入所述引入动量因子后的神经网络模型，根据第k次迭代过程中反向传播路径回传的权值和阈值，进行第k+1次迭代，当判定所述第k+1次迭代收敛时，将所述神经网络模型记作所述故障检测模型，将所述神经网络模型的参数记作所述模型参数。
6.如权利要求5所述的基于可见光及红外融合图像的电力故障检测方法，其特征在于，所述学习速率η的计算公式为：
Figure FDA0002711531960000041
7.如权利要求1至6中任一项所述的基于可见光及红外融合图像的电力故障检测方法，其特征在于，所述样本融合图像中标定有设备标签。
8.如权利要求7所述的基于可见光及红外融合图像的电力故障检测方法，其特征在于，所述设备标签包括所述待检测电力设备在所述融合图像中的第一坐标、第二坐标以及设备类型，所述第二坐标位于所述第一坐标的对侧。
CN202011058538.XA 2020-09-30 2020-09-30 一种基于可见光及红外融合图像的电力故障检测方法 Pending CN112233074A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011058538.XA CN112233074A (zh) 2020-09-30 2020-09-30 一种基于可见光及红外融合图像的电力故障检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011058538.XA CN112233074A (zh) 2020-09-30 2020-09-30 一种基于可见光及红外融合图像的电力故障检测方法

Publications (1)

Publication Number Publication Date
CN112233074A true CN112233074A (zh) 2021-01-15

Family

ID=74119792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011058538.XA Pending CN112233074A (zh) 2020-09-30 2020-09-30 一种基于可见光及红外融合图像的电力故障检测方法

Country Status (1)

Country Link
CN (1) CN112233074A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487529A (zh) * 2021-07-12 2021-10-08 吉林大学 一种基于Yolo的气象卫星云图目标检测方法
CN113592849A (zh) * 2021-08-11 2021-11-02 国网江西省电力有限公司电力科学研究院 基于卷积神经网络和紫外图像的外绝缘设备故障诊断方法
CN113688828A (zh) * 2021-07-23 2021-11-23 山东云海国创云计算装备产业创新中心有限公司 一种坏元识别方法及相关装置
CN116403057A (zh) * 2023-06-09 2023-07-07 山东瑞盈智能科技有限公司 一种基于多源图像融合的输电线路巡检方法及***
WO2024098678A1 (zh) * 2022-11-11 2024-05-16 深圳供电局有限公司 一种用于电力设备检测的紫外光及可见光融合方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017020595A1 (zh) * 2015-08-05 2017-02-09 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理***及融合方法
CN107506695A (zh) * 2017-07-28 2017-12-22 武汉理工大学 视频监控设备故障自动检测方法
CN108389158A (zh) * 2018-02-12 2018-08-10 河北大学 一种红外和可见光的图像融合方法
CN109446925A (zh) * 2018-10-08 2019-03-08 中山大学 一种基于卷积神经网络的电力设备检测算法
CN109658371A (zh) * 2018-12-05 2019-04-19 北京林业大学 红外图像与可见光图像的融合方法、***及相关设备
CN111612736A (zh) * 2020-04-08 2020-09-01 广东电网有限责任公司 一种电力设备故障检测方法、计算机和计算机程序

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017020595A1 (zh) * 2015-08-05 2017-02-09 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理***及融合方法
CN107506695A (zh) * 2017-07-28 2017-12-22 武汉理工大学 视频监控设备故障自动检测方法
CN108389158A (zh) * 2018-02-12 2018-08-10 河北大学 一种红外和可见光的图像融合方法
CN109446925A (zh) * 2018-10-08 2019-03-08 中山大学 一种基于卷积神经网络的电力设备检测算法
CN109658371A (zh) * 2018-12-05 2019-04-19 北京林业大学 红外图像与可见光图像的融合方法、***及相关设备
CN111612736A (zh) * 2020-04-08 2020-09-01 广东电网有限责任公司 一种电力设备故障检测方法、计算机和计算机程序

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487529A (zh) * 2021-07-12 2021-10-08 吉林大学 一种基于Yolo的气象卫星云图目标检测方法
CN113688828A (zh) * 2021-07-23 2021-11-23 山东云海国创云计算装备产业创新中心有限公司 一种坏元识别方法及相关装置
CN113688828B (zh) * 2021-07-23 2023-09-29 山东云海国创云计算装备产业创新中心有限公司 一种坏元识别方法及相关装置
CN113592849A (zh) * 2021-08-11 2021-11-02 国网江西省电力有限公司电力科学研究院 基于卷积神经网络和紫外图像的外绝缘设备故障诊断方法
WO2024098678A1 (zh) * 2022-11-11 2024-05-16 深圳供电局有限公司 一种用于电力设备检测的紫外光及可见光融合方法
CN116403057A (zh) * 2023-06-09 2023-07-07 山东瑞盈智能科技有限公司 一种基于多源图像融合的输电线路巡检方法及***
CN116403057B (zh) * 2023-06-09 2023-08-18 山东瑞盈智能科技有限公司 一种基于多源图像融合的输电线路巡检方法及***

Similar Documents

Publication Publication Date Title
CN112233074A (zh) 一种基于可见光及红外融合图像的电力故障检测方法
US20230418250A1 (en) Operational inspection system and method for domain adaptive device
CN111353413B (zh) 一种输电设备低漏报率缺陷识别方法
CN107784661B (zh) 基于区域生长法的变电站设备红外图像分类识别方法
CN110570454B (zh) 一种检测异物入侵的方法及装置
CN106971152B (zh) 一种基于航拍图像的检测输电线路中鸟巢的方法
CN110458839B (zh) 一种有效的电线电缆监测***
CN111583198A (zh) 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法
CN112446429B (zh) 一种基于cgan的巡检图像数据小样本扩充方法
CN109118479A (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN108229587A (zh) 一种基于飞行器悬停状态的输电杆塔自主扫描方法
CN107767374A (zh) 一种gis盆式绝缘子内部导体局部过热智能诊断方法
CN116228780B (zh) 基于计算机视觉的硅片缺陷检测方法及***
CN110390261A (zh) 目标检测方法、装置、计算机可读存储介质及电子设备
Lu et al. Thermal Fault Diagnosis of Electrical Equipment in Substations Based on Image Fusion.
CN114359167A (zh) 一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法
CN116485802B (zh) 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质
CN115830302B (zh) 一种多尺度特征提取融合配电网设备定位识别方法
CN114792328A (zh) 一种红外热成像图像处理和分析的方法
CN116980963A (zh) 电力无人机巡检流量卸载决策方法、***、设备及介质
CN116758164A (zh) 模拟调制tof相机校正方法、装置及***和存储介质
CN113781375B (zh) 一种基于多曝光融合的车载视觉增强方法
CN114445694A (zh) 巡检报告生成方法、装置、电子设备及存储介质
CN114199381A (zh) 一种改进红外检测模型的电气设备故障检测方法
CN112668754B (zh) 一种基于多源特征信息融合的电力设备缺陷诊断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination