CN117809164A - 基于多模态融合的变电站设备故障检测方法及*** - Google Patents
基于多模态融合的变电站设备故障检测方法及*** Download PDFInfo
- Publication number
- CN117809164A CN117809164A CN202311869894.3A CN202311869894A CN117809164A CN 117809164 A CN117809164 A CN 117809164A CN 202311869894 A CN202311869894 A CN 202311869894A CN 117809164 A CN117809164 A CN 117809164A
- Authority
- CN
- China
- Prior art keywords
- equipment
- fusion
- fault detection
- thermal infrared
- visible light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 58
- 230000004927 fusion Effects 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 40
- 238000000605 extraction Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims 2
- 238000003745 diagnosis Methods 0.000 abstract description 7
- 230000002159 abnormal effect Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 238000007689 inspection Methods 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Radiation Pyrometers (AREA)
Abstract
本发明公开一种基于多模态融合的变电站设备故障检测方法及***，该方法包括：获取设定时间段内变电站工作状态下待检测设备的可见光图像序列、热红外图像序列和设备关键位置声音数据；对所获取的数据进行预处理，得到预处理后的多组一一对应的可见光表计图像、热红外图像温度最大区域和设备关键位置音频帧数据；对每组数据进行特征提取，分别提取表计读数特征、最大温度区域特征和设备关键位置音频频率特征，将提取的多组特征进行多模态特征融合后，输入至基于VGG架构的卷积神经网络模型中，输出故障检测结果。本发明综合考虑设备表计特征、最大温度区域特征和音频频率特征这多种模态特征进行故障诊断，实现更准确的变电站设备故障诊断。
Description
技术领域
本发明涉及智能检测技术领域，尤其涉及一种基于多模态融合的变电站设备故障检测方法及***。
背景技术
随着电力***的高速发展，变电站在电力输配过程中扮演着至关重要的角色。为了保障电力设备的正常运行和安全生产，准确且实时的变电站设备故障检测和诊断成为行业的关键需求。
传统的变电站故障检测往往采用人工巡检的方式，人为检测变电站中变压器、断路器、隔离开关、互感器、避雷器、补偿装置和母线等变电设备是否发生故障，人工巡检是一种用于检查变电站设备状况并发现隐患和故障的经典方法。然而，随着电力***规模的扩大和设备类型的增加，人工巡检所需的时间和劳动力不断增长，同时其主观性和局限性也愈发突显，人工巡检通常无法适应大规模、高频率的需求。
随着人工智能的发展，基于巡检机器人和计算机视觉的自动电力设备故障检测算法逐步代替人工巡检的方式，得到广泛的应用。现有的人工智能变电站设备故障检测方法能够适应大规模的故障检测场景，提升故障检测效率，但是，其往往仅基于变电站设备图像和红外成像提取变电站设备整体的状态特征，根据整体状态特征判断变电站是否故障，然而当变电站设备如电机等存在潜在故障时，其图像表现可能与正常状态下相同，整体状态特征并不会发生改变，现有方法无法检测出该潜在故障，难以保证故障检测的精确性。另外，不同设备拍摄的设备图像或同一设备不同角度拍摄的设备图像，所得到的图像差异较大，仅通过图像进行故障判断，也无法保证基于所采集图像的检测结果的准确性。
发明内容
为解决上述现有技术的不足，本发明提供了一种基于多模态融合的变电站设备故障检测方法及***，通过可见光摄像头、热红外摄像头以及声音传感器采集变电站设备的表计图像、热红外图像以及关键位置声音数据，采用多模态融合算法融合图像特征和声音特征，结合深度学习方法，实现变电站设备的潜在故障的识别，并提高故障检测的精确性。
第一方面，本公开提供了一种基于多模态融合的变电站设备故障检测方法。
一种基于多模态融合的变电站设备故障检测方法，包括：
获取设定时间段内变电站工作状态下待检测设备的可见光图像序列、热红外图像序列和设备关键位置声音数据；
对所获取的数据进行预处理，得到预处理后的多组一一对应的可见光表计图像、热红外图像温度最大区域和设备关键位置音频帧数据；
对每组表计图像、热红外图像温度最大区域和设备关键位置音频帧数据进行特征提取，分别提取表计读数特征、最大温度区域特征和设备关键位置音频频率特征，将提取的多组特征进行多模态特征融合后，输入至基于VGG架构的卷积神经网络模型中，输出故障检测结果。
第二方面，本公开提供了一种基于多模态融合的变电站设备故障检测***。
一种基于多模态融合的变电站设备故障检测***，包括：
数据获取模块，用于获取设定时间段内变电站工作状态下待检测设备的可见光图像序列、热红外图像序列和设备关键位置声音数据；
数据预处理模块，用于对所获取的数据进行预处理，得到预处理后的多组一一对应的可见光表计图像、热红外图像温度最大区域和设备关键位置音频帧数据；
故障检测模块，用于对每组表计图像、热红外图像温度最大区域和设备关键位置音频帧数据进行特征提取，分别提取表计读数特征、最大温度区域特征和设备关键位置音频频率特征，将提取的多组特征进行多模态特征融合后，输入至基于VGG架构的卷积神经网络模型中，输出故障检测结果。
第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。
第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。
以上一个或多个技术方案存在以下有益效果：
1、本发明提供了一种基于多模态融合的变电站设备故障检测方法及***，通过可见光摄像头、热红外摄像头以及声音传感器采集变电站设备的表计图像、热红外图像以及关键位置声音数据，提取表计读数特征、最大温度区域特征和设备关键位置音频频率特征并融合多模态特征，再结合深度学习方法，实现变电站设备的故障精准检测，而且通过图像特征与声音特征共同进行故障检测，能够实现变电站设备潜在故障的准确检测。相较于传统的仅基于变电站设备图像和红外成像的状态特征进行变电站故障诊断的方案，本发明综合考虑设备表计特征、最大温度区域特征和音频频率特征这多种模态特征进行故障诊断，能够实现更准确的故障诊断。
2、本发明中限定了图像及声音数据所提取的具体特征，即提取表计读数特征、最大温度区域特征和设备关键位置音频频率特征，相较于传统的提取可见光图像的整体图像特征，本发明提取设备可见光图像中表计读数的特征，表计读数是设备的显著特征，通过提取表计读数特征，既能使图像特征统一，也能正确反映设备情况，不会受到外界因素影响，保证最终故障检测的准确性；相较于传统的提取温度图像的整体温度特征，本发明直接提取最大温度区域特征，能够在设备出现故障时最快发现，而且当设备故障时，伴随着温度上升，最大温度能够尽可能多的判断设备是否故障，提高故障检测的效率与准确性。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例所述基于多模态融合的变电站设备故障检测方法的整体流程图；
图2为本发明实施例中在训练集和验证集上进行模型训练的损失值变化的示意图；
图3为本发明实施例中在训练集和验证集上进行模型训练的准确率变化的示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，仅是为了描述具体实施方式，旨在对本发明提供进一步的说明，并非意图限制根据本发明的示例性实施方式。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
本实施例提供了一种基于多模态融合的变电站设备故障检测方法，包括以下步骤：
步骤S1、获取设定时间段内变电站工作状态下待检测设备的可见光图像序列、热红外图像序列和设备关键位置声音数据；
步骤S2、对所获取的数据进行预处理，得到预处理后的多组一一对应的可见光表计图像、热红外图像温度最大区域和设备关键位置音频帧数据；
步骤S3、对每组表计图像、热红外图像温度最大区域和设备关键位置音频帧数据进行特征提取，分别提取表计读数特征、最大温度区域特征和设备关键位置音频频率特征，将提取的多组特征进行多模态特征融合后，输入至基于VGG架构的卷积神经网络模型中，输出故障检测结果。
通过下述内容对本实施例所提出的基于多模态融合的变电站设备故障检测方法进行更详细的介绍。
如图1所示，本实施例上述方法主要包括三大部分：第一部分，对可见光摄像头、热红外摄像头以及声音传感器监测的变电站工作状态下待检测设备的数据进行采集和预处理；第二部分，通过深度学习方法，对多组一一对应的可见光表计图像、热红外图像和音频帧数据进行特征提取；第三部分，对提取的多组特征进行特征融合，并将融合后的特征通过基于VGG架构的卷积神经网络进行故障检测，其中，训练好的模型可以根据预测结果输出概率，从而评估变电站设备是否异常，完成故障检测。本实施例上述方法主要通过基于深度学习的神经网络模型实现故障检测，该网络模型的训练过程为：
首先，获取设定时间段内变电站工作正常状态和异常状态下设备的可见光图像序列、热红外图像序列和设备关键位置声音数据，构成训练样本集。
针对变电站中的某一设备，选择合适位置安装可见光摄像头以及热红外摄像头，可见光摄像头确保对准该设备，热红外摄像头负责捕捉该设备的热分布图像，通过可见光摄像头和热红外摄像头分别获取某一设定时间内变电站工作状态下的可见光图像序列和热红外图像序列。在本实施例中，在训练网络模型的过程中，获取某一设定时间内变电站工作正常状态和异常状态下设备的可见光图像序列和热红外图像序列，图像采样率为48KHz(图像采样率与下述音频采样率相同，在采样率相同的情况下获取一一对应的图像和声音数据，能够避免需要再次进行数据对齐的步骤，提高数据处理的效率)，对获取的图像进行正常状态和异常状态的标注，构成训练图像样本集，该图像样本集中每一种图像均不少于10000张。
针对变电站中的某一设备，在可见光以及热红外摄像头捕捉待检测设备的关键位置安装声音传感器，利用声音传感器对该设备工作状态下的声音数据进行同步采集，在本实施例中，声音信息的获取时长不少于2小时，音频采样率为48KHz。在本实施例中，在训练网络模型的过程中，获取某一设定时间内变电站工作正常状态和异常状态下设备的设备关键位置声音数据，对获取的数据进行正常状态和异常状态的标注，构成训练声音样本集，该训练声音样本集和训练图像样本集共同构成训练样本集。
通过可见光摄像头、热红外摄像头和声音传感器同时采集变电站工作状态下的相关数据。
其次，对所获取的训练样本集中的数据进行预处理，得到预处理后的多组一一对应的可见光图像、热红外图像和设备关键位置音频帧数据。
考虑到后续所采用的YOLO算法以及故障检测算法，需要对所采集的图像以及声音数据进行预处理。其中，对可见光摄像头和热红外摄像头获取到的原始图像数据集，采用裁剪、旋转、随机平放、平移等图像数据增强操作，增加图像数据集的多样性，获得更多的图像数据，最终训练图像样本集中的每一种图像分别约15000张；对声音传感器所获取的设备关键位置声音数据进行滤波处理，消除噪声保留有效的声音信息，并对设备关键位置声音数据进行分帧处理，每帧的长度为30ms，每帧对应相应的可见光表计图像以及热红外图像，即得到预处理后的多组一一对应的可见光图像、热红外图像和设备关键位置音频帧数据。
然后，利用预处理后的训练样本集训练基于VGG架构的卷积神经网络模型，以便于实现故障检测。具体的，对预处理后的多组一一对应的可见光图像、热红外图像和设备关键位置音频帧数据进行特征提取以及多模态特征融合。
由于所提取的数据来自不同的传感器，该数据属于不同的模态，因此，在通过可见光摄像头、热红外摄像头以及声音传感器判断变电站异常时，选择采取多模态融合的方法进行综合判断，具体包括以下步骤：
(1)针对可见光图像
通过使用可见光摄像头对变电站设备的表计数据进行监测，以此判断是否存在异常。为了实现这一目标，首先采用YOLOv5模型进行训练和检测，YOLOv5是一种先进的目标检测方法，可以高效地识别指定目标。由于通过可见光摄像头采集的可见光图像除了包括表计图像信息外，还包括其它图像信息，为了进一步增强检测的准确性，本实施例首先将获取的可见光图像输入至YOLOv5模型中进行表计图像的目标识别，输出可见光表计图像。
对于所获取的可见光图像数据，使用LabelImage软件进行详细的标注工作，在完成标注后，按照1:1:8的比例将可见光图像数据样本集划分为验证集、测试集、训练集。在训练过程中，每次迭代的batch size大小设置为4，学习率设定为0.001。考虑到变电站待检测设备的表计状态，将其分为正常状态和异常状态两个类别，即类别总数为2。
在上述配置下，训练迭代50轮，训练完成后，YOLOv5模型的输出结果为提取的可见光图像中的表计部分图像。
对截取的可见光表计图像通过基于VGG架构的卷积神经网络进行特征提取，提取变电站设备正常和异常的表计读数特征。
(2)针对热红外图像
在变电站设备监测中，设备异常通常伴随着异常温度。与可见光图像类似，首先采用YOLOv5算法对热红外图像进行目标检测，识别出设备的温度最高区域，再提取该温度最高区域的特征，该特征有助于检测局部高温或设备发热的异常现象。
将热红外图像使用LableImage软件进行标注，按照1:1:8的比例将热红外图像数据集划分为验证集、测试集、训练集。在训练过程中，每次迭代的batch size大小设置为4，学习率设定为0.001。
在上述配置下，迭代训练50轮，训练结束后，模型输出结果为热红外图像中的温度最大区域。
将提取的温度最大区域进行灰度和二值化等处理后，将该输出结果基于VGG架构的卷积神经网络进行特征提取，提取变电站设备最大温度区域特征。
(3)针对设备关键位置音频帧数据
声音数据反映了变电站设备的运行状况，其中携带了大量与设备健康相关的信息。在本实施例中，首先采用傅里叶变换，将预处理后的音频帧信号转换为频域信号。具体的，将音频帧信号看作在时间上连续的函数f(t)，公式为：
其中，ck是复数系数，k是频率，T是信号的周期，原始音频帧信号可以表示为多个频率为k的正弦波的加权和，权重由ck给出。
采用离散傅里叶变换将f(t)转换为频域输出，得到频域信号F(k)。之后，将傅里叶变换所得到的频域信号用梅尔频率倒谱系数(MFCC)进行进一步特征提取。MFCC提取过程中，首先将线性频谱映射到梅尔尺度频谱，并在梅尔尺度下对信号应用滤波器组(通常采用梅尔滤波器组)，再对LogFBank(梅尔滤波器组输出的对数能量)应用离散余弦变换(Discrete Cosine Transform,DCT)，公式为：
其中，t表示帧数，n表示梅尔滤波器组的序号，k表示频率索引，Hn,k表示第n个梅尔滤波器在第k个频率处的响应，St,k表示第t帧在第k个频率处的能量。
语谱图是由频谱分析得到结果产生的，类似于图像中的像素，而梅尔频率倒谱系数是提取语音信号频率特征的方法，能将语谱图转化为特征向量。即，在本实施例中，首先采用傅里叶变换，将预处理后的音频帧信号转换为频域信号，然后利用梅尔频率倒谱系数提取频域信号的频率特征。
通过上述方法分别提取表计读数特征、最大温度区域特征和设备关键位置音频频率特征，本实施例中限定了图像及声音数据所提取的具体特征，相较于传统的提取可见光图像的整体图像特征，考虑到这一传统方式受到天气、环境等因素的影响，所采集的图像及所提取的图像特征存在差异，容易导致最终故障检测结果也存在差异而检测不准确，为此，本实施例中提取设备可见光图像中表计读数的特征，表计读数是设备的显著特征，通过提取表计读数特征，既能使图像特征统一，也能正确反映设备情况，不会受到外界因素影响，保证最终故障检测的准确性；相较于传统的提取温度图像的整体温度特征，本实施例直接提取最大温度区域特征，能够在设备出现故障时最快发现，而且当设备故障时，伴随着温度上升，最大温度能够尽可能多的判断设备是否故障，提高故障检测的效率与准确性。
在提取上述多模态特征后，将提取的多组特征进行多模态特征融合。本实施例采用多模态融合的方式融合图像特征和声音特征，能够通过多个模态数据特征判断变电站故障，相对于传统的仅基于单一特征的故障诊断方式，本实施例这一方式判断准确性更高。该多模态融合方式为：
(1)首先进行特征归一化，经过上述步骤提取到的表计读数特征、最大温度区域特征和设备关键位置音频频率特征各自代表变电站设备的不同侧面，由于每种类型的特征都具有不同的尺度和统计分布，因此需要对其先进行归一化处理。在本实施例中，采用零均值，单位方差标准化为：
其中，X是原始数据，μ是原始数据的均值，σ是原始数据的标准差，Xstd是标准化后的数据。
(2)然后将提取的三种模态的特征向量按行堆叠起来，得到一个矩阵，每个特征向量看作矩阵的一行，对矩阵的每一列分别进行零均值和单位方差标准化操作，使得每一列都是服从零均值、方差为1的正态分布。通过上述特征归一化和构建特征矩阵的方式，对不同模态的处理数据进行归一化，能够更好的处理数据，能够去除量纲的偏差，而且通过矩阵列方向上的操作，让三个特征模态在数值上更加接近，便于后续的数据处理及故障检测，在保证准确率的同时简化数据处理，提高检测效率。
在通过上述方法融合多模态特征后，将融合后的多模态特征输入至基于VGG架构的卷积神经网络中，输出故障检测结果。
从可见光图像、热红外图像和声音数据中提取相关特征并进行归一化后，将归一化后的联合特征向量输入到基于VGG架构的卷积神经网络中，进行故障检测。具体的，将数据集随机打乱，将获得到的数据以1：1：8的比例划分为测试集、验证集、训练集。其中，测试集用于最终评估模型性能，验证集则在训练过程中用以调整模型参数，防止过拟合。
在本实施例中，基于VGG架构的卷积神经网络包括六轮处理，输入的联合特征向量首先经过3次卷经核大小均为3*3的卷积，其输出结果再次进行三次卷积，并经过一层池化层大小为2*2的池化，之后再通过后两轮的三次卷积和一层池化，最后通过三层全连接层，通过softmax层输出最终的预测结果。具体的，第一阶段包括3个卷积层，每个卷积层均使用3*3卷积核对输入的联合特征向量进行卷积操作；第二阶段包括3个卷积层，第一阶段的输出结果再次经过3个卷积层，每个卷积层均使用3*3的卷积核进行卷积操作；第三阶段包括1个池化层，第二阶段的输出结果通过2*2的池化层进行最大池化操作，以减小特征图的尺寸；第四阶段包括3个卷积层，第三阶段的输出结果再次经过3个卷积层，每个卷积层均使用3*3的卷积核进行卷积操作；第五阶段包括3个卷积层，第四阶段的输出结果再次经过3个卷积层，每个卷积层均使用3*3的卷积核进行卷积操作；第六阶段为全连接阶段，第五阶段的输出结果通过三个全连接层进行处理，多层卷积可以增加网络的深度，减少参数数量，增加非线性表达能力。本实施例上述网络结构是根据特征矩阵而设计的，通过对多模态特征的分析，自行训练，判断出变电站设备是否正常，最后输出结果预测，通过二分类判断正常变电站设备以及故障变电站设备。
在训练过程中，设置关键参数，包括每个批次的数据大小(batch_size)为16，学习率为0.01，动量(momentum)为0.9。采用动量优化算法进行权重更新，该算法结合了梯度下降和动量项，能够在梯度更新方向保持稳定，从而加速收敛过程。为防止过拟合问题，采用dropout正则化策略，保留概率P设置为0.5，这意味着在每次前向传播训练过程中，该层神经元中有50％的概率随机失效，这有助于提高模型的泛化能力。
采用交叉熵损失函数构建上述网络模型的损失函数，根据损失值(Loss)和精确率(Accuracy)进行不断优化。基于损失函数不断迭代训练，直至满足预设条件，完成模型的训练。其中损失值是模型在给定数据集上的预测输出与实际目标之间的误差度量，用于表征模型在某种程度上损失；精确率则用于衡量模型在预测正确类别上的表现，其将正确预测的实例数除以所有实例数，数值越接近1，则模型表现越好。通过不断迭代训练，在训练集和验证集上进行训练的损失值和准确率如图2和图3所示。
另外，在训练过程中，使用Softmax函数来处理神经网络的输出。Softmax函数具有将实数值映射为归一化概率值的特性，这意味着经过Softmax处理后的输出，所有类别的概率总和为1。在本实施例中，Softmax函数将输出判断变电站是否故障的概率值，通过比较概率值的大小，可以选择概率最大的类别作为最终预测结果。
在完成上述网络模型的训练后，获取设定时间段内变电站工作状态下待检测设备的可见光图像序列、热红外图像序列和设备关键位置声音数据，对所获取的数据进行预处理，得到预处理后的多组一一对应的可见光表计图像、热红外图像和设备关键位置音频帧数据；然后，将每组表计图像、热红外图像和设备关键位置音频帧数据进行特征提取，分别提取表计读数特征、最大温度区域特征和设备关键位置音频频率特征，将提取的多组特征进行多模态特征融合后，输入至基于VGG架构的卷积神经网络中，输出故障检测结果。
实施例二
本实施例提供了一种基于多模态融合的变电站设备故障检测***，包括：
数据获取模块，用于获取设定时间段内变电站工作状态下待检测设备的可见光图像序列、热红外图像序列和设备关键位置声音数据；
数据预处理模块，用于对所获取的数据进行预处理，得到预处理后的多组一一对应的可见光表计图像、热红外图像温度最大区域和设备关键位置音频帧数据；
故障检测模块，用于对每组表计图像、热红外图像温度最大区域和设备关键位置音频帧数据进行特征提取，分别提取表计读数特征、最大温度区域特征和设备关键位置音频频率特征，将提取的多组特征进行多模态特征融合后，输入至基于VGG架构的卷积神经网络模型中，输出故障检测结果。
实施例三
本实施例提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如上所述的基于多模态融合的变电站设备故障检测方法中的步骤。
实施例四
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成如上所述的基于多模态融合的变电站设备故障检测方法中的步骤。
以上实施例二至四中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
以上所述仅为本发明的优选实施例，虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于多模态融合的变电站设备故障检测方法，其特征是，包括：
获取设定时间段内变电站工作状态下待检测设备的可见光图像序列、热红外图像序列和设备关键位置声音数据；
对所获取的数据进行预处理，得到预处理后的多组一一对应的可见光表计图像、热红外图像温度最大区域和设备关键位置音频帧数据；
对每组表计图像、热红外图像温度最大区域和设备关键位置音频帧数据进行特征提取，分别提取表计读数特征、最大温度区域特征和设备关键位置音频频率特征，将提取的多组特征进行多模态特征融合后，输入至基于VGG架构的卷积神经网络模型中，输出故障检测结果。
2.如权利要求1所述的基于多模态融合的变电站设备故障检测方法，其特征是，对获取的可见光图像进行预处理，生成可见光表计图像，包括：
将获取的可见光图像输入至YOLOv5模型中进行表计图像的目标识别，输出可见光表计图像。
3.如权利要求1所述的基于多模态融合的变电站设备故障检测方法，其特征是，对热红外图像进行预处理，提取热红外图像温度最大区域，包括：
将获取的热红外图像输入至YOLOv5模型中进行温度最大区域的目标识别，输出热红外图像中的温度最大区域。
4.如权利要求1所述的基于多模态融合的变电站设备故障检测方法，其特征是，对设备关键位置音频帧数据进行特征提取，提取设备关键位置音频频率特征，包括：
采用傅里叶变换，将预处理后的设备关键位置音频帧信号转换为频域信号；
利用梅尔频率倒谱系数提取频域信号的频率特征。
5.如权利要求1所述的基于多模态融合的变电站设备故障检测方法，其特征是，多模态特征融合，包括：
对每组表计读数特征、最大温度区域特征和设备关键位置音频频率特征进行特征归一化处理；
将归一化处理后的每组表计读数特征、最大温度区域特征和设备关键位置音频频率特征这三种模态特征向量按行堆叠，得到特征矩阵；
对特征矩阵的每一列分别进行零均值和单位方差标准化操作，使得每一列都服从零均值、方差为1的正态分布，得到融合后的特征矩阵。
6.如权利要求1所述的基于多模态融合的变电站设备故障检测方法，其特征是，采用交叉熵损失函数构建基于VGG架构的卷积神经网络模型的损失函数，根据损失值和精确率进行不断迭代优化训练，直至满足预设条件，完成基于VGG架构的卷积神经网络模型的训练。
7.一种基于多模态融合的变电站设备故障检测***，其特征是，包括：
数据获取模块，用于获取设定时间段内变电站工作状态下待检测设备的可见光图像序列、热红外图像序列和设备关键位置声音数据；
数据预处理模块，用于对所获取的数据进行预处理，得到预处理后的多组一一对应的可见光表计图像、热红外图像温度最大区域和设备关键位置音频帧数据；
故障检测模块，用于对每组表计图像、热红外图像温度最大区域和设备关键位置音频帧数据进行特征提取，分别提取表计读数特征、最大温度区域特征和设备关键位置音频频率特征，将提取的多组特征进行多模态特征融合后，输入至基于VGG架构的卷积神经网络模型中，输出故障检测结果。
8.如权利要求7所述的基于多模态融合的变电站设备故障检测***，其特征是，对设备关键位置音频帧数据进行特征提取，提取设备关键位置音频频率特征，包括：
采用傅里叶变换，将预处理后的设备关键位置音频帧信号转换为频域信号；
利用梅尔频率倒谱系数提取频域信号的频率特征。
9.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如权利要求1-6中任一项所述的一种基于多模态融合的变电站设备故障检测方法的步骤。
10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成如权利要求1-6中任一项所述的一种基于多模态融合的变电站设备故障检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311869894.3A CN117809164A (zh) | 2023-12-29 | 2023-12-29 | 基于多模态融合的变电站设备故障检测方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311869894.3A CN117809164A (zh) | 2023-12-29 | 2023-12-29 | 基于多模态融合的变电站设备故障检测方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117809164A true CN117809164A (zh) | 2024-04-02 |
Family
ID=90424690
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311869894.3A Pending CN117809164A (zh) | 2023-12-29 | 2023-12-29 | 基于多模态融合的变电站设备故障检测方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117809164A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118035943A (zh) * | 2024-04-12 | 2024-05-14 | 国网山东省电力公司淄博供电公司 | 一种变压器状态监测方法、***、电子设备及存储介质 |
-
2023
- 2023-12-29 CN CN202311869894.3A patent/CN117809164A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118035943A (zh) * | 2024-04-12 | 2024-05-14 | 国网山东省电力公司淄博供电公司 | 一种变压器状态监测方法、***、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111914883B (zh) | 一种基于深度融合网络的主轴轴承状态评估方法及装置 | |
| CN113723010B (zh) | 一种基于lstm温度-位移相关模型的桥梁损伤预警方法 | |
| CN111695620B (zh) | 一种电力***时间序列异常数据检测与修正方法及*** | |
| CN117809164A (zh) | 基于多模态融合的变电站设备故障检测方法及*** | |
| CN112199890B (zh) | 一种综合式核动力装置***级故障诊断方法 | |
| CN113158722A (zh) | 基于多尺度深度神经网络的旋转机械故障诊断方法 | |
| CN116229052B (zh) | 一种基于孪生网络的变电站设备状态变化检测方法 | |
| CN114297918A (zh) | 基于全注意力深度网络和动态集成学习的航空发动机剩余寿命预测方法 | |
| CN116610998A (zh) | 一种基于多模态数据融合的开关柜故障诊断方法和*** | |
| CN115290326A (zh) | 一种滚动轴承故障智能诊断方法 | |
| CN114418956A (zh) | 一种变电站关键电气设备的变化检测方法及*** | |
| CN115017826A (zh) | 一种装备剩余使用寿命预测方法 | |
| Li et al. | Intelligent fault diagnosis of aeroengine sensors using improved pattern gradient spectrum entropy | |
| CN115588112A (zh) | 一种基于rfef-yolo目标检测方法 | |
| CN117541534A (zh) | 一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法 | |
| CN116842379A (zh) | 一种基于DRSN-CS和BiGRU+MLP模型的机械轴承剩余使用寿命预测方法 | |
| Xu et al. | Global attention mechanism based deep learning for remaining useful life prediction of aero-engine | |
| CN113988210A (zh) | 结构监测传感网失真数据修复方法、装置及存储介质 | |
| CN116821697B (zh) | 一种基于小样本学习的机械设备故障诊断方法 | |
| CN113673774A (zh) | 基于自编码器和时序卷积网络的航空发动机余寿预测方法 | |
| CN117422695A (zh) | 一种基于CR-Deeplab的异常检测方法 | |
| CN117154680A (zh) | 一种基于非平稳Transformer模型的风电功率预测方法 | |
| CN116070126A (zh) | 基于对抗自监督的航空柱塞泵配油盘磨损检测方法及*** | |
| CN110631827B (zh) | 一种基于改进协同表示分类的齿轮箱故障诊断方法 | |
| CN117171681B (zh) | 非平衡小样本下的无人机舵面智能故障诊断方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |