CN115356599B - 一种多模态城市电网故障诊断方法及*** - Google Patents

Abstract

本发明提供一种多模态城市电网故障诊断方法及***，所述方法包括：采集城市电网多模态数据集；对城市电网多模态数据集进行小波包分解，并对分解后的数据进行重构，以形成城市电网多模态数据集的高频特征集；根据所述高频特征集，形成故障数据训练集；根据故障数据训练集，构建故障诊断模型；根据故障诊断模型，对待诊断的多模态城市电网故障数据进行诊断。本发明有效地对多模态城市电网故障进行诊断。

Description

一种多模态城市电网故障诊断方法及***

技术领域

本发明属于城市电网故障诊断技术领域，特别涉及一种多模态城市电网故障诊断方法及***。

背景技术

近年来，随着电力电子技术的发展，城市电网故障诊断在神经网络、机器视觉等技术的加持下，朝着高度智能化方向发展。故障诊断技术是识别机器或机组运行状态的科学，它研究的是机器或电网发电机组运行状态的变化在诊断信息中的反应。然而，从城市电网得到的故障数据大多数属于正常工况下的数据，仅有少量的故障前兆数据，有效可用的多模态城市电网故障数据并不充足，这将在很大程度上影响深度神经网络的训练效果，导致获得的城市电网故障诊断模型因泛化能力弱与表达能力不足而无法实际应用。

为了保证城市电网正常平稳的运行，需要对城市电网核心部件多种模态故障数据进行分析，然而实际中采集到的电网数据故障数据很稀少，特别是城市电网核心区域。

现有的数据生成技术大多都是利用迁移学习或者常规的生成对抗式网络进行数据生成。迁移学习是从相关领域中迁移标注数据或者知识结构、完成或改进目标领域或任务的学习效果。将源领域和目标领域的数据从原始特征空间映射到新的特征空间中去。这样，在该空间中，源领域数据与的目标领域的数据分布相同，从而可以在新的空间中，更好地利用源领域已有的有标记数据样本进行分类训练，最终对目标领域的数据进行分类测试。迁移学习的缺点在于通常只适合于处理有限的小数据集，且其他领域的“知识”在某个特定领域并不一定可行。常规的生成对抗网络利用生成器与判断器相互对抗学习来进行训练，生成故障数据的质量较低，生成数据的分布与实际故障数据的分布差异较大。此外，传统的迁移学习并不能增加数据集，扩充丰富原始的数据，达到丰富人工智能故障诊断与预测的过程。

因此，需要设计一种多模态城市电网故障诊断方法及***，以解决上述技术问题。

发明内容

本发明目的在于解决城市电网的实际运行过程中，采集到的故障数据集有限，很难通过变量之间的相关性实现故障诊断的问题，针对上述问题，本发明提出了一种多模态城市电网故障诊断方法及***，具体如下：

一种多模态城市电网故障诊断方法，其中，所述方法包括：

采集城市电网多模态数据集；

对城市电网多模态数据集进行小波包分解，并对分解后的数据进行重构，以形成城市电网多模态数据集的高频特征集；

根据所述高频特征集，形成故障数据训练集；

根据故障数据训练集，构建故障诊断模型；

根据故障诊断模型，对待诊断的多模态城市电网故障数据进行诊断。

进一步地，对城市电网多模态数据集进行小波包分解，包括：

通过以下公式对城市电网多模态数据集进行小波包变换：

其中，是小波变换后得到的小波系数， W是正交矩阵，是原始信号， T为转置符号。

进一步地，

对经过小波包分解后的数据进行重构，包括：

对经过小波包分解后的数据进行正交矩阵构造，并针对小波包分解过程中逐步分解出来的多维高频信号，选用高通滤波器进行小波包分解进行下采样。

进一步地，

所使用的高通滤波器为：

W=[0.707，-0.707]

其中， W为高通滤波器，即正交矩阵。

进一步地，

根据故障诊断模型，对待诊断的多模态城市电网故障数据进行诊断，包括：

通过故障诊断模型，对待诊断的多模态城市电网故障数据是否具有故障进行判断；

若具有故障，则对故障的类型进行诊断。

进一步地，对待诊断的多模态城市电网故障数据是否具有故障进行判断，包括

1）计算待诊断的多模态城市电网故障数据的核矩阵；

2）核矩阵中心化；

3）计算待诊断的多模态城市电网故障数据的非线性主成分；

4）计算待诊断的多模态城市电网故障数据残余误差空间统计量SPE和主元空间统计量T²；

5）将SPE和T²的控制限进行比较；

6）若超过控制限，则判断为故障，即待诊断的多模态城市电网故障数据具有故障。

进一步地，

城市电网多模态数据集包括第一模态数据以及第二模态数据，其中，

第一模态数据包括以下任意一种或多种类型的数据：

电压、电流、频率、功率值；

第二模态数据包括以下任意一种或多种类型的数据：

近红外图像、监控图像、监控视频、声音、振动信号。

另一方面，本发明还提供一种多模态城市电网故障诊断***，所述***包括：

采集模块，用于采集城市电网多模态数据集；

处理模块，用于对城市电网多模态数据集进行小波包分解，并对分解后的数据进行重构，以形成城市电网多模态数据集的高频特征集；

获取模块，用于根据所述高频特征集，形成故障数据训练集；

构建模块，用于根据故障数据训练集，构建故障诊断模型；

诊断模块，用于根据故障诊断模型，对待诊断的多模态城市电网故障数据进行诊断。

进一步地，

其中，对城市电网多模态数据集进行小波包分解，包括：

通过以下公式对城市电网多模态数据集进行小波包变换：

其中，是小波变换后得到的小波系数， W为正交矩阵， f是原始信号， T为转置符号。

进一步地，

对经过小波包分解后的数据进行重构，包括：

对经过小波包分解后的数据进行正交矩阵构造，并针对小波包分解过程中逐步分解出来的多维高频信号，选用高通滤波器进行小波包分解进行下采样。

进一步地，

城市电网多模态数据集包括第一模态数据以及第二模态数据，其中，

第一模态数据包括以下任意一种或多种类型的数据：

电压、电流、频率、功率值；

第二模态数据包括以下任意一种或多种类型的数据：

近红外图像、监控图像、监控视频、声音、振动信号。

本发明的一种多模态城市电网故障诊断方法及***，针对多模态城市电网故障数据少，收集故障数据成本高的问题，通过条件生成对抗网络生成多模态城市电网故障数据，解决了故障数据不足的问题，间接提高了城市电网运行的可靠性和稳定性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书以及附图中所指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例的一种多模态城市电网故障诊断方法的流程图。

图2示出了根据本发明实施例的小波包分解的分解结构示意图。

图3示出了根据本发明实施例双损失函数残差网络的结构示意图。

图4示出了根据本发明实施例使用数据增强方法，从而获得的结果示意图。

图5示出了根据本发明实施例不使用数据增强方法，从而获得的结果示意图。

图6示出了根据本发明实施例一种多模态城市电网故障诊断***的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

另外，在发明中，术语“第一”、“第二”和其它类似词语并不意在暗示任何顺序、数量和重要性，而是仅仅用于对不同的元件进行区分。

本发明目的在于针对城市电网的实际运行过程中，采集到的故障数据集有限，很难通过变量之间的相关性实现故障诊断的问题，提出了一种多模态城市电网增强卷积神经网络-主元分析故障诊断方法和模型（一种多模态城市电网故障诊断方法及***），采用对抗生成网络与小波包分解结合的数据增强方法，通过对生成器与判断器进行加条件的生成对抗训练，生成特定条件下的所需的多模态城市电网故障数据，增强原始数据；利用径向基主元分析对电网非线性数据进行故障检测，改进了原先线性核不足以表达电网数据的缺点；利用双损失函数残差网络，提高了学习效率与模型的泛化能力，从而提高城市电网故障诊断的准确性，间接提高城市电网***运行的稳定性与可靠性。

常规的特征提取方法为小波分解，然而小波分解只能对低频信号进行分解，而电网的频率数据多是高频，小波包分解可以将高频数据分解出来，因此本发明使用小波包分解的方法将有效的电网数据提取出来，增强原始数据的表达能力。常规的主成分分析对于电网特定的非线性变化的数据而言，使用线性核的方法很难去刻画不同故障类别的电网数据，本发明提出针对电网数据使用径向基主元分析可以在合适的投影方向将故障准确的检测出来，减少误报率与误诊率。常规的分类算法如K近邻算法、朴素贝叶斯、决策树方法简单易于实现，但是类准确率往往不如监督学习的高，本发明提出了双损失函数残差网络，在深度学习中残差连接使得模型的深度不再是限制，常规的神经网络难以学习到一个恒等映射，但是残差的连接使得学习过程更容易，同时损失函数的改进也可以提高电网故障分类成功率。

如图1所示的，本发明实施例提出一种多模态城市电网故障诊断方法，其中，所述方法包括：

采集城市电网多模态数据集；

对城市电网多模态数据集进行小波包分解，并对分解后的数据进行重构，以形成城市电网多模态数据集的高频特征集；

根据所述高频特征集，形成故障数据训练集；

根据故障数据训练集，构建故障诊断模型；

根据故障诊断模型，对待诊断的多模态城市电网故障数据进行诊断。

下面进行详细地描述。

步骤1.1，采集城市电网多模态数据集（包括正常数据与少量故障数据），从而便于开展多模态数据融合，其中，城市电网多模态数据集包括第一模态数据以及第二模态数据，其中，

第一模态数据包括以下任意一种或多种类型的数据：

电压、电流、频率、功率值；

第二模态数据包括以下任意一种或多种类型的数据：

近红外图像、监控图像、监控视频、声音、振动信号；

步骤1.2，如图2所示的，对城市电网多模态数据集进行小波包分解，在使用小波包进行变换的时候，分解包含了原始信号的低频部分以及高频部分。图2中，第一行的信号（原始信号，即原始的城市电网多模态数据集）将采样频率进行2等分， 第二行将采样频率进行4等分，第N行将采样频率进行2～N等分;图2中节点的命名规则：（0,0）表示原始信号；（1，0）， （1，1）表示第二行分解数据，依此类推，（2，0），（2，1），（2，2），（2，3）表示第三行分解数据；（3，0），（3，1），（3，2），（3，3），（3，4），（3，5），（3，6），（3，7）表示第四行分解数据。

具体分解过程是通过以下公式对城市电网多模态数据集进行小波包变换：

其中，是小波变换后得到的小波系数， W是正交矩阵，是被分解后的信号（例如，第一次分解是城市电网多模态数据集，第二次分解是城市电网多模态数据集经过第一次分解后的数据）， T为转置符号。

步骤1.3，对经小波包分解分解后的数据进行重构，包括：

对经过小波包分解后的数据进行正交矩阵构造，并针对小波包分解过程中逐步分解出来的多维高频信号，再使用高通滤波器进行下采样（即小波包分解）。

其中，所使用的高通滤波器（与电网或电路中所使用的滤波器不同，针对数学上信号处理过程的高通滤波器指将原始信号的高频部分分解出来的滤波器）为：

W=[0.707，-0.707]

其中， W为高通滤波器，即正交矩阵；[ ]为矩阵符号。

本发明能将生成对抗网络与小波包变换结合，运用到城市电网故障诊断过程中，相比普通小波变换而言，通过多次迭代对电网常见的高频信号进行特征提取，减少了电网中低频信号的干扰，提升了后续故障诊断的成功率。可引入条件信息作为输入，并以此控制生成不同类别不同模态的电网故障数据，提高了故障数据的生成的质量，使得生成数据可控。生成的城市电网多模态故障数据可扩充原本的故障数据集，丰富了人工智能网络训练的过程。

步骤1.4，通过多次重复步骤1.2与步骤1.3，城市电网多模态数据集被分解并重构，过滤掉低频信号，得到城市电网多模态数据集的高频特征，以形成城市电网高频多模态数据集。

步骤1.5，对不同类别的多模态城市电网故障数据进行分类标签处理。

步骤1.6，将标签进行条件化处理，令标签作为条件信息与城市电网高频多模态数据集一同组成故障数据训练集,并送入步骤2中的条件对抗网格中进行训练。

步骤2.1，定义条件对抗网络的生成对抗损失为代价函数，用来衡量生成多模态城市电网故障数据集和标注的真实多模态城市电网故障数据分布之间的误差；

步骤2.2，通过生成对抗代价函数来惩罚生成的多模态城市电网故障数据和标注的多模态城市电网故障数据分布之间的差异；

步骤2.3，该生成对抗损失定义为：

其中，D为条件对抗生成网络的判别器，G为条件对抗生成网络的生成器，为真实数据为真的概率， V（D,G）为对抗损失，x为真实数据，y为条件信息（本发明表示电网故障类别信息），z为随机噪声，为生成数据为真的概率。

步骤3.1，确定生成器与判别器的优化器为随机梯度下降。

步骤3.2，生成器中将先验输入噪声和标签信息联合组成了联合隐层表征，输出生成的假的故障数据。

步骤3.3，判别器中将生成的假的故障数据与标签信息一同作为判别器的输入，输出为判别结果。

步骤3.4，通过加上其随机梯度来更新判别器；

步骤3.5，通过减去其随机梯度来更新生成器；

步骤4.1，重复训练条件对抗生成网络，判别器判断生成的故障数据与真实数据的差异，使网络输出的生成故障数据与真实故障数据的分布差异逐渐减小。

步骤4.2，引入超参数k，先训练k次判别器，再训练1次生成器，即每重复进行k次步骤3.2，步骤3.3，步骤3.4，进行一次步骤3.5，通过加速训练更新判别器，可以使条件对抗生成网络收敛更快。

步骤4.3，条件对抗生成网络训练好之后，通过对生成器输入相同维度的噪声与不同的标签信息，可以生成不同种类别的多模态城市电网故障数据（由于原始的电网故障数据较少，且发生故障时较为随机，导致不同类别故障数据集之间不平衡不充分，因此生成与原始故障类别分布相同的数据，增强原始数据集，强化之后故障诊断模型的鲁棒性）。

步骤5.1，在本发明的一个实施例中，故障诊断模型（多模态的故障诊断模型是基于核主成分分析的模型进行故障诊断的模型）对待诊断的多模态城市电网故障数据进行诊断，包括：

1）计算多模态城市电网故障数据的核矩阵；

2）核矩阵中心化，其目的是为了求解核矩阵的主成分，为后续计算非线性主成分打下基础。

3）计算待诊断的多模态城市电网故障数据的非线性主成分；

4）计算待诊断的多模态城市电网故障数据的残余误差空间统计量SPE和主元空间统计量T²；

5）将SPE和T²的控制限进行比较；

6）若超过控制限，则判断为故障，即待诊断的多模态城市电网故障数据具有故障。

若具有故障，则对故障的类型进行诊断，其诊断的方式如下：

步骤5.2，使用双损失函数残差网络进行故障分类，残差网络的思想是去掉相同的主体部分，从而突出微小的变化。在残差网络训练过程中，目标函数用作总体的优化目标，而在残差网络中损失函数是目标函数的一个重要部分。

步骤5.3，如图3所示的，双损失函数的改进：在原先的残差网络上引入双损失函数残差网络，使用交叉熵损失函数与均方差损失函数相结合的方法，从而增强神经网络的鲁棒性，减小故障分类过程中出现的度消失和梯度***的问题。双损失函数的公式如下：

其中，交叉熵损失函数的系数，b为均方差损失函数的损失函数系数，i表示数据的维度，即有多少数据； y _i 是神经网络的输出， x _i 是正确解标签，且具有约束条件+b=1。

步骤5.4,残差网络的训练，利用双损失函数加速迭代响应的作用，在残差网络训练过程中通过迭代运算，减小双损失函数值，加强目标函数的求解，减少模型（即双损失函数残差网络）误差，提高故障分类的精准度。

如图3所示的，基础块即普通的3x3卷积神经网络；而残差块（图3中的残差）保留着原始输入的信息。残差网络的输入可通过跨层的数据线路更快地向前传播。同时，反向传播时信号也可以无衰减地传递，可以缓解因加深层而导致的梯度消失或者梯度***现象。同时还可以减少深度网络过拟合现象的发生。

步骤6.1，多模态数据融合，将故障诊断与故障分类结果集成到故障诊断***中，通过数据融合结合分析定位故障发生的类型，故障发生的位置。

在本发明中，可通过直接输入多模态电网实时数据，从而能输出是否出现故障，以及故障分类结果。

在办发明中，针对城市电网中采集到的多模态数据集，包括（电压、电流、频率、功率值；近红外图像、监控图像、监控视频、声音或振动信号等），通常没有被充分的挖掘出有效信息。

另外一方面，针对城市电网收集到的故障数据，往往只有少量的不充分不平衡的多种模态数据，导致城市电网故障状态诊断准确度较低。本发明提出了一种多模态城市电网增强卷积神经网络-主元分析故障诊断模型，通过生成网络与小波包分解相结合用以增强原始电网数据，然后使用径向基主元分析（本实施例的故障诊断模型）与改进的双损失函数残差网络对处理后的电网数据进行故障检测与分类，提升城市电网核心设备的故障分析与故障诊断效率，达到增强城市电网运行的可靠性和稳定性的目的。首先对多模态城市电网故障数据进行分组处理与小波包分解，将故障数据打上类别标签，再根据不同类别故障数据的标签，对故障数据增加引入条件变量，进而使用额外引入的条件变量，实现指导数据生成过程。生成对抗的网络相对于原始生成对抗网络并没有变化，改变的仅仅是生成器和判别器的输入数据，这就使得条件对抗生成网络可以作为一种通用策略嵌入到其它的生成对抗网络中。

在本发明中，使用数据增强方法（图4）与不使用数据增强方法（图5）的结果（故障诊断结果，反映了待检测数据是否具有故障），以此可知，使用数据增强方法可以丰富故障诊断模型训练过程，提高径向基主元分析法的学习精度，从而提升故障诊断检测结果的准确度，降低误诊率。其中，图4和图5中，横坐标表示电网故障数据样本（samples）的长度（其数值以200为间隔，依次为0、200、400、600、800、1000），纵坐标表示电网故障数据的幅值（图4中，其数值以5为间隔，依次为0、5、10、15、20；图5中位于上方的图的数值以10为间隔，依次为0、10、20、30；图5中位于下方的图的数值以5为间隔，依次为0、5、10、15、20），99%T²control limit表示置信度为99%时的T²统计量的控制限，99% Q control limit表示置信度为99%时SPE（Q）统计量的控制限。其中SPE统计量也被称为Q统计量，通过计算故障区间的SPE和T²统计量的贡献率来实现故障诊断，即如果待测数据超过了控制线即表示存在故障。

具体的，如图6所示的，本发明的一个实施例还提供一种多模态城市电网故障诊断***，所述***包括：

采集模块，用于采集城市电网多模态数据集；

处理模块，用于对城市电网多模态数据集进行小波包分解，并对分解后的城市电网多模态数据集进行重构，以形成城市电网多模态数据集的高频特征集；

获取模块，用于根据所述高频特征集，形成故障数据训练集；

构建模块，用于根据故障数据训练集，构建故障诊断模型；

诊断模块，用于根据故障诊断模型，对待诊断的多模态城市电网故障数据进行诊断。

以下进行详细地说明。

（1.1）采集城市电网多模态数据集，以便于开展多模态数据融合，其中，城市电网多模态数据集包括第一模态数据以及第二模态数据，其中，

第一模态数据包括以下任意一种或多种类型的数据：

电压、电流、频率、功率值；

第二模态数据包括以下任意一种或多种类型的数据：

近红外图像、监控图像、监控视频、声音、振动信号；

（1.2）对真实多模态多模态城市电网故障数据进行小波包变换特诊提取，创建故障数据集。

（1.3）整理多模态多模态城市电网故障数据集，进行多模态分解，将不同模态的数据转化为一维时间序列数据或二维图片数据。

（1.4）对多模态分解后的多模态城市电网故障数据集，将不同种类别的数据加上类别标签，作为输入条件，得到带有条件信息的数据集。

（1.5）搭建条件生成对抗网络，确定生成器与判别器的损失函数，优化器，步长以及训练次数。

（1.6）将先验噪声与条件信息一同输入到生成器得到生成故障数据。

（1.7）以（1.3）得到的数据集作为城市电网的真实故障数据，将带有条件信息的真实数据与带有条件信息的生成故障数据输入判别器进行判断。

（1.8）对判别器的网络参数加上随机梯度下降。

（1.9）对生成器的网络参数减去随机梯度下降。

（1.10）重复进行步骤（1.5）到步骤（1.8）的操作，每次重复过程包括重复k次步骤（1.6）（1.7）再进行1次（1.8）。

（1.11）条件对抗生成网络训练好之后，将先验噪声与标签信息输入到训练好的网络，可以得到不同类别不同模态的多模态城市电网故障数据。

（1.12）城市电网多模态故障数据分解。

（1.13）对处理后的数据集，使用核主成分分析对电网正常时间段的数据进行训练，然后使用测试数据进行测试。故障检测流程为：

1）计算核矩阵；

2）核矩阵中心化；

3）计算待诊断的多模态城市电网故障数据的非线性主成分；

4）计算SPE和T²统计量；

5）将SPE和T²统计量的控制限进行比较；

6）若超过控制限，则判断为故障。

使用小波包分解与条件生成对抗网络结合的电网故障数据增强方法：

与传统的数据增强方法或数据特征提取方法相比，小波包分解可以将电网中常见的高频信号分解出来，避免了大量信号的丢失，保存了有效的信号频段。另外，使用条件生成对抗网络面对城市电网多模态电网数据集，相比传统的生成对抗网络而言，条件对抗生成网络可以同时对不同模态的数据进行数据增强，可以提升数据增强效率与数据增强的质量。

本发明中，采用对抗生成网络与小波包分解结合的数据增强方法，通过对生成器与判断器进行加条件的生成对抗训练，生成特定条件下的所需的多模态城市电网故障数据，增强原始数据；利用径向基主元分析对电网非线性数据进行故障检测，改进了原先线性核不足以表达电网数据的缺点；利用双损失函数残差网络，提高了学习效率与模型的泛化能力，从而提高城市电网故障诊断的准确性，间接提高城市电网***运行的稳定性与可靠性。

本发明的数据增强方法基于条件对抗生成网络与小波包分解，通过对不同的故障数据打标签引入条件变量，通过小波包分解对高频信号进行特征提取，实现了对不同类别多种模态的多模态城市电网故障数据的指导生成，扩展了多模态城市电网故障数据。使用线性核的方法很难去刻画不同故障类别的电网数据，本发明提出针对电网数据使用径向基主元分析可以在合适的投影方向进行故障检测，可有效减少误报率与误诊率。此外，使用双损失函数残差网络进行故障分类，可以解决常规神经网络难以学习到一个恒等映射的问题，所提人工智能网络使得学习过程更容易，同时损失函数的改进也可以提高电网故障分类成功率，有助于提高城市电网运行状态监测效率与***故障诊断的准确度。

尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种多模态城市电网故障诊断方法，其特征在于，所述方法包括：

步骤1.1：采集城市电网多模态数据集；

步骤1.2：对城市电网多模态数据集进行小波包分解；

步骤1.3：对分解后的数据进行重构，包括：对经过小波包分解后的数据进行正交矩阵构造，并针对小波包分解过程中逐步分解出来的多维高频信号，再使用高通滤波器进行下采样；

步骤1.4：通过多次重复步骤1.2与步骤1.3，城市电网多模态数据集被分解并重构，过滤掉低频信号，得到城市电网多模态数据集的高频特征，以形成城市电网多模态数据集的高频特征集；

步骤1.5：对不同类别的多模态城市电网故障数据进行分类标签处理；

步骤1.6：将标签进行条件化处理，令标签作为条件信息与城市电网高频多模态数据集一同组成故障数据训练集,并送入条件对抗网格中进行训练；

步骤2.1：定义条件对抗网络的生成对抗损失为代价函数，用来衡量生成多模态城市电网故障数据集和标注的真实多模态城市电网故障数据分布之间的误差；

步骤2.2：通过生成对抗代价函数来惩罚生成的多模态城市电网故障数据和标注的多模态城市电网故障数据分布之间的差异；

步骤2.3：生成对抗损失定义为：

其中，D为条件对抗生成网络的判别器，G为条件对抗生成网络的生成器，为真实数据为真的概率，V（D,G）为对抗损失，x为真实数据，y为条件信息，z为随机噪声，为生成数据为真的概率；

步骤3.1：确定生成器与判别器的优化器为随机梯度下降；

步骤3.2：生成器中将先验输入噪声和标签信息联合组成了联合隐层表征，输出生成的假的故障数据；

步骤3.3：判别器中将生成的假的故障数据与标签信息一同作为判别器的输入，输出为判别结果；

步骤3.4：通过加上其随机梯度来更新判别器；

步骤3.5：通过减去其随机梯度来更新生成器；

步骤4.1：重复训练条件对抗生成网络，判别器判断生成的故障数据与真实数据的差异，使网络输出的生成故障数据与真实故障数据的分布差异逐渐减小；

步骤4.2：引入超参数k，先训练k次判别器，再训练1次生成器，即每重复进行k次步骤3.2、步骤3.3和步骤3.4，进行一次步骤3.5，通过加速训练更新判别器，使条件对抗生成网络收敛更快；

步骤4.3：条件对抗生成网络训练好之后，通过对生成器输入相同维度的噪声与不同的标签信息，生成不同种类别的多模态城市电网故障数据；

根据所述高频特征集，形成故障数据训练集；

根据故障数据训练集，构建故障诊断模型；

根据故障诊断模型，对待诊断的多模态城市电网故障数据进行诊断。

2.根据权利要求1所述的一种多模态城市电网故障诊断方法，其特征在于，对城市电网多模态数据集进行小波包分解，包括：

通过以下公式对城市电网多模态数据集进行小波包变换：

其中，是小波变换后得到的小波系数，W是正交矩阵，是原始信号，T为转置符号。

3.根据权利要求1所述的一种多模态城市电网故障诊断方法，其特征在于，

所使用的高通滤波器为：

W=[0.707，-0.707]

其中，W为高通滤波器，即正交矩阵。

4.根据权利要求1所述的一种多模态城市电网故障诊断方法，其特征在于，

根据故障诊断模型，对待诊断的多模态城市电网故障数据进行诊断，包括：

通过故障诊断模型，对待诊断的多模态城市电网故障数据是否具有故障进行判断；

若具有故障，则对故障的类型进行诊断。

5.根据权利要求4所述的一种多模态城市电网故障诊断方法，其特征在于，对待诊断的多模态城市电网故障数据是否具有故障进行判断，包括

1）计算待诊断的多模态城市电网故障数据的核矩阵；

2）核矩阵中心化；

3）计算待诊断的多模态城市电网故障数据的非线性主成分；

4）计算待诊断的多模态城市电网故障数据残余误差空间统计量SPE和主元空间统计量T²；

5）将SPE和T²的控制限进行比较；

6）若超过控制限，则判断为故障，即待诊断的多模态城市电网故障数据具有故障。

6.根据权利要求1-5任一项所述的一种多模态城市电网故障诊断方法，其特征在于，

城市电网多模态数据集包括第一模态数据以及第二模态数据，其中，

第一模态数据包括以下任意一种或多种类型的数据：

电压、电流、频率、功率值；

第二模态数据包括以下任意一种或多种类型的数据：

近红外图像、监控图像、监控视频、声音、振动信号。

7.一种多模态城市电网故障诊断***，其特征在于所述***包括：

采集模块，用于执行步骤1.1：采集城市电网多模态数据集；

处理模块，用于执行以下步骤：

步骤1.2：对城市电网多模态数据集进行小波包分解；

步骤1.3：对分解后的数据进行重构，包括：对经过小波包分解后的数据进行正交矩阵构造，并针对小波包分解过程中逐步分解出来的多维高频信号，再使用高通滤波器进行下采样；

步骤1.4：通过多次重复步骤1.2与步骤1.3，城市电网多模态数据集被分解并重构，过滤掉低频信号，得到城市电网多模态数据集的高频特征，以形成城市电网多模态数据集的高频特征集；

步骤1.5：对不同类别的多模态城市电网故障数据进行分类标签处理；

步骤1.6：将标签进行条件化处理，令标签作为条件信息与城市电网高频多模态数据集一同组成故障数据训练集,并送入条件对抗网格中进行训练；

步骤2.1：定义条件对抗网络的生成对抗损失为代价函数，用来衡量生成多模态城市电网故障数据集和标注的真实多模态城市电网故障数据分布之间的误差；

步骤2.2：通过生成对抗代价函数来惩罚生成的多模态城市电网故障数据和标注的多模态城市电网故障数据分布之间的差异；

步骤2.3：生成对抗损失定义为：

其中，D为条件对抗生成网络的判别器，G为条件对抗生成网络的生成器，为真实数据为真的概率，V（D,G）为对抗损失，x为真实数据，y为条件信息，z为随机噪声，为生成数据为真的概率；

步骤3.1：确定生成器与判别器的优化器为随机梯度下降；

步骤3.2：生成器中将先验输入噪声和标签信息联合组成了联合隐层表征，输出生成的假的故障数据；

步骤3.3：判别器中将生成的假的故障数据与标签信息一同作为判别器的输入，输出为判别结果；

步骤3.4：通过加上其随机梯度来更新判别器；

步骤3.5：通过减去其随机梯度来更新生成器；

步骤4.1：重复训练条件对抗生成网络，判别器判断生成的故障数据与真实数据的差异，使网络输出的生成故障数据与真实故障数据的分布差异逐渐减小；

步骤4.2：引入超参数k，先训练k次判别器，再训练1次生成器，即每重复进行k次步骤3.2、步骤3.3和步骤3.4，进行一次步骤3.5，通过加速训练更新判别器，使条件对抗生成网络收敛更快；

步骤4.3：条件对抗生成网络训练好之后，通过对生成器输入相同维度的噪声与不同的标签信息，生成不同种类别的多模态城市电网故障数据；

获取模块，用于根据所述高频特征集，形成故障数据训练集；

构建模块，用于根据故障数据训练集，构建故障诊断模型；

诊断模块，用于根据故障诊断模型，对待诊断的多模态城市电网故障数据进行诊断。

8.根据权利要求7所述的一种多模态城市电网故障诊断***，其特征在于，

其中，对城市电网多模态数据集进行小波包分解，包括：

通过以下公式对城市电网多模态数据集进行小波包变换：

其中，是小波变换后得到的小波系数，W为正交矩阵，f是原始信号，T为转置符号。

9.根据权利要求7或8所述的一种多模态城市电网故障诊断***，其特征在于，

城市电网多模态数据集包括第一模态数据以及第二模态数据，其中，

第一模态数据包括以下任意一种或多种类型的数据：

电压、电流、频率、功率值；

第二模态数据包括以下任意一种或多种类型的数据：

近红外图像、监控图像、监控视频、声音、振动信号。

Images