CN113139600A - 基于联邦学习的智能电网设备异常检测方法和*** - Google Patents

基于联邦学习的智能电网设备异常检测方法和*** Download PDF

Info

Publication number
CN113139600A
CN113139600A CN202110444328.2A CN202110444328A CN113139600A CN 113139600 A CN113139600 A CN 113139600A CN 202110444328 A CN202110444328 A CN 202110444328A CN 113139600 A CN113139600 A CN 113139600A
Authority
CN
China
Prior art keywords
model
grid device
power grid
intelligent power
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110444328.2A
Other languages
English (en)
Inventor
林培斌
戚远航
刘毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Anheng Power Technology Co ltd
Original Assignee
Guangdong Anheng Power Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Anheng Power Technology Co ltd filed Critical Guangdong Anheng Power Technology Co ltd
Priority to CN202110444328.2A priority Critical patent/CN113139600A/zh
Publication of CN113139600A publication Critical patent/CN113139600A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于联邦学习的智能电网设备异常检测方法和***，方法包括以下步骤：每个智能电网设备建立自身的本地数据集；每个所述智能电网设备对所述本地数据集执行本地模型训练；每个所述智能电网设备在进行所述本地模型训练后，计算自身的模型更新并将所述自身的模型更新上传至服务器；所述服务器对接收到的所述模型更新执行聚合操作得到新的全局模型，并将所述新的全局模型发送到每个所述智能电网设备；循环执行以上步骤，直到全局模型达到最佳收敛，并以该全局模型作为最佳全局模型，每个所述智能电网设备使用所述最佳全局模型执行异常检测任务。根据本发明实施例的方法，能够检测出多个智能电网设备中出现异常的智能电网设备。

Description

基于联邦学习的智能电网设备异常检测方法和***
技术领域
本发明属于智能电网设备技术领域，具体涉及一种基于联邦学习的智能电网设备异常检测方法和***。
背景技术
智能电网设备在日常生活中的部署越来越多。然而，由于其不安全的设计、实施和配置，这些设备中都容易受到攻击。结果，许多智能电网设备都遭受到了攻击而产生异常、甚至无法正常工作。这导致了新一类专门针对攻击智能电网设备的恶意软件和恶意程序。但是，鉴于涉及的不同类型的设备和制造商的数量庞大，现有的入侵检测技术无法有效地检测出受损的智能电网设备。
发明内容
本申请的一个目的是提供一种基于联邦学习的智能电网设备异常检测方法和***的新技术方案，能够实现有效地检测出受损的智能电网设备。
本发明的第一方面，提供了一种基于联邦学习的智能电网设备异常检测方法，包括以下步骤：每个智能电网设备建立自身的本地数据集；每个所述智能电网设备对所述本地数据集执行本地模型训练；每个所述智能电网设备在进行所述本地模型训练后，计算自身的模型更新并将所述自身的模型更新上传至服务器；所述服务器对接收到的所述模型更新执行聚合操作得到新的全局模型，并将所述新的全局模型发送到每个所述智能电网设备；循环执行以上步骤，直到全局模型达到最佳收敛，并以该全局模型作为最佳全局模型，每个所述智能电网设备使用所述最佳全局模型执行异常检测任务。
根据本发明实施例的基于联邦学习的智能电网设备异常检测方法通过多个步骤相配合，能够实现对于受损的智能电网设备的有效检测。
可选地，每个所述智能电网设备收集自身的传感时间序列数据作为所述本地数据集。
可选地，通过所述服务器的云聚合器对接收到的所述模型更新执行聚合操作得到新的全局模型。
可选地，所述服务器根据每个所述智能电网设备的模型更新按照预设聚类方法分成若干个簇类，所述云聚合器通过聚合每个簇类中的所述智能电网设备上传的模型更新来获得所述新的全局模型。
可选地，所述预设聚类方法包括：采用预设算法找出与某一个设备i相似度超过阈值α最多的设备数；将这些设备划分为一个簇类中。
可选地，所述预设算法为贪心算法。
可选地，所述预设聚类方法还包括：将所述设备i与其他设备进行余弦相似度判断，并将大于阈值的设备归为一个簇类中。
可选地，所述本地模型为深度异常检测模型。
可选地，所述深度异常检测模型包括：输入层，所述输入层用于输入数据；基于注意力机制的卷积神经网络单元，所述的基于注意力机制的卷积神经网络单元能够捕获所述输入层输入的数据的细粒度特征；长短期记忆网络单元，将所述基于注意力机制的卷积神经网络单元的输出作为所述长短期记忆网络单元的输入，所述长短期记忆网络单元能够预测未来的时间序列数据以及检测异常；输出层，所述输出层与所述长短期记忆网络单元连接，以输出异常检测结果。
本发明的第二方面，提供了一种基于联邦学习的智能电网设备异常检测***，包括：本地数据集建立模块，所述本地数据集建立模块为每个智能电网设备建立自身的本地数据集；本地模型训练模块，所述本地模型训练模块能够对所述本地数据集执行本地模型训练；更新模块，所述更新模块能够在每个所述智能电网设备进行所述本地模型训练后，计算自身的模型更新并将所述自身的模型更新上传至服务器；聚合模块，所述聚合模组能够对接收到的所述模型更新执行聚合操作得到新的全局模型，并将所述新的全局模型发送到每个所述智能电网设备。
通过以下参照附图对本申请的示例性实施例的详细描述，本申请的其它特征及其优点将会变得清楚。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的基于联邦学习的智能电网设备异常检测方法的流程图；
图2为根据本发明实施例的联邦学习框架示意图；
图3为根据本发明实施例的基于联邦学习的智能电网设备的异常检测框架；
图4为根据本发明实施例的AMCNN-LSTM模型概述图；
图5为根据本发明实施例的模型与基线方案在异常检测中的准确性的对比结果示意图；
图6为根据本发明实施例的模型和竞争方法的预测误差的对比结果示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
下面首先结合附图具体描述根据本发明实施例的基于联邦学习的智能电网设备异常检测方法。
本发明提供了一种基于联邦学习的智能电网设备异常检测方法，下面对联邦学习进行详细说明。
其中，联邦学习是分布式机器学习***的一种，它可以为参与分布式学习的节点提供一定的隐私保护。
具体地，如图2所示，联邦学习(Federated Learning，FL)是一种分布式协作学习范式，它允许边缘节点(如无人机、传感器、车辆)保持数据在本地来协作训练一个全局深度学习模型，来达到模型学习和保护隐私的目的。具体来说，该框架通过使用分布式的随机梯度下降算法来迭代和训练全局模型，其中需要说明的是，在深度学习中，梯度是指对模型的权值的一阶求导。由此，在每轮迭代t(t∈{1,2,…,T})中，联邦学习的学习的过程可以描述如下：
步骤1：初始化
所有参与本轮训练的节点发送信息给云服务器以表示登记参与联邦学习，云服务器去除存在网络故障或者网络不佳的节点。云服务器将从所有参与的节点中随机抽取部分节点参加本轮训练，并将预训练(或者初始化)的全局模型wt发送给相应的节点。
步骤2：本地训练
每个节点收到全局模型wt，并对自己的本地模型
Figure BDA0003036182280000021
进行初始化，其中k表示节点的数目，初始化过程如下：
Figure BDA0003036182280000022
然后，节点开始使用自己的本地数据集Dk进行训练，其中数据集的大小为|Dk|，由训练数据集即输入-输出对(xi,yi)组成，本地训练需要优化的损失函数定义如下：
Figure BDA0003036182280000031
其中，ω是指模型的参数，fi(ω)是指本地损失函数(例如
Figure BDA0003036182280000032
)，Fk(ω)收敛之后可以更新本地模型
Figure BDA0003036182280000033
如下：
Figure BDA0003036182280000034
其中，η为模型的学习率，
Figure BDA0003036182280000035
为对权值的求导即梯度。
步骤3：模型更新聚合
模型聚合：在联邦学***均求和操作。
节点进行本地训练之后将自己的本地模型更新上传给云服务器，云服务器对收到的本地模型更新执行聚合操作得到新的全局模型wt+1，其定义如下：
Figure BDA0003036182280000036
上述三个步骤周而复始，直至全局模型达到收敛。值得注意的是，整个过程中节点的本地数据集保留在本地并未分享或者泄露给云服务器。
需要说明的是，在联邦学习中，模型更新是指节点利用自己的本地数据对本地模型进行训练而产生的参数更新。
在智能电网设备异常检测应用中，首先假设存在K个待检测的设备和一个诚实的服务器S。每个设备Ck都会产生一个模型更新，即Δwk，其中不同设备会产生不同的模型更新。首先，相似的数据分布会产生相似的模型。因此，将此事实迁移到分布式场景中，即相似数据分布的设备会产生相似的模型更新，也就是说，在这些相似数据分布的设备中聚合的模型是高质量的，因为它们的模型更新未有数据异构性的问题。
从以上内容可知，可将数据异构性问题可以转变为模型更新的同质性问题。接下来，将模型更新同质性的定义如下：
定义1：(模型更新的同质性)：假设存在K个设备和一个服务器S，令Δwk表示第k个设备产生的模型更新，如果任意两个设备，即第i个设备和第j个设备的模型更新满足以下条件，
A(Δwi,Δwj)≥α，
将这两个设备产生的模型更新称为同质性的模型更新。其中A(·,·)为某个同质性判断函数，α为同质性判断的超参数即阈值。
由上述定义可知，本发明需要设计一种同质性判断函数，在空间向量的余弦相似度的基础上，本发明提出一种基于余弦相似度的模型更新同质性判断，具体形式化定义如下：
定义2：(余弦相似度)：给定两个属性向量，A和B，其余弦相似性θ由点积和向量长度给出，如下所示：
Figure BDA0003036182280000041
则基于余弦相似度的模型更新同质性判断机制定义如下：
cos(Δwi,Δwj)≥α,
其中cos(·,·)表示余弦相似度函数。余弦相似度函数可很好地反映出两个设备产生的模型更新的相似度，从而很好地判断两者的数据分布是否相似。
从定义1以及定义2可知，通过以上方法可以很简单找出任意两个数据分布相似的两个设备，可是还是较难找出最多的若干个数据分布相似的设备。为了解决这个问题，本发明设计了一种基于模型更新同质性的聚类联邦学习框架。具体来说，本发明采用贪心算法找出与某一个设备i相似度超过阈值α最多的设备数，即转化为一个寻优相似度最大值的问题。然后，将这些设备划分为一个簇类中，从而实现该簇类中聚合一个最优的全局模型。该方法的形式化定义如下：
Figure BDA0003036182280000042
如上述式子所示，假设固定设备i，将设备i与其他设备进行余弦相似度判断，大于阈值的即归为一个簇类中，直到余弦相似度的和最大，则寻优结束。那么整体的模型更新的过程可表示如下：
Figure BDA0003036182280000043
其中wt为上一轮的全局模型更新，
Figure BDA0003036182280000044
表示n个簇类中每个簇类的模型更新的总和，q为各个簇类的权值，从而形成新的全局模型。
基于以上对于联邦学习的描述，如图1和图3所示，根据本发明实施例的方法包括以下步骤：
S1、每个智能电网设备建立自身的本地数据集。
根据本发明的一个实施例，每个智能电网设备收集自身的传感时间序列数据作为本地数据集。
S2、每个智能电网设备对本地数据集执行本地模型训练。
S3、每个智能电网设备在进行本地模型训练后，计算自身的模型更新并将自身的模型更新上传至服务器，
S4、服务器对接收到的模型更新执行聚合操作得到新的全局模型，并将新的全局模型发送到每个智能电网设备。
可选地，服务器包括云聚合器，云聚合器对接收到的模型更新执行聚合操作得到新的全局模型。
在本发明的一些具体实施方式中，服务器根据每个智能电网设备的模型更新按照预设聚类方法分成若干个簇类，云聚合器通过聚合每个簇类中的智能电网设备上传的模型更新来获得新的全局模型。
根据本发明的一个实施例，预设聚类方法包括以下步骤：采用预设算法找出与某一个设备i相似度超过阈值最多的设备数；将这些设备划分为一个簇类中。
可选地，预设算法为贪心算法。
可选地，预设聚类方法还包括：将设备i与其他设备进行余弦相似度判断，并将大于阈值的设备归为一个簇类中。
S5、循环执行以上步骤，直到全局模型达到最佳收敛，并以该全局模型作为最佳全局模型，每个智能电网设备使用最佳全局模型执行异常检测任务。需要说明的是，关于异常检测的定义如下：在数据挖掘中，异常检测对不符合预期模式或数据集中其他项目的项目、事件或观测值的识别。
在本发明的一些具体实施方式中，本地模型为深度异常检测模型。
下面结合具体实施例对根据本发明的方法进行说明。
如图3所示，根据本发明的方法包括五个步骤，如下所示：
S1、智能电网设备收集自身的传感时间序列数据作为本地数据集。
S2、设备对本地数据集执行本地模型(即深度异常检测模型(AMCNN-LSTM模型)训练。
S3、设备计算自身的模型更新并上传到服务器，服务器根据各个设备的模型更新按照上述的聚类方案来分成若干个簇类。
S4、云聚合器通过聚合各个簇类中的设备上传的模型更新来获得新的全局模型，云聚合器将新的全局模型发送到每个设备。
S5、循环执行以上步骤，直到全局模型达到最佳收敛。各个智能电网设备可以使用此最佳全局模型执行异常检测任务。
为了解决这个问题，本发明引入联邦学习(Federated Learning，FL)框架，该框架可用于检测受攻击的智能电网设备的分布式机器学习***，特别地，FL框架可以有效地建立在特定于设备类型的通信配置文件上而无需人工干预或标记数据，通过这些时序数据可检测设备通信行为的异常偏差(可能由恶意攻击者引起)。然而，由于各个区域的智能电网设备的差异性(例如设备类型、设备工作方式等)引起的数据异构问题破坏了目前主流FL框架对于检测设备异常的准确性。因此，本发明将设计一种基于模型更新同质性的聚类联邦学习框架来解决上述痛点问题，并设计一个深度神经网络模型来进行设备的异常检测。
下面对根据本发明实施例的深度异常检测模型(AMCNN-LSTM)进行详细说明。
根据本发明实施例的深度异常检测模型包括：输入层、基于注意力机制的卷积神经网络单元、长短期记忆网络单元和输出层。
具体地，输入层用于输入数据，基于注意力机制的卷积神经网络单元(CNN)能够捕获输入层输入的数据的细粒度特征，将基于注意力机制的卷积神经网络单元的输出作为长短期记忆网络单元(LSTM)的输入，长短期记忆网络单元能够预测未来的时间序列数据以及检测异常，输出层与长短期记忆网络单元连接，以输出异常检测结果。
其中，深度异常检测模型(AMCNN-LSTM)主要建立在基于注意力机制的CNN-LSTM模型。该基于注意力机制的CNN-LSTM模型使用CNN捕获传感时间序列数据的细粒度特征，并使用LSTM模块准确及时地检测异常。
在基于注意力机制的CNN-LSTM模型的基础上，本申请设计了一个无监督的AMCNN-LSTM模型，它包括输入层、基于注意力机制的CNN单元、LSTM单元和输出层，如图4所示。首先，将预处理后的数据用作输入层的输入。其次，使用CNN捕获输入的细粒度特征，并利用注意力机制专注于CNN捕获特征的重要特征。再次，将基于注意力机制的CNN单元的输出用作LSTM单元的输入，并使用LSTM预测未来的时间序列数据。最后，可以通过提出一个异常检测分数来检测异常。
其中，对输入层输入数据前，可以对数据进行预处理，例如将设备收集的感测时间序列数据标准化为[0,1]，以加快模型收敛。
对于基于注意力机制的CNN单元而言：首先，在CNN单元中引入一种注意力机制，以提高对重要功能的关注。在认知科学中，由于信息处理的瓶颈，人类将选择性地关注信息的重要部分，而忽略其他可见信息。因此本申请提出了针对各种任务的注意力机制，例如计算机视觉和自然语言处理。因此，关注机制可以通过关注重要特征来提高模型的性能。注意机制的正式定义如下：
ei＝a(u,vi),
Figure BDA0003036182280000051
Figure BDA0003036182280000052
其中u是基于当前任务的匹配特征向量，并用于与上下文进行交互，vi是时间序列中时间戳的特征向量，ei是未归一化的注意力得分，βi是归一化的注意力得分，而c是根据关注分数和特征序列v计算的当前时间戳的上下文特征。在大多数情况下，ei＝uTWv，其中W是权重矩阵。
其次，使用CNN单元提取时间序列数据的细粒度特征。CNN模块通过堆叠一维(1-D)CNN的多层而形成，并且每一层包括卷积层，批归一化层和非线性层。这些模块通过使用池化层来实现采样聚合，并创建分层结构，这些结构通过卷积层的堆叠逐渐提取更多抽象特征。该模块输出m个长度为n的特征序列，其大小可以表示为(n×m)。为了进一步提取重要的时间序列数据特征，本申请通过结合注意力机制和CNN提出了并行特征提取分支。注意机制模块由特征聚合和尺度恢复组成。
特征聚合部分使用多个卷积和池化层的堆叠来从序列中提取关键特征，并使用大小为1x1的卷积核来挖掘线性关系，然后使用Sigmoid函数将值约束为[0，1]。
再次，将CNN模块的输出特征和重要特征的输出分别按元素乘以相应的注意机制模块。本申请假设序列
Figure BDA0003036182280000061
由CNN模块处理的序列Xi的输出以WCNN表示，相应的关注模块的输出以Wattention表示。本申请将两个输出元素逐个元素相乘，如下所示：
W(i，c)＝WCNN(i，c)⊙Wattention(i，c)。
其中⊙代表逐元素相乘，i是时间序列在要素图层中的对应位置，c是通道。本申请使用最终特征层W(i；c)作为LSTM块的输入。
通过引入注意力机制来扩展输入的接受域，从而使模型可以获得更全面的上下文信息，从而学习当前局部序列的重要特征。此外，本申请使用注意力模块来抑制不重要的特征对模型的干扰，从而解决了模型无法区分时间序列数据特征的重要性的问题。
而关于LSTM结构，本申请使用一种称为LSTM的递归神经网络的变体，以支持准确预测传感时间序列数据以检测异常。LSTM使用精心设计的“门”结构来删除信息或将信息添加到单元状态。“门”结构是一种选择性地传递信息的方法。
ft＝σl(Wf·[ht-1，xt]+bf)，
it＝σl(Wi·[ht-1，xt]+bi)，
Figure BDA0003036182280000062
Figure BDA0003036182280000063
ot＝σl(Wo·[ht-1，xt]+bo)，
ht＝ot*tanh(Ct)，
其中，Wf，Wi，WC，WO和bf，bi，bC，bO分别是时间步长t的权重矩阵和输入向量xt的偏差向量。σl是激活函数，表示矩阵的元素相乘，Ct表示单元状态，ht-1是时间步t-1时隐藏层的状态，而ht是时间步长时隐藏层的状态t。
下面对根据本发明实施例的***进行实验。
将本发明实施例提出的***应用于四个真实世界的数据集，即功率需求、航天飞机设备、心电图和引擎以进行性能验证。这些数据集是由来自不同领域的不同类型的传感器设备收集的时间序列数据集。例如，电力需求数据集由智能电网电表记录的电力消耗数据组成。这些数据集中有正常的子序列和异常的子序列。如表1所示，X，Xn和Xa分别是多个原始序列，正常子序列和异常子序列。对于电力需求数据集，异常子序列表示电表发生故障或停止工作。
因此，本申请需要使用这些数据集来训练可以检测异常的FL模型。本申请将所有数据集按7：3的比例分为训练集和测试集。通过使用Pytorch和PySyft来实现所提出的框架。该实验是在具有Ubuntu18.04操作***，Intel(R)Core(TM)i5-4210M CPU，16GB RAM，512GB SSD的虚拟工作站上进行的。
表1.数据集
Figure BDA0003036182280000071
在本实验中，智能电网设备的数量为N＝10，学习率为0.001，训练伦茨为E＝1000，最小批量大小为B＝128。
本申请采用均方根误差(RMSE)来表示AMCNN-LSTM模型的性能，如下所示：
Figure BDA0003036182280000072
其中yi是真实值，yp是预测值。
下面对上述实验的实验结果进行说明。
本申请将提出的模型与CNN-LSTM，LSTM，门循环单元(GRU)，堆叠式自动编码器(SAE)和支持向量机(SVM)的性能进行了比较。在这些比较方案中，AMCNN-LSTM是基于FL的模型，其余方法是集中式机器学习方法。所有模型都是适用于常规异常检测应用程序的流行机器学习模型。本申请在四个真实世界的数据集上评估这些模型，即电力需求、航天飞机、ECG和发动机。
首先，将提出的模型与基线方案在异常检测中的准确性进行比较。在图5中，实验结果表明，所提出的模型在所有四个数据集上均达到了最高的准确性。例如，对于数据集功率需求，AMCNN-LSTM模型的精度为96.85％，比SVM模型的精度高7.87％。从实验结果来看，AMCNN-LSTM对不同的数据集具有更好的鲁棒性。
其次，需要评估所提出模型和竞争方法的预测误差。如图6所示，实验结果表明，所提出的模型在四个真实数据集上均达到了最佳性能。对于ECG数据集，AMCNN-LSTM模型的RMSE比SVM模型的RMSE低63.9％。
本发明还提供一种基于联邦学习的智能电网设备异常检测***，包括：本地数据集建立模块、本地模型训练模块、更新模块、聚合模块，本地数据集建立模块为每个智能电网设备建立自身的本地数据集，本地模型训练模块能够对本地数据集执行本地模型训练，更新模块能够在每个智能电网设备进行本地模型训练后，计算自身的模型更新并将自身的模型更新上传至服务器，聚合模组能够对接收到的模型更新执行聚合操作得到新的全局模型，并将新的全局模型发送到每个智能电网设备。
在本发明的一些具体实施方式中，智能电网设备的数量为两个以上。
根据本发明实施例的基于联邦学习的智能电网设备异常检测方法和***，主要具有以下优点：
(1)通过引入联邦学习框架来实现保护隐私的跨区域的智能电网设备的异常检测。具体来说，FL框架允许各个智能电网设备的数据保持在本地仅通过通信配置文件来进行设备的异常检测，这就保护了智能电网设备收集的电量数据的隐私性。其次，FL框架本质上是一个分布式***，因此可以实现跨区域的联合设备异常检测。
(2)为了解决设备差异性引起的数据异构性问题，本发明设计一种基于模型更新同质性的聚类联邦学习框架，该框架聚焦到各个设备产生的模型更新，并利用模型更新之间的余弦相似性和使用贪心算法找到与此模型更新相似性最高且最多数目的设备组成一个簇类，从而实现一个基于聚类的联邦学习框架。
(3)为了提高检测设备异常的准确性，本发明设计了一种专门识别时序数据异常的深度学习模型，该模型使用一维(1D)的卷积神经网络(CNN)来捕捉空间特征并使用长短期记忆神经网络(LSTM)捕捉时序特征，从而精准地进行设备的异常检测。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种基于联邦学习的智能电网设备异常检测方法，其特征在于，包括以下步骤：
每个智能电网设备建立自身的本地数据集；
每个所述智能电网设备对所述本地数据集执行本地模型训练；
每个所述智能电网设备在进行所述本地模型训练后，计算自身的模型更新并将所述自身的模型更新上传至服务器；
所述服务器对接收到的所述模型更新执行聚合操作得到新的全局模型，并将所述新的全局模型发送到每个所述智能电网设备；
循环执行以上步骤，直到全局模型达到最佳收敛，并以该全局模型作为最佳全局模型，每个所述智能电网设备使用所述最佳全局模型执行异常检测任务。
2.根据权利要求1所述的方法，其特征在于，每个所述智能电网设备收集自身的传感时间序列数据作为所述本地数据集。
3.根据权利要求1所述的方法，其特征在于，通过所述服务器的云聚合器对接收到的所述模型更新执行聚合操作得到新的全局模型。
4.根据权利要求3所述的方法，其特征在于，所述服务器根据每个所述智能电网设备的模型更新按照预设聚类方法分成若干个簇类，所述云聚合器通过聚合每个簇类中的所述智能电网设备上传的模型更新来获得所述新的全局模型。
5.根据权利要求4所述的方法，其特征在于，所述预设聚类方法包括：
采用预设算法找出与某一个设备i相似度超过阈值α最多的设备数；
将这些设备划分为一个簇类中。
6.根据权利要求5所述的方法，其特征在于，所述预设算法为贪心算法。
7.根据权利要求6所述的方法，其特征在于，所述预设聚类方法还包括：将所述设备i与其他设备进行余弦相似度判断，并将大于阈值的设备归为一个簇类中。
8.根据权利要求2所述的方法，其特征在于，所述本地模型为深度异常检测模型。
9.根据权利要求8所述的方法，其特征在于，所述深度异常检测模型包括：
输入层，所述输入层用于输入数据；
基于注意力机制的卷积神经网络单元，所述的基于注意力机制的卷积神经网络单元能够捕获所述输入层输入的数据的细粒度特征；
长短期记忆网络单元，将所述基于注意力机制的卷积神经网络单元的输出作为所述长短期记忆网络单元的输入，所述长短期记忆网络单元能够预测未来的时间序列数据以及检测异常；
输出层，所述输出层与所述长短期记忆网络单元连接，以输出异常检测结果。
10.一种基于联邦学习的智能电网设备异常检测***，其特征在于，包括：
本地数据集建立模块，所述本地数据集建立模块为每个智能电网设备建立自身的本地数据集；
本地模型训练模块，所述本地模型训练模块能够对所述本地数据集执行本地模型训练；
更新模块，所述更新模块能够在每个所述智能电网设备进行所述本地模型训练后，计算自身的模型更新并将所述自身的模型更新上传至服务器；
聚合模块，所述聚合模组能够对接收到的所述模型更新执行聚合操作得到新的全局模型，并将所述新的全局模型发送到每个所述智能电网设备。
CN202110444328.2A 2021-04-23 2021-04-23 基于联邦学习的智能电网设备异常检测方法和*** Pending CN113139600A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110444328.2A CN113139600A (zh) 2021-04-23 2021-04-23 基于联邦学习的智能电网设备异常检测方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110444328.2A CN113139600A (zh) 2021-04-23 2021-04-23 基于联邦学习的智能电网设备异常检测方法和***

Publications (1)

Publication Number Publication Date
CN113139600A true CN113139600A (zh) 2021-07-20

Family

ID=76811851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110444328.2A Pending CN113139600A (zh) 2021-04-23 2021-04-23 基于联邦学习的智能电网设备异常检测方法和***

Country Status (1)

Country Link
CN (1) CN113139600A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113761525A (zh) * 2021-09-07 2021-12-07 广东电网有限责任公司江门供电局 基于联邦学习的智能入侵检测方法和***
CN113962988A (zh) * 2021-12-08 2022-01-21 东南大学 基于联邦学习的电力巡检图像异常检测方法及***
CN114118530A (zh) * 2021-11-04 2022-03-01 杭州经纬信息技术股份有限公司 一种基于多户电力消耗预测模型的预测方法及装置
CN114219147A (zh) * 2021-12-13 2022-03-22 南京富尔登科技发展有限公司 一种基于联邦学习的配电站故障预测方法
CN114900343A (zh) * 2022-04-25 2022-08-12 西安电子科技大学 基于聚类联邦学习的物联网设备异常流量检测方法
CN114938372A (zh) * 2022-05-20 2022-08-23 天津大学 一种基于联邦学习的微网群请求动态迁移调度方法及装置
CN115204057A (zh) * 2022-07-29 2022-10-18 贵州电网有限责任公司 一种面向输变电设备的数字孪生多层次模型构建方法
CN115562244A (zh) * 2022-10-26 2023-01-03 河北工业大学 一种基于动态联邦学习的设备故障诊断方法
CN117951749A (zh) * 2024-03-27 2024-04-30 青岛文达通科技股份有限公司 一种基于动态引导注意力的联邦多任务学习方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111678696A (zh) * 2020-06-17 2020-09-18 南昌航空大学 基于联邦学习的机械智能故障诊断方法
CN111754000A (zh) * 2020-06-24 2020-10-09 清华大学 质量感知的边缘智能联邦学习方法及***
CN111920405A (zh) * 2020-09-15 2020-11-13 齐鲁工业大学 一种房颤信号识别***及方法
CN112364943A (zh) * 2020-12-10 2021-02-12 广西师范大学 一种基于联邦学习的联邦预测方法
CN112488322A (zh) * 2020-12-15 2021-03-12 杭州电子科技大学 一种基于数据特征感知聚合的联邦学习模型训练方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111678696A (zh) * 2020-06-17 2020-09-18 南昌航空大学 基于联邦学习的机械智能故障诊断方法
CN111754000A (zh) * 2020-06-24 2020-10-09 清华大学 质量感知的边缘智能联邦学习方法及***
CN111920405A (zh) * 2020-09-15 2020-11-13 齐鲁工业大学 一种房颤信号识别***及方法
CN112364943A (zh) * 2020-12-10 2021-02-12 广西师范大学 一种基于联邦学习的联邦预测方法
CN112488322A (zh) * 2020-12-15 2021-03-12 杭州电子科技大学 一种基于数据特征感知聚合的联邦学习模型训练方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113761525A (zh) * 2021-09-07 2021-12-07 广东电网有限责任公司江门供电局 基于联邦学习的智能入侵检测方法和***
CN114118530A (zh) * 2021-11-04 2022-03-01 杭州经纬信息技术股份有限公司 一种基于多户电力消耗预测模型的预测方法及装置
CN113962988A (zh) * 2021-12-08 2022-01-21 东南大学 基于联邦学习的电力巡检图像异常检测方法及***
CN113962988B (zh) * 2021-12-08 2024-04-09 东南大学 基于联邦学习的电力巡检图像异常检测方法及***
CN114219147A (zh) * 2021-12-13 2022-03-22 南京富尔登科技发展有限公司 一种基于联邦学习的配电站故障预测方法
CN114219147B (zh) * 2021-12-13 2024-06-07 南京富尔登科技发展有限公司 一种基于联邦学习的配电站故障预测方法
CN114900343B (zh) * 2022-04-25 2023-01-24 西安电子科技大学 基于聚类联邦学习的物联网设备异常流量检测方法
CN114900343A (zh) * 2022-04-25 2022-08-12 西安电子科技大学 基于聚类联邦学习的物联网设备异常流量检测方法
CN114938372B (zh) * 2022-05-20 2023-04-18 天津大学 一种基于联邦学习的微网群请求动态迁移调度方法及装置
CN114938372A (zh) * 2022-05-20 2022-08-23 天津大学 一种基于联邦学习的微网群请求动态迁移调度方法及装置
CN115204057A (zh) * 2022-07-29 2022-10-18 贵州电网有限责任公司 一种面向输变电设备的数字孪生多层次模型构建方法
CN115562244A (zh) * 2022-10-26 2023-01-03 河北工业大学 一种基于动态联邦学习的设备故障诊断方法
CN115562244B (zh) * 2022-10-26 2023-08-15 河北工业大学 一种基于动态联邦学习的设备故障诊断方法
CN117951749A (zh) * 2024-03-27 2024-04-30 青岛文达通科技股份有限公司 一种基于动态引导注意力的联邦多任务学习方法
CN117951749B (zh) * 2024-03-27 2024-06-07 青岛文达通科技股份有限公司 一种基于动态引导注意力的联邦多任务学习方法

Similar Documents

Publication Publication Date Title
CN113139600A (zh) 基于联邦学习的智能电网设备异常检测方法和***
Liang et al. Robust unsupervised anomaly detection via multi-time scale DCGANs with forgetting mechanism for industrial multivariate time series
Fu et al. An intelligent network attack detection method based on rnn
Xie et al. Graph neural network approach for anomaly detection
Baraldi et al. Clustering for unsupervised fault diagnosis in nuclear turbine shut-down transients
He et al. MTAD‐TF: Multivariate Time Series Anomaly Detection Using the Combination of Temporal Pattern and Feature Pattern
Tao et al. A network intrusion detection model based on convolutional neural network
Hong et al. The entropy and PCA based anomaly prediction in data streams
Manimekalai et al. Missing value imputation and normalization techniques in myocardial infarction
Zhang et al. Intelligent machine fault diagnosis using convolutional neural networks and transfer learning
US20230117980A1 (en) Systems and methods for graph prototypical networks for few-shot learning on attributed networks
Shi et al. Dynamic barycenter averaging kernel in RBF networks for time series classification
Hu et al. Multi-view fuzzy classification with subspace clustering and information granules
Fang et al. Anomaly detection of diabetes data based on hierarchical clustering and CNN
Xu et al. Global attention mechanism based deep learning for remaining useful life prediction of aero-engine
Dang et al. Semi-supervised vibration-based structural health monitoring via deep graph learning and contrastive learning
Sheng et al. Network traffic anomaly detection method based on chaotic neural network
He et al. Efficiently localizing system anomalies for cloud infrastructures: a novel Dynamic Graph Transformer based Parallel Framework
Liu et al. An efficient framework for unsupervised anomaly detection over edge-assisted internet of things
Therdphapiyanak et al. An analysis of suitable parameters for efficiently applying K-means clustering to large TCPdump data set using Hadoop framework
Zhang et al. Graphnet: graph clustering with deep neural networks
CN116545733A (zh) 一种电网入侵检测方法及***
Bhoomika et al. Time series forecasting and point anomaly detection of sensor signals using lstm neural network architectures
Saneja et al. A hybrid approach for outlier detection in weather sensor data
CN115169465A (zh) 变压器数据异常检测方法、装置、设备、介质和产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210720