CN117009900A - 一种基于图神经网络的物联网信号异常检测方法和*** - Google Patents

一种基于图神经网络的物联网信号异常检测方法和*** Download PDF

Info

Publication number
CN117009900A
CN117009900A CN202310759397.1A CN202310759397A CN117009900A CN 117009900 A CN117009900 A CN 117009900A CN 202310759397 A CN202310759397 A CN 202310759397A CN 117009900 A CN117009900 A CN 117009900A
Authority
CN
China
Prior art keywords
graph
internet
time
graph structure
anomaly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310759397.1A
Other languages
English (en)
Inventor
李国兵
谭一峰
陈宇轩
张国梅
屈诗涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202310759397.1A priority Critical patent/CN117009900A/zh
Publication of CN117009900A publication Critical patent/CN117009900A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/10—Detection; Monitoring
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于图神经网络的物联网信号异常检测方法和***，属于物联网信号的异常检测领域。本发明基于平滑性约束学习***最底层的静态图结构和基于传感器特征嵌入学习符合时间序列时变特性的动态图结构，并采用将图注意力机制融入到门控循环单元中的GAGRU模块捕获多元时间序列的时空特征。同时，根据序列预测误差计算***异常分数，并采用基于TopK准则的传统异常识别方法和基于POT算法的点调整异常识别方法来进行异常检测，最后也采用传统的F1分数和点调整的F1分数来联合验证模型性能。本发明提出的物联网信号异常检测模型在异常检测的综合性能方面取得了良好的提升。

Description

一种基于图神经网络的物联网信号异常检测方法和***
技术领域
本发明属于物联网信号的异常检测领域，具体涉及一种基于图神经网络的物联网信号异常检测方法和***。
背景技术
随着物联网设备的广泛应用和快速增长，设备之间相互连接和通信产生了大量数据。在这种情况下，准确及时地识别和处理异常信号成为了一个紧迫的问题。有效的异常检测技术可以提前预警潜在的设备故障、网络攻击和数据泄露等风险，从而保障物联网***的正常运行和用户的安全隐私。
物联网信号通常分为两种单变量时间序列和多元时间序列，其中多元时间序列因其复杂的时空特性导致异常检测的难度增加，因此对多元时间序列的研究一直都是热点。传统的异常检测框架包含估计和检测这两个阶段，其中估计阶段主要通过对时间序列进行建模，预测出某个时间戳或时间段内的序列值；检测阶段则是根据准则或模型确定异常阈值，将阈值与预测值相比较从而判断出异常。
目前，越来越多的研究开始利用多变量之间的相关性来提高异常检测的性能。在工业***中，基于机器学***均来设置异常标记的阈值；一种OmniAnomaly的异常检测框架，该框架利用VAE将时间序列信号建模为随机表示，并采用重建可能性进行异常检测；一种基于生成对抗网络的无监督多元异常检测方法，将GAN中的生成器和鉴别器均采用LSTM-RNN的结构，可以捕获时间序列分布的时间相关性；同时为了避免不确定实例的潜在误导，有研究采用一种调整后的漂移分布的流式数据异常检测算法(DSPOT)进行自动阈值选择。并且该阈值选择的方法，也被后面多个研究所应用。以上这些深度学习的方法，使多元时间序列的异常检测性能得到了很大的提升。但是，基于编码器、循环神经网络、生成对抗网络的方法，在提取多元时间序列的空间特性方面，仍存在一些缺陷，也并不能很好地解释这些多变量之间的内在联系。
图信号处理技术的发展和图神经网络的应用，对于处理存在内在联系的多元时间序列提供了一种新的思路。最新的一种基于图注意力网络的多元时间序列异常检测框架，采用两个并行的GAT网络分别提取多元时间序列的时间特征和空间特征进行异常检测；一种图偏差网络利用节点嵌入学习数据模式之间的图结构，同时改进了GAT网络，使网络可以捕获到更丰富的信息；一种多模态的图注意力异常检测模型，将所有传感器节点进行分类，并采用多个GAT网络对其进行学习和特征提取，利用重构误差和预测误差进行异常检测。以上这些基于图神经网络的方法，均可以有效提取出多元时间序列的内在空间特征，对于处理具有非欧式结构的数据具有很大的优势。
在异常检测模型发展的同时，对于异常检测性能的评估也有了一些新的标准，这些标准针对不同的应用背景设计了对应的评估原则。最新的研究证明，一种采用点调整(Point-Adjust，PA)的策略可以明显提高异常检测的性能，但也可能会导致异常检测的性能被过度高估。与此同时，不少研究中也提出了新的多元时间序列异常检测性能的评价标准，并在经典的数据集上对以往的评价标准进行了比较。这些最新的研究也说明，在评价多元时间序列异常检测的性能时，不同的评价标准可能会导致不同的结果。在对模型的异常检测性能进行评估时，需要从多个角度来进行评价。
发明内容
本发明的目的在于克服上述现有技术的缺点，提供一种基于图神经网络的物联网信号异常检测方法和***，以解决现有技术中对于多元时间序列的时空特征考虑不充分的问题，从而提升其异常检测的性能。
为达到上述目的，本发明采用以下技术方案予以实现：
一种基于图神经网络的物联网信号异常检测方法，包括：以下步骤：
基于***实体，建立图结构模型，***实体中每一个传感器作为图结构模型中的图节点，每一个传感器产生时间序列，获得实际的多元时间序列，对图结构模型学习后获得静态图结构和动态图结构；
以静态图结构和动态图结构为基础，分别定义对应的图注意网络；将图注意力机制嵌入到门控循环单元，形成GAGRU网络模块；通过上行的GAGRU网络模块处理，获得基于动态图建模的序列时空特征；通过下行的GAGRU网络模块处理，获得基于静态图建模的序列时空特征；全连接层基于两个时空特征进行预测，获得预测的多元时间序列；
比较预测的多元时间序列和实际的多元时间序列，获得异常分数；基于异常分数，传统F1分数评价标准和点调整策略下的F1分数评价标准联合进行异常检测。
本发明的进一步改进在于：
优选的，图结构模型学习获得动态图结构的过程为：
其中，ei表示第i个传感器的特征嵌入；sim(·)表示求解余弦相似度；wji表示节点j和节点i之间的余弦相似度，也表示图结构模型中边的权重；TopK(·)表示在节点i的所有邻居中，选取相似度最大的K个点作为节点i的邻居；K为超参数；Aji为动态图Ad的第j行第i列的数据值，代表节点j和节点i之间的连接关系；
基于所有的Aji获得动态图Aji。
优选的，图结构模型学习获得静态图结构的过程为，建立优化问题，求解优化问题后获得邻接矩阵，所述邻接矩阵为静态图结构。
优选的，所述优化问题为：
其中，D为预处理后的多元时间序列数据；L为图拉普拉斯矩阵；N为传感器节点个数；tr(·)表示求矩阵的迹；表示矩阵的F范数；α和β为两个正则化参数；
所述邻接矩阵为：
其中，Aij表示节点i和节点j之间是否存在连接。
优选的，图注意网络的公式为：
其中，表示时间戳t时第i个节点的输入特征；/>表示一个可训练的权重矩阵；ReLU表示激活函数；αij为/>和/>之间的注意力系数，αij的计算公式如下：
其中，||表示矩阵串联；为注意力机制的学习向量；LeakyReLU为激活函数。
优选的，上行的GAGRU网络模块处理过程为：
其中，||表示矩阵串联；ο表示点积；⊙表示Hadamard积；X(t)表示预处理后的输入信号；e表示传感器的特征嵌入；分别表示重置门、更新门和隐藏状态；为相应的动态GAT网络；/>表示GRU在t时刻的输出；W和b表示可学习的权重矩阵和网络偏置向量；σ和tanh为激活函数，其中σ可选择的任意激活函数。
优选的，下行的GAGRU网络模块处理过程为：
其中，分别表示重置门、更新门和隐藏状态；/>为相应的静态GAT网络；/>表示GRU在t时刻的输出；W和b表示可学习的权重矩阵和网络偏置向量。
优选的，传统F1分数方法评价标准的计算公式为：
其中，ot＝1表示***异常；ot＝0表示***正常，表示异常分数。
优选的，调整策略下的F1分数评价标准的计算公式为：
其中，GT＝{GT1,GT2,…,GTM}为数据集中的M个异常段，且 和/>为第m段异常的起始时间点和结束时间点。
一种基于图神经网络的物联网信号异常检测***，包括：
模型建立单元，用于基于***实体，建立图结构模型，***实体中每一个传感器作为图结构模型中的图节点，每一个传感器产生时间序列，获得实际的多元时间序列，对图结构模型学习后获得静态图结构和动态图结构；
双层图注意力门控循环单元，用于以静态图结构和动态图结构为基础，分别定义对应的图注意网络；将图注意力机制嵌入到门控循环单元，形成GAGRU网络模块；通过上行的GAGRU网络模块处理，获得基于动态图建模的序列时空特征；通过下行的GAGRU网络模块处理，获得基于静态图建模的序列时空特征；全连接层基于两个时空特征进行预测，获得预测的多元时间序列；
预测单元，用于比较预测的多元时间序列和实际的多元时间序列，获得异常分数；基于异常分数，传统F1分数评价标准和点调整策略下的F1分数评价标准联合进行异常检测。
与现有技术相比，本发明具有以下有益效果：
本发明提出了一种基于图神经网络的物联网信号异常检测方法和***，用于解决物联网多元时间序列的异常检测问题。对于物联网搜集到的多元时间序列信号，其不仅含有复杂的时间特征，也同时含有复杂的空间特征，对其的时空特征进行有效建模是异常检测任务中的一大难点。本发明基于平滑性约束学习***最底层的静态图结构和基于传感器特征嵌入学习符合时间序列时变特性的动态图结构，并采用将图注意力机制融入到门控循环单元中的GAGRU模块捕获多元时间序列的时空特征。同时，根据序列预测误差计算***异常分数，并采用基于TopK准则的传统异常识别方法和基于POT算法的点调整异常识别方法来进行异常检测，最后也采用传统的F1分数和点调整的F1分数来联合验证模型性能。
通过五个公开的真实数据集上的仿真结果显示，本发明提出的物联网信号异常检测模型在异常检测的综合性能方面取得了良好的提升，显示出了基于图结构优化的双层图注意力门控循环单元(M-GAGRU)在多元时间序列的时空特征建模和异常检测任务中的潜力。相较于之前在异常检测领域的研究，本发明并没有采用复杂度更高的其它网络，而是着重于改进GRU网络和着重于捕获数据更深层的图结构信息，利用图结构的学习来表示***的内在结构，利用GAGRU模块来同时提取多元时间序列的时间特征和空间特征，并采用联合验证的异常检测方法来识别时间序列的异常点和异常段。
本发明提出了一种基于图神经网络的物联网信号异常检测方法。通过将物联网***中的每个传感器建模为图节点，从而将物联网采集到的多元时间序列建模到图上。首先，采用一种基于平滑性约束的静态图结构学习和基于传感器特征嵌入的动态图结构学习来提取出***的内在联系。其次，将GAT网络嵌入到GRU中得到图注意力门控循环单元(GAGRU)模型，并采用双层的图注意力门控循环单元(M-GAGRU)来捕获多元时间序列的时空特征，其中M-GAGRU根据静态图结构和动态图结构来进行优化。最后，通过两种异常的判别方法和两种异常检测的评价方法进行联合检验，识别出多元时间序列的异常时间段。仿真实验证明，本发明提出的基于图神经网络的异常检测方法在两种评价标准上均取得了良好的表现，展示了基于图神经网络和图结构学习的建模方法在物联网信号异常检测领域中的潜力。
附图说明
图1是静态图结构学习的示意图。
图2是基于图神经网络的物联网信号异常检测框架。
图3是点调整策略示意图。
图4是SWaT数据集的AUC指标对比图。
图5是WADI数据集的AUC指标对比图。
图6是SMAP数据集的AUC指标对比图。
图7是MSL数据集的AUC指标对比图。
图8是SMD数据集的AUC指标对比图。
图9是点调整策略下，SWaT数据集异常预测结果和真实情况对比图。
图10是点调整策略下，WADI数据集异常预测结果和真实情况对比图。
图11是点调整策略下，SMAP数据集异常预测结果和真实情况对比图。
图12是点调整策略下，MSL数据集异常预测结果和真实情况对比图。
图13是点调整策略下，SMD数据集异常预测结果和真实情况对比图。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步详细描述：
对于物联网采集到的多元时间序列信号，由于其具有复杂的时空特性，因此难以对其进行有效的建模从而检测异常。而基于长短期记忆的网络、传统图神经网络或是一些其余的深度学习网络，对于时空特征的提取均不够充分，并且也容易忽略***本身内在的结构，对于异常的发生和传播过程，并不敏感。
本发明的实施例之一为公开了一种基于图神经网络的物联网信号异常检测方法，该方法首先构建物联网信号中传感器的图结构模型，每一个传感器在图结构模型中一个传感器发送一个时间序列，从而得到多元时间序列的内在图结构模型；然后将静态图结构和动态图结构结合起来，采用一种基于图结构优化的双层图注意力门控循环单元(M-GAGRU)来有效捕获多元时间序列的时空特征；同时采用预测误差作为损失函数进行优化；通过预测误差计算异常分数，并采用两种不同的阈值来识别异常；根据两种不同标准的评价指标对异常检测性能进行评价。
基于上述问题，本发明的一个实施例公开了一种基于图神经网络的物联网信号异常检测方法，在大多数的研究中，时间序列的异常检测问题一般被认为是无监督的任务，在多元时间序列的异常检测任务中，通常假设模型训练阶段的数据不存在异常，得到的训练模型可以认为是正常序列的模式。而在测试阶段，则同时含有正常数据和异常数据，且一般在每个时间戳具有对应的标签。通过本发明的方法能够在这些数据中，准确地识别出异常时间戳。该方法包括以下步骤：
步骤1，***实体，建立图结构模型和并对图结构模型进行学习。
首先将不同传感器发出的多元时间序列定义为其中T表示时间序列中的时间戳数目，N表示***实体中传感器的数目。为了更好地表示每个时间戳的***状态，在每一个时间戳t上，利用该时间戳的历史时间序列数据中大小为K的滑动窗口，作为每一个传感器在该时间戳的时间特征，定义图结构模型输入为：
x(t)＝[d(t-K),d(t-K+1),d(t-K+2),…,d(t-1)] (1)
其中，d(t-1)为多元时间序列在时间戳t-1时由多个传感器数据组成的向量。因此得到的最后输入为
在一个含有N个传感器的***实体中，可以将该实体中的每一个传感器看作是在图上的一个节点，将整个***实体看作是一个具有N个节点的加权无向图其中代表N个节点的集合，/>代表图的权重矩阵，同时也是一个实对称矩阵。在图的权重矩阵中，其第i行第j列的元素wij(wij>0)表示节点i和节点j之间的权重，并且有wij＝wji。
对于时变的信号，每一时刻的图结构模型都可能发生了改变，因此基于上述***实体对应的图结构模型，进一步学习得到静态图结构和动态图结构，用于为后续的深度学习模型提供先验信息，从而优化其模型性能。并通过分析图结构，可以进一步解释异常发生、传播和互相影响的过程。
动态图结构通过先采用传感器特征嵌入来表示传感器的特征属性，再通过学习传感器之间的相似度来学习多元时间序列的动态图结构，用于反映时间序列的时变性，其学习过程如下：
其中，ei表示第i个传感器的特征嵌入表示；sim(·)表示求余弦相似度；wji表示节点j和节点i之间的余弦相似度，也可以表示这个图中边的权重；TopK(·)则表示在节点i的所有邻居中，选取相似度最大的K个点作为其邻居；K为超参数，起到控制图的稀疏度的作用；Aji是动态图Ad的第j行第i列的数据值，代表节点j和节点i之间的连接关系。
图1展示了基于平滑性约束的静态图结构学***滑性约束的凸优化方法来学习多元时间序列的静态图结构，用于表示多元时间序列最底层的拓扑结构，如果将看作为一个图信号，则可以建立以下的优化问题：
其中，D为预处理后的多元时间序列数据；L为图拉普拉斯矩阵；N为传感器节点个数；tr(·)表示求矩阵的迹；表示矩阵的F范数；α和β是两个正则化参数，一般由人为设定。
更具体地，将其中含有矩阵运算的拉普拉斯矩阵L的展开，可以得到：
通过求解式(5)的优化问题，可以得到拉普拉斯矩阵L，但需要注意此时的拉普拉斯矩阵并不能直接求出邻接矩阵，只能先求得其对应的权重矩阵。将L表示成以下的矩阵形式：
根据拉普拉斯矩阵的定义L＝D-W，且D为一个对角矩阵，W的对角线元素全为0。所以可以通过拉普拉斯矩阵推断出权重矩阵W：
权重矩阵虽然比邻接矩阵更能表示图的特征，但是权重矩阵并不能作为图注意力网络的有效输入。因此，需要进一步从权重矩阵中去推断出图的邻接矩阵A。权重矩阵中第i行第j列的元素Wij＝-Lij表示了节点i和节点j之间的连接强度，其绝对值越大，说明连接关系越强。所以，通过设定阈值的方式，来将这些权重划分成01两类，1表示有连接，0表示无连接。对于该图的邻接矩阵，第i行第j列的元素Aij表示了节点i和节点j之间是否存在连接，定义如下：
其中，θ为设定的阈值，一般是人为设置的超参数，通过控制其大小也可以对邻接矩阵的稀疏度进行调整。
由此，可以得到邻接矩阵如下：
该邻接矩阵，将作为后续模型中的底层静态图结构，并辅助网络模型的训练过程。
本发明提出的方法旨在利用静态图和动态图相结合来探索***更深层次的内在结构，并利用图神经网络和门控循环单元相结合来提取多元时间序列的时空特征，以达到更精准的物联网信号异常检测。整个异常检测框架如图2所示。该体系结构主要由图结构学习、双层图注意力门控循环单元(M-GAGRU)和联合验证的异常评分和检测方法组成。
步骤2：双层图注意力门控循环单元(M-GAGRU)。本发明将GAT(图注意网络)嵌入到了GRU(门控循环单元)中，使得GRU得到每个状态和更新每个状态的时候用到了图注意力机制，得到了GRU的变体GAGRU，GAGRU可以捕捉底层的空间依赖特性和时间依赖特性。为了结合本发明前面提出的静态图结构和动态图结构，因此采用两个GAGRU模块分别进行对应。
将任意一个有向图的图注意力运算定义为：
其中，Gg(·)表示图注意力网络；表示在时间戳t时的***输入。
更具体地，对于每一个节点的图注意力运算而言：
其中，表示时间戳t时第i个节点的输入特征；/>表示一个可训练的权重矩阵，用于进行线性变换；ReLU表示激活函数；/>表示节点j是节点i的邻居，在静态图GAGRU和动态图GAGRU中的连接关系分别由As和Ad给出；αij为/>和/>之间地注意力系数，其计算公式如下：
其中，||表示矩阵串联；是注意力机制的学习向量；LeakyReLU为激活函数。
将步骤1中得到的静态图结构和动态图结构定义为动态图Ad和静态图As，并将这两个图的注意力运算定义为：
其中，和/>分别表示动态图Ad和静态图As对应的图注意力网络；/>表示在时间戳t时的***输入；K表示传感器特征嵌入的维度，也表示数据预处理过程中的滑动窗口长度。
同时，将图注意力运算(GAT)代替GRU中的点积运算，得到一个新的网络模型GAGRU，并联合静态图结构和动态图结构形成一个双层的图注意力门控循环单元框架M-GAGRU，采用双层的图注意力门控循环单元框架M-GAGRU来对应静态图和动态图，将动态图输入到上行的GAGRU模块中，因此该上行模块定义为：
其中，||表示矩阵串联；ο表示点积；⊙表示Hadamard积；X(t)表示预处理后的输入信号；e表示传感器的特征嵌入；分别表示重置门、更新门和隐藏状态；为相应的动态GAT网络；/>表示GRU在t时刻的输出，也表示了利用动态图GAGRU提取到的时空特征；W和b表示可学习的权重矩阵和网络偏置向量；σ和tanh为激活函数，其中σ可选择任意激活函数。
将静态图输入到下行的GAGRU模块中，因此该下行模块定义为：
其中，分别表示重置门、更新门和隐藏状态；/>为相应的静态GAT网络；/>表示GRU在t时刻的输出，也表示了利用静态图GAGRU提取到的时空特征；W和b表示可学习的权重矩阵和网络偏置向量。
得到特征输出以后，经过一个全连接层来预测时间序列，并得到损失函数优化双层图注意力门控循环单元的参数：
其中，fFC(·)表示一个全连接层的函数，可以将输入维度为T×2N的特征矩阵转化为维度为T×N的输出矩阵；d(t)为对应的输入信号。
该步骤中，在模型建立时，双层图注意力门控循环单元需要通过训练集数据进行训练。
步骤3：联合验证的异常评分和异常检测方法。考虑到不同的评价标准对于异常检测模型性能的评估可能会产生不同的结果，并且不同评价标准的关注点不同，其应用也将不同。因此本发明采用了传统的F1分数或点调整后的F1分数F1PA对M-GAGRU模型进行性能评价和联合验证。
根据预测误差得到每一个传感器的异常分数：
其中，μi和σi表示errori (t)在时间维度上的中位数和四分位间距。
接着采用两种方法来联合验证检测***异常：
(1)传统的F1分数计算：
根据TopK准则，计算出***实体在任意时间戳上的异常分数进一步采用最优化性能的方式求得最佳阈值threshold(t)来判别***时间戳上的异常：/>
其中，ot＝1表示***异常；ot＝0表示***正常。
(2)采用点调整的F1PA分数计算：
图3展示了点调整进行异常检测的核心思想。在实践中，异常的发生通常是连续的，对异常观测通常也是连续的，这种特性会在时间序列上形成连续的异常段。因此，点调整的核心思想在于：认为异常警报可以在实际异常窗口中的任何子集内触发。这也说明了，对于真实异常段内的任何观测，只要能在其中检测到异常，就认为这整个异常窗口被正确检测到，该段中的每个观测点都被归类为异常，而在真实异常段外的观测则按照常规的方法进行处理。
为了配合点调整的思想，本发明采用POT算法来求解异常阈值：
其中，GT＝{GT1,GT2,…,GTM}为数据集中的M个异常段，且 和/>表示第m段异常的起始时间点和结束时间点。
步骤4：性能验证阶段。采用五个公开的真实数据集来验证本发明方法的异常检测性能，这五个数据集也是在异常检测任务中最常用的数据集。
为了验证所提M-GAGRU框架的有效性，因此本发明采用在异常检测任务中流行的一些模型进行性能对比，需要注意的是，本发明采用了两种性能的评价标准，但在这两种标准下的流行模型会有部分不同。其中，评价模型的性能指标采用异常检测任务中常用的指标：精准率(Precision，Pre)、召回率(Recall，Rec)、F1分数(F1-score，F1)、F1PA(点调整下的F1分数)和AUC分数(Area Under Curve)。仿真实验结果证明，本发明提出的基于图神经网络的物联网信号异常检测方法对比起其余流行的模型具有更好的性能，更适合多元时间序列的异常检测任务。
实施例1
实验中，采用SWaT、WADI、SMAP、MSL和SMD这五个数据集进行仿真。其中，SWaT是一个安全水处理数据集，含有一个***实体中51个传感器连续11天测量的数据结果，作为一个小型的物联网水处理***，传感器之间存在着自然的内在联系。收集SWaT的过程中，在最后几天加入了人为的攻击，并在攻击对应的时间戳加入了异常标签。水分配(WADI)数据集中，含有一个***实体中127个传感器连续14天测量的数据结果，作为SWaT数据集的扩展，传感器之间具有更加复杂的内在联系。同样，在收集WADI的过程中，通过加入人为攻击引入异常。土壤水分主动被动数据集(SMAP)是从航天器获取的土壤样本和遥测信息数据集，并且由NASA的专家进行注释。火星科学实验室(MSL)数据集是一个类似SMAP的数据集，但对应于火星探测器本身的传感器和执行器数据。SMAP和MSL都包括预先分割的训练和测试集。训练集是从正常数据中收集的，测试集包括标记的异常。服务器机器数据集(SMD)是一个为期五周的数据集，记录了来自计算集群的28台机器的资源利用情况。关于这五个数据集的统计摘要见表1。
表1五个数据集的统计摘要
实验中，对于第一种传统的F1分数指标，仅采用F1分数作为性能的评价标准，并采用USAD、DAGMM、LSTM-VAE、OmniAnomaly、MSCRED、THOC和GDN作为对比模型，实验的仿真结果见表2；而对于第二种点调整的F1分数指标，则采用Pre、Rec、F1PA和AUC作为性能的评价标准，并采用LSTM-NDT、DAGMM、OmniAnomaly、MSCRED、MAD-GAN、USAD、MTAD-GAT、CAE-M、GDN和TranAD作为对比模型，实验的仿真结果见表3和图4-8(分别代表了五个数据集的AUC结果)。
表2传统标准下，不同模型在五个数据集上的F1分数对比
上述表2的结果表明，本发明所提模型在五个数据集上的性能都明显高于其它的方法。在五个数据集(SWaT、WADI、SAMP、MSL和SMD)上的F1分数对比次优模型分别提升了7.16％、11.23％、9.91％、22.58％和39.89％。与表格中的其余方法相比，M-GAGRU的优势在于不仅成功提取到了多元时间序列的时空特征，并且将动态图和静态图相结合，可以对更深层次的空间相关性进行有效建模。
表3点调整策略下，不同模型在五个数据集上的性能对比
上述表3的结果表明，对于F1分数而言，本发明所提模型在五个数据上的表现均优于其余流行的基线。同时，由于SMAP、MSL和SMD数据集具有相对简单的异常模式和时空特征，因此大多数的模型均有不错的表现，M-GAGRU的提升也较有限，对比次优模型，F1分数性能分别提升了2.57％、2.76％和1.23％。而对于具有更复杂时空特征和异常模式的SWaT和WADI数据集而言，大部分模型的表现都很一般，因此M-GAGRU对比次优模型，F1分数性能实现了较大的提升，分别达到了5.70％和37.22％。其中值得一提的是，F1分数是异常检测任务中最重要的综合指标，本发明所提模型均能表现优异，而其余的Pre和Rec指标，虽有一些低于流行的模型，但是也远远超过了其余大多数的模型。
图4-8分别为SWaT、WADI、SMAP、MSL和SMD数据集的AUC结果，其结果显示对于AUC指标而言大多数的模型均有不错的表现。并且除了SMD数据集，本发明所提的模型性能均优于其余模型。并且，同样针对更为复杂的SWaT和WADI数据集，提升更为明显。
图9-13分别为SWaT、WADI、SMAP、MSL和SMD数据集在点调整策略下的异常预测结果和真实情况的对比图，可以发现，采用点调整策略的模型，对于连续异常段的检测十分敏感和充分。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图神经网络的物联网信号异常检测方法，其特征在于，包括：以下步骤：
基于***实体，建立图结构模型，***实体中每一个传感器作为图结构模型中的图节点，每一个传感器产生时间序列，获得实际的多元时间序列，对图结构模型学习后获得静态图结构和动态图结构；
以静态图结构和动态图结构为基础，分别定义对应的图注意网络；将图注意力机制嵌入到门控循环单元，形成GAGRU网络模块；通过上行的GAGRU网络模块处理，获得基于动态图建模的序列时空特征；通过下行的GAGRU网络模块处理，获得基于静态图建模的序列时空特征；全连接层基于两个时空特征进行预测，获得预测的多元时间序列；
比较预测的多元时间序列和实际的多元时间序列，获得异常分数；基于异常分数，传统F1分数评价标准和点调整策略下的F1分数评价标准联合进行异常检测。
2.根据权利要求1所述的一种基于图神经网络的物联网信号异常检测方法，其特征在于，图结构模型学习获得动态图结构的过程为：
其中，ei表示第i个传感器的特征嵌入；sim(·)表示求解余弦相似度；wji表示节点j和节点i之间的余弦相似度，也表示图结构模型中边的权重；TopK(·)表示在节点i的所有邻居中，选取相似度最大的K个点作为节点i的邻居；K为超参数；Aji为动态图Ad的第j行第i列的数据值，代表节点j和节点i之间的连接关系；
基于所有的Aji获得动态图Aji。
3.根据权利要求1所述的一种基于图神经网络的物联网信号异常检测方法，其特征在于，图结构模型学习获得静态图结构的过程为，建立优化问题，求解优化问题后获得邻接矩阵，所述邻接矩阵为静态图结构。
4.根据权利要求3所述的一种基于图神经网络的物联网信号异常检测方法，其特征在于，所述优化问题为：
其中，D为预处理后的多元时间序列数据；L为图拉普拉斯矩阵；N为传感器节点个数；tr(·)表示求矩阵的迹；表示矩阵的F范数；α和β为两个正则化参数；
所述邻接矩阵为：
其中，Aij表示节点i和节点j之间是否存在连接。
5.根据权利要求1所述的一种基于图神经网络的物联网信号异常检测方法，其特征在于，图注意网络的公式为：
其中，表示时间戳t时第i个节点的输入特征；/>表示一个可训练的权重矩阵；ReLU表示激活函数；αij为/>和/>之间的注意力系数，αij的计算公式如下：
其中，||表示矩阵串联；为注意力机制的学习向量；LeakyReLU为激活函数。
6.根据权利要求1所述的一种基于图神经网络的物联网信号异常检测方法，其特征在于，上行的GAGRU网络模块处理过程为：
其中，||表示矩阵串联；表示点积；⊙表示Hadamard积；X(t)表示预处理后的输入信号；e表示传感器的特征嵌入；/>分别表示重置门、更新门和隐藏状态；/>为相应的动态GAT网络；/>表示GRU在t时刻的输出；W和b表示可学习的权重矩阵和网络偏置向量；σ和tanh为激活函数，其中σ可选择的任意激活函数。
7.根据权利要求1所述的一种基于图神经网络的物联网信号异常检测方法，其特征在于，下行的GAGRU网络模块处理过程为：
其中，分别表示重置门、更新门和隐藏状态；/>为相应的静态GAT网络；/>表示GRU在t时刻的输出；W和b表示可学习的权重矩阵和网络偏置向量。
8.根据权利要求1所述的一种基于图神经网络的物联网信号异常检测方法，其特征在于，传统F1分数方法评价标准的计算公式为：
其中，ot＝1表示***异常；ot＝0表示***正常，errori (t)表示异常分数。
9.根据权利要求1所述的一种基于图神经网络的物联网信号异常检测方法，其特征在于，调整策略下的F1分数评价标准的计算公式为：
其中，GT＝{GT1,GT2,…,GTM}为数据集中的M个异常段，且 和/>为第m段异常的起始时间点和结束时间点。
10.一种基于图神经网络的物联网信号异常检测***，其特征在于，包括：
模型建立单元，用于基于***实体，建立图结构模型，***实体中每一个传感器作为图结构模型中的图节点，每一个传感器产生时间序列，获得实际的多元时间序列，对图结构模型学习后获得静态图结构和动态图结构；
双层图注意力门控循环单元，用于以静态图结构和动态图结构为基础，分别定义对应的图注意网络；将图注意力机制嵌入到门控循环单元，形成GAGRU网络模块；通过上行的GAGRU网络模块处理，获得基于动态图建模的序列时空特征；通过下行的GAGRU网络模块处理，获得基于静态图建模的序列时空特征；全连接层基于两个时空特征进行预测，获得预测的多元时间序列；
预测单元，用于比较预测的多元时间序列和实际的多元时间序列，获得异常分数；基于异常分数，传统F1分数评价标准和点调整策略下的F1分数评价标准联合进行异常检测。
CN202310759397.1A 2023-06-26 2023-06-26 一种基于图神经网络的物联网信号异常检测方法和*** Pending CN117009900A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310759397.1A CN117009900A (zh) 2023-06-26 2023-06-26 一种基于图神经网络的物联网信号异常检测方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310759397.1A CN117009900A (zh) 2023-06-26 2023-06-26 一种基于图神经网络的物联网信号异常检测方法和***

Publications (1)

Publication Number Publication Date
CN117009900A true CN117009900A (zh) 2023-11-07

Family

ID=88564504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310759397.1A Pending CN117009900A (zh) 2023-06-26 2023-06-26 一种基于图神经网络的物联网信号异常检测方法和***

Country Status (1)

Country Link
CN (1) CN117009900A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688504A (zh) * 2024-02-04 2024-03-12 西华大学 基于图结构学习的物联网异常检测方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688504A (zh) * 2024-02-04 2024-03-12 西华大学 基于图结构学习的物联网异常检测方法及装置
CN117688504B (zh) * 2024-02-04 2024-04-16 西华大学 基于图结构学习的物联网异常检测方法及装置

Similar Documents

Publication Publication Date Title
CN108549841A (zh) 一种基于深度学习的老人跌倒行为的识别方法
CN110087207B (zh) 无线传感器网络缺失数据重建方法
CN115618296A (zh) 一种基于图注意力网络的大坝监测时序数据异常检测方法
CN115244548A (zh) 基于人工智能训练深度学习网络的方法及使用其的学习设备
CN117009900A (zh) 一种基于图神经网络的物联网信号异常检测方法和***
CN104536996B (zh) 一种同构环境下计算节点异常检测方法
CN115146842A (zh) 基于深度学习的多元时间序列趋势预测方法和***
CN116596151B (zh) 基于时空图注意力的交通流量预测方法及计算设备
CN112163020A (zh) 一种多维时间序列异常检测方法及检测***
CN115457403A (zh) 一种基于多类型遥感图像的农作物智能识别方法
CN117541626B (zh) 基于深度学习的遥感影像变化检测方法
CN114357372A (zh) 一种基于多传感器数据驱动的飞机故障诊断模型生成方法
CN110043808B (zh) 基于时间序列分析的供水管网漏损监测预警方法
CN111858343A (zh) 一种基于攻击能力的对抗样本生成方法
CN116361640A (zh) 一种基于分层注意力网络的多变量时间序列异常检测方法
Balaji et al. Plant Infirmity Detection Using Vgg-16 Convolutional Neural Network
CN111860441B (zh) 基于无偏深度迁移学习的视频目标识别方法
CN115293249A (zh) 一种基于动态时序预测的电力***典型场景概率预测方法
CN114821299A (zh) 一种遥感图像变化检测方法
CN113792776A (zh) 面向网络安全异常检测中深度学习模型的解释方法
Zhengfeng Accurate recognition method of continuous sports action based on deep learning algorithm
Yang et al. Prediction of criminal tendency of high-risk personnel based on combination of principal component analysis and support vector machine
CN116611022B (zh) 智慧校园教育大数据融合方法及平台
Tan et al. Multivariate Time-Series Anomaly Detection in IoT Using Attention-Based Gated Recurrent Unit
CN118094447B (zh) 一种基于编码-解码的无人机飞行数据自适应异常检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination