CN116700206A - 基于多模态神经网络的工业控制***异常检测方法及装置 - Google Patents
基于多模态神经网络的工业控制***异常检测方法及装置 Download PDFInfo
- Publication number
- CN116700206A CN116700206A CN202310590659.6A CN202310590659A CN116700206A CN 116700206 A CN116700206 A CN 116700206A CN 202310590659 A CN202310590659 A CN 202310590659A CN 116700206 A CN116700206 A CN 116700206A
- Authority
- CN
- China
- Prior art keywords
- frequency domain
- neural network
- control system
- industrial control
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 81
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 239000011159 matrix material Substances 0.000 claims abstract description 38
- 230000015654 memory Effects 0.000 claims abstract description 30
- 230000002159 abnormal effect Effects 0.000 claims abstract description 13
- 230000005856 abnormality Effects 0.000 claims abstract description 9
- 230000009466 transformation Effects 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 22
- 238000010606 normalization Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 238000001228 spectrum Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000016273 neuron death Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
- G05B23/0256—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults injecting test signals and analyzing monitored process response, e.g. injecting the test signal while interrupting the normal operation of the monitored system; superimposing the test signal onto a control signal during normal operation of the monitored system
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/24—Pc safety
- G05B2219/24065—Real time diagnostics
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了一种基于多模态神经网络的工业控制***异常检测方法及装置，包括：对输入工业控制***的传感器数据使用傅里叶变换，将时域数据转换为频域数据，作为图神经网络的数据输入部分；基于傅立叶变换后的频域特征计算特征相关性，构建基于频域特征的邻接矩阵，作为图神经网络的图结构输入部分，构建频域下的图神经网络；基于长短期记忆网络捕获时域输入的不同时刻下数据的时序相关性，将堆叠长短期记忆网络的模型预测输出。将时序信息与频域信息进行融合，实现基于多模态神经网络的异常检测模型，对未来时刻***的输出值进行预测，并根据模型的预测输出与真实输出的误差判断***是否发生异常，该算法能有效提高异常检测的准确率。
Description
技术领域
本申请涉及工业***异常检测领域，尤其涉及一种基于多模态神经网络的工业控制***异常检测方法及装置。
背景技术
工业控制***作为工业领域的重要组成部分，通常部署于国家重大基础设施中，区别于传统的信息***，工业控制***连接着网络世界和物理世界，一旦遭受网络攻击，不仅会造成重要信息的泄露与损坏，还可能会造成物理设备损坏、人员生命健康受损、环境被破坏等，造成严重的经济损失和负面影响，因此保障工控安全非常重要。
异常检测技术通过分析工业控制***所采集到的传感器与执行器数据与正常工况下数据的偏离程度判断***是否发生异常。控制指令与传感数据在工控网络传输的过程种会遭到攻击并篡改，这会使得***的运行状态与正常工况下运行状态不一致，这种不一致体现在传感器与执行器的数值上，因此基于正常工况下的传感器/执行器数据建立时序预测模型，基于预测值与真实值的偏差程度可实现工控异常检测。
在异常检测早期的研究中，检测方法非常依赖某一领域专家手动构建的统计模型，但大多数情况下，这些方法都假设***的所有状态是可测量的，这个假设在现实场景中难以满足，同时这些算法依赖大量专家知识，构建统计模型的过程往往非常费时费力，最重要的是这种方法限制了检测未知异常的能力。传统的机器学习方法也存在一定的局限性：如噪声可能会对原始传感器数据产生影响，从而造成异常检测模型具有较高的设备误报率。而深度学习模型利用海量的神经元结构组成的计算模型能够学习高维数据的抽象表示，在异常检测方面带来巨大突破。
频域信号中蕴含时域信号中所没有的信息，现有基于频域分析的信号处理方法仅用作数据预处理，未直接将频域数据作为神经网络模型的输入，使得模型无法学习到频域数据的信息。因此需要设计一种算法，将频域信号作为模型输入，为模型的学习获取更多信息，基于对现场采集的传感器/执行器数据与神经网络模型预测数据的一致性检查分析，有效地识别工业过程中控制流程的异常行为和网络攻击。
发明内容
本申请实施例的目的是提供一种基于多模态神经网络的工业控制***异常检测方法及装置，以保障工业控制***安全。
根据本申请实施例，提供一种基于多模态神经网络的工业控制***异常检测方法，包括：
将输入工业控制***的传感器数据构造为频域数据与频域邻接矩阵；
将所述频域数据与频域邻接矩阵输入到频域图神经网络中，捕获频域信息；
将工业控制***的传感器数据输入到长短时记忆(LSTM)网络中，捕获时域信息；
将所述频域信息与时域信息融合，融合后输入多模态神经网络进行时间序列预测，所述多模态神经网络包含频域图神经网络、长短时记忆网络、全连接层、批归一化层、Dropout层、非线性激活LeakyReLU层；
在模型训练阶段，将正常运行工况下的工业控制***传感器数据输入到所述多模态神经网络，基于误差反向传播与梯度下降机制更新模型的参数，训练模型；
在模型测试阶段，将被攻击状态下的工业控制***传感器数据输入训练好的模型，根据模型的预测输出与真实值的均方根误差判断工业控制***是否发生异常。
可选的，将输入工业控制***的传感器数据构造为频域数据与频域邻接矩阵，包括：
对输入工业控制***的传感器数据使用傅里叶变换，将时域数据转换为频域数据。
基于傅立叶变换后不同特征的频域数据计算特征相关性，构造频域邻接矩阵。
可选的，将频域数据与频域邻接矩阵输入到频域图神经网络中，捕获频域信息，包括：
将频域数据与频域邻接矩阵输入到频域图神经网络中；
频域图神经网络根据频域邻接矩阵，使用频域线性计算模块得到注意力相关系数，将注意力相关系数经频域非线性激活模块，得到图注意力系数，对图注意力系数取模，对取模结果进行Softmax归一化，将归一化结果与输入频谱数据相乘得到最终的频域信息。
可选的，将工业控制***的传感器数据输入到堆叠长短时记忆(LSTM)网络中，捕获时域信息，包括：
将工业控制***的传感器数据输入LSTM模型中，LSTM通过引入三个门控单元，分别控制对信息的存储、利用和舍弃，针对每个时刻，LSTM有输入门、遗忘门和输出门共三个门控单元控制模型的输出，通过堆叠多个LSTM模型，将上一层LSTM模型的输出作为下一层模型的输入，最终得到基于长短时记忆网络的时域信息。
可选的，将所述频域信息与时域信息融合，融合后输入多模态神经网络进行时间序列预测，所述多模态神经网络包含频域图神经网络、长短时记忆网络、全连接层、批归一化层、Dropout层、非线性激活LeakyReLU层，包括：
将频域信息经傅里叶逆变换得到时域数据Y1；
将Y1与堆叠LSTM层的输出Y2拼接得到输出Y3，并使Y3依次经过全连接层、批归一化层、Dropout层、非线性激活LeakyReLU层，输出最终的时间序列预测结果。
根据本发明实施例的第二方面，提供一种基于多模态神经网络的工业控制***异常检测装置，包括：
构造模块，用于将输入工业控制***的传感器数据构造为频域数据与频域邻接矩阵；
第一捕获模块，用于将所述频域数据与频域邻接矩阵输入到频域图神经网络中，捕获频域信息；
第二捕获模块，用于将工业控制***的传感器数据输入到长短时记忆(LSTM)网络中，捕获时域信息；
预测模块，用于将所述频域信息与时域信息融合，融合后输入多模态神经网络进行时间序列预测，所述多模态神经网络包含频域图神经网络、长短时记忆网络、全连接层、批归一化层、Dropout层、非线性激活LeakyReLU层；
训练模块，用于在模型训练阶段，将正常运行工况下的工业控制***传感器数据输入到所述多模态神经网络，基于误差反向传播与梯度下降机制更新模型的参数，训练模型；
测试模块，用于在模型测试阶段，将被攻击状态下的工业控制***传感器数据输入训练好的模型，根据模型的预测输出与真实值的均方根误差判断工业控制***是否发生异常。
根据本发明实施例的第三方面，提供一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。
根据本发明实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果：
由上述实施例可知，本申请采用多模态神经网络，融合了频域图神经网络和堆叠长短时记忆网络，能够学习到时域图神经网络无法学习到的频域信息，并且融合堆叠长短时记忆网络学习到的时域信息，使得模型学到多种模态知识，进而提升工业控制***异常检测方法的准确率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
图1是根据一示例性实施例示出的一种基于多模态神经网络的工业控制***异常检测方法的流程图
图2是根据一示例性实施例示出的频域图神经网络架构。
图3是根据一示例性实施例示出的堆叠长短时网络模型架构。
图4是根据一示例性实施例示出的多模态神经网络的架构。
图5是根据一示例性实施例示出的一种基于多模态神经网络的工业控制***异常检测装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1是根据一示例性实施例示出的一种基于多模态神经网络的工业控制***异常检测方法的流程图，图2是根据一示例性实施例示出的频域图神经网络架构，图3是根据一示例性实施例示出的堆叠长短时网络模型架构，图4是根据一示例性实施例示出的多模态神经网络的架构。该方法可以包括以下步骤：
S1：将输入工业控制***的传感器数据构造为频域数据与频域邻接矩阵；
S2：将所述频域数据与频域邻接矩阵输入到频域图神经网络中，捕获频域信息；
S3：将工业控制***的传感器数据输入到长短时记忆(LSTM)网络中，捕获时域信息；
S4：将所述频域信息与时域信息融合，融合后输入多模态神经网络进行时间序列预测，所述多模态神经网络包含频域图神经网络、长短时记忆网络、全连接层、批归一化层、Dropout层、非线性激活LeakyReLU层；
S5：在模型训练阶段，将正常运行工况下的工业控制***传感器数据输入到所述多模态神经网络，基于误差反向传播与梯度下降机制更新模型的参数，训练模型；
S6：在模型测试阶段，将被攻击状态下的工业控制***传感器数据输入训练好的模型，根据模型的预测输出与真实值的均方根误差判断工业控制***是否发生异常。
由上述实施例可知，本申请将输入工业控制***的传感器数据构造为频域数据与频域邻接矩阵，将数据从时间域转换到频率域，提供了频域信息；将所述频域数据与频域邻接矩阵输入到频域图神经网络中，基于注意力机制学习不同特征之间频域数据的关联性，捕获频域信息；将工业控制***的传感器数据输入到长短时记忆(LSTM)网络中，基于自循环结构与门控单元，学习长时间之前的输入信息，通过堆叠多个LSTM模型，捕获时域信息；将所述频域信息与时域信息融合，融合后输入多模态神经网络进行时间序列预测，为模型提供了多种模态的输入信息，使得模型能够学习到更多***正常运行工况下的知识，有助于提高模型的预测精度与异常检测准确度。
在S1的具体实施中，将输入工业控制***的传感器数据构造为频域数据与频域邻接矩阵，可以包括以下子步骤：
S11：对输入工业控制***的传感器数据使用傅里叶变换，将时域数据转换为频域数据。
具体地，对输入工业控制***的传感器数据经傅立叶变换后得到频域数据，仅使用频域数据中实部为正的部分；假设输入数据的长度为L，经傅立叶变换后得到频域数据v，由频域数据存在冗余信息，仅使用频域数据中实部为正的部分，频域数据的长度为L/2+1。
S12：基于傅立叶变换后不同特征的频域数据计算特征相关性，构造频域邻接矩阵。
具体地，计算频域数据v各个特征的频谱之间的相关系数，对不同的频域数据vi与vj两两计算相关性系数eji，并取相关系数最高的前K个特征，将邻接矩阵中代表该特征对的值置1，代表两特征之间的图连接关系，构造得到频域下的邻接矩阵，基于频域数据的关联性计算公式为：
在S2的具体实施中，将频域数据与频域邻接矩阵输入到频域图神经网络中，捕获频域信息，可以包括以下子步骤：
S21：将频域数据与频域邻接矩阵输入到频域图神经网络中；
具体地，频域数据用于计算注意力系数与模型训练，频域邻接矩阵用于确定注意力计算顺序与对象。
S22：频域图神经网络根据频域邻接矩阵，使用频域线性计算模块得到注意力相关系数，将注意力相关系数经频域非线性激活模块，得到图注意力系数，对图注意力系数取模，对取模结果进行Softmax归一化，将归一化结果与输入频谱数据相乘得到最终的频域信息。
具体地，基于频域邻接矩阵提供的频域数据各特征之间的关联信息计算图注意力系数：计算与图结构中每一个目标节点相邻的源节点的注意力系数：将源节点特征与目标节点特征进行拼接，使用频域线性计算模块，将拼接后的特征乘以可学习参数。其中，频域线性计算模块的复数计算分为实部和虚部两个部分，即将复数计算转换为两个实数计算。假设有复数矩阵W＝A+iB，复数向量h＝x+iy，其中A、B为实数矩阵，x、y为实数向量。复数矩阵W与复数向量h相乘可表示为：
W*h＝(A*x-B*y)+i(B*x+A*y)
频域线性层通过使用两个实数权重矩阵分别计算复数的实部与虚部，通过权重矩阵将输入向量放缩到任意大小的输出。
将结果输入频域非线性激活模块，通过在实部与虚部上分别进行激活操作，并将结果合并为复数形式的相关系数；
将复数形式的相关系数取模，得到实数形式的相关系数；
将实数形式的相关系数经过Softmax函数，得到归一化后的注意力系数；
通过归一化后的不同节点之间的注意力系数与节点特征相乘，得到频域信息。
在S3的具体实施中，将工业控制***的传感器数据输入到堆叠长短时记忆(LSTM)网络中，捕获时域信息，可以包括以下子步骤：
S31：将工业控制***的传感器数据输入LSTM模型中，LSTM通过引入三个门控单元，分别控制对信息的存储、利用和舍弃，针对每个时刻，LSTM有输入门、遗忘门和输出门共三个门控单元控制模型的输出，通过堆叠多个LSTM模型，将上一层LSTM模型的输出作为下一层模型的输入，最终得到基于长短时记忆网络的时域信息。
具体地，将门控单元与工业控制***的传感器数据作逐元素相乘，控制要保留的信息量：由遗忘门控单元和输入门控单元决定当前时刻LSTM模型细胞状态单元的值，即LSTM所捕获时序关联性中长期记忆部分；由输出门决定LSTM模型隐藏单元的值，即LSTM模型所捕获时序关联性中短期记忆部分。通过堆叠多个LSTM模型，将上一层LSTM模型的细胞状态单元和隐藏单元的输出作为下一层模型细胞状态单元和隐藏单元的输入，输出最后一层LSTM模型隐藏单元的值即为捕获到的时域信息。
在S4的具体实施中，将所述频域信息与时域信息融合，融合后输入多模态神经网络进行时间序列预测，所述多模态神经网络包含频域图神经网络、长短时记忆网络、全连接层、批归一化层、Dropout层、非线性激活LeakyReLU层，可以包括以下子步骤：
S41：将频域信息经傅里叶逆变换得到时域数据Y1；
具体地，将频域信息X[k]从频谱形式经傅里叶变换，变换到时序数据形式x[n]，其中傅里叶逆变换的计算公式为：
S42：将Y1与堆叠LSTM层的输出Y2拼接得到输出Y3，并使Y3依次经过全连接层、批归一化层、Dropout层、非线性激活LeakyReLU层，输出最终的时间序列预测结果。
具体地，将Y1与堆叠LSTM层的输出Y2拼接得到输出Y3；使Y3经过全连接层。全连接层通过让每一个节点都与上一层的所有节点相连，用来将前面提取到的特征综合起来，相当于对输出Y3作加权求和，将其从一个特征空间线性变换到另一个特征空间，构造模型输出的大小；使上一步骤的输出经过批归一化层，对每一个批次数据计算均值及方差，并作归一化。批归一化能够有效对抗梯度消失，使得输入数据分布总在非线性激活函数的变化敏感区域；使上一步骤的输出经过Dropout层，通过在每个训练批次中，忽略部分隐层节点，即让部分隐层节点的值暂时置0，能够明显减少模型的过拟合现象，同时Dropout能够减少隐层节点间的相互作用，使得训练出的神经网络模型泛化能力更强；使上一步骤的输出经过非线性激活LeakyReLU层，能够减缓梯度消失的现象，缓解了神经元死亡的问题；非线性激活LeakyReLU层的输出即为最终的时序预测结果。
在S5的具体实施中，在模型训练阶段，将正常运行工况下的工业控制***传感器数据输入到所述多模态神经网络，基于误差反向传播与梯度下降机制更新模型的参数，训练模型；
具体地，在模型训练阶段，将正常运行工况下的工业控制***传感器数据输入到多模态神经网络，计算模型预测输出与真实数据的均方根误差，基于误差反向传播与梯度下降机制更新模型的参数，循环输入正常运行工况下的工业控制***传感器数据，训练模型，使模型的预测输出尽可能逼近真实值。
在S6的具体实施中，在模型测试阶段，将被攻击状态下的工业控制***传感器数据输入训练好的模型，根据模型的预测输出与真实值的均方根误差判断工业控制***是否发生异常。
具体地，在模型测试阶段，将被攻击状态的工业控制***传感器数据输入到训练好的多模态神经网络，计算模型预测输出和真实数据的均方根误差。基于设置的阈值判断***是否出现异常，若均方根误差大于阈值，则预测此刻工业***发生异常，将标签设置为异常。基于模型预测标签与真实标签计算评价参数，包括准确率、召回率、F1分数，定量地评估模型的异常检测效果。
与前述的基于多模态神经网络的工业控制***异常检测方法的实施例相对应，本申请还提供了基于多模态神经网络的工业控制***异常检测装置的实施例。
图5是根据一示例性实施例示出的一种基于多模态神经网络的工业控制***异常检测装置框图。参照图5，该装置包括：
构造模块1，用于将输入工业控制***的传感器数据构造为频域数据与频域邻接矩阵；
第一捕获模块2，用于将所述频域数据与频域邻接矩阵输入到频域图神经网络中，捕获频域信息；
第二捕获模块3，用于将工业控制***的传感器数据输入到长短时记忆(LSTM)网络中，捕获时域信息；
预测模块4，用于将所述频域信息与时域信息融合，融合后输入多模态神经网络进行时间序列预测，所述多模态神经网络包含频域图神经网络、长短时记忆网络、全连接层、批归一化层、Dropout层、非线性激活LeakyReLU层；
训练模块5，用于在模型训练阶段，将正常运行工况下的工业控制***传感器数据输入到所述多模态神经网络，基于误差反向传播与梯度下降机制更新模型的参数，训练模型；
测试模块6，用于在模型测试阶段，将被攻击状态下的工业控制***传感器数据输入训练好的模型，根据模型的预测输出与真实值的均方根误差判断工业控制***是否发生异常。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
相应的，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的基于多模态神经网络的工业控制***异常检测方法。
相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述的基于多模态神经网络的工业控制***异常检测方法。
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (8)
1.一种基于多模态神经网络的工业控制***异常检测方法，其特征在于，包括：
将输入工业控制***的传感器数据构造为频域数据与频域邻接矩阵；
将所述频域数据与频域邻接矩阵输入到频域图神经网络中，捕获频域信息；
将工业控制***的传感器数据输入到长短时记忆(LSTM)网络中，捕获时域信息；
将所述频域信息与时域信息融合，融合后输入多模态神经网络进行时间序列预测，所述多模态神经网络包含频域图神经网络、长短时记忆网络、全连接层、批归一化层、Dropout层、非线性激活LeakyReLU层；
在模型训练阶段，将正常运行工况下的工业控制***传感器数据输入到所述多模态神经网络，基于误差反向传播与梯度下降机制更新模型的参数，训练模型；
在模型测试阶段，将被攻击状态下的工业控制***传感器数据输入训练好的模型，根据模型的预测输出与真实值的均方根误差判断工业控制***是否发生异常。
2.根据权利要求1所述的方法，其特征在于，将输入工业控制***的传感器数据构造为频域数据与频域邻接矩阵，包括：
对输入工业控制***的传感器数据使用傅里叶变换，将时域数据转换为频域数据。
基于傅立叶变换后不同特征的频域数据计算特征相关性，构造频域邻接矩阵。
3.根据权利要求1所述的方法，其特征在于，将频域数据与频域邻接矩阵输入到频域图神经网络中，捕获频域信息，包括：
将频域数据与频域邻接矩阵输入到频域图神经网络中；
频域图神经网络根据频域邻接矩阵，使用频域线性计算模块得到注意力相关系数，将注意力相关系数经频域非线性激活模块，得到图注意力系数，对图注意力系数取模，对取模结果进行Softmax归一化，将归一化结果与输入频谱数据相乘得到最终的频域信息。
4.根据权利要求1所述的方法，其特征在于，将工业控制***的传感器数据输入到堆叠长短时记忆(LSTM)网络中，捕获时域信息，包括：
将工业控制***的传感器数据输入LSTM模型中，LSTM通过引入三个门控单元，分别控制对信息的存储、利用和舍弃，针对每个时刻，LSTM有输入门、遗忘门和输出门共三个门控单元控制模型的输出，通过堆叠多个LSTM模型，将上一层LSTM模型的输出作为下一层模型的输入，最终得到基于长短时记忆网络的时域信息。
5.根据权利要求1所述的方法，其特征在于，将所述频域信息与时域信息融合，融合后输入多模态神经网络进行时间序列预测，所述多模态神经网络包含频域图神经网络、长短时记忆网络、全连接层、批归一化层、Dropout层、非线性激活LeakyReLU层，包括：
将频域信息经傅里叶逆变换得到时域数据Y1；
将Y1与堆叠LSTM层的输出Y2拼接得到输出Y3，并使Y3依次经过全连接层、批归一化层、Dropout层、非线性激活LeakyReLU层，输出最终的时间序列预测结果。
6.一种基于多模态神经网络的工业控制***异常检测装置，其特征在于，包括：
构造模块，用于将输入工业控制***的传感器数据构造为频域数据与频域邻接矩阵；
第一捕获模块，用于将所述频域数据与频域邻接矩阵输入到频域图神经网络中，捕获频域信息；
第二捕获模块，用于将工业控制***的传感器数据输入到长短时记忆(LSTM)网络中，捕获时域信息；
预测模块，用于将所述频域信息与时域信息融合，融合后输入多模态神经网络进行时间序列预测，所述多模态神经网络包含频域图神经网络、长短时记忆网络、全连接层、批归一化层、Dropout层、非线性激活LeakyReLU层；
训练模块，用于在模型训练阶段，将正常运行工况下的工业控制***传感器数据输入到所述多模态神经网络，基于误差反向传播与梯度下降机制更新模型的参数，训练模型；
测试模块，用于在模型测试阶段，将被攻击状态下的工业控制***传感器数据输入训练好的模型，根据模型的预测输出与真实值的均方根误差判断工业控制***是否发生异常。
7.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5任一项所述的方法。
8.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-5中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310590659.6A CN116700206B (zh) | 2023-05-24 | 2023-05-24 | 基于多模态神经网络的工业控制***异常检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310590659.6A CN116700206B (zh) | 2023-05-24 | 2023-05-24 | 基于多模态神经网络的工业控制***异常检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116700206A true CN116700206A (zh) | 2023-09-05 |
| CN116700206B CN116700206B (zh) | 2023-12-05 |
Family
ID=87836562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310590659.6A Active CN116700206B (zh) | 2023-05-24 | 2023-05-24 | 基于多模态神经网络的工业控制***异常检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116700206B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118035943A (zh) * | 2024-04-12 | 2024-05-14 | 国网山东省电力公司淄博供电公司 | 一种变压器状态监测方法、***、电子设备及存储介质 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107122790A (zh) * | 2017-03-15 | 2017-09-01 | 华北电力大学 | 基于混合神经网络和集成学习的非侵入式负荷识别算法 |
| US20190272468A1 (en) * | 2018-03-05 | 2019-09-05 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and Methods for Spatial Graph Convolutions with Applications to Drug Discovery and Molecular Simulation |
| CN110415215A (zh) * | 2019-06-27 | 2019-11-05 | 同济大学 | 基于图神经网络的智能检测方法 |
| CN111222677A (zh) * | 2019-10-22 | 2020-06-02 | 浙江运达风电股份有限公司 | 一种基于长短期记忆时间神经网络的风速预测方法及*** |
| CN111967011A (zh) * | 2020-07-10 | 2020-11-20 | 电子科技大学 | 一种基于可解释的内部威胁评估方法 |
| CN113240187A (zh) * | 2021-05-26 | 2021-08-10 | 合肥工业大学 | 预测模型生成方法、***、设备、存储介质及预测方法 |
| CN113598774A (zh) * | 2021-07-16 | 2021-11-05 | 中国科学院软件研究所 | 基于多通道脑电数据的积极情绪多标签分类方法及装置 |
| WO2021226778A1 (zh) * | 2020-05-11 | 2021-11-18 | 浙江大学 | 一种基于层次图卷积神经网络的癫痫脑电识别***、终端及存储介质 |
| CN113951883A (zh) * | 2021-11-12 | 2022-01-21 | 上海交通大学 | 基于脑电信号情绪识别的性别差异性检测方法 |
| CN114741369A (zh) * | 2022-04-28 | 2022-07-12 | 浙江大学滨江研究院 | 一种基于自注意力机制的图网络的***日志检测方法 |
| CN114881115A (zh) * | 2022-04-02 | 2022-08-09 | 中国科学院计算技术研究所 | 一种基于图神经网络的多变量时间序列异常检测方法及*** |
| CN115052304A (zh) * | 2022-05-24 | 2022-09-13 | 浙江大学 | 基于gcn-lstm的工业传感网络异常数据检测方法 |
| CN115329986A (zh) * | 2022-07-21 | 2022-11-11 | 燕山大学 | 基于可解释性图神经网络的风电机组异常检测与定位方法 |
| CN115907154A (zh) * | 2022-11-22 | 2023-04-04 | 中冶南方都市环保工程技术股份有限公司 | 一种基于频域与长短期特征融合的工业互联网预测方法及*** |
| US20230153608A1 (en) * | 2021-11-15 | 2023-05-18 | East China Jiaotong University | Method for predicting remaining useful life of railway train bearing based on can-lstm |
-
2023
- 2023-05-24 CN CN202310590659.6A patent/CN116700206B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107122790A (zh) * | 2017-03-15 | 2017-09-01 | 华北电力大学 | 基于混合神经网络和集成学习的非侵入式负荷识别算法 |
| US20190272468A1 (en) * | 2018-03-05 | 2019-09-05 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and Methods for Spatial Graph Convolutions with Applications to Drug Discovery and Molecular Simulation |
| CN110415215A (zh) * | 2019-06-27 | 2019-11-05 | 同济大学 | 基于图神经网络的智能检测方法 |
| CN111222677A (zh) * | 2019-10-22 | 2020-06-02 | 浙江运达风电股份有限公司 | 一种基于长短期记忆时间神经网络的风速预测方法及*** |
| WO2021226778A1 (zh) * | 2020-05-11 | 2021-11-18 | 浙江大学 | 一种基于层次图卷积神经网络的癫痫脑电识别***、终端及存储介质 |
| CN111967011A (zh) * | 2020-07-10 | 2020-11-20 | 电子科技大学 | 一种基于可解释的内部威胁评估方法 |
| CN113240187A (zh) * | 2021-05-26 | 2021-08-10 | 合肥工业大学 | 预测模型生成方法、***、设备、存储介质及预测方法 |
| CN113598774A (zh) * | 2021-07-16 | 2021-11-05 | 中国科学院软件研究所 | 基于多通道脑电数据的积极情绪多标签分类方法及装置 |
| CN113951883A (zh) * | 2021-11-12 | 2022-01-21 | 上海交通大学 | 基于脑电信号情绪识别的性别差异性检测方法 |
| US20230153608A1 (en) * | 2021-11-15 | 2023-05-18 | East China Jiaotong University | Method for predicting remaining useful life of railway train bearing based on can-lstm |
| CN114881115A (zh) * | 2022-04-02 | 2022-08-09 | 中国科学院计算技术研究所 | 一种基于图神经网络的多变量时间序列异常检测方法及*** |
| CN114741369A (zh) * | 2022-04-28 | 2022-07-12 | 浙江大学滨江研究院 | 一种基于自注意力机制的图网络的***日志检测方法 |
| CN115052304A (zh) * | 2022-05-24 | 2022-09-13 | 浙江大学 | 基于gcn-lstm的工业传感网络异常数据检测方法 |
| CN115329986A (zh) * | 2022-07-21 | 2022-11-11 | 燕山大学 | 基于可解释性图神经网络的风电机组异常检测与定位方法 |
| CN115907154A (zh) * | 2022-11-22 | 2023-04-04 | 中冶南方都市环保工程技术股份有限公司 | 一种基于频域与长短期特征融合的工业互联网预测方法及*** |
Non-Patent Citations (2)
| Title |
|---|
| 董伟等: "基于多特征时空图卷积网络的水运通航密度预测", 物联网学报, vol. 4, no. 03, pages 78 - 85 * |
| 许嘉蓉: "大规模网络中的鲁棒机器学习研究", 中国博士学位论文全文数据库, no. 02, pages 002 - 54 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118035943A (zh) * | 2024-04-12 | 2024-05-14 | 国网山东省电力公司淄博供电公司 | 一种变压器状态监测方法、***、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116700206B (zh) | 2023-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jana et al. | CNN and Convolutional Autoencoder (CAE) based real-time sensor fault detection, localization, and correction | |
| Lin et al. | Structural damage detection with automatic feature‐extraction through deep learning | |
| CN110321603B (zh) | 一种用于航空发动机气路故障诊断的深度计算模型 | |
| Ayodeji et al. | Causal augmented ConvNet: A temporal memory dilated convolution model for long-sequence time series prediction | |
| CN115618296A (zh) | 一种基于图注意力网络的大坝监测时序数据异常检测方法 | |
| Zhou et al. | Degradation evaluation of lateral story stiffness using HLA-based deep learning networks | |
| CN116700206B (zh) | 基于多模态神经网络的工业控制***异常检测方法及装置 | |
| CN113516837B (zh) | 一种基于多源信息融合的城市火灾判断方法、***及其存储介质 | |
| CN113328908B (zh) | 异常数据的检测方法、装置、计算机设备和存储介质 | |
| Sun et al. | Lightweight bidirectional long short-term memory based on automated model pruning with application to bearing remaining useful life prediction | |
| Shi et al. | A novel unsupervised real‐time damage detection method for structural health monitoring using machine learning | |
| Ye et al. | A deep learning-based method for automatic abnormal data detection: Case study for bridge structural health monitoring | |
| CN113660196A (zh) | 一种基于深度学习的网络流量入侵检测方法及装置 | |
| CN114528547A (zh) | 基于社区特征选择的icps无监督在线攻击检测方法和设备 | |
| CN116451514A (zh) | 桥梁结构状态评估方法、装置以及电子设备 | |
| CN114707632A (zh) | 一种传感网络传感器故障定位方法、***、设备及介质 | |
| Li et al. | A lstm-based method for comprehension and evaluation of network security situation | |
| Liu et al. | Interval early warning method for state of engineering structures based on structural health monitoring data | |
| Döhler | Subspace-based system identification and fault detection: Algorithms for large systems and application to structural vibration analysis | |
| Dang et al. | seq2graph: Discovering dynamic non-linear dependencies from multivariate time series | |
| CN112560252A (zh) | 一种航空发动机剩余寿命预测方法 | |
| Li et al. | A framework for predicting network security situation based on the improved LSTM | |
| CN116702005A (zh) | 一种基于神经网络的数据异常诊断方法和电子设备 | |
| CN114401135B (zh) | 基于LSTM-Attention用户和实体行为分析技术的内部威胁检测方法 | |
| Aftabi et al. | A Variational Autoencoder Framework for Robust, Physics-Informed Cyberattack Recognition in Industrial Cyber-Physical Systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |