CN116361635B - 一种多维时序数据异常检测方法 - Google Patents
一种多维时序数据异常检测方法 Download PDFInfo
- Publication number
- CN116361635B CN116361635B CN202310643926.1A CN202310643926A CN116361635B CN 116361635 B CN116361635 B CN 116361635B CN 202310643926 A CN202310643926 A CN 202310643926A CN 116361635 B CN116361635 B CN 116361635B
- Authority
- CN
- China
- Prior art keywords
- data
- representing
- anomaly detection
- node
- gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 57
- 238000012549 training Methods 0.000 claims abstract description 10
- 230000005856 abnormality Effects 0.000 claims abstract description 6
- 230000002123 temporal effect Effects 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 32
- 239000013598 vector Substances 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 16
- 230000002159 abnormal effect Effects 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 7
- 230000003213 activating effect Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 abstract description 5
- 238000009412 basement excavation Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出了一种多维时序数据异常检测方法,涉及时序数据异常检测技术领域,包括:S1、通过GAT提取多维时序数据的空间特征,并通过GRU提取多维时序数据的时间特征;S2、基于多层感知机将多维时序数据的空间特征和时间特征进行数据重构;S3、基于重构后的数据获取训练集,并基于训练集建立异常检测模型,通过异常检测模型获取最佳阈值;S4、将重构后的数据的均方根差作为异常分数输入异常检测模型与最佳阈值进行对比以得到异常检测结果;本发明基于GAT和GRU的特征挖掘模块充分挖掘序列间关系特征,针对应用场景中产生的数据的分布或特征可能会发生动态地变换,保持了模型在新场景中的异常检测能力。
Description
技术领域
本发明涉及时序数据异常检测技术领域,具体而言,涉及一种多维时序数据异常检测方法。
背景技术
时序数据是按时间顺序记录的有序数据,用于表示***随时间的发展变化。在应用场景中,常见的是多维时序数据。比如,医疗辅助场景中的脑电图、心电图等检测数据是多维时序数据,互联网后台***中CPU、内存等指标数据是多维时序数据。对多维时序数据进行异常检测在实际应用中具有重要作用,例如对工业生产行业中温度传感器采集得到的时间序列数据进行异常检测,可以及时发现数据的异常变化,并产生相应的预警效果,这样管理人员就可以采取相应的措施来减少损失;应用***中,多维时序数据具有维度高、数据量大和指标间相互关联等特征,这给异常检测方法的研究带来了巨大的挑战。尤其是序列各维度间可能存在复杂的依赖关系,使得异常的表现和原因复杂多样。因此,如何充分挖掘序列间关系特征,以提高检测方法的精确率和召回率,是研究任务的难点。另外,由于***的复杂性和动态性,使得源源不断产生的数据的分布或特征可能会发生动态地变换,所以异常检测方法应该还要能以较少的代价快速调整模型参数以保障性能。
现有的多维时序数据异常检测方法主要分为以下几类:基于统计学的方法,对正常数据建立统计模型,通过检验测试数据是否符合模型的统计分布来检测异常;基于传统机器学习的方法,主要使用分类、聚类算法,并结合支持向量、PCA等技术,完成异常检测;基于深度学习的方法,主要使用循环神经网络、卷积网络、生成对抗网络、自编码器等神经网络模型构建。然而,现有的异常检测方法几乎都是使用固定模型,即在训练集上调整参数,一旦参数调整好后就不再更改,当数据特征规律随时间变化时,这类模型的性能会急剧下降,导致检测能力较低。
基于此,本申请提出一种多维时序数据异常检测方法,来解决上述问题。
发明内容
本发明的目的在于提供一种多维时序数据异常检测方法,其能够针对应用场景中产生的数据的分布或特征可能会发生动态地变换,保持模型在新场景中的异常检测,在旧数据上保持良好性能,显著提高异常检测能力。
本发明的技术方案为:
本申请提供一种多维时序数据异常检测方法,其包括以下步骤:
S1、通过GAT提取多维时序数据的空间特征,并通过GRU提取多维时序数据的时间特征;
S2、基于多层感知机将多维时序数据的空间特征和时间特征进行数据重构;
S3、基于重构后的数据获取训练集,并基于训练集建立异常检测模型,通过异常检测模型获取最佳阈值;
S4、将重构后的数据的均方根差作为异常分数输入异常检测模型与最佳阈值进行对比以得到异常检测结果。
进一步地,步骤S1中,上述通过GAT提取多维时序数据的空间特征的计算过程包括:
,
,
,
,
其中,表示节点/>和邻居节点/>之间的权重系数,softmax表示归一化处理函数,表示邻居节点/>到节点/>的权重系数,/>表示节点/>的邻居节点,/>表示节点/>的邻居节点的集合,/>为邻居节点/>到节点/>的权重系数,/>表示/>激活函数,/>表示权重参数,||表示拼接运算,/>为权重参数,/>表示节点i的特征向量,/>表示节点j的特征向量,F表示输入序列的长度,/>为节点i的表示向量,/>表示sigmoid激活函数,FC为全连接网络,/>为输出向量,/>表示节点N的通过注意力学习到的表示向量。
进一步地,步骤S1中,上述通过GAT提取多维时序数据的空间特征的计算过程包括:
,
,
,
,
其中,x t表示每个单元的输入,表示重置门,/>表示更新门,/>表示t/>时刻的隐藏状态,/>表示sigmoid激活函数,/>、/>和/>分别表示不同门控单元的可学习参数,/>表示/>激活函数,/>为当前时刻的候选状态,/>表示矩阵的乘积,/>表示当前时刻的隐藏状态。
进一步地,步骤S2中,上述数据重构的计算公式为:
,
其中,表示重构序列,h time表示GRU的输出向量,/>表示GAT的输出向量,||表示拼接运算,MLP为多层感知机网络。
进一步地,步骤S3中,上述通过异常检测模型获取最佳阈值的计算公式包括:
,
其中,为最佳阈值,TP为预测正常且实际正常的样本数量,FP为预测正常但实际异常的样本数量,FN为预测异常但实际正常的样本数量。
进一步地,步骤S4中,上述异常分数计算过程包括:
,
其中,为异常分数,/>为样本数量,F为输入序列的长度,/>为真实值,/>为预测值。
进一步地,还包括:利用增量学习算法动态更新异常检测模型的参数,计算过程包括:
计算梯度夹角:
,
式中,为梯度,/>为基于回放集计算得到的梯度,/>为当前新数据上的损失函数,/>为异常检测模型的参数集合,/>为从所有回放数据集/>中随机采样得到的子集,/>为/>中随机采样得到的子集的损失函数;
对梯度夹角判断,若,则将梯度/>投影到满足上式约束的最接近的梯度/>,若/>,则利用优化函数求解新梯度:
,
式中,为新梯度,/>为梯度,/>为;
基于新的梯度更新模型参数和回放数据集:
,
,
式中,为新梯度,r为学习率,/>为模型参数,/>为更新后的模型参数,/>为回放数据集,/>为更新后的回放数据集,/>为输入数据。
相对于现有技术,本发明至少具有如下优点或有益效果:
(1)本发明一种多维时序数据异常检测方法,针对序列各维度间可能存在复杂的依赖关系,设计了GAT和GRU的特征挖掘模块充分挖掘了序列间关系特征,基于编码-解码的思路能够动态更新参数,通过由图注意力网络(GAT)和门控循环单元(GRU)构成的编码器来提取输入数据的时间特征和关系特征,然后用多层感知机(MLP)作为解码器,将提取到的特征向量重构出输入数据,针对数据特征规律随时间变化的特点,创新地在更新模型参数时设计了增量学习模块动态地更新模型参数,在适应新数据的同时保证模型兼容性,可以为工业***、互联网***的安全运维提供技术支持;
(2)本发明针对应用场景中产生的数据的分布或特征可能会发生动态地变换,设计了基于A-GEM算法的模型参数更新方法,保持了模型在新场景中的异常检测能力。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明一种多维时序数据异常检测方法的步骤图;
图2为本发明一种多维时序数据异常检测方法的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是,在本文中,术语“包括”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本申请的描述中,还需要说明的是,除非另有明确的规定和限定,术语“设置”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的各个实施例及实施例中的各个特征可以相互组合。
实施例
请参阅图1、图2,图1所示为本申请实施例提供的一种多维时序数据异常检测方法的步骤图,图2所示为本申请实施例提供的一种多维时序数据异常检测方法的结构示意图。
本申请提供一种多维时序数据异常检测方法,其包括以下步骤:
S1、通过GAT提取多维时序数据的空间特征,并通过GRU提取多维时序数据的时间特征;
S2、基于多层感知机将多维时序数据的空间特征和时间特征进行数据重构;
S3、基于重构后的数据获取训练集,并基于训练集建立异常检测模型,通过异常检测模型获取最佳阈值;
S4、将重构后的数据的均方根差作为异常分数输入异常检测模型与最佳阈值进行对比以得到异常检测结果。
作为一种优选的实施方式,步骤S1中,通过GAT提取多维时序数据的空间特征的计算过程包括:
给定输入数据,N表示多维时序数据的维度,即序列数量,将本发明中,将每个序列建模为图中的节点,图中的边表示对应节点间的关系,本发明构建的图是完全图,即节点两两相连,利用GAT完成图上的表示学习:通过多头注意力机制为边分配权重,然后通过聚合操作实现节点间信息整合,从而提取到序列之间关系特征,最后输出节点的表示向量,表示学习时,/>为每个节点的特征向量,F表示输入序列的长度,用公式可以表示为:
,
,
通过加权求和,得到节点i的表示向量:
,
输出为所有节点特征向量的线性变换,表示为:
,
其中,表示节点/>和邻居节点/>之间的权重系数,softmax表示归一化处理函数,表示邻居节点/>到节点/>的权重系数,/>表示节点/>的邻居节点,/>表示节点/>的邻居节点的集合,/>为邻居节点/>到节点/>的权重系数,/>表示/>激活函数,/>表示权重参数,||表示拼接运算,/>为权重参数,/>表示节点i的特征向量,/>表示节点j的特征向量,F表示输入序列的长度,/>为节点i的表示向量,/>表示sigmoid激活函数,FC为全连接网络,/>为输出向量,/>表示节点N的通过注意力学习到的表示向量。
作为一种优选的实施方式,步骤S1中,通过GAT提取多维时序数据的空间特征的计算过程包括:
为获取多维时序数据的时间特征,本发明采用GRU挖掘数据的时序特征,GRU中,每个单元的输入为,即在t时刻的N个序列的值,经过GRU网络最终得到特征向量h time∈R d,d为向量维度,本发明设为6,GRU的执行过程如下:
1)获取门控状态;通过上一隐藏状态h t-1和当前输入x t获取门控状态,计算公式如下:
重置门:,
更新门:,
2)获取候选状态;使用重置门重置前一隐藏状态,然后与当前输入拼接,再通过tanh激活函数将数据缩放到[-1,1]的范围,计算公式如下:
,
3)更新当前隐藏状态;计算公式如下:
,
其中,x t表示每个单元的输入,表示重置门,/>表示更新门,/>表示t/>时刻的隐藏状态,/>表示sigmoid激活函数,/>、/>和/>分别表示不同门控单元的可学习参数,/>表示/>激活函数,/>为当前时刻的候选状态,/>表示矩阵的乘积,/>表示当前时刻的隐藏状态。
需要说明的是,取最后一个单元的隐藏向量为GRU的输出向量h time。
作为一种优选的实施方式,步骤S2中,数据重构的计算公式为:
,
其中,表示重构序列,h time表示GRU的输出向量,/>表示GAT的输出向量,||表示拼接运算,MLP为多层感知机网络。
其中,将和/>拼接得到编码器的输出向量,并将该特征向量作为多层感知机(MLP)的输入,即完成数据重构。
作为一种优选的实施方式,步骤S3中,通过异常检测模型获取最佳阈值的计算公式包括:
,
其中,为最佳阈值,TP为预测正常且实际正常的样本数量,FP为预测正常但实际异常的样本数量,FN为预测异常但实际正常的样本数量。
需要说明的是,TP、FP、FN均是基于训练集分类结果计算得到。
作为一种优选的实施方式,步骤S4中,异常分数计算过程包括:
,
其中,为异常分数,/>为样本数量,F为输入序列的长度,/>为真实值,/>为预测值。
作为一种优选的实施方式,还包括:利用增量学习算法动态更新异常检测模型的参数,计算过程包括:
计算梯度夹角:
,
式中,为梯度,/>为基于回放集计算得到的梯度,/>为当前新数据上的损失函数,/>为异常检测模型的参数集合,/>为从所有回放数据集/>中随机采样得到的子集,/>为/>中随机采样得到的子集的损失函数;
对梯度夹角判断,若,则将梯度/>投影到满足上式约束的最接近的梯度/>,若/>,则利用优化函数求解新梯度:
,
式中,为新梯度,/>为梯度,/>为;
基于新的梯度更新模型参数和回放数据集:
,
,
式中,为新梯度,r为学习率,/>为模型参数,/>为更新后的模型参数,/>为回放数据集,/>为更新后的回放数据集,/>为输入数据。
由此,更新回放数据集和模型参数,保证模型在学习新数据的同时,能够在旧数据上保持良好性能,以便下次新数据时使用。
可以理解,图中所示的结构仅为示意,一种多维时序数据异常检测方法还可包括比图中所示更多或者更少的组件,或者具有与图中所示不同的配置。图中所示的各组件可以采用硬件、软件或其组合实现。
在本申请所提供的实施例中,应该理解到,所揭露的方法,也可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的,例如,附图中的流程图或框图显示了根据本申请的多个实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述,本申请实施例提供的一种多维时序数据异常检测方法,基于编码-解码的思路能够动态更新参数,通过由图注意力网络(GAT)和门控循环单元(GRU)构成的编码器来提取输入数据的时间特征和关系特征,然后用多层感知机(MLP)作为解码器,将提取到的特征向量重构出输入数据,针对数据特征规律随时间变化的特点,创新地在更新模型参数时设计了增量学习模块动态地更新模型参数,避免灾难性遗忘,在适应新数据的同时保证模型兼容性,可以为工业***、互联网***的安全运维提供技术支持。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其它的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (3)
1.一种多维时序数据异常检测方法,其特征在于,包括以下步骤:
S1、通过GAT提取多维时序数据的空间特征,并通过GRU提取多维时序数据的时间特征;
S2、基于多层感知机将多维时序数据的空间特征和时间特征进行数据重构;
S3、基于重构后的数据获取训练集,并基于训练集建立异常检测模型,通过异常检测模型获取最佳阈值;
所述通过异常检测模型获取最佳阈值的计算公式包括:
,
其中,为最佳阈值,TP为预测正常且实际正常的样本数量,FP为预测正常但实际异常的样本数量,FN为预测异常但实际正常的样本数量;
S4、将重构后的数据的均方根差作为异常分数输入异常检测模型与最佳阈值进行对比以得到异常检测结果;
步骤S1中,所述通过GAT提取多维时序数据的空间特征的计算过程包括:
,
,
,
,
其中,表示节点/>和邻居节点/>之间的权重系数,softmax表示归一化处理函数,/>表示邻居节点/>到节点/>的权重系数,/>表示节点/>的邻居节点,/>表示节点/>的邻居节点的集合,/>为邻居节点/>到节点/>的权重系数,/>表示/>激活函数,/>表示权重参数,||表示拼接运算,/>为权重参数,/>表示节点i的特征向量,/>表示节点j的特征向量,F表示输入序列的长度,/>为节点i的表示向量,/>表示sigmoid激活函数,FC为全连接网络,/>为输出向量,/>表示节点N的通过注意力学习到的表示向量;
步骤S1中,所述通过GRU提取多维时序数据的时间特征的计算过程包括:
,
,
,
,
其中,x t表示每个单元的输入,表示重置门,/>表示更新门,/>表示t/>时刻的隐藏状态,/>表示sigmoid激活函数,/>、/>和/>分别表示不同门控单元的可学习参数,表示/>激活函数,/>为当前时刻的候选状态,/>表示矩阵的乘积,/>表示当前时刻的隐藏状态;
步骤S2中,所述数据重构的计算公式为:
,
其中,表示重构序列,h time表示GRU的输出向量,/>表示GAT的输出向量,||表示拼接运算,MLP为多层感知机网络。
2.如权利要求1所述的一种多维时序数据异常检测方法,其特征在于,步骤S4中,所述异常分数计算过程包括:
,
其中,为异常分数,/>为样本数量,F为输入序列的长度,/>为真实值,/>为预测值。
3.如权利要求1所述的一种多维时序数据异常检测方法,其特征在于,还包括:利用增量学习算法动态更新异常检测模型的参数,计算过程包括:
计算梯度夹角:
,
式中,为梯度,/>为基于回放集计算得到的梯度,/>为当前新数据上的损失函数,/>为异常检测模型的参数集合,/>为从所有回放数据集/>中随机采样得到的子集,/>为/>中随机采样得到的子集的损失函数;
对梯度夹角判断,若,则将梯度/>投影到满足上式约束的最接近的梯度/>,若/>,则利用优化函数求解新梯度:
,
式中,为新梯度,/>为梯度,/>为基于回放集计算得到的梯度;
基于新的梯度更新模型参数和回放数据集:
,
,
式中,为新梯度,r为学习率,/>为模型参数,/>为更新后的模型参数,/>为回放数据集,为更新后的回放数据集,/>为输入数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310643926.1A CN116361635B (zh) | 2023-06-02 | 2023-06-02 | 一种多维时序数据异常检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310643926.1A CN116361635B (zh) | 2023-06-02 | 2023-06-02 | 一种多维时序数据异常检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116361635A CN116361635A (zh) | 2023-06-30 |
CN116361635B true CN116361635B (zh) | 2023-10-10 |
Family
ID=86910626
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310643926.1A Active CN116361635B (zh) | 2023-06-02 | 2023-06-02 | 一种多维时序数据异常检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116361635B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116541794B (zh) * | 2023-07-06 | 2023-10-20 | 中国科学技术大学 | 一种基于自适应图注意网络的传感器数据异常检测方法 |
CN117150407A (zh) * | 2023-09-04 | 2023-12-01 | 国网上海市电力公司 | 一种工业碳排放数据的异常检测方法 |
CN117724935B (zh) * | 2024-02-06 | 2024-06-07 | 山东大学 | 一种软件***多指标异常检测方法及*** |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108446340A (zh) * | 2018-03-02 | 2018-08-24 | 哈尔滨工业大学(威海) | 一种面向海量小文件的用户热点数据访问预测方法 |
CN110969872A (zh) * | 2019-12-18 | 2020-04-07 | 上海天壤智能科技有限公司 | 基于强化学习和图注意力网络的交通信号控制方法及*** |
CN112053556A (zh) * | 2020-08-17 | 2020-12-08 | 青岛海信网络科技股份有限公司 | 一种交通监控复眼动态识别交通事故自我进化*** |
CN113033098A (zh) * | 2021-03-26 | 2021-06-25 | 山东科技大学 | 一种基于AdaRW算法的海洋目标检测深度学习模型训练方法 |
CN113496259A (zh) * | 2021-06-29 | 2021-10-12 | 安徽农业大学 | 一种融入标签信息的图神经网络推荐方法 |
CN113821968A (zh) * | 2021-06-15 | 2021-12-21 | 腾讯科技(深圳)有限公司 | 持续学习的方法和装置 |
CN114092769A (zh) * | 2022-01-20 | 2022-02-25 | 国网江西省电力有限公司电力科学研究院 | 基于联邦学习的变电站多场景巡检分析方法 |
CN114495507A (zh) * | 2022-02-25 | 2022-05-13 | 南京工业大学 | 融合时空注意力神经网络和交通模型的交通流预测方法 |
CN115063588A (zh) * | 2022-06-29 | 2022-09-16 | 深圳前海微众银行股份有限公司 | 一种数据处理方法、装置、设备及存储介质 |
CN115423048A (zh) * | 2022-11-03 | 2022-12-02 | 山东大学 | 一种基于模式相似性的交通流量异常检测方法及*** |
CN115470201A (zh) * | 2022-08-30 | 2022-12-13 | 同济大学 | 基于图注意力网络的海洋遥感缺失数据智能补全方法 |
CN115545265A (zh) * | 2022-06-10 | 2022-12-30 | 四川大学 | 一种基于数据修复和分解序列预测的售电量预测方法 |
CN115694697A (zh) * | 2022-09-28 | 2023-02-03 | 东南大学 | 一种基于机器学习的空时域预测信道建模方法 |
CN115982224A (zh) * | 2021-10-08 | 2023-04-18 | 微软技术许可有限责任公司 | 为多变量时序数据异常检测提供解释性 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113222700B (zh) * | 2021-05-17 | 2023-04-18 | 中国人民解放军国防科技大学 | 基于会话的推荐方法及装置 |
-
2023
- 2023-06-02 CN CN202310643926.1A patent/CN116361635B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108446340A (zh) * | 2018-03-02 | 2018-08-24 | 哈尔滨工业大学(威海) | 一种面向海量小文件的用户热点数据访问预测方法 |
CN110969872A (zh) * | 2019-12-18 | 2020-04-07 | 上海天壤智能科技有限公司 | 基于强化学习和图注意力网络的交通信号控制方法及*** |
CN112053556A (zh) * | 2020-08-17 | 2020-12-08 | 青岛海信网络科技股份有限公司 | 一种交通监控复眼动态识别交通事故自我进化*** |
CN113033098A (zh) * | 2021-03-26 | 2021-06-25 | 山东科技大学 | 一种基于AdaRW算法的海洋目标检测深度学习模型训练方法 |
CN113821968A (zh) * | 2021-06-15 | 2021-12-21 | 腾讯科技(深圳)有限公司 | 持续学习的方法和装置 |
CN113496259A (zh) * | 2021-06-29 | 2021-10-12 | 安徽农业大学 | 一种融入标签信息的图神经网络推荐方法 |
CN115982224A (zh) * | 2021-10-08 | 2023-04-18 | 微软技术许可有限责任公司 | 为多变量时序数据异常检测提供解释性 |
CN114092769A (zh) * | 2022-01-20 | 2022-02-25 | 国网江西省电力有限公司电力科学研究院 | 基于联邦学习的变电站多场景巡检分析方法 |
CN114495507A (zh) * | 2022-02-25 | 2022-05-13 | 南京工业大学 | 融合时空注意力神经网络和交通模型的交通流预测方法 |
CN115545265A (zh) * | 2022-06-10 | 2022-12-30 | 四川大学 | 一种基于数据修复和分解序列预测的售电量预测方法 |
CN115063588A (zh) * | 2022-06-29 | 2022-09-16 | 深圳前海微众银行股份有限公司 | 一种数据处理方法、装置、设备及存储介质 |
CN115470201A (zh) * | 2022-08-30 | 2022-12-13 | 同济大学 | 基于图注意力网络的海洋遥感缺失数据智能补全方法 |
CN115694697A (zh) * | 2022-09-28 | 2023-02-03 | 东南大学 | 一种基于机器学习的空时域预测信道建模方法 |
CN115423048A (zh) * | 2022-11-03 | 2022-12-02 | 山东大学 | 一种基于模式相似性的交通流量异常检测方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN116361635A (zh) | 2023-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116361635B (zh) | 一种多维时序数据异常检测方法 | |
Hsieh et al. | Unsupervised online anomaly detection on multivariate sensing time series data for smart manufacturing | |
US12001949B2 (en) | Computer-implemented method, computer program product and system for data analysis | |
CN110909046B (zh) | 时间序列的异常检测方法及装置、电子设备、存储介质 | |
EP4290412A2 (en) | Computer-implemented method, computer program product and system for data analysis | |
Biloš et al. | Neural flows: Efficient alternative to neural ODEs | |
Rahman et al. | Dylink2vec: Effective feature representation for link prediction in dynamic networks | |
US20170039470A1 (en) | Factor extraction system and factor extraction method | |
CN110895705A (zh) | 异常样本检测装置及其训练装置和训练方法 | |
KR20190125029A (ko) | 시계열 적대적인 신경망 기반의 텍스트-비디오 생성 방법 및 장치 | |
Gong et al. | Causal discovery from temporal data: An overview and new perspectives | |
CN114169091A (zh) | 工程机械部件剩余寿命的预测模型建立方法及预测方法 | |
CN117419828B (zh) | 基于光纤传感器的新能源电池温度监测方法 | |
CN117076171A (zh) | 一种面向多元时序数据的异常检测及定位方法及装置 | |
Li et al. | A robust supervised subspace learning approach for output-relevant prediction and detection against outliers | |
Nguyen et al. | Physics-infused fuzzy generative adversarial network for robust failure prognosis | |
Yu et al. | MAG: A novel approach for effective anomaly detection in spacecraft telemetry data | |
Koskela | Neural network methods in analysing and modelling time varying processes | |
Takeishi et al. | Knowledge-based regularization in generative modeling | |
CN116775423A (zh) | 用于集群故障预测的方法 | |
Düdükçü et al. | LSTM and WaveNet implementation for predictive maintenance of turbofan engines | |
CN113792776A (zh) | 面向网络安全异常检测中深度学习模型的解释方法 | |
CN115146689A (zh) | 一种基于深度学习的动力***高维测量数据降维方法 | |
Han et al. | Temporal graph regression via structure-aware intrinsic representation learning | |
Marei et al. | CNC Machining Centre Thermal Error Prediction from Temperature Sensors Using Autoencoder-Augmented Long Short Term Memory Networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |