CN114925808A - 一种基于云网端资源中不完整时间序列的异常检测方法 - Google Patents

一种基于云网端资源中不完整时间序列的异常检测方法 Download PDF

Info

Publication number
CN114925808A
CN114925808A CN202210397325.2A CN202210397325A CN114925808A CN 114925808 A CN114925808 A CN 114925808A CN 202210397325 A CN202210397325 A CN 202210397325A CN 114925808 A CN114925808 A CN 114925808A
Authority
CN
China
Prior art keywords
sequence
data
time sequence
rnn
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210397325.2A
Other languages
English (en)
Other versions
CN114925808B (zh
Inventor
袁汉宁
彭青峰
王树良
耿晶
黄罡
党迎旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Beijing Institute of Technology BIT
Original Assignee
Peking University Shenzhen Graduate School
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School, Beijing Institute of Technology BIT filed Critical Peking University Shenzhen Graduate School
Priority to CN202210397325.2A priority Critical patent/CN114925808B/zh
Publication of CN114925808A publication Critical patent/CN114925808A/zh
Application granted granted Critical
Publication of CN114925808B publication Critical patent/CN114925808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及一种基于云网端资源中不完整时间序列的异常检测方法，包括：输入带有缺失的云网端资源中的时间序列，生成时间序列样本，并对所述时间序列样本进行预处理操作；构建深度学习网络模型，将经过预处理操作的时间序列样本分为训练样本集和测试样本集，所述训练样本集输入所述深度学习网络模型中完成模型训练，所述测试样本集进行模型异常检测测试，得到异常检测结果。本发明提出的方法中云网端资源中不完整时间序列的异常检测模型将缺失值插补过程与异常检测过程相结合，减少了从缺失值插补到异常检测导致的误差传递。相较于现有技术，发明成果在云网端资源中不完整时间序列场景下进行异常检测拥有更高的准确率。

Description

一种基于云网端资源中不完整时间序列的异常检测方法
技术领域
本发明涉及计算机技术领域，特别是涉及一种基于云网端资源中不完整时间序列的异常检测方法。
背景技术
时间序列数据是按时间顺序排列的一系列数据点，在许多实际应用中发挥着重要作用。异常主要指在其特征方面不同于标准值，且与正常实例相比，异常在数据集之中是罕见的数据实例。
目前针对云网端资源中不完整时间序列的异常检测方法主要包括两个阶段，第一阶段：对不完整时间序列进行缺失值插补，将不完整时间序列进行补全；第二阶段：将第一阶段补足后的时间序列作为输入，使用基于重构或基于预测的异常检测方法进行时间序列的异常检测。
缺失值插补方法可以归类为基于判别模型的插补方法和基于生成模型的插补方法。基于判别模型的插补方法是指由数据直接学习决策函数或者条件概率分布，并以此预测缺失值的方法。常见的用于插补缺失值的判别模型算法有支持向量机(SVM),神经网络(Neural Networks),线性判别分析(Linear Discriminative Analysis)，条件随机场(Conditional Random Field)等。基于生成模型的插补方法是指通过对观测值和标注数据计算联合概率分布P(x,y)，以此达到对缺失值进行预测的方法。插补算法中用到的常见生成模型有朴素贝叶斯(Naive Bayes),隐马尔科夫模型(HMM),贝叶斯网络(BayesianNetworks)和隐含狄利克雷分布(Latent Dirichlet Allocation)。
根据输入数据标签的可用性，异常检测方法可分为三类：(1)有监督的异常检测，(2)半监督的异常检测，(3)无监督的异常检测。有监督的异常检测方法依赖于标记的训练数据来建立预测模型。有监督的异常检测可以看作是一个二分类问题，通常使用不平衡的训练数据：数据中正常点的实例比异常点的实例多得多。半监督的异常检测检测方法一般使用只有正常标签的训练数据，也有使用大多数未标记数据和少量标记数据建立模型。无监督的异常检测方法使用未标记的数据来用于构建异常检测模型(例如，隔离森林)或在不构建模型的情况下直接计算输入数据的异常值(例如，LOF)。
云网端的高速发展导致在线数据规模剧增，为确保在线服务的稳定性和可用性，公司通常需要实时监控大量的时间序列指标(例如页面浏览量、交易量、成功率、***延迟)，大规模的时序数据快速生成导致异常难以标注，同时由于***故障或者存储丢失，这类时序数据中往往存在部分缺失值。但目前针对云网端资源中不完整时间序列的异常检测方法中缺失值填补和异常检测彼此独立，异常检测的准确性依赖于缺失值的填补效果，导致异常检测准确性难以保证。
发明内容
针对以上问题，本发明提出一种基于云网端资源中不完整时间序列的异常检测方法。相比于传统先插补后检测的二阶段异常检测方法，本发明避免了缺失值插补过程到异常值检测的误差传播，有利于提升云网端资源中不完整时间序列的异常检测准确度。
为实现上述目的，本发明提供了如下方案：
一种基于云网端资源中不完整时间序列的异常检测方法，包括：
使用滑窗采样方法将带有缺失的云网端时间序列原始数据进行切片，得到时间序列样本，对所述时间序列样本进行预处理操作；
构建深度学习网络模型，将经过预处理操作的时间序列样本分为训练样本集和测试样本集，所述训练样本集输入所述深度学习网络模型中完成模型训练，所述测试样本集进行模型异常检测测试，得到异常检测结果。
优选地，对所述时间序列样本进行预处理的过程包括数据归一化和数据分片，所述数据归一化用于将数据的值域范围限定在一个公共区域内，不改变时间序列数据的特征；所述数据分片用于通过使用滑动窗口的方法，将所述时间序列数据分为若干相同长度的样本。
优选地，所述深度学习网络模型中包括基于循环神经网络RNN的序列自编码器Grnn和缺失值鉴别器Dcheck，所述序列自编码器用于对原始数据进行自编码，插补数据缺失值并得到自编码映射后的数据；所述缺失值鉴别器用于预测插补数据中的原有缺失项，将预测缺失分布与原缺失分布对比。
优选地，将所述训练样本集输入所述基于循环神经网络RNN的序列自编码器Grnn和缺失值鉴别器Dcheck中进行训练，训练过程交替进行，所述训练过程包括：
先将所述序列自编码器Grnn固定，根据序列自编码器Grnn对训练集的重构结果通过最小化缺失值预测损失函数，基于所述损失函数训练所述缺失值鉴别器Dcheck，再将缺失值鉴别器Dcheck固定，根据缺失值鉴别器Dcheck对Grnn对训练集的重构结果的预测值通过最大化缺失值预测损失函数训练序列自编码器Grnn，经过反复的迭代对抗最终达到均衡状态。
优选地，所述缺失值鉴别器Dcheck由三层全连接层与三层激活层组成；所述序列自编码器Grnn的编码器部分和解码器部分分别由一层长短期记忆人工神经网络LSTM、一层全连接层、一层激活层构成，所述序列自编码器网络Grnn与所述缺失值鉴别器Dcheck形成对抗。
优选地，训练所述缺失值鉴别器Dcheck的过程包括：
输入时间序列样本数据，包括提示序列R和输入所述序列自编码器Grnn得到的编码结果；
通过所述序列自编码器输出重构序列Grnn(X，M)，记为
Figure BDA0003597892770000041
将所述编码结果与原始时间序列样本数据根据缺失点相加，得到
Figure BDA0003597892770000042
Figure BDA0003597892770000043
其中X指原始时间序列样本，
Figure BDA0003597892770000044
指将
Figure BDA0003597892770000045
插补到X补全后的结果，M指缺失标签；
将
Figure BDA0003597892770000046
与R输入所述缺失值鉴别器，得到结果
Figure BDA0003597892770000047
Figure BDA0003597892770000048
指将原始样本补全后的结果，
Figure BDA0003597892770000049
指缺失值鉴别器Dcheck预测得到的缺失标签，R指通过缺失标签得到的提示矩阵；使用结果对Dcheck的损失函数进行定义，并通过最小化所述损失函数对所述缺失值鉴别器网络进行训练。
优选地，所述序列自编码器Grnn的训练过程是对目标进行优化的过程，其中，优化目标包括：最小化自编码器的重构误差和最大化缺失值鉴别器Dcheck的预测误差。
优选地，所述进行模型异常检测测试的过程包括：
对数据中的测试集进行编码并确定数据异常的上下界作为异常阈值，基于所述阈值将测试样本集中的数据分为正常数据点和异常数据点；
将所述测试集样本输入序列自编码器中Grnn，得到重构序列；通过所述重构序列和原序列非缺失部分的距离判断所述测试样本集中的数据是否异常。
本发明的有益效果为：
1、本发明使用对抗学习进行序列自编码器的训练，在训练集数据体量不大并且序列不完整的情况下，让模型中的序列自编码器与缺失值鉴别器不断博弈对抗，这种训练方式能够让序列自编码器得到更好的数据自编码能力和更好的抗干扰能力。
2、本发明提出的方法中不完整时间序列的异常检测模型将缺失值插补过程与异常检测过程相结合，减少了从缺失值插补到异常检测导致的误差传递。相较于现有技术，发明成果在不完整时间序列场景下进行异常检测拥有更高的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的异常检测实现流程图；
图2为本发明实施例的模型对抗架构图；
图3为本发明实施例的缺失值鉴别器训练过程图；
图4为本发明实施例的序列自编码器训练过程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明提出了一种基于云网端资源中不完整时间序列的异常检测方法。该方法对缺失值插补和异常检测过程进行联合学习。具体的实现流程如图1所示。流程分为：输入的带有缺失的时间序列，进行数据预处理、模型训练、异常阈值选择、异常检测，最终得到异常检测结果。
(1)数据预处理
本步骤主要任务是生成云网端时间序列样本。数据预处理部分分为两部分，分别是数据归一化和数据分片。数据归一化将数据的值域范围限定在一个公共的区间内，而不改变时间序列数据的特征。
Figure BDA0003597892770000071
数据分片使用滑动窗口方法，设时间序列总长度为N，滑动窗口长度为Sw，步长为Ss，最终将得到个数
Figure BDA0003597892770000072
的样本序列。
(2)模型训练
本步骤依赖上一步骤的样本序列，首先将样本序列分成训练样本集和测试样本集，训练样本集输入模型完成模型训练，测试样本进行模型异常检测测试。
模型主要包括两个网络，分别是基于循环神经网络(RNN)的序列自编码器Grnn，和缺失值鉴别器Dcheck。序列自编码器用于对原始数据进行自编码，从而插补数据缺失值并得到自编码映射后的数据；缺失值鉴别器用于预测插补数据中的原有缺失项，将预测缺失分布与原缺失分布对比，插补后数据缺失项预测的准确率越低，则代表序列自编码器的性能越强。这里序列生成器Grnn与缺失值鉴别器Dcheck形成对抗，具体对抗博弈的数学形式如下所示：
Figure BDA0003597892770000073
经过数据集训练后，对序列自编码器编码与输入序列X根据缺失相加得到序列
Figure BDA0003597892770000074
输入Dcheck后得到缺失预测结果，其中原插补位置缺失预测概率越低，也代表着自编码后的序列更符合原始数据特征。最终使用自编码器的重构误差判断异常。过程如图2所示。
输入数据集中缺失位置已知，可得原始含缺失值样本X，以及缺失值标签M。将数据输入基于循环神经网络(RNN)的序列自编码器Grnn和缺失值鉴别器Dcheck进行训练，训练过程交替进行，先将序列自编码器Grnn固定，根据Grnn结果通过最小化缺失值预测损失函数训练缺失值鉴别器，再将缺失值鉴别器Dcheck固定，根据Dcheck结果通过最大化缺失值预测损失函数训练序列自编码器Grnn，经过反复的迭代对抗最终达到均衡状态，得到性能良好的序列自编码器Grnn。
在对抗过程中，首先训练缺失值鉴别器Dcheck，缺失值鉴别器Dcheck由三层全连接层与三层激活层组成。激活层使用Relu函数，该网络与序列自编码器形成对抗，会根据序列自编码器得到的编码结果进行训练，缺失值鉴别器训练过程如图3所示。
①缺失值鉴别器训练
输入数据包括提示序列R，提示矩阵利于缺失值鉴别器更好的收敛，其中提示序列R由以下公式得到：
R＝K⊙M+0.5(1-K)
其中M代表缺失标签，K代表随机矩阵，输入数据还包括将原始含缺失值样本X输入序列自编码器得到的结果，自编码器输出重构序列Grnn(X，M)，记为
Figure BDA0003597892770000081
将编码结果与原始数据根据缺失点相加，得到
Figure BDA0003597892770000082
将
Figure BDA0003597892770000083
与R输入缺失值鉴别器，得到结果
Figure BDA0003597892770000084
使用结果对Dcheck的损失函数进行定义：
Figure BDA0003597892770000091
通过最小化该损失函数对缺失值鉴别器网络进行训练
②序列自编码器Grnn训练
序列自编码器网络的编码器部分和解码器部分分别由一层长短期记忆人工神经网络(LSTM)、一层全连接层、一层激活层构成，序列自编码器网络Grnn与缺失值鉴别器Dcheck形成对抗，序列自编码器训练过程如图4所示。
序列自编码器训练过程中的优化目标主要包括两个部分。一部分是最小化自编码器的重构误差。
Figure BDA0003597892770000092
另一部分优化目标是自编码器的对缺失值的重构结果造成缺失值鉴别器Dcheck鉴别困难，即最大化缺失值鉴别器Dcheck的预测误差。因此该部分的优化目标为最小化
Figure BDA0003597892770000093
其中
Figure BDA0003597892770000094
重复以上两个步骤，实现对序列自编码器和缺失值鉴别器的训练。
(3)异常阈值选择
本步骤基于上步骤生成的序列自编码器模型，对数据中的测试集进行编码并确定数据异常的上下界作为异常阈值，为后续异常检测步骤提供数据支持。异常阈值选择将使用数据集中的测试集部分，对数据进行测试和分类，指定一个阈值将数据分为正常数据点和异常数据点。测试集样本输入序列自编码器中Grnn，得到重构序列Grnn(X，M)，记为
Figure BDA0003597892770000095
通过重构序列
Figure BDA0003597892770000096
和原序列非缺失部分的距离判断是否异常，该距离记为
Figure BDA0003597892770000101
其中
Figure BDA0003597892770000102
记异常阈值为A，
Figure BDA0003597892770000103
Figure BDA0003597892770000104
σ代表
Figure BDA0003597892770000105
的标准差。Anoi代表第i个数据点是否为异常。
Figure BDA0003597892770000106
(4)异常检测
本步骤确定测试数据中哪些点为异常点。将需要检测的数据X先按照步骤1进行分片，然后输入序列自编码器Grnn中，得到重构序列Grnn(X，M)，记为
Figure BDA0003597892770000107
与原序列对比得到重构误差
Figure BDA0003597892770000108
计算标准差σ，得到异常阈值Amax与Amin，将数据与阈值对比，根据步骤3的Ano比较公式得到异常检测结果。
在本实施例中，还提供了一种用于不完整时间序列的异常检测方法的***，包括：
数据处理单元：用于对输入的带有缺失的时间序列进行预处理操作，得到预处理后的样本序列；
模型训练单元：用于将预处理后的样本序列，分成训练样本集和测试样本集，训练样本集输入深度学习网络模型中完成模型训练，测试样本集则进行模型异常检测测试；
异常阈值选择单元：基于模型训练单元生成的序列自编码器模型，对数据中的测试集进行编码并确定数据异常的上下界作为异常阈值，为后续异常检测步骤提供数据支持。
异常检测单元：用于将需要检测的数据进行分片，然后输入到序列自编码器Grnn中，得到重构序列Grnn(X，M)，记为
Figure BDA0003597892770000111
与原序列对比得到重构误差
Figure BDA0003597892770000112
计算标准差σ，得到异常阈值Amax与Amin，将数据与阈值对比，根据Ano比较公式得到异常检测结果。
本发明使用对抗学习进行序列自编码器的训练，在训练集数据体量不大并且序列不完整的情况下，让模型中的序列自编码器与缺失值鉴别器不断博弈对抗，这种训练方式能够让序列自编码器得到更好的数据自编码能力和更好的抗干扰能力。
本发明提出的方法中不完整时间序列的异常检测模型将缺失值插补过程与异常检测过程相结合，减少了从缺失值插补到异常检测导致的误差传递。相较于现有技术，发明成果在云网端中不完整时间序列场景下进行异常检测拥有更高的准确率。
以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (8)

1.一种基于云网端资源中不完整时间序列的异常检测方法，其特征在于，包括：
使用滑窗采样方法将带有缺失的云网端时间序列原始数据进行切片，得到时间序列样本，对所述时间序列样本进行预处理操作；
构建深度学习网络模型，将经过预处理操作的时间序列样本分为训练样本集和测试样本集，所述训练样本集输入所述深度学习网络模型中完成模型训练，所述测试样本集进行模型异常检测测试，得到异常检测结果。
2.根据权利要求1所述的基于云网端资源中不完整时间序列的异常检测方法，其特征在于，对所述时间序列样本进行预处理的过程包括数据归一化和数据分片，所述数据归一化用于将数据的值域范围限定在一个公共区域内，不改变时间序列数据的特征；所述数据分片用于通过使用滑动窗口的方法，将所述时间序列数据分为若干相同长度的样本。
3.根据权利要求1所述的基于云网端资源中不完整时间序列的异常检测方法，其特征在于，所述深度学习网络模型中包括基于循环神经网络RNN的序列自编码器Grnn和缺失值鉴别器Dcheck，所述序列自编码器Grnn用于对原始数据进行自编码，插补数据缺失值并得到自编码映射后的数据；所述缺失值鉴别器Dcheck用于预测插补数据中的原有缺失项，将预测缺失分布与原缺失分布对比。
4.根据权利要求3所述的基于云网端资源中不完整时间序列的异常检测方法，其特征在于，将所述训练样本集输入所述基于循环神经网络RNN的序列自编码器Grnn和缺失值鉴别器Dcheck中进行训练，训练过程交替进行，所述训练过程包括：
先将所述序列自编码器Grnn固定，根据序列自编码器Grnn对训练集的重构结果通过最小化缺失值预测损失函数，基于所述损失函数训练所述缺失值鉴别器Dcheck，再将缺失值鉴别器Dcheck固定，根据缺失值鉴别器Dcheck对Grnn对训练集的重构结果的预测值通过最大化缺失值预测损失函数训练序列自编码器Grnn，经过反复的迭代对抗最终达到均衡状态。
5.根据权利要求4所述的基于云网端资源中不完整时间序列的异常检测方法，其特征在于，所述缺失值鉴别器Dcheck由三层全连接层与三层激活层组成；所述序列自编码器Grnn的编码器部分和解码器部分分别由一层长短期记忆人工神经网络LSTM、一层全连接层、一层激活层构成，所述序列自编码器网络Grnn与所述缺失值鉴别器Dcheck形成对抗。
6.根据权利要求5所述的基于云网端资源中不完整时间序列的异常检测方法，其特征在于，训练所述缺失值鉴别器Dcheck的过程包括：
输入时间序列样本数据，包括提示序列R和输入所述序列自编码器Grnn得到的编码结果；
通过所述序列自编码器Grnn输出重构序列Grnn(X，M)，记为
Figure FDA0003597892760000021
将所述编码结果与原始时间序列样本数据根据缺失点相加，得到
Figure FDA0003597892760000022
Figure FDA0003597892760000023
其中X指原始时间序列样本，
Figure FDA0003597892760000024
指将
Figure FDA0003597892760000025
插补到X补全后的结果，M指缺失标签；
将
Figure FDA0003597892760000031
与R输入所述缺失值鉴别器，得到结果
Figure FDA0003597892760000032
Figure FDA0003597892760000033
Figure FDA0003597892760000034
指将原始样本补全后的结果，
Figure FDA0003597892760000035
指缺失值鉴别器Dcheck预测得到的缺失标签，R指通过缺失标签得到的提示矩阵；使用结果对Dcheck的损失函数进行定义，并通过最小化所述损失函数对所述缺失值鉴别器网络进行训练。
7.根据权利要求5所述的基于云网端资源中不完整时间序列的异常检测方法，其特征在于，所述序列自编码器Grnn的训练过程是对目标进行优化的过程，其中，优化目标包括：最小化自编码器的重构误差和最大化缺失值鉴别器Dcheck的预测误差。
8.根据权利要求1所述的基于云网端资源中不完整时间序列的异常检测方法，其特征在于，所述进行模型异常检测测试的过程包括：
对数据中的测试集进行编码并确定数据异常的上下界作为异常阈值，基于所述阈值将测试样本集中的数据分为正常数据点和异常数据点；
将所述测试集样本输入序列自编码器中Grnn，得到重构序列；通过所述重构序列和原序列非缺失部分的距离判断所述测试样本集中的数据是否异常。
CN202210397325.2A 2022-04-15 2022-04-15 一种基于云网端资源中不完整时间序列的异常检测方法 Active CN114925808B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210397325.2A CN114925808B (zh) 2022-04-15 2022-04-15 一种基于云网端资源中不完整时间序列的异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210397325.2A CN114925808B (zh) 2022-04-15 2022-04-15 一种基于云网端资源中不完整时间序列的异常检测方法

Publications (2)

Publication Number Publication Date
CN114925808A true CN114925808A (zh) 2022-08-19
CN114925808B CN114925808B (zh) 2023-10-10

Family

ID=82806966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210397325.2A Active CN114925808B (zh) 2022-04-15 2022-04-15 一种基于云网端资源中不完整时间序列的异常检测方法

Country Status (1)

Country Link
CN (1) CN114925808B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372076A (zh) * 2023-08-23 2024-01-09 广东烟草广州市有限公司 一种异常交易数据监控方法、装置、设备及存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101960755B1 (ko) * 2018-12-20 2019-03-21 문경훈 미취득 전력 데이터 생성 방법 및 장치
CN111540193A (zh) * 2020-03-13 2020-08-14 华南理工大学 一种基于图卷积时序生成对抗网络的交通数据修复方法
CN111581189A (zh) * 2020-03-27 2020-08-25 浙江大学 一种空气质量检测数据缺失的补全方法及补全装置
CN111914873A (zh) * 2020-06-05 2020-11-10 华南理工大学 一种两阶段云服务器无监督异常预测方法
CN112148955A (zh) * 2020-10-22 2020-12-29 南京航空航天大学 一种物联网时序数据异常检测方法及***
CN112200244A (zh) * 2020-10-09 2021-01-08 西安交通大学 一种基于递阶对抗训练的航天发动机异常智能检测方法
EP3767544A1 (en) * 2019-07-19 2021-01-20 Robert Bosch GmbH Training a generative model and a discriminative model
CN112330951A (zh) * 2020-09-11 2021-02-05 浙江工业大学 一种基于生成对抗网络实现路网交通数据修复的方法
CN112712855A (zh) * 2020-12-28 2021-04-27 华南理工大学 一种基于联合训练的含缺失值基因微阵列的聚类方法
CN113033619A (zh) * 2021-03-04 2021-06-25 浙江工业大学 一种基于dvgae-gan的交通路网数据修复方法
CN113242259A (zh) * 2021-05-27 2021-08-10 苏州联电能源发展有限公司 网络异常流量检测方法及装置
CN113240011A (zh) * 2021-05-14 2021-08-10 烟台海颐软件股份有限公司 一种深度学习驱动的异常识别与修复方法及智能化***
CN113298297A (zh) * 2021-05-10 2021-08-24 内蒙古工业大学 一种基于孤立森林与wgan网络的风电输出功率预测方法
WO2021169361A1 (zh) * 2020-09-18 2021-09-02 平安科技（深圳）有限公司 时间序列数据的检测方法、装置、计算机设备及存储介质
US20210287071A1 (en) * 2020-03-12 2021-09-16 Morgan State University Method and Apparatus for Augmented Data Anomaly Detection
CN114090396A (zh) * 2022-01-24 2022-02-25 华南理工大学 一种云环境多指标无监督异常检测和根因分析方法
US20220092411A1 (en) * 2020-09-21 2022-03-24 Samsung Sds Co., Ltd. Data prediction method based on generative adversarial network and apparatus implementing the same method

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101960755B1 (ko) * 2018-12-20 2019-03-21 문경훈 미취득 전력 데이터 생성 방법 및 장치
EP3767544A1 (en) * 2019-07-19 2021-01-20 Robert Bosch GmbH Training a generative model and a discriminative model
US20210287071A1 (en) * 2020-03-12 2021-09-16 Morgan State University Method and Apparatus for Augmented Data Anomaly Detection
CN111540193A (zh) * 2020-03-13 2020-08-14 华南理工大学 一种基于图卷积时序生成对抗网络的交通数据修复方法
CN111581189A (zh) * 2020-03-27 2020-08-25 浙江大学 一种空气质量检测数据缺失的补全方法及补全装置
CN111914873A (zh) * 2020-06-05 2020-11-10 华南理工大学 一种两阶段云服务器无监督异常预测方法
CN112330951A (zh) * 2020-09-11 2021-02-05 浙江工业大学 一种基于生成对抗网络实现路网交通数据修复的方法
WO2021169361A1 (zh) * 2020-09-18 2021-09-02 平安科技（深圳）有限公司 时间序列数据的检测方法、装置、计算机设备及存储介质
US20220092411A1 (en) * 2020-09-21 2022-03-24 Samsung Sds Co., Ltd. Data prediction method based on generative adversarial network and apparatus implementing the same method
CN112200244A (zh) * 2020-10-09 2021-01-08 西安交通大学 一种基于递阶对抗训练的航天发动机异常智能检测方法
CN112148955A (zh) * 2020-10-22 2020-12-29 南京航空航天大学 一种物联网时序数据异常检测方法及***
CN112712855A (zh) * 2020-12-28 2021-04-27 华南理工大学 一种基于联合训练的含缺失值基因微阵列的聚类方法
CN113033619A (zh) * 2021-03-04 2021-06-25 浙江工业大学 一种基于dvgae-gan的交通路网数据修复方法
CN113298297A (zh) * 2021-05-10 2021-08-24 内蒙古工业大学 一种基于孤立森林与wgan网络的风电输出功率预测方法
CN113240011A (zh) * 2021-05-14 2021-08-10 烟台海颐软件股份有限公司 一种深度学习驱动的异常识别与修复方法及智能化***
CN113242259A (zh) * 2021-05-27 2021-08-10 苏州联电能源发展有限公司 网络异常流量检测方法及装置
CN114090396A (zh) * 2022-01-24 2022-02-25 华南理工大学 一种云环境多指标无监督异常检测和根因分析方法

Non-Patent Citations (12)

* Cited by examiner, † Cited by third party
Title
EUNKYU OH ET AL: "STING: Self-attention based Time-series Imputation Networks using GAN", 《2021 IEEE INTERNATIONAL CONFERENCE ON DATA MINING (ICDM)》 *
EUNKYU OH ET AL: "STING: Self-attention based Time-series Imputation Networks using GAN", 《2021 IEEE INTERNATIONAL CONFERENCE ON DATA MINING (ICDM)》, 24 January 2022 (2022-01-24), pages 1264 - 1269 *
KISAN SARDA ET AL: "Missing Data Imputation for Real Time-series Data in a Steel Industry using Generative Adversarial Networks", 《IECON 2021 – 47TH ANNUAL CONFERENCE OF THE IEEE INDUSTRIAL ELECTRONICS SOCIETY》 *
KISAN SARDA ET AL: "Missing Data Imputation for Real Time-series Data in a Steel Industry using Generative Adversarial Networks", 《IECON 2021 – 47TH ANNUAL CONFERENCE OF THE IEEE INDUSTRIAL ELECTRONICS SOCIETY》, 10 November 2021 (2021-11-10), pages 1 - 6 *
XINCHUN YANG 等: "Reconstruction of continuous GRACE/GRACE-FO terrestrial water storage anomalies based on time series decomposition", 《JOURNAL OF HYDROLOGY》, vol. 603, pages 1 - 17 *
丁小欧 等: "工业时序大数据质量管理", 《大数据》, vol. 5, no. 6, pages 1 - 11 *
周芳成 等: "云下遥感地表温度重构方法研究", vol. 33, no. 1, pages 80 - 80 *
罗永洪: "基于生成对抗网络的时序数据缺失值填充算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
罗永洪: "基于生成对抗网络的时序数据缺失值填充算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, vol. 2020, no. 3, 15 March 2020 (2020-03-15), pages 138 - 626 *
邵世宽 等: "基于无监督对抗学习的时间序列异常检测", 《南京大学学报(自然科学)》 *
邵世宽 等: "基于无监督对抗学习的时间序列异常检测", 《南京大学学报(自然科学)》, vol. 57, no. 6, 30 November 2021 (2021-11-30), pages 1 *
陈浩杰 等: "基于宽度&深度学习的基站网络流量预测方法", 《郑州大学学报(工学版)》, vol. 43, no. 1, pages 7 - 13 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372076A (zh) * 2023-08-23 2024-01-09 广东烟草广州市有限公司 一种异常交易数据监控方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN114925808B (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
US10762305B2 (en) Method for generating chatting data based on artificial intelligence, computer device and computer-readable storage medium
CN111914873A (zh) 一种两阶段云服务器无监督异常预测方法
CN111352965B (zh) 序列挖掘模型的训练方法、序列数据的处理方法及设备
CN115688035A (zh) 一种基于自监督学习的时序电力数据异常检测方法
CN111222981A (zh) 可信度确定方法、装置、设备和存储介质
CN116383096B (zh) 基于多指标时序预测的微服务***异常检测方法及装置
CN113328755A (zh) 一种面向边缘计算的压缩数据传输方法
CN116760742A (zh) 基于多阶段混合时空融合的网络流量异常检测方法及***
CN113032525A (zh) 虚假新闻检测方法、装置、电子设备以及存储介质
CN112883990A (zh) 数据分类方法及装置、计算机存储介质、电子设备
CN113239702A (zh) 意图识别方法、装置、电子设备
CN115587335A (zh) 异常值检测模型的训练方法、异常值检测方法及***
CN115983087A (zh) 一种注意力机制与lstm结合检测时序数据异常方法及终端机
CN114925808B (zh) 一种基于云网端资源中不完整时间序列的异常检测方法
CN111444399A (zh) 回复内容的生成方法、装置、设备及可读存储介质
CN111161238A (zh) 图像质量评价方法及装置、电子设备、存储介质
US20220207353A1 (en) Methods and systems for generating recommendations for counterfactual explanations of computer alerts that are automatically detected by a machine learning algorithm
CN116910573B (zh) 异常诊断模型的训练方法及装置、电子设备和存储介质
CN115601759A (zh) 端到端文本识别方法、装置、设备及存储介质
CN114692767A (zh) 异常检测方法和装置、计算机可读存储介质、电子设备
CN116562952A (zh) 虚假交易订单检测方法及装置
CN113821401A (zh) 基于wt-ga-gru模型的云服务器故障诊断方法
CN111784180B (zh) 一种罪犯改造质量评估***评估结果分析解释方法
CN111402042A (zh) 一种用于股市大盘形态分析的数据分析与显示方法
CN112966819B (zh) 分布外数据检测方法、装置、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant