CN113268372A - 一种一维时间序列异常检测方法、装置及计算机设备 - Google Patents

一种一维时间序列异常检测方法、装置及计算机设备 Download PDF

Info

Publication number
CN113268372A
CN113268372A CN202110821949.8A CN202110821949A CN113268372A CN 113268372 A CN113268372 A CN 113268372A CN 202110821949 A CN202110821949 A CN 202110821949A CN 113268372 A CN113268372 A CN 113268372A
Authority
CN
China
Prior art keywords
sample
predicted
dimensional
context information
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110821949.8A
Other languages
English (en)
Other versions
CN113268372B (zh
Inventor
蔡志平
王承禹
周桐庆
余广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202110821949.8A priority Critical patent/CN113268372B/zh
Publication of CN113268372A publication Critical patent/CN113268372A/zh
Application granted granted Critical
Publication of CN113268372B publication Critical patent/CN113268372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751—Error or fault detection not based on redundancy

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请涉及一种一维时间序列异常检测方法、装置及计算机设备。所述方法包括：从一维时间序列中提取待预测点，通过滑动窗口提取待预测点的待预测上下文信息；采用编码器对待预测上下文信息进行降维，得到待预测低维嵌入数据；在检测集合中查询待预测低维嵌入数据的多个邻居数据；根据邻居数据的样本性能向量，得到基检测器序列正确检测一维时间序列的概率；根据基检测器序列正确检测一维时间序列的概率，得到检测性能最高的基检测器；根据检测性能最高的基检测器，对一维时间序列进行异常检测。采用本方法能够提高时间序列异常检测性能。

Description

一种一维时间序列异常检测方法、装置及计算机设备
技术领域
本申请涉及数据处理技术领域，特别是涉及一种一维时间序列异常检测方法、装置及计算机设备。
背景技术
目前，大型互联网公司，需要密切监控其***的实时性能，短暂的服务中断或质量下降可能会导致巨大的业务损失。这些实时性能数据（例如，搜索响应时间、CPU使用率）通常以时间序列的形式收集和存储。为了确保业务运营的顺利进行，这些公司通常会开发能够准确检测时间序列异常并及时排除故障的异常检测***。
但是大型公司中的时间序列数据的数量极多，这些数据特性差异很大，并且现有的时间序列异常检测算法通用性差，每种异常检测算法都有其适用的数据类型，因此采用单一模型对时间序列数据异常检测的准确率不高。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高时间序列异常检测性能的一种一维时间序列异常检测方法、装置及计算机设备。
一种一维时间序列异常检测方法，所述方法包括：
从一维时间序列中提取样本点；一维时间序列包括多个时间点的采样值；样本点对应一个时间点的采样值和标签值；
针对每一个样本点，通过滑动窗口提取样本点的样本上下文信息；
采用编码器对样本上下文信息进行降维，得到样本低维嵌入数据；
将样本点的样本上下文信息和标签值输入基检测器序列，根据基检测器序列的输出结果，得到样本性能向量；基检测器序列由多个基检测器组成；
根据样本低维嵌入数据和样本性能向量的一一对应关系，建立检测集合；
从一维时间序列中提取待预测点，通过滑动窗口提取待预测点的待预测上下文信息；
采用编码器对待预测上下文信息进行降维，得到待预测低维嵌入数据；
在检测集合中查询待预测低维嵌入数据的多个邻居数据；
根据邻居数据的样本性能向量，得到基检测器序列正确检测一维时间序列的概率；
根据基检测器序列正确检测一维时间序列的概率，得到检测性能最高的基检测器；
根据检测性能最高的基检测器，对一维时间序列进行异常检测。
在其中一个实施例中，采用解码器对待预测低维嵌入数据进行重构，得到重构数据；根据待预测上下文信息和所述重构数据，得到重构误差；若重构误差大于阈值，通过人机交互界面接收待预测上下文信息对应的真实标签，并采用预先设置的标准基检测器对待预测上下文信息的待预测低维嵌入数据进行预测。
在其中一个实施例中,将真实标签和待预测低维嵌入数据进行一一对应后，存储至检测集合。
在其中一个实施例中，根据待预测上下文信息和重构数据，得到重构误差，包括：根据待预测上下文信息和重构数据的均方根误差，得到重构误差为：
Figure 202729DEST_PATH_IMAGE001
其中，
Figure 946694DEST_PATH_IMAGE002
表示均方根误差，
Figure 308274DEST_PATH_IMAGE003
表示待预测上下文信息，
Figure 112282DEST_PATH_IMAGE004
表示重构数据，
Figure 106783DEST_PATH_IMAGE005
表示范数。
在其中一个实施例中，根据样本低维嵌入数据和样本性能向量的一一对应关系，建立检测集合，包括：
根据样本低维嵌入数据和样本性能向量的一一对应关系，采用KD-Tree算法将样本低维嵌入数据和样本性能向量进行存储，得到检测集合。
在其中一个实施例中，根据邻居数据的样本性能向量，使用如下条件概率公式计算基检测器序列正确检测一维时间序列的概率：
Figure 388860DEST_PATH_IMAGE006
其中，d表示基检测器序列的个数，
Figure 355679DEST_PATH_IMAGE007
表示待预测上下文信息，
Figure 392905DEST_PATH_IMAGE008
表示第d个基检测器正确检测待预测点的概率，
Figure 796073DEST_PATH_IMAGE009
表示性能向量
Figure 147420DEST_PATH_IMAGE010
中第d位的值，K表示所述邻居数据的个数，j是所述性能向量的编号。
在其中一个实施例中，根据所述基检测器序列正确检测所述一维时间序列的概率，使用如下公式选择基检测器中正确检测所述一维时间序列的概率最高基检测器，
Figure 765484DEST_PATH_IMAGE011
其中，
Figure 176873DEST_PATH_IMAGE012
表示检测概率最高的基检测器，
Figure 818070DEST_PATH_IMAGE013
表示基检测器序列，M表示基检测器的总个数。
在其中一个实施例中，编码器和所述解码器通过变分自编码器实现。
一种一维时间序列异常检测装置，所述装置包括：
样本低维嵌入数据获取模块，用于从一维时间序列中提取样本点；一维时间序列包括多个时间点的采样值；样本点对应一个时间点的采样值和标签值；针对每一个所述样本点，通过滑动窗口提取样本点的样本上下文信息；采用编码器对样本上下文信息进行降维，得到样本低维嵌入数据；
检测集合获取模块，用于将样本点的样本上下文信息和标签值输入基检测器序列，根据基检测器序列的输出结果，得到样本性能向量；基检测器序列由多个基检测器组成；根据样本低维嵌入数据和样本性能向量的一一对应关系，建立检测集合；
编码器降维模块，用于从一维时间序列中提取待预测点，通过滑动窗口提取待预测点的待预测上下文信息；采用编码器对待预测上下文信息进行降维，得到待预测低维嵌入数据；
异常检测模块，用于在检测集合中查询待预测低维嵌入数据的多个邻居数据；根据邻居数据的样本性能向量，得到基检测器序列正确检测一维时间序列的概率；根据基检测器序列正确检测一维时间序列的概率，得到检测性能最高的基检测器；根据检测性能最高的基检测器，对一维时间序列进行异常检测。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
从一维时间序列中提取样本点；一维时间序列包括多个时间点的采样值；样本点对应一个时间点的采样值和标签值；针对每一个样本点，通过滑动窗口提取样本点的样本上下文信息；采用编码器对样本上下文信息进行降维，得到样本低维嵌入数据；将样本点的样本上下文信息和标签值输入基检测器序列，根据基检测器序列的输出结果，得到样本性能向量；基检测器序列由多个基检测器组成；根据样本低维嵌入数据和样本性能向量的一一对应关系，建立检测集合；从一维时间序列中提取待预测点，通过滑动窗口提取待预测点的待预测上下文信息；采用编码器对待预测上下文信息进行降维，得到待预测低维嵌入数据；在检测集合中查询待预测低维嵌入数据的多个邻居数据；根据邻居数据的样本性能向量，得到基检测器序列正确检测一维时间序列的概率；根据基检测器序列正确检测一维时间序列的概率，得到检测性能最高的基检测器；根据检测性能最高的基检测器，对一维时间序列进行异常检测。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
从一维时间序列中提取样本点；一维时间序列包括多个时间点的采样值；样本点对应一个时间点的采样值和标签值；针对每一个样本点，通过滑动窗口提取样本点的样本上下文信息；采用编码器对样本上下文信息进行降维，得到样本低维嵌入数据；将样本点的样本上下文信息和标签值输入基检测器序列，根据基检测器序列的输出结果，得到样本性能向量；基检测器序列由多个基检测器组成；根据样本低维嵌入数据和样本性能向量的一一对应关系，建立检测集合；从一维时间序列中提取待预测点，通过滑动窗口提取待预测点的待预测上下文信息；采用编码器对待预测上下文信息进行降维，得到待预测低维嵌入数据；在检测集合中查询待预测低维嵌入数据的多个邻居数据；根据邻居数据的样本性能向量，得到基检测器序列正确检测一维时间序列的概率；根据基检测器序列正确检测一维时间序列的概率，得到检测性能最高的基检测器；根据检测性能最高的基检测器，对一维时间序列进行异常检测。
上述一维时间序列异常检测方法、装置和计算机设备，首先从一维时间序列中提取样本点；一维时间序列包括多个时间点的采样值；样本点对应一个时间点的采样值和标签值；针对每一个样本点，通过滑动窗口提取样本点的样本上下文信息，从而采用上下文信息来表示样本点，适应于实时检测；采用编码器对样本上下文信息进行降维，得到样本低维嵌入数据；将样本点的样本上下文信息和标签值输入基检测器序列，根据基检测器序列的输出结果，得到样本性能向量；基检测器序列由多个基检测器组成；根据样本低维嵌入数据和样本性能向量的一一对应关系，建立检测集合；然后，从一维时间序列中提取待预测点，通过滑动窗口提取待预测点的待预测上下文信息；采用编码器对待预测上下文信息进行降维，得到待预测低维嵌入数据；在检测集合中查询待预测低维嵌入数据的多个邻居数据；根据邻居数据的样本性能向量，得到基检测器序列正确检测一维时间序列的概率，从而在实时检测时可以实时获取检测性能最高的基检测器；根据基检测器序列正确检测一维时间序列的概率，得到检测性能最高的基检测器；根据检测性能最高的基检测器，对一维时间序列进行异常检测。因此，本发明实施例可以通过单一模型，对不同类型的一维时间序列进行准确的异常检测。
附图说明
图1为一个实施例中一维时间序列异常检测方法的流程示意图。
图2为一个实施例中一维时间序列异常检测方法的总体架构示意图；
图3为一个实施例中一维时间序列中的样本点进行编码的过程示意图；
图4为另一个实施例中一维时间序列中的样本点进行解码的过程示意图；
图5为一个实施例中一维时间序列异常检测装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1示，提供了一种一维时间序列异常检测方法，包括以下步骤：
步骤102，从一维时间序列中提取样本点；针对每一个样本点，通过滑动窗口提取样本点的样本上下文信息；采用编码器对样本上下文信息进行降维，得到样本低维嵌入数据。
其中，一维时间序列是从业务***中提取，业务***可以是互联网***，那么从中获取的时间序列是指实时性能数据，例如搜索响应时间，CPU使用率。业务***也可以是工厂状态检测***，那么时间序列可以是传感器采集的状态数据。一维时间序列包含多个时间点的采样值，从一维时间序列中提取的样本点对应一个时间点的采样值和标签值。样本的上下文信息是指样本前面的连续多个样本值，实质上是一个连续子序列。编码器使用证据下界（Evidence Lower Bound，ELBO）作为损失函数，并最大化该损失函数来进行训练，训练好的编码器将样本上下文信息编码到低维嵌入空间，以低维嵌入数据的形式存储在其中。
步骤104，将样本点的样本上下文信息和标签值输入基检测器序列，根据基检测器序列的输出结果，得到样本性能向量；根据样本低维嵌入数据和样本性能向量的一一对应关系，建立检测集合。
基检测器序列是一个有序的基检测器集合，包含了多个基检测器。将样本点的样本上下文信息和标签值输入基检测器序列，基检测器会输出检测结果，检测结果表示为一个向量（0表示错误，1表示正确），称为性能向量。根据样本低维嵌入数据和样本性能向量的一一对应关系，将两者进行存储得到检测集合。
步骤106，从一维时间序列中提取待预测点，通过滑动窗口提取待预测点的待预测上下文信息；采用编码器对待预测上下文信息进行降维，得到待预测低维嵌入数据。
待预测点的待预测上下文信息是指待预测点前面的连续多个样本值，本发明中的编码器是采用变分自编码器实现的。
步骤108，在检测集合中查询待预测低维嵌入数据的多个邻居数据；根据邻居数据的样本性能向量，得到基检测器序列正确检测一维时间序列的概率；根据基检测器序列正确检测一维时间序列的概率，得到检测性能最高的基检测器；根据检测性能最高的基检测器，对一维时间序列进行异常检测。
其中，邻居数据是指待预测低维嵌入数据最邻近的数据，根据低维嵌入数据和样本性能向量的一一对应关系，可以得到邻居数据的样本性能向量，将邻居数据的样本性能向量作为基检测器序列正确检测一维时间序列的概率的输入，得到基检测器序列正确检测一维时间序列的概率，选择概率最高的基检测器作为待预测点的基检测器对一维时间序列进行异常检测，得到该一维时间序列异常检测的结果。
上述一维时间序列异常检测方法、装置和计算机设备，首先从一维时间序列中提取样本点；一维时间序列包括多个时间点的采样值；样本点对应一个时间点的采样值和标签值；针对每一个样本点，通过滑动窗口提取样本点的样本上下文信息，从而采用上下文信息来表示样本点，适应于实时检测；采用编码器对样本上下文信息进行降维，得到样本低维嵌入数据；将样本点的样本上下文信息和标签值输入基检测器序列，根据基检测器序列的输出结果，得到样本性能向量；基检测器序列由多个基检测器组成；根据样本低维嵌入数据和样本性能向量的一一对应关系，建立检测集合；然后，从一维时间序列中提取待预测点，通过滑动窗口提取待预测点的待预测上下文信息；采用编码器对待预测上下文信息进行降维，得到待预测低维嵌入数据；在检测集合中查询待预测低维嵌入数据的多个邻居数据；根据邻居数据的样本性能向量，得到基检测器序列正确检测一维时间序列的概率，从而在实时检测时可以实时获取检测性能最高的基检测器；根据基检测器序列正确检测一维时间序列的概率，得到检测性能最高的基检测器；根据检测性能最高的基检测器，对一维时间序列进行异常检测。因此，本发明实施例可以通过单一模型，对不同类型的一维时间序列进行准确的异常检测。
在其中一个实施例中，采用解码器对待预测低维嵌入数据进行重构，得到重构数据；根据待预测上下文信息和所述重构数据，得到重构误差；若重构误差大于阈值，通过人机交互界面接收待预测上下文信息对应的真实标签，并采用预先设置的标准基检测器对待预测上下文信息的待预测低维嵌入数据进行预测。
在检测的过程中，解码器会对待预测低维嵌入数据进行同时重构，计算每个重构数据与待预测上下文信息之间的重构误差。当重构误差大于预先设置的阈值时，人机交互接口会产生一个标记待预测上下文信息的指令，标记待预测上下文信息后得到待预测上下文信息对应的真实标签，通过人机交互界面接收待预测上下文信息对应的真实标签，减少了标记数据的人工成本。同时采用预先设置的标准基检测器对待预测上下文信息的待预测低维嵌入数据进行预测，在遇到重构误差较大的待预测上下文信息时，以保证一维时间序列异常检测的下限。
在其中一个实施例中,将真实标签和待预测低维嵌入数据进行一一对应后，存储至检测集合。因此，在整个检测过程中，检测集合是在不断的更新的，因此随着时间的推移，本实施例进行异常检测的准确率会越来越高。
真实标签指待预测上下文信息对应的真实标签，将真实标签和待预测低维嵌入数据进行一一对应后，得到带标签的低维嵌入数据，然后存储至检测集合中提高检测集合中的带标签的数据量，减少了标记数据的人工成本。
在其中一个实施例中，根据待预测上下文信息和重构数据，得到重构误差，包括：根据待预测上下文信息和重构数据的均方根误差，得到重构误差为：
Figure 956796DEST_PATH_IMAGE014
其中，
Figure 694945DEST_PATH_IMAGE015
表示均方根误差，
Figure 277236DEST_PATH_IMAGE016
表示待预测上下文信息，
Figure 405729DEST_PATH_IMAGE017
表示重构数据，
Figure 98879DEST_PATH_IMAGE018
表示范数。
将待预测上下文信息和重构数据的均方根误差作为重构误差，对重构误差与预先设置的阈值进行对比，当重构误差大于预先设置的阈值时，人机交互接口会产生一个标记待预测上下文信息的指令来对待预测上下文信息进行标记。
在其中一个实施例中，根据样本低维嵌入数据和样本性能向量的一一对应关系，建立检测集合，包括：
根据样本低维嵌入数据和样本性能向量的一一对应关系，采用KD-Tree算法将样本低维嵌入数据和样本性能向量进行存储，得到检测集合。
该检测集合用来查询待预测低维嵌入数据的多个邻居数据。
在其中一个实施例中，根据邻居数据的样本性能向量，使用如下条件概率公式计算基检测器序列正确检测一维时间序列的概率：
Figure 878485DEST_PATH_IMAGE019
其中，d表示基检测器序列的个数，
Figure 631677DEST_PATH_IMAGE020
表示待预测上下文信息，
Figure 309783DEST_PATH_IMAGE021
表示第d个基检测器正确检测待预测点的概率，
Figure 541044DEST_PATH_IMAGE022
表示性能向量
Figure 191469DEST_PATH_IMAGE023
中第d位的值，K表示邻居数据的个数，j是性能向量的编号。
基检测器序列中多个基检测器，每个基检测器都会对一维时间序列进行检测，计算每个基检测器正确检测一维时间序列的概率，根据上述概率，选择出正确检测一维时间序列的概率最高的基检测器。
在其中一个实施例中，根据所述基检测器序列正确检测所述一维时间序列的概率，使用如下公式选择基检测器中正确检测所述一维时间序列的概率最高基检测器，
Figure 646721DEST_PATH_IMAGE024
其中，
Figure 264653DEST_PATH_IMAGE025
表示检测概率最高的基检测器，
Figure 299605DEST_PATH_IMAGE026
表示基检测器序列，M表示基检测器的总个数。
利用上述性能最好的基检测器对一维时间序列进行异常检测，可以极大的提高正确检测一维时间序列的准确率。
在其中一个实施例中，编码器和所述解码器通过变分自编码器实现。通过集成互相之间能力互补的检测器，能够并提高异常检测的性能。
应该理解的是，虽然图1流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种一维时间序列异常检测装置，包括：样本低维嵌入数据获取模块502、检测集合获取模块504、编码器降维模块506和异常检测模块508，其中：
样本低维嵌入数据获取模块502，用于从一维时间序列中提取样本点；一维时间序列包括多个时间点的采样值；样本点对应一个时间点的采样值和标签值；针对每一个所述样本点，通过滑动窗口提取样本点的样本上下文信息；采用编码器对样本上下文信息进行降维，得到样本低维嵌入数据；
检测集合获取模块504，用于将样本点的样本上下文信息和标签值输入基检测器序列，根据基检测器序列的输出结果，得到样本性能向量；基检测器序列由多个基检测器组成；根据样本低维嵌入数据和样本性能向量的一一对应关系，建立检测集合；
编码器降维模块506，用于从一维时间序列中提取待预测点，通过滑动窗口提取待预测点的待预测上下文信息；采用编码器对待预测上下文信息进行降维，得到待预测低维嵌入数据；
异常检测模块508，用于在检测集合中查询待预测低维嵌入数据的多个邻居数据；根据邻居数据的样本性能向量，得到基检测器序列正确检测一维时间序列的概率；根据基检测器序列正确检测一维时间序列的概率，得到检测性能最高的基检测器；根据检测性能最高的基检测器，对一维时间序列进行异常检测。
在其中一个实施例中，检测集合获取模块504还用于根据样本低维嵌入数据和样本性能向量的一一对应关系，采用KD-Tree算法将样本低维嵌入数据和样本性能向量进行存储，得到检测集合。
在其中一个实施例中，异常检测模块508还用于根据邻居数据的样本性能向量，使用如下条件概率公式计算基检测器序列正确检测一维时间序列的概率：
Figure 804536DEST_PATH_IMAGE027
其中，d表示基检测器序列的个数，
Figure 633951DEST_PATH_IMAGE028
表示待预测上下文信息，
Figure 286650DEST_PATH_IMAGE029
表示第d个基检测器正确检测待预测点的概率，
Figure 374560DEST_PATH_IMAGE030
表示性能向量
Figure 468418DEST_PATH_IMAGE031
中第d位的值，K表示邻居数据的个数，j是性能向量的编号。
在其中一个实施例中，异常检测模块508还用于根据所述基检测器序列正确检测所述一维时间序列的概率，使用如下公式选择基检测器中正确检测所述一维时间序列的概率最高基检测器，
Figure 734314DEST_PATH_IMAGE032
其中，
Figure 608729DEST_PATH_IMAGE033
表示检测概率最高的基检测器，
Figure 251063DEST_PATH_IMAGE034
表示基检测器序列，M表示基检测器的总个数。
在一个实施例中，一种一维时间序列异常检测装置还包括解码模块，用于采用解码器对待预测低维嵌入数据进行重构，得到重构数据；根据待预测上下文信息和重构数据，得到重构误差；若重构误差大于阈值，通过人机交互界面接收待预测上下文信息对应的真实标签，并采用预先设置的标准基检测器对待预测上下文信息的待预测低维嵌入数据进行预测。
在其中一个实施例中，解码模块还用于将真实标签和待预测低维嵌入数据进行一一对应后，存储至检测集合。
在其中一个实施例中，解码模块还用于根据待预测上下文信息和重构数据，得到重构误差，包括：根据待预测上下文信息和重构数据的均方根误差，得到重构误差为：
Figure 714275DEST_PATH_IMAGE035
其中，
Figure 947810DEST_PATH_IMAGE036
表示均方根误差，
Figure 247204DEST_PATH_IMAGE037
表示待预测上下文信息，
Figure 427650DEST_PATH_IMAGE038
表示重构数据，
Figure 558417DEST_PATH_IMAGE039
表示范数。
关于一种一维时间序列异常检测装置的具体限定可以参见上文中对于一种一维时间序列异常检测方法的限定，在此不再赘述。上述一维时间序列异常检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种一维时间序列异常检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种一维时间序列异常检测方法，其特征在于，所述方法包括：
从一维时间序列中提取样本点；所述一维时间序列包括多个时间点的采样值；所述样本点对应一个时间点的采样值和标签值；
针对每一个所述样本点，通过滑动窗口提取所述样本点的样本上下文信息；
采用编码器对所述样本上下文信息进行降维，得到样本低维嵌入数据；
将样本点的所述样本上下文信息和所述标签值输入基检测器序列，根据基检测器序列的输出结果，得到样本性能向量；所述基检测器序列由多个基检测器组成；
根据所述样本低维嵌入数据和所述样本性能向量的一一对应关系，建立检测集合；
从一维时间序列中提取待预测点，通过滑动窗口提取所述待预测点的待预测上下文信息；
采用编码器对所述待预测上下文信息进行降维，得到待预测低维嵌入数据；
在所述检测集合中查询所述待预测低维嵌入数据的多个邻居数据；
根据所述邻居数据的样本性能向量，得到基检测器序列正确检测所述一维时间序列的概率；
根据所述基检测器序列正确检测所述一维时间序列的概率，得到检测性能最高的基检测器；
根据所述检测性能最高的基检测器，对所述一维时间序列进行异常检测。
2.根据权利要求1所述的方法，其特征在于，还包括：
采用解码器对所述待预测低维嵌入数据进行重构，得到重构数据；
根据所述待预测上下文信息和所述重构数据，得到重构误差；
若所述重构误差大于阈值，通过人机交互界面接收所述待预测上下文信息对应的真实标签，并采用预先设置的标准基检测器对所述待预测上下文信息的待预测低维嵌入数据进行预测。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
将所述真实标签和所述待预测低维嵌入数据进行一一对应后，存储至所述检测集合。
4.根据权利要求2所述的方法，其特征在于，所述根据所述待预测上下文信息和所述重构数据，得到重构误差，包括：
根据所述待预测上下文信息和所述重构数据的均方根误差，得到重构误差为：
Figure 802517DEST_PATH_IMAGE001
其中，
Figure 922920DEST_PATH_IMAGE002
表示均方根误差，
Figure 171499DEST_PATH_IMAGE003
表示待预测上下文信息，
Figure 832287DEST_PATH_IMAGE004
表示重构数据，
Figure 849922DEST_PATH_IMAGE005
表示范数。
5.根据权利要求1所述的方法，其特征在于，根据所述样本低维嵌入数据和所述样本性能向量的一一对应关系，建立检测集合，包括：
根据所述样本低维嵌入数据和所述样本性能向量的一一对应关系，采用KD-Tree算法将所述样本低维嵌入数据和所述样本性能向量进行存储，得到检测集合。
6.根据权利要求1所述的方法，其特征在于，根据所述邻居数据的样本性能向量，得到基检测器序列正确检测所述一维时间序列的概率，包括：
根据所述邻居数据的样本性能向量，使用如下条件概率公式计算基检测器序列正确检测所述一维时间序列的概率：
Figure 390493DEST_PATH_IMAGE006
其中，d表示基检测器序列的个数，
Figure 923106DEST_PATH_IMAGE007
表示待预测上下文信息，
Figure 590847DEST_PATH_IMAGE008
表示第d个基检测器正确检测待预测点的概率，
Figure 462989DEST_PATH_IMAGE009
表示性能向量
Figure 721932DEST_PATH_IMAGE010
中第d位的值，K表示所述邻居数据的个数，
Figure 945103DEST_PATH_IMAGE011
是所述性能向量的编号。
7.根据权利要求1所述的方法，其特征在于，根据所述基检测器序列正确检测所述一维时间序列的概率，得到检测性能最高的基检测器，包括：
根据所述基检测器序列正确检测所述一维时间序列的概率，使用如下公式选择基检测器中正确检测所述一维时间序列的概率最高基检测器，
Figure 134644DEST_PATH_IMAGE012
其中，
Figure 126871DEST_PATH_IMAGE013
表示检测概率最高的基检测器，
Figure 822295DEST_PATH_IMAGE014
表示基检测器序列，M表示所述基检测器的总个数。
8.根据权利要求2至4任一项所述的方法，其特征在于，所述编码器和所述解码器通过变分自编码器实现。
9.一种一维时间序列异常检测装置，其特征在于，所述装置包括：
样本低维嵌入数据获取模块，用于从一维时间序列中提取样本点；所述一维时间序列包括多个时间点的采样值；所述样本点对应一个时间点的采样值和标签值；针对每一个所述样本点，通过滑动窗口提取所述样本点的样本上下文信息；采用编码器对所述样本上下文信息进行降维，得到样本低维嵌入数据；
检测集合获取模块，用于将样本点的所述样本上下文信息和所述标签值输入基检测器序列，根据基检测器序列的输出结果，得到样本性能向量；所述基检测器序列由多个基检测器组成；根据所述样本低维嵌入数据和所述样本性能向量的一一对应关系，建立检测集合；
编码器降维模块，用于从一维时间序列中提取待预测点，通过滑动窗口提取所述待预测点的待预测上下文信息；采用编码器对所述待预测上下文信息进行降维，得到待预测低维嵌入数据；
异常检测模块，用于在所述检测集合中查询所述待预测低维嵌入数据的多个邻居数据；根据所述邻居数据的样本性能向量，得到基检测器序列正确检测所述一维时间序列的概率；根据所述基检测器序列正确检测所述一维时间序列的概率，得到检测性能最高的基检测器；根据所述检测性能最高的基检测器，对所述一维时间序列进行异常检测。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
CN202110821949.8A 2021-07-21 2021-07-21 一种一维时间序列异常检测方法、装置及计算机设备 Active CN113268372B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110821949.8A CN113268372B (zh) 2021-07-21 2021-07-21 一种一维时间序列异常检测方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110821949.8A CN113268372B (zh) 2021-07-21 2021-07-21 一种一维时间序列异常检测方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN113268372A true CN113268372A (zh) 2021-08-17
CN113268372B CN113268372B (zh) 2021-09-24

Family

ID=77236896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110821949.8A Active CN113268372B (zh) 2021-07-21 2021-07-21 一种一维时间序列异常检测方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN113268372B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106527756A (zh) * 2016-10-26 2017-03-22 长沙军鸽软件有限公司 一种对输入信息进行智能纠错的方法及装置
US20170109630A1 (en) * 2015-10-14 2017-04-20 International Business Machines Corporation Anomaly detection model selection and validity for time series data
CN106997474A (zh) * 2016-12-29 2017-08-01 南京邮电大学 一种基于深度学习的图节点多标签分类方法
CN107133343A (zh) * 2017-05-19 2017-09-05 哈工大大数据产业有限公司 基于时间序列近似匹配的大数据异常状态检测方法及装置
EP3401789A1 (en) * 2017-05-09 2018-11-14 Skyline Communications NV Anomaly detection in time series
CN109032829A (zh) * 2018-07-23 2018-12-18 腾讯科技（深圳）有限公司 数据异常检测方法、装置、计算机设备及存储介质
US20190155672A1 (en) * 2017-11-17 2019-05-23 Google Llc Real-time anomaly detection and correlation of time-series data
CN111177224A (zh) * 2019-12-30 2020-05-19 浙江大学 一种基于条件式规整化流模型的时间序列无监督异常检测方法
CN111931868A (zh) * 2020-09-24 2020-11-13 常州微亿智造科技有限公司 时间序列数据异常检测方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170109630A1 (en) * 2015-10-14 2017-04-20 International Business Machines Corporation Anomaly detection model selection and validity for time series data
CN106527756A (zh) * 2016-10-26 2017-03-22 长沙军鸽软件有限公司 一种对输入信息进行智能纠错的方法及装置
CN106997474A (zh) * 2016-12-29 2017-08-01 南京邮电大学 一种基于深度学习的图节点多标签分类方法
EP3401789A1 (en) * 2017-05-09 2018-11-14 Skyline Communications NV Anomaly detection in time series
CN107133343A (zh) * 2017-05-19 2017-09-05 哈工大大数据产业有限公司 基于时间序列近似匹配的大数据异常状态检测方法及装置
US20190155672A1 (en) * 2017-11-17 2019-05-23 Google Llc Real-time anomaly detection and correlation of time-series data
CN109032829A (zh) * 2018-07-23 2018-12-18 腾讯科技（深圳）有限公司 数据异常检测方法、装置、计算机设备及存储介质
CN111177224A (zh) * 2019-12-30 2020-05-19 浙江大学 一种基于条件式规整化流模型的时间序列无监督异常检测方法
CN111931868A (zh) * 2020-09-24 2020-11-13 常州微亿智造科技有限公司 时间序列数据异常检测方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHIYANG ZHAO: "《Research on Time Series Anomaly Detection Algorithm and Application》", 《2019 IEEE 4TH ADVANCED INFORMATION TECHNOLOGY, ELECTRONIC AND AUTOMATION CONTROL CONFERENCE (IAEAC 2019)》 *
王思齐: "《智能视频异常事件检测方法综述》", 《计算机工程与科学》 *

Also Published As

Publication number Publication date
CN113268372B (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN111667011B (zh) 损伤检测模型训练、车损检测方法、装置、设备及介质
US11176015B2 (en) Log message analysis and machine-learning based systems and methods for predicting computer software process failures
US11243524B2 (en) System and method for unsupervised root cause analysis of machine failures
CN109285105A (zh) 水印检测方法、装置、计算机设备和存储介质
CN110162972B (zh) 一种基于语句联合编码深度神经网络的uaf漏洞检测方法
CN113284000B (zh) 用户用电数据异常检测方法、装置、计算机设备
CN111897695A (zh) 获取kpi异常数据样本的方法、装置和计算机设备
CN111679953B (zh) 基于人工智能的故障节点识别方法、装置、设备和介质
CN114553681B (zh) 设备状态异常检测方法、装置和计算机设备
CN116167370A (zh) 基于日志时空特征分析的分布式***异常检测方法
CN117873839A (zh) 复杂算力***的故障检测方法、装置、设备和存储介质
CN109086186B (zh) 日志检测方法及装置
CN113268372B (zh) 一种一维时间序列异常检测方法、装置及计算机设备
CN112507059B (zh) 金融领域舆情监控中的事件抽取方法、装置和计算机设备
CN113962304A (zh) 一种多层同时智能地震层位解释方法及***
CN112749539B (zh) 文本匹配方法、装置、计算机可读存储介质和计算机设备
CN117540114A (zh) 基于大数据挖掘的公路数据查询方法及***
CN117454190A (zh) 日志数据分析方法和装置
CN114401205B (zh) 无标注多源网络流量数据漂移检测方法和装置
CN114242196B (zh) 临床医疗记录自动生成方法和装置
Ung et al. Leverage Samples with Single Positive Labels to Train CNN-based Models For Multi-label Plant Species Prediction.
CN111078984B (zh) 网络模型发布方法、装置、计算机设备和存储介质
CN116956174B (zh) 用于进行冷头状态分类检测和寿命预测的分类模型和预测模型的生成方法
CN113905405A (zh) 一种电力无线接入专网异常流量检测方法
CN114356743B (zh) 一种基于序列重建的异常事件自动检测方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant