CN111984503A - 一种监控指标数据异常数据识别的方法及装置 - Google Patents

一种监控指标数据异常数据识别的方法及装置 Download PDF

Info

Publication number
CN111984503A
CN111984503A CN202010824430.0A CN202010824430A CN111984503A CN 111984503 A CN111984503 A CN 111984503A CN 202010824430 A CN202010824430 A CN 202010824430A CN 111984503 A CN111984503 A CN 111984503A
Authority
CN
China
Prior art keywords
index data
data
value
determining
historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010824430.0A
Other languages
English (en)
Other versions
CN111984503B (zh
Inventor
蒋龙威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wangsu Science and Technology Co Ltd
Original Assignee
Wangsu Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wangsu Science and Technology Co Ltd filed Critical Wangsu Science and Technology Co Ltd
Priority to CN202010824430.0A priority Critical patent/CN111984503B/zh
Publication of CN111984503A publication Critical patent/CN111984503A/zh
Application granted granted Critical
Publication of CN111984503B publication Critical patent/CN111984503B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3037—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a memory, e.g. virtual memory, cache
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明公开了一种监控指标数据异常数据识别的方法及装置，包括：获取当前时刻的指标数据，并根据在预设周期内的历史指标数据，确定指标数据的预测区间，然后根据预测区间和当前时刻的指标数据，确定出指标数据的波动值。当波动值不符合波动阈值时，确定指标数据为问题数据，其中，波动阈值是根据指标数据和当前时刻的前第一时段内的历史指标数据对比得到的。若当前时刻的指标数据稳定，则将问题数据确定为异常数据。实现了根据历史指标数据对当前时刻的指标数据进行识别，提高了告警准确性高，并根据当前时刻的指标数据稳定性确定问题数据确定为异常数据，以提高识别异常数据的准确性，减少数据增量或数据切量造成的误报。

Description

一种监控指标数据异常数据识别的方法及装置
技术领域
本发明涉及运维领域，尤其涉及一种监控指标数据异常数据识别的方法及装置。
背景技术
现有技术中，运维数据规模大，爆发增长，监控指标类别增多，如：***指标(如内存使用过载等)、业务指标，然而指标特征多而繁杂，指标特征包括的内容越来越丰富，如：趋势稳定、周期性变化、波动大等。
在针对监控指标的技术上，现有技术是通过传统人工经验设定阈值方式，实现对指标数据的监控，通过超过阈值就产生告警的方式，通知用户。
然而上述方法的验证周期长，维护成本高，且导致告警量大且漏报误报，使得监控预警准确率和覆盖率低下，无法及时准确发现和解决故障，容易产生投诉，因此，亟需一种监控指标数据异常数据识别的方法，提高告警准确性高，减少告警量。
发明内容
本发明实施例提供一种监控指标数据异常数据识别的方法及装置，用于实现在设置指标数据的阈值之后对指标数据中异常数据的识别，不需要人工设定阈值，并提高识别异常数据的准确性，减少数据增量或数据切量造成的误报。
第一方面，本发明实施例提供，包括：
获取当前时刻的指标数据；
根据在预设周期内的历史指标数据，确定所述指标数据的预测区间；
根据所述预测区间和当前时刻的所述指标数据，确定出所述指标数据的波动值；
当所述波动值不符合波动阈值时，确定所述指标数据为问题数据；所述波动阈值是根据所述指标数据和当前时刻的前第一时段内的历史指标数据对比得到的；
若当前时刻的所述指标数据稳定，则将所述问题数据确定为异常数据；所述指标数据的稳定情况是根据所述指标数据的当前时刻的前第二时段内的历史指标数据确定的。
上述技术方案中，根据确定出的预设周期内的历史指标数据，得到当前时刻的指标数据的预测区间，然后根据预测区间得到第一指标的波动值以及对应的波动阈值，确定出当前时刻的指标数据是否为问题数据，根据历史指标数据实现对当前时刻的指标数据进行确定，由此可以针对不同类型的监控指标进行指标数据识别，根据当前时刻的指标数据与当前时刻的前第一时段内的历史指标数据进行对比得到波动阈值，可以实时的得到当前时刻的指标数据对应的波动阈值，提高了告警准确性高，又根据当前时刻的指标数据的稳定情况确定问题数据为异常数据，以提高识别异常数据的准确性，减少数据增量或数据切量造成的误报。
可选的，所述根据在预设周期内的历史指标数据，确定所述指标数据的预测区间，包括：
根据高斯函数计算删减所述历史指标数据中的异常值，以得到历史指标数据的均值；并从所述历史指标数据的均值中确定出第一样本集和第二样本集；
根据DTW算法计算出所述第一样本集和所述第二样本集的相似度，若所述相似度小于第一阈值，则将所述历史指标数据的均值输入至LSTM神经网络模型进行预测，得到预测值；并将所述预测值根据区间估计算法得到所述预测区间；
若所述相似度不小于第一阈值，则将所述历史指标数据进行差分检测计算，得到第三样本集；将所述第三样本集进行高斯函数计算，删减所述第三样本集中的异常值，得到第四样本集；确定所述第四样本集的均值与标准差，并根据区间估计算法确定出所述预测区间。
上述技术方案中，根据对历史指标数据进行去除异常值，以得到历史指标数据的均值中的第一样本集和第二样本集，并根据判断第一样本集和第二样本集周期性的方式确定历史指标数据的均值是否存在周期性，若存在，则根据LSTM神经网络模型确定出当前指标数据对应的预测区间，否则根据差分变点检测识别出历史指标数据的均值中的存在周期性的数据，进而得到预测区间，以此增加指标数据的稳定性，减小历史指标数据中的异常数据带来的数据误差，提高了监控指标数据异常数据识别的准确性。
可选的，所述波动值包括增幅值和降幅值；
所述根据所述预测区间和当前时刻的所述指标数据，确定出所述指标数据的波动值，包括：
若所述指标数据大于所述预测区间的上限值，则根据所述指标数据与所述预测区间的上限值和均值确定出所述指标数据的增幅值；
若所述指标数据小于所述预测区间的下限值，则根据所述指标数据与所述预测区间的下限值和均值确定出所述指标数据的降幅值。
上述技术方案中，增幅值包括第一增幅值和第二增幅值，降幅值包括第一降幅值和第二降幅值。若指标数据大于预测区间的上限值，则将指标数据与预测区间的上限值之间的差值和预测区间的上限值的比值，确定为指标数据的第一增幅值。将指标数据与预测区间的均值之间的差值和预测区间的均值的比值，确定为指标数据的第二增幅。
若指标数据小于预测区间的下限值，则将指标数据与预测区间的下限值之间的差值和预测区间的下限值的比值，确定为指标数据的第一降幅值；将指标数据与预测区间的均值之间的差值和预测区间的均值的比值，确定为指标数据的第二降幅值。根据得到的预测区间，计算当前时刻的指标数据的波动值，以减少指标数据的波动值的误差，提高了监控指标数据异常数据识别的准确性。
可选的，波动阈值包括增幅区间和降幅区间；
根据所述指标数据和当前时刻的前第一时段内的指标历史数据对比得到所述波动阈值，包括：
将所述当前时刻的前第一时段内的历史指标数据中各数据与所述预测区间的均值和最大值之间大于0的差值确定为增幅集；并对所述增幅集进行箱型运算，确定出所述增幅区间；
将所述当前时刻的前第一时段内的历史指标数据中各数据与所述预测区间的均值和最小值之间小于0的差值，确定为降幅集；并对所述降幅集进行箱型运算，确定出所述降幅区间。
上述技术方案中，增幅区间包括第一增幅区间和第二增幅区间，降幅区间包括第一降幅区间和第二降幅区间；
将当前时刻的前第一时段内的历史指标数据中各数据与预测区间的最大值之间大于0的差值，确定为第一增幅集，并对第一增幅集进行箱型运算，确定出第一增幅区间。
将当前时刻的前第一时段内的历史指标数据中各数据与预测区间的均值之间大于0的差值，确定为第二增幅集，并对第二增幅集进行箱型运算，确定出第二增幅区间。
将当前时刻的前第一时段内的历史指标数据中各数据与预测区间的最小值之间小于0的差值，确定为第一降幅集，并对第一降幅集进行箱型运算，确定出第一降幅区间。
将当前时刻的前第一时段内的历史指标数据中各数据与预测区间的均值之间小于0的差值，确定为第二降幅集，并对第二降幅集进行箱型运算，确定出第二降幅区间。
根据当前时刻的指标数据对应的预测区间，以及当前时刻之前的预设时段内的历史数据得到波动阈值，以增加当前时刻的指标数据的实时性，提高了当前时刻的指标数据的波动值与波动阈值的准确性，进而提高了监控指标数据异常数据识别的准确性。
可选的，所述当所述波动值不符合波动阈值时，确定所述指标数据为问题数据，包括：
若所述指标数据的增幅值大于所述增幅区间的上限值，则确定所述指标数据为所述问题数据；或
若所述指标数据的降幅值小于所述降幅区间的下限值，则确定所述指标数据为所述问题数据。
上述技术方案中，若指标数据的第一增幅值大于第一增幅区间的上限值且第二增幅值大于第二增幅区间的上限值，则确定指标数据为问题数据；或
若指标数据的第一降幅值小于第一降幅区间的下限值且第二降幅值小于第二降幅区间的下限值，则确定指标数据为问题数据。通过两个区间的阈值对当前时刻的指标数据进行判定，提高了监控指标数据异常数据识别的准确性。
可选的，根据所述指标数据的当前时刻前第二时段内的历史指标数据确定所述指标数据的稳定情况，包括：
确定出所述指标数据位于所述当前时刻前第二时段内的历史指标数据；
根据所述当前时刻前第二时段内的历史指标数据，确定极差比与方差；所述极差比是根据所述当前时刻前第二时段内的历史指标数据的均值和极小值之间的差值与所述当前时刻前第二时段内的历史指标数据的极大值和所述极小值之间的差值的比值确定的；
若确定所述极差比小于第二阈值且所述方差小于第三阈值，则确定当前时刻的所述指标数据稳定；
若确定所述极差比不小于第二阈值和/或所述方差不小于第三阈值，则确定当前时刻的所述指标数据不稳定。
上述技术方案中，通过确定当前时刻的数据是否稳定，确定当前时刻的指标数据是否处于数据稳定的状态中，若是，则判断当前问题数据的波动不正常，属于异常数据，否则，判断当前问题数据也处于波动不稳定的状态，不属于异常数据，以此实现减少异常数据识别误差，提高了监控指标数据异常数据识别的准确性。
可选的，确定出所述异常数据之后，还包括：
若确定在预设时段内，所述异常数据的数量达到第四阈值，则将告警信息发送至终端，以使所述终端根据所述告警信息进行告警。
上述技术方案中，根据设置阈值的方式进行告警，将预设时段内多次产生数据波动的情况对用户告警，不会产生一次波动就进行告警，可以避免为用户造成不必要的麻烦，减少告警量。
第二方面，本发明实施例提供一种监控指标数据异常数据识别的装置，包括：
获取模块，用于获取当前时刻的指标数据；
处理模块，用于根据在预设周期内的历史指标数据，确定所述指标数据的预测区间；
根据所述预测区间和当前时刻的所述指标数据，确定出所述指标数据的波动值；
当所述波动值不符合波动阈值时，确定所述指标数据为问题数据；所述波动阈值是根据所述指标数据和当前时刻的前第一时段内的历史指标数据对比得到的；
若当前时刻的所述指标数据稳定，则将所述问题数据确定为异常数据；所述指标数据的稳定情况是根据所述指标数据的当前时刻的前第二时段内的历史指标数据确定的。
可选的，所述处理模块具体用于：
根据高斯函数计算删减所述历史指标数据中的异常值，以得到历史指标数据的均值；并从所述历史指标数据的均值中确定出第一样本集和第二样本集；
根据DTW算法计算出所述第一样本集和所述第二样本集的相似度，若所述相似度小于第一阈值，则将所述历史指标数据的均值输入至LSTM神经网络模型进行预测，得到预测值；并将所述预测值根据区间估计算法得到所述预测区间；
若所述相似度不小于第一阈值，则将所述历史指标数据进行差分检测计算，得到第三样本集；将所述第三样本集进行高斯函数计算，删减所述第三样本集中的异常值，得到第四样本集；确定所述第四样本集的均值与标准差，并根据区间估计算法确定出所述预测区间。
可选的，所述波动值包括增幅值和降幅值；
所述处理模块具体用于：
若所述指标数据大于所述预测区间的上限值，则根据所述指标数据与所述预测区间的上限值和均值确定出所述指标数据的增幅值；
若所述指标数据小于所述预测区间的下限值，则根据所述指标数据与所述预测区间的下限值和均值确定出所述指标数据的降幅值。
可选的，波动阈值包括增幅区间和降幅区间；
所述处理模块具体用于：
将所述当前时刻的前第一时段内的历史指标数据中各数据与所述预测区间的均值和最大值之间大于0的差值确定为增幅集；并对所述增幅集进行箱型运算，确定出所述增幅区间；
将所述当前时刻的前第一时段内的历史指标数据中各数据与所述预测区间的均值和最小值之间小于0的差值，确定为降幅集；并对所述降幅集进行箱型运算，确定出所述降幅区间。
可选的，所述处理模块具体用于：
若所述指标数据的增幅值大于所述增幅区间的上限值，则确定所述指标数据为所述问题数据；或
若所述指标数据的降幅值小于所述降幅区间的下限值，则确定所述指标数据为所述问题数据。
可选的，所述处理模块具体用于：
确定出所述指标数据位于所述当前时刻前第二时段内的历史指标数据；
根据所述当前时刻前第二时段内的历史指标数据，确定极差比与方差；所述极差比是根据所述当前时刻前第二时段内的历史指标数据的均值和极小值之间的差值与所述当前时刻前第二时段内的历史指标数据的极大值和所述极小值之间的差值的比值确定的；
若确定所述极差比小于第二阈值且所述方差小于第三阈值，则确定当前时刻的所述指标数据稳定；
若确定所述极差比不小于第二阈值和/或所述方差不小于第三阈值，则确定当前时刻的所述指标数据不稳定。
可选的，所述处理模块还用于：
若确定在预设时段内，所述异常数据的数量达到第四阈值，则将告警信息发送至终端，以使所述终端根据所述告警信息进行告警。
第三方面，本发明实施例还提供一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述监控指标数据异常数据识别的方法。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述监控指标数据异常数据识别的方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种***架构示意图；
图2为本发明实施例提供的一种监控指标数据异常数据识别的方法的流程示意图；
图3为本发明实施例提供的一种监控指标数据异常数据识别的方法的示意图；
图4为本发明实施例提供的一种监控指标数据异常数据识别的装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1示例性的示出了本发明实施例所适用的一种***架构，该***架构包括服务器100，该服务器100可以包括处理器110、通信接口120和存储器130。
其中，通信接口120用于进行历史指标数据的传输。
处理器110是服务器100的控制中心，利用各种接口和路线连接整个服务器100的各个部分，通过运行或执行存储在存储器130内的软件程序/或模块，以及调用存储在存储器130内的数据，执行服务器100的各种功能和处理数据。可选地，处理器110可以包括一个或多个处理单元。
存储器130可用于存储软件程序以及模块，处理器110通过运行存储在存储器130的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器130可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序等；存储数据区可存储根据业务处理所创建的数据等。此外，存储器130可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
需要说明的是，上述图1所示的结构仅是一种示例，本发明实施例对此不做限定。
基于上述描述，图2示例性的示出了本发明实施例提供的一种监控指标数据异常数据识别的方法的流程，该流程可由监控指标数据异常数据识别的装置执行。
如图2所示，该流程具体包括：
步骤201，获取当前时刻的指标数据。
本发明实施例，通过对获取的当前时刻的指标数据进行识别，不区分指标数据的类型，适合于不同量级的指标数据进行识别，例如比率(0到1之间)、带宽(10的n次方)等。
步骤202，根据在预设周期内的历史指标数据，确定所述指标数据的预测区间。
本发明实施例，根据当前时刻的历史指标数据可以得到当前时刻的指标数据对应的预测区间，例如当前时刻为19点27分，则获取预设周期内的30天中，每天的19点00分到19点27，根据当前时刻的前30天中的每天的19点00分到19点27的历史指标数据得到当前时刻的指标数据的预测区间，其中预设周期是可以依据经验设置的值，例如可以取值45天、60天等。
进一步地，根据高斯函数计算删减历史指标数据中的异常值，以得到历史指标数据的均值，并从历史指标数据的均值中确定出第一样本集和第二样本集。然后根据DTW算法计算出第一样本集和第二样本集的相似度，若相似度小于第一阈值，则将历史指标数据的均值输入至LSTM神经网络模型进行预测，得到预测值；并将预测值根据区间估计算法得到预测区间。若相似度不小于第一阈值，则将历史指标数据进行差分检测计算，得到第三样本集，并将第三样本集进行高斯函数计算，删减第三样本集中的异常值，得到第四样本集，确定第四样本集的均值与标准差，并根据区间估计算法确定出预测区间。
本发明实施例，通过对每天的历史指标数据进行异常值删减并求平均值，得到每天的样本数据(即每天中异常值删减后的历史指标数据的均值)，根据设周期内的所有的样本数据得到两个样本集(即第一样本集和第二样本集)，然后确定这两个样本集的相似度，由此确定所有的样本数据是否具有周期性，若是，则直接根据所有的样本数据通过LSTM神经网络模型得到当前时刻的指标数据的预测区间，若否，则现根据差分变点检测计算出所有的样本数据中具有周期性的数据，进而得到具有周期性的第三样本集，再删减第三样本集中的异常值，得到第四样本集，然后根据第四样本集通过高斯分布的区间估计算法得到当前时刻的指标数据的预测区间。其中，LSTM神经网络模型是根据当前时刻之前的预设历史指标数据进行训练学习得到的。
例如，确定出当前时刻之前的30天中每天15点1分到15点10分的历史指标数据，其中时间序列为1分钟，即每天15点1分到15点10分共有10个历史指标数据，30天共计300个历史指标数据。然后以每天的10个历史指标数据为单位进行高斯函数计算，删减掉10个历史指标数据中的异常值，再将剩余的历史指标数据求均值，作为该天的样本数据，最后生成含有30个样本数据的样本集A。然后将样本集A分为第一样本集B和第二样本集C，将第一样本集B和第二样本集C进行DTW算法，计算出第一样本集B和第二样本集C的相似度，若相似度小于第一阈值，则样本集A具有周期性，反之不具有周期性。
在样本集A具有周期性时，将样本集A输入LSTM神经网络模型生成预测值，然后将预测值作为样本集A的均值，进行区间估计算法，得到当前时刻的指标数据对应的预测区间。
在样本集A不具有周期性时，对样本集A进行差分变点检测计算，计算出样本集A中的两两指标数据之间的斜率，当斜率绝对值高于阈值c，且持续多次，则确定在样本集A中该指标数据产生增量数据或切量数据，从而将该指标数据过滤掉，得到第三样本集E，然后再对第三样本集E进行高斯函数计算，删减异常值，得到第四样本集F，再计算出第四样本集F的均值与方差，然后根据区间估计算法确定出当前时刻的指标数据对应的预测区间。
需要说明的是，高斯函数删减异常值指删减在样本集中过大或者过小的值，如有a个样本，若数据不满足下述公式，则为异常数据，进行删减。
μ-ε2*σ<xi<μ-ε1*σ；
其中σ为样本标准差，μ为样本集的均值，ε为根据经验设定的权重。
DTW算法是用于衡量两个长度不一致时间序列的相似度。例如，两个时间序列G＝{a1,a2,a3,…,an}和H＝{b1,b2,b3,…,bm}，长度分别是n和m，构建大小为n*m的矩阵I，矩阵元素dij＝dist(ai,bj)，然后在矩阵I中搜索从d11到dnm的最短路径在dij位置，将矩阵I中从d11到dnm的最短距离作为矩阵I和时间序列G的相似度，距离越短，越相似，即相似度越小，越相似。
差分变点检测算法是通过对于时间序列中的值逐次计算两两数据之间的比值，若比值的绝对值大于阈值，则确定指标数据的数据量级发生变化。
其中，区间估计算法需要满足下述公式。
Figure BDA0002635650300000121
其中，μ为均值，σ为标准差为，置信度为95％。置信度是可以依据经验设置的值，例如可以取值90％、85％等。
为了更好的描述上述技术方案，下面将在具体的实例中进行描述。
实例1
如图3所示，图3示例性的示出了一种监控指标数据异常数据识别的方法的示意图，具体步骤如下：
步骤301，删减异常值。
获取当前时刻之前的28天中每天15点1分到15点10分的历史指标数据，共计280个样本。然后对每天的10个历史指标数据，通过高斯函数删减每天的10个样本数据中的异常值。
步骤302，确定出样本集。
对删减异常值后的每天的历史指标数据求平均值，得到每天的样本数据，然后确定出含有28个样本集J。
步骤303，判断是否存在周期性，若是执行步骤304，否则执行步骤305。
步骤304，生成预测值。
对于有周期性的样本集J，将样本集J输入至LSTM训练模型中，得到预测值，作为样本集J的均值代入区间估计算法，生成预测区间[Y1，Y2]。
步骤305，计算预测值。
对于不具有周期性的样本集合F，通过差分变点检测计算得到一个具有周期性的第三样本集K，然后根据高斯函数计算删减第三样本集K中的异常值，得到第四样本集L，求出第四样本集L的均值，通过区间估计算法生成预测区间[Y3，Y4]。
步骤203，根据所述预测区间和当前时刻的所述指标数据，确定出所述指标数据的波动值。
本发明实施例，波动值包括增幅值和降幅值。
进一步地，若指标数据大于预测区间的上限值，则根据指标数据与预测区间的上限值和均值确定出指标数据的增幅值。
若指标数据小于预测区间的下限值，则根据指标数据与预测区间的下限值和均值确定出指标数据的降幅值。
本发明实施例，增幅值包括第一增幅值和第二增幅值，降幅值包括第一降幅值和第二降幅值。
若指标数据大于预测区间的上限值，则将指标数据与预测区间的上限值之间的差值和预测区间的上限值的比值，确定为指标数据的第一增幅值。将指标数据与预测区间的均值之间的差值和预测区间的均值的比值，确定为指标数据的第二增幅。
若指标数据小于预测区间的下限值，则将指标数据与预测区间的下限值之间的差值和预测区间的下限值的比值，确定为指标数据的第一降幅值；将指标数据与预测区间的均值之间的差值和预测区间的均值的比值，确定为指标数据的第二降幅值。
根据当前时刻的指标数据的预测区间的上下限值可以确定出当前时刻的指标数据的第一增幅值、第一降幅值、第二增幅值和第二降幅值。
例如，若当前时刻的指标数据为25，预测区间为10-20，则当前时刻的指标数据为20大于预测区间的上限值，确定指标数据的第一增幅值为(25-20)/20＝25％，第二增幅值为(25-15)/15＝66.6％。
示例性的，若当前时刻的指标数据存在于对应的预测区间内，则认为该指标数据为无异常的数据，不再进行幅值计算，同样的，也可以通过设置阈值，放大预测区间，得到第二预测区间，若指标数据存在于第二预测区间内，也认为该指标数据为无异常的数据。例如，指标数据T对应的预测区间为[Y5，Y6]，现将预测区间的最小值和最大值同时扩大10，则指标数据T对应的第二预测区间为[Y5-10，Y6+10]，或将预测区间扩大1.2倍，则指标数据T对应的二预测区间为[Y5/1.2，Y6*1.2]，若指标数据的大小T大于对应的第二预测区间的最小值且小于对应的第二预测区间的最大值，则确定指标数据T为无异常的数据。
步骤204，当所述波动值不符合波动阈值时，确定所述指标数据为问题数据。
本发明实施例中，波动阈值是根据指标数据和当前时刻的前第一时段内的历史指标数据对比得到的，波动阈值包括增幅区间和降幅区间。
具体的，将当前时刻的前第一时段内的历史指标数据中各数据与预测区间的均值和最大值之间大于0的差值确定为增幅集，并对增幅集进行箱型运算，确定出增幅区间。
将当前时刻的前第一时段内的历史指标数据中各数据与预测区间的均值和最小值之间小于0的差值，确定为降幅集，并对降幅集进行箱型运算，确定出降幅区间。
进一步地，增幅区间包括第一增幅区间和第二增幅区间，降幅区间包括第一降幅区间和第二降幅区间。
将当前时刻的前第一时段内的历史指标数据中各数据与预测区间的最大值之间大于0的差值，确定为第一增幅集，并对第一增幅集进行箱型运算，确定出第一增幅区间。
将当前时刻的前第一时段内的历史指标数据中各数据与预测区间的均值之间大于0的差值，确定为第二增幅集，并对第二增幅集进行箱型运算，确定出第二增幅区间。
将当前时刻的前第一时段内的历史指标数据中各数据与预测区间的最小值之间小于0的差值，确定为第一降幅集，并对第一降幅集进行箱型运算，确定出第一降幅区间。
将当前时刻的前第一时段内的历史指标数据中各数据与预测区间的均值之间小于0的差值，确定为第二降幅集，并对第二降幅集进行箱型运算，确定出第二降幅区间。
本发明实施例，根据当前时刻的前第一时段内的历史指标数据中各数据与预测区间的上下限值可以确定出当前时刻的指标数据的波动阈值。例如，确定出当前时刻之前的30分钟的历史指标数据，共计30个历史指标数据，将30个历史指标数据与预测区间的上限值进行计算，其中，大于预测区间的上限值的历史指标数据为10个，并确定出该10个历史指标数据与预测区间的上限值之间对应的差值，将该10个对应的差值进行箱型运算，确定出当前时刻的指标数据的第一增幅区间。将30个数据与预测区间的均值进行计算，其中，大于预测区间的均值的历史指标数据为12个，并确定出该12个历史指标数据与预测区间的均值之间对应的差值，将这12个对应的差值进行箱型运算，确定出当前时刻的指标数据的第二增幅区间。同理，可以确定出当前时刻的指标数据的第一降幅区间和第二降幅区间。
需要说明的是，箱型算法是四分位数统计学中分位数的一种，如，对于数据样本R，标识出第二分位R25和第三分位R75，二者的差记作IQR，数据的合理区间为[R25-n*IQR，R75+n*IQR]，其中，n是根据经验设定的。
在确定出当前时刻的指标数据后，若指标数据的增幅值大于增幅区间的上限值，则确定指标数据为问题数据。或
若指标数据的降幅值小于降幅区间的下限值，则确定指标数据为问题数据。
进一步地，若指标数据的第一增幅值大于第一增幅区间的上限值且第二增幅值大于第二增幅区间的上限值，则确定指标数据为问题数据。或
若指标数据的第一降幅值小于第一降幅区间的下限值且第二降幅值小于第二降幅区间的下限值，则确定指标数据为问题数据。
本发明实施例，只有在同时满足第一增幅区间和第二增幅区间的条件，或第一降幅区间和第二降幅区间条件，才会将指标数据确定为问题数据，否则确定指标数据为无异常数据。
步骤205，若当前时刻的所述指标数据稳定，则将所述问题数据确定为异常数据。
本发明实施例，指标数据的稳定情况是根据指标数据的当前时刻的前第二时段内的历史指标数据确定的。
具体的，确定出指标数据位于当前时刻前第二时段内的历史指标数据；
根据当前时刻前第二时段内的历史指标数据，确定极差比与方差，其中，极差比是根据当前时刻前第二时段内的历史指标数据的均值和极小值之间的差值与当前时刻前第二时段内的历史指标数据的极大值和极小值之间的差值的比值确定的。若确定极差比小于第二阈值且方差小于第三阈值，则确定当前时刻的指标数据稳定。若确定极差比不小于第二阈值和/或方差不小于第三阈值，则确定当前时刻的指标数据不稳定。
本发明实施例，通过当前时刻之前的历史指标数据确定当前时刻的指标数据的稳定性，在确定当前时刻的指标数据为稳定状态时，确定当前指标数据的波动不正常，在当前指标数据为问题数据且为稳定状态时，则确定当前指标数据属于异常数据。例如，确定出当前时刻之前的历史指标数据的极大值、极小值和均值。在(均值-极小值)/(极大值-极小值)＜0.1(第二阈值)且当前时刻之前的历史指标数据的方差＜0.3(第三阈值)时，确定前时刻的指标数据为稳定状态。
确定出异常数据之后，若确定在预设时段内，所述异常数据的数量达到第四阈值，则将告警信息发送至终端，以使终端根据告警信息进行告警。
本发明实施例，在一段时间内识别到多次异常数据时，才确定数据产生异常，需要告警提示，不会在识别出一个时间点后立刻报警，以减少告警量。例如，设置预设时段为半小时，第四阈值为10个，若在半小时内识别到10个异常数据，则将告警信息发送至终端，终端根据告警信息进行告警，提示用户。
本发明实施例，针对监控指标识别，通过结合当前时刻之前的历史数据，采用多种算法，以识别指标数据是否为异常数据，并且针对突增和突降两种情况，做出对应的算法调整。可以根据选取不同周期的指标数据进行预测，避免增量数据、切量数据造成的误差计算。同时适合不同类型的时序指标，不再需要人工设定阈值调整模型参数。提高了识别准确性，减少了告警量。
基于相同的技术构思，图4示例性的示出了本发明实施例提供的一种监控指标数据异常数据识别的装置的结构，该装置可以执行监控指标数据异常数据识别的方法的流程。
如图4所示，该装置具体包括：
获取模块401，用于获取当前时刻的指标数据；
处理模块402，用于根据在预设周期内的历史指标数据，确定所述指标数据的预测区间；
根据所述预测区间和当前时刻的所述指标数据，确定出所述指标数据的波动值；
当所述波动值不符合波动阈值时，确定所述指标数据为问题数据；所述波动阈值是根据所述指标数据和当前时刻的前第一时段内的历史指标数据对比得到的；
若当前时刻的所述指标数据稳定，则将所述问题数据确定为异常数据；所述指标数据的稳定情况是根据所述指标数据的当前时刻的前第二时段内的历史指标数据确定的。
可选的，所述处理模块402具体用于：
根据高斯函数计算删减所述历史指标数据中的异常值，以得到历史指标数据的均值；并从所述历史指标数据的均值中确定出第一样本集和第二样本集；
根据DTW算法计算出所述第一样本集和所述第二样本集的相似度，若所述相似度小于第一阈值，则将所述历史指标数据的均值输入至LSTM神经网络模型进行预测，得到预测值；并将所述预测值根据区间估计算法得到所述预测区间；
若所述相似度不小于第一阈值，则将所述历史指标数据进行差分检测计算，得到第三样本集；将所述第三样本集进行高斯函数计算，删减所述第三样本集中的异常值，得到第四样本集；确定所述第四样本集的均值与标准差，并根据区间估计算法确定出所述预测区间。
可选的，所述波动值包括增幅值和降幅值；
所述处理模块402具体用于：
若所述指标数据大于所述预测区间的上限值，则根据所述指标数据与所述预测区间的上限值和均值确定出所述指标数据的增幅值；
若所述指标数据小于所述预测区间的下限值，则根据所述指标数据与所述预测区间的下限值和均值确定出所述指标数据的降幅值。
可选的，波动阈值包括增幅区间和降幅区间；
所述处理模块402具体用于：
将所述当前时刻的前第一时段内的历史指标数据中各数据与所述预测区间的均值和最大值之间大于0的差值确定为增幅集；并对所述增幅集进行箱型运算，确定出所述增幅区间；
将所述当前时刻的前第一时段内的历史指标数据中各数据与所述预测区间的均值和最小值之间小于0的差值，确定为降幅集；并对所述降幅集进行箱型运算，确定出所述降幅区间。
可选的，所述处理模块402具体用于：
若所述指标数据的增幅值大于所述增幅区间的上限值，则确定所述指标数据为所述问题数据；或
若所述指标数据的降幅值小于所述降幅区间的下限值，则确定所述指标数据为所述问题数据。
可选的，所述处理模块402具体用于：
确定出所述指标数据位于所述当前时刻前第二时段内的历史指标数据；
根据所述当前时刻前第二时段内的历史指标数据，确定极差比与方差；所述极差比是根据所述当前时刻前第二时段内的历史指标数据的均值和极小值之间的差值与所述当前时刻前第二时段内的历史指标数据的极大值和所述极小值之间的差值的比值确定的；
若确定所述极差比小于第二阈值且所述方差小于第三阈值，则确定当前时刻的所述指标数据稳定；
若确定所述极差比不小于第二阈值和/或所述方差不小于第三阈值，则确定当前时刻的所述指标数据不稳定。
可选的，所述处理模块402还用于：
确定出所述异常数据之后，若确定在预设时段内，所述异常数据的数量达到第四阈值，则将告警信息发送至终端，以使所述终端根据所述告警信息进行告警。
基于相同的技术构思，本发明实施例还提供一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用存储器中存储的程序指令，按照获得的程序执行监控指标数据异常数据识别的方法。
基于相同的技术构思，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行监控指标数据异常数据识别的方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种监控指标数据异常数据识别的方法，其特征在于，包括：
获取当前时刻的指标数据；
根据在预设周期内的历史指标数据，确定所述指标数据的预测区间；
根据所述预测区间和当前时刻的所述指标数据，确定出所述指标数据的波动值；
当所述波动值不符合波动阈值时，确定所述指标数据为问题数据；所述波动阈值是根据所述指标数据和当前时刻的前第一时段内的历史指标数据对比得到的；
若当前时刻的所述指标数据稳定，则将所述问题数据确定为异常数据；所述指标数据的稳定情况是根据所述指标数据的当前时刻的前第二时段内的历史指标数据确定的。
2.如权利要求1所述的方法，其特征在于，所述根据在预设周期内的历史指标数据，确定所述指标数据的预测区间，包括：
根据高斯函数计算删减所述历史指标数据中的异常值，以得到历史指标数据的均值；并从所述历史指标数据的均值中确定出第一样本集和第二样本集；
根据DTW算法计算出所述第一样本集和所述第二样本集的相似度，若所述相似度小于第一阈值，则将所述历史指标数据的均值输入至LSTM神经网络模型进行预测，得到预测值；并将所述预测值根据区间估计算法得到所述预测区间；
若所述相似度不小于第一阈值，则将所述历史指标数据进行差分检测计算，得到第三样本集；将所述第三样本集进行高斯函数计算，删减所述第三样本集中的异常值，得到第四样本集；确定所述第四样本集的均值与标准差，并根据区间估计算法确定出所述预测区间。
3.如权利要求1所述的方法，其特征在于，所述波动值包括增幅值和降幅值；
所述根据所述预测区间和当前时刻的所述指标数据，确定出所述指标数据的波动值，包括：
若所述指标数据大于所述预测区间的上限值，则根据所述指标数据与所述预测区间的上限值和均值确定出所述指标数据的增幅值；
若所述指标数据小于所述预测区间的下限值，则根据所述指标数据与所述预测区间的下限值和均值确定出所述指标数据的降幅值。
4.如权利要求3所述的方法，其特征在于，波动阈值包括增幅区间和降幅区间；
根据所述指标数据和当前时刻的前第一时段内的指标历史数据对比得到所述波动阈值，包括：
将所述当前时刻的前第一时段内的历史指标数据中各数据与所述预测区间的均值和最大值之间大于0的差值确定为增幅集；并对所述增幅集进行箱型运算，确定出所述增幅区间；
将所述当前时刻的前第一时段内的历史指标数据中各数据与所述预测区间的均值和最小值之间小于0的差值，确定为降幅集；并对所述降幅集进行箱型运算，确定出所述降幅区间。
5.如权利要求4所述的方法，其特征在于，所述当所述波动值不符合波动阈值时，确定所述指标数据为问题数据，包括：
若所述指标数据的增幅值大于所述增幅区间的上限值，则确定所述指标数据为所述问题数据；或
若所述指标数据的降幅值小于所述降幅区间的下限值，则确定所述指标数据为所述问题数据。
6.如权利要求1所述的方法，其特征在于，根据所述指标数据的当前时刻前第二时段内的历史指标数据确定所述指标数据的稳定情况，包括：
确定出所述指标数据位于所述当前时刻前第二时段内的历史指标数据；
根据所述当前时刻前第二时段内的历史指标数据，确定极差比与方差；所述极差比是根据所述当前时刻前第二时段内的历史指标数据的均值和极小值之间的差值与所述当前时刻前第二时段内的历史指标数据的极大值和所述极小值之间的差值的比值确定的；
若确定所述极差比小于第二阈值且所述方差小于第三阈值，则确定当前时刻的所述指标数据稳定；
若确定所述极差比不小于第二阈值和/或所述方差不小于第三阈值，则确定当前时刻的所述指标数据不稳定。
7.如权利要求1所述的方法，其特征在于，确定出所述异常数据之后，还包括：
若确定在预设时段内，所述异常数据的数量达到第四阈值，则将告警信息发送至终端，以使所述终端根据所述告警信息进行告警。
8.一种监控指标数据异常数据识别的装置，其特征在于，包括：
获取模块，用于获取当前时刻的指标数据；
处理模块，用于根据在预设周期内的历史指标数据，确定所述指标数据的预测区间；
根据所述预测区间和当前时刻的所述指标数据，确定出所述指标数据的波动值；
当所述波动值不符合波动阈值时，确定所述指标数据为问题数据；所述波动阈值是根据所述指标数据和当前时刻的前第一时段内的历史指标数据对比得到的；
若当前时刻的所述指标数据稳定，则将所述问题数据确定为异常数据；所述指标数据的稳定情况是根据所述指标数据的当前时刻的前第二时段内的历史指标数据确定的。
9.一种计算设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行权利要求1至7任一项所述的方法。
CN202010824430.0A 2020-08-17 2020-08-17 一种监控指标数据异常数据识别的方法及装置 Active CN111984503B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010824430.0A CN111984503B (zh) 2020-08-17 2020-08-17 一种监控指标数据异常数据识别的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010824430.0A CN111984503B (zh) 2020-08-17 2020-08-17 一种监控指标数据异常数据识别的方法及装置

Publications (2)

Publication Number Publication Date
CN111984503A true CN111984503A (zh) 2020-11-24
CN111984503B CN111984503B (zh) 2023-12-01

Family

ID=73435282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010824430.0A Active CN111984503B (zh) 2020-08-17 2020-08-17 一种监控指标数据异常数据识别的方法及装置

Country Status (1)

Country Link
CN (1) CN111984503B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232719A (zh) * 2020-12-11 2021-01-15 北京基调网络股份有限公司 一种指标定量评分方法、计算机设备及存储介质
CN112612671A (zh) * 2020-12-16 2021-04-06 深圳前海微众银行股份有限公司 ***监控方法、装置、设备及存储介质
CN112688922A (zh) * 2020-12-11 2021-04-20 深圳前海微众银行股份有限公司 数据传输方法、***、设备及介质
CN112783727A (zh) * 2021-01-28 2021-05-11 北京百度网讯科技有限公司 作品量监控方法、装置、电子设备以及计算机可读介质
CN112801345A (zh) * 2021-01-07 2021-05-14 山东润一智能科技有限公司 基于期望和波动的设备测点时段预警方法与***
CN112948210A (zh) * 2021-02-26 2021-06-11 深圳依时货拉拉科技有限公司 一种检测qps指标异常的方法、装置及计算机设备
CN113010805A (zh) * 2021-02-23 2021-06-22 腾讯科技（深圳）有限公司 指标数据的处理方法、装置、设备及存储介质
CN113064796A (zh) * 2021-04-13 2021-07-02 上海浦东发展银行股份有限公司 一种无监督指标异常检测方法
CN113190798A (zh) * 2021-04-23 2021-07-30 通号（长沙）轨道交通控制技术有限公司 一种牵引变压器低压侧到高压侧的谐波传输系数估计方法
CN113313591A (zh) * 2021-05-26 2021-08-27 中国银行股份有限公司 一种数据异常的告警方法及装置
CN113553234A (zh) * 2021-07-19 2021-10-26 神策网络科技（北京）有限公司 数据异常检测方法
CN113556253A (zh) * 2021-07-30 2021-10-26 济南浪潮数据技术有限公司 预测交换机端口实时流量的方法、***、设备和存储介质
CN114741377A (zh) * 2022-04-01 2022-07-12 深圳市爱路恩济能源技术有限公司 识别天然气异常数据并对其处理的方法和装置
CN115174354A (zh) * 2022-07-22 2022-10-11 科来网络技术股份有限公司 平台侧数据告警方法、装置、监测设备及可读存储介质
CN115190038A (zh) * 2022-06-23 2022-10-14 联想(北京)有限公司 一种状态确定方法以及装置
CN115392812A (zh) * 2022-10-31 2022-11-25 成都飞机工业（集团）有限责任公司 一种异常根因定位方法、装置、设备及介质
CN115408449A (zh) * 2022-10-28 2022-11-29 支付宝(杭州)信息技术有限公司 一种用户行为的处理方法、装置及设备
CN116738351A (zh) * 2023-08-10 2023-09-12 重庆华悦生态环境工程研究院有限公司深圳分公司 排水设施检测方法及装置
CN116884517A (zh) * 2023-09-06 2023-10-13 合肥金星智控科技股份有限公司 在线检测设备及其显示方法、装置、介质
CN116975768A (zh) * 2023-09-22 2023-10-31 山东爱福地生物股份有限公司 一种肥料安全生产的数据异常检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105373857A (zh) * 2015-11-27 2016-03-02 许昌许继软件技术有限公司 一种光伏电站辐照度预测方法
CN108089962A (zh) * 2017-11-13 2018-05-29 北京奇艺世纪科技有限公司 一种异常检测方法、装置及电子设备
CN110334843A (zh) * 2019-04-22 2019-10-15 山东大学 一种时变注意力改进Bi-LSTM的住院就医行为预测方法及装置
CN110414788A (zh) * 2019-06-25 2019-11-05 国网上海市电力公司 一种基于相似日和改进lstm的电能质量预测方法
CN111260136A (zh) * 2020-01-17 2020-06-09 上海电力大学 一种基于arima-lstm组合模型的楼宇短期负荷预测方法
WO2020134867A1 (zh) * 2018-12-29 2020-07-02 中国电力科学研究院有限公司 一种用于电力终端的异常数据的检测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105373857A (zh) * 2015-11-27 2016-03-02 许昌许继软件技术有限公司 一种光伏电站辐照度预测方法
CN108089962A (zh) * 2017-11-13 2018-05-29 北京奇艺世纪科技有限公司 一种异常检测方法、装置及电子设备
WO2020134867A1 (zh) * 2018-12-29 2020-07-02 中国电力科学研究院有限公司 一种用于电力终端的异常数据的检测方法及装置
CN110334843A (zh) * 2019-04-22 2019-10-15 山东大学 一种时变注意力改进Bi-LSTM的住院就医行为预测方法及装置
CN110414788A (zh) * 2019-06-25 2019-11-05 国网上海市电力公司 一种基于相似日和改进lstm的电能质量预测方法
CN111260136A (zh) * 2020-01-17 2020-06-09 上海电力大学 一种基于arima-lstm组合模型的楼宇短期负荷预测方法

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112688922A (zh) * 2020-12-11 2021-04-20 深圳前海微众银行股份有限公司 数据传输方法、***、设备及介质
CN112232719A (zh) * 2020-12-11 2021-01-15 北京基调网络股份有限公司 一种指标定量评分方法、计算机设备及存储介质
CN112612671A (zh) * 2020-12-16 2021-04-06 深圳前海微众银行股份有限公司 ***监控方法、装置、设备及存储介质
CN112801345A (zh) * 2021-01-07 2021-05-14 山东润一智能科技有限公司 基于期望和波动的设备测点时段预警方法与***
CN112783727A (zh) * 2021-01-28 2021-05-11 北京百度网讯科技有限公司 作品量监控方法、装置、电子设备以及计算机可读介质
CN113010805B (zh) * 2021-02-23 2023-09-01 腾讯科技（深圳）有限公司 指标数据的处理方法、装置、设备及存储介质
CN113010805A (zh) * 2021-02-23 2021-06-22 腾讯科技（深圳）有限公司 指标数据的处理方法、装置、设备及存储介质
CN112948210A (zh) * 2021-02-26 2021-06-11 深圳依时货拉拉科技有限公司 一种检测qps指标异常的方法、装置及计算机设备
CN113064796A (zh) * 2021-04-13 2021-07-02 上海浦东发展银行股份有限公司 一种无监督指标异常检测方法
CN113190798A (zh) * 2021-04-23 2021-07-30 通号（长沙）轨道交通控制技术有限公司 一种牵引变压器低压侧到高压侧的谐波传输系数估计方法
CN113313591A (zh) * 2021-05-26 2021-08-27 中国银行股份有限公司 一种数据异常的告警方法及装置
CN113553234A (zh) * 2021-07-19 2021-10-26 神策网络科技（北京）有限公司 数据异常检测方法
CN113556253B (zh) * 2021-07-30 2023-05-26 济南浪潮数据技术有限公司 预测交换机端口实时流量的方法、***、设备和存储介质
CN113556253A (zh) * 2021-07-30 2021-10-26 济南浪潮数据技术有限公司 预测交换机端口实时流量的方法、***、设备和存储介质
CN114741377A (zh) * 2022-04-01 2022-07-12 深圳市爱路恩济能源技术有限公司 识别天然气异常数据并对其处理的方法和装置
CN114741377B (zh) * 2022-04-01 2023-07-21 深圳市爱路恩济能源技术有限公司 识别天然气异常数据并对其处理的方法和装置
CN115190038A (zh) * 2022-06-23 2022-10-14 联想(北京)有限公司 一种状态确定方法以及装置
CN115190038B (zh) * 2022-06-23 2024-04-19 联想(北京)有限公司 一种状态确定方法以及装置
CN115174354A (zh) * 2022-07-22 2022-10-11 科来网络技术股份有限公司 平台侧数据告警方法、装置、监测设备及可读存储介质
CN115408449B (zh) * 2022-10-28 2023-03-07 支付宝(杭州)信息技术有限公司 一种用户行为的处理方法、装置及设备
CN115408449A (zh) * 2022-10-28 2022-11-29 支付宝(杭州)信息技术有限公司 一种用户行为的处理方法、装置及设备
CN115392812B (zh) * 2022-10-31 2023-03-24 成都飞机工业（集团）有限责任公司 一种异常根因定位方法、装置、设备及介质
CN115392812A (zh) * 2022-10-31 2022-11-25 成都飞机工业（集团）有限责任公司 一种异常根因定位方法、装置、设备及介质
CN116738351A (zh) * 2023-08-10 2023-09-12 重庆华悦生态环境工程研究院有限公司深圳分公司 排水设施检测方法及装置
CN116738351B (zh) * 2023-08-10 2023-11-21 重庆华悦生态环境工程研究院有限公司深圳分公司 排水设施检测方法及装置
CN116884517A (zh) * 2023-09-06 2023-10-13 合肥金星智控科技股份有限公司 在线检测设备及其显示方法、装置、介质
CN116884517B (zh) * 2023-09-06 2023-12-22 合肥金星智控科技股份有限公司 在线检测设备及其显示方法、装置、介质
CN116975768A (zh) * 2023-09-22 2023-10-31 山东爱福地生物股份有限公司 一种肥料安全生产的数据异常检测方法
CN116975768B (zh) * 2023-09-22 2023-12-19 山东爱福地生物股份有限公司 一种肥料安全生产的数据异常检测方法

Also Published As

Publication number Publication date
CN111984503B (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
CN111984503A (zh) 一种监控指标数据异常数据识别的方法及装置
CN111459778B (zh) 运维***异常指标检测模型优化方法、装置及存储介质
CN105718715B (zh) 异常检测方法和设备
CN104811344B (zh) 网络动态业务监控方法及装置
CN112800116B (zh) 一种业务数据的异常检测方法及装置
CN111158977A (zh) 一种异常事件根因定位方法及装置
CN110570012B (zh) 一种基于Storm的电厂生产设备故障预警方法及***
CN111143102A (zh) 异常数据检测方法、装置、存储介质及电子设备
CN113518011A (zh) 异常检测方法和装置、电子设备及计算机可读存储介质
CN109035021B (zh) 一种交易指标的监控方法、装置及设备
CN108809734B (zh) 网络告警根源分析方法、***、存储介质及计算机设备
CN113556258A (zh) 一种异常检测方法及装置
CN112766429B (zh) 一种异常检测的方法、装置、计算机设备和介质
CN113986595A (zh) 一种异常定位方法及装置
US9600391B2 (en) Operations management apparatus, operations management method and program
WO2021185182A1 (zh) 一种异常检测的方法及装置
CN113626502A (zh) 基于集成学习的电网数据异常检测方法及装置
US10909322B1 (en) Unusual score generators for a neuro-linguistic behavioral recognition system
CN115858606A (zh) 时序数据的异常检测方法、装置、设备及存储介质
CN110635947A (zh) 异常访问监测方法及装置
CN112380073B (zh) 一种故障位置的检测方法、装置及可读存储介质
CN107688619B (zh) 一种日志数据处理方法及装置
CN111783883A (zh) 一种异常数据的检测方法及装置
CN111447193A (zh) 一种针对实时数据流进行异常检测的方法及装置
CN114157486B (zh) 通信流量数据异常检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant