CN111447193B - 一种针对实时数据流进行异常检测的方法及装置 - Google Patents
一种针对实时数据流进行异常检测的方法及装置 Download PDFInfo
- Publication number
- CN111447193B CN111447193B CN202010206736.XA CN202010206736A CN111447193B CN 111447193 B CN111447193 B CN 111447193B CN 202010206736 A CN202010206736 A CN 202010206736A CN 111447193 B CN111447193 B CN 111447193B
- Authority
- CN
- China
- Prior art keywords
- time
- detected
- real
- item
- data information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims abstract description 62
- 230000002159 abnormal effect Effects 0.000 claims abstract description 59
- 230000005856 abnormality Effects 0.000 claims description 10
- 230000002547 anomalous effect Effects 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 abstract description 8
- 238000012545 processing Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012800 visualization Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/50—Testing arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Environmental & Geological Engineering (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种针对实时数据流进行异常检测的方法及装置，对待检测项的实时数据信息进行指标计算，得到待检测项中各指标的实时结果；从历史数据中获取待检测项的第一时段历史数据信息；将第一时段历史数据信息输入预设模型，得到待检测项中各指标的预测结果；根据各指标的实时结果和预测结果，确定实时数据信息是否异常。该方案通过解耦数据计算和算法预测，有助于快速确定待检测的指标是否发生异常，提升了异常检测的效率。
Description
技术领域
本发明实施例涉及异常检测领域，尤其涉及一种针对实时数据流进行异常检测的方法及装置。
背景技术
目前，通过异常检测的技术手段以确定待检测指标是否发生异常，从而可以及时地做出响应，规避待检测指标发生异常时所带来的风险。因此，异常检测的技术手段普遍受到各行各业的热切关注。
然而，现有的用于异常检测的技术手段存在以下问题：
在对待检测的指标进行异常检测的过程中，通常将数据计算的环节和算法预测环节耦合在一起，从而导致难以将待检测的指标接入算法预测环节，并带来耗时很久的问题。
综上，现有技术无法提供一种快速检测异常指标的方法。
发明内容
本发明提供一种针对实时数据流进行异常检测的方法及装置，用以解决现有技术无法快速检测出异常指标的问题。
第一方面，本发明实施例提供一种针对实时数据流进行异常检测的方法，该方法包括：对待检测项的实时数据信息进行指标计算，得到所述待检测项中各指标的实时结果；从历史数据中获取所述待检测项的第一时段历史数据信息；将所述第一时段历史数据信息输入预设模型，得到所述待检测项中各指标的预测结果；根据所述实时结果和所述预测结果，确定所述实时数据信息是否异常。
基于该方案，通过对获取到的实时数据信息进行指标计算，可以得到待检测项的各指标的实时结果；通过将获取到的第一时段历史数据信息输入预设模型，可以得到各指标的预测结果；综合各指标的实时结果和预测结果，则可以确定实时数据信息是否异常。通过解耦指标计算和指标预测这两个过程，有助于快速确定待检测的指标是否发生异常，提升了异常检测的效率。
在一种可能的实现方法中，所述待检测项的实时数据信息的获取，包括：接收用户输入的搜索语句，所述搜索语句用于设定所述待检测项；根据所述搜索语句，从实时数据流中获取所述待检测项的实时数据信息。
基于该方案，通过接收用户输入的搜索语句，该搜索语句用于设定待检测项，即可以快速根据该搜索语句从实时数据流中获取实时数据信息，避免了针对每一个待检测项都需要编写一个实时计算的程序，极大程度上降低了编程难度，同时提升了数据处理速度。
在一种可能的实现方法中，对待检测项的实时数据信息进行指标计算，得到所述待检测项中各指标的实时结果，包括：确定所述待检测项的各指标的计算因子；调用计算平台的所述计算因子，对所述实时数据信息进行指标计算，得到所述各指标的实时结果。
基于该方案，对于待检测项，在确定其各指标的计算因子后，通过调用存储于计算平台中的计算因子，对实时数据信息进行指标计算，则可以得到各指标的实时结果，极大程度上提升了对于各指标的实时结果的计算效率。
在一种可能的实现方法中，将所述第一时段历史数据信息输入预设模型之前，还包括确定所述待检测项的预设模型；其中，通过以下方式确定所述待检测项的预设模型：从所述历史数据中获取所述待检测项的第二时段历史数据信息；确定所述第二时段历史数据信息的数据特性；根据所述第二时段历史数据信息的数据特性，从多个预设模型中确定所述待检测项的预设模型。
基于该方案，对于待检测项，通过对从历史数据中获取到的关于该待检测项的第二时段历史数据信息的数据特性的确定，则可以从多个预设模型中确定关于该待检测项的预设模型，从而使得通过该预设模型对第一时段历史数据信息处理而得到的预测结果更为真实且合理。
在一种可能实现的方法中，确定所述第二时段历史数据信息的数据特性，包括：对所述第二时段历史数据信息进行聚类；根据聚类结果确定所述第二时段历史数据信息的数据特性。
基于该方案，通过对第二时段历史数据信息进行聚类，从而可以根据聚类结果确定第二时段历史数据信息的数据特性。通过聚类的方法，很大程度上可以确定出第二时段历史数据信息的数据特性。
在一种可能实现的方法中，根据所述第二时段历史数据信息的数据特性，从多个预设模型中确定所述待检测项的预设模型，包括：若所述第二时段历史数据信息的数据特性符合光滑曲线型，则确定所述待检测项的预设模型为数值型模型；若所述第二时段历史数据信息的数据特性符合平稳直线型，则确定所述待检测项的预设模型为比例型模型。
基于该方案，第二时段历史数据信息的数据特性不同，则待检测项对应于不同的预设模型，具体表现为：若所述第二时段历史数据信息的数据特性符合光滑曲线型，则确定所述待检测项的预设模型为数值型模型；若所述第二时段历史数据信息的数据特性符合平稳直线型，则确定所述待检测项的预设模型为比例型模型。通过为符合不同数据特性的待检测项设定预设模型，有助于结合历史数据对当前实时数据流进行是否为异常的判断。
在一种可能实现的方法中，从历史数据中获取所述待检测项的第一时段历史数据信息，包括：从第一时段的历史数据中获取所述待检测项的第一时段历史数据信息；所述第一时段为距离当前时刻最近的时段；从所述历史数据中获取所述待检测项的第二时段历史数据信息，包括：从第二时段的历史数据中获取所述待检测项的第二时段历史数据信息，其中，所述第二时段短于所述第一时段。
基于该方案，通过用第一时段的第一时段历史数据信息训练预设模型、从而可以在实际使用预设模型时可以准确地预测实时数据流中的实时数据信息是否发生异常；以及通过用第二时段的第二时段历史数据信息确定预设模型，并且第二时段历史数据信息极为靠近实时数据信息，因此所确定出的预设模型可以很好地用于对待检测项的实时数据信息进行预测。
在一种可能实现的方法中，根据所述实时结果和所述预测结果，确定所述实时数据信息是否异常，包括：若所述各指标的实时结果均不大于所述各指标的预测结果，则确定所述实时数据信息正常；若所述各指标的实时结果中存在至少一个实时结果大于对应的预测结果，则确定所述实时数据信息异常。
基于该方案，在确定实时数据信息是否发生异常时，可以通过以下规则进行：若所述各指标的实时结果均不大于所述各指标的预测结果，则确定所述实时数据信息正常；若所述各指标的实时结果中存在至少一个实时结果大于对应的预测结果，则确定所述实时数据信息异常。
在一种可能实现的方法中，确定所述待检测项的预设模型之前，还包括：通过HTTP接口向路由网关发送预测服务调用请求；所述预测服务调用请求中包括所述待检测项；确定所述待检测项的预设模型，包括：所述路由网关确定所述待检测项的预设模型对应的服务接口，并通过所述服务接口将所述预测服务调用请求发送至所述待检测项的预设模型。
基于该方案，通过HTTP接口项路由网关发送预测服务调用请求，以用于确定待检测项的预设模型；在确定待检测项的预设模型后，进一步由路由网关确定出待检测箱的预设模型对应的服务接口，并通过该服务接口将预测服务调用请求发送至待检测项的预设模型。
第二方面，本发明实施例提供一种针对实时数据流进行异常检测的装置，该装置包括：实时结果确定单元，用于对待检测项的实时数据信息进行指标计算，得到所述待检测项中各指标的实时结果；第一时段历史数据信息获取单元，用于从历史数据中获取所述待检测项的第一时段历史数据信息；预测结果确定单元，用于将所述第一时段历史数据信息输入预设模型，得到所述待检测项中各指标的预测结果；异常确定单元，用于根据所述实时结果和所述预测结果，确定所述实时数据信息是否异常。
基于该方案，通过对获取到的实时数据信息进行指标计算，可以得到待检测项的各指标的实时结果；通过将获取到的第一时段历史数据信息输入至待检测项的预设模型，可以得到各指标的预测结果；综合各指标的实时结果和预测结果，则可以确定实时数据信息是否异常。通过解耦指标计算和指标预测这两个过程，有助于快速确定待检测的指标是否发生异常，提升了异常检测的效率。
在一种可能的实现方法中，所述装置还包括实时数据信息获取单元，用于：接收用户输入的搜索语句，所述搜索语句用于设定所述待检测项；根据所述搜索语句，从实时数据流中获取所述待检测项的实时数据信息。
基于该方案，通过接收用户输入的搜索语句，该搜索语句用于设定待检测项，即可以快速根据该搜索语句从实时数据流中获取实时数据信息，避免了针对每一个待检测项都需要编写一个实时计算的程序，极大程度上降低了变成编程难度，同时提升了数据处理速度。
在一种可能的实现方法中，所述实时结果确定单元具体用于：确定所述待检测项的各指标的计算因子；调用计算平台的所述计算因子，对所述实时数据信息进行指标计算，得到所述各指标的实时结果。
基于该方案，对于待检测项，在确定其各指标的计算因子后，通过调用存储于计算平台中的计算因子，对实时数据信息进行指标计算，则可以得到各指标的实时结果，极大程度上提升了对于各指标的实时结果的计算效率。
在一种可能的实现方法中，所述装置还包括预设模型确定单元，用于：从所述历史数据中获取所述待检测项的第二时段历史数据信息；确定所述第二时段历史数据信息的数据特性；根据所述第二时段历史数据信息的数据特性，从多个预设模型中确定所述待检测项的预设模型。
基于该方案，对于待检测项，通过对从历史数据中获取到的关于该待检测项的第二时段历史数据信息的数据特性的确定，则可以从多个预设模型中确定关于该待检测项的预设模型，从而使得通过该预设模型对第一时段历史数据信息处理而得到的预测结果更为真实且合理。
在一种可能的实现方法中，所述预设模型确定单元具体用于：对所述第二时段历史数据信息进行聚类；根据聚类结果确定所述第二时段历史数据信息的数据特性。
基于该方案，通过对第二时段历史数据信息进行聚类，从而可以根据聚类结果确定第二时段历史数据信息的数据特性。通过聚类的方法，很大程度上可以确定出第二时段历史数据信息的数据特性。
在一种可能的实现方法中，所述预设模型确定单元具体用于：若所述第二时段历史数据信息的数据特性符合光滑曲线型，则确定所述待检测项的预设模型为数值型模型；若所述第二时段历史数据信息的数据特性符合平稳直线型，则确定所述待检测项的预设模型为比例型模型。
基于该方案，第二时段历史数据信息的数据特性不同，则待检测项对应于不同的预设模型，具体表现为：若所述第二时段历史数据信息的数据特性符合光滑曲线型，则确定所述待检测项的预设模型为数值型模型；若所述第二时段历史数据信息的数据特性符合平稳直线型，则确定所述待检测项的预设模型为比例型模型。通过为符合不同数据特性的待检测项设定预设模型，有助于结合历史数据对当前实时数据流进行是否为异常的判断。
在一种可能的实现方法中，所述第一时段历史数据信息获取单元具体用于：从第一时段的历史数据中获取所述待检测项的第一时段历史数据信息；所述第一时段为距离当前时刻最近的时段；所述装置还包括第二时段历史数据信息获取单元，具体用于：从第二时段的历史数据中获取所述待检测项的第二时段历史数据信息，其中，所述第二时段短于所述第一时段。
基于该方案，通过用第一时段的第一时段历史数据信息训练预设模型、从而可以在实际使用预设模型时可以准确地预测实时数据流中的实时数据信息是否发生异常；以及通过用第二时段的第二时段历史数据信息确定预设模型，并且第二时段历史数据信息极为靠近实时数据信息，因此所确定出的预设模型可以很好地用于对待检测项的实时数据信息进行预测。
在一种可能的实现方法中，所述异常确定单元具体用于：若所述各指标的实时结果均不大于所述各指标的预测结果，则确定所述实时数据信息正常；若所述各指标的实时结果中存在至少一个实时结果大于对应的预测结果，则确定所述实时数据信息异常。
基于该方案，在确定实时数据信息是否发生异常时，可以通过以下规则进行：若所述各指标的实时结果均不大于所述各指标的预测结果，则确定所述实时数据信息正常；若所述各指标的实时结果中存在至少一个实时结果大于对应的预测结果，则确定所述实时数据信息异常。
在一种可能的实现方法中，所述预设模型确定单元还用于：通过HTTP接口向路由网关发送预测服务调用请求；所述预测服务调用请求中包括所述待检测项；所述预设模型确定单元具体用于：确定所述待检测项的预设模型对应的服务接口，并通过所述服务接口将所述预测服务调用请求发送至所述待检测项的预设模型。
基于该方案，通过HTTP接口项路由网关发送预测服务调用请求，以用于确定待检测项的预设模型；在确定待检测项的预设模型后，进一步由路由网关确定出待检测箱的预设模型对应的服务接口，并通过该服务接口将预测服务调用请求发送至待检测项的预设模型。
第三方面，本发明实施例提供了一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行如第一方面任一所述的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面任一所述的方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种针对实时数据流进行异常检测的***架构；
图2为本发明实施例提供的一种针对实时数据流进行异常检测的方法；
图3为本发明实施例提供的一种针对实时数据流进行异常检测的装置。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
随着实时性业务的迅猛发展，对实时数据流进行异常检测变得尤为重要，尤其是如何快速准确地进行检测。以直播类业务为例，客户对直播业务的带宽、卡顿率、错误率等都有较高的要求，如果在直播过程中可以快速检测出当前直播业务的异常，则可针对性地为客户提供调整方案，以确保满足客户对直播业务的要求。本发明实施例中通过对实时数据信息进行实时计算得到待检测项的实时结果，同时，通过第一时段历史数据信息预估当前时刻的待检测项的预测结果；一方面将实时计算与预测计算分离，可提升检测效率；另一方面，通过第一时段历史数据可以对当前的实时数据信息的做出准确的预测，也就使得异常检测的结果更加准确了。
如图1所示，为本发明实施例提供的一种针对实时数据流进行异常检测的***架构。
参考图1，该***架构包括：计算平台101、路由网关102、预测服务103。
计算平台101用于根据从实时数据流中获取的关于待检测项实时数据信息，计算待检测项的各个指标的实时结果；此处的各指标可以是计算平台根据检测要求进行设定的，如待检测项是带宽，待检测项的各个指标可以是带宽的平均值、带宽的和值等等；计算平台101存储有每个指标的计算因子，因而可以实现实时计算。
路由网关102用于确定预设模型；同时还用于计算平台101与预测服务103之间的信息传递：将计算平台101计算得到待检测项的各个指标的实时结果输入至预测服务103；以及，在预测服务103得出待检测项的实时数据信息是否发生异常的结论后，由路由网关102将该结论发送至计算平台101。
本申请实施例中，一方面，通过计算平台101，可以得到待检测项的各个指标的实时结果，另一方面，通过模型预测的方法，在结合待检测项的历史数据信息后，即可以得到待检测项的各个指标的预测结果。通过比较待检测项的各个指标的实时结果与对应的预测结果，即可以确定待检测项的实时数据信息是否发生异常。
由于本申请实施例中待检测项具体包括的种类较多，且对于不同的待检测项，所使用的预设模型也不尽相同。为此，本申请实施例中设有多种预设模型，因而在判断任一个待检测项的实时数据信息是否发生异常时，需要将该待检测项的历史数据信息输入相适应的预设模型。
对于如何将待检测项的历史数据信息输入相适应的预设模型，可以由路由网关102实现。
预测服务103用于对待检测项的历史数据信息进行计算，从而得到待检测项的各个指标的预测结果；同时，还用于比较待检测项的各个指标的实时结果与对应的预测结果，来确定待检测项的实时数据信息是否发生异常。
一种可能的实现是通过应用容器引擎集群(Docker Cluster)。Docker Cluster中可加载各种预测模型，一般来说，这些预测模型都具有一定的通用性。具体实现上，可以是通过对大数据存储平台104上存储的海量的历史数据进行训练得到。将训练后的各类模型存储于模型存储服务器105，从而避免了由于预设模型的不规范存储而造成的预设模型丢失或者不能及时查找到预设模型的问题。Docker Cluster可以从模型存储服务器105中加载预测模型。
一种可能的实现是，该***还包括告警平台106和可视化平台107。告警平台106用于展示告警信息，以提示业务人员及时查看异常并作出反应；可视化平台107用于展示待检测项的某个异常指标对应的实时结果和预测结果，便于用户在可视化平台上对预设模型的敏感度进行调优。
如图2所示，为本发明实施例提供的一种针对实时数据流进行异常检测的方法，该方法包括以下步骤：
步骤201，对待检测项的实时数据信息进行指标计算，得到所述待检测项中各指标的实时结果。
步骤202，从历史数据中获取所述待检测项的第一时段历史数据信息。
步骤203，将所述第一时段历史数据信息输入预设模型，得到所述待检测项中各指标的预测结果。
步骤204，根据所述实时结果和所述预测结果，确定所述实时数据信息是否异常。
基于该方案，通过对获取到的实时数据信息进行指标计算，可以得到待检测项的各指标的实时结果；通过将获取到的第一时段历史数据信息输入至待检测项的预设模型，可以得到各指标的预测结果；综合各指标的实时结果和预测结果，则可以确定实时数据信息是否异常。通过解耦指标计算和指标预测这两个过程，有助于快速确定待检测的指标是否发生异常，提升了异常检测的效率。
由于实时数据流中涵盖有当前时刻点下的所有数据信息，比如其中可以包括带宽数据、状态码数据、卡顿率数据、错误率数据、重传比数据等数据信息；则待检测项可以为上述各种数据信息中的任意一种。对于待检测项的确定，可以由业务人员根据实际工作需要进行设定。
对于上述步骤201，可以由图1中的计算平台101予以执行。其中，待检测项的实时数据信息为待检测项在当前时刻点的状态数据信息。作为一种简单的示例，本发明实施例中以待检测项是带宽为例进行说明。比如待检测项是“163.com”域名的带宽，设可以检测到当前时刻点该域名会同时在多个不同区域被使用，如北京、上海和福建3地均有被使用的情况，因此，关于“163.com”域名的带宽的实时数据信息即为该域名在以上3个不同区域的带宽值，比如带宽值分别为70M、30M和20M。
可选的，在上述步骤201中，所述待检测项的实时数据信息的获取，包括：接收用户输入的搜索语句，所述搜索语句用于设定所述待检测项；根据所述搜索语句，从实时数据流中获取所述待检测项的实时数据信息。
以待检测项是带宽为例，用户通过编写结构化查询语言(Structured QueryLanguage，SQL)，所编写的SQL语句用于从实时数据流中获取带宽的实时数据信息。比如，SQL语句中可以包含域名、带宽值。如对于“163.com”域名，由于该域名在不同区域的带宽值不同，如它涉及3个不同区域，设分别为北京、上海和福建，则通过编写SQL语句查询“163.com”域名的带宽，从而获取的实时数据信息为该域名在当前时刻点的3个带宽值，比如分别为70M，30M和20M。
可选的，在上述步骤201中，对待检测项的实时数据信息进行指标计算，得到所述待检测项中各指标的实时结果，包括：确定所述待检测项的各指标的计算因子；调用计算平台的所述计算因子，对所述实时数据信息进行指标计算，得到所述各指标的实时结果。
作为一种示例，Flink计算平台中存储有各指标的计算因子，比如各指标可以包括：根据实时数据信息以求解待检测项的平均值、根据实时数据信息以求解待检测项的和值、根据实时数据信息以求解待检测项的极差、根据实时数据信息以求解待检测项的方差，等等。计算因子则为各指标的具体计算公式。
以待检测项是带宽为例，如前述的“163.com”域名，以求解带宽的平均值作为带宽的各指标的一个具体例子，则对“163.com”域名，其带宽的平均值为40M；以求解和值作为带宽的各指标的一个具体例子，则对“163.com”域名，其带宽的和值为120M。因此，当待检测项是带宽时，通过计算平台对实时数据信息进行指标计算后，可以得到带宽的各指标的实时结果。
在上述步骤202中，从历史数据中获取所述待检测项的第一时段历史数据信息。该方法可以由图1中的路由网关102予以执行。
以待检测项是带宽为例，对于“163.com”域名，可以从实时数据流中获取它的实时数据信息；通过计算平台的处理，可以确定带宽的各指标的实时结果；在判断带宽的实时数据信息是否发生异常时，还需要确定带宽的各指标的预测结果：通过比较带宽的各指标的实时结果和带宽的各指标的预测结果，即可确定带宽的实时数据信息是否发生异常。在确定带宽的各指标的预测结果时，首先需要获取用于确定带宽的各指标的预测结果的数据，这里的数据指的是第一时段历史数据信息，然后将所获取的第一时段历史数据信息输入预设模型，即可得到带宽的各指标的预测结果。
在上述步骤203中，将所述第一时段历史数据信息输入预设模型，得到所述待检测项中各指标的预测结果。该方法可以由图1中的预测服务103予以执行。
以待检测项是带宽为例，在得到带宽的各指标的实时结果之后，需要进一步确定这些实时结果是否发生异常，从而最终判定带宽的实时数据信息是否发生异常。因此，作为一种示例，可以通过模型预测的方法以确定带宽的各指标的实时结果是否发生异常。
可选的，通过以下方式确定所述待检测项的预设模型：从所述历史数据中获取所述待检测项的第二时段历史数据信息；确定所述第二时段历史数据信息的数据特性；根据所述第二时段历史数据信息的数据特性，从多个预设模型中确定所述待检测项的预设模型。
以待检测项是带宽为例，针对“163.com”域名，从数据存储平台中获取该域名在过去一段时间内的历史带宽数据，即为第二时段历史数据信息。比如可以获取该域名在距离当前时刻点最近半小时的历史带宽数据，其中，可以将采样间隔设置为1分钟。因此，可以获取“163.com”域名在距离当前时刻点最近半小时的30个带宽样本数据。这里的距离当前时刻点最近半小时即为第二时段，30个带宽样本数据即为第二时段历史数据信息。
在获取第二时段历史数据信息后，可以通过以下方式确定它的数据特性：
可选的，确定所述第二时段历史数据信息的数据特性，包括：对所述第二时段历史数据信息进行聚类；根据聚类结果确定所述第二时段历史数据信息的数据特性。
以待检测项是带宽为例，当获取“163.com”域名在距离当前时刻点最近半小时的30个带宽样本数据后，进一步假定以带宽的平均值这一指标作为一个样本点，因此通过对30个带宽样本数据中的每一个带宽样本数据分别计算平均值后，得到30个样本点，通过对这30个样本点进行聚类，则可以依据聚类结果得到“163.com”域名的带宽数据在距离当前时刻点最近半小时的数据特性。
其中，通过对上述30个样本点进行聚类后，若聚类的结果为30个样本点的数值表现为周期性地波动，则“163.com”域名的带宽数据在距离当前时刻点最近半小时的数据特性为光滑曲线型；若聚类结果为30个样本点的数值基本稳定在某一个固定值，则“163.com”域名的带宽数据在距离当前时刻点最近半小时的数据特性为平稳直线型。
可以理解的是：在对待检测项的第二时段历史数据信息进行聚类时，由于对待检测项的指标的选取不同，则对于同一个待检测项，根据聚类结果所确定出的第二时段历史数据信息的数据特性可能会不同。比如，对于“163.com”域名在距离当前时刻点最近半小时的30个带宽样本数据：在以带宽的方差这一指标作为一个样本点时，则聚类的结果可能是将本次的第二时段历史数据信息的数据特性确定为平稳直线型；在以带宽的均值作为一个样本点时，则聚类的结果可能是将本次的第二时段历史数据信息的数据特性确定为光滑曲线型。对于这种情况，则可以通过对各个指标均进行聚类，根据各个指标的聚类结果、依据少数服从多数的原则，最终确定第二时段历史数据信息的数据特性。
或者，作为一种简单的处理方式，通过预先设定的方式进行：比如对于带宽这一待检测项，预先设定好是根据它的平均值这一指标的聚类结果、以确定第二时段历史数据信息的数据特性，此处无须再考虑带宽的和值、极差、方差等其他指标的聚类结果，本发明实施例中即采用的这种方法；比如对于状态码这一待检测项，预先设定好是根据它的方差这一指标的聚类结果、以确定第二时段历史数据信息的数据特性，此处无须再考虑状态码的平均值、和值、极差等其他指标的聚类结果；对于其他待检测项，可以参考带宽、状态码的情况，在此不一一描述。其中，对于任一个待检测项具体需要依据何种指标进行聚类，可以根据业务人员实际工作的经验进行预先设定。
在得到“163.com”域名的带宽数据在距离当前时刻点最近半小时的数据特性后，也即在得到第二时段历史数据信息的数据特性后，可以通过以下方式，从多个预设模型中确定待检测项的预设模型：
可选的，根据所述第二时段历史数据信息的数据特性，从多个预设模型中确定所述待检测项的预设模型，包括：若所述第二时段历史数据信息的数据特性符合光滑曲线型，则确定所述待检测项的预设模型为数值型模型；若所述第二时段历史数据信息的数据特性符合平稳直线型，则确定所述待检测项的预设模型为比例型模型。
以待检测项是带宽为例，对于“163.com”域名在距离当前时刻点最近半小时的30个样本点，若30个样本点通过聚类操作所确定出的数据特性符合光滑曲线型，则确定本次的实时数据流中的带宽的预设模型为数值型模型，也即接下来对本次的实时数据流中的带宽进行预测时会调用数值型模型；若30个样本点通过聚类操作所确定出的数据特性符合平稳直线型，则确定本次的实时数据流中的带宽的预设模型为比例型模型，也即接下来对本次的实时数据流中的带宽进行预测时会调用比例型模型。
此外，对于选用何种预设模型来预测待检测项，除了上述示例的方法以外，本发明实施例还可以通过预先指定的方式：根据业务人员的经验，预先设定好待检测项的预设模型。比如，对于带宽这一待检测项，可以设定为使用数值型模型进行预测；对于状态码、卡顿率、错误率、重传比这些待检测项，可以设定为使用比例型模型进行预测。
以待检测项是带宽为例，对于“163.com”域名，可以从实时数据流中获取它的实时数据信息；通过计算平台的处理，可以确定带宽的各指标的实时结果；进一步可以根据第二时段历史数据信息的数据特性确定本次实时数据流中对带宽的各指标进行预测时所使用的预设模型；接下来，对于输入到预设模型以确定带宽的各指标的预测结果的数据，这里的数据指的是第一时段历史数据信息，则可以通过以下方式进行获取：
可选的，从历史数据中获取所述待检测项的第一时段历史数据信息，包括：从第一时段的历史数据中获取所述待检测项的第一时段历史数据信息；所述第一时段为距离当前时刻最近的时段；从所述历史数据中获取所述待检测项的第二时段历史数据信息，包括：从第二时段的历史数据中获取所述待检测项的第二时段历史数据信息，其中，所述第二时段短于所述第一时段。
以检测项是带宽为例，对于“163.com”域名，在确定它在当前时刻点的带宽是否发生异常之前，先可以将“163.com”域名的一段历史时间内的历史带宽数据(此处的历史带宽数据指的是第一时段历史数据信息)输入至预设模型，通过预设模型的计算，则可以得到它的各指标的预测结果。
比如，当前时刻点是2020年3月8日03:00:00，则“163.com”域名的历史带宽数据的初始采样的时间节点可以是2020年3月1日03:00:00，它的终止采样的时间节点可以是2020年3月8日02:00:00，采样时长共7天，采样的时间间隔可以设置为1分钟一个样本，则共可采集到10080个历史带宽数据。通过将“163.com”域名在2020年3月1日03:00:00至2020年3月8日02:00:00期间的历史带宽数据输入至预设模型，即可以得到各指标的预测结果。其中，2020年3月1日03:00:00至2020年3月8日02:00:00这段时间即为第一时段，10080个历史带宽数据即为第一时段历史数据信息，历史带宽数据被存储于数据存储平台。
同理，可以从数据存储平台中获取距离当前时刻点最近半小时的历史带宽数据，也即2020年3月8日02:30:00至2020年3月8日02:59:00期间的历史带宽数据，采样的时间间隔同样可以设置为1分钟一个样本，则共可采集到30个历史带宽数据。其中，2020年3月8日02:30:00至2020年3月8日02:59:00这段时间即为第二时段，30个历史带宽数据即为第二时段历史数据信息。
由于需要将“163.com”域名的历史带宽数据输入预设模型，以确定当前时刻点带宽的各指标的预测结果，因此此处的历史带宽数据的数据量要足够大，才可以使得当前时刻点下带宽的各指标的预测结果的更加准确，所以第一时段较长，如本发明实施例中的距离当前时刻点最近的历史7天；在确定当前时刻点下的“163.com”域名的带宽是否发生异常的过程中，还需要根据“163.com”域名的历史带宽数据的数据特性以确定选用哪种预设模型，然而此时并不需要距离当前时刻点太长的一段历史时间的历史带宽数据，仅根据距离当前时刻点最近一小段时间的历史带宽数据即可，距离当前时刻点最近一小段时间的历史带宽数据的数据特征可以更好地体现当前时刻点的带宽，所以第二时段较短，如本发明实施例中的距离当前时刻点最近的历史半小时。
根据第二时段历史数据信息的数据特性确定本次实时数据流中对待检测项的各指标进行预测时所用到的预设模型，以及获取到第一时段历史数据信息后，通过模型预测的方法，即可确定待检测项的各指标的预测结果。
以待检测项是带宽为例，对于“163.com”域名，当获取到它的第一时段历史数据信息后，将第一时段历史数据信息输入预设模型，即可以得到关于待检测项的各指标的预测结果。比如对于带宽的平均值这一指标，通过预设模型对第一时段历史数据信息的处理，可以得到带宽的平均值的预测结果；同理，比如对于带宽的和值这一指标，通过预设模型对第一时段历史数据信息的处理，可以得到带宽的和值的预测结果；同理，比如对于带宽的极差这一指标，通过预设模型对第一时段历史数据信息的处理，可以得到带宽的极差的预测结果；同理，比如对于带宽的方差这一指标，通过预设模型对第一时段历史数据信息的处理，可以得到带宽的方差的预测结果。
在上述步骤204中，根据所述实时结果和所述预测结果，确定所述实时数据信息是否异常。该方法可以由图1中的预测服务103予以执行。
当在步骤201中得到待检测项的各指标的实时结果，以及在步骤203中得到待检测项的各指标的预测结果后，即可以确定实时数据流中的实时数据信息是否发生异常。作为一种示例，可以通过以下方式来确定实时数据信息是否发生异常：
可选的，根据所述实时结果和所述预测结果，确定所述实时数据信息是否异常，包括：若所述各指标的实时结果均不大于所述各指标的预测结果，则确定所述实时数据信息正常；若所述各指标的实时结果中存在至少一个实时结果大于对应的预测结果，则确定所述实时数据信息异常。
以待检测项是带宽为例，对于“163.com”域名，设关于带宽的各指标分别有带宽的平均值，带宽的和值，带宽的极差和带宽的方差这4项，则通过比较带宽的平均值的实时结果和预测结果、比较带宽的和值的实时结果和预测结果、比较带宽的极差的实时结果和预测结果以及比较带宽的方差的实时结果和预测结果，若这4项的实时结果均不大于对应的预测结果，则确定本次实时数据流中的实时数据信息正常，若这4项中存在至少一项的实时结果大于对应的预测结果，则确定本次实时数据流中的实时数据信息发生异常。
需要说明的是，本发明实施例中仅以各指标分别为待检测的平均值、待检测项的和值、待检测项的极差以及待检测项方差这4项为例进行说明，对于待检测项的各指标本发明不做限定，可以根据业务人员的实际工作的需要而进行灵活设定。
可选的，确定所述待检测项的预设模型之前，还包括：通过HTTP接口向路由网关发送预测服务调用请求；所述预测服务调用请求中包括所述待检测项；确定所述待检测项的预设模型，包括：所述路由网关确定所述待检测项的预设模型对应的服务接口，并通过所述服务接口将所述预测服务调用请求发送至所述待检测项的预设模型。
参考图1，首先是模型离线训练。接入大数据存储平台，从海量的历史数据结合算法人员按通用模板编写好的算法程序，进行大规模机器学习训练，并将训练得到的预设模型以文件形式推送至模型存储服务器。
再次由模型存储服务器使用NFS(Network File System，网络文件***)技术将预设模型以文件形式共享至预测服务。
接下来进入预测服务，一种可能的实现是通过应用容器引擎集群(DockerCluster)，将算法集成至服务中，对外以HTTP接口形式提供服务。从而用户只需要按定好的接口形式发起HTTP请求，通过HTTP接口向路由网关发送预测服务调用请求，由于该预测服务调用请求中包括待检测项，即可获取依据待检测项的历史数据结合机器学习算法的预测异常服务，而无需关注具体的算法实现，做到算法即服务。
在进行预测服务之前，需要先确定本次实时数据流中待检测项的各指标的实时结果，也即需要使用实时计算服务。本发明实施例中通过编写搜索语句，结合计算平台可以实现实时计算服务。比如利用Flink SQL实时计算：用户通过编写SQL语句，获取待检测项的实时数据信息，并由Flink计算平台调用计算因子即可处理数据，得到待检测项的各指标的实时结果；同时通过通用的预测UDF(User-Defined Functions，用户自定义函数)，可以调用预测服务，通过HTTP接口向路由网关发送预测服务调用请求，该预测服务调用请求中包括待检测项。
在得到待检测项的各指标的实时结果之后，且在开始调用预测服务之前，需要确定预测待检测项的预设模型。由于预测服务中运行着多套适用于不同指标的预设模型，比如有针对数值型异常指标的，有针对比例型异常指标的，因此需要通过路由网关确定待检测项属于何种类型，从而可以将待检测项路由至最佳的预设模型，由路由网关确定待检测项的预设模型对应的接口服务，并通过接口服务将预测服务请求发送至待检测项的预设模型。
通过调用预测服务、以及根据第一时段历史数据信息，即可以确定待检测项的各指标的预测结果；同时预测服务会对待检测项的每一个指标的预测结果与实时结果进行比对，若每一个指标的实时结果均不大于该指标的预测结果，则确定实时数据信息正常，此时预测服务将通过路由网关将正常的实时数据信息反馈至计算平台，由于实时数据信息为正常，因此与计算平台并不需要将实时数据信息发送至告警平台；若存在至少一个指标的实时结果大于该指标的预测结果，则确定实时数据信息异常，此时预测服务则通过路由网关将异常的实时数据信息反馈至计算平台，由于实时数据信息为异常，此时与计算平台进行通信的告警平台上将发布实时数据信息中的异常指标的实时结果与预测结果的告警信息，以提示业务人员及时查看异常并作出反应。
同时，无论实时数据信息异常与否，预测服务都会将待检测项的各指标的实时结果与预测结果发送至可视化平台，如在Grafana上进行直观展示，便于用户在可视化平台上对预设模型的敏感度进行调优，使得预设模型更加贴合实际的业务敏感需求。当然，也可以将待检测项的各指标的预测结果发送给计算平台，计算平台会对待检测项的每一个指标的预测结果与实时结果进行比对。
基于同样的构思，本发明实施例提供一种针对实时数据流进行异常检测的装置，如图3所示，该装置包括：
实时结果确定单元302，用于对待检测项的实时数据信息进行指标计算，得到所述待检测项中各指标的实时结果；
第一时段历史数据信息获取单元304，用于从历史数据中获取所述待检测项的第一时段历史数据信息；
预测结果确定单元305，用于将所述第一时段历史数据信息输入预设模型，得到所述待检测项中各指标的预测结果；
异常确定单元306，用于根据所述实时结果和所述预测结果，确定所述实时数据信息是否异常。
进一步地，对于该装置，还包括实时数据信息获取单元301，用于：接收用户输入的搜索语句，所述搜索语句用于设定所述待检测项；根据所述搜索语句，从实时数据流中获取所述实时数据信息。
进一步地，对于该装置，实时结果确定单元302，具体用于：确定所述待检测项的各指标的计算因子；调用计算平台的所述计算因子，对所述实时数据信息进行指标计算，得到所述各指标的实时结果。
进一步的，对于该装置，还包括预设模型确定单元303，用于：从历史数据中获取所述待检测项的第二时段历史数据信息；确定所述第二时段历史数据信息的数据特性；根据所述第二时段历史数据信息的数据特性，从多个预设模型中确定所述待检测项的预设模型。
进一步的，对于该装置，预设模型确定单元303，具体用于：对所述第二时段历史数据信息进行聚类；根据聚类结果确定所述第二时段历史数据信息的数据特性。
进一步的，对于该装置，预设模型确定单元303，具体用于：若所述第二时段历史数据信息的数据特性符合光滑曲线型，则确定所述待检测项的预设模型为数值型模型；若所述第二时段历史数据信息的数据特性符合平稳直线型，则确定所述待检测项的预设模型为比例型模型。
进一步的，对于该装置，第一时段历史数据信息获取单元304，具体用于：从第一时段的历史数据中获取所述待检测项的第一时段历史数据信息；所述第一时段为距离当前时刻最近的时段；所述装置还包括第二时段历史数据信息获取单元，具体用于：从第二时段的历史数据中获取所述待检测项的第二时段历史数据信息，其中，所述第二时段短于所述第一时段。
进一步的，对于该装置，所述异常确定单元306，具体用于：若所述各指标的实时结果均不大于所述各指标的预测结果，则确定所述实时数据信息正常；若所述各指标的实时结果中存在至少一个实时结果大于对应的预测结果，则确定所述实时数据信息异常。
进一步的，对于该装置，预设模型确定单元303，还用于：通过HTTP接口向路由网关发送预测服务调用请求；所述预测服务调用请求中包括所述待检测项；预设模型确定单元303，具体用于：确定所述待检测项的预设模型对应的服务接口，并通过所述服务接口将所述预测服务调用请求发送至所述待检测项的预设模型。
本发明实施例还提供了一种计算设备，该计算设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)等。该计算设备可以包括中央处理器(Center Processing Unit，CPU)、存储器、输入/输出设备等，输入设备可以包括键盘、鼠标、触摸屏等，输出设备可以包括显示设备，如液晶显示器(Liquid CrystalDisplay，LCD)、阴极射线管(Cathode Ray Tube，CRT)等。
存储器，可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器提供存储器中存储的程序指令和数据。在本发明实施例中，存储器可以用于执行针对实时数据流进行异常检测方法的程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行针对实时数据流进行异常检测的方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行针对实时数据流进行异常检测的方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种针对实时数据流进行异常检测的方法，其特征在于，包括：
对待检测项的实时数据信息进行指标计算，得到所述待检测项中各指标的实时结果；
从历史数据中获取所述待检测项的第一时段历史数据信息；
将所述第一时段历史数据信息输入预设模型，得到所述待检测项中各指标的预测结果；
根据所述实时结果和所述预测结果，确定所述实时数据信息是否异常；
将所述第一时段历史数据信息输入预设模型之前，还包括确定所述待检测项的预设模型；其中，通过以下方式确定所述待检测项的预设模型：
从所述历史数据中获取所述待检测项的第二时段历史数据信息；其中，所述第二时段短于所述第一时段；
确定所述第二时段历史数据信息的数据特性；
根据所述第二时段历史数据信息的数据特性，从多个预设模型中确定所述待检测项的预设模型；
确定所述第二时段历史数据信息的数据特性，包括：
对所述第二时段历史数据信息进行聚类；
根据聚类结果确定所述第二时段历史数据信息的数据特性。
2.如权利要求1所述的方法，其特征在于，
所述待检测项的实时数据信息的获取，包括：
接收用户输入的搜索语句，所述搜索语句用于设定所述待检测项；
根据所述搜索语句，从实时数据流中获取所述待检测项的实时数据信息。
3.如权利要求1所述的方法，其特征在于，
对待检测项的实时数据信息进行指标计算，得到所述待检测项中各指标的实时结果，包括：
确定所述待检测项的各指标的计算因子；
调用计算平台的所述计算因子，对所述实时数据信息进行指标计算，得到所述各指标的实时结果。
4.如权利要求1所述的方法，其特征在于，
根据所述第二时段历史数据信息的数据特性，从多个预设模型中确定所述待检测项的预设模型，包括：
若所述第二时段历史数据信息的数据特性符合光滑曲线型，则确定所述待检测项的预设模型为数值型模型；
若所述第二时段历史数据信息的数据特性符合平稳直线型，则确定所述待检测项的预设模型为比例型模型。
5.如权利要求1所述的方法，其特征在于，
从历史数据中获取所述待检测项的第一时段历史数据信息，包括：
从第一时段的历史数据中获取所述待检测项的第一时段历史数据信息；所述第一时段为距离当前时刻最近的时段；
从所述历史数据中获取所述待检测项的第二时段历史数据信息，包括：
从第二时段的历史数据中获取所述待检测项的第二时段历史数据信息。
6.如权利要求1-5任一项所述的方法，其特征在于，根据所述实时结果和所述预测结果，确定所述实时数据信息是否异常，包括：
若所述各指标的实时结果均不大于所述各指标的预测结果，则确定所述实时数据信息正常；
若所述各指标的实时结果中存在至少一个实时结果大于对应的预测结果，则确定所述实时数据信息异常。
7.如权利要求1所述的方法，其特征在于，
确定所述待检测项的预设模型之前，还包括：
通过HTTP接口向路由网关发送预测服务调用请求；所述预测服务调用请求中包括所述待检测项；
确定所述待检测项的预设模型，包括：
所述路由网关确定所述待检测项的预设模型对应的服务接口，并通过所述服务接口将所述预测服务调用请求发送至所述待检测项的预设模型。
8.一种针对实时数据流进行异常检测的装置，其特征在于，包括：
实时结果确定单元，用于对待检测项的实时数据信息进行指标计算，得到所述待检测项中各指标的实时结果；
第一时段历史数据信息获取单元，用于从历史数据中获取所述待检测项的第一时段历史数据信息；
预测结果确定单元，用于将所述第一时段历史数据信息输入预设模型，得到所述待检测项中各指标的预测结果；
异常确定单元，用于根据所述实时结果和所述预测结果，确定所述实时数据信息是否异常；
预设模型确定单元，用于从所述历史数据中获取所述待检测项的第二时段历史数据信息；其中，所述第二时段短于所述第一时段；确定所述第二时段历史数据信息的数据特性；根据所述第二时段历史数据信息的数据特性，从多个预设模型中确定所述待检测项的预设模型；
所述预设模型确定单元，具体用于对所述第二时段历史数据信息进行聚类；根据聚类结果确定所述第二时段历史数据信息的数据特性。
9.一种计算设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010206736.XA CN111447193B (zh) | 2020-03-23 | 2020-03-23 | 一种针对实时数据流进行异常检测的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010206736.XA CN111447193B (zh) | 2020-03-23 | 2020-03-23 | 一种针对实时数据流进行异常检测的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111447193A CN111447193A (zh) | 2020-07-24 |
| CN111447193B true CN111447193B (zh) | 2022-11-04 |
Family
ID=71653378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010206736.XA Expired - Fee Related CN111447193B (zh) | 2020-03-23 | 2020-03-23 | 一种针对实时数据流进行异常检测的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111447193B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114827636A (zh) * | 2021-01-18 | 2022-07-29 | 武汉斗鱼网络科技有限公司 | 一种视频播放异常的诊断方法及相关装置 |
| CN114697247B (zh) * | 2022-03-01 | 2024-02-06 | 乐视云网络技术(北京)有限公司 | 流媒体***的故障检测方法、装置、设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103400152A (zh) * | 2013-08-20 | 2013-11-20 | 哈尔滨工业大学 | 基于分层聚类的滑动窗口多数据流异常检测方法 |
| CN107086944A (zh) * | 2017-06-22 | 2017-08-22 | 北京奇艺世纪科技有限公司 | 一种异常检测方法和装置 |
| CN108494747A (zh) * | 2018-03-08 | 2018-09-04 | 上海观安信息技术股份有限公司 | 流量异常检测方法、电子设备及计算机程序产品 |
| CN110086649A (zh) * | 2019-03-19 | 2019-08-02 | 深圳壹账通智能科技有限公司 | 异常流量的检测方法、装置、计算机设备及存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103944757B (zh) * | 2014-04-11 | 2017-11-10 | 珠海市君天电子科技有限公司 | 网络异常检测的方法和装置 |
| CN107368517B (zh) * | 2017-06-02 | 2018-07-13 | 上海恺英网络科技有限公司 | 一种大数据流查询的方法及设备 |
| CN109542740B (zh) * | 2017-09-22 | 2022-05-27 | 阿里巴巴集团控股有限公司 | 异常检测方法及装置 |
| CN110210508B (zh) * | 2018-12-06 | 2021-11-09 | 北京奇艺世纪科技有限公司 | 模型生成方法、异常流量检测方法、装置、电子设备、计算机可读存储介质 |
| CN110377447B (zh) * | 2019-07-17 | 2022-07-22 | 腾讯科技（深圳）有限公司 | 一种异常数据检测方法、装置及服务器 |
| CN110888788A (zh) * | 2019-10-16 | 2020-03-17 | 平安科技（深圳）有限公司 | 异常检测方法、装置、计算机设备及存储介质 |
-
2020
- 2020-03-23 CN CN202010206736.XA patent/CN111447193B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103400152A (zh) * | 2013-08-20 | 2013-11-20 | 哈尔滨工业大学 | 基于分层聚类的滑动窗口多数据流异常检测方法 |
| CN107086944A (zh) * | 2017-06-22 | 2017-08-22 | 北京奇艺世纪科技有限公司 | 一种异常检测方法和装置 |
| CN108494747A (zh) * | 2018-03-08 | 2018-09-04 | 上海观安信息技术股份有限公司 | 流量异常检测方法、电子设备及计算机程序产品 |
| CN110086649A (zh) * | 2019-03-19 | 2019-08-02 | 深圳壹账通智能科技有限公司 | 异常流量的检测方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111447193A (zh) | 2020-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11631014B2 (en) | Computer-based systems configured for detecting, classifying, and visualizing events in large-scale, multivariate and multidimensional datasets and methods of use thereof | |
| CN109634801B (zh) | 数据趋势分析方法、***、计算机装置及可读存储介质 | |
| WO2019051951A1 (zh) | 业务数据监控方法、装置、终端设备及存储介质 | |
| CN109684162B (zh) | 设备状态预测方法、***、终端及计算机可读存储介质 | |
| CN111045894B (zh) | 数据库异常检测方法、装置、计算机设备和存储介质 | |
| CN111447193B (zh) | 一种针对实时数据流进行异常检测的方法及装置 | |
| CN113515399A (zh) | 数据异常检测方法及装置 | |
| CN110334816A (zh) | 一种工业设备检测方法、装置、设备及可读存储介质 | |
| CN111444060A (zh) | 异常检测模型训练方法、异常检测方法及相关装置 | |
| CN113537337A (zh) | 训练方法、异常检测方法、装置、设备和存储介质 | |
| CN113987086A (zh) | 数据处理方法、数据处理装置、电子设备以及存储介质 | |
| CN107391230B (zh) | 一种确定虚拟机负载的实现方法和装置 | |
| CN115687794A (zh) | 用于推荐物品的学生模型训练方法、装置、设备及介质 | |
| CN110825526B (zh) | 基于er关系的分布式调度方法及装置、设备以及存储介质 | |
| US9996952B1 (en) | Analytic system for graphical interactive B-spline model selection | |
| CN113553234A (zh) | 数据异常检测方法 | |
| CN104573127B (zh) | 评估数据差异性的方法和*** | |
| CN111402000B (zh) | 一种业务页面的生成方法、装置、***及计算机*** | |
| CN113420935A (zh) | 故障定位方法、装置、设备和介质 | |
| CN112541595A (zh) | 模型构建方法及装置、存储介质及电子设备 | |
| CN108073464A (zh) | 一种基于速度和加速度的时序数据异常点检测方法及装置 | |
| CN111930604B (zh) | 联机交易性能分析方法及装置、电子设备和可读存储介质 | |
| US20230052619A1 (en) | Real-time error prevention during invoice creation | |
| CN110580265B (zh) | Etl任务的处理方法、装置、设备及存储介质 | |
| CN114090377A (zh) | 一种数据监控方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20221104 |