CN111740856A - 基于异常检测算法的网络通信设备告警采集异常预警方法 - Google Patents
基于异常检测算法的网络通信设备告警采集异常预警方法 Download PDFInfo
- Publication number
- CN111740856A CN111740856A CN202010377031.4A CN202010377031A CN111740856A CN 111740856 A CN111740856 A CN 111740856A CN 202010377031 A CN202010377031 A CN 202010377031A CN 111740856 A CN111740856 A CN 111740856A
- Authority
- CN
- China
- Prior art keywords
- alarm
- aqmd
- data
- algorithm
- iforest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
基于异常检测算法的网络通信设备告警采集异常预警方法，通过从告警质量元数据AQMD到告警质量孤立森林簇AQIFG的构建算法和告警AQMD定时检测程序，能够提高预警确信，发现潜在风险的同时减少误报，能够及时发现数据异常，降低重大告警丢失风险，从而提高网络的可靠性，缩短网络故障恢复时间，间接提升用户满意度。
Description
技术领域
本发明涉及通信设备告警管理技术，特别是一种基于异常检测算法的网络通信设备告警采集异常预警方法，通过从告警质量元数据AQMD到告警质量孤立森林簇AQIFG的构建算法和告警AQMD定时检测程序，能够提高预警确信，发现潜在风险的同时减少误报，能够及时发现数据异常，降低重大告警丢失风险，从而提高网络的可靠性，缩短网络故障恢复时间，间接提升用户满意度。
背景技术
随着网络的快速发展，通信网络越来越复杂和庞大，设备产生的告警也越来越多，为保障设备异常及时发现、需要确保从设备采集告警的可靠性。监控告警采集质量主要通过监控告警延时时长，现有方案主要根据运维人员经验，通过配置阈值方式实现告警异常波动监控，当波动范围超出阈值后，***生成告警波动异常通知给运维人员进行检查。流程如下：1，针对每一个告警数据源采集的历史告警进行人工统计分析归纳，并得出告警延迟异常经验值；2，根据经验值对每一个告警数据源进行阈值配置，作为异常预警依据；3，***定时统计告警延迟并与预先配置阈值进行对比分析，如果超出异常，则生成异常通知；4，运维人员接收到异常通知后对告警采集过程进行检查，判断是否存在问题，如果存在则处理，如果不存在直接手工归档告警；5，定期分析告警历史数据及异常数据，调整延迟异常阈值。
当前在设备告警采集过程中，实现设备告警采集异常的预警，存在的问题和缺陷，有以下几点：1、设备告警量比较大，告警频率比较高，在大量的告警中识别出告警采集的异常波动比较困难。2、传统告警采集监控手段往往是对每个设备设置时间阈值，但是每个设备在忙时和闲时，设备负荷不同时设置的阈值往往不符合设备实际情况。当阈值偏大时，设备告警采集异常往往不能及时发现；而当阈值偏小时，会导致误报，使得运维人员处理告警疲于奔命。3、传统告警采集监控手段往往是对每个设备设置时间阈值，但是每个设备的告警量，告警频率均不一致，当采集设备量很大时，通用的阈值往往不能正确的反应设备告警的采集情况，而针对每一个设备单独配置阈值的工作量巨大，还需要经常针对设备情况修正配置的阈值。
发明内容
本发明针对现有技术中存在的缺陷或不足，提供一种基于异常检测算法的网络通信设备告警采集异常预警方法，通过从告警质量元数据AQMD到告警质量孤立森林簇AQIFG的构建算法和告警AQMD定时检测程序，能够提高预警确信，发现潜在风险的同时减少误报，能够及时发现数据异常，降低重大告警丢失风险，从而提高网络的可靠性，缩短网络故障恢复时间，间接提升用户满意度。
本发明的技术方案如下：
基于异常检测算法的网络通信设备告警采集异常预警方法，其特征在于，包括从告警质量元数据AQMD到告警质量孤立森林簇AQIFG的构建算法和告警AQMD定时检测程序，所述AQMD的结构为以下四元组：AQMD＝(dev,EventID,EventTime,AlarmInterval)，其中dev是设备对象，EventID是告警的唯一ID，EventTime是设备告警的发生时间，AlarmInterval是上次告警发生与本次告警的间隔；所述AQIFG的结构为以下三元组：AQIFG＝(SampleBeginTime,SampleEndTime,AQ-IForest)，其中SampleBeginTime是样本集中最早的AQMD的EventTime，SampleEndTime是样本集中最晚的AQMD的EventTime，AQ-IForest是根据这个样本集创建的告警质量孤立森林。
所述设备对象每次告警产生一条AQMD，取其若干天的AQMD数据，分别针对每一天，对EventTime进行聚集，根据聚集的程度来区分设备的忙时和闲时，对于每天的AQMD聚集的数据，根据其EventTime，按照每个小时进行划分，每天同一个设备会有24个告警采集质量元数据集AQMDC，将同一个设备的若干天的AQMDC进行相同时段合并，产生24个AQMDC样本集，基于每个样本集，构建告警数据质量孤立树AQ-ITree，若干棵AQ-ITree构建一片告警数据质量森林AQ-IForest。
所述构建告警数据质量孤立树AQ-ITree包括以下步骤：首先，选择一个样本集构建孤立树，从样本集中随机无放回选择若干样本点作为子样本，放入树的根节点；其次，指定AlarmInterval维度，在当前节点数据中随机产生一个位于当前节点数据中指定维度的最大值和最小值之间的切割点；再次，以此切割点生成一个超平面，将当前节点数据划分为两个子空间。把指定维度里小于该切割点的数据放在当前节点的左子树,把大于等于该切割点的数据放在当前节点的右子树；最后，在叶子节点中递归重复以上过程，不断构造新的叶子节点，直到当前节点的高度超过了算法设置的阈值，或当前子树只包含一个叶节点，或当前子树的所有节点值的所有属性完全一致。
在构建AQ-ITree时，设定256作为根节点样本集的大小以使孤立树在构建时能多次切割将离群点和正常点分割，又避免大数据量造成的淹没和掩蔽效应。
在构建AQ-ITree时，设定根节点采样数为256，并将树高限制为8，以减少算法时间和空间消耗。
构建所述AQ-IForest包括以下步骤：首先，定义一个空的AQ-IForest，并定义森林中AQ-ITree数量上限；其次，选择一个样本集，应用AQ-ITree构建算法，构建一棵AQ-ITree，将AQ-ITree加入到森林中；再次，判断AQ-IForest中AQMD-ITree的数量，如果没有达到设置的上限，则继续进行AQ-ITree构建；最后，当AQ-IForest中AQ-ITree的数量达到上限时，终止AQ-IForest的构建。输出构建好的AQ-IForest。
所述AQ-IForest包含100棵AQ-ITree。
所述告警质量孤立森林簇AQIFG的构建算法包括滑动窗口更新算法，所述滑动窗口更新算法包括以下步骤：首先，在每一天的固定时间，将样本集中最旧一天的AQMD删除，并将当天新增的AQMD导入到告警采集质量元数据集AQMDC中，并重新进行划分，形成最新样本集；其次，使用所述最新样本集迭代构建告警数据质量孤立树AQ-ITree，以及AQ-IForest；再次，将AQ-IForest聚集成为新的AQIFG即完成AQIFG滑动窗口更新。
利用构建好的所述AQIFG进行告警数据质量异常检测，所述告警数据质量异常检测包括以下步骤：首先利用告警AQMD定时检测程序，此程序的输入是接入的所有设备的告警采集数据，此程序使用两种数据对告警的数据质量进行判断，其一是当前设备的实时AQMD数据，其二是定时检测生成的虚拟I-AQMD数据，所述I-AQMD数据有别于真实的AQMD数据，它没有真正的EventID，它的EventTime取值为当前时间，AlarmInterval为上一条AQMD与本条I-AQMD的间隔；然后，这两种数据实时输入到AQIFG中，根据AQIFG异常检测算法来对异常点进行评估，评估的结果越接近于1，则此异常点的异常概率越高。
利用构建好的所述AQIFG进行告警数据质量异常检测，所述告警数据质量异常检测包括以下步骤：步骤1，AQMD定时检测***对设备AQMD定时检测；步骤2，判断AQMD是否更新，若是，则获取AQMD，若否，则构建I-AQMD；步骤3，输入AQIFG；步骤4，根据EventTime选择对应的AQ-IForest；各自并行输入AQ-ITree；步骤5，各自进行离群点特征检测；步骤6，离群点整体评估；步骤7，输出评估结果。
本发明的技术效果如下：本发明基于异常检测算法的网络通信设备告警采集异常预警方法，采用人工智能方法能够实时、准实时分析出不同网元、不同时间段的告警延迟特征。其滑动阈值更符合实际场景，比现有方案更加准确、智能。本发明能够提高预警确信，发现潜在风险的同时减少误报，能够及时发现数据异常，降低重大告警丢失风险，从而提高网络的可靠性，缩短网络故障恢复时间，间接提升用户满意度。告警采集是个稳定的过程，出现问题的概率较低，这意味着采集过程中的异常点会相当的少，并且采集异常点的特征会与正常点不同。根据这种特征，本发明选择用异常检测算法中的孤立森林算法对告警异常进行实时的检测。特别的，根据告警采集的特征，本发明对原始的孤立森林算法进行优化，以便更符合具体的业务模型。创建告警数据质量孤立树之前需要根据告警元数据选择符合业务模型的样本。在此，本发明根据设备的忙时和闲时来进行样本的选择。当设备业务繁重时，比较容易产生告警，反之产生告警的概率会降低。经过这样划分，可以比较科学的对孤立树进行建模，使本发明的的异常检测算法正确率提升。总之，本发明具有以下特点：1、从AQMD到AQIFG的整个构建算法；告警AQMD定时检测程序的思路；告警采集异常检测的整体分析算法。
附图说明
图1是实施本发明基于异常检测算法的网络通信设备告警采集异常预警方法示意图。图1中的AQMD(Alarm Quality Meta Data)为告警质量元数据，告警质量元数据AQMD＝四元组(设备对象dev，告警事件识别EventID，告警事件时间EventTime，告警发生间隔AlarmInterval)，即AQMD＝(dev，EventID，EventTime，AlarmInterval)。I-AQMD为虚拟告警质量元数据，即虚拟AQMD。AQIFG(Alarm Quality IForest Group)为告警质量孤立森林簇，告警质量孤立森林簇AQIFG＝三元组(最早样本时间SampleBeginTime,最晚样本时间SampleEndTime,告警质量孤立森林AQ-IForest)的集合，即AQIFG＝(SampleBeginTime,SampleEndTime,AQ-IForest)。AQ-ITree为告警数据质量孤立树，若干棵告警数据质量孤立树AQ-ITree构建成告警质量孤立森林AQ-IForest。若干条AQMD构成AQMDC(Alarm QualityMeta Data Cluster，告警采集质量元数据集)。图1中从网络通信设备告警中对异常预警的检测流程如下：步骤1，AQMD定时检测***对设备AQMD定时检测；步骤2，判断AQMD是否更新，若是，则获取AQMD，若否，则构建I-AQMD；步骤3，输入AQIFG；步骤4，根据EventTime选择对应的AQ-IForest；各自并行输入AQ-ITree；步骤5，各自进行离群点特征检测；步骤6，离群点整体评估；步骤7，输出评估结果。
具体实施方式
下面结合附图(图1)对本发明进行说明。
图1是实施本发明基于异常检测算法的网络通信设备告警采集异常预警方法示意图。参考图1，基于异常检测算法的网络通信设备告警采集异常预警方法，包括从告警质量元数据AQMD到告警质量孤立森林簇AQIFG的构建算法和告警AQMD定时检测程序，所述AQMD的结构为以下四元组：AQMD＝(dev,EventID,EventTime,AlarmInterval)，其中dev是设备对象，EventID是告警的唯一ID，EventTime是设备告警的发生时间，AlarmInterval是上次告警发生与本次告警的间隔；所述AQIFG的结构为以下三元组：AQIFG＝(SampleBeginTime,SampleEndTime,AQ-IForest)，其中SampleBeginTime是样本集中最早的AQMD的EventTime，SampleEndTime是样本集中最晚的AQMD的EventTime，AQ-IForest是根据这个样本集创建的告警质量孤立森林。下面分两步进行阐述：
第一步：明确数据来源，本方案所需要的基础数据来源统一采集平台采集设备告警过程中产生的元数据：1、设备对象；2、设备告警唯一ID；3、设备告警发生时间；4、设备告警的时间间隔。根据已具备的数据，组成了设备告警的元数据。定义如下：告警采集质量元数据(Alarm Quality Meta Data)，AQMD告警采集质量元数据的结构是一个四元组，
AQMD＝(dev,EventID,EventTime,AlarmInterval)
其中：dev是设备对象；EventID是告警的唯一ID；EventTime是设备告警的发生时间；AlarmInterval是上次告警发生与本次告警的间隔。每个设备每天根据设备告警的数量，会产生若干AQMD数据。
第二步：告警异常分析算法。关于告警异常检测算法定义：告警采集是个稳定的过程，出现问题的概率较低，这意味着采集过程中的异常点会相当的少，并且采集异常点的特征会与正常点不同。根据这种特征，我们选择用异常检测算法中的孤立森林算法对告警异常进行实时的检测。特别的，根据告警采集的特征，我们对原始的孤立森林算法进行优化，以便更符合我们的业务模型。关于告警数据质量孤立树构建算法：创建告警数据质量孤立树之前需要根据告警元数据选择符合业务模型的样本。在此，我们根据设备的忙时和闲时来进行样本的选择。当设备业务繁重时，比较容易产生告警，反之产生告警的概率会降低。经过这样划分，可以比较科学的对孤立树进行建模，使我们的的异常检测算法正确率提升。
告警采集质量元数据集(Alarm Quality Meta Data Cluster)AQMDC的定义：告警采集质量元数据AQMDC是一个集合，集合中包括若干条AQMD。集合中的AQMD是根据不同的类型进行聚集，并且根据时间进行划分，具有相同特征的元数据。对于同一台设备dev，取其若干天的AQMD数据，分别针对每一天，对EventTime进行聚集，根据聚集的程度来区分设备的忙时和闲时。对于每天的AQMD聚集的数据，根据其EventTime，按照每个小时进行划分，每天同一个设备会有24个AQMDC。有了AQMDC，将同一个设备的多天的AQMDC进行合并，作为我们算法的样本集。合并后，会产生24个样本集。
基于每个样本集，我们可以构建告警数据质量孤立树。关于告警数据质量孤立树AQ-ITree构建算法包括：
首先，选择一个样本集构建孤立树，从样本集中随机无放回选择若干样本点作为子样本，放入树的根节点。
其次，指定AlarmInterval维度，在当前节点数据中随机产生一个位于当前节点数据中指定维度的最大值和最小值之间的切割点。
再次，以此切割点生成一个超平面，将当前节点数据划分为两个子空间。把指定维度里小于该切割点的数据放在当前节点的左子树,把大于等于该切割点的数据放在当前节点的右子树。
最后，在叶子节点中递归重复以上过程，不断构造新的叶子节点，直到当前节点的高度超过了算法设置的阈值；或当前子树只包含一个叶节点；或当前子树的所有节点值的所有属性完全一致。
特别的，在构建AQ-ITree时，我们选择256作为根节点样本集的大小，既可以使隔离树在构建时能多次切割将离群点和正常点分割，又能避免大数据量造成的淹没和掩蔽效应。而当根节点采样数为256(个)时，将树高限制为8(层)，使算法时间和空间消耗较少。
关于告警数据质量孤立森林构建算法：当只有一棵AQ-ITree时，算法的偶然性较高，无法用于告警数据质量异常点检测。于是我们可以迭代使用上述的AQ-ITree构建算法，即可构建数据质量的孤立森林AQ-IForest。
关于告警数据质量森林AQ-IForest构建算法包括：
首先，定义一个空的AQ-IForest，并定义森林中AQ-ITree数量上限。
其次，选择一个样本集，应用上述的AQ-ITree构建算法，构建一棵AQ-ITree，将AQ-ITree加入到森林中。
再次，判断AQ-IForest中AQMD-ITree的数量，如果没有达到设置的上限，则继续进行AQ-ITree构建。
最后，当AQ-IForest中AQ-ITree的数量达到上限时，终止AQ-IForest的构建。输出构建好的AQ-IForest。
特别的，在AQ-IForest包含100棵AQ-ITree时既可保证算法能构造出一定数量的有效隔离树，又能确保时间和空间消耗在很小的范围内，同时体现出集成方法的组合特性。
关于告警数据质量孤立森林簇构建算法，其告警质量孤立森林簇(Alarm QualityIForest Group)AQIFG是针对所有样本集构建的AQ-IForest的集合，集合是个三元组：
AQIFG＝(SampleBeginTime,SampleEndTime,AQ-IForest)
其中：SampleBeginTime是样本集中最早的AQMD的EventTime。SampleEndTime是样本集中最晚的AQMD的EventTime。AQ-IForest是根据这个样本集创建的告警质量孤立森林。我们使用AQIFG来进行告警数据质量的检查。
随着时间的推移，设备的告警情况也不断地变化。我们的样本集也应该随之更新，不然，过旧的样本无法很好的反应设备业务的变化。会导致我们的算法的可靠性下降，误报率上升。我们采用滑动窗口的算法来更新我们的样本集，再更新样本集之后，依次的按照之前的算法重新构建出新的AQIFG。
关于AQIFG滑动窗口更新算法包括：
首先，在每一天的固定时间，将样本集中最旧一天的AQMD删除。并将当天新增的AQMD导入到AQMDC中，并重新进行划分，形成样本集。
其次，使用最新的样本集迭代构建AQ-ITree，AQ-IForest。
再次，将AQ-IForest聚集成为新的AQIFG。
至此，AQIFG滑动窗口更新完毕。由此算法构建的AQIFG可以保证我们的算法可以很好的符合我们的业务模式。
关于告警异常算法应用：我们使用已经构建好的AQIFG来进行告警数据质量的异常检测。
首先我们需要引入一个告警AQMD定时检测程序，此程序的输入是接入的所有设备的告警采集数据，此程序使用两种数据对告警的数据质量进行判断。其一是当前设备的实时AQMD数据，其二是定时检测生成的虚拟AQMD数据(I-AQMD)，此种I-AQMD数据有别于真实的AQMD数据，它没有真正的EventID，它的EventTime取值为当前时间，AlarmInterval为上一条AQMD与本条I-AQMD的间隔。我们将这两种实时数据输入到AQIFG中，根据AQIFG异常检测算法来对异常点进行评估。评估的结果约接近于1，则此条数据的异常概率越高。即告警采集产生的异常概率越高。
检测过程如图1所示，从网络通信设备告警中对异常预警的检测流程如下：步骤1，AQMD定时检测***对设备AQMD定时检测；步骤2，判断AQMD是否更新，若是，则获取AQMD，若否，则构建I-AQMD；步骤3，输入AQIFG；步骤4，根据EventTime选择对应的AQ-IForest；各自并行输入AQ-ITree；步骤5，各自进行离群点特征检测；步骤6，离群点整体评估；步骤7，输出评估结果。
在此指明，以上叙述有助于本领域技术人员理解本发明创造，但并非限制本发明创造的保护范围。任何没有脱离本发明创造实质内容的对以上叙述的等同替换、修饰改进和/或删繁从简而进行的实施，均落入本发明创造的保护范围。
Claims (10)
1.基于异常检测算法的网络通信设备告警采集异常预警方法，其特征在于，包括从告警质量元数据AQMD到告警质量孤立森林簇AQIFG的构建算法和告警AQMD定时检测程序，所述AQMD的结构为以下四元组：AQMD＝(dev,EventID,EventTime,AlarmInterval)，其中dev是设备对象，EventID是告警的唯一ID，EventTime是设备告警的发生时间，AlarmInterval是上次告警发生与本次告警的间隔；所述AQIFG的结构为以下三元组：AQIFG＝(SampleBeginTime,SampleEndTime,AQ-IForest)，其中SampleBeginTime是样本集中最早的AQMD的EventTime，SampleEndTime是样本集中最晚的AQMD的EventTime，AQ-IForest是根据这个样本集创建的告警质量孤立森林。
2.根据权利要求1所述的基于异常检测算法的网络通信设备告警采集异常预警方法，其特征在于，所述设备对象每次告警产生一条AQMD，取其若干天的AQMD数据，分别针对每一天，对EventTime进行聚集，根据聚集的程度来区分设备的忙时和闲时，对于每天的AQMD聚集的数据，根据其EventTime，按照每个小时进行划分，每天同一个设备会有24个告警采集质量元数据集AQMDC，将同一个设备的若干天的AQMDC进行相同时段合并，产生24个AQMDC样本集，基于每个样本集，构建告警数据质量孤立树AQ-ITree，若干棵AQ-ITree构建一片告警数据质量森林AQ-IForest。
3.根据权利要求2所述的基于异常检测算法的网络通信设备告警采集异常预警方法，其特征在于，所述构建告警数据质量孤立树AQ-ITree包括以下步骤：首先，选择一个样本集构建孤立树，从样本集中随机无放回选择若干样本点作为子样本，放入树的根节点；其次，指定AlarmInterval维度，在当前节点数据中随机产生一个位于当前节点数据中指定维度的最大值和最小值之间的切割点；再次，以此切割点生成一个超平面，将当前节点数据划分为两个子空间。把指定维度里小于该切割点的数据放在当前节点的左子树,把大于等于该切割点的数据放在当前节点的右子树；最后，在叶子节点中递归重复以上过程，不断构造新的叶子节点，直到当前节点的高度超过了算法设置的阈值，或当前子树只包含一个叶节点，或当前子树的所有节点值的所有属性完全一致。
4.根据权利要求2所述的基于异常检测算法的网络通信设备告警采集异常预警方法，其特征在于，在构建AQ-ITree时，设定256作为根节点样本集的大小以使孤立树在构建时能多次切割将离群点和正常点分割，又避免大数据量造成的淹没和掩蔽效应。
5.根据权利要求2所述的基于异常检测算法的网络通信设备告警采集异常预警方法，其特征在于，在构建AQ-ITree时，设定根节点采样数为256，并将树高限制为8，以减少算法时间和空间消耗。
6.根据权利要求2所述的基于异常检测算法的网络通信设备告警采集异常预警方法，其特征在于，构建所述AQ-IForest包括以下步骤：首先，定义一个空的AQ-IForest，并定义森林中AQ-ITree数量上限；其次，选择一个样本集，应用AQ-ITree构建算法，构建一棵AQ-ITree，将AQ-ITree加入到森林中；再次，判断AQ-IForest中AQMD-ITree的数量，如果没有达到设置的上限，则继续进行AQ-ITree构建；最后，当AQ-IForest中AQ-ITree的数量达到上限时，终止AQ-IForest的构建。输出构建好的AQ-IForest。
7.根据权利要求2所述的基于异常检测算法的网络通信设备告警采集异常预警方法，其特征在于，所述AQ-IForest包含100棵AQ-ITree。
8.根据权利要求1所述的基于异常检测算法的网络通信设备告警采集异常预警方法，其特征在于，所述告警质量孤立森林簇AQIFG的构建算法包括滑动窗口更新算法，所述滑动窗口更新算法包括以下步骤：首先，在每一天的固定时间，将样本集中最旧一天的AQMD删除，并将当天新增的AQMD导入到告警采集质量元数据集AQMDC中，并重新进行划分，形成最新样本集；其次，使用所述最新样本集迭代构建告警数据质量孤立树AQ-ITree，以及AQ-IForest；再次，将AQ-IForest聚集成为新的AQIFG即完成AQIFG滑动窗口更新。
9.根据权利要求1所述的基于异常检测算法的网络通信设备告警采集异常预警方法，其特征在于，利用构建好的所述AQIFG进行告警数据质量异常检测，所述告警数据质量异常检测包括以下步骤：首先利用告警AQMD定时检测程序，此程序的输入是接入的所有设备的告警采集数据，此程序使用两种数据对告警的数据质量进行判断，其一是当前设备的实时AQMD数据，其二是定时检测生成的虚拟I-AQMD数据，所述I-AQMD数据有别于真实的AQMD数据，它没有真正的EventID，它的EventTime取值为当前时间，AlarmInterval为上一条AQMD与本条I-AQMD的间隔；然后，这两种数据实时输入到AQIFG中，根据AQIFG异常检测算法来对异常点进行评估，评估的结果越接近于1，则此异常点的异常概率越高。
10.根据权利要求1所述的基于异常检测算法的网络通信设备告警采集异常预警方法，其特征在于，利用构建好的所述AQIFG进行告警数据质量异常检测，所述告警数据质量异常检测包括以下步骤：步骤1，AQMD定时检测***对设备AQMD定时检测；步骤2，判断AQMD是否更新，若是，则获取AQMD，若否，则构建I-AQMD；步骤3，输入AQIFG；步骤4，根据EventTime选择对应的AQ-IForest；各自并行输入AQ-ITree；步骤5，各自进行离群点特征检测；步骤6，离群点整体评估；步骤7，输出评估结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010377031.4A CN111740856B (zh) | 2020-05-07 | 2020-05-07 | 基于异常检测算法的网络通信设备告警采集异常预警方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010377031.4A CN111740856B (zh) | 2020-05-07 | 2020-05-07 | 基于异常检测算法的网络通信设备告警采集异常预警方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111740856A true CN111740856A (zh) | 2020-10-02 |
| CN111740856B CN111740856B (zh) | 2023-04-28 |
Family
ID=72646988
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010377031.4A Active CN111740856B (zh) | 2020-05-07 | 2020-05-07 | 基于异常检测算法的网络通信设备告警采集异常预警方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111740856B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113645181A (zh) * | 2021-06-21 | 2021-11-12 | 上海电力大学 | 一种基于孤立森林的分布式规约攻击检测方法及*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108777873A (zh) * | 2018-06-04 | 2018-11-09 | 江南大学 | 基于加权混合孤立森林的无线传感网络异常数据检测方法 |
| CN109543765A (zh) * | 2018-08-23 | 2019-03-29 | 江苏海平面数据科技有限公司 | 一种基于改进IForest的工业数据去噪方法 |
| US20190173902A1 (en) * | 2016-12-06 | 2019-06-06 | Panasonic Intellectual Property Corporation Of America | Information processing device, information processing method, and recording medium storing program |
| US20190221090A1 (en) * | 2018-01-12 | 2019-07-18 | Qognify Ltd. | System and method for dynamically ordering video channels according to rank of abnormal detection |
| CN110046665A (zh) * | 2019-04-17 | 2019-07-23 | 成都信息工程大学 | 基于孤立森林二分类异常点检测方法、信息数据处理终端 |
| CN110334085A (zh) * | 2019-05-30 | 2019-10-15 | 广州供电局有限公司 | 配电网数据监测和修正方法、装置、计算机及存储介质 |
-
2020
- 2020-05-07 CN CN202010377031.4A patent/CN111740856B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190173902A1 (en) * | 2016-12-06 | 2019-06-06 | Panasonic Intellectual Property Corporation Of America | Information processing device, information processing method, and recording medium storing program |
| US20190221090A1 (en) * | 2018-01-12 | 2019-07-18 | Qognify Ltd. | System and method for dynamically ordering video channels according to rank of abnormal detection |
| CN108777873A (zh) * | 2018-06-04 | 2018-11-09 | 江南大学 | 基于加权混合孤立森林的无线传感网络异常数据检测方法 |
| WO2019233189A1 (zh) * | 2018-06-04 | 2019-12-12 | 江南大学 | 一种传感网络异常数据检测方法 |
| CN109543765A (zh) * | 2018-08-23 | 2019-03-29 | 江苏海平面数据科技有限公司 | 一种基于改进IForest的工业数据去噪方法 |
| CN110046665A (zh) * | 2019-04-17 | 2019-07-23 | 成都信息工程大学 | 基于孤立森林二分类异常点检测方法、信息数据处理终端 |
| CN110334085A (zh) * | 2019-05-30 | 2019-10-15 | 广州供电局有限公司 | 配电网数据监测和修正方法、装置、计算机及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| SIMIN LUO; LE LUAN; YIPING CUI; XUEYAN CHAI; ZHUZHU WANG; YIMING: ""An Attribute Associated Isolation Forest Algorithm for Detecting Anomalous Electro-data"", 《2019 CHINESE CONTROL CONFERENCE (CCC)》 * |
| 姚植元: ""校园网络设备接入状态评估和推演***的研究与实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113645181A (zh) * | 2021-06-21 | 2021-11-12 | 上海电力大学 | 一种基于孤立森林的分布式规约攻击检测方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111740856B (zh) | 2023-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102520044B1 (ko) | 경보 로그 압축 방법, 장치, 및 시스템, 및 저장 매체 | |
| CN111885012B (zh) | 基于多种网络设备信息采集的网络态势感知方法及*** | |
| CN111047082B (zh) | 设备的预警方法及装置、存储介质和电子装置 | |
| CN108415789B (zh) | 面向大规模混合异构存储***的节点故障预测***及方法 | |
| CN109189736B (zh) | 一种告警关联规则的生成方法和装置 | |
| CN111506478A (zh) | 基于人工智能实现告警管理控制的方法 | |
| CN109586239B (zh) | 智能变电站实时诊断及故障预警方法 | |
| CN104363106A (zh) | 一种基于大数据技术的电力信息通信故障预警分析方法 | |
| CN104243236A (zh) | 一种监控***运维告警数据分析的方法、***及服务器 | |
| CN112769605B (zh) | 一种异构多云的运维管理方法及混合云平台 | |
| CN110135603B (zh) | 一种基于改进熵权法的电力网络告警空间特征分析方法 | |
| US20180295014A1 (en) | Managing Network Alarms | |
| CN114465874A (zh) | 故障预测方法、装置、电子设备与存储介质 | |
| JP7401677B2 (ja) | モデル更新システム、モデル更新方法及び関連装置 | |
| CN116684878B (zh) | 一种5g信息传输数据安全监测*** | |
| CN110730100A (zh) | 一种告警信息处理方法、装置及服务器 | |
| CN115454778A (zh) | 大规模云网络环境下的时序指标异常智能监控*** | |
| CN112395608A (zh) | 网络安全威胁监测方法、装置和可读存储介质 | |
| CN110932899A (zh) | 一种应用ai智能故障压缩研究方法及其*** | |
| CN114595210A (zh) | 一种多维数据的异常检测方法、装置及电子设备 | |
| CN115277113A (zh) | 一种基于集成学习的电网网络入侵事件检测识别方法 | |
| CN111740856B (zh) | 基于异常检测算法的网络通信设备告警采集异常预警方法 | |
| CN115827363A (zh) | 资源告警分析方法、装置、电子设备和存储介质 | |
| CN117194171A (zh) | 一种异构云资源全景式异常检测*** | |
| CN114860543A (zh) | 异常检测方法、装置、设备与计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |