CN113497726A - 告警监控方法、***、计算机可读存储介质及电子设备 - Google Patents
告警监控方法、***、计算机可读存储介质及电子设备 Download PDFInfo
- Publication number
- CN113497726A CN113497726A CN202010250771.1A CN202010250771A CN113497726A CN 113497726 A CN113497726 A CN 113497726A CN 202010250771 A CN202010250771 A CN 202010250771A CN 113497726 A CN113497726 A CN 113497726A
- Authority
- CN
- China
- Prior art keywords
- alarm
- prediction
- neural network
- data
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000012544 monitoring process Methods 0.000 title claims abstract description 60
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000013528 artificial neural network Methods 0.000 claims abstract description 122
- 238000012549 training Methods 0.000 claims abstract description 69
- 230000002159 abnormal effect Effects 0.000 claims abstract description 41
- 238000012795 verification Methods 0.000 claims abstract description 34
- 238000007781 pre-processing Methods 0.000 claims abstract description 19
- 230000002776 aggregation Effects 0.000 claims abstract description 15
- 238000004220 aggregation Methods 0.000 claims abstract description 15
- 238000005457 optimization Methods 0.000 claims description 25
- 230000004931 aggregating effect Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 238000004140 cleaning Methods 0.000 abstract description 2
- 238000013501 data transformation Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 33
- 238000010586 diagram Methods 0.000 description 12
- 238000005065 mining Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 230000000737 periodic effect Effects 0.000 description 5
- 230000008447 perception Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Neurology (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Telephonic Communication Services (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例提供了一种基于局部异常点校验约束的神经网络告警监控方法、***、计算机可读存储介质及电子设备，利用历史***、设备告警数据进行数据预处理，实现脏数据的数据清洗、数据变换，制作成***、设备告警训练集，利用神经网络目标函数进行***、设备告警数据集训练，优化损失函数值，建立***、设备告警预测模型。采集***、设备当前状态信息，并输入告警预测模型中，实现告警预测，利用FP‑Growth算法进行当前和预测告警关联、聚合，基于整网跨专业、机房、机楼级网络拓扑利用局部异常点校验方法进行告警关联校验，如校验告警有误则进行神经网络继续优化以调整得到最优权值和偏置值，如校验告警无误则进行告警分类、分级输出并进行数据库备份。
Description
【技术领域】
本发明涉及通信技术领域，尤其涉及一种告警监控方法、***、计算机可读存储介质及电子设备。
【背景技术】
随着通信信息技术的高速发展，电信网络愈加丰富，但是网络的规模、复杂性也愈加严峻。电信级网络通常包括多厂商成千上万的***和设备，***和设备之间又通过多种媒介互联，彼此之间存在着复杂的关联关系，这使得故障告警管理成为电信网络中一个难题。
在现有运营商监控方案中，运营商暂未通过告警名称、告警等级、告警频度、告警诱因***及设备状态、是否转故障、产生告警的设备类型和站点等实时数据进行告警预测监控，仅能通过已发生故障告警、用户报障、用户投诉等方式掌握网络运行状态，缺乏一种科学有效的预测监控方法，针对现网未发生故障但是质差或将发生故障没有有效手段提前预警处理影响客户感知的场景，给网络运维工作带来了极大的挑战。
当前实现告警预测方案有基于告警日志的网络故障预测、序列模式挖掘实现网络告警预测。
基于告警日志的网络故障预测：数量化表示网络***以及网络设备的运行特征，以时间窗口中告警事件的统计特征来表示该时段内网络***或者网络设备的运行特征，建立分类预测模型实现告警预测。
序列模式挖掘实现网络告警预测：将网络拓扑约束数据库和预处理后的历史告警数据作为输入，使用基于拓扑约束的序列模式挖掘从告警数据中挖掘出告警序列模式。利用基于拓扑约束的告警序列模式挖掘建立的告警预测模型，用于网络告警预测。
但是，现有技术的告警预测方案存在以下缺点。
基于告警日志的网络故障预测：该技术方案需要利用历史数据、日志数据，针对历史数据的依赖性强，若历史、日志数据丢失或不完整将导致该技术方案预测结果的准确性大幅降低；以时间窗口进行告警事件的统计特征来建立分类预测模型实现告警预测，与***、设备运行时间窗内状态的耦合性强，独立性相对较差。
序列模式挖掘实现网络告警预测：该技术方案是利用整网拓扑进行数据特征统计或数据挖掘，依赖原始数据，预测准确性受到整网拓扑准确性和周期迭代性制约，网络拓扑准确性和变更将导致该技术方案预测结果的准确性大幅降低，该技术方案与网络拓扑耦合性过强，灵活性和适用性较低，不适用于现网中复杂且灵活的组网。
【发明内容】
有鉴于此，本发明实施例提供了一种告警监控方法、***、计算机可读存储介质及电子设备，用以解决现有技术存在的上述技术问题。
第一方面，本发明实施例提供了一种告警监控方法，所述方法包括以下步骤：训练，建立预测神经网络初始模型，对历史告警数据进行预处理以创建告警训练集，并基于该告警训练集训练和优化预测神经网络；告警，基于训练后的预测神经网络和告警数据对神经网络进行预测告警，关联、聚合所获取的告警数据，利用局部异常点校验方法对告警数据进行校验。
通过本实施例提供的方案，通过训练和告警步骤，训练和优化预测神经网络，再利用局部异常点校验方法实现预测神经网络告警的准确性校验，提高了告警预测值和告警关联的准确性。
在一种优选的实施方案中，所述训练包括以下步骤：建立预测神经网络初始模型，采集***、设备的历史告警数据；将采集到的所述历史告警数据进行数据预处理；基于经过预处理的历史告警数据创建告警训练集，获取预测神经网络的整体目标函数；基于该整体目标函数，从预测神经网络的输出层开始计算获取输出层的预测值以及最优损失函数，对该预测值进行优化网络迭代训练，获得最优损失函数的权值W和偏置值b，从而获取预测神经网络的网络参数的更新值Wl、bl。
通过本实施例提供的方案，能够不依赖于历史数据对预测神经网络进行训练，实现与整网拓扑解耦，使得对于预测神经网络的训练能够通过对整体目标函数的输出层的预测值进行迭代实现。
在一种优选的实施方案中，所述告警包括以下步骤；采集***、设备的当前状态，将该当前状态提供给预测神经网络，所述当前状态包括告警名称、告警等级、告警频度、告警诱因***及设备状态、是否转故障、产生告警的设备类型和站点信息；神经网络预测告警，基于已获取最优损失函数值的权值W和偏置值b的神经网络预测模型进行***、设备故障告警预测，得到告警预测值；告警数据关联、聚合，利用FP-Growth算法对告警预测值进行关联，从而关联到k个告警，并得到每个所述告警所分布的网元；局部异常点校验，根据每个所述网元的坐标及每个所述网元的级联的重要性级别计算出每个所述告警所分布的网元的质心的质心坐标，计算每个所述网元与所述质心之间的平均欧氏距离，并计算每个所述网元的网元欧氏距离，当所述网元的网元欧氏距离大于或等于所述平均欧氏距离的三倍时，则认为所述网元为局部异常点并进行剔除，当所述网元的网元欧氏距离小于所述平均欧氏距离的三倍时，则认为告警关联准确，若告警校验正确则输出告警数据，若告警校验错误则重新执行神经网络预测告警，进行迭代优化；告警分类、分级输出，通过对输出的告警数据进行分类、分级，从而进行故障告警通知；数据库备份，将输出的告警数据添加到数据库。
通过本实施例提供的方案，通过局部异常点校验方法，利用关联告警所分布的网元的质心与网元之间的平均欧氏距离与网元自身的网元欧氏距离之间的大小关系来判断网元是否为局部异常点，进而作为判断告警数据关联的正确性的依据，对采集到的***、设备的历史告警数据放入预测神经网络进行迭代训练和迭代优化，无需实时获取、分析历史日志数据，预测方法与整网拓扑解耦，不依赖于整网拓扑准确性和周期变更迭代告警预测，但是基于整网跨专业、机房、机楼级网络拓扑利用局部异常点校验方法进行告警关联验证，提高了告警预测和告警关联的准确性。
在一种优选的实施方案中，所述方法还包括以下步骤：预测神经网络调优，在进行所述迭代优化时，将误判或关联、聚合告警错误的***、设备告警信息分析后，进行预测神经网络调参、调优，以获得最优损失函数值，得到更优的权值W的值和偏置值b的值。
通过本实施例提供的方案，完善了局部异常点校验中权值和偏值的准确性和优化，使得告警预测的准确性更高。
第二方面，本发明实施例提供了一种告警监控***，包括：训练模块，用于建立预测神经网络初始模型，对历史告警数据进行预处理以创建告警训练集，并基于该告警训练集训练和优化预测神经网络；告警模块，基于经过所述训练模块训练后的预测神经网络和告警数据对神经网络进行预测告警，关联、聚合所获取的告警数据，利用局部异常点校验方法对告警数据进行校验。
通过本实施例提供的方案，通过训练和告警步骤，训练和优化预测神经网络，再利用局部异常点校验方法实现预测神经网络告警的准确性校验，提高了告警预测值和告警关联的准确性。
在一种优选的实施方案中，所述训练模块包括：建立单元，用于建立预测神经网络初始模型，采集***、设备的历史告警数据；数据预处理单元，用于将采集到的所述历史告警数据进行数据预处理；创建单元，用于基于经过预处理的历史告警数据创建告警训练集，获取预测神经网络的整体目标函数；训练、优化单元，用于基于该整体目标函数，从预测神经网络的输出层开始计算获取输出层的预测值以及最优损失函数，对该预测值进行优化网络迭代训练，获得最优损失函数的权值W和偏置值b，从而获取预测神经网络的网络参数的更新值Wl、bl。
通过本实施例提供的方案，能够不依赖于历史数据对预测神经网络进行训练，实现与整网拓扑解耦，使得对于预测神经网络的训练能够通过对整体目标函数的输出层的预测值进行迭代实现。
在一种优选的实施方案中，所述告警模块包括：采集单元，用于采集***、设备的当前状态，将该当前状态提供给预测神经网络，所述当前状态包括告警名称、告警等级、告警频度、告警诱因***及设备状态、是否转故障、产生告警的设备类型和站点信息；预测告警单元，用于神经网络预测告警，基于已获取最优损失函数值的权值W和偏置值b的神经网络预测模型进行***、设备故障告警预测，得到告警预测值；关联、聚合单元，用于告警数据关联、聚合，利用FP-Growth算法对告警预测值进行关联；告警校验单元，用于局部异常点校验，根据每个所述网元的坐标及每个所述网元的级联的重要性级别计算出每个所述告警所分布的网元的质心的质心坐标，计算每个所述网元与所述质心之间的平均欧氏距离，并计算每个所述网元的网元欧氏距离，当所述网元的网元欧氏距离大于或等于所述平均欧氏距离的三倍时，则认为所述网元为局部异常点并进行剔除，当所述网元的网元欧氏距离小于所述平均欧氏距离的三倍时，则认为告警关联准确，若告警校验正确则输出告警数据，若告警校验错误则重新执行神经网络预测告警，进行迭代优化；输出单元，用于告警分类、分级输出，通过对输出的告警数据进行分类、分级，从而进行故障告警通知；备份单元，用于数据库备份，将输出的告警数据添加到数据库。
通过本实施例提供的方案，通过告警校验单元，借助局部异常点校验方法，利用关联告警所分布的网元的质心与网元之间的平均欧氏距离与网元自身的网元欧氏距离之间的大小关系来判断网元是否为局部异常点，进而作为判断告警数据关联的正确性的依据，对采集到的***、设备的历史告警数据放入预测神经网络进行迭代训练和迭代优化，无需实时获取、分析历史日志数据，预测方法与整网拓扑解耦，不依赖于整网拓扑准确性和周期变更迭代告警预测，但是基于整网跨专业、机房、机楼级网络拓扑利用局部异常点校验方法进行告警关联验证，提高了告警预测和告警关联的准确性。
在一种优选的实施方案中，所述告警模块还包括：调优单元，用于预测神经网络调优，在进行所述迭代优化时，将误判或关联、聚合告警错误的***、设备告警信息分析后，进行预测神经网络调参、调优，以获得最优损失函数值，得到更优的权值W的值和偏置值b的值。
通过本实施例提供的方案，完善了告警校验单元在使用局部异常点校验时权值和偏值的准确性和优化，使得告警预测的准确性更高。
第三方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有告警监控***，所述告警监控***被处理器执行时实现如第一方面所述的告警监控方法。
第四方面，本发明实施例提供了一种电子设备，所述电子设备包括：存储单元，存储有告警监控程序；处理单元，用于在运行所述告警监控程序时，执行如第一方面所述的告警监控方法。
与现有技术相比，本技术方案至少具有如下有益效果：
本发明实施例所公开的告警监控方法、***、计算机可读存储介质及电子设备，通过现网***或设备动环故障告警样本以时序采集形式获取现网***或设备当前运行状态数据，输入到建模神经网络预测模型中，实现***或设备故障告警预测；利用局部异常点校验方法，实现神经网络告警预测模所预测告警的准确性校验，一定程度上提高了告警预测值和告警关联的准确性；并且实现了无需实时获取、分析历史日志数据，与整网拓扑解耦，不依赖于整网拓扑准确性和周期变更迭代，一定程度上解决了现网未发生故障但质差或将发生故障没有有效手段提前预警处理影响客户感知的问题。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例1所提供的告警监控方法的步骤示意图；
图2是本发明实施例1所提供的告警监控方法中，训练步骤的示意图；
图3是本发明实施例1所提供的告警监控方法中，告警步骤的示意图；
图4是本发明实施例1所提供的告警监控方法的详细流程图；
图5是本发明实施例2所提供的告警监控***的模块示意图；
图6是本发明实施例2所提供的告警监控***中，训练模块的示意图；
图7是本发明实施例2所提供的告警监控***中，告警模块的示意图。
【具体实施方式】
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1至图7所示，其中，图1是本发明实施例1所提供的告警监控方法的步骤示意图；图2是本发明实施例1所提供的告警监控方法中，训练步骤的示意图；图3是本发明实施例1所提供的告警监控方法中，告警步骤的示意图；图4是本发明实施例1所提供的告警监控方法的详细流程图；图5是本发明实施例2所提供的告警监控***的模块示意图；图6是本发明实施例2所提供的告警监控***中，训练模块的示意图；图7是本发明实施例2所提供的告警监控***中，告警模块的示意图。
实施例1
如图1至图3所示，本发明实施例1公开了一种方法包括以下步骤：训练，建立预测神经网络初始模型，对历史告警数据进行预处理以创建告警训练集，并基于该告警训练集训练和优化预测神经网络；告警，基于训练后的预测神经网络和告警数据对神经网络进行预测告警，关联、聚合所获取的告警数据，利用局部异常点校验方法对告警数据进行校验。
本实施例1所提供的告警监控方法，通过训练和告警步骤，训练和优化预测神经网络，再利用局部异常点校验方法实现预测神经网络告警的准确性校验，提高了告警预测值和告警关联的准确性。
在本实施例2的***中，训练包括以下步骤：建立预测神经网络初始模型，采集***、设备的历史告警数据；将采集到的历史告警数据进行数据预处理；基于经过预处理的历史告警数据创建告警训练集，获取预测神经网络的整体目标函数；基于该整体目标函数，从预测神经网络的输出层开始计算获取输出层的预测值以及最优损失函数，对该预测值进行优化网络迭代训练，获得最优损失函数的权值W和偏置值b，从而获取预测神经网络的网络参数的更新值Wl、bl。
本实施例1所提供的告警监控方法，能够不依赖于历史数据对预测神经网络进行训练，实现与整网拓扑解耦，使得对于预测神经网络的训练能够通过对整体目标函数的输出层的预测值进行迭代实现。
在本实施例1的方法中，告警包括以下步骤；采集***、设备的当前状态，将该当前状态提供给预测神经网络，当前状态包括告警名称、告警等级、告警频度、告警诱因***及设备状态、是否转故障、产生告警的设备类型和站点信息；神经网络预测告警，基于已获取最优损失函数值的权值W和偏置值b的神经网络预测模型进行***、设备故障告警预测，得到告警预测值；告警数据关联、聚合，利用FP-Growth算法对告警预测值进行关联，从而关联到k个告警，并得到每个告警所分布的网元；局部异常点校验，根据每个网元的坐标及每个网元的级联的重要性级别计算出每个告警所分布的网元的质心的质心坐标，计算每个网元与质心之间的平均欧氏距离，并计算每个网元的网元欧氏距离，当网元的网元欧氏距离大于或等于平均欧氏距离的三倍时，则认为网元为局部异常点并进行剔除，当网元的网元欧氏距离小于平均欧氏距离的三倍时，则认为告警关联准确，若告警校验正确则输出告警数据，若告警校验错误则重新执行神经网络预测告警，进行迭代优化；告警分类、分级输出，通过对输出的告警数据进行分类、分级，从而进行故障告警通知；数据库备份，将输出的告警数据添加到数据库。
本实施例1所提供的告警监控方法，通过局部异常点校验方法，利用关联告警所分布的网元的质心与网元之间的平均欧氏距离与网元自身的网元欧氏距离之间的大小关系来判断网元是否为局部异常点，进而作为判断告警数据关联的正确性的依据，对采集到的***、设备的历史告警数据放入预测神经网络进行迭代训练和迭代优化，无需实时获取、分析历史日志数据，预测方法与整网拓扑解耦，不依赖于整网拓扑准确性和周期变更迭代告警预测，但是基于整网跨专业、机房、机楼级网络拓扑利用局部异常点校验方法进行告警关联验证，提高了告警预测和告警关联的准确性。
在本实施例1的方法中，方法还包括以下步骤：预测神经网络调优，在进行迭代优化时，将误判或关联、聚合告警错误的***、设备告警信息分析后，进行预测神经网络调参、调优，以获得最优损失函数值，得到更优的权值W的值和偏置值b的值。
本实施例1所提供的告警监控方法，完善了局部异常点校验中权值和偏值的准确性和优化，使得告警预测的准确性更高。
如图4所示，本实施例1的告警监控方法按照如下步骤实现：
步骤1、历史告警数据采集(101)，所述方法需要采集历史告警数据，用于后期制作神经网络告警预测模型的训练集；
步骤2、数据预处理(102)，所述方法将采集到的历史***、设备告警数据进行数据预处理，实现脏数据的数据清洗、数据变换，处理掉无效值和缺失值，确保数据的真实性和有效性；
步骤3、创建告警训练集(103)，所述方法将数据预处理得到的历史***、设备告警数据创建告警训练集，神经网络的整体目标函数为：
式中：||·||为L2范数，x为表示告警输入样本值[x1,x2,x3…xm]T，xi为n种触发告警的条件[Con1,Con2,Con3...Conn]，Coni表示动环告警数据，以现网告警做以示例：每行数据即为一条告警记录，代表一次告警的发生，告警记录的属性包括告警名称(name：a,b,c,对应编码：100,010,001)，告警等级(level：I，II，III，对应编码：001，010,011)，告警频度(frequency：一，二，三：对应编码001，010,011)，告警诱因***及设备状态(state：状态1，状态2，对应编码：00000001,00000010)，是否转故障(fault：是，否，对应编码：1，0)，产生告警的设备类型(device：网元1，网元2，对应编码：00000001,00000010)和站点(site：内部机房1，内部机房2，对应编码：00000001,00000010)。当样本值名称为a，告警等级I级，告警频率为一级，告警诱因***及设备状态1，已转故障，网元2，内部机房1，则完整的特征数字化结果为[1000010010000000110000000100000001]。y表示实际标注告警标签值的向量[y1,y2,y3…ym]T，其中，yi表示标注告警值[Ala1,Ala2,Ala3…Alak]。
步骤4、训练、优化预测神经网络(104)，所述方法依据反向传播的原理，需要从输出层开始计算，输出层的预测值如下，
aL＝σ(zL)＝σ(WLaL-1+bL)
其中，
即告警预测值向量
其中
表示预测告警值[Pre1,Pre2,Pre3…Prek]。利用梯度下降方法优化网络迭代训练，通过对损失函数每层的权值W和偏置b求导，利用批量随机梯度下降的反向传播方法对网络各层参数进行调整，将获得告警预测更加准确的权值W。对第l层的权值和偏置值进行更新，则得到网络参数的更新值Wl、bl，
其中，l表示[1,2,3…,L]，α为学习率，Wl、bl分别表示第l层的权值和偏置向量。通过不断的迭代更新使得告警预测模型的损失函数值最小，可得到告警预测模型最优的权值W的值和偏置b的值。利用该模型最优的权重值和偏置值实现告警预测；
步骤5、采集***、设备当前状态(105)，所述方法为已搭建神经网络预测模型时序采集提供当前***、设备当前状态情况，包括告警名称、告警等级、告警频度、告警诱因***及设备状态、是否转故障、产生告警的设备类型和站点信息；
步骤6、神经网络预测告警(106)，所述方法利用已训练得到最优损失函数值的权值和偏置值的神经网络预测模型进行***、设备故障告警预测，得到告警预测值
步骤7、告警数据关联、聚合(107)，所述方法利用FP-Growth算法进行关联，一是构造频繁模式树FP-tree，二是调用FP-Growth算法进行频繁项集挖掘实现告警关联、聚合；
步骤8、局部异常点校验(108)，所述方法利用局部异常点校验方法，依托跨专业、机房、机楼级网络拓扑，统一拓扑维护更新规范，搭建拓扑录入环境，标准化拓扑图标、命名规范、连线规范，提供录入设备信息、连接端口、位置信息、传输信息及链路信息的统一入口。建立全专业告警收敛资源库和网元坐标系，打破专业壁垒，利用欧式距离算法与质心算法关于同区域、同机楼、同机房的告警距离定义规则，从时间维度、业务维度、空间维度实现全专业告警收敛能力。根据步骤7已经关联的k个告警所分布网元坐标及其级联重要性级别计算出关联告警网元的质心坐标为
其中，(xi,yi)表示每个网元的坐标，
表示k个关联告警所分布网元的质心坐标，Wi表示该网元的重要性级别，那么每个网元与质心之间的平均欧式距离可表示为
那么，已经关联的k个告警所分布的每个网元欧式距离disi为
当disi≥3disavg，我们认为该关联网元为局部异常点进行剔除；否则，当disi<3disavg，我们认为告警关联准确。若告警校验正确则输出告警，若告警校验错误则将错误告警输入神经网络中不断迭代优化；
步骤9、神经网络调优(109)，所述方法将误判或聚类关联告警错误的***、设备告警信息分析后，进行预测神经网络调参、调优，以获得最优的告警预测模型损失函数值，得到更优的权值W的值和偏置b的值，不断优化***、设备告警神经网络预测模型；
步骤10、告警分类、分级输出(110)，所述方法通过短信、邮件、工单等方式分类、分级进行故障告警通知；
步骤11、数据库备份(111)，所述方法将输出数据添加到数据库中以供后期日志查询和进一步迭代训练、优化神经网络预测模型，不断增强神经网络告警预测的准确性和鲁棒性。
实施例2
如图5至图7所示，本发明实施例2提供了一种告警监控***，包括：训练模块，用于建立预测神经网络初始模型，对历史告警数据进行预处理以创建告警训练集，并基于该告警训练集训练和优化预测神经网络；告警模块，基于经过训练模块训练后的预测神经网络和告警数据对神经网络进行预测告警，关联、聚合所获取的告警数据，利用局部异常点校验方法对告警数据进行校验。
本实施例2所提供的告警监控***，通过训练和告警步骤，训练和优化预测神经网络，再利用局部异常点校验方法实现预测神经网络告警的准确性校验，提高了告警预测值和告警关联的准确性。
在本实施例2的***中，训练模块包括：建立单元，用于建立预测神经网络初始模型，采集***、设备的历史告警数据；数据预处理单元，用于将采集到的历史告警数据进行数据预处理；创建单元，用于基于经过预处理的历史告警数据创建告警训练集，获取预测神经网络的整体目标函数；训练、优化单元，用于基于该整体目标函数，从预测神经网络的输出层开始计算获取输出层的预测值以及最优损失函数，对该预测值进行优化网络迭代训练，获得最优损失函数的权值W和偏置值b，从而获取预测神经网络的网络参数的更新值Wl、bl。
本实施例2所提供的告警监控***，能够不依赖于历史数据对预测神经网络进行训练，实现与整网拓扑解耦，使得对于预测神经网络的训练能够通过对整体目标函数的输出层的预测值进行迭代实现。
在本实施例2的***中，告警模块包括：采集单元，用于采集***、设备的当前状态，将该当前状态提供给预测神经网络，当前状态包括告警名称、告警等级、告警频度、告警诱因***及设备状态、是否转故障、产生告警的设备类型和站点信息；预测告警单元，用于神经网络预测告警，基于已获取最优损失函数值的权值W和偏置值b的神经网络预测模型进行***、设备故障告警预测，得到告警预测值；关联、聚合单元，用于告警数据关联、聚合，利用FP-Growth算法对告警预测值进行关联；告警校验单元，用于局部异常点校验，根据每个网元的坐标及每个网元的级联的重要性级别计算出每个告警所分布的网元的质心的质心坐标，计算每个网元与质心之间的平均欧氏距离，并计算每个网元的网元欧氏距离，当网元的网元欧氏距离大于或等于平均欧氏距离的三倍时，则认为网元为局部异常点并进行剔除，当网元的网元欧氏距离小于平均欧氏距离的三倍时，则认为告警关联准确，若告警校验正确则输出告警数据，若告警校验错误则重新执行神经网络预测告警，进行迭代优化；输出单元，用于告警分类、分级输出，通过对输出的告警数据进行分类、分级，从而进行故障告警通知；备份单元，用于数据库备份，将输出的告警数据添加到数据库。
本实施例2所提供的告警监控***，通过告警校验单元，借助局部异常点校验方法，利用关联告警所分布的网元的质心与网元之间的平均欧氏距离与网元自身的网元欧氏距离之间的大小关系来判断网元是否为局部异常点，进而作为判断告警数据关联的正确性的依据，对采集到的***、设备的历史告警数据放入预测神经网络进行迭代训练和迭代优化，无需实时获取、分析历史日志数据，预测方法与整网拓扑解耦，不依赖于整网拓扑准确性和周期变更迭代告警预测，但是基于整网跨专业、机房、机楼级网络拓扑利用局部异常点校验方法进行告警关联验证，提高了告警预测和告警关联的准确性。
在本实施例2的***中，告警模块还包括：调优单元，用于预测神经网络调优，在进行迭代优化时，将误判或关联、聚合告警错误的***、设备告警信息分析后，进行预测神经网络调参、调优，以获得最优损失函数值，得到更优的权值W的值和偏置值b的值。
本实施例2所提供的告警监控***，完善了告警校验单元在使用局部异常点校验时权值和偏值的准确性和优化，使得告警预测的准确性更高。
实施例3
本发明实施例3提供了一种计算机可读存储介质，该计算机可读存储介质上存储有如实施例2所提供的告警监控***，该告警监控***被处理器执行时实现如实施例1所提供的告警监控方法。
实施例4
本发明实施例4提供了一种电子设备，该电子设备包括：存储单元，存储有告警监控程序；处理单元，用于在运行该告警监控程序时，执行如实施例1所提供的告警监控方法。
本发明实施例所公开的告警监控方法、***、计算机可读存储介质及电子设备，通过现网***或设备动环故障告警样本以时序采集形式获取现网***或设备当前运行状态数据，输入到建模神经网络预测模型中，实现***或设备故障告警预测；利用局部异常点校验方法，实现神经网络告警预测模所预测告警的准确性校验，一定程度上提高了告警预测值和告警关联的准确性；并且实现了无需实时获取、分析历史日志数据，与整网拓扑解耦，不依赖于整网拓扑准确性和周期变更迭代，一定程度上解决了现网未发生故障但质差或将发生故障没有有效手段提前预警处理影响客户感知的问题。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (10)
1.一种告警监控方法，其特征在于，所述方法包括以下步骤：
训练，建立预测神经网络初始模型，对历史告警数据进行预处理以创建告警训练集，并基于该告警训练集训练和优化预测神经网络；
告警，基于训练后的预测神经网络和告警数据对神经网络进行预测告警，关联、聚合所获取的告警数据，利用局部异常点校验方法对告警数据进行校验。
2.根据权利要求1所述的告警监控方法，其特征在于，所述训练包括以下步骤：
建立预测神经网络初始模型，采集***、设备的历史告警数据；
将采集到的所述历史告警数据进行数据预处理；
基于经过预处理的历史告警数据创建告警训练集，获取预测神经网络的整体目标函数；
基于该整体目标函数，从预测神经网络的输出层开始计算获取输出层的预测值以及最优损失函数，对该预测值进行优化网络迭代训练，获得最优损失函数的权值W和偏置值b，从而获取预测神经网络的网络参数的更新值Wl、bl。
3.根据权利要求1所述的告警监控方法，其特征在于，所述告警包括以下步骤；
采集***、设备的当前状态，将该当前状态提供给预测神经网络，所述当前状态包括告警名称、告警等级、告警频度、告警诱因***及设备状态、是否转故障、产生告警的设备类型和站点信息；
神经网络预测告警，基于已获取最优损失函数值的权值W和偏置值b的神经网络预测模型进行***、设备故障告警预测，得到告警预测值；
告警数据关联、聚合，利用FP-Growth算法对告警预测值进行关联，从而关联到k个告警，并得到每个所述告警所分布的网元；
局部异常点校验，根据每个所述网元的坐标及每个所述网元的级联的重要性级别计算出每个所述告警所分布的网元的质心的质心坐标，计算每个所述网元与所述质心之间的平均欧氏距离，并计算每个所述网元的网元欧氏距离，当所述网元的网元欧氏距离大于或等于所述平均欧氏距离的三倍时，则认为所述网元为局部异常点并进行剔除，当所述网元的网元欧氏距离小于所述平均欧氏距离的三倍时，则认为告警关联准确，若告警校验正确则输出告警数据，若告警校验错误则重新执行神经网络预测告警，进行迭代优化；
告警分类、分级输出，通过对输出的告警数据进行分类、分级，从而进行故障告警通知；
数据库备份，将输出的告警数据添加到数据库。
4.根据权利要求3所述的告警监控方法，其特征在于，所述方法还包括以下步骤：
预测神经网络调优，在进行所述迭代优化时，将误判或关联、聚合告警错误的***、设备告警信息分析后，进行预测神经网络调参、调优，以获得最优损失函数值，得到更优的权值W的值和偏置值b的值。
5.一种告警监控***，其特征在于，包括：
训练模块，用于建立预测神经网络初始模型，对历史告警数据进行预处理以创建告警训练集，并基于该告警训练集训练和优化预测神经网络；
告警模块，基于经过所述训练模块训练后的预测神经网络和告警数据对神经网络进行预测告警，关联、聚合所获取的告警数据，利用局部异常点校验方法对告警数据进行校验。
6.根据权利要求5所述的告警监控***，其特征在于，所述训练模块包括：
建立单元，用于建立预测神经网络初始模型，采集***、设备的历史告警数据；
数据预处理单元，用于将采集到的所述历史告警数据进行数据预处理；
创建单元，用于基于经过预处理的历史告警数据创建告警训练集，获取预测神经网络的整体目标函数；
训练、优化单元，用于基于该整体目标函数，从预测神经网络的输出层开始计算获取输出层的预测值以及最优损失函数，对该预测值进行优化网络迭代训练，获得最优损失函数的权值W和偏置值b，从而获取预测神经网络的网络参数的更新值Wl、bl。
7.根据权利要求5所述的告警监控***，其特征在于，所述告警模块包括：
采集单元，用于采集***、设备的当前状态，将该当前状态提供给预测神经网络，所述当前状态包括告警名称、告警等级、告警频度、告警诱因***及设备状态、是否转故障、产生告警的设备类型和站点信息；
预测告警单元，用于神经网络预测告警，基于已获取最优损失函数值的权值W和偏置值b的神经网络预测模型进行***、设备故障告警预测，得到告警预测值；
关联、聚合单元，用于告警数据关联、聚合，利用FP-Growth算法对告警预测值进行关联；
告警校验单元，用于局部异常点校验，根据每个所述网元的坐标及每个所述网元的级联的重要性级别计算出每个所述告警所分布的网元的质心的质心坐标，计算每个所述网元与所述质心之间的平均欧氏距离，并计算每个所述网元的网元欧氏距离，当所述网元的网元欧氏距离大于或等于所述平均欧氏距离的三倍时，则认为所述网元为局部异常点并进行剔除，当所述网元的网元欧氏距离小于所述平均欧氏距离的三倍时，则认为告警关联准确，若告警校验正确则输出告警数据，若告警校验错误则重新执行神经网络预测告警，进行迭代优化；
输出单元，用于告警分类、分级输出，通过对输出的告警数据进行分类、分级，从而进行故障告警通知；
备份单元，用于数据库备份，将输出的告警数据添加到数据库。
8.根据权利要求7所述的告警监控***，其特征在于，所述告警模块还包括：
调优单元，用于预测神经网络调优，在进行所述迭代优化时，将误判或关联、聚合告警错误的***、设备告警信息分析后，进行预测神经网络调参、调优，以获得最优损失函数值，得到更优的权值W的值和偏置值b的值。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有告警监控***，所述告警监控***被处理器执行时实现如权利要求1至4任一项所述的告警监控方法。
10.一种电子设备，其特征在于，所述电子设备包括：
存储单元，存储有告警监控程序；
处理单元，用于在运行所述告警监控程序时，执行如权利要求1至4任一项所述的告警监控方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010250771.1A CN113497726B (zh) | 2020-04-01 | 2020-04-01 | 告警监控方法、***、计算机可读存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010250771.1A CN113497726B (zh) | 2020-04-01 | 2020-04-01 | 告警监控方法、***、计算机可读存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113497726A true CN113497726A (zh) | 2021-10-12 |
| CN113497726B CN113497726B (zh) | 2022-12-09 |
Family
ID=77994019
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010250771.1A Active CN113497726B (zh) | 2020-04-01 | 2020-04-01 | 告警监控方法、***、计算机可读存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113497726B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114095339A (zh) * | 2021-10-29 | 2022-02-25 | 北京百度网讯科技有限公司 | 一种报警处理方法、装置、设备以及存储介质 |
| CN114422322A (zh) * | 2021-12-29 | 2022-04-29 | 中国电信股份有限公司 | 一种告警压缩的方法、装置、设备及存储介质 |
| CN114465908A (zh) * | 2021-12-20 | 2022-05-10 | 中盈优创资讯科技有限公司 | 一种5gc网络割接事件异常影响分析方法 |
| CN115378738A (zh) * | 2022-10-24 | 2022-11-22 | 中孚安全技术有限公司 | 一种基于分类算法的告警过滤方法、***及设备 |
| CN116017404A (zh) * | 2022-12-30 | 2023-04-25 | 中国联合网络通信集团有限公司 | 园区专网的网元驱动方法、装置、电子设备及存储介质 |
| WO2023071761A1 (zh) * | 2021-10-29 | 2023-05-04 | 深圳前海微众银行股份有限公司 | 一种异常定位方法及装置 |
| CN116193574A (zh) * | 2023-02-22 | 2023-05-30 | 中电建建筑集团有限公司 | 一种基于5g网络的观测信息融合定位关键技术方法与*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103218664A (zh) * | 2013-05-08 | 2013-07-24 | 重庆邮电大学 | 一种基于小波神经网络的告警权值确定方法 |
| CN106357939A (zh) * | 2016-09-30 | 2017-01-25 | 携程旅游信息技术（上海）有限公司 | 呼叫话务量监控方法和监控*** |
| CN108892014A (zh) * | 2018-09-19 | 2018-11-27 | 歌拉瑞电梯股份有限公司 | 一种基于Elman神经网络的电梯抱闸故障预警方法 |
| CN109117941A (zh) * | 2018-07-16 | 2019-01-01 | 北京思特奇信息技术股份有限公司 | 告警预测方法、***、存储介质及计算机设备 |
| CN109299740A (zh) * | 2018-09-28 | 2019-02-01 | 北京赛博贝斯数据科技有限责任公司 | 一种逻辑回归模型的构建方法及*** |
-
2020
- 2020-04-01 CN CN202010250771.1A patent/CN113497726B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103218664A (zh) * | 2013-05-08 | 2013-07-24 | 重庆邮电大学 | 一种基于小波神经网络的告警权值确定方法 |
| CN106357939A (zh) * | 2016-09-30 | 2017-01-25 | 携程旅游信息技术（上海）有限公司 | 呼叫话务量监控方法和监控*** |
| CN109117941A (zh) * | 2018-07-16 | 2019-01-01 | 北京思特奇信息技术股份有限公司 | 告警预测方法、***、存储介质及计算机设备 |
| CN108892014A (zh) * | 2018-09-19 | 2018-11-27 | 歌拉瑞电梯股份有限公司 | 一种基于Elman神经网络的电梯抱闸故障预警方法 |
| CN109299740A (zh) * | 2018-09-28 | 2019-02-01 | 北京赛博贝斯数据科技有限责任公司 | 一种逻辑回归模型的构建方法及*** |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114095339A (zh) * | 2021-10-29 | 2022-02-25 | 北京百度网讯科技有限公司 | 一种报警处理方法、装置、设备以及存储介质 |
| WO2023071761A1 (zh) * | 2021-10-29 | 2023-05-04 | 深圳前海微众银行股份有限公司 | 一种异常定位方法及装置 |
| CN114095339B (zh) * | 2021-10-29 | 2023-08-08 | 北京百度网讯科技有限公司 | 一种报警处理方法、装置、设备以及存储介质 |
| CN114465908A (zh) * | 2021-12-20 | 2022-05-10 | 中盈优创资讯科技有限公司 | 一种5gc网络割接事件异常影响分析方法 |
| CN114465908B (zh) * | 2021-12-20 | 2023-08-08 | 中盈优创资讯科技有限公司 | 一种5gc网络割接事件异常影响分析方法 |
| CN114422322A (zh) * | 2021-12-29 | 2022-04-29 | 中国电信股份有限公司 | 一种告警压缩的方法、装置、设备及存储介质 |
| CN114422322B (zh) * | 2021-12-29 | 2024-04-30 | 中国电信股份有限公司 | 一种告警压缩的方法、装置、设备及存储介质 |
| CN115378738A (zh) * | 2022-10-24 | 2022-11-22 | 中孚安全技术有限公司 | 一种基于分类算法的告警过滤方法、***及设备 |
| CN116017404A (zh) * | 2022-12-30 | 2023-04-25 | 中国联合网络通信集团有限公司 | 园区专网的网元驱动方法、装置、电子设备及存储介质 |
| CN116193574A (zh) * | 2023-02-22 | 2023-05-30 | 中电建建筑集团有限公司 | 一种基于5g网络的观测信息融合定位关键技术方法与*** |
| CN116193574B (zh) * | 2023-02-22 | 2023-10-13 | 中电建建筑集团有限公司 | 一种基于5g网络的观测信息融合定位关键技术方法与*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113497726B (zh) | 2022-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113497726B (zh) | 告警监控方法、***、计算机可读存储介质及电子设备 | |
| CN110995475B (zh) | 一种基于迁移学习的电力通信网故障检测方法 | |
| CN112073208B (zh) | 一种告警分析方法、装置、芯片***、存储介质 | |
| WO2022257423A1 (zh) | 告警信息关联方法、装置、电子设备和可读存储介质 | |
| CN113497725B (zh) | 告警监控方法、***、计算机可读存储介质及电子设备 | |
| WO2018103453A1 (zh) | 检测网络的方法和装置 | |
| WO2019184557A1 (zh) | 定位根因告警的方法、装置和计算机可读存储介质 | |
| CN110149223B (zh) | 故障定位方法和设备 | |
| CN114465874B (zh) | 故障预测方法、装置、电子设备与存储介质 | |
| WO2023071761A1 (zh) | 一种异常定位方法及装置 | |
| CN115514619B (zh) | 告警收敛方法及*** | |
| CN111756560A (zh) | 一种数据处理方法、装置及存储介质 | |
| CN113723716B (zh) | 一种客流分级预警异常告警方法、设备及存储介质 | |
| CN116361059B (zh) | 一种银行业务异常根因诊断方法及诊断*** | |
| CN114579407A (zh) | 一种因果关系检验和微服务指标预测报警方法 | |
| CN112379325A (zh) | 一种用于智能电表的故障诊断方法及*** | |
| CN112559237A (zh) | 运维***排障方法、装置、服务器和存储介质 | |
| CN116882756B (zh) | 基于区块链的电力安全管控方法 | |
| CN110582091B (zh) | 定位无线质量问题的方法和装置 | |
| CN114629776B (zh) | 基于图模型的故障分析方法及装置 | |
| CN113825162B (zh) | 电信网络故障原因定位方法及装置 | |
| CN115016976A (zh) | 一种根因定位方法、装置、设备及存储介质 | |
| CN114757448A (zh) | 一种基于数据空间模型的制造环节间最优价值链构建方法 | |
| Mijumbi et al. | MAYOR: machine learning and analytics for automated operations and recovery | |
| Wang et al. | LSTM-based alarm prediction in the mobile communication network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |