CN106250288A - 一种基于数据挖掘的根告警分析识别方法 - Google Patents
一种基于数据挖掘的根告警分析识别方法 Download PDFInfo
- Publication number
- CN106250288A CN106250288A CN201610619294.5A CN201610619294A CN106250288A CN 106250288 A CN106250288 A CN 106250288A CN 201610619294 A CN201610619294 A CN 201610619294A CN 106250288 A CN106250288 A CN 106250288A
- Authority
- CN
- China
- Prior art keywords
- alarm
- root
- resource
- rule
- derivative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000004458 analytical method Methods 0.000 title claims abstract description 58
- 238000007418 data mining Methods 0.000 title claims abstract description 26
- 238000004519 manufacturing process Methods 0.000 claims abstract description 42
- 230000008569 process Effects 0.000 claims description 31
- 238000010219 correlation analysis Methods 0.000 claims description 29
- 238000010801 machine learning Methods 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 15
- 230000008878 coupling Effects 0.000 claims description 12
- 238000010168 coupling process Methods 0.000 claims description 12
- 238000005859 coupling reaction Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims description 4
- 230000003542 behavioural effect Effects 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 abstract description 17
- 238000004891 communication Methods 0.000 abstract description 8
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Alarm Systems (AREA)
Abstract
本发明公开一种基于数据挖掘的根告警分析识别方法，属于通信网络运维领域，通过从历史告警库、资源数据库读取历史告警、资源信息并与产生式规则匹配，生成告警组；同时，可选择的进行产生式规则、种子告警、规则生效阈值设置的人工监督指导；标识告警组中的根告警，生成告警衍生规则存储至知识库；收到新告警时，从实时告警库获取告警时间临近告警，读取资源数据库分析告警资源相关性；继续检索知识库，将告警标识成根告警、衍生告警、未确定告警。本发明极大的降低运维人员监视、处理海量告警的工作强度，提高了运维工作效率，能够保障运维工作质量，降低运维成本，实用性强。
Description
技术领域
本发明属于通信网络运维领域，具体的说是一种基于数据挖掘的根告警分析识别方法。
背景技术
近年来通信网络运维工作在向集中通信监管、集中指挥调度方向发展，网络管理工具建设也呈现统建、统推、统管趋势，通信运维人员需监视分析多技术体制组网、多厂家设备海量告警，工作强度大、难度高。实际上各设备告警具有一定相关性，分析出需运维人员重点关注并基本反应网络故障的根告警，识别出伴随根告警产生的衍生告警，有效压缩告警，对提高运维工作效率，保障运维工作质量有极大意义。
关于根告警分析的方法，目前业界普遍认可的是通过分析告警信号的产生、传播机理，构建告警事件树，形成告警衍生规则，并基于规则进行模式匹配的方式。但是在不同技术组网、不同厂家设备，甚至同厂家不同型号设备间告警事件树千差万别，设备网管升级改造也会对告警事件树有一定的影响，归结出准确且能持久适用的告警衍生规则，是本技术领域的一个难点和痛点。另外，由于设备厂家对标准遵循力度不一致，存在不同告警对象资源上报同一告警名称等现象，在规则匹配时，要充分考虑告警资源的相关性，建立基于资源模型上的精细化规则匹配。
发明内容
本发明针对目前技术发展的需求和不足之处，提供一种基于数据挖掘的根告警分析识别方法。
本发明所述一种基于数据挖掘的根告警分析识别方法，解决上述技术问题采用的技术方案如下：所述一种基于数据挖掘的根告警分析识别方法，其内容主要包含机器学习生成告警衍生规则和专家***进行根告警分析两部分；通过从历史告警库、资源数据库读取历史告警、资源信息并与产生式规则匹配，生成告警组；同时，可选择的进行产生式规则、种子告警、规则生效阈值设置的人工监督指导；标识告警组中的根告警，生成告警衍生规则存储至知识库；收到新告警时，从实时告警库获取告警时间临近告警，读取资源数据库分析告警资源相关性；继续检索知识库，将告警标识成根告警、衍生告警、未确定告警。
优选的，所述机器学习生成告警衍生规则，充分将机器学习领域产生式规则的学习方法与具体的应用实践相结合，对历史告警库进行数据挖掘，利用“生成”的行为策略，学习得到告警衍生规则，存储至知识库，作为专家***进行根告警分析的知识输入其主要包括a)历史告警抽取、b)产生式规则匹配、c)告警衍生规则生成三个步骤和d)可选的人工监督指导过程。
优选的，a)所述历史告警抽取主要是抽取机器学习样本数据，机器学习采用周期性学习策略。
优选的，b)所述产生式规则匹配主要是，对抽取的历史告警样本数据与产生式规则匹配，生成具有关联关系的告警组；首先将抽取的历史告警样本数据按照告警相关性分析时间窗，分割成多个数据切片；再将历史告警数据与资源数据进行匹配，标识出告警资源的资源包含关系、告警资源的链路关联关系、告警资源的通道关联关系；最后将切片内的历史告警数据、告警资源关联关系数据作为产生式输入条件，与产生式规则进行匹配，生成具有关联关系的告警组。
优选的，c)所述告警衍生规则生成主要是，在具有关联关系的一组告警内，标识出根告警，进而实例化出告警衍生规则，并存储至专家***知识库；根告警标识的原则为优先选择种子告警，其次选择告警级别较高告警，最后采纳告警时间较早告警。
优选的，d)所述可选的人工监督指导是指，可选择的对机器学习过程进行人工监督和指导；指导内容包括设定种子告警，产生式规则生效配置、告警衍生规则应用配置。
优选的，所述专家***进行根告警分析是以新告警消息为事件驱动，以实时告警库、资源数据库为分析依赖数据来源，以机器学习生成的告警衍生规则知识为知识库，构建推理机进行不确定推理的推理和判断，最终将告警标识为根告警或衍生告警或未确定告警；其主要内容包括a)相关告警查询、b)告警资源相关性计算、c)知识检索三个步骤。
优选的，a)相关告警查询是指，收到新告警消息后，从实时告警库中查找告警相关性分析时间窗内实时告警；查询范围为实时告警库中告警时间与当前新收到的告警的告警时间相差，告警相关性分析时间窗内的根告警、未确定告警。
优选的，b)告警资源相关性计算是指，通过告警资源的关联关系，进一步识别告警相关性分析时间窗内的实时告警是否存关联关系；首先，查询新告警及从实时告警库中获取告警的资源信息，查询获得告警所在网元及网元配置信息、告警资源关联的链路信息、告警资源关联的通道信息；其次，判断告警资源是否存在关联关系，包括告警资源包含关系、告警资源链路关联关系、告警资源通道关联关系；最后，过滤掉不存在告警资源关联的实时告警数据，将存在告警资源关联的实时告警数据准备进行知识检索。
优选的，c)知识检索是指，通过专家***知识库推断，明确告警相关性分析时间窗内且存在告警资源关联的实时告警是否存在关联关系，最终将新告警标识成根告警、衍生告警、未确定告警，并更新告警的衍生关系。
本发明所述一种基于数据挖掘的根告警分析识别方法与现有技术相比具有的有益效果是：本发明提供了较全面、准确、易推广且通信技术体制无关性的根告警分析识别方法，建立在数据挖掘基础上，随着***应用的数据积累，分析的精度会逐渐提高；根告警分析将采集的原始告警标识为根告警、衍生告警、未确定告警三个子集，在告警监视界面根告警着重展示，需运维人员重点关注；未确定告警一般展示，仅在运维人员有精力时进行关注；衍生告警不直接展示，仅在故障诊断时可选择的查询，随着运维人员对根告警的操作处理过程衍生告警一同被处理；
通过对告警有效压缩展示后，极大的降低运维人员监视、处理海量告警的工作强度，尤其适用于多技术体制网络、多厂家设备海量告警统一监盘场景，提高了运维工作效率，能够保障运维工作质量，降低运维成本，实用性强。
说明书附图
附图1为所述根告警分析识别方法的示意框图；
附图2为所述机器学习生成告警衍生规则的流程图；
附图3为所述专家***根告警分析的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，对本发明所述一种基于数据挖掘的根告警分析识别方法进一步详细说明。
为解决现有告警衍生规则获取困难，根告警分析过程精度不足等问题，本发明提供一种基于数据挖掘的根告警分析识别方法，如附图1所示，其内容主要包含机器学习生成告警衍生规则和专家***进行根告警分析两部分；可选择的进行产生式规则、种子告警、规则生效阈值的设置等人工监督指导；通过从历史告警库、资源数据库读取历史告警、资源信息并与产生式规则匹配，生成告警组；标识告警组中的根告警，生成告警衍生规则存储至知识库；收到新告警时，从实时告警库获取告警时间临近告警，读取资源数据库分析告警资源相关性；继续检索知识库，将告警标识成根告警、衍生告警、未确定告警。衍生告警在监视界面默认不展示，可通过根告警关联查询。该发明对告警有效压缩，降低了运维人员处理海量告警的工作难度，提高了工作效率，实用性强。
实施例：
本实施例所述一种基于数据挖掘的根告警分析识别方法，其具体操作包含1)机器学习生成告警衍生规则和2)专家***进行根告警分析两个步骤。
为解决现有告警衍生规则获取困难的问题，1)所述机器学习生成告警衍生规则，充分将机器学习领域产生式规则的学习方法与具体的应用实践相结合，对历史告警库进行数据挖掘，利用“生成”的行为策略，学习得到告警衍生规则，存储至知识库，作为专家***进行根告警分析的知识输入。所述机器学习生成告警衍生规则包括a)历史告警抽取、b)产生式规则匹配、c)告警衍生规则生成三个步骤和d)可选的人工监督指导过程；能够解决现有告警衍生规则获取困难的问题。
a)所述历史告警抽取是抽取机器学习样本数据的过程。充分考虑告警资源关联关系的变更对告警的关联性学习的影响，机器学习采用周期性学习策略。由于学习过程涉及大量的资源关系计算、产生式规则匹配等运算，对服务器硬件消耗较高，因此，设置学习周期为一个月，每次学习仅从历史告警库中抽取前一个月历史告警数据作为学习样本。告警数据的格式及内容如下表所示：
告警属性表
b)所述产生式规则匹配是对抽取的历史告警样本数据与产生式规则匹配，生成具有关联关系的告警组过程。首先将抽取的历史告警样本数据按照告警相关性分析时间窗，分割成多个数据切片；再将历史告警数据与资源数据进行匹配，标识出告警资源的资源包含关系、告警资源的链路关联关系、告警资源的通道关联关系；最后将切片内的历史告警数据、告警资源关联关系数据作为产生式输入条件，与产生式规则进行匹配，生成具有关联关系的告警组。
由于告警设备时间不精准、告警信号传导耗时等原因，一个告警组内各告警的告警时间存在一定误差，告警相关性分析时间窗设定时，分析一定时间范围内的告警，例如将告警相关性分析时间窗建议设定为5分钟，认为5分钟内发生的告警可能存在关联关系。
传输专业网络各技术体制中不同类型板卡存在相互影响情况，资源的包含关系除资源上下层的包含关系外，相同的告警资源定义为存在包含关系，将非业务板卡定义为业务板卡端口的上层资源，如定义SDH的控制板、交叉时钟板等为业务板、业务板端口的上层资源。
资源的链路关联关系、通道关联关系除一条链路或通道途经的资源外，该资源的上层资源也被标识存在关联关系，如不仅数据网一条链路两端端口存在链路关联关系，端口所在板卡也被标识为存在链路关联关系。
产生式规则是对各种技术体制中相关资源间可能存在告警衍生关系的情况的枚举，初始定义如告警资源存在关联性则告警即可能存在关联性，产生式规则包括A告警资源类型、B告警资源类型、A与B告警资源关系和结论4个要素，规则定义为：“(A告警资源类型)∩(B告警的资源类型)∩(A与B告警资源关系)→(存在关联)”。
对于生成的告警组，多次机器学习或一次学习过程内均会生成相同的告警组，定义产生一次相同的告警组为一次告警组学习命中，命中次数越多的告警组，表示组内告警同时发生的次数多，组内告警存在关联关系的概率大，生成的告警衍生规则可信度高。
c)所述告警衍生规则生成是在具有关联关系的一组告警内，标识出根告警，进而实例化出告警衍生规则，并存储至专家***知识库的过程。根告警标识的原则为优先选择种子告警，其次选择告警级别较高告警，最后采纳告警时间较早告警。
种子告警是按照告警原因定义的告警分类，是通信网络运维人员根据运维经验在日常监控值班过程中比较关注的告警，是对通信业务造成影响的，且能通过有效的网络检修操作消除掉的告警。在告警组内存在多条种子告警或是无种子告警的情况，采纳设备厂家按照告警级别对告警重要性的定义的方式，选择级别较高的告警为根告警。如以上两种情况均无法标识出根告警，则考虑告警信号传递性，选择告警时间最早的告警为根告警。
告警衍生规则存储于专家***知识库，由于告警衍生规则是结构化数据，本方法中采用关系型数据库作为专家***知识库，即知识库建立在关系型数据库上。告警衍生规则格式及内容如下表所示:
告警衍生规则表
d)所述可选的人工监督指导
机器学习可以自动完成数据挖掘获取知识，为增强获取知识的准确性，提高获取知识的应用价值，可选择的对机器学习过程进行人工监督和指导。指导内容包括设定种子告警，产生式规则生效配置、告警衍生规则应用配置。
若发现根告警分析结论中某衍生告警更应该关注，则将该衍生告警调整为种子告警。种子告警可通过UI界面设定，设定的原则如下表所示：
产生式规则初始定义为，若告警资源存在关联性则告警存在关联性，在实际应用中根据接入管理的技术体制情况，通过UI界面对产生规则进行增、减及设置是否生效，产生式规则如下表所示。
告警衍生规则应用配置，主要通过UI界面设置告警衍生规则是否作为专家***在根告警分析识别过程中的知识输入。若经人工分析判断告警衍生规则不准确，则可设置为告警衍生规则不启用。将告警衍生规则的应用与机器学习获得的规则组命中次数结合，按照命中次数设置告警衍生规则生效阈值，如设置告警规则组生效阈值为3，则命中次数为1和2的规则组不作为根告警分析识别过程中的知识输入。
2)为解决根告警分析过程精度不足等问题，专家***进行根告警分析是以新告警消息为事件驱动，以实时告警库、资源数据库为分析依赖数据来源，以机器学习生成的告警衍生规则知识为知识库，构建推理机进行不确定推理的推理和判断过程，最终将告警标识为根告警或衍生告警或未确定告警。专家***进行根告警分析包括a)相关告警查询、b)告警资源相关性计算、c)知识检索三个步骤。
a)相关告警查询是收到新告警消息后，从实时告警库中查找告警相关性分析时间窗内实时告警过程。查询范围为实时告警库中告警时间与当前新收到的告警的告警时间相差，告警相关性分析时间窗内的根告警、未确定告警。
查询根告警、未确定告警的原因是经过根告警分析后,告警将划分为根告警、衍生告警、未确定告警三类，实时库中的衍生告警已分析出和某个根告警存在关联，直接去和衍生告警的根告警进行关联分析，不再重复对衍生告警进行关联分析。
b)告警资源相关性计算是通过告警资源的关联关系，进一步识别告警相关性分析时间窗内的实时告警是否存关联关系的过程。首先，查询新告警及从实时库中获取告警的资源信息，查询获得告警所在网元及网元配置信息、告警资源关联的链路信息、告警资源关联的通道信息等；其次，判断告警资源是否存在关联关系，包括告警资源包含关系、告警资源链路关联关系、告警资源通道关联关系；最后，过滤掉不存在告警资源关联的实时告警数据，将存在告警资源关联的实时告警数据准备进行知识检索。
c)知识检索是通过专家***知识库推断，明确告警相关性分析时间窗内且存在告警资源关联的实时告警是否存在关联关系，最终将新告警标识成根告警、衍生告警、未确定告警，并更新告警的衍生关系过程。首先，按照新告警及相关实时告警的技术体制、设备厂家、告警原因、告警资源类型信息作为输入条件，检索知识库中所有已启用且满足应用阈值的告警衍生规则，若未检索出匹配的规则，则当前新告警为未确定告警，若匹配某一告警衍生规则，则进一步判断新告警的状态标识；然后，对已匹配上告警衍生规则的告警，若新告警为其它关联告警的衍生告警，则将新告警消息标识为衍生告警状态并增加告警的衍生关系，若相关联告警均为未确定告警，则新告警为未确定告警，若新告警为其它关联告警的根告警，则进行告警衍生关系重定义流程，将新告警标识为根告警，将其它关联告警为衍生告警，更新相关告警的衍生关系。最后，对于仅有新告警匹配上告警衍生规则的情况，若新告警对应告警衍生规则中的根告警，则新告警是独立根告警，将新告警标识为根告警，若新告警对应告警衍生规则中的衍生告警，则新告警标识为未确定告警。
附图2为机器学习生成告警衍生规则的流程图，如附图1所示，其具体实施过程如下：
(1)查询两倍告警相关性分析时间窗历史告警
在历史库中读取本学习周期内，最早两倍告警相关性分析时间窗内告警，并将告警加入待学习告警列表中；由于临近第一个告警相关性分析时间窗最后发生的告警可能和第二个告警相关性分析时间窗告警存在关联，查询两倍告警相关性分析时间窗告警；
(2)遍历待学习告警列表
待学习告警列表作为缓存存储在内存中，然后准备按照告警相关性分析时间窗取出告警进行分析，待学习告警中可能存在多个告警组，不断对待学习告警进行遍历；
(3)选择告警时间最早一条状态为未学习告警
按照告警的时间选择时间最早的一条告警，开始找与该告警存在相关性的其它告警，正式进入学习过程，为了避免重复学习选择未学习的告警；
(4)是否存在相关告警
选择的告警与待学习告警列表中的其它告警相比较，判断告警时间差是否小于告警相关性分析时间窗，如小于告警相关性分析时间窗则存在相关告警，如存在相关告警继续“标识该告警为已学习状态”，否则继续“清理待学习告警列表”；
(5)清理待学习告警列表
如待学习告警列表中其它告警与选择的告警时间差均大于告警相关性分析时间窗，表明当前告警时间列表中一些告警也不满足学习条件，则在待学习告警列表中删除该告警及告警时间小于当前告警时间的告警；
(6)向后查询2倍告警相关性分析时间窗告警
若当前待学习告警列表中的告警不能满足学习需求，则从历史告警表中向后查询查询2倍告警相关性分析时间窗历史告警；
(7)是否历史告警查询结束
向后查询本学习周期内的历史告警，判断学习周期内的历史告警是否查询结束，如未查询结束继续“将新告警加入待学习告警列表”，否则本周期的学习过程结束；
(8)将告警加入待学习告警列表
将历史告警查询结果加入待学习告警列表，告警的状态为学习；
(9)标识该告警为已学习状态
在待学习告警列表中，如找到其它告警与已选择告警的告警时间相差查询一个告警相关性分析时间窗告警，则将该告警标识为已学习状态，进入后续学习过程；
(10)选择相关告警
将当前告警与当前告警相差告警相关性分析时间窗的告警一起作为产生式规则的输入，进一步分析是否为同告警组的告警；
(11)告警资源信息查询
查询当前告警和已选择的告警的资源类型、关联链路、关联通道等信息；
(12)产生式规则匹配
将告警信息、告警资源信息、作为产生条件与产生式规则进行匹配；
(13)是否满足产生式
产生式的输入条件与产生式规则匹配后，判断告警间是否存在关联，如存在关联则满足产生式继续“标识满足产生式告警为已学习状态”，否则进行“是否遍历结束”判断；
(14)标识满足产生式告警为已学习状态
满足产生式的告警纳入告警组，不再作为后续其它告警组学习的告警输入；
(15)输入存在相关性的告警组
将两条或两条以上的存在告警相关性的告警作为一个告警组处理，学习获得告警组内的告警存在关联关系，进入根告警标识流程；
(16)规则组命中次数加1
计数器的方式增加规则组命中次数，规则组命中次数作为告警衍生规则可信度的依据；
(17)按种子告警标识根告警；
(18)是否包含种子告警
判断当前告警组中是否包含种子告警，如包含种子告警继续进行“是否包含种子告警数量大于1”判断，否则继续“按照告警级别标识根告警”；
(19)是否包含种子告警数量大于1
判断告警组中包含种子告警的数量是否大于1，如有1条种子告警，则按照种子告警标识根告警，继续“标识种子告警为根告警”；如包含多条种子告警，则在种子告警中进一步按照告警级别标识根告警，继续“按照告警级别标识根告警”；
(20)标识种子告警为根告警；
(21)按照告警级别标识根告警
不存在种子告警的情况，按照告警级别标识根告警；种子告警存在多条的情况，将告警级别最高的种子告警标识为根告警；
(22)是否最高级别告警数量大于1
判断告警组中最高级别告警数量是否大于1，如仅有1条，则标识级别最高的告警为根告警，继续“标识最高级别告警为根告警”，如级别最高的告警有多条，则进一步按照告警时间标识根告警，继续“按照告警时间标识根告警”；
(23)将最高级别告警标识为根告警；
(24)按照告警时间标识根告警
在无法按照种子告警、告警级别标识出根告警的情况，则按照告警时间进行根告警标识；
(25)标识告警时间最早告警为根告警
考虑告警信号存在传递关系，将最先发生的告警标识为根告警；
(26)输出告警衍生规则
此时，告警衍生规则有明确根告警标识、有学习命中率的一组存在关联关系的告警，并将告警衍生规则作为学习获得的知识，存入专家***知识库；
(27)是否遍历结束：
判断待学习告警列表中是否存在状态为未学习的告警，如存在则继续“遍历待学习告警列表”，否则本周期的学习过程结束。
附图3为专家***进行根告警分析的流程图，如附图2所示，专家***进行根告警分析的具体实施过程如下：
(1)通过告警采集程序采集一条新告警数据，触发开始告警识别过程；
(2)获取与该告警相关实时告警
从实时告警库中查询，新告警时间相差告警相关性分析时间窗内，并且告警状态为根告警、未确定告警的实时告警；
(3)遍历相关实时告警
将查询获得的一系列实时告警数据存储至***缓存中，准备分析过程的轮询遍历；
(4)获取告警资源配置数据
查询缓存中一系列实时告警的资源配置数据，包括告警所在网元信息、告警所在板卡信息、告警所在网元的非业务板卡信息、告警所在端口信息等；
(5)判断告警资源是否存在包含关系
判断两条告警的告警资源是否存在上下层的包含关系，相同的告警资源记作存在包含关系，非业务板卡记作业务板及其子资源的上层资源；如存在包含关系则继续“匹配告警衍生规则一”，否则“查询告警通道或链路信息”；
(6)若告警资源不存在包含关系，查询告警通道或链路信息
通道和链路信息计算量相对较大，仅当判断不存在告警资源包含关系后再去检索通道或链路信息，进行通道或链路的关联判断，查询获得告警资源及其子资源关联的链路或通道信息；
(7)判断告警资源链路或通道是否关联
判断两条告警的告警资源是否存在链路或通道的关联关系，一条链路或通道途经的资源和途径资源的上层资源，被判断为存在链路或通道的关联；如存在告警资源链路或通道关联则“告警衍生规则匹配一”，否则进行“是否遍历结束”判断；
(8)如存在告警资源链路或通道关联，则告警衍生规则匹配一
按照新告警及存在关联的实时告警的技术体制、设备厂家、告警原因、告警资源类型信息作为输入条件，检索知识库中所有已启用且满足应用阈值的告警衍生规则；
(9)判断是否命中告警衍生规则
判断输入的两条告警是否为知识库中一条生效的告警衍生规则中包含的告警；如命中规则进行“是否新告警为根告警”判断，否则进行“是否遍历结束”判断；
(10)若命中告警衍生规则，则判断新告警是否为根告警
在命中告警衍生规则时，判断新告警是否对应告警衍生规则中指定的根告警，如新告警为根告警继续“根告警及衍生关系重定义”，否则进行“是否相关告警为根告警”判断；
(11)若新告警不是根告警，则判断相关告警是否为根告警
在新告警非根告警时，判断相关告警是否为根告警；如相关告警为根告警继续“标识新告警为衍生告警”，否则是相关告警为未确定告警的情况，无法进行告警标识，进行相关告警列表“是否遍历结束”判断；
(12)若相关告警为根告警，则标识新告警为衍生告警；
(13)新增相关告警和新告警的衍生关系，相关告警为根告警，新告警为衍生告警，根告警分析流程结束；
(14)进行根告警及衍生关系重定义
当新告警为根告警时，进行新告警的标识及相关告警的衍生关系重定义；
(15)将新告警标识为根告警；
(16)将相关告警由根告警或未确定告警状态标识为衍生告警；
(17)更新相关告警衍生关系
添加相关告警为新告警的衍生告警，如相关告警重定义前为根告警情况，则相关告警的衍生告警被重定义为新告警的衍生告警，根告警分析流程结束；
(18)判断是否遍历结束
判断相关实时告警列表是否遍历结束，如遍历未结束继续“遍历相关实时告警”，否则继续“告警衍生规则匹配二”；
(19)若相关实时告警列表遍历结束后，则继续匹配告警衍生规则，目的是判断新告警是否为不存在衍生告警的独立根告警；
(20)判断新告警是否为告警衍生规则中根告警
判断新告警是否与告警衍生规则匹配且对应告警衍生规则中的根告警，如匹配告警衍生规则中的根告警继续“标识为根告警”，否则继续“标识为未确定告警”；
(21)若匹配告警衍生规则中的根告警，将新告警标识为根告警
新告警匹配告警衍生规则中的根告警时，将新告警标识为根告警，新告警为不存在衍生告警的独立根告警，根告警分析流程结束。
(22)若未匹配告警衍生规则中的根告警，将新告警标识为未确定告警
新告警未匹配告警衍生规则中的根告警时，将新告警标识为未确定告警，根告警分析流程结束。
上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的权利要求书的且任何所属技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。
Claims (10)
1.一种基于数据挖掘的根告警分析识别方法，其特征在于,其内容主要包含机器学习生成告警衍生规则和专家***进行根告警分析两部分；通过从历史告警库、资源数据库读取历史告警、资源信息并与产生式规则匹配，生成告警组；同时，可选择的进行产生式规则、种子告警、规则生效阈值设置的人工监督指导；标识告警组中的根告警，生成告警衍生规则存储至知识库；收到新告警时，从实时告警库获取告警时间临近告警，读取资源数据库分析告警资源相关性；继续检索知识库，将告警标识成根告警、衍生告警、未确定告警。
2.根据权利要求1所述一种基于数据挖掘的根告警分析识别方法，其特征在于,所述机器学习生成告警衍生规则，充分将机器学习领域产生式规则的学习方法与具体的应用实践相结合，对历史告警库进行数据挖掘，利用“生成”的行为策略，学习得到告警衍生规则，存储至知识库，作为专家***进行根告警分析的知识输入其主要包括a)历史告警抽取、b)产生式规则匹配、c)告警衍生规则生成三个步骤和d)可选的人工监督指导过程。
3.根据权利要求2所述一种基于数据挖掘的根告警分析识别方法，其特征在于,a)所述历史告警抽取主要是抽取机器学习样本数据，机器学习采用周期性学习策略。
4.根据权利要求3所述一种基于数据挖掘的根告警分析识别方法，其特征在于,b)所述产生式规则匹配主要是，对抽取的历史告警样本数据与产生式规则匹配，生成具有关联关系的告警组；首先将抽取的历史告警样本数据按照告警相关性分析时间窗，分割成多个数据切片；再将历史告警数据与资源数据进行匹配，标识出告警资源的资源包含关系、告警资源的链路关联关系、告警资源的通道关联关系；最后将切片内的历史告警数据、告警资源关联关系数据作为产生式输入条件，与产生式规则进行匹配，生成具有关联关系的告警组。
5.根据权利要求4所述一种基于数据挖掘的根告警分析识别方法，其特征在于,c)所述告警衍生规则生成主要是，在具有关联关系的一组告警内，标识出根告警，进而实例化出告警衍生规则，并存储至专家***知识库；根告警标识的原则为优先选择种子告警，其次选择告警级别较高告警，最后采纳告警时间较早告警。
6.根据权利要求5所述一种基于数据挖掘的根告警分析识别方法，其特征在于,d)所述可选的人工监督指导是指，可选择的对机器学习过程进行人工监督和指导；指导内容包括设定种子告警，产生式规则生效配置、告警衍生规则应用配置。
7.根据权利要求2所述一种基于数据挖掘的根告警分析识别方法，其特征在于,所述专家***进行根告警分析是以新告警消息为事件驱动，以实时告警库、资源数据库为分析依赖数据来源，以机器学习生成的告警衍生规则知识为知识库，构建推理机进行不确定推理的推理和判断，最终将告警标识为根告警或衍生告警或未确定告警；其主要内容包括a)相关告警查询、b)告警资源相关性计算、c)知识检索三个步骤。
8.根据权利要求7所述一种基于数据挖掘的根告警分析识别方法，其特征在于,a)相关告警查询是指，收到新告警消息后，从实时告警库中查找告警相关性分析时间窗内实时告警；查询范围为实时告警库中告警时间与当前新收到的告警的告警时间相差，告警相关性分析时间窗内的根告警、未确定告警。
9.根据权利要求8所述一种基于数据挖掘的根告警分析识别方法，其特征在于,b)告警资源相关性计算是指，通过告警资源的关联关系，进一步识别告警相关性分析时间窗内的实时告警是否存关联关系；首先，查询新告警及从实时告警库中获取告警的资源信息，查询获得告警所在网元及网元配置信息、告警资源关联的链路信息、告警资源关联的通道信息；其次，判断告警资源是否存在关联关系，包括告警资源包含关系、告警资源链路关联关系、告警资源通道关联关系；最后，过滤掉不存在告警资源关联的实时告警数据，将存在告警资源关联的实时告警数据准备进行知识检索。
10.根据权利要求9所述一种基于数据挖掘的根告警分析识别方法，其特征在于,c)知识检索是指，通过专家***知识库推断，明确告警相关性分析时间窗内且存在告警资源关联的实时告警是否存在关联关系，最终将新告警标识成根告警、衍生告警、未确定告警，并更新告警的衍生关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610619294.5A CN106250288A (zh) | 2016-07-29 | 2016-07-29 | 一种基于数据挖掘的根告警分析识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610619294.5A CN106250288A (zh) | 2016-07-29 | 2016-07-29 | 一种基于数据挖掘的根告警分析识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106250288A true CN106250288A (zh) | 2016-12-21 |
Family
ID=57606773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610619294.5A Pending CN106250288A (zh) | 2016-07-29 | 2016-07-29 | 一种基于数据挖掘的根告警分析识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106250288A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106789347A (zh) * | 2017-01-22 | 2017-05-31 | 山东浪潮商用***有限公司 | 一种基于告警数据实现告警关联和网络故障诊断的方法 |
| CN107451040A (zh) * | 2017-07-07 | 2017-12-08 | 深信服科技股份有限公司 | 故障原因的定位方法、装置及计算机可读存储介质 |
| CN108243063A (zh) * | 2017-12-28 | 2018-07-03 | 北京市天元网络技术股份有限公司 | 电力终端通信接入网根告警的确定方法及*** |
| CN108600009A (zh) * | 2018-04-25 | 2018-09-28 | 北京思特奇信息技术股份有限公司 | 一种基于告警数据分析的网络告警根源定位方法 |
| WO2019001312A1 (zh) * | 2017-06-28 | 2019-01-03 | 华为技术有限公司 | 实现告警关联的方法、装置以及计算机可读存储介质 |
| CN109597746A (zh) * | 2018-12-26 | 2019-04-09 | 荣科科技股份有限公司 | 故障分析方法及装置 |
| CN111313355A (zh) * | 2020-03-02 | 2020-06-19 | 国网江苏省电力有限公司南京供电分公司 | 一种人工监督下的监控信号事件规则更新的方法 |
| CN111342997A (zh) * | 2020-02-06 | 2020-06-26 | 烽火通信科技股份有限公司 | 一种深度神经网络模型的构建方法、故障诊断方法及*** |
| CN112463551A (zh) * | 2020-12-08 | 2021-03-09 | 杭州电子科技大学上虞科学与工程研究院有限公司 | 一种可配置的告警标准化方法 |
| CN112615877A (zh) * | 2020-12-25 | 2021-04-06 | 江苏省未来网络创新研究院 | 一种基于机器学习的入侵检测***规则匹配优化方法 |
| WO2021254244A1 (zh) * | 2020-06-16 | 2021-12-23 | 中兴通讯股份有限公司 | 告警挖掘模型确定方法、装置、设备和存储介质 |
| CN114500229A (zh) * | 2021-12-30 | 2022-05-13 | 国网河北省电力有限公司信息通信分公司 | 基于时空信息的网络告警定位及分析方法 |
| CN114944956A (zh) * | 2022-05-27 | 2022-08-26 | 深信服科技股份有限公司 | 一种攻击链路检测方法、装置、电子设备及存储介质 |
| WO2023045417A1 (zh) * | 2021-09-24 | 2023-03-30 | 中兴通讯股份有限公司 | 一种故障知识图谱构建方法及装置 |
| WO2023093527A1 (zh) * | 2021-11-25 | 2023-06-01 | 中兴通讯股份有限公司 | 告警关联规则生成方法、装置、电子设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101047556A (zh) * | 2006-06-01 | 2007-10-03 | 华为技术有限公司 | 一种多设备集中维护方法和*** |
| CN101355451A (zh) * | 2008-09-09 | 2009-01-28 | 中兴通讯股份有限公司 | 一种告警相关性分析方法及*** |
| CN101997709A (zh) * | 2009-08-10 | 2011-03-30 | 中兴通讯股份有限公司 | 一种根告警数据分析的方法及其*** |
| US9313091B1 (en) * | 2013-09-26 | 2016-04-12 | Emc Corporation | Analytics platform for automated diagnosis, remediation, and proactive supportability |
-
2016
- 2016-07-29 CN CN201610619294.5A patent/CN106250288A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101047556A (zh) * | 2006-06-01 | 2007-10-03 | 华为技术有限公司 | 一种多设备集中维护方法和*** |
| CN101355451A (zh) * | 2008-09-09 | 2009-01-28 | 中兴通讯股份有限公司 | 一种告警相关性分析方法及*** |
| CN101997709A (zh) * | 2009-08-10 | 2011-03-30 | 中兴通讯股份有限公司 | 一种根告警数据分析的方法及其*** |
| US9313091B1 (en) * | 2013-09-26 | 2016-04-12 | Emc Corporation | Analytics platform for automated diagnosis, remediation, and proactive supportability |
Non-Patent Citations (1)
| Title |
|---|
| 黄涤: ""电力通信网告警相关性分析模块的设计与实现"", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106789347A (zh) * | 2017-01-22 | 2017-05-31 | 山东浪潮商用***有限公司 | 一种基于告警数据实现告警关联和网络故障诊断的方法 |
| WO2019001312A1 (zh) * | 2017-06-28 | 2019-01-03 | 华为技术有限公司 | 实现告警关联的方法、装置以及计算机可读存储介质 |
| CN109150572A (zh) * | 2017-06-28 | 2019-01-04 | 华为技术有限公司 | 实现告警关联的方法、装置以及计算机可读存储介质 |
| CN107451040B (zh) * | 2017-07-07 | 2020-12-01 | 深信服科技股份有限公司 | 故障原因的定位方法、装置及计算机可读存储介质 |
| CN107451040A (zh) * | 2017-07-07 | 2017-12-08 | 深信服科技股份有限公司 | 故障原因的定位方法、装置及计算机可读存储介质 |
| CN108243063A (zh) * | 2017-12-28 | 2018-07-03 | 北京市天元网络技术股份有限公司 | 电力终端通信接入网根告警的确定方法及*** |
| CN108600009A (zh) * | 2018-04-25 | 2018-09-28 | 北京思特奇信息技术股份有限公司 | 一种基于告警数据分析的网络告警根源定位方法 |
| CN108600009B (zh) * | 2018-04-25 | 2021-03-30 | 北京思特奇信息技术股份有限公司 | 一种基于告警数据分析的网络告警根源定位方法 |
| CN109597746A (zh) * | 2018-12-26 | 2019-04-09 | 荣科科技股份有限公司 | 故障分析方法及装置 |
| CN109597746B (zh) * | 2018-12-26 | 2022-05-13 | 荣科科技股份有限公司 | 故障分析方法及装置 |
| CN111342997A (zh) * | 2020-02-06 | 2020-06-26 | 烽火通信科技股份有限公司 | 一种深度神经网络模型的构建方法、故障诊断方法及*** |
| CN111342997B (zh) * | 2020-02-06 | 2022-08-09 | 烽火通信科技股份有限公司 | 一种深度神经网络模型的构建方法、故障诊断方法及*** |
| CN111313355A (zh) * | 2020-03-02 | 2020-06-19 | 国网江苏省电力有限公司南京供电分公司 | 一种人工监督下的监控信号事件规则更新的方法 |
| WO2021254244A1 (zh) * | 2020-06-16 | 2021-12-23 | 中兴通讯股份有限公司 | 告警挖掘模型确定方法、装置、设备和存储介质 |
| CN112463551A (zh) * | 2020-12-08 | 2021-03-09 | 杭州电子科技大学上虞科学与工程研究院有限公司 | 一种可配置的告警标准化方法 |
| CN112615877A (zh) * | 2020-12-25 | 2021-04-06 | 江苏省未来网络创新研究院 | 一种基于机器学习的入侵检测***规则匹配优化方法 |
| WO2023045417A1 (zh) * | 2021-09-24 | 2023-03-30 | 中兴通讯股份有限公司 | 一种故障知识图谱构建方法及装置 |
| WO2023093527A1 (zh) * | 2021-11-25 | 2023-06-01 | 中兴通讯股份有限公司 | 告警关联规则生成方法、装置、电子设备和存储介质 |
| CN114500229A (zh) * | 2021-12-30 | 2022-05-13 | 国网河北省电力有限公司信息通信分公司 | 基于时空信息的网络告警定位及分析方法 |
| CN114500229B (zh) * | 2021-12-30 | 2024-02-02 | 国网河北省电力有限公司信息通信分公司 | 基于时空信息的网络告警定位及分析方法 |
| CN114944956A (zh) * | 2022-05-27 | 2022-08-26 | 深信服科技股份有限公司 | 一种攻击链路检测方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106250288A (zh) | 一种基于数据挖掘的根告警分析识别方法 | |
| CN105160038B (zh) | 一种基于审计知识库的数据分析方法及*** | |
| CN111460167A (zh) | 基于知识图谱定位排污对象的方法及相关设备 | |
| DE112008003302B4 (de) | Verfahren und Systeme zur Abschätzung von Bohrlochereignissen | |
| CN114118224B (zh) | 一种基于神经网络的全***遥测参数异常检测*** | |
| CN114626615B (zh) | 一种生产过程监控管理方法及*** | |
| CN107949812A (zh) | 用于检测配水***中的异常的组合方法 | |
| CN112817280A (zh) | 一种用于火电厂智慧监盘报警***实现方法 | |
| US20180224809A1 (en) | Event analyzing device, event analyzing system, event analyzing method, and non-transitory computer readable storage medium | |
| CN116720752A (zh) | 基于大数据的装配式建筑质量信息监管*** | |
| CN110333983A (zh) | 业务监控及搜索业务监控方法及装置 | |
| CN115186917A (zh) | 一种主动预警式风险管控***及方法 | |
| CN117196066A (zh) | 智慧运维信息分析模型 | |
| US20230131178A1 (en) | Water circulation intelligent sensing and monitoring system based on differentiable reasoning | |
| CN107423190A (zh) | 一种日志数据异常指向识别方法及装置 | |
| CN106852177A (zh) | 基于一致性测量值的用于数据对象的基于模式识别的监测和受控处理的***和方法 | |
| CN116843071B (zh) | 一种用于智慧港口的运输网络运行指数预测方法及装置 | |
| CN108734567A (zh) | 一种基于大数据人工智能风控的资产管理***及其评估方法 | |
| CN117194919A (zh) | 一种生产数据分析*** | |
| CN117035419A (zh) | 企业项目实施智能管理***及方法 | |
| CN113393084B (zh) | 作业票流程管理*** | |
| CN117689256A (zh) | 一种铝合金熔铸产品质量溯源方法 | |
| CN110517731A (zh) | 基因检测质量监控数据处理方法和*** | |
| CN113807462B (zh) | 一种基于ai的网络设备故障原因定位方法及其*** | |
| CN110455370B (zh) | 防汛抗旱远程遥测显示*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20161221 |