CN113051307A - 告警信号的分析方法、设备、存储介质及装置 - Google Patents

告警信号的分析方法、设备、存储介质及装置 Download PDF

Info

Publication number
CN113051307A
CN113051307A CN201911387407.3A CN201911387407A CN113051307A CN 113051307 A CN113051307 A CN 113051307A CN 201911387407 A CN201911387407 A CN 201911387407A CN 113051307 A CN113051307 A CN 113051307A
Authority
CN
China
Prior art keywords
information
alarm
alarm information
time sequence
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911387407.3A
Other languages
English (en)
Inventor
张穗辉
陈晓帆
翟云箭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sangfor Technologies Co Ltd
Original Assignee
Sangfor Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sangfor Technologies Co Ltd filed Critical Sangfor Technologies Co Ltd
Priority to CN201911387407.3A priority Critical patent/CN113051307A/zh
Publication of CN113051307A publication Critical patent/CN113051307A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462Approximate or statistical queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474Sequence data queries, e.g. querying versioned data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0631Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H04L41/064Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis involving time analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及告警信息根因分析技术领域,公开了一种告警信号的分析方法、设备、存储介质及装置。本发明通过获取待分析时序告警信息集合;从中选取若干个参考信息组,包括参考根源告警信息和对应的参考结果告警信息,其中,所述参考结果告警信息在时间上滞后于对应的参考根源告警信息;对各个参考信息组分别采用预设投票分析模型进行验证;将所述验证结果为验证通过的参考信息组中的参考根源告警信息作为实际根源告警信息,从而通过预先假设出参考根源告警信息和参考结果告警信息,然后通过预设投票分析模型对假设的参考根源告警信息和参考结果告警信息进行验证,准确定位出待分析告警信息中的目标根源告警信息,从而实现对告警信息的根因分析。

Description

告警信号的分析方法、设备、存储介质及装置
技术领域
本发明涉及告警信息根因分析技术领域,尤其涉及告警信号的分析方法、设备、存储介质及装置。
背景技术
目前随着运维规模的快速扩张,越来越多的监控工具被用于***运维,但这同时意味着各种***产生的告警量也爆发式地增加。一个监控工具每天都会发出成百上千个告警,据统计,其中仅仅有不到15%的是有效告警。对预防,判定和分析故障真正有效的告警信息被大量无效告警湮没,整体运维效率反而因此受到严重影响,例如针对网络级别的故障,当网络中的一台设备出现故障,该设备会产生相应的若干条告警;然后链式地导致其他设备的各项监控指标出现异常,并进而产生对应的告警。显然,这种告警风暴对于运维人员的快速故障修复将造成极大的挑战。
所以对于运维团队来说,一项能从告警风暴中的告警信号中甄别出根因告警的技术就显得不可或缺了。针对告警根因分析,现成的技术有使用如关联规则算法Apriori,频繁模式树(Frequent Pattern Tree,FP-Growth)等关联算法自动计算告警之间的关联度,但是申请人在研究的过程中发现,这些现成的技术只是考虑告警之间的关联性,甚至仅仅进行简单的时间段切分,根本没有考虑时间段内部告警信号的时间先后次序,所以这些现成的技术得到的关联规则并不能完全表征告警信号之间的因果性,在进行告警合并和根因分析的时候容易出现偏差。
发明内容
本发明的主要目的在于提供告警信号的分析方法、设备、存储介质及装置,旨在解决如何提高告警信号根因分析的准确性的技术问题。
为实现上述目的,本发明提供一种告警信号的分析方法,所述告警信号的分析方法包括以下步骤:
获取待分析时序告警信息集合;
从所述待分析时序告警信息集合中选取若干个参考信息组,各个参考信息组中分别包括参考根源告警信息和对应的参考结果告警信息,其中,所述参考结果告警信息在时间上滞后于对应的参考根源告警信息;
对各个参考信息组分别采用预设投票分析模型进行验证,获得各个参考信息组的验证结果;
将所述验证结果为验证通过的参考信息组中的参考根源告警信息作为实际根源告警信息。
优选地,所述从所述待分析时序告警信息集合中选取若干个参考信息组之前,所述方法还包括:
获取所述待分析时序告警信息集合中各个待分析时序告警信息的连续度,根据所述连续度对所述待分析时序告警信息进行分割,得到分割后的待分析时序告警信息;
统计分割后的待分析时序告警信息的告警数量信息以及持续时间信息;
将所述告警数量信息与数量阈值进行比较,得到第一比较结果;
将所述持续时间信息与时间阈值进行比较,得到第二比较结果;
根据所述第一比较结果和第二比较结果确定所述分割后的待分析时序告警信息中的告警风暴时序信息集合;
所述从所述待分析时序告警信息集合中选取若干个参考信息组,包括:
从所述告警风暴时序信息集合中选取若干个参考信息组。
优选地,所述预设投票分析模型为格兰杰模型;
所述对各个参考信息组分别采用预设投票分析模型进行验证,获得各个参考信息组的验证结果,包括:
对各个参考信息组中各个参考根源告警信息和对应的参考结果告警信息基于所述格兰杰模型建立二元线性自回归模型;
根据所述二元线性自回归模型得到所述参考根源告警信息对应的原因时序项的系数信息;
判断所述系数信息是否为预设系数值;
根据判断结果获得各个参考信息组的验证结果。
优选地,所述预设投票分析模型为传递熵模型;
所述对各个参考信息组分别采用预设投票分析模型进行验证,获得各个参考信息组的验证结果,包括:
根据各个参考信息组中各个参考根源告警信息和对应的参考结果告警信息获取所述参考根源告警信息对应的原因概率分布函数、参考结果告警信息对应的结果概率分布函数以及联合分布函数;
根据所述原因概率分布函数、结果概率分布函数以及联合分布函数得到所述参考根源告警信息对于参考结果告警信息的第一传递熵;
获取参考变量信息,将所述参考变量信息引入所述参考根源告警信息和参考结果告警信息,得到引入后的参考根源告警信息和参考结果告警信息;
根据引入后的参考根源告警信息和参考结果告警信息得到第二传递熵;
比较所述第一传递熵与所述第二传递熵,根据比较结果获得各个参考信息组的验证结果。
优选地,所述获取待分析时序告警信息集合,包括:
获取参考时序告警信息;
对所述参考时序告警信息进行去噪处理后,得到去噪后的参考时序告警信息;
将所述去噪后的参考时序告警信息添加至待分析时序告警信息集合。
优选地,所述对所述参考时序告警信息进行去噪处理后,得到去噪后的参考时序告警信息,包括:
遍历所述参考时序告警信息中的第一样本信息,统计所述第一样本信息中的告警数量信息以及告警区间长度信息;
根据所述告警数量信息以及告警区间长度信息得到告警密度信息;
获取密度阈值信息,将所述告警密度信息与所述密度阈值信息进行比较;
根据比较结果对所述参考时序告警信息进行筛选,得到去噪后的参考时序告警信息。
优选地,所述对所述参考时序告警信息进行去噪处理后,得到去噪后的参考时序告警信息,包括:
遍历所述参考时序告警信息中的第二样本信息,判断所述第二样本信息中间隔预设时间长度的统计区间内的是否存有告警信息;
根据判断结果对所述参考时序告警信息进行筛选,得到去噪后的参考时序告警信息。
优选地,所述对所述参考时序告警信息进行去噪处理后,得到去噪后的参考时序告警信息,包括:
遍历所述参考时序告警信息中的第三样本信息,采用K近邻替换算法得到第三样本信息各个告警信息之间的K近邻;
根据所述K近邻对所述参考时序告警信息进行筛选,得到去噪后的参考时序告警信息。
优选地,所述对所述参考时序告警信息进行去噪处理后,得到去噪后的参考时序告警信息,包括:
将所述参考时序告警信息转化为一维时序告警信息,对一维时序告警信息采用高斯滤波进行平滑处理,得到第四时序告警信息;
对所述第四时序告警信息进行二值化处理,得到去噪后的参考时序告警信息。
优选地,所述获取参考时序告警信息之前,所述方法还包括:
通过预设接口得到初始告警信息;
将所述初始告警信息通过接口编码信息以及时间戳信息进行加载,得到二维告警矩阵信息;
将所述二维告警矩阵信息作为参考时序告警信息。
此外,为实现上述目的,本发明还提出一种告警信号的分析设备,所述告警信号的分析设备包括:存储器、处理器及存储在所述存储器上并在所述处理器上运行告警信号的分析程序,所述告警信号的分析程序被所述处理器执行时实现如上文所述的告警信号的分析方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有告警信号的分析程序,所述告警信号的分析程序被处理器执行时实现如上文所述的告警信号的分析方法的步骤。
此外,为实现上述目的,本发明还提出一种告警信号的分析装置,所述告警信号的分析装置包括:
获取模块,用于获取待分析时序告警信息集合;
选取模块,用于从所述待分析时序告警信息集合中选取若干个参考信息组,各个参考信息组中分别包括参考根源告警信息和对应的参考结果告警信息,其中,所述参考结果告警信息在时间上滞后于对应的参考根源告警信息;
验证模块,用于对各个参考信息组分别采用预设投票分析模型进行验证,获得各个参考信息组的验证结果;
所述获取模块,还用于将所述验证结果为验证通过的参考信息组中的参考根源告警信息作为实际根源告警信息。
本发明提供的技术方案,通过获取待分析时序告警信息集合;从所述待分析时序告警信息集合中选取若干个参考信息组,各个参考信息组中分别包括参考根源告警信息和对应的参考结果告警信息,其中,所述参考结果告警信息在时间上滞后于对应的参考根源告警信息;对各个参考信息组分别采用预设投票分析模型进行验证,获得各个参考信息组的验证结果;将所述验证结果为验证通过的参考信息组中的参考根源告警信息作为实际根源告警信息,从而通过预先假设出参考根源告警信息和参考结果告警信息,然后通过预设投票分析模型对假设的参考根源告警信息和参考结果告警信息进行验证,准确定位出待分析告警信息中的目标根源告警信息,从而实现对告警信息的根因分析。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的告警信号的分析设备结构示意图;
图2为本发明告警信号的分析方法一实施例的流程示意图;
图3为本发明告警信号的分析方法一实施例的告警时序根因分析***示意图;
图4为本发明告警信号的分析方法另一实施例的流程示意图;
图5为本发明告警信号的分析方法一实施例的噪音信号示意图;
图6为本发明告警信号的分析方法一实施例的基于K近邻替换算法的示意图;
图7为本发明告警信号的分析方法再一实施例的流程示意图;
图8为本发明告警信号的分析装置一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的告警信号的分析设备结构示意图。
如图1所示,该告警信号的分析设备可以包括:处理器1001,例如中央处理器(Central Processing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display),可选用户接口1003还可以包括标准的有线接口以及无线接口,而用户接口1003的有线接口在本发明中可为通用串行总线(Universal Serial Bus,USB)接口。网络接口1004可选的可以包括标准的有线接口以及无线接口(如WI-FI接口)。存储器1005可以是高速随机存取存储器(Random Access Memory,RAM);也可以是稳定的存储器,比如,非易失存储器(Non-volatile Memory),具体可为,磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对告警信号的分析设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及告警信号的分析程序。
在图1所示的告警信号的分析设备中,网络接口1004主要用于连接后台服务器,与所述后台服务器进行数据通信;用户接口1003主要用于连接外设;所述告警信号的分析设备通过处理器1001调用存储器1005中存储的告警信号的分析程序,并执行本发明实施例提供的告警信号的分析方法。
基于上述硬件结构,提出本发明告警信号的分析方法的实施例。
参照图2,图2为本发明告警信号的分析方法一实施例的流程示意图。
在图2实施例中,所述告警信号的分析方法包括以下步骤:
步骤S10:获取待分析时序告警信息集合。
需要说明的是,本实施例的执行主体为告警信号的分析设备,还可为其他可实现相同或相似功能的设备,例如服务器等,本实施例对此不作限制,在本实施例中,以告警信号服务器为例进行说明。
步骤S20:从所述待分析时序告警信息集合中选取若干个参考信息组,各个参考信息组中分别包括参考根源告警信息和对应的参考结果告警信息,其中,所述参考结果告警信息在时间上滞后于对应的参考根源告警信息。
在本实施例中,所述参考根源告警信息表示为原因告警信息,对应的参考结果告警信息表示为结果告警信息,即所述待分析时序告警信息中的参考根源告警信息和参考结果告警信息为预先假设的原因告警时序和结果告警时序,并将所述参考结果告警信息的时序滞后所述参考根源告警信息预设时长,其中,所述滞后为参考结果告警信息的时序晚于所述参考根源告警信息,从而使结果告警时序滞后于原因告警时序,保证根因分析的准确性。
在具体实现中,根据具体的业务情况设置合理的时间迟滞,然后计算不同告警信号时序之间的因果性,确保结果时序对比于原因时序会滞后一定时长,确保时间先后次序性,从而解决了现有技术方案没有考虑变量之间的时间先后次序的问题。
步骤S30:对各个参考信息组分别采用预设投票分析模型进行验证,获得各个参考信息组的验证结果。
在本实施例中,所述预设投票分析模型为集成投票分析模型,所述集成投票分析模型集成格兰杰模型以及传递熵模型,还可集成其他可实现因果分析的模型,本实施例对此不作限制,在本实施例中,以集成格兰杰模型以及传递熵模型为例进行说明。
步骤S40:将所述验证结果为验证通过的参考信息组中的参考根源告警信息作为实际根源告警信息。
在具体实现中,首先通过格兰杰模型以及传递熵模型进行根因验证,判断之前假设的参考根源告警信息和参考结果告警信息之间的关联关系是否正确,分别根据格兰杰模型以及传递熵模型的验证结果采用投票的方式进行最终确定,从而通过多种模型验证的方式保证假设的准确性。
需要说明的是,所述预设投票分析模型的最终结果可以采用少数服从多数的方式进行确认,还可通过其他的方式进行最终确认,本实施例对此不作限制。
如图3所示的告警时序根因分析***示意图,所述告警时序根因分析***包括数据读取模块、数据预处理模块、告警风暴分析模块以及因果分析模块,其中,所述数据读取模块通过数据读取控制器进行CSV数据读取、数据库数据读取、Excel数据读取,数据预处理模块进行密度去噪、持续时间去噪、K近邻去噪以及高斯滤波去噪,所述告警风暴分析模块进行事件切割以及告警风暴判断,如果为告警风暴时,则通过因果分析模块中的因果分子投票器进行格兰杰分析或者传递熵分析,最后得到因果关联规则。
本实施例通过上述方案,通过获取待分析时序告警信息集合;从所述待分析时序告警信息集合中选取若干个参考信息组,各个参考信息组中分别包括参考根源告警信息和对应的参考结果告警信息,其中,所述参考结果告警信息在时间上滞后于对应的参考根源告警信息;对各个参考信息组分别采用预设投票分析模型进行验证,获得各个参考信息组的验证结果;将所述验证结果为验证通过的参考信息组中的参考根源告警信息作为实际根源告警信息,从而通过预先假设出参考根源告警信息和参考结果告警信息,然后通过预设投票分析模型对假设的参考根源告警信息和参考结果告警信息进行验证,准确定位出待分析告警信息中的目标根源告警信息,从而实现对告警信息的根因分析。
参照图4,图4为本发明告警信号的分析方法另一实施例的流程示意图,基于上述图2所示的一实施例,提出本发明告警信号的分析方法的另一实施例,所述步骤S10,包括:
获取参考时序告警信息;对所述参考时序告警信息进行去噪处理后,得到去噪后的参考时序告警信息;将所述去噪后的参考时序告警信息添加至待分析时序告警信息集合。
需要说明的是,所述去噪处理包括密度去噪、持续时间去噪、K近邻去噪或高斯滤波去噪的至少一种。
在进行密度去噪时,遍历所述参考时序告警信息中的第一样本信息,统计所述第一样本信息中的告警数量信息以及告警区间长度信息;根据所述告警数量信息以及告警区间长度信息得到告警密度信息;获取密度阈值信息,将所述告警密度信息与所述密度阈值信息进行比较;根据比较结果对所述参考时序告警信息进行筛选,得到去噪后的参考时序告警信息。
可以理解的是,加载后的告警信号时序数据,经常会因为测量噪声,干扰或者抖动等因素,造成假告警信号。明显,假告警对后续因果分析的结果产生负面影响,所以在数据分析之前先进行数据去噪。考虑到真实的告警分布特征必然是带有集中性和连续性的,所以,可以针对上述的告警分布特征,对告警信号时序数据进行去噪。如图5所示,其中在8分钟处的孤立告警信号以及63分钟处的缺失告警信号都属于噪音,需要经过预处理,因此为了获取样本数据的真实性,需要对样本数据进行去噪处理,从而达到数据分析效率的目的,在本实施例中,通过采用基于密度、基于持续时间、基于K近邻替换算法以及高斯滤波等方式针对不同的场景进行去噪。
在实施例中,为了基于密度进行去噪处理,首先遍历告警信号时序上的每一个样本点,并考察此样本点的告警信号密度,告警密度定义为告警量/统计区间长度,并设置密度阈值,当告警密度低于密度阈值,则认为当前样本点实际上并不存在告警,并强制将当前样本点的告警信号置零。
进一步地,所述对所述参考时序告警信息进行去噪处理后,得到去噪后的参考时序告警信息,包括:
遍历所述参考时序告警信息中的第二样本信息,判断所述第二样本信息中间隔预设时间长度的统计区间内的是否存有告警信息;根据判断结果对所述参考时序告警信息进行筛选,得到去噪后的参考时序告警信息。
在具体实现中,为了基于持续时间进行去噪处理,首先遍历告警信号时序上的每一个样本点,并考察此样本点的前后的长度为w的统计区间,当统计区间中不存在其他的告警信号,则认为当前样本点实际上并不存在告警,并强制将当前样本点的告警信号置零,其中,所述统计区间可根据需求进行灵活调整,从而保证了样本的真实性,提高数据处理的准确性。
进一步地,所述对所述参考时序告警信息进行去噪处理后,得到去噪后的参考时序告警信息,包括:
遍历所述参考时序告警信息中的第三样本信息,采用K近邻替换算法得到第三样本信息各个告警信息之间的K近邻;根据所述K近邻对所述参考时序告警信息进行筛选,得到去噪后的参考时序告警信息。
在具体实现中,为了基于K近邻替换算法进行去噪处理,首先遍历告警信号时序上的每一个样本点,并考察此样本点的前后的长度为w的统计区间,当统计区间中不存在其他的告警信号,则认为当前样本点实际上并不存在告警,并强制将当前样本点的告警信号置零,其中,所述统计区间可根据需求进行灵活调整,如图6所示的基于K近邻替换算法的示意图,其中,ω1、ω2以及ω3分别表示样本信息,Xu表示参考点,根据所述参考点得到与各个样本之间的距离信息,从而识别出异常噪点信息,保证了样本的真实性,提高数据处理的准确性。
进一步地,所述对所述参考时序告警信息进行去噪处理后,得到去噪后的参考时序告警信息,包括:
将所述参考时序告警信息转化为一维时序告警信息,对一维时序告警信息采用高斯滤波进行平滑处理,得到第四时序告警信息;对所述第四时序告警信息进行二值化处理,得到去噪后的参考时序告警信息。
在具体实现中,为了基于高斯滤波进行去噪处理,通过将告警信号时序作为一维数据使用高斯滤波对进行平滑,并将平滑后的告警信号进行二值化处理,最终得到去噪后的告警信号时序数据,从而保证了样本的真实性,提高数据处理的准确性。
进一步地,所述获取参考时序告警信息之前,所述方法还包括:
步骤S101,通过预设接口得到初始告警信息。
在本实施例中,为适配不同类型的数据源,使用基于接口的数据访问机制,从而根据接口信息对告警信息进行有效管理。
步骤S102,将所述初始告警信息通过接口编码信息以及时间戳信息进行加载,得到二维告警矩阵信息。
在本实施例中,不同的数据访问方式由不同的子类实现,最终将所有告警信号的的时序数据加载到内存,形成一个两维的矩阵。如表1所示的告警信息的数据结构,矩阵的列索引是时间序列的时间戳,行索引是不同的告警信号的识别号ID,其中T表示时间戳信息,ID表示告警识别码信息。
步骤S103,将所述二维告警矩阵信息作为参考时序告警信息。
时间戳 告警信号ID1 告警信号ID2 ... 告警信号IDm
T0 0 0 ... 0
T1 0 1 ... 0
T2 1 0 ... 0
T3 1 0 ... 0
... ... ... ... ...
Tn 0 0 ... 1
表1
本实施例提供的方案,通过采用基于密度、基于持续时间、基于K近邻替换算法以及高斯滤波等方式针对不同的场景进行去噪,从而保证报警信息的正确性。
参照图7,图7为本发明告警信号的分析方法再一实施例的流程示意图,基于上述图2所示的一实施例,提出本发明告警信号的分析方法的再一实施例,所述步骤S20之前,所述方法还包括:
步骤S201,获取所述待分析时序告警信息集合中各个待分析时序告警信息的连续度,根据所述连续度对所述待分析时序告警信息进行分割,得到分割后的待分析时序告警信息。
需要说明的是,无论是格兰杰Granger因果分析模型还是传递熵算法的时间复杂度较高,直接使用会耗费大量的计算资源,同时考虑到告警信号在完整的时间区间内分布极为稀疏,在大量无告警信号的时间区间内进行因果分析运算毫无意义并且很可能会造成伪因果性判定,因此,通过告警风暴检测得到告警风暴信息,仅仅分析告警风暴发生的时间段内的告警信号时序数据,一方面极大地降低了***的时间复杂度,另一方面也避免了长时序分析中可能带来的伪因果性。
在具体实现中,切割算法是基于告警信号的不连续度,不连续度是定义为当前告警信号样本点首个后继告警信号的距离,当不连续度高于一定的设定阈值时,认为故障事件结束,其中,所述当前告警信号样本点为离散数据中的一个采集点。
步骤S202,统计分割后的待分析时序告警信息的告警数量信息以及持续时间信息。
在本实施例中,当前故障事件完成初步的切割后,还需要进行判定故障事件是否符合告警风暴的标准,告警风暴的标准,包括两个条件:告警信息的数量以及故障事件持续时间。
步骤S203,将所述告警数量信息与数量阈值进行比较,得到第一比较结果。
步骤S204,将所述持续时间信息与时间阈值进行比较,得到第二比较结果。
步骤S205,根据所述第一比较结果和第二比较结果确定所述分割后的待分析时序告警信息中的告警风暴时序信息集合。
针对上述条件,本实施例设定了对应的阈值,具体的阈值根据具体的业务类型有一定的调整空间,当故障事件的条件都满足告警风暴标准,***判断此故障事件为一个有效的告警风暴。
所述步骤S20,包括:
从所述告警风暴时序信息集合中选取若干个参考信息组。
进一步地,所述预设投票分析模型为格兰杰模型;所述步骤S30,包括:
对各个参考信息组中各个参考根源告警信息和对应的参考结果告警信息基于所述格兰杰模型建立二元线性自回归模型;根据所述二元线性自回归模型得到所述参考根源告警信息对应的原因时序项的系数信息;通过F检验或卡方检验判断所述系数信息是否为预设系数值;根据判断结果获得各个参考信息组的验证结果。
需要说明的是,告警信号时序经过告警风暴检测器后,得到告警风暴时间段划分信息。由此我们可以得到每一段告警风暴的完整告警信号时序数据,然后就可以针对每一个告警风暴进行内部所有告警信号之间的因果分析。可行的因果分析算法,为了获得一个更加健壮的分析结果,采用了集成投票算法,联合了多个因果分析算法,其中就包括Granger因果分析模型和传递熵。
在具体实现中,Granger因果分析模型是基于原因时序与结果时序之间的二元线性自回归模型,通过F检验或卡方检验等检验方案,来检验向量自回归模型中原因时序项的系数是否全为0来确认原因时序与结果时序之间因果性强度,如果系数为0则表示假设的参考根源告警信息和参考结果告警信息不存在因果关系,如果系数不为0则表示假设的参考根源告警信息和参考结果告警信息因果关系成立。
进一步地,所述预设投票分析模型为传递熵模型;所述步骤S30,包括:
根据各个参考信息组中各个参考根源告警信息和对应的参考结果告警信息获取所述参考根源告警信息对应的原因概率分布函数、参考结果告警信息对应的结果概率分布函数以及联合分布函数;根据所述原因概率分布函数、结果概率分布函数以及联合分布函数得到所述参考根源告警信息对于参考结果告警信息的第一传递熵;获取参考变量信息,将所述参考变量信息引入所述参考根源告警信息和参考结果告警信息,得到引入后的参考根源告警信息和参考结果告警信息;根据引入后的参考根源告警信息和参考结果告警信息得到第二传递熵;比较所述第一传递熵与所述第二传递熵,根据比较结果获得各个参考信息组的验证结果。
在具体实现中,通过传递熵是考察条件概率分布带来的探测到时间序列间的不对称性,定义了考虑与不考虑原因时序的两种情况之下条件熵的差异。实际的含义就是考察了在引入原因时序后,结果时序的信息的确定性的提高度,从而实现告警信号的根因分析。
本实施例提供的方案,通过所述预设投票分析模型进行因果关系验证,其中,所述预设投票分析模型包括格兰杰模型以及传递熵模型等,从而提高告警信号的根因分析的准确性。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有告警信号的分析程序,所述告警信号的分析程序被处理器执行时实现如上文所述的终端入网方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案,因此至少具有上述实施例的技术方案所带来的所有有益效果,在此不再一一赘述。
此外,参照图8,本发明实施例还提出一种告警信号的分析装置,所述告警信号的分析装置包括:
获取模块10,用于获取待分析时序告警信息集合。
选取模块20,用于从所述待分析时序告警信息集合中选取若干个参考信息组,各个参考信息组中分别包括参考根源告警信息和对应的参考结果告警信息,其中,所述参考结果告警信息在时间上滞后于对应的参考根源告警信息。
在本实施例中,所述参考根源告警信息表示为原因告警信息,对应的参考结果告警信息表示为结果告警信息,即所述待分析时序告警信息中的参考根源告警信息和参考结果告警信息为预先假设的原因告警时序和结果告警时序,并将所述参考结果告警信息的时序滞后所述参考根源告警信息预设时长,其中,所述滞后为参考结果告警信息的时序晚于所述参考根源告警信息,从而使结果告警时序滞后于原因告警时序,保证根因分析的准确性。
在具体实现中,根据具体的业务情况设置合理的时间迟滞,然后计算不同告警信号时序之间的因果性,确保结果时序对比于原因时序会滞后一定时长,确保时间先后次序性,从而解决了现有技术方案没有考虑变量之间的时间先后次序的问题。
验证模块30,用于对各个参考信息组分别采用预设投票分析模型进行验证,获得各个参考信息组的验证结果。
在本实施例中,所述预设投票分析模型为集成投票分析模型,所述集成投票分析模型集成格兰杰模型以及传递熵模型,还可集成其他可实现因果分析的模型,本实施例对此不作限制,在本实施例中,以集成格兰杰模型以及传递熵模型为例进行说明。
所述获取模块10,还用于将所述验证结果为验证通过的参考信息组中的参考根源告警信息作为实际根源告警信息。
在具体实现中,首先通过格兰杰模型以及传递熵模型进行根因验证,判断之前假设的参考根源告警信息和参考结果告警信息之间的关联关系是否正确,分别根据格兰杰模型以及传递熵模型的验证结果采用投票的方式进行最终确定,从而通过多种模型验证的方式保证假设的准确性。
需要说明的是,所述预设投票分析模型的最终结果可以采用少数服从多数的方式进行确认,还可通过其他的方式进行最终确认,本实施例对此不作限制。
如图3所示的告警时序根因分析***示意图,所述告警时序根因分析***包括数据读取模块、数据预处理模块、告警风暴分析模块以及因果分析模块,其中,所述数据读取模块通过数据读取控制器进行CSV数据读取、数据库数据读取、Excel数据读取,数据预处理模块进行密度去噪、持续时间去噪、K近邻去噪以及高斯滤波去噪,所述告警风暴分析模块进行事件切割以及告警风暴判断,如果为告警风暴时,则通过因果分析模块中的因果分子投票器进行格兰杰分析或者传递熵分析,最后得到因果关联规则。
本实施例通过上述方案,通过获取待分析时序告警信息集合;从所述待分析时序告警信息集合中选取若干个参考信息组,各个参考信息组中分别包括参考根源告警信息和对应的参考结果告警信息,其中,所述参考结果告警信息在时间上滞后于对应的参考根源告警信息;对各个参考信息组分别采用预设投票分析模型进行验证,获得各个参考信息组的验证结果;将所述验证结果为验证通过的参考信息组中的参考根源告警信息作为实际根源告警信息,从而通过预先假设出参考根源告警信息和参考结果告警信息,然后通过预设投票分析模型对假设的参考根源告警信息和参考结果告警信息进行验证,准确定位出待分析告警信息中的目标根源告警信息,从而实现对告警信息的根因分析。
本发明所述告警信号的分析装置采用了上述所有实施例的全部技术方案,因此至少具有上述实施例的技术方案所带来的所有有益效果,在此不再一一赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序,可将这些词语解释为名称。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器、RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (13)

1.一种告警信号的分析方法,其特征在于,所述告警信号的分析方法包括以下步骤:
获取待分析时序告警信息集合;
从所述待分析时序告警信息集合中选取若干个参考信息组,各个参考信息组中分别包括参考根源告警信息和对应的参考结果告警信息,其中,所述参考结果告警信息在时间上滞后于对应的参考根源告警信息;
对各个参考信息组分别采用预设投票分析模型进行验证,获得各个参考信息组的验证结果;
将所述验证结果为验证通过的参考信息组中的参考根源告警信息作为实际根源告警信息。
2.如权利要求1所述的告警信号的分析方法,其特征在于,所述从所述待分析时序告警信息集合中选取若干个参考信息组之前,所述方法还包括:
获取所述待分析时序告警信息集合中各个待分析时序告警信息的连续度,根据所述连续度对所述待分析时序告警信息进行分割,得到分割后的待分析时序告警信息;
统计分割后的待分析时序告警信息的告警数量信息以及持续时间信息;
将所述告警数量信息与数量阈值进行比较,得到第一比较结果;
将所述持续时间信息与时间阈值进行比较,得到第二比较结果;
根据所述第一比较结果和第二比较结果确定所述分割后的待分析时序告警信息中的告警风暴时序信息集合;
所述从所述待分析时序告警信息集合中选取若干个参考信息组,包括:
从所述告警风暴时序信息集合中选取若干个参考信息组。
3.如权利要求1所述的告警信号的分析方法,其特征在于,所述预设投票分析模型为格兰杰模型;
所述对各个参考信息组分别采用预设投票分析模型进行验证,获得各个参考信息组的验证结果,包括:
对各个参考信息组中各个参考根源告警信息和对应的参考结果告警信息基于所述格兰杰模型建立二元线性自回归模型;
根据所述二元线性自回归模型得到所述参考根源告警信息对应的原因时序项的系数信息;
判断所述系数信息是否为预设系数值;
根据判断结果获得各个参考信息组的验证结果。
4.如权利要求1所述的告警信号的分析方法,其特征在于,所述预设投票分析模型为传递熵模型;
所述对各个参考信息组分别采用预设投票分析模型进行验证,获得各个参考信息组的验证结果,包括:
根据各个参考信息组中各个参考根源告警信息和对应的参考结果告警信息获取所述参考根源告警信息对应的原因概率分布函数、参考结果告警信息对应的结果概率分布函数以及联合分布函数;
根据所述原因概率分布函数、结果概率分布函数以及联合分布函数得到所述参考根源告警信息对于参考结果告警信息的第一传递熵;
获取参考变量信息,将所述参考变量信息引入所述参考根源告警信息和参考结果告警信息,得到引入后的参考根源告警信息和参考结果告警信息;
根据引入后的参考根源告警信息和参考结果告警信息得到第二传递熵;
比较所述第一传递熵与所述第二传递熵,根据比较结果获得各个参考信息组的验证结果。
5.如权利要求1至4中任一项所述的告警信号的分析方法,其特征在于,所述获取待分析时序告警信息集合,包括:
获取参考时序告警信息;
对所述参考时序告警信息进行去噪处理后,得到去噪后的参考时序告警信息;
将所述去噪后的参考时序告警信息添加至待分析时序告警信息集合。
6.如权利要求5所述的告警信号的分析方法,其特征在于,所述对所述参考时序告警信息进行去噪处理后,得到去噪后的参考时序告警信息,包括:
遍历所述参考时序告警信息中的第一样本信息,统计所述第一样本信息中的告警数量信息以及告警区间长度信息;
根据所述告警数量信息以及告警区间长度信息得到告警密度信息;
获取密度阈值信息,将所述告警密度信息与所述密度阈值信息进行比较;
根据比较结果对所述参考时序告警信息进行筛选,得到去噪后的参考时序告警信息。
7.如权利要求5所述的告警信号的分析方法,其特征在于,所述对所述参考时序告警信息进行去噪处理后,得到去噪后的参考时序告警信息,包括:
遍历所述参考时序告警信息中的第二样本信息,判断所述第二样本信息中间隔预设时间长度的统计区间内的是否存有告警信息;
根据判断结果对所述参考时序告警信息进行筛选,得到去噪后的参考时序告警信息。
8.如权利要求5所述的告警信号的分析方法,其特征在于,所述对所述参考时序告警信息进行去噪处理后,得到去噪后的参考时序告警信息,包括:
遍历所述参考时序告警信息中的第三样本信息,采用K近邻替换算法得到第三样本信息各个告警信息之间的K近邻;
根据所述K近邻对所述参考时序告警信息进行筛选,得到去噪后的参考时序告警信息。
9.如权利要求5所述的告警信号的分析方法,其特征在于,所述对所述参考时序告警信息进行去噪处理后,得到去噪后的参考时序告警信息,包括:
将所述参考时序告警信息转化为一维时序告警信息,对一维时序告警信息采用高斯滤波进行平滑处理,得到第四时序告警信息;
对所述第四时序告警信息进行二值化处理,得到去噪后的参考时序告警信息。
10.如权利要求5所述的告警信号的分析方法,其特征在于,所述获取参考时序告警信息之前,所述方法还包括:
通过预设接口得到初始告警信息;
将所述初始告警信息通过接口编码信息以及时间戳信息进行加载,得到二维告警矩阵信息;
将所述二维告警矩阵信息作为参考时序告警信息。
11.一种告警信号的分析设备,其特征在于,所述告警信号的分析设备包括:存储器、处理器及存储在所述存储器上并在所述处理器上运行告警信号的分析程序,所述告警信号的分析程序被所述处理器执行时实现如权利要求1至10中任一项所述的告警信号的分析方法的步骤。
12.一种存储介质,其特征在于,所述存储介质上存储有告警信号的分析程序,所述告警信号的分析程序被处理器执行时实现如权利要求1至10中任一项所述的告警信号的分析方法的步骤。
13.一种告警信号的分析装置,其特征在于,所述告警信号的分析装置包括:
获取模块,用于获取待分析时序告警信息集合;
选取模块,用于从所述待分析时序告警信息集合中选取若干个参考信息组,各个参考信息组中分别包括参考根源告警信息和对应的参考结果告警信息,其中,所述参考结果告警信息在时间上滞后于对应的参考根源告警信息;
验证模块,用于对各个参考信息组分别采用预设投票分析模型进行验证,获得各个参考信息组的验证结果;
所述获取模块,还用于将所述验证结果为验证通过的参考信息组中的参考根源告警信息作为实际根源告警信息。
CN201911387407.3A 2019-12-27 2019-12-27 告警信号的分析方法、设备、存储介质及装置 Pending CN113051307A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911387407.3A CN113051307A (zh) 2019-12-27 2019-12-27 告警信号的分析方法、设备、存储介质及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911387407.3A CN113051307A (zh) 2019-12-27 2019-12-27 告警信号的分析方法、设备、存储介质及装置

Publications (1)

Publication Number Publication Date
CN113051307A true CN113051307A (zh) 2021-06-29

Family

ID=76507648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911387407.3A Pending CN113051307A (zh) 2019-12-27 2019-12-27 告警信号的分析方法、设备、存储介质及装置

Country Status (1)

Country Link
CN (1) CN113051307A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115460098A (zh) * 2022-09-15 2022-12-09 中国人民解放军军事科学院***工程研究院 基于时间间隔分布特征的网络管理***故障模型建立方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301119A (zh) * 2017-06-28 2017-10-27 北京优特捷信息技术有限公司 利用时序相关性进行it故障根因分析的方法及装置
CN107633307A (zh) * 2017-09-08 2018-01-26 国家计算机网络与信息安全管理中心 供配电***根源告警检测方法、装置、终端及计算机存储介质
CN110457184A (zh) * 2018-05-07 2019-11-15 中国石油化工股份有限公司 基于时序波动关联的化工异常因果分析与图形展示方法
CN110462536A (zh) * 2017-03-23 2019-11-15 Asml荷兰有限公司 对诸如光刻***的***进行建模或执行***的预测性维护的方法和相关联的光刻***
CN110502590A (zh) * 2019-08-27 2019-11-26 紫荆智维智能科技研究院(重庆)有限公司 基于格兰杰因果关系校验构建工业装备故障关系的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110462536A (zh) * 2017-03-23 2019-11-15 Asml荷兰有限公司 对诸如光刻***的***进行建模或执行***的预测性维护的方法和相关联的光刻***
CN107301119A (zh) * 2017-06-28 2017-10-27 北京优特捷信息技术有限公司 利用时序相关性进行it故障根因分析的方法及装置
CN107633307A (zh) * 2017-09-08 2018-01-26 国家计算机网络与信息安全管理中心 供配电***根源告警检测方法、装置、终端及计算机存储介质
CN110457184A (zh) * 2018-05-07 2019-11-15 中国石油化工股份有限公司 基于时序波动关联的化工异常因果分析与图形展示方法
CN110502590A (zh) * 2019-08-27 2019-11-26 紫荆智维智能科技研究院(重庆)有限公司 基于格兰杰因果关系校验构建工业装备故障关系的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李鉴增: "《宽带网络技术》", 北京:中国广播电视出版社, pages: 285 - 286 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115460098A (zh) * 2022-09-15 2022-12-09 中国人民解放军军事科学院***工程研究院 基于时间间隔分布特征的网络管理***故障模型建立方法
CN115460098B (zh) * 2022-09-15 2023-04-07 中国人民解放军军事科学院***工程研究院 基于时间间隔分布特征的网络管理***故障模型建立方法

Similar Documents

Publication Publication Date Title
CN110839016B (zh) 异常流量监测方法、装置、设备及存储介质
CN111178760B (zh) 风险监测方法、装置、终端设备及计算机可读存储介质
CN111177505A (zh) 指标异常检测模型的训练方法、推荐的方法及装置
CN110457175B (zh) 业务数据处理方法、装置、电子设备及介质
CN113037595B (zh) 异常设备检测方法、装置、电子设备及存储介质
CN111796957A (zh) 基于应用日志的交易异常根因分析方法及***
CN111064719B (zh) 文件异常下载行为的检测方法及装置
CN116074215B (zh) 网络质量检测方法、装置、设备及存储介质
CN112612680A (zh) 一种消息告警方法、***、计算机设备及存储介质
CN114429256A (zh) 数据监测方法、装置、电子设备及存储介质
CN114880312A (zh) 一种可柔性设置的应用***业务数据稽核方法
CN113051307A (zh) 告警信号的分析方法、设备、存储介质及装置
CN111371581A (zh) 物联网卡业务异常检测的方法、装置、设备和介质
CN115658443B (zh) 一种日志过滤方法及装置
KR101984257B1 (ko) 클라우드기반 빅데이터분석시스템 및 방법
CN116108376A (zh) 一种反窃电的监测***、方法、电子设备及介质
CN114629776B (zh) 基于图模型的故障分析方法及装置
CN114860543A (zh) 异常检测方法、装置、设备与计算机可读存储介质
CN111798237A (zh) 基于应用日志的异常交易诊断方法及***
CN112203053A (zh) 地铁施工人员行为智能监管方法及其***
CN111985651A (zh) 业务***运维方法和装置
CN116886424B (zh) 基于计算机大数据的数字化传输安全分析***及方法
CN112926872B (zh) 一种iso体系的***管理方法
CN117216170A (zh) 资产识别方法、装置、电子设备及存储介质
US11829122B2 (en) Industrial network behavior analysis method, apparatus and system, and computer-readable medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210629