CN113360359A - 指标异常数据溯源方法、装置、设备及存储介质 - Google Patents
指标异常数据溯源方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113360359A CN113360359A CN202110734770.9A CN202110734770A CN113360359A CN 113360359 A CN113360359 A CN 113360359A CN 202110734770 A CN202110734770 A CN 202110734770A CN 113360359 A CN113360359 A CN 113360359A
- Authority
- CN
- China
- Prior art keywords
- abnormal
- data
- indexes
- index
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Hardware Design (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本公开提供一种指标异常数据溯源方法、装置、设备及存储介质,涉及数据处理技术领域。该方法包括:获取多项指标中每两项指标之间的关联关系,多项指标包括指标数据发生异常的目标项指标;获取多项指标中发生异常的两项指标之间的异常发生时序关系,异常发生时序关系根据在指标采集周期内指标数据发生异常的概率获得;获取目标项指标的待溯源异常数据及其异常指示时间;根据待溯源异常数据的异常指示时间获得溯源终止时间;根据关联关系和异常发生时序关系在溯源终止时间之前从多项指标中对待溯源异常数据进行溯源,获得异常根源数据。该方法提高了指标异常数据溯源的准确性。
Description
技术领域
本公开涉及数据处理技术领域,具体而言,涉及一种指标异常数据溯源方法、装置、设备及可读存储介质。
背景技术
随着网络信息技术的发展,网络硬件与软件规模不断扩大,要保证***工作的稳定性需要获取全面的监控信息,当监控指标出现异常时进行告警,以根据告警信息进行及时的运维处理。但相应地,众多告警信息会带来告警风暴的问题,给人工识别与处理带来极大干扰。由于告警之间经常存在告警关联与因果关系,因此找出告警信息中的根部原因并及时展示,对于提高告警的有效性,缩短告警的处理周期尤为重要。
相关技术中以告警时间的先后顺序作为故障发生的先后顺序,但在实际情况中,不同监控指标的采样间隔存在差异,而再综合时延因素可能会导致告警的先后顺序与故障发生的先后顺序相反,因此此种告警溯源方法的准确性较低。
如上所述,如何提高告警溯源的准确性成为亟待解决的问题。
在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解,因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种指标异常数据溯源方法、装置、设备及可读存储介质,至少在一定程度上克服由于相关技术以告警时间的先后顺序作为故障发生的先后顺序进行溯源准确性较低的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的一方面,提供一种指标异常数据溯源方法,包括:获取多项指标中每两项指标之间的关联关系,所述多项指标包括指标数据发生异常的目标项指标;获取所述多项指标中发生异常的两项指标之间的异常发生时序关系,所述异常发生时序关系根据在指标采集周期内指标数据发生异常的概率获得;获取所述目标项指标的待溯源异常数据及其异常指示时间;根据所述待溯源异常数据的异常指示时间获得溯源终止时间;根据所述关联关系和所述异常发生时序关系在所述溯源终止时间之前从所述多项指标中对所述待溯源异常数据进行溯源,获得异常根源数据。
根据本公开的一实施例,在指标数据发生异常的时间点之前的指标采集周期内指标数据发生异常的概率与时间的函数关系服从均匀分布。
根据本公开的一实施例,所述获取所述多项指标中发生异常的两项指标之间的异常发生时序关系包括:获取所述多项指标在各自的指标采集周期内的序列数据,所述序列数据包括异常数据;根据所述发生异常的两项指标各自的指标采集周期及其异常数据的异常指示时间获得积分区间;对所述发生异常的两项指标在所述积分区间对在指标采集周期内指标数据发生异常的概率进行积分,获得所述发生异常的两项指标之间的时序系数,以获得所述发生异常的两项指标之间的异常发生时序关系。
根据本公开的一实施例,所述获取多项指标中每两项指标之间的关联关系包括:获取所述多项指标在各自的指标采集周期内的序列数据;根据所述多项指标各自的指标采集周期获得统一采集周期;对所述多项指标的序列数据按照所述统一采集周期进行划分,以获得所述多项指标的标准化周期序列数据;对所述多项指标中每两项指标之间的标准化周期序列数据采用至少一种预设相关性分析方法,获得所述多项指标中每两项指标之间的关联系数,以获得所述关联关系,其中,所述预设相关性分析方法包括利用信息增益和信息增益率进行相关性分析的方法和卡方检验方法。
根据本公开的一实施例,所述对所述多项指标的序列数据按照所述统一采集周期进行划分,以获得所述多项指标的标准化周期序列数据包括:对于所述多项指标中的各项指标,分别对所述统一采集周期内的序列数据进行与运算,在所述统一采集周期内存在异常数据的情况下将所述统一采集周期内的数据置为1,在所述统一采集周期内不存在异常数据的情况下将所述统一采集周期内的数据置为0,获得监控数据段内的标准化周期序列数据,其中,所述监控数据段的长度为所述监控数据段内所述统一采集周期的个数。
根据本公开的一实施例,所述方法还包括:根据所述关联关系获得所述目标项指标的多个关联项指标;所述根据所述待溯源异常数据的异常指示时间获得溯源终止时间包括:获取所述多个关联项指标对应的多个指标采集周期;将所述待溯源异常数据的异常指示时间延时所述多个指标采集周期中最大的指标采集周期,获得所述溯源终止时间。
根据本公开的一实施例,所述根据所述关联关系和所述异常发生时序关系在所述溯源时间段内从所述多项指标中对所述待溯源异常数据进行溯源,获得异常根源数据包括:根据所述关联关系从所述多项指标中获得根源候选项指标,所述根源候选项指标包括异常指示时间在所述溯源终止时间之前的候选异常根源数据;根据所述异常发生时序关系判断所述候选异常根源数据是否为所述待溯源异常数据的异常根源数据。
根据本公开的再一方面,提供一种指标异常数据溯源装置,包括:关联关系获取模块,用于获取多项指标中每两项指标之间的关联关系,所述多项指标包括指标数据发生异常的目标项指标;顺序关系获取模块,用于获取所述多项指标中发生异常的两项指标之间的异常发生时序关系,所述异常发生时序关系根据在指标采集周期内指标数据发生异常的概率获得;异常数据获取模块,用于获取所述目标项指标的待溯源异常数据及其异常指示时间;溯源终止时间获得模块,用于根据所述待溯源异常数据的异常指示时间获得溯源终止时间;根源告警输出模块,用于根据所述关联关系和所述异常发生时序关系在所述溯源终止时间之前从所述多项指标中对所述待溯源异常数据进行溯源,获得异常根源数据。
根据本公开的一实施例,在指标数据发生异常的时间点之前的指标采集周期内指标数据发生异常的概率与时间的函数关系服从均匀分布。
根据本公开的一实施例,所述装置还包括:监控数据采集模块,用于获取所述多项指标在各自的指标采集周期内的序列数据,所述序列数据包括异常数据;所述顺序关系获取模块包括:积分区间获得模块,用于根据所述发生异常的两项指标各自的指标采集周期及其异常数据的异常指示时间获得积分区间;告警顺序分析模块,用于对所述发生异常的两项指标在所述积分区间对在指标采集周期内指标数据发生异常的概率进行积分,获得所述发生异常的两项指标之间的时序系数,以获得所述发生异常的两项指标之间的异常发生时序关系。
根据本公开的一实施例,所述关联关系获取模块包括:参数设置模块,用于根据所述多项指标各自的指标采集周期获得统一采集周期;数据窗口化模块,用于对所述多项指标的序列数据按照所述统一采集周期进行划分,以获得所述多项指标的标准化周期序列数据;相关系数分析模块,用于对所述多项指标中每两项指标之间的标准化周期序列数据采用至少一种预设相关性分析方法,获得所述多项指标中每两项指标之间的关联系数,以获得所述关联关系,其中,所述预设相关性分析方法包括利用信息增益和信息增益率进行相关性分析的方法和卡方检验方法。
根据本公开的一实施例,所述关联关系获取模块还包括:数据离散化模块,用于对于所述多项指标中的各项指标,分别对所述统一采集周期内的序列数据进行与运算,在所述统一采集周期内存在异常数据的情况下将所述统一采集周期内的数据置为1,在所述统一采集周期内不存在异常数据的情况下将所述统一采集周期内的数据置为0,获得监控数据段内的标准化周期序列数据,其中,所述监控数据段的长度为所述监控数据段内所述统一采集周期的个数。
根据本公开的一实施例,所述根源告警输出模块包括:关联项指标获得模块,用于根据所述关联关系获得所述目标项指标的多个关联项指标;所述溯源终止时间获得模块包括:指标采集周期获得模块,用于获取所述多个关联项指标对应的多个指标采集周期;周期延时模块,用于将所述待溯源异常数据的异常指示时间延时所述多个指标采集周期中最大的指标采集周期,获得所述溯源终止时间。
根据本公开的一实施例,所述根源告警输出模块还包括:根源候选项指标获得模块,用于根据所述关联关系从所述多项指标中获得根源候选项指标,所述根源候选项指标包括异常指示时间在所述溯源终止时间之前的候选异常根源数据;溯源判断模块,用于根据所述异常发生时序关系判断所述候选异常根源数据是否为所述待溯源异常数据的异常根源数据。
根据本公开的再一方面,提供一种设备,包括:存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令,所述处理器执行所述可执行指令时实现如上述任一种方法。
根据本公开的再一方面,提供一种计算机可读存储介质,其上存储有计算机可执行指令,所述可执行指令被处理器执行时实现如上述任一种方法。
本公开的实施例提供的指标异常数据溯源方法,获取多项指标中每两项指标之间的关联关系,再根据在指标采集周期内指标数据发生异常的概率获得多项指标中发生异常的两项指标之间的异常发生时序关系,根据待溯源异常数据的异常指示时间获得溯源终止时间,根据关联关系和异常发生时序关系在溯源终止时间之前从多项指标中对待溯源异常数据进行溯源,获得异常根源数据,从而可实现提高指标异常数据溯源的准确性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
通过参照附图详细描述其示例实施例,本公开的上述和其它目标、特征及优点将变得更加显而易见。
图1示出本公开实施例中一种***结构的示意图。
图2示出本公开实施例中一种指标异常数据溯源方法的流程图。
图3示出了图2中所示的步骤S202在一实施例中的处理过程示意图。
图4A示出了一种监控项指标数据点在坐标轴中的分布情况。
图4B示出了图4A经过二值化后的指标数据点在坐标轴中的分布情况。
图5A示出了两个监控项经过二值化后的指标数据点在坐标轴中的分布情况。
图5B示出了图5A经过周期标准化后的指标数据点在坐标轴中的分布情况。
图6是根据图3示出的一种关联系数的获得流程示意图。
图7示出了图2中所示的步骤S204在一实施例中的处理过程示意图。
图8示出了图2中所示的步骤S208在一实施例中的处理过程示意图。
图9是根据图2至图8示出的一种异常数据溯源流程示意图。
图10是根据图9示出的一种用于异常数据溯源的装置的框图。
图11示出本公开实施例中一种指标异常数据溯源装置的框图。
图12示出本公开实施例中另一种指标异常数据溯源装置的框图。
图13示出本公开实施例中一种电子设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而,示例实施例能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施例使得本公开将更加全面和完整,并将示例实施例的构思全面地传达给本领域的技术人员。附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本公开的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、装置、步骤等。在其它情况下,不详细示出或描述公知结构、方法、装置、实现或者操作以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。符号“/”一般表示前后关联对象是一种“或”的关系。
在本公开中,除非另有明确的规定和限定,“连接”等术语应做广义理解,例如,可以是电连接或可以互相通讯;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本公开中的具体含义。
如上所述,相关技术中以告警时间的先后顺序作为故障发生的先后顺序,但在实际情况中,不同监控指标采样间隔的差异综合时延因素可能会导致告警的先后顺序与故障发生的先后顺序相反。因此,本公开提供了一种指标异常数据溯源方法,根据在指标采集周期内指标数据发生异常的概率获得多项指标中发生异常的两项指标之间的异常发生时序关系,根据关联关系和异常发生时序关系在溯源终止时间之前从多项指标中对待溯源异常数据进行溯源,获得异常根源数据,从而可实现提高指标异常数据溯源的准确性。
图1示出了可以应用本公开的指标异常数据溯源方法或指标异常数据溯源装置的示例性***架构10。
如图1所示,***架构10可以包括终端设备102、网络104、服务器106和数据库108。终端设备102可以是具有显示屏并且支持输入、输出的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、可穿戴设备、虚拟现实设备、智能家居等等。网络104用以在终端设备102和服务器106之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。服务器106可以是提供各种服务的服务器或服务器集群等。数据库108可以为置于服务器上的大型数据库软件,也可以为安装在计算机上的小型数据库软件,用于存储数据。
用户可以使用终端设备102通过网络104与服务器106和数据库108交互,以接收或发送数据等。在服务器106也可通过网络104从数据库108接收数据或向数据库108发送数据等。例如用户在终端设备102上输入指标监控参数,通过网络104上传到服务器106上,服务器106通过网络104从数据库108获取监控指标的序列数据,然后根据指标监控参数对序列数据进行告警监控。又例如服务器106可为后台处理服务器,用于通过网络104从数据库108获取监控指标的序列数据,对监控指标的序列数据进行关联分析和时序分析等。
应该理解,图1中的终端设备、网络、服务器和数据库的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络、服务器和数据库。
图2是根据一示例性实施例示出的一种指标异常数据溯源方法的流程图。如图2所示的方法例如可以应用于上述***的服务器端,也可以应用于上述***的终端设备。
参考图2,本公开实施例提供的方法20可以包括以下步骤。
在步骤S202中,获取多项指标中每两项指标之间的关联关系,多项指标包括指标数据发生异常的目标项指标。
在一些实施例中,可以对多项指标进行监控,例如,在网络***中,某些组件发生异常时,与其相关联的组件可能会收到不同程度的影响,因此在某些组件的监控指标异常而发生告警后,与其相关联的组件也可能会发生告警。可以认为多项指标中每两项指标之间都存在关联关系,区别在于关联的程度不同。
在一些实施例中,可以将采样频率不同的指标按照统一采集周期进行划分,以衡量采样频率不同的指标之间的关联关系,具体实施方式可参照图3至图6。
在步骤S204中,获取多项指标中发生异常的两项指标之间的异常发生时序关系,异常发生时序关系根据在指标采集周期内指标数据发生异常的概率获得。
在一些实施例中,可根据在指标采集周期内指标数据发生异常的概率计算发生异常的两项指标之间的异常发生时序关系,即通过判断某告警发生时另一告警是否发生来判断异常发生的先后顺序,具体实施方式可参照图7。
在一些实施例中,在指标数据发生异常的时间点之前的指标采集周期内指标数据发生异常的概率与时间的函数关系服从均匀分布,即在发生异常前的采样周期内,异常发生概率均匀增加,利用该函数关系获得异常发生时序关系的具体实施方式可参照图7。
在步骤S206中,获取目标项指标的待溯源异常数据及其异常指示时间。
在一些实施例中,例如,目标项指标的待溯源异常数据的异常指示时间可以是采集到该指标的异常数据的时间。
在一些实施例中,例如,可根据实际应用情况,获得目标项指标的待溯源异常数据的异常指示时间为指标告警时间,可能会与采集到该异常数据的时间之间有短暂的延迟。
在步骤S208中,根据待溯源异常数据的异常指示时间获得溯源终止时间。
在一些实施例中,例如,指标数据的采样可能存在延后的情况,即可能一个监控项的关联告警已经发生,但关联告警的监控项的采样周期较长,数据尚未获取,可以延迟等待其所有相关监控项一个周期的时间为溯源终止时间,来确保均已完成最新一次采样,以进行更为准确的溯源。具体实施方式可参照图8。
在步骤S210中,根据关联关系和异常发生时序关系在溯源终止时间之前从多项指标中对待溯源异常数据进行溯源,获得异常根源数据。
在一些实施例中,确定溯源终止时间之后,对于待溯源异常数据可获取截至溯源终止时间之前的告警数据,在图3或图6获得的监控项之间的关联系数表(或关联系数矩阵)中获取关联系数值最高的监控项最近告警信息。然后查找图7所得的历史顺序系数表(或顺序系数矩阵),根据两监控项的顺序系数判定其是否为待溯源异常数据的前项告警,若是,则重复本步骤,继续寻找该告警信息的前项告警;若否,则可根据关联系数值高低顺序进行遍历溯源,直到找到根源告警信息。
在另一些实施例中,可以根据关联关系从多项指标中获得根源候选项指标,根源候选项指标包括异常指示时间在溯源终止时间之前的候选异常根源数据,根据异常发生时序关系判断候选异常根源数据是否为待溯源异常数据的异常根源数据。例如可先从关联系数表中选取关联系数值最高的多个监控项作为根源候选项指标,然后逐一进行历史顺序判断后重复本步骤进行溯源,最终输出带关联度高低排序的根源告警列表。
根据本公开实施例提供的指标异常数据溯源方法,获取多项指标中每两项指标之间的关联关系,再根据在指标采集周期内指标数据发生异常的概率获得多项指标中发生异常的两项指标之间的异常发生时序关系,根据待溯源异常数据的异常指示时间获得溯源终止时间,根据关联关系和异常发生时序关系在溯源终止时间之前从多项指标中对待溯源异常数据进行溯源,获得异常根源数据。通过完全基于监控采集的时序数据进行处理,不用引入复杂的网络拓扑关系图与专家经验,大大减小了进行监控溯源的工作量,从而快速定位告警根源,提高运维人员响应速度;通过历史数据的计算获得监控项之间的时序关系用于推断告警发生的先后顺序,有效解决采样间隔差异带来的数据告警顺序问题,从而可实现提高指标异常数据溯源的准确性。
图3示出了图2中所示的步骤S202在一实施例中的处理过程示意图。如图3所示,本公开实施例中,上述步骤S202可以进一步包括以下步骤。
步骤S302,获取多项指标在各自的指标采集周期内的序列数据。
在一些实施例中,可采集预设时间段内的多个监控项的原始指标数据后,对所有的连续型指标数据进行二值型离散化处理,获得在各自的指标采集周期内的序列数据。监控项的指标数据有连续型和离散型两种基本类型,布尔离散型的数据无法直接和连续型建立对应关系以进行特征提取与关联计算,可通过对连续性指标数据进行二值化处理,以使其可与离散型指标数据建立关联关系并进行关联计算。例如,获取某监控项原有的监控指标数据集合为{x1,x2,x3,x4...},在进行二值化处理时规则如下:若该监控项预设告警阈值Kmin,Kmax,则当Kmin<x<Kmax,x∈{x1,x2,x3,x4...}时,有x'=0,反之则有x'=1,x'为x的二值化处理结果,即可获得二值化序列数据{x'1,x'2,x'3,x'4...}。类似地,可获得多项指标在各自的指标采集周期内的二值化序列数据,若共有Z个监控项,则监控项1的二值化序列数据可表示为{x′1,1,x′1,2,x′1,3,x′1,4...},监控项2的二值化序列数据可表示为{x'2,1,x'2,2,x'2,3,x'2,4...},监控项3的二值化序列数据可表示为{x'3,1,x'3,2,x'3,3,x'3,4...}……监控项Z的二值化序列数据可表示为{x'Z,1,x'Z,2,x'Z,3,x'Z,4...}。
在一些实施例中,例如,图4A和图4B示出了二值型离散化处理前后的对比图。如图4A所示,图4A为一种监控项指标数据点在坐标轴中的分布情况,横轴为时间单位,纵轴为指标数值,其中包括A、B、……、I等9个数据点,可见这些数据点的指标数值为0-6之间连续型数值。如图4B所示,图4B为图4A经过二值化后的指标数据点在坐标轴中的分布情况,图4B的横轴和纵轴与图4A表示的含义相同,经过二值型转化后,A、B、……、I等9个数据点的值为0或1。
在另一些实施例中,在监控项未预设告警阈值的情况下,可利用四分位数进行告警阈值计算。例如,对于一个监控项的指标数据集合{x1,x2,x3,x4.}.,其中下四分位数为Q1,中位数为Q2,上四分位数为Q3,则该组数据序列的最小估计值为Q1-k(Q3-Q1),最大估计值Q1+k(Q3-Q1),此时告警阈值可设置为Kmin=Q1-k(Q3-Q1),Kmax=Q1+k(Q3-Q1),其中k值可根据实际情况确定,例如k可以取1.25、1.5或1.75等等,k值越大则告警阈值的上下限越大。计算得到告警阈值后,可采用上述实施例中的二值化处理方法,获得多项指标在各自的指标采集周期内的二值化序列数据。
在另一些实施例中,对于非二值型离散时间序列也可用上述实施方式得到相应的二值型离散时间序列数据。
步骤S304,根据多项指标各自的指标采集周期获得统一采集周期。
在一些实施例中,不同目标监控项的采样频率(及对应的采样周期)可能存在不一致的情况。例如,若共有Z个监控项,Z个监控项指标数据的采样间隔可以分别为T1,T2,T3...TZ,可设定统一采集周期T,取值为T=max(T1,T2,T3...Tz),即取多项指标最长的指标采集周期为统一采集周期。
在一些实施例中,例如,也可将最长的指标采集周期乘以预设倍数作为统一采集周期,例如2倍、3倍或4倍等等。
步骤S306,对多项指标的序列数据按照统一采集周期进行划分,以获得多项指标的标准化周期序列数据。
在一些实施例中,各监控项不同的采样周期会导致在相同时间区间内的不同监控项的采样时间戳不同,无法建立一一对应的关系。对于多项指标中的各项指标,可以分别对统一采集周期内的序列数据进行与运算,在统一采集周期内存在异常数据的情况下将统一采集周期内的数据置为1,在统一采集周期内不存在异常数据的情况下将统一采集周期内的数据置为0,获得监控数据段内的标准化周期序列数据,其中,监控数据段的长度为监控数据段内统一采集周期的个数。例如,以统一采集周期T为间隔,对各项指标的二值化序列数据进行重新划分,即对每个周期内的序列数据进行与运算,若该段时间内存在异常告警值,则该段时间内的数据置为1。以N个统一采样周期构成一个监控数据段,则该数据段的时长共为N*T,则在一个监控数据段内,原本不同采样频率的不同监控项信息均统一为采样周期为T的二值型离散序列数据Dm(其中的数据值为0或1),取J个监控数据段进行上述运算,则该监控项得到J个统一周期的监控序列数据J可以为大于或等于100的正整数。则对于Z个监控项,可以得到Z项标准化周期序列数据,每项为J个长度为N*T的二值型离散序列数据的集合,例如对于50个监控项,共可以能得到50项标准化周期序列数据,每项为J个长度为N*T的二值型离散序列数据的集合。
在一些实施例中,例如,图5A和图5B示出了周期标准化处理前后的对比图。如图5A所示,图5A为两个监控项经过二值化后的指标数据点在坐标轴中的分布情况,横轴为时间单位,纵轴为指标数值,包括A、B、C、D、E、F、G、H、I、L、M、N等12个数据点,其中,A、B、C、D、E、F、G、H、I对应的监控项的采集周期为1个时间单位,L、M、N对应的监控项的采集周期为3个时间单位。如图5B所示,图5B为图5A经过周期标准化后的指标数据点在坐标轴中的分布情况,图5B的横轴和纵轴与图5A表示的含义相同,经过周期标准后,A、D、G、L、M、N这6个数据点的采集周期都标准化为3个时间单位。
步骤S308,对多项指标中每两项指标之间的标准化周期序列数据采用至少一种预设相关性分析方法,获得多项指标中每两项指标之间的关联系数,以获得关联关系,其中,预设相关性分析方法包括利用信息增益和信息增益率进行相关性分析的方法和卡方检验方法。
在一些实施例中,标准化周期序列数据为二值型离散数据的形式,对于同一时间段内的不同监控项的序列数据之间,可采用数学上公知的相关性计算方法即可得到监控项之间的关联系数,包括但不限于利用信息增益和信息增益率进行相关度分析,利用皮尔曼卡方检验方法进行相关分析等。例如,对于同一时间间隔,得到每两项指标之间的关联系数,则对于1-Z个监控项,可分析计算得到每两个监控项之间的关联系数如下表:
表1
监控项1 | 监控项2 | 监控项Z | ||
监控项1 | L<sub>11</sub> | L<sub>12</sub> | …… | L<sub>1Z</sub> |
监控项2 | L<sub>21</sub> | L<sub>22</sub> | …… | L<sub>2Z</sub> |
…… | …… | …… | …… | …… |
监控项Z | L<sub>Z1</sub> | L<sub>Z2</sub> | …… | L<sub>ZZ</sub> |
可将表1中的关联系数用矩阵ML表示为:
类似地,对于每类监控项的J个监控数据段中的各个监控数据段,进行每两项指标之间的关联系数计算,则共得到J个关联系数矩阵其中,以此类推。可以将J个监控数据段的矩阵进行加法运算,得到最终的监控关联系数矩阵MR:
根据本公开实施例提供的关联关系获得方法,通过对监控指标的原始数据的进行二值离散化处理,解决了监控项数据类型不一致的问题,并引入统一采集周期,降低了不同监控项采样频率不同带来的结果偏差,有效解决采样间隔差异带来的数据关联处理问题。
图6是根据图3示出的一种关联系数的获得流程示意图。如图6所示,首先获取监控数据集合(S602),例如监控项有CPU使用率、网络信息、机器开关机信息等主要监控项50个,预设监控时间段为7天,则获取采集的预设7天内的所有50项监控项数据。然后对于获取的所有监控项的数据,逐一判断各个监控项的指标数据是否为二值型离散数据(S604),若是,则直接进行按照统一采集周期进行划分而获得标准化周期序列数据(S610);若不是,则先利用四分位数确定该监控项的告警阈值(S606),然后进行离散化处理(S608),再进入步骤S610。经过标准化周期转换后,利用皮尔曼卡方检验进行离散相关度分析,获得并记录每两个监控项之间的关联系数(S612),然后按照监控数据段将关联系数填在关联系数表中(如表1),并在新增采集数据时,根据上述流程对该关联系数表更新(S614)。
图7示出了图2中所示的步骤S204在一实施例中的处理过程示意图。如图7所示,本公开实施例中,上述步骤S204可以进一步包括以下步骤。
步骤S702,获取多项指标在各自的指标采集周期内的序列数据,序列数据包括异常数据。
步骤S704,根据发生异常的两项指标各自的指标采集周期及其异常数据的异常指示时间获得积分区间。
步骤S706,对发生异常的两项指标在积分区间对在指标采集周期内指标数据发生异常的概率进行积分,获得发生异常的两项指标之间的时序系数,以获得发生异常的两项指标之间的异常发生时序关系。时序系数指在一次两个监控项a、b之间的关联告警发生时,监控项a相对于监控项b的先发生的概率,即当时序系数取1时,监控项a的异常发生一定早于监控项b的异常发生,时序系数取-1时则相反。
在一些实施例中,可认为在出现告警前的采样周期内,故障发生概率均匀增加,则可将故障发生概率与时间的关联关系Pt表示为:
式中,t表示在告警出现的初次时间点之前,到上一个无故障告警的时间点之间(相隔为一个指标采集周期T1),t1表示告警出现的时间点,其中任取的一个时间点t其实际发生故障(还未采集到)的概率为Pt,Pt在告警出现的时间点为1,在告警出现的时间点前的一个正常采样点(上一个无故障告警的时间点)为0,其间认为其为均匀分布。越靠近此次告警指标采样点,则其可能已出现故障(还未采集到)的概率越高。
对于任意两个监控项a、b之间的一对(可能的)关联告警,其采样周期分别为Ta,Tb,该告警出现的初次时间分别记为ta,tb,将对应的参数代入式(3),对其进行积分,可将两个监控项a、b之间的时序系数Bab表示为:
假设每个监控项的指标数据都出现了异常告警(若非如此,将以下的Z替换为对应的出现异常告警的项数即可),则将每两个监控项进行初次告警进行时序系数计算,则对于1-Z个监控项,可分析计算得到每两个监控项之间的时序系数如下表:
表2
监控项1 | 监控项2 | 监控项Z | ||
监控项1 | B<sub>11</sub> | B<sub>12</sub> | …… | B<sub>1Z</sub> |
监控项2 | B<sub>21</sub> | B<sub>22</sub> | …… | B<sub>2Z</sub> |
…… | …… | …… | …… | …… |
监控项Z | B<sub>Z1</sub> | B<sub>Z2</sub> | …… | B<sub>ZZ</sub> |
可将表1中的时序系数用先后顺序系数矩阵MB表示为:
类似地,对于每类监控项的J个监控数据段,假设其中的各个监控数据段都出现了异常告警(若非如此,将以下的J替换为对应的出现异常告警的时间段数即可),对各个监控数据段进行每两项指标之间的时序系数计算,则共得到J个先后顺序系数矩阵其中,以此类推。可以将J个监控数据段的矩阵进行加法运算,得到最终的历史先后顺序系数矩阵MS:
根据本公开实施例提供的时序关系获得方法,通过提出时序系数的概念,在进行告警的先后顺序判断中考虑了采样频率差异因素,并通过记录历史顺序系数记录表的形式,充分利用历史监控信息数据,可以解决由于监控数据存在采样频率差别与告警延迟等原因,导致的由单次告警采集得到的时间先后顺序的可信任度较低的问题,降低单次采样误差带来的影响。
图8示出了图2中所示的步骤S208在一实施例中的处理过程示意图。如图8所示,本公开实施例中,上述步骤S208可以进一步包括以下步骤。
步骤S802,根据关联关系获得目标项指标的多个关联项指标。
步骤S804,获取多个关联项指标对应的多个指标采集周期。
步骤S806,将待溯源异常数据的异常指示时间延时多个指标采集周期中最大的指标采集周期,获得溯源终止时间。
在一些实施例中,在进行异常溯源时,可先根据预先根据实际情况设定的关联系数阈值,于图3所得的监控关联系数矩阵查询待溯源异常数据对应的监控项指标的相关监控项集合{A1,A2,A3...}。若待溯源异常数据的异常指示时间点为tn,各个相关监控项的指标采集周期分别为{Ta1,Ta2,Ta3...},则监控数据集可以取tn+max({Ta1,Ta2,Ta3...})为终止时间进行相关溯源。
根据本公开实施例提供的溯源终止时间获得方法,通过将待溯源异常数据的异常指示时间延迟关联项指标的采集周期中最大的指标采集周期,可将不同监控项的指标采集周期的差异考虑在内,提高了异常溯源的准确性。
图9是根据图2至图8示出的一种异常数据溯源流程示意图。如图9所示,采集预设时间段内的所有监控项信息,包括获取各个监控项的指标采集周期和初始采集数据(S902)。然后对所有监控项指标中的连续型初始数据,通过设定的异常阈值或误差参数,将其进行二值型离散化处理(S904)。接着比较各个监控项的指标采集周期,确定其中最大的周期为统一采集周期,进行统一采集周期的标准化处理,获得标准化周期序列数据(S906)。对于同一时间段内的不同监控项的二值化标准化周期序列数据之间,可采用数学上公知的相关性计算方法即可得到监控项之间的相关系数,可建立多个不同时间段的关联系数表,并在采集获得最新数据时更新该表(S908)。在进行关联计算的同时,可根据故障发生概率计算两个发生异常的监控项之间的时序系数(S903),可建立多个不同时间段的时序系数表,并在采集获得最新数据时更新该表(S905)。获得了关联系数表和时序系数表,可先关联系数表根据获取当前待溯源告警的所有关联监控项的最近告警信息,并根据各监控项的指标采集周期进行延时获取(S910);然后根据关联系数表与时序系数表获得当前待溯源告警的根源告警列表,并依据关联系数进行排序(S912),输出根据告警列表(S914)。在进行一次告警溯源后,可依据上述步骤S902-S908,结合本次告警数据更新各监控项的关联系数表与时序系数表,使告警关联表与告警时序表可以实时更新,能较好地应对监控种类与数据的变化。
图10是根据图9示出的一种用于异常数据溯源的装置的框图。如图10所示,该装置可以包括监控数据采集模块1002、数据离散化模块1004、数据窗口化模块1006、相关系数分析模块1008、参数设置模块1005、告警顺序分析模块10010、顺序系数表更新模块10012和根源告警输出模块10014。
参数设置模块1005可以用于设置告警阈值,相关表格大小,数据采集区间长度等。
监控数据采集模块1002可以用于读取并记录预设时间内的所有监控项的历史监控数据。
数据离散化模块1004可以用于通过预设阈值或自动化获取阈值的方法,将非布尔型监控数据进行离散化处理,转换成二值型离散序列。
数据窗口化模块1006可以用于针对告警频率差异问题,采取统一采集周期作为窗口进行数据划分,将数据进行统一采集周期标准化。
相关系数分析模块1008可以用于采用卡方检验等常用的离散数据相关性分析方法,进行关联系数的计算与记录。
告警顺序分析模块10010可以用于计算发生异常的监控项之间的时序系数。
顺序系数表更新模块10012可以用于建立和/或更新基于历史数据的告警时序系数表。
根源告警输出模块10014可以用于在指定当前待溯源告警信息后,通过告警关联系数表与时序系数表,迭代判定并输出当前待溯源告警信息的根源告警信息。
图11是根据一示例性实施例示出的一种指标异常数据溯源装置的框图。如图11所示的装置例如可以应用于上述***的服务器端,也可以应用于上述***的终端设备。
参考图11,本公开实施例提供的装置110可以包括关联关系获取模块1102、顺序关系获取模块1104、异常数据获取模块1106、溯源终止时间获得模块1108和根源告警输出模块1110。
关联关系获取模块1102可用于获取多项指标中每两项指标之间的关联关系,多项指标包括指标数据发生异常的目标项指标。
顺序关系获取模块1104可用于获取多项指标中发生异常的两项指标之间的异常发生时序关系,异常发生时序关系根据在指标采集周期内指标数据发生异常的概率获得。
异常数据获取模块1106可用于获取目标项指标的待溯源异常数据及其异常指示时间。
溯源终止时间获得模块1108可用于根据待溯源异常数据的异常指示时间获得溯源终止时间。
根源告警输出模块1110可用于根据关联关系和异常发生时序关系在溯源终止时间之前从多项指标中对待溯源异常数据进行溯源,获得异常根源数据。
图12是根据一示例性实施例示出的另一种指标异常数据溯源装置的框图。如图12所示的装置例如可以应用于上述***的服务器端,也可以应用于上述***的终端设备。
参考图12,本公开实施例提供的装置120可以包括监控数据采集模块1201、关联关系获取模块1202、顺序关系获取模块1204、异常数据获取模块1206、溯源终止时间获得模块1208和根源告警输出模块1210,其中,关联关系获取模块1202可以包括参数设置模块12022、数据窗口化模块12024、数据离散化模块12025和相关系数分析模块12026,顺序关系获取模块1204可以包括积分区间获得模块12042和告警顺序分析模块12044,溯源终止时间获得模块1208可以包括指标采集周期获得模块12082和周期延时模块12084,根源告警输出模块1210可以包括关联项指标获得模块12102、根源候选项指标获得模块12104和溯源判断模块12106。
监控数据采集模块1201可用于获取多项指标在各自的指标采集周期内的序列数据,序列数据包括异常数据。
关联关系获取模块1202可用于获取多项指标中每两项指标之间的关联关系,多项指标包括指标数据发生异常的目标项指标。
参数设置模块12022可用于根据多项指标各自的指标采集周期获得统一采集周期。
数据窗口化模块12024可用于对多项指标的序列数据按照统一采集周期进行划分,以获得多项指标的标准化周期序列数据。
数据离散化模块12025可用于对于多项指标中的各项指标,分别对统一采集周期内的序列数据进行与运算,在统一采集周期内存在异常数据的情况下将统一采集周期内的数据置为1,在统一采集周期内不存在异常数据的情况下将统一采集周期内的数据置为0,获得监控数据段内的标准化周期序列数据,其中,监控数据段的长度为监控数据段内统一采集周期的个数。
相关系数分析模块12026可用于对多项指标中每两项指标之间的标准化周期序列数据采用至少一种预设相关性分析方法,获得多项指标中每两项指标之间的关联系数,以获得关联关系,其中,预设相关性分析方法包括利用信息增益和信息增益率进行相关性分析的方法和卡方检验方法。
顺序关系获取模块1204可用于获取多项指标中发生异常的两项指标之间的异常发生时序关系,异常发生时序关系根据在指标采集周期内指标数据发生异常的概率获得。在指标数据发生异常的时间点之前的指标采集周期内指标数据发生异常的概率与时间的函数关系服从均匀分布。
积分区间获得模块12042可用于根据发生异常的两项指标各自的指标采集周期及其异常数据的异常指示时间获得积分区间。
告警顺序分析模块12044可用于对发生异常的两项指标在积分区间对在指标采集周期内指标数据发生异常的概率进行积分,获得发生异常的两项指标之间的时序系数,以获得发生异常的两项指标之间的异常发生时序关系。
异常数据获取模块1206可用于获取目标项指标的待溯源异常数据及其异常指示时间。
溯源终止时间获得模块1208可用于根据待溯源异常数据的异常指示时间获得溯源终止时间。
指标采集周期获得模块12082可用于获取多个关联项指标对应的多个指标采集周期。
周期延时模块12084可用于将待溯源异常数据的异常指示时间延时多个指标采集周期中最大的指标采集周期,获得溯源终止时间。
根源告警输出模块1210可用于根据关联关系和异常发生时序关系在溯源终止时间之前从多项指标中对待溯源异常数据进行溯源,获得异常根源数据。
关联项指标获得模块12102可用于根据关联关系获得目标项指标的多个关联项指标。
根源候选项指标获得模块12104可用于根据关联关系从多项指标中获得根源候选项指标,根源候选项指标包括异常指示时间在溯源终止时间之前的候选异常根源数据。
溯源判断模块12106可用于根据异常发生时序关系判断候选异常根源数据是否为待溯源异常数据的异常根源数据。
本公开实施例提供的装置中的各个模块的具体实现可以参照上述方法中的内容,此处不再赘述。
图13示出本公开实施例中一种电子设备的结构示意图。需要说明的是,图13示出的设备仅以计算机***为示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图13所示,设备1300包括中央处理单元(CPU)1301,其可以根据存储在只读存储器(ROM)1302中的程序或者从存储部分1308加载到随机访问存储器(RAM)1303中的程序而执行各种适当的动作和处理。在RAM 1303中,还存储有设备1300操作所需的各种程序和数据。CPU1301、ROM 1302以及RAM 1303通过总线1304彼此相连。输入/输出(I/O)接口1305也连接至总线1304。
以下部件连接至I/O接口1305:包括键盘、鼠标等的输入部分1306;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1307;包括硬盘等的存储部分1308;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1309。通信部分1309经由诸如因特网的网络执行通信处理。驱动器1310也根据需要连接至I/O接口1305。可拆卸介质1311,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1310上,以便于从其上读出的计算机程序根据需要被安装入存储部分1308。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1309从网络上被下载和安装,和/或从可拆卸介质1311被安装。在该计算机程序被中央处理单元(CPU)1301执行时,执行本公开的***中限定的上述功能。
需要说明的是,本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括关联关系获取模块、顺序关系获取模块、异常数据获取模块、溯源终止时间获得模块和根源告警输出模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,关联关系获取模块还可以被描述为“根据采集的序列数据获取监控项之间的关联关系的模块”。
作为另一方面,本公开还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:
获取多项指标中每两项指标之间的关联关系,多项指标包括指标数据发生异常的目标项指标;获取多项指标中发生异常的两项指标之间的异常发生时序关系,异常发生时序关系根据在指标采集周期内指标数据发生异常的概率获得;获取目标项指标的待溯源异常数据及其异常指示时间;根据待溯源异常数据的异常指示时间获得溯源终止时间;根据关联关系和异常发生时序关系在溯源终止时间之前从多项指标中对待溯源异常数据进行溯源,获得异常根源数据。
以上具体地示出和描述了本公开的示例性实施例。应可理解的是,本公开不限于这里描述的详细结构、设置方式或实现方法;相反,本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。
Claims (10)
1.一种指标异常数据溯源方法,其特征在于,包括:
获取多项指标中每两项指标之间的关联关系,所述多项指标包括指标数据发生异常的目标项指标;
获取所述多项指标中发生异常的两项指标之间的异常发生时序关系,所述异常发生时序关系根据在指标采集周期内指标数据发生异常的概率获得;
获取所述目标项指标的待溯源异常数据及其异常指示时间;
根据所述待溯源异常数据的异常指示时间获得溯源终止时间;
根据所述关联关系和所述异常发生时序关系在所述溯源终止时间之前从所述多项指标中对所述待溯源异常数据进行溯源,获得异常根源数据。
2.根据权利要求1所述的方法,其特征在于,在指标数据发生异常的时间点之前的指标采集周期内指标数据发生异常的概率与时间的函数关系服从均匀分布。
3.根据权利要求2所述的方法,其特征在于,所述获取所述多项指标中发生异常的两项指标之间的异常发生时序关系包括:
获取所述多项指标在各自的指标采集周期内的序列数据,所述序列数据包括异常数据;
根据所述发生异常的两项指标各自的指标采集周期及其异常数据的异常指示时间获得积分区间;
对所述发生异常的两项指标在所述积分区间对在指标采集周期内指标数据发生异常的概率进行积分,获得所述发生异常的两项指标之间的时序系数,以获得所述发生异常的两项指标之间的异常发生时序关系。
4.根据权利要求1所述的方法,其特征在于,所述获取多项指标中每两项指标之间的关联关系包括:
获取所述多项指标在各自的指标采集周期内的序列数据;
根据所述多项指标各自的指标采集周期获得统一采集周期;
对所述多项指标的序列数据按照所述统一采集周期进行划分,以获得所述多项指标的标准化周期序列数据;
对所述多项指标中每两项指标之间的标准化周期序列数据采用至少一种预设相关性分析方法,获得所述多项指标中每两项指标之间的关联系数,以获得所述关联关系,其中,所述预设相关性分析方法包括利用信息增益和信息增益率进行相关性分析的方法和卡方检验方法。
5.根据权利要求4所述的方法,其特征在于,所述对所述多项指标的序列数据按照所述统一采集周期进行划分,以获得所述多项指标的标准化周期序列数据包括:
对于所述多项指标中的各项指标,分别对所述统一采集周期内的序列数据进行与运算,在所述统一采集周期内存在异常数据的情况下将所述统一采集周期内的数据置为1,在所述统一采集周期内不存在异常数据的情况下将所述统一采集周期内的数据置为0,获得监控数据段内的标准化周期序列数据,其中,所述监控数据段的长度为所述监控数据段内所述统一采集周期的个数。
6.根据权利要求1所述的方法,其特征在于,还包括:
根据所述关联关系获得所述目标项指标的多个关联项指标;
所述根据所述待溯源异常数据的异常指示时间获得溯源终止时间包括:
获取所述多个关联项指标对应的多个指标采集周期;
将所述待溯源异常数据的异常指示时间延时所述多个指标采集周期中最大的指标采集周期,获得所述溯源终止时间。
7.根据权利要求1所述的方法,其特征在于,所述根据所述关联关系和所述异常发生时序关系在所述溯源时间段内从所述多项指标中对所述待溯源异常数据进行溯源,获得异常根源数据包括:
根据所述关联关系从所述多项指标中获得根源候选项指标,所述根源候选项指标包括异常指示时间在所述溯源终止时间之前的候选异常根源数据;
根据所述异常发生时序关系判断所述候选异常根源数据是否为所述待溯源异常数据的异常根源数据。
8.一种指标异常数据溯源装置,其特征在于,包括:
关联关系获取模块,用于获取多项指标中每两项指标之间的关联关系,所述多项指标包括指标数据发生异常的目标项指标;
顺序关系获取模块,用于获取所述多项指标中发生异常的两项指标之间的异常发生时序关系,所述异常发生时序关系根据在指标采集周期内指标数据发生异常的概率获得;
异常数据获取模块,用于获取所述目标项指标的待溯源异常数据及其异常指示时间;
溯源终止时间获得模块,用于根据所述待溯源异常数据的异常指示时间获得溯源终止时间;
根源告警输出模块,用于根据所述关联关系和所述异常发生时序关系在所述溯源终止时间之前从所述多项指标中对所述待溯源异常数据进行溯源,获得异常根源数据。
9.一种设备,包括:存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令,其特征在于,所述处理器执行所述可执行指令时实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机可执行指令,其特征在于,所述可执行指令被处理器执行时实现如权利要求1-7任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110734770.9A CN113360359B (zh) | 2021-06-30 | 2021-06-30 | 指标异常数据溯源方法、装置、设备及存储介质 |
PCT/CN2021/140197 WO2023273224A1 (zh) | 2021-06-30 | 2021-12-21 | 指标异常数据溯源方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110734770.9A CN113360359B (zh) | 2021-06-30 | 2021-06-30 | 指标异常数据溯源方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113360359A true CN113360359A (zh) | 2021-09-07 |
CN113360359B CN113360359B (zh) | 2023-04-21 |
Family
ID=77537332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110734770.9A Active CN113360359B (zh) | 2021-06-30 | 2021-06-30 | 指标异常数据溯源方法、装置、设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113360359B (zh) |
WO (1) | WO2023273224A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115174593A (zh) * | 2022-07-05 | 2022-10-11 | 佛山技研智联科技有限公司 | 前端定时轮询任务多组件联动触发方法、装置及相关介质 |
WO2023273224A1 (zh) * | 2021-06-30 | 2023-01-05 | 天翼云科技有限公司 | 指标异常数据溯源方法、装置、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006324009A (ja) * | 2006-09-08 | 2006-11-30 | Fujitsu Ltd | トラッキング制御方法及び記憶装置 |
CN109582543A (zh) * | 2017-09-28 | 2019-04-05 | 北京国双科技有限公司 | 数据回溯方法和装置 |
CN109634813A (zh) * | 2018-12-11 | 2019-04-16 | 平安科技(深圳)有限公司 | 电子装置、云平台异常确认方法及存储介质 |
CN111143101A (zh) * | 2019-12-12 | 2020-05-12 | 东软集团股份有限公司 | 用于确定故障根源的方法、装置、存储介质及电子设备 |
CN112130487A (zh) * | 2020-09-02 | 2020-12-25 | 珠海格力电器股份有限公司 | 一种设备故障的预警方法以及装置 |
CN112820066A (zh) * | 2020-12-31 | 2021-05-18 | 博锐尚格科技股份有限公司 | 基于对象的报警处理方法、装置、设备及存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11455203B2 (en) * | 2016-09-14 | 2022-09-27 | Nec Corporation | Abnormality detection support device, abnormality detection support method, and program |
CN107707376B (zh) * | 2017-06-09 | 2018-08-03 | 贵州白山云科技有限公司 | 一种监控和告警的方法和*** |
CN110019978A (zh) * | 2017-11-17 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 一种数据处理方法及装置 |
CN113052225A (zh) * | 2021-03-22 | 2021-06-29 | 中国工商银行股份有限公司 | 基于聚类算法和时序关联规则的报警收敛方法及装置 |
CN113360359B (zh) * | 2021-06-30 | 2023-04-21 | 天翼云科技有限公司 | 指标异常数据溯源方法、装置、设备及存储介质 |
-
2021
- 2021-06-30 CN CN202110734770.9A patent/CN113360359B/zh active Active
- 2021-12-21 WO PCT/CN2021/140197 patent/WO2023273224A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006324009A (ja) * | 2006-09-08 | 2006-11-30 | Fujitsu Ltd | トラッキング制御方法及び記憶装置 |
CN109582543A (zh) * | 2017-09-28 | 2019-04-05 | 北京国双科技有限公司 | 数据回溯方法和装置 |
CN109634813A (zh) * | 2018-12-11 | 2019-04-16 | 平安科技(深圳)有限公司 | 电子装置、云平台异常确认方法及存储介质 |
CN111143101A (zh) * | 2019-12-12 | 2020-05-12 | 东软集团股份有限公司 | 用于确定故障根源的方法、装置、存储介质及电子设备 |
CN112130487A (zh) * | 2020-09-02 | 2020-12-25 | 珠海格力电器股份有限公司 | 一种设备故障的预警方法以及装置 |
CN112820066A (zh) * | 2020-12-31 | 2021-05-18 | 博锐尚格科技股份有限公司 | 基于对象的报警处理方法、装置、设备及存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023273224A1 (zh) * | 2021-06-30 | 2023-01-05 | 天翼云科技有限公司 | 指标异常数据溯源方法、装置、设备及存储介质 |
CN115174593A (zh) * | 2022-07-05 | 2022-10-11 | 佛山技研智联科技有限公司 | 前端定时轮询任务多组件联动触发方法、装置及相关介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2023273224A1 (zh) | 2023-01-05 |
CN113360359B (zh) | 2023-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107766299B (zh) | 数据指标异常的监控方法及其***、存储介质、电子设备 | |
CN112436968B (zh) | 一种网络流量的监测方法、装置、设备及存储介质 | |
CN108228428B (zh) | 用于输出信息的方法和装置 | |
WO2023273224A1 (zh) | 指标异常数据溯源方法、装置、设备及存储介质 | |
CN106874135B (zh) | 用于检测机房故障的方法、装置及设备 | |
JPWO2020021587A1 (ja) | 時系列データ診断装置、追加学習方法およびプログラム | |
CN115033463B (zh) | 一种***异常类型确定方法、装置、设备和存储介质 | |
US20220035356A1 (en) | Equipment failure diagnosis support system and equipment failure diagnosis support method | |
CN115277261B (zh) | 基于工控网络病毒的异常机器智能识别方法、装置、设备 | |
CN110995524A (zh) | 流量数据监控方法、装置、电子设备和计算机可读介质 | |
CN113537642A (zh) | 产品品质预测方法、装置、电子设备及存储介质 | |
CN114049072B (zh) | 指标确定方法、装置、电子设备和计算机可读介质 | |
CN111932348B (zh) | 针对异常订单的报警方法、装置、电子设备和可读介质 | |
CN108536777B (zh) | 一种数据处理方法、服务器集群及数据处理装置 | |
CN115344495A (zh) | 批量任务测试的数据分析方法、装置、计算机设备及介质 | |
CN112132722B (zh) | 政务热线数量趋势异常确定方法、装置、电子设备及介质 | |
CN111275466B (zh) | 一种超期单量预警的方法和装置 | |
CN111176931A (zh) | 一种运营监控方法、装置、服务器及存储介质 | |
CN114564853B (zh) | 一种基于fmea数据的评价报告的生成方法及电子设备 | |
CN115858325B (zh) | 一种项目日志的调整方法、装置、设备和存储介质 | |
CN115577820A (zh) | 设备剩余寿命预测方法、装置、计算机设备及介质 | |
CN115496393A (zh) | 异常检测方法、装置、电子设备和计算机可读介质 | |
CN114692026A (zh) | 页面中用户行为数据的处理方法、装置 | |
CN115829160A (zh) | 一种时序异常预测方法、装置、设备及存储介质 | |
CN110704449A (zh) | 用于定位缺陷的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220207 Address after: 100007 room 205-32, floor 2, building 2, No. 1 and No. 3, qinglonghutong a, Dongcheng District, Beijing Applicant after: Tianyiyun Technology Co.,Ltd. Address before: No.31, Financial Street, Xicheng District, Beijing, 100033 Applicant before: CHINA TELECOM Corp.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |