CN114168409A

CN114168409A - 一种业务运行状态监控预警方法与

Info

Publication number: CN114168409A
Application number: CN202111424577.1A
Authority: CN
Inventors: 魏章; 李斌山; 韩丹; 赵磊
Original assignee: Beijing Mengpa Xinchuang Technology Co ltd; Shanghai Mengpa Information Technology Co ltd
Current assignee: Beijing Mengpa Xinchuang Technology Co ltd; Shanghai Mengpa Information Technology Co ltd
Priority date: 2021-11-26
Filing date: 2021-11-26
Publication date: 2022-03-11

Abstract

本发明公开了一种业务***运行状态监控预警方法与***，其中方法包括：采集待检测的业务***的运行状态的工况信息，并存储为第一运行状态数据集；对第一运行状态数据集进行质量探索和特征分析，得到第二运行状态数据集；对第二运行状态数据集进行预处理，得到第三运行状态数据集；对第三运行状态数据集进行相似性度量，获取运行状态数据的相似性距离；对第三运行状态数据集进行模式挖掘处理，得到数据关联规则；基于相似性距离以及数据关联规则，生成第一组合模型；基于第一组合模型预测数据变化趋势，进行实时监控预警。本发明可以实时直观反映数据中心的各业务运行指标，保证***可用性，预防突发事件发生，提高***运行效率安全运行。

Description

一种业务***运行状态监控预警方法与***

技术领域

本发明涉及人工智能领域，尤其涉及一种业务***运行状态监控预警方法与***。

背景技术

数据中心作为内部储存和处理业务数据的中心场所，其动力、环境、安防、网络、设备等方面的安全运作都关系着全局***的运行。因此，数据中心安全监控作为运行的重要组成部分，对保障公司业务安全运行、提高日常工作运行效率等具有重要作用。

传统的数据中心维护工作主要靠机房工作人员值班看护，然而人工监控具有很大的局限性。首先，机房的数据中心维护对管理人员专业度要求高，且人工作业存在盲点，不能完全保证在设备出现故障的第一时间发现问题；其次，数据中心设备是全天候工作，不仅需要投入大量人力成本进行值守，且实现全天候人工监控较为困难；最后，传统的人工值守监控告警实时性差，响应效率低，不利于数据中心的高效率运维。一旦***或设备发生故障，造成的经济损失更是不可估量，因此，数据中心的实时智能监控管理显得尤为重要。

随着大数据、人工智能等技术的发展，打造具备高度智能化的“无人管理”数据中心将是数据中心环控***的新发展。

发明内容

针对上述现有技术中存在的缺陷，本发明提供一种业务***运行状态监控预警方法与***，可以实时直观的反映数据中心的各业务运行指标，保证***的可用性，预防突发事件发生，提高***运行效率安全运行。

第一方面，本发明提供一种业务***运行状态的监控预警方法，包括以下步骤：

步骤S101、采集待检测的业务***的运行状态的工况信息，并存储为第一运行状态数据集；

步骤S103、对所述第一运行状态数据集进行质量探索和特征分析，得到第二运行状态数据集；

步骤S105、对所述第二运行状态数据集进行预处理，得到第三运行状态数据集；

步骤S107、对所述第三运行状态数据集进行相似性度量，获取所述运行状态数据的相似性距离；

步骤S109、对所述第三运行状态数据集进行模式挖掘处理，得到数据关联规则；

步骤S111、基于所述相似性距离以及数据关联规则，生成第一组合模型；

步骤S113、基于所述第一组合模型预测数据变化趋势，进行实时监控预警。

其中，所述步骤S103中所述质量探索和特征分析至少包括数据缺失、异常值分析、数据的整体分布情况、统计量分析和相关性分析。

其中，所述步骤S105中所述预处理包括：数据清洗、数据标准化、数据归约和数据离散化。

其中，所述数据标准化包括：

其中，X_j为原始数据集中的数据对象的值，

为该数据对象标准化后的值，X_max为该数据对象中的最大值，X_min为该数据对象中的最小值。

其中，所述数据归约具体包括：

其中，

是数据对象经过数据归约之后的值，最终将原长度为n的原始数据集分段聚合转化为长度为N的数据集

其中，所述数据离散化包括：

其中，

是该数据对象经过数据离散化之后的值，最终根据其数据变化趋势，将时间序列的数据集转化为字符串集合{u,l,d}，其中t为数据的波动阈值。

其中，所述步骤S107具体包括：

根据所述第三运行状态数据集，并针对工况信息的不同指标数据，分别以小时、天、周、月为周期进行获取一个模板子序列，计算同一指标数据的当前时刻子序列和所述模板子序列之间的相似距离，预测未来时间内的数据变化。

其中，所述步骤S109具体包括：

步骤S1091、根据所述第三运行状态数据集，挖掘业务***运行每条指标数据的频繁模式；

步骤S1093、根据每条指标数据的频繁模式，挖掘业务***运行不同指标数据之间的频繁模式；

步骤S1095、根据所述不同指标数据之间的频繁模式生成所述第三运行状态数据集的关联规则。

其中，所述步骤S111具体包括：

基于相似性距离和关联规则的预测结果采取加权的方式生成所述第一组合模型。

第二方面，本发明还提供一种业务***运行状态监控预警***，包括：

数据采集模块，采集待检测的业务***的运行状态的工况信息，并存储为第一运行状态数据集；

数据探索模块，对第一运行状态数据集进行质量探索和特征分析，得到第二运行状态数据集；

数据预处理模块，对第二运行状态数据集进行预处理，得到第三运行状态数据集；

序列匹配模块，对第三运行状态数据集进行相似性度量，获取运行状态数据的相似性距离；

模式挖掘模块，对第三运行状态数据集进行模式挖掘处理，得到数据关联规则；

模型优化模块，基于相似性距离以及数据关联规则，生成第一组合模型；

监控预警模块，基于第一组合模型预测数据变化趋势，进行实时监控预警。

本发明提出一种基于人工智能的业务***运行状态监控预警方法及***，实现7*24小时不间断识别并预警异常状态，降低数据中心运行人员工作强度，在减少人力成本的同时也大大提升了故障查找的准确性、及时性，数据中心运营维护工作的稳定性和实时性，从而进一步提高公司内部***运行效率。

附图说明

通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：

图1是示出根据本发明实施例的一种业务***运行状态监控预警方法流程图；

图2是示出根据本发明实施例的预处理的示意图；

图3是示出根据本发明实施例的模式挖掘处理的流程图；

图4是示出根据本发明实施例的一种业务***运行状态监控预警***的示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者装置中还存在另外的相同要素。

下面结合附图详细说明本发明的可选实施例。

实施例一、

如图1所示，本发明公开了一种业务***运行状态监控预警方法，包括以下步骤：

步骤S103、对第一运行状态数据集进行质量探索和特征分析，得到第二运行状态数据集；

步骤S105、对第二运行状态数据集进行预处理，得到第三运行状态数据集；

步骤S107、对第三运行状态数据集进行相似性度量，获取运行状态数据的相似性距离；

步骤S109、对第三运行状态数据集进行模式挖掘处理，得到数据关联规则；

步骤S111、基于相似性距离以及数据关联规则，生成第一组合模型；

步骤S113、基于第一组合模型预测数据变化趋势，进行实时监控预警。

实施例二、

如图1所示，本发明提出了一种业务***运行状态监控预警方法，包括以下步骤：

步骤S101、采集待检测的业务***的运行状态的工况信息，并存储为第一运行状态数据集；其中，工况信息包括此业务***中各个机器的运行状态的各个监控指标数据信息，具体可包括CPU使用率、内存使用率、磁盘使用率、CPU空闲率、缓冲区使用量、文件***总使用率、磁盘IO等待时间、响应时间、网络平均每秒流出/流入总流量等等；

步骤S103、对第一运行状态数据集进行质量探索和特征分析，得到第二运行状态数据集；该步骤是针对收集到的业务***运行信息数据集合，进行数据探索，了解数据集的大体质量、大小、特征和样本数量、数据类型以及数据的概率分布等，以便于更好地了解其数据特征；

步骤S107、对第三运行状态数据集进行相似性度量，获取运行状态数据的相似性距离；该步骤通过对被监控***的单个监控指标内的相关信息进行序列匹配，在第三运行状态数据集上，针对不同的指标数据，从时间角度出发，分别以小时、天、周、月为周期进行获取一个模板的子序列，计算当前时刻子序列和该模板子序列之间的相似距离；

步骤S109、对第三运行状态数据集进行模式挖掘处理，得到数据关联规则；该步骤模式挖掘是从大量的设备运行数据中通过算法搜索隐藏于其中信息的过程；

本发明实施例为了便于理解步骤S103中的质量探索和特征分析，对其进行进一步描述。本实施例中的质量探索以检查数据的正确性和有效性为目标，其主要任务是检查原始数据中是否存在脏数据，脏数据一般是指不符合要求，以及不能直接进行相应分析的数据。

在实际应用场景中，本实施例的步骤S103中提及的质量探索和特征分析至少包括数据缺失、异常值分析、数据的整体分布情况、统计量分析和相关性分析。

为了进一步理解数据缺失、异常值分析、数据的整体分布情况、统计量分析和相关性分析，下面对其进行进一步描述。

数据缺失一般是指观测的缺失和观测中变量值的缺失。

异常值是指数据是否有录入错误以及含有不合理的数据，这些是通常是样本中的个别值，其数值明显偏离其余的观测值。在多数情况下，变量是不允许出现负值的，即出现的负值为异常值。

对于异常值分析来说，可以结合一定的业务背景知识，从变量的取值情况中发现异常，从而判断是否存在数据处理的错误。也可采用3-sigma原则(如果数据服从正态分布，在3σ原则下，异常值被定义为一组测定值中与平均值的偏差超过三倍标准差的值。)、IQR(异常值通常被定义为小于Q_L-l.5IQR或者大于Q_u+1.5IQR的值，Q_L称为下四分位数，Q_u称为上四分位数，IQR称为四分位数间距，是Q_u上四分位数和Q_L下四分位数之差，其间包括了全部观察值的一半。)等统计方法分析数据是否异常。

数据的整体分布情况可以通过绘图的方式，如直方图和频次图来观察数据分布的形态和分布趋势。

统计量分析是对数据进行描述性统计，可以对变量取值范围、偏离程度等数据情况进行分析。

最常用的统计量是最大值和最小值，用来判断这个变量的取值是否超出了合理的范围。还可以计算平均值、众数、分位数、标准差、方差等统计量。

相关性分析是用来分析两个连续变量之间线性相关程度的强弱，可以通过计算Pearson相关系数进行分析。公式如下：

式中，E()为期望，μ_X表示X的期望E(X)，μ_Y表示Y的期望E(Y)，两个连续变量(X,Y)的pearson相关性系数ρ_X,Y等于它们之间的协方差cov(X,Y)除以它们各自标准差的乘积(σ_X,σ_Y)。

实施例三、

在上述实施例的基础上，本实施例还可以包括以下内容：

如图2所示，步骤S105中对第二运行状态数据集进行的预处理可以包括：数据清洗、数据标准化、数据归约和数据离散化。

为了便于本领域技术人员可以更好的理解本实施例中的预处理过程，下面对其进行进一步描述。

本实施例的数据标准化可以包括：

其中X_j为原始数据集中的数据对象的值，

为该数据对象标准化后的值，X_max为该数据对象中的最大值，X_min为最小值。

对数据标准化后的数据采用数据归约处理，其具体可以包括：

其中

对数据归约后的数据进行数据离散化，其具体可以包括：

其中，

本实施例数据清洗采用填充缺失值、替代无效数据和去除数据中的噪声等方法，并且为了便于明确本实施例进行数据清洗与进行质量探索和特征分析的区别，对其区别进行进一步描述。本实施例的数据的质量探索和分析主要侧重于脏数据的发现，具体地，其主要任务是检查原始数据中是否存在脏数据，脏数据一般指的是不符合要求，以及不能直接进行相应分析的数据。而数据清洗则是对这些脏数据的修正或者丢弃。

实施例四、

在上述实施例的基础上，本实施例还可以包括以下内容：

本实施例对进行预处理得到的第三运行状态数据集进行相似性度量，具体地，步骤S107可以包括：

根据第三运行状态数据集，并针对工况信息的不同指标数据，分别以小时、天、周、月为周期进行获取一个模板子序列，计算同一指标数据的当前时刻子序列和该模板子序列之间的相似距离，预测未来时间内的数据变化。

为了便于理解本实施例步骤S107的内容，对于其中的部分内容进行详细说明。其中，本实施例业务***运行状态的指标数据包括业务***运行的CPU使用率、内存使用率、磁盘使用率、访问量等等。

本实施例在进行获取一个模板子序列时，是基于模板序列进行随机选择，选择一个以小时、天、周、月为周期的子序列，并把这个随机选取的序列作为模板子序列。

实施例五、

在上述实施例的基础上，本实施例还可以包括以下内容：

本实施例除了对第三运行状态数据集进行相似性度量外，还需要对第三运行状态数据集进行模式挖掘处理，具体地，如图3所示，本实施例的步骤S109可以包括：

步骤S1091、根据第三运行状态数据集，挖掘业务***运行每条指标数据的频繁模式；

步骤S1095、根据不同指标数据之间的频繁模式生成第三运行状态数据集的关联规则。

进行模式挖掘的算法主要包括Apriori、FP-Trees等，在本实施中，优选以Apriori算法进行模式挖掘。针对步骤S1091，其具体方法可以包括：

首先设置模式的最大长度为k，频繁模式的最小支持度阈值为min。

使用关联分析Apriori算法来对预处理过后的第三运行状态数据集进行频繁模式的挖掘，首先基于大小为1的序列频繁模式，即为字符串集合{u,l,d}中的符号u，l，d组成，通过两两连接得到长度为2的频繁模式，对离散化后的数据集进行一次完整的扫描，即可得到该频繁模式出现的次数，称为其支持度计数，并记录其该模式在数据集中出现的位置列表，其中位置列表包括模式出现的初始位置和结束位置，对频繁模式进行过滤操作，将大于最小支持度阈值min的频繁模式保留，得到长度为2的频繁模式集。将上述过程重复即可得到长度为3的频繁模式集，其模式出现的位置列表，长度为3的频繁模式集，…，长度为k的模式集，其模式出现的位置列表，长度为k的频繁模式集。

针对步骤S1093，本实施例利用Apriori关联分析算法对业务***运行不同指标数据之间进行模式挖掘。其具体方法可以包括：

首先设置模式的最大长度为k2，频繁模式的最小支持度阈值为min2，频繁模式的最大支持度阈值为max2。

随机选取业务***运行某一指标数据，序列内频繁模式1开始，将序列内频繁模式中与其他序列间的频繁模式两两连接，生成长度为2的序列间候选频繁模式；通过序列内候选频繁模式的位置列表生成长度为2的序列间候选频繁模式的位置列表，并判断该位置列表长度是否在最小支持度计数min2与最大支持度计数max2之间，如果是，则将长度为2的序列间候选频繁模式加入到序列间频繁模式集中；否则，删除长度为2的序列间候选频繁模式；以此类推，用两个长度为k2-1的频繁模式生成长度为k2的序列间候选频繁模式；通过序列内两个候选频繁模式的位置列表生成新的位置列表，并判断新的位置列表长度是否在最小支持度计数min2与最大支持度计数max2之间，如果是，则将长度为k2的序列间候选频繁模式加入到序列间频繁模式集中；否则，删除长度为k2的序列间候选频繁模式，直到序列间频繁模式集中的频繁模式长度达到设定的最大长度k2。

针对步骤S1095，其具体方法可以包括：

首先设置规则的最小置信度阈值为min3，根据挖掘出的不同指标数据间的频繁模式生成业务***运行状态数据集的关联规则，并根据设定的最小置信度阈值min3对生成的关联规则进行筛选，得到最终的关联规则。

实施例六、

在上述实施例的基础上，本实施例还可以包括以下内容：

本实施例步骤S111中基于相似性距离以及数据关联规则，生成第一组合模型具体可以包括：

基于相似性距离和关联规则的预测结果采取加权的方式生成第一组合模型；

根据实验结果，对第一组合模型进行调整参数和优化，调整相似性距离和数据关联规则输出结果的权重，优化第一组合模型。

本实施例在得到优化的第一组合模型后，采用步骤S113进行实时监控预警，其具体可以包括：

通过模板子序列和当前时间序列之间的相似距离来计算，以真实序列数据为实验数据，预测未来设定时间数据的变化趋势，若变化趋势超一定阈值，则判断其发生异常。

根据挖掘到的数据之间的关联规则，能够根据某一数据得到另一数据的变化规律，当真实的数据趋势和预测的数据变化规律不相符时，判断其发生异常。

将单序列和数据序列间的结果进行组合，综合判断其异常可能性，从而进行监控预警。

本实施例还可以通过在数据分析处理后，将业务***运行状态数据的各项指标数据展示在一张图上，进行全方位的动态监控，便于管理人员掌握数据中心设备运行状况。

实施例七、

如图4所示，本发明实施例还提出了一种业务***运行状态监控预警***，其包括：

实施例八、

本公开实施例提供了一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行如上实施例的方法步骤。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(AN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。

以上介绍了本发明的较佳实施方式，旨在使得本发明的精神更加清楚和便于理解，并不是为了限制本发明，凡在本发明的精神和原则之内，所做的修改、替换、改进，均应包含在本发明所附的权利要求概括的保护范围之内。