CN111555895B - 一种分析网站故障的方法、装置、存储介质及计算机设备 - Google Patents

Abstract

本发明公开了一种分析网站故障的方法、装置、存储介质及计算机设备。所公开的方法包括：采用至少一种第一统计方法，针对日志数据中的数值字段和/或非数值字段进行第一次数值统计，获取第一数值统计序列；采用至少四种不同的第二统计方法，分别针对第一数值统计序列进行第二次数值统计，获取第二数值统计序列；剔除针对每一个第一数值统计序列的、第二数值统计序列中的、统计误差超过预定误差的第二数值统计序列，得到用于分析网站故障的、针对每一个第一数值统计序列的第三数值统计序列；基于针对至少一个第一数值统计序列的第三数值统计序列的统计结果的投票结果，确定可能导致网站故障的异常及异常时刻。所公开的方案能够自动监控网站异常。

Description

一种分析网站故障的方法、装置、存储介质及计算机设备

技术领域

本发明涉及计算机技术和网络技术领域，尤其涉及一种分析网站故障的方法、装置、存储介质及计算机设备。

背景技术

网站的***日志是用于分析、定位、解决网站故障的重要数据。现有技术在对网站故障进行处理时，通常都是通过运维工程师人工查看***日志来分析、定位、解决故障的。因此，现有技术方案具有以下缺点：

1、需要大量人工成本来筛查海量日志，故障的分析和处理完全依赖运维工程师的个人经验和对整个***架构的了解。

2、对于相同的故障也需要进行大量的重复劳动。

3、问题的人工排查、修复时间长，增加了网站服务故障的持续时间和成本。

因此，需要提出能够自动分析网站故障的技术方案。

发明内容

根据本发明的分析网站故障的方法，包括：

采用至少一种第一统计方法，针对日志数据中的数值字段和/或非数值字段进行第一次数值统计，获取第一数值统计序列；

采用至少四种不同的第二统计方法，分别针对第一数值统计序列进行第二次数值统计，获取第二数值统计序列；

剔除针对每一个第一数值统计序列的、第二数值统计序列中的、统计误差超过预定误差的第二数值统计序列，得到用于分析网站故障的、针对每一个第一数值统计序列的第三数值统计序列；

基于针对至少一个第一数值统计序列的第三数值统计序列的统计结果的投票结果，确定可能导致网站故障的异常及异常时刻。

根据本发明的分析网站故障的方法，还包括：

采用至少一种第三统计方法，针对各个第一数值统计序列进行第三次数值统计，得到第四数值统计序列；

采用至少一种第四统计方法，针对指定时间段内的异常时刻序列进行第四次数值统计，得到第五数值统计序列；

将第五数值统计序列的统计结果进行排序，将排序结果靠前的异常及异常时刻关联到指定时间段内的自定义事件，

其中，自定义事件包括下列中的至少一种：第一数值统计序列、第二数值统计序列的变化率、比率、上限、下限分别大于预定变化率阈值、比率阈值、上限阈值、下限阈值的事件，指定时间段是包含自定义事件的指定时间段。

根据本发明的分析网站故障的方法，还包括：

将同时包含异常及与该异常关联的自定义事件的情况确定为网站故障。

根据本发明的分析网站故障的方法，其第一统计方法包括：信息熵、单位时间内累加和平均数值、相邻数值的差值，其第二统计方法包括：指数平滑、多层感知、线性回归、分位数、标准差，其第三统计方法包括：正比、反比、关联度，其第四统计方法包括：绝对值正比、变化率正比、数据来源关联度反比、时间差反比，其日志数据包括：非安全产品日志数据和安全产品日志数据。

根据本发明的分析网站故障的装置，包括：

第一统计模块，用于采用至少一种第一统计方法，针对日志数据中的数值字段和/或非数值字段进行第一次数值统计，获取第一数值统计序列；

第二统计模块，用于采用至少四种不同的第二统计方法，分别针对第一数值统计序列进行第二次数值统计，获取第二数值统计序列；

选择模块，用于剔除针对每一个第一数值统计序列的、第二数值统计序列中的、统计误差超过预定误差的第二数值统计序列，得到用于分析网站故障的、针对每一个第一数值统计序列的第三数值统计序列；

异常检测模块，用于基于针对至少一个第一数值统计序列的第三数值统计序列的统计结果的投票结果，确定可能导致网站故障的异常及异常时刻。

根据本发明的分析网站故障的装置，还包括：

第三统计模块，用于采用至少一种第三统计方法，针对各个第一数值统计序列进行第三次数值统计，得到第四数值统计序列；

第四统计模块，用于采用至少一种第四统计方法，针对指定时间段内的异常时刻序列进行第四次数值统计，得到第五数值统计序列；

关联模块，用于将第五数值统计序列的统计结果进行排序，将排序结果靠前的异常及异常时刻关联到指定时间段内的自定义事件，

其中，自定义事件包括下列中的至少一种：第一数值统计序列、第二数值统计序列的变化率、比率、上限、下限分别大于预定变化率阈值、比率阈值、上限阈值、下限阈值的事件，指定时间段是包含自定义事件的指定时间段。

根据本发明的分析网站故障的装置，还包括：

故障确定模块，用于将同时包含异常及与该异常关联的自定义事件的情况确定为网站故障。

根据本发明的分析网站故障的装置，其第一统计方法包括：信息熵、单位时间内累加和平均数值、相邻数值的差值，其第二统计方法包括：指数平滑、多层感知、线性回归、分位数、标准差，其第三统计方法包括：正比、反比、关联度，其第四统计方法包括：绝对值正比、变化率正比、数据来源关联度反比、时间差反比，其日志数据包括：非安全产品日志数据和安全产品日志数据。

根据本发明的存储介质，该存储介质上存储有计算机程序，该程序被处理器执行时实现上文所述方法的步骤。

根据本发明的计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上文所述方法的步骤。

根据本发明的上述技术方案，能够自动监控网站异常。

附图说明

并入到说明书中并且构成说明书的一部分的附图示出了本发明的实施例，并且与相关的文字描述一起用于解释本发明的原理。在这些附图中，类似的附图标记用于表示类似的要素。下面描述中的附图是本发明的一些实施例，而不是全部实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。

图1示例性地示出了根据本发明的分析网站故障的方法的示意流程图。

图2示例性地示出了根据本发明的分析网站故障的装置的示意框图。

图3示例性地示出了可以实现根据本发明的上述技术方案的一个实施例的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

图1示例性地示出了根据本发明的分析网站故障的方法的示意流程图。

如图1的实线框所示，根据本发明的分析网站故障的方法，包括：

步骤S102：采用至少一种第一统计方法，针对日志数据中的数值字段和/或非数值字段进行第一次数值统计，获取第一数值统计序列；

步骤S104：采用至少四种不同的第二统计方法，分别针对第一数值统计序列进行第二次数值统计，获取第二数值统计序列；

步骤S106：剔除针对每一个第一数值统计序列的、第二数值统计序列中的、统计误差超过预定误差的第二数值统计序列，得到用于分析网站故障的、针对每一个第一数值统计序列的第三数值统计序列；

步骤S108：基于针对至少一个第一数值统计序列的第三数值统计序列的统计结果的投票结果，确定可能导致网站故障的异常及异常时刻。

可选地，如图1的虚线框所示，根据本发明的分析网站故障的方法，还包括：

步骤S110：采用至少一种第三统计方法，针对各个第一数值统计序列进行第三次数值统计，得到第四数值统计序列；

步骤S112：采用至少一种第四统计方法，针对指定时间段内的异常时刻序列进行第四次数值统计，得到第五数值统计序列；

步骤S114：将第五数值统计序列的统计结果进行排序，将排序结果靠前的异常及异常时刻关联到指定时间段内的自定义事件，

其中，自定义事件包括下列中的至少一种：第一数值统计序列、第二数值统计序列的变化率、比率、上限、下限分别大于预定变化率阈值、比率阈值、上限阈值、下限阈值的事件，指定时间段是包含自定义事件的指定时间段。

可选地，如图1的虚线框所示，根据本发明的分析网站故障的方法，还包括：

步骤S116：将同时包含异常及与该异常关联的自定义事件的情况确定为网站故障。

可选地，第一统计方法包括：信息熵、单位时间内累加和平均数值、相邻数值的差值，第二统计方法包括：指数平滑、多层感知、线性回归、分位数、标准差，第三统计方法包括：正比、反比、关联度，第四统计方法包括：绝对值正比、变化率正比、数据来源关联度反比、时间差反比，日志数据包括：非安全产品日志数据和安全产品日志数据。

例如，安全产品可以包括：防攻击产品、日志分析型攻击识别产品、智能拦截产品、防火墙服务器产品、虚拟防火墙产品等。

图2示例性地示出了根据本发明的分析网站故障的装置的示意框图。

如图2的实线框所示，根据本发明的分析网站故障的装置200包括：

第一统计模块201，用于采用至少一种第一统计方法，针对日志数据中的数值字段和/或非数值字段进行第一次数值统计，获取第一数值统计序列；

第二统计模块203，用于采用至少四种不同的第二统计方法，分别针对第一数值统计序列进行第二次数值统计，获取第二数值统计序列；

选择模块205，用于剔除针对每一个第一数值统计序列的、第二数值统计序列中的、统计误差超过预定误差的第二数值统计序列，得到用于分析网站故障的、针对每一个第一数值统计序列的第三数值统计序列；

异常检测模块207，用于基于针对至少一个第一数值统计序列的第三数值统计序列的统计结果的投票结果，确定可能导致网站故障的异常及异常时刻。

可选地，如图2的虚线框所示，根据本发明的分析网站故障的装置200还包括：

第三统计模块209，用于采用至少一种第三统计方法，针对各个第一数值统计序列进行第三次数值统计，得到第四数值统计序列；

第四统计模块211，用于采用至少一种第四统计方法，针对指定时间段内的异常时刻序列进行第四次数值统计，得到第五数值统计序列；

关联模块213，用于将第五数值统计序列的统计结果进行排序，将排序结果靠前的异常及异常时刻关联到指定时间段内的自定义事件，

其中，自定义事件包括下列中的至少一种：第一数值统计序列、第二数值统计序列的变化率、比率、上限、下限分别大于预定变化率阈值、比率阈值、上限阈值、下限阈值的事件，指定时间段是包含自定义事件的指定时间段。

可选地，如图2的虚线框所示，根据本发明的分析网站故障的装置200还包括：

故障确定模块215，用于将同时包含异常及与该异常关联的自定义事件的情况确定为网站故障。

可选地，第一统计方法包括：信息熵、单位时间内累加和平均数值、相邻数值的差值，第二统计方法包括：指数平滑、多层感知、线性回归、分位数、标准差，第三统计方法包括：正比、反比、关联度，第四统计方法包括：绝对值正比、变化率正比、数据来源关联度反比、时间差反比，日志数据包括：非安全产品日志数据和安全产品日志数据。

为了使本领域技术人员更清楚地理解根据本发明的上述技术方案，下面将结合具体实施例进行描述。

图3示例性地示出了可以实现根据本发明的上述技术方案的一个实施例的示意图。

如图3所示，该实施例包括以下模块(操作)：“日志”(对应于上述日志数据)、“安全产品”(对应于上述安全产品)、“监控指标统计”(对应于上述第一数值统计序列、第二数值统计序列等统计指标)、“关联系数”(对应于第三统计方法中的关联度统计)、“信息熵”(对应于第一统计方法中的信息熵)、“时序预测”(对应于上述步骤S108中的投票检测)、“异常点检测”(对应于上述异常及异常时刻)、“归因分析”(对应于上述步骤S116)、“故障事件”(对应于上述网站故障)、“触发自定义(修复)动作”、“自定义事件”(对应于上述自定义事件)。

根据本发明的上述方法，可以包括以下示例步骤：

S1、监控指标统计(对应于上述步骤S102)

S1.1、用信息熵算法计算单位时间内日志中各数值字段的数值序列分布的混乱程度序列。

S1.2、统计单位时间内日志(包括原始日志及安全产品识别日志)各字段数值特征，计算单位时间内累加和平均数值。得到若干连续单位时间的数值序列。

S1.3、取上述序列相邻数值的差值，组成差值序列。

S2、统计特征分析

S2.1、时序预测。

取各S1输出序列，使用指数平滑、多层感知、线性回归、分位数、标准差等多种预测方法分别计算指标数值若干个连续单位时间、若干天同一时段等序列的预测数值置信区间序列(对应于上述步骤S104)，针对每一个序列分别剔除误差较大的预测方法(对应于上述步骤S106)。

S2.2、关联系数(对应于上述步骤S110)。

计算S1输出序列中两两之间的历史数据的spearman关联系数，得到各指标间序列间的正比、反比、关联度等关联关系。

S3、自定义事件

自定义查询窗口，并设置各监控指标或自定义计算表达式的值的变化率、比率、上限、下限等判断条件。定时执行查询，当条件满足则产生一条自定义事件。

或简单指定时间点和窗口。

S4、异常点检测(对应于上述步骤S108)

通过S2.1得到的预测方法和参数，通过投票方式检测监控指标数值异常点，即时序规律异常。

S5、归因分析

将自定义事件起止时间点附近的异常点，按关联系数绝对值正比、变化率正比、数据来源关联度反比、时间差反比排序(对应于上述步骤S112)，取排序靠前的N个异常点关联到自定义事件(对应于上述步骤S114)。

S6、故障事件(对应于上述步骤S116)

将S5中的自定义事件及其关联的监控指标异常点存档为一条故障事件。

结合根据本发明的上述方法和装置，还提出了一种存储介质，存储介质上存储有计算机程序，程序被处理器执行时实现如上文所述方法的步骤。

结合根据本发明的上述方法和装置，还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如上文所述方法的步骤。

根据本发明的上述技术方案，具有以下优点：

1、能够自动监控网站异常。

2、能够基于网站异常监控，进一步对网站自动进行访问趋势分析、故障原因分析、故障影响范围分析、故障持续时间分析等数据分析操作。

3、能够结合单指标时序预测、单指标信息熵、多指标关联分析等方法，检测网站监控指标的异常点。

4、能够结合所检测到的网站异常和(例如，通过查询语句定义的)自定义(监控)事件来确定网站故障。

5、能够基于异常点、自定义事件的时序、间隔、历史关联系数等各种统计指标，进一步对异常点分组，描述故障起因及过程(例如，能够通过异常点在时间轴分组，描述事件的起因、影响范围，以及可选地，最终恢复的整个变化过程)。

6、能够自动将网站异常和/或故障通知运维工程师，触发自定义(修复)动作、从而帮助运维工程师快速定位、处理问题，减少了网站服务故障的持续时间，节省了成本。

上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例的技术方案的精神和范围。

Claims (10)

1.一种分析网站故障的方法，其特征在于，包括：

采用多种第一统计方法，针对日志数据中的数值字段和/或非数值字段进行第一次数值统计，获取多个第一数值统计序列，具体包括：用信息熵算法计算单位时间内日志中各数值字段的数值序列分布的混乱程度序列；统计单位时间内日志各字段数值特征，计算单位时间内累加和平均数值，得到若干连续单位时间的数值序列；取上述序列相邻数值的差值，组成差值序列；

采用至少四种不同的第二统计方法，分别针对所述多个第一数值统计序列进行第二次数值统计，获取第二数值统计序列；所述第二统计方法包括：指数平滑、多层感知、线性回归、分位数、标准差；

剔除针对每一个第一数值统计序列的第二数值统计序列中的，统计误差超过预定误差的第二数值统计序列，得到用于分析网站故障的、针对每一个第一数值统计序列的第三数值统计序列；

基于针对至少一个第一数值统计序列的第三数值统计序列的统计结果的投票结果，确定可能导致网站故障的异常及异常时刻。

2.如权利要求1所述的分析网站故障的方法，其特征在于，还包括：

采用至少一种第三统计方法，针对各个第一数值统计序列进行第三次数值统计，得到第四数值统计序列；

采用至少一种第四统计方法，针对指定时间段内的异常时刻序列进行第四次数值统计，得到第五数值统计序列；

将所述第五数值统计序列的统计结果进行排序，将排序结果靠前的异常及异常时刻关联到所述指定时间段内的自定义事件，

其中，所述自定义事件包括下列中的至少一种：第一数值统计序列、第二数值统计序列的变化率、比率、上限、下限分别大于预定变化率阈值、比率阈值、上限阈值、下限阈值的事件，所述指定时间段是包含所述自定义事件的指定时间段。

3.如权利要求2所述的分析网站故障的方法，其特征在于，还包括：

将同时包含异常及与该异常关联的自定义事件的情况确定为网站故障。

4.如权利要求2所述的分析网站故障的方法，其特征在于，所述第三统计方法包括：正比、反比、关联度，所述第四统计方法包括：绝对值正比、变化率正比、数据来源关联度反比、时间差反比，所述日志数据包括：非安全产品日志数据和安全产品日志数据。

5.一种分析网站故障的装置，其特征在于，包括：

第一统计模块，用于采用多种第一统计方法，针对日志数据中的数值字段和/或非数值字段进行第一次数值统计，获取第一数值统计序列，具体包括：用信息熵算法计算单位时间内日志中各数值字段的数值序列分布的混乱程度序列；统计单位时间内日志各字段数值特征，计算单位时间内累加和平均数值，得到若干连续单位时间的数值序列；取上述序列相邻数值的差值，组成差值序列；

第二统计模块，用于采用至少四种不同的第二统计方法，分别针对所述第一数值统计序列进行第二次数值统计，获取第二数值统计序列；所述第二统计方法包括：指数平滑、多层感知、线性回归、分位数、标准差；

选择模块，用于剔除针对每一个第一数值统计序列的第二数值统计序列中的，统计误差超过预定误差的第二数值统计序列，得到用于分析网站故障的、针对每一个第一数值统计序列的第三数值统计序列；

异常检测模块，用于基于针对至少一个第一数值统计序列的第三数值统计序列的统计结果的投票结果，确定可能导致网站故障的异常及异常时刻。

6.如权利要求5所述的分析网站故障的装置，其特征在于，还包括：

第三统计模块，用于采用至少一种第三统计方法，针对各个第一数值统计序列进行第三次数值统计，得到第四数值统计序列；

第四统计模块，用于采用至少一种第四统计方法，针对指定时间段内的异常时刻序列进行第四次数值统计，得到第五数值统计序列；

关联模块，用于将所述第五数值统计序列的统计结果进行排序，将排序结果靠前的异常及异常时刻关联到所述指定时间段内的自定义事件，

其中，所述自定义事件包括下列中的至少一种：第一数值统计序列、第二数值统计序列的变化率、比率、上限、下限分别大于预定变化率阈值、比率阈值、上限阈值、下限阈值的事件，所述指定时间段是包含所述自定义事件的指定时间段。

7.如权利要求6所述的分析网站故障的装置，其特征在于，还包括：

故障确定模块，用于将同时包含异常及与该异常关联的自定义事件的情况确定为网站故障。

8.如权利要求6所述的分析网站故障的装置，其特征在于，所述第三统计方法包括：正比、反比、关联度，所述第四统计方法包括：绝对值正比、变化率正比、数据来源关联度反比、时间差反比，所述日志数据包括：非安全产品日志数据和安全产品日志数据。

9.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述程序被处理器执行时实现权利要求1至4中任意一项所述方法的步骤。

10.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至4中任意一项所述方法的步骤。

Images