CN101201786A

CN101201786A - 一种故障日志监控方法及装置

Info

Publication number: CN101201786A
Application number: CNA2006101651541A
Authority: CN
Inventors: 田丰
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2006-12-13
Filing date: 2006-12-13
Publication date: 2008-06-18
Anticipated expiration: 2026-12-13
Also published as: CN101201786B

Abstract

本发明公开了一种故障日志监控方法，用于一管理主机对一被控机器的监控，包括：配置步骤，对所述被控机器设置故障分析参数；调用步骤，调用生成所述被控机器的故障日志文件；过滤步骤，依照所述故障分析参数对所述故障日志文件中出现的故障信息进行过滤，并对所述过滤出的故障信息依照预设的规则设置告警级别；告警步骤，针对所述过滤出的故障信息，向所述管理主机发送所述告警级别的告警信息。采用本发明的监控方法，能实现对故障日志信息自动准确的监控，避免许多运行事故的发生，减少很多重大损失。

Description

一种故障日志监控方法及装置

技术领域

本发明涉及信息设备的故障处理技术，特别是涉及一种故障日志的监控方法。

背景技术

计算机、服务器等信息设备已广泛应用于各行各业，由于信息设备自身软硬件的缺陷或用户的使用操作错误，不可避免地会产生设备故障或故障隐患，如果不能及时发现和排除，往往会造成重大事故损失。对于某些信息设备，利用日志工具记录信息设备运行中产生的大量信息，并通过分析日志信息中的故障信息来查找故障，是比较常用的故障监控方法。然而，信息设备运行所产生的日志信息往往是海量的，而且由于实际应用的多样性和复杂性，故障或疑似故障的类型也种类繁多，这使得一般人员无法从海量的日志信息中准确高效地发现故障。下面以广泛应用的IBM AIX机器，来说明现有日志监控方法的局限性：

随着IBM AIX机器(例如：IBM小型机，或其它运行AIX操作***的机器，例如：IBM OpenPower服务器)的推广应用，在许多场合下，这些机器处于非常重要的位置(例如：可能会运行着重要的数据库***)，在实际运行中，IBMAIX机器会发生一些软硬件的故障，对于立即影响业务运行的故障，这可以从业务受影响来发现，但其它有的故障暂时不影响业务正常运行(有的硬件有冗余或备份，例如：两个做了镜象的硬盘中损坏了一个，或硬件故障级别还没有严重到一定程度)，对于这些暂时不影响业务正常运行的故障，如果不能被及时地发现和处理，将有可能会导致***继续使用一段时间以后，发生更加严重的故障，甚至于发生***中断的重大事故。

对于上述暂时不影响业务正常运行的故障，虽然维护人员通过登录到IBMAIX机器的操作***上检查(例如：检查errpt日志信息)，或者观察设备的告警指示灯，可能也能发现这些故障，但是，实际的情况是：维护人员可能很少登录上去进行检查(而且这对操作者的技术要求也比较高)，而且，他们平时主要工作位置可能并不在这些机器的旁边，所以有可能对于机器面板上的告警灯也未能及时加以注意。

errpt监控日志信息是IBM AIX操作***中的一个功能，调用#errpt可以生成errpt监控日志信息，这些监控日志信息中可能会包含有一些软硬件的故障信息，但由于生成的监控日志信息往往比较多，其中有不同的信息种类和不同的严重级别，其中有些确实是故障，有些也有可能并不是故障(只是一些暂时的报错)，所以由维护人员直接分析有一定的难度，而且，IBM AIX的errpt监控日志信息并不能自动让维护人员知道有重要的信息产生，即缺乏有效的故障日志监控方法实现故障自动告警。

基于以上分析，需要提供一种故障日志监控方法，能准确高效地发现故障。

发明内容

本发明所要解决的问题在于，提供一种故障日志监控方法，能自动定时进行故障检测，并且能按照故障信息的类别、严重级别、发生的频率，进行故障信息的过滤，从而自动和准确地发现设备中的故障，使得相关维护人员能够及时设法修复这些故障，避免可能会发生的事故。

本发明公开了一种故障日志监控方法，用于一管理主机对一被控机器的监控，包括：

配置步骤，对所述被控机器设置故障分析参数；

调用步骤，调用生成所述被控机器的故障日志文件；

过滤步骤，依照所述故障分析参数对所述故障日志文件中出现的故障信息进行过滤，并对所述过滤出的故障信息依照预设的规则设置告警级别；

告警步骤，针对所述过滤出的故障信息，向所述管理主机发送所述告警级别的告警信息。

在所述配置步骤中，所述故障分析参数包括：检测时间间隔参数、统计时间范围参数、故障次数的阈值参数、恢复时间参数和需要屏蔽的报错信息参数。

在执行所述调用步骤之前还包括：

依照所述检测时间间隔参数，设置并激活一监控定时器，用于控制所述调用生成被控机器的故障日志文件的步骤的执行间隔。

在执行所述调用步骤之前还包括：

检测所述管理主机生成故障日志文件的进程是否存在，如果存在，继续执行所述调用生成所述被控机器的故障日志文件的步骤，如果不存在，直接向所述管理主机发送告警信息，流程结束。

所述预设的规则包括：

对于在统计时间范围参数所设定的时间内，发生次数不小于所述故障次数的阈值参数的P型H类故障信息，设置一级告警；和/或

对于在统计时间范围参数所设定的时间内，发生次数不小于所述故障次数的阈值参数的P型S类故障信息，设置一级告警；和/或

对于在统计时间范围参数所设定的时间内，发生次数不小于所述故障次数的阈值参数的P型O类故障信息，设置二级告警；和/或

对于在统计时间范围参数所设定的时间内，发生次数不小于所述故障次数的阈值参数的P型U类故障信息，设置二级告警；和/或

对于在统计时间范围参数所设定的时间内，发生次数小于所述故障次数的阈值参数的P型H类故障信息，设置通知信息；和/或

对于在统计时间范围参数所设定的时间内，发生次数小于所述故障次数的阈值参数的P型S类故障信息，设置通知信息；和/或

对于在统计时间范围参数所设定的时间内，发生次数小于所述故障次数的阈值参数的P型O类故障信息，设置通知信息；和/或

对于在统计时间范围参数所设定的时间内，发生次数小于所述故障次数的阈值参数的P型U类故障信息，设置通知信息；和/或

对于在统计时间范围参数所设定的时间内，发生次数不小于所述故障次数的阈值参数的U型H类故障信息，设置二级告警；

对于在统计时间范围参数所设定的时间内，发生次数不小于所述故障次数的阈值参数的U型S类故障信息，设置二级告警；和/或

对于在统计时间范围参数所设定的时间内，发生次数不小于所述故障次数的阈值参数的U型O类故障信息，设置三级告警；和/或

对于在统计时间范围参数所设定的时间内，发生次数不小于所述故障次数的阈值参数的U型U类故障信息，设置三级告警；和/或

对于在统计时间范围参数所设定的时间内，发生次数不小于所述故障次数的阈值参数的T型H类故障信息，设置二级告警；和/或

对于在统计时间范围参数所设定的时间内，发生次数不小于所述故障次数的阈值参数的T型S类故障信息，设置三级告警；和/或

对于发生次数不小于所述故障次数的阈值参数的T型O类故障信息，设置三级告警；和/或

对于在统计时间范围参数所设定的时间内，发生次数不小于所述故障次数的阈值参数的T型U类故障信息，设置三级告警。

在执行所述告警步骤之后还包括：将所述告警信息所对应的故障信息的标识号，记录在所述被控机器的内存中的步骤。

所述过滤步骤中进一步包括，

检测所述故障日志文件中出现的故障信息，在所述统计时间范围参数所设定的时间内，是否达到所述故障次数的阈值参数设定的次数，如果达到，执行所述依照设定的规则设置告警级别的步骤，如果未达到，继续检测。

所述过滤步骤进一步包括，

检测标识号已记录在所述内存中的所述故障信息，在所述恢复时间参数设定的时间内，是否再次出现在所述故障日志文件中，如果没有出现，向管理主机发送所述故障信息的告警恢复消息，在所述内存中删除所述故障信息的标识号。

所述过滤步骤进一步包括，

检测所述故障日志文件中是否出现由所述需要屏蔽的报错信息参数设定的故障信息，如果出现，将所述故障信息屏蔽，不认为是故障。

在执行所述告警步骤之前进一步包括，

判断在所述内存中是否保存有所述告警信息所对应的故障信息的标识号，如果没有，执行针对所述过滤出的故障信息，向所述管理主机发送所述告警级别的告警信息的步骤，如果有，不执行所述针对所述过滤出的故障信息，向所述管理主机发送所述告警级别的告警信息的步骤。

本发明还公开了一种故障日志监控装置，用于一管理主机对一被控机器的监控，包括：

一配置模块，用于对所述被控机器设置故障分析参数；

一调用模块，用于调用生成所述被控机器的故障日志文件；

一过滤模块，用于依照所述故障分析参数对所述故障日志文件中出现的故障信息进行过滤，并对所述过滤出的故障信息依照预设的规则设置告警级别；

一告警模块，用于针对所述过滤出的故障信息，向所述管理主机发送所述告警级别的告警信息。

所述监控装置还包括一监控定时器，用于依照所述配置装置设定的故障分析参数，控制所述调用模块调用生成所述故障日志文件的执行间隔。

所述过滤模块包括一频率过滤模块，用于检测所述故障日志文件中的故障信息的出现频率是否达到所述故障分析参数所规定的频率值，如果达到，则对所述故障信息依照所述设定的规则设置告警级别。

所述过滤模块包括一故障恢复模块，用于检测标识号已记录在被控机器内存中的所述故障信息，在所述故障分析参数设定的时间内，是否再次出现在所述故障日志文件中，如果没有出现，向管理主机发送所述故障信息的告警恢复消息。

所述过滤模块包括故障屏蔽模块，用于判断所述故障信息中是否存在所述故障分析参数所规定的故障信息，如果存在则将所述故障信息屏蔽。

采用本发明的监控方法，能实现对故障日志信息自动准确的监控，避免许多运行事故的发生，减少很多重大损失。

附图说明

图1所示为本发明故障日志监控方法的流程图；

图2所示为本发明故障日志监控装置的结构图；

图3所示为本发明故障日志监控装置的过滤模块的结构图。

具体实施方式

以下结合附图，以IBM AIX机器为例，对本发明的故障日志监控方法的具体实现过程进行详细说明。

本发明通过在被控机器上运行一监控程序的方式，对被控机器生成的故障日志文件中的故障信息进行监控，对于符合预先设定的监控条件的故障，向与被控机器连接的管理主机发送告警信息，以提示管理员及时对该故障进行排查。该告警信息可在管理主机的界面上显示出来，也可以通过告警箱等其他方式发出警告。

为实现本发明的监控方法，首先需执行一配置步骤，对监控程序设置故障分析参数，该故障分析参数规定了需要进行告警的故障的条件，即监控程序在运行中会依照该故障分析参数对故障日志文件中的故障信息进行过滤，对符合故障分析参数的故障信息发出告警信息。

该故障分析参数包括：

(1)检测时间间隔参数。

即监控程序每两次对故障日志文件中的故障信息发起过滤之间所间隔的时间。以分钟为单位，具体例如可设置为10分钟。

(2)统计时间范围参数和故障次数的阈值参数。

上述两种参数协同代表同一故障信息在故障日志文件中出现的频率。也就是，在同一设定时间(统计时间范围参数所确定)内，具有相同IDENTIFIER、RESOURCE_NAME(IDENTIFIER、RESOURCE_NAME代表一故障的序列号以及来源)的故障出现的次数。该统计时间范围参数例如可设置为30分钟。该故障次数的阈值参数根据故障类型的不同而各不相同。例如，对于故障日志信息中出现的T(Type)为P(永久性或严重故障)的故障，可设置为2次；对于T(Type)为U(未知故障)的故障，可设置为4次；对于T(Type)为T(临时故障)的故障，可设置为6次。在该设定时间内，如果同一故障信息出现的次数达到或超过了设定的故障次数的阈值参数，则监控程序即认为达到了发出告警信号的标准。对于该T(Type)类型的详细描述，可参考IBM AIX的相关技术资料。

(3)恢复时间参数。

先前曾发出过告警信息的故障在设定的一段时间内，没有再次出现在故障日志文件中，则认为该故障已经消除，该设定的一段时间的时间值即通过该恢复时间参数获得。该恢复时间参数例如以分钟为单位，可设定为30分钟。如果先前发出的告警信息所对应的故障的IDENTIFIER、RESOURCE_NAME在恢复时间参数所设定的时间内没有再次出现在故障日志文件中，那么就认为该故障已经恢复了。

(4)需要屏蔽的报错信息参数。

在故障日志文件中，有些频繁出现的报错，实际上没有重大的影响，但修复起来却比较麻烦。例如，IDENTIFIER为864D2CE3，并且RESOURCE_NAME为topsvcs(即，“拓扑结构服务”守护进程)的报错。该报错是由于IBM HACMP的部分版本存在BUG引起的。这个报错会非常频繁，对于在线运行的***，修复这个BUG的操作存在操作风险，而且一般该报错也没有其他的重大影响，所以监控程序在对故障监控日志进行过滤时，可以将该报错屏蔽掉，不再认为是故障。该报错信息参数即针对用于标识某一故障的IDENTIFIER以及RESOURCE_NAME。

以上四种故障分析参数都可以根据实际运行的效果，进行手工修改，以更加准确地认定故障、发现故障、减少不必要的误报。

在对监控程序成功设置故障分析参数后，监控程序继续执行下一步骤，即设置定时器，该监控程序根据检测时间间隔参数设置一定时器并激活。随后，执行一调用步骤，该监控程序调用#errpt生成故障日志文件。

执行过滤步骤，监控程序读取故障日志文件中的故障信息，依照所设定的故障分析参数对所述故障信息进行过滤。监控程序依照定时器的设定，每隔设定的时间对故障日志文件中的故障信息进行过滤，并对过滤结果，按照一既定规则确定告警级别，并发送该级别的告警信息，并将该故障的IDENTIFIER、RESOURCE_NAME记录在监控程序内存中，该监控程序内存即被控机器的内存中。

其中，该过滤的过程包括：

检测所述故障日志文件中出现的故障信息，在所述统计时间范围参数所设定的时间内，是否达到所述故障次数的阈值参数设定的次数，即出现故障的频率是否达到故障分析参数中设定的要求，如果达到则继续进行确定告警级别的步骤。

同时，监控程序还检测标识号已记录在所述内存中的所述故障信息，在所述恢复时间参数设定的时间内，是否再次出现在所述故障日志文件中，如果没有出现，向管理主机发送所述故障信息的告警恢复消息，在所述内存中删除所述故障信息的标识号。

另外，检测所述故障日志文件中是否出现由所述需要屏蔽的报错信息参数设定的故障信息，如果出现，将所述故障信息屏蔽，不认为是故障。

以下参照表1，说明上述的用于确定告警级别的既定规则。

表1

其中，C(Class)为所出现的故障的等级，具体可参考IBM AIX的相关技术资料。C(Class)为H的故障为硬件故障；C(Class)为S的故障为软件故障；C(Class)为U的故障为未确定的故障。其中的次数建议值，即为上述已设定的故障次数的阈值参数，且发生次数是指在所述统计时间范围参数内故障信息出现的次数。

执行告警步骤，该监控程序发送告警信息的步骤进一步包括，当故障信息符合监控程序的已设定的故障分析参数中的故障出现频率，且该故障不是已经发送过告警、未恢复的故障，则发送告警信息。即对于通过过滤的故障信息，判断监控程序内存中是否保存有该故障的IDENTIFIER、RESOURCE_NAME，如果已经保存有该故障的IDENTIFIER、RESOURCE_NAME，代表该故障仍未恢复，不必再次发送告警信息。如果未保存有该故障的IDENTIFIER、RESOURCE_NAME，则发送相应告警等级的告警信息。该告警信息的数据结构中包括该故障的发生时间、设备的IP地址、故障的IDENTIFIER、RESOURCE_NAME、C(Class)、T(Type)、DESCRIPTION、告警级别等等。

对于T(Type)为P，出现频率小于故障分析参数中设置的故障出现频率，如表1所示，发送通知信息。通知信息与告警信息的区别在于：通知信息并未认定当前发生了故障，只是一个一般提示的信息。而监控程序所认定的不同告警等级，可以在管理主机的界面上显示出来。

本发明故障日志监控方法的具体流程例如图1所示。

步骤100，管理员设置配置参数文件以确定故障分析参数。

步骤101，监控程序设置并激活定时器。

该监控程序是根据配置参数文件中的检测时间间隔参数设置该定时器并激活。

步骤102，监控程序检测AIX的errdemon(即，错误日志记录守护进程)进程是否存在，如果存在执行步骤103，如果不存在，直接发送告警信息，提示该进程出错，流程结束，等待管理员的修复。

步骤103，监控程序动态生成SHELL脚本，调用该SHELL脚本生成故障日志文件。

步骤104，监控程序读取故障日志文件中的故障日志信息，按照配置参数文件中设置的故障出现频率、需要屏蔽的报错信息参数以及监控程序内存中已有的故障记录进行过滤，按照预定的规则决定故障告警的级别。

步骤105，根据过滤情况，决定是否需要发送故障告警信息，如果发送，那么将该告警相应的IDENTIFIER、RESOURCE_NAME记录在监控程序内存中。

即如果一故障出现的频率超过配置参数文件中设置的频率阈值，并且该故障先前没有发送过告警，或者发送过告警但是已经恢复，则发送告警信息，并将该故障对应的IDENTIFIER、RESOURCE_NAME记录在监控程序内存中。

步骤106，对于监控程序内存中记录的IDENTIFIER、RESOURCE_NAME，如果监控程序检测到内存中某个IDENTIFIER、RESOURCE_NAME在最近的时间内(即：配置参数文件中的恢复时间参数)没有再次出现在故障日志文件中，那么发送告警恢复消息，然后从监控程序内存中删除该IDENTIFIER、RESOURCE_NAME。

步骤107，定时器设置的时间已到达，监控程序再次设置并激活定时器。

在本发明的另一实施例中，还提供了一种故障日志监控装置，如图2所示为该装置的结构图。其中，该监控装置200分别与被控机器100以及管理主机300连接，该监控装置200用于对被控机器100的故障日志文件进行监控，并对需要进行告警的故障信息设置告警等级，发送告警信息至管理主机。

其中该监控装置200包括配置模块201、调用模块202、过滤模块203、告警模块204、监控定时器205。配置模块201与管理主机300连接，用于接收管理主机300的配置命令，对监控装置200的故障分析参数进行配置。该故障分析参数包括检测时间间隔参数、统计时间范围参数、故障次数的阈值参数、恢复时间参数和需要屏蔽的报错信息参数，如上一实施例中所详述。

调用模块202与被控机器100连接，用于调用被控机器100中产生的监控日志文件，并将该监控日志文件中的故障信息发送到过滤模块203。过滤模块203依据配置模块201中所配置的故障分析参数对所述故障信息进行过滤。

该过滤模块的详细结构请参见图3，其中，过滤模块203进一步包括频率过滤模块2031、故障恢复模块2032、故障屏蔽模块2033、告警设置模块2034。频率过滤模块2031用于根据统计时间范围参数和故障次数的阈值参数确定的故障频率值，判断该故障信息是否达到所述故障频率值规定的标准。如果达到或者超过则由告警设置模块2034对该故障信息设置告警等级，并由告警模块204发送相应告警等级的告警信息。

故障恢复模块2032用于标识号已记录在被控机器内存中的所述故障信息，在所述恢复时间参数设定的时间内，是否再次出现在所述故障日志文件中，如果没有出现，向管理主机发送所述故障信息的告警恢复消息，在所述内存中删除所述故障信息的标识号。

故障屏蔽模块2033用于判断该故障信息中是否存在需要屏蔽的报错信息参数所规定的故障信息，如果存在则将该故障屏蔽，并不认为是故障。

本实施例的故障日志监控装置200中的监控定时器205，用于依照所述配置装置设定的故障分析参数，控制所述调用生成被控机器的故障日志文件的步骤的执行间隔。

综上所述，应用本发明方法的实施例能够实现自动定时检测IBM AIX中的errpt(出错信息)日志中的信息，实现对IBM AIX机器的部件及部分相连设备的部分部件，进行自动定时故障检测，并且按照故障信息的类别、严重级别、发生的频率，进行一定的故障信息的过滤，找出真正可能的故障，从而达到自动和比较准确地发现那些不是导致马上宕机(暂时不影响业务运行)的故障，使得相关维护人员能够及时设法修复这些故障，避免进一步运行可能会发生的事故。本发明还可应用于其他机型中。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims

1.一种故障日志监控方法，用于一管理主机对一被控机器的监控，其特征在于，包括：

配置步骤，对所述被控机器设置故障分析参数；

调用步骤，调用生成所述被控机器的故障日志文件；

2.如权利要求1所述的故障日志监控方法，其特征在于，在所述配置步骤中，所述故障分析参数包括：检测时间间隔参数、统计时间范围参数、故障次数的阈值参数、恢复时间参数和需要屏蔽的报错信息参数。

3.如权利要求2所述的故障日志监控方法，其特征在于，在执行所述调用步骤之前还包括：

4.如权利要求1或2或3所述的故障日志监控方法，其特征在于，在执行所述调用步骤之前还包括：

5.如权利要求2或3所述的故障日志监控方法，其特征在于，所述预设的规则包括：

6.如权利要求1或2或3所述的故障日志监控方法，其特征在于，在执行所述告警步骤之后还包括：将所述告警信息所对应的故障信息的标识号，记录在所述被控机器的内存中的步骤。

7.如权利要求2所述的故障日志监控方法，其特征在于，所述过滤步骤中进一步包括，

8.如权利要求6所述的故障日志监控方法，其特征在于，所述过滤步骤进一步包括，

9.如权利要求2或3或7或8所述的故障日志监控方法，其特征在于，所述过滤步骤进一步包括，

10.如权利要求6所述的故障日志监控方法，其特征在于，在执行所述告警步骤之前进一步包括，

11.一种故障日志监控装置，用于一管理主机对一被控机器的监控，其特征在于，包括：

一配置模块，用于对所述被控机器设置故障分析参数；

一调用模块，用于调用生成所述被控机器的故障日志文件；

12.如权利要求11所述的故障日志监控装置，其特征在于，所述监控装置还包括一监控定时器，用于依照所述配置装置设定的故障分析参数，控制所述调用模块调用生成所述故障日志文件的执行间隔。

13.如权利要求11所述的故障日志监控装置，其特征在于，所述过滤模块包括一频率过滤模块，用于检测所述故障日志文件中的故障信息的出现频率是否达到所述故障分析参数所规定的频率值，如果达到，则对所述故障信息依照所述设定的规则设置告警级别。

14.如权利要求11所述的故障日志监控装置，其特征在于，所述过滤模块包括一故障恢复模块，用于检测标识号已记录在被控机器内存中的所述故障信息，在所述故障分析参数设定的时间内，是否再次出现在所述故障日志文件中，如果没有出现，向管理主机发送所述故障信息的告警恢复消息。

15.如权利要求11所述的故障日志监控装置，其特征在于，所述过滤模块包括故障屏蔽模块，用于判断所述故障信息中是否存在所述故障分析参数所规定的故障信息，如果存在则将所述故障信息屏蔽。