CN108737170A - 一种批量日志异常数据告警方法及装置 - Google Patents

Abstract

本发明提供了一种批量日志异常数据告警方法及装置，方法包括：采集服务器运行的批量程序的日志数据；以预设的配置信息确定日志数据中的异常数据；将异常数据发送至Windows事件日志；利用SCOM监控平台对所述Windows事件日志中的异常数据进行告警。提出一种完善的及时的批量异常监控方法，可以及时发现批量运行异常，使故障及时得到处理。

Description

一种批量日志异常数据告警方法及装置

技术领域

本发明涉及数据处理技术，具体的讲是一种批量日志异常数据告警方法及装置。

背景技术

服务器运行批量程序越来越多，且批量程序有自研***和外包***多种方式，影响批量程序运行成功的因素有很多，例如：数据来源错误，网络错误，数据量过大，键值重复，码制问题等等。批量程序发生错误时，往往以文本日志的方式记录下来。目前，要发现批量程序运行中发生错误，需打开批量文本查看，而批量运行多在夜间进行，运维人员无法及时查看并获知错误。

现有技术中对批量异常日志的监控无特别迅捷的解决方案，多采用人工巡检的方式，或由用户发现批量数据异常后运维人员进行处理。现有技术处理方式实时性低，人工巡检往往在上班后巡检，若发现异常，加上处理时间，往往造成解决时长较长。因此，需要解决现有技术中无法及时对批量文本类型的异常信息进行监控，并对异常进行告警的缺陷。

发明内容

为了完善的及时的进行批量异常的监控，本发明实施例提供了一种批量日志异常数据告警方法，包括：

采集服务器运行的批量程序的日志数据；

以预设的配置信息确定所述日志数据中的异常数据；

将所述的异常数据发送至Windows事件日志；

利用SCOM监控平台对所述Windows事件日志中的异常数据进行告警。

本发明实施例中，利用数据采集插件按预设的时间段、频率采集服务器运行的批量程序的日志数据。

本发明实施例中，预设的配置信息包括：预设的关键字。

本发明实施例中，所述的将所述的异常数据发送至Windows事件日志包括：

根据异常数据的类型将所述异常数据发送至Windows事件日志。

同时，本发明还提供一种批量日志异常数据告警装置，包括：

数据采集模块，用于采集服务器运行的批量程序的日志数据；

异常数据确定模块，用于以预设的配置信息确定所述日志数据中的异常数据；

发送模块，用于将所述的异常数据发送至Windows事件日志；

SCOM监控平台，用于对所述Windows事件日志中的异常数据进行告警。

本发明实施例中，所述的采数据采集模块利用数据采集插件采集服务器运行的批量程序的日志数据。

本发明实施例中，所述的发送模块包括：

类型确定模块，用于确定异常数据的类型；

所述的发送模块根据异常数据的类型将所述异常数据发送至Windows事件日志。

本发明提出一种完善的及时的批量异常监控方法，本发明主要解决了windows平台的多个实例中运行的多个批量程序运行时，无法及时获知批量运行异常并及时应对。本发明结合SCOM平台可以及时发现批量运行异常，使故障及时得到处理。

为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明公开的批量日志异常数据告警方法的流程图；

图2为本发明实施例中的示意图；

图3为本发明公开的批量日志异常数据告警装置的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种批量日志异常数据告警方法，如图1所示，该方法包括：

步骤S101，采集服务器运行的批量程序的日志数据；

步骤S102，以预设的配置信息确定日志数据中的异常数据；

步骤S103，将异常数据发送至Windows事件日志；

步骤S104，利用SCOM监控平台对Windows事件日志中的异常数据进行告警。

现有的SCOM监控平台可以对windows事件日志进行监控，并对发现的错误进行实时告警，但无法处理并告警文本日志。

服务器的批量程序运行时会生成相应的日志。日志有两种保存方式：1)文本格式日志；2)数据库表日志。本发明实施例通过在服务器上配置相应代理服务，按照日志保存方式的不同，定时获取日志内容并进行筛选提取，发现有异常信息，则调用数据接口存入监控数据库，并报送至windows事件日志，由SCOM平台实时监控。如图2所示，为本发明实施方式的示意图。

通过在其中的应用服务器201，数据库服务器202配置相应代理服务，利用插件采集日志数据，对采集的日志数据利用监控服务器203进行分析确定其中的异常信息，将确定的异常信息报送至监控服务器203的windows事件日志，由SCOM平台204实时监控。

批量程序由不同的开发部门和提供商提供，日志记录方式各不相同。本实施例的***通过插件和配置文件的方式可以在一个服务器代理中进行灵活搜集。

1)可扩展的数据分析源。

对不同的数据来源，采用不同的插件的形式。本实施例中可以收集文本日志、数据库日志。只要符合数据收集后的处理方式，日志分析工具具有很强的扩展性供各***添加。

2)搜集数据的时间段和频率可以按照不同的***进行配置。

3)收集内容可以灵活配置，包括收集项、关键字等；

4)收集的数据送数据库记录，对累积数据可以进行在分析和展示。

本实施例中包含模块及各模块功能如下：

1、插件调度模块：

根据配置信息，调用起各种数据采集插件进行数据采集。

各数据采集插件根据配置的预设信息，定时不重复的提供批量日志数据源，并将日志内容送给数据分析模块。

2、数据采集插件：

对各种日志数据进行采集。采集数据做到：不漏采，不重复采集，不对源数据做任何修改。

3、数据分析模块：

对数据采集插件采集到的数据进行逐行或逐条处理，并与配置文件中配置的信息进行比对，若符合预订规则，则将信息送入日志记录数据库，并根据异常类型，送windows事件日志。

数据分析模块对日志数据进行逐条分析，并与配置文件中的关键字进行匹配对比。若命中，则取出上下文数据，并记到windows事件日志中和数据库中。

4、监控展示模块：

对日志记录数据库中保存的信息：

1)以工作台方式展示总体监控信息(分级别展示告警和错误信息)；

2)图形化方式(饼状图、柱状图、曲线图)展示具体的监控信息。

监控展示模块，根据条件，分别以工作台方式或图形化方式展示相应的监控信息。

鉴于目前批量日志的现状和SCOM平台的功能限制，要能够及时对批量程序出现的异常进行告警，对批量日志进行及时扫描并处理是必不可少的。本实施例中利用数据采集插件可以定时对批量日志进行读取，数据分析模块可以对批量日志进行分析处理。

本方案，具有如下进步：

首先，从运维及时性上看，工具可以在第一时间发现批量运行的异常，并记到事件日志中。而SCOM平台可以实时对事件日志进行监控，若发现相应错误，可以触发短信等方式通知运维人员。

其次，本工具可以对多个***的批量日志进行监控，减少人员成本，提高工作效率及工作质量。

再次，本工具可以提供多种方式展示批量运行情况，对全方位了解批量运行情况提供了一个很好的方式。

另外，如图3所示，本发明还公开一种批量日志异常数据告警装置，包括：

数据采集模块301，用于采集服务器运行的批量程序的日志数据；

异常数据确定模块302，用于以预设的配置信息确定日志数据中的异常数据；

发送模块303，用于将的异常数据发送至Windows事件日志；

SCOM监控平台304，用于对Windows事件日志中的异常数据进行告警。

同时，本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述计算机程序时实现上述方法。

本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有执行前述方法的计算机程序。

通过本发明实施例中的方案及结合原有工作缺陷可以推导出本发明技术防范所带来的有益效果，如下：

1、缩短异常处理响应时长，降低异常处理耗时：本工具可以在设定的时间及时将错误信息报送记录到事件日志，结合SCOM平台及时将异常信息告警。可以在营业未开始之前就将异常进行处理，从而不影响正常营业。

2、提高异常处理可靠性：对于警告类的异常信息不会遗漏，在错误未发生之前就发现并处理，可以避免相应异常的发生。

3、减少人工运维工作量：之前的日志处理，需要人工巡检逐个文件进行分析，费时费力。使用本工具，可以大大节省巡检时间，若无异常报出，可以免巡检。

4、图形化展示运行情况：可以对***运行周期内的情况做到一目了然，并从趋势上了解***异常情况，可以对资源类或周期性异常提前处置。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种批量日志异常数据告警方法，其特征在于，所述的方法包括：

采集服务器运行的批量程序的日志数据；

以预设的配置信息确定所述日志数据中的异常数据；

将所述的异常数据发送至Windows事件日志；

利用SCOM监控平台对所述Windows事件日志中的异常数据进行告警。

2.如权利要求1所述的批量日志异常数据告警方法，其特征在于，所述的采集待监控的服务器运行的批量程序的日志数据包括：

利用数据采集插件按预设的时间段、频率采集服务器运行的批量程序的日志数据。

3.如权利要求1所述的批量日志异常数据告警方法，其特征在于，所述的预设的配置信息包括：预设的关键字。

4.如权利要求1所述的批量日志异常数据告警方法，其特征在于，所述的将所述的异常数据发送至Windows事件日志包括：

根据异常数据的类型将所述异常数据发送至Windows事件日志。

5.一种批量日志异常数据告警装置，其特征在于，所述的装置包括：

数据采集模块，用于采集服务器运行的批量程序的日志数据；

异常数据确定模块，用于以预设的配置信息确定所述日志数据中的异常数据；

发送模块，用于将所述的异常数据发送至Windows事件日志；

SCOM监控平台，用于对所述Windows事件日志中的异常数据进行告警。

6.如权利要求5所述的批量日志异常数据告警装置，其特征在于，所述的数据采集模块利用数据采集插件按预设的时间段、频率采集服务器运行的批量程序的日志数据。

7.如权利要求5所述的批量日志异常数据告警装置，其特征在于，所述的预设的配置信息包括：预设的关键字。

8.如权利要求5所述的批量日志异常数据告警装置，其特征在于，所述的发送模块包括：

类型确定模块，用于确定异常数据的类型；

所述的发送模块根据异常数据的类型将所述异常数据发送至Windows事件日志。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一所述方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至4任一所述方法的计算机程序。