CN106341257A - 一种自定义日志解析规则并自动解析日志的方法和工具 - Google Patents

Abstract

一种自定义日志解析规则并自动解析日志的方法和工具为了能让设备维护人员更方便地解析设备日志，我们为设备维护人员和设备厂家提供了一种操作简单的、可视化的、利于智库建设的、向导式的操作方式，并且能够自定义***日志结构并自动解析日志的方法和工具。该工具对内外部***提供了多种访问接口，可以作为设备维护人员自行开发的专家***的组件，也可以作为设备原厂家提供的专家***中的组件。该工具不仅适用于实时与准实时日志，还适用于各类文本(例如：TXT、XLS、XLSX、LOG文件、关系与非关系型数据库存储等等)，结构化与非结构化数据。

Description

一种自定义日志解析规则并自动解析日志的方法和工具

一、技术领域

软件开发 自动化 计算机网络 机器智能 大数据分析 解析与执行引擎

二、背景技术

出于简化描述的目的，本文将使用一些专门概念。本文内容涉及相关概念时，所涉及概念的含义请参考如下定义：

【定义1】工具

这里所说的工具是指自定义日志解析规则并自动解析日志的方法和工具。

【定义2】等等

等等是举例说明项，内容包含但不限定于此发明的范围。

【定义3】正则魔方

正则魔方是工具能够自动识别的正则表达式标签的统称，工具已内置部分常用正则表达式标签库，用户通过可视化图形界面可以自定义扩充正则魔方库。对使用用户而言，用户把正则魔方标签动态添加到配制规则中，而不需关心正则表达式标签的具体实现。

【定义4】向导式配制

向导式配制是指在可视化操作下，下一步的配制页面元素是根据上一步的配制所决定的。

随着计算机网络和通信网络的快速发展，各行各业的生产和管理***的设备数量也迅速增加，给各行业的***运营增加了维护成本，当某个设备节点出现故障或隐患时，往往要耗费维护人员大量的时间去查看和分析***的告警和日志中的具体信息来定位问题。

目前，维护人员在收到故障告警信息后，维护人员通常是先通过网管检查设备告警和各种性能指标的情况，根据经验一步步排查可疑故障点，同时还需要登录设备通过人机指令交互得到日志结果再做进一步分析后才能找到问题点。一般情况下，维护人员在解决故障隐患的时候往往先要耗费70％以上的时间去定位问题，耗时的环节主要有人机交互、日志分析、数据分析、逻辑判断等。在问题定位过程中，技术人员的日志分析能力和经验对问题处理的时间控制起到了决定性作用。

为了能提升***日志解析能力，一般都需要在***里增加一些专家***的功能，让专家***能进行日志自动解析的功能，但目前专家***的开发一般需要***设备厂家支持，而且***内置的专家***日志解析功能往往受到设备厂家开发档期的限制，无法及时满足设备维护人员的个性化和临时的需求。

现阶段也出现了一些非原设备厂商提供的日志解析工具，如“日志易”等，但日志易的日志解析方法主要是通过正则表达式实现的。正则表达式是一种使用单个字符串来描述、匹配一系列符合某个语法的规则，在很多文本编辑器里，正则表达式通常被用来检索、替换那些符合某个模式的文本。使用正则表达式是要经过专门培训并且有一定门槛的，一般有计算机基础的人学习起来比较容易，但对于非计算机专业的人使用起来就比较困难，如果要各行各业的设备维护人员都要学习正则表达式才能解析日志，从而用于后续操作，这样不但工作量大而且较难推广。

为了能够让设备维护人员更加方便地解析设备日志，并应用到专家***(外部***)的智能操作中，我们为设备维护人员和设备厂家提供了一种操作简单的、可视化的、利于智库建设的、向导式的操作方式，并且能够自定义日志解析规则并自动解析日志的方法和工具。该工具对内外部***提供了多种访问接口，可以作为设备维护人员自行开发的专家***的组件，也可以作为设备原厂家提供的专家***中的组件。

该工具不仅适用于实时与准实时日志，还适用于各类文本(例如：TXT、XLS、XLSX、LOG文件、关系与非关系型数据库存储等等)，结构化与非结构化数据。

【发明内容】

能自定义日志解析规则并自动解析日志的方法和工具，其发明的目的在于，能为使用者提供一种操作简单的、可视化的、利于智库建设的、向导式的操作方式，并且能自定义日志解析规则并自动解析日志的方法和工具，从而提高日志解析的效率。

该工具的主要组成部分有：智库管理模块、规则配制模块、条件自定义模块、正则魔方模块、规则解析引擎、规则执行引擎等等。

1、智库管理模块

基于大数据分析计算，工具根据用户历史使用情况，自动的把使用比较频繁的规则模版及正则魔方进行标记，智能的进行业务知识与经验的共享并减少重复建设。

2、规则配制模块

基于向导式的规则配制，按步骤引导用户进行日志格式化配置与日志解析规则配置。在配制的过程中，用户可对样例数据进行解析预览，减少失误，提高工作效率(方便用户实时的对配制规则进行验证)。

3、条件自定义模块

工具自动根据规则模版，动态加载备选判断条件列表。用户可对备选条件列表中的条件进行自由的组合判断，以达到解析日志结果的目的。

4、正则魔方模块

正则魔方中的正则标签库，是对常规的正则表达式进行了封装和标签化，并实现统一管理。正则魔方内置了部分常用正则标签，并支持用户自定义正则标签。正则魔方可灵活应用于任何文本解析的场景。

5、规则解析引擎

自动解析第2点中配置的规则模板，将规则模板转换成后台解析的执行代码，并将代码转发给第6点的规则执行引擎去执行。

6、规则执行引擎

基于第5步生成的日志解析执行代码，进行日志解析，并返回解析结果。

【附图说明】

图1是规则库配制流程示意图：

图2是自定义日志结构并自动解析日志工具的功能架构图：

【具体实施方式】

下面通过实例详细说明具体实施方式，选择最常用的配制解析规则来进行说明。所涉及的实例仅用于解析本发明，并非用于限定本发明的范围。本发明适用范围包括但不限于实例所涉及的范围。

具体实例方式涉及2个场景的配制过程：“二维表结果判断”和“匹配关键字判断”。

【配制流程A】自定义***日志结构-二维表结果判断

步骤1：

用户在工具上新建规则模版，进入解析规则模板配置向导界面。

步骤2：

在配制解析规则界面，选择“二维表结果判断”(默认不选，不选代表不需格式化日志结果。)

步骤3：

在格式化二维表配制界面，配制格式化二维表的规则，配制项主要包括：从第几行开始解析、总共有多少列、列分隔符、是否对结果排序、是否启用高级配制、效果预览等等。

步骤4：

在判断规则选择界面，***根据步骤2的选择结果，自动选择“判断二维表结果”作为判断规则。

步骤5：

在配制二维表结果界面，配制二维表结果的判断规则，主要配制项为：变量配制、动态规则配制、条件满足时输出配制、解析结果预览等等。

步骤6：

保存入库完成二维表结果规则模版配置。

【配制流程B】自定义***日志结构-匹配关键字判断

步骤1：

用户在工具上新建规则模版，进入解析规则模板配置向导界面。

步骤2：

在配制解析规则界面，配制日志格式化规则，不勾选(默认不选，不选代表不需格式化日志结果。)

步骤3：

在判断规则选择界面，选择“匹配关键字判断”。

步骤4：

在匹配关键字判断界面，配制匹配关键字判断规则，主要配制项为：关键字、样例数据、匹配结果、条件满足时输出配制等等。

步骤5：

保存入库完成匹配关键字判断模版配置。

上述过程可参考图1。

Claims (6)

1.一种自定义***日志结构，其特征在于可视化的、操作简单的、动态智库建设的，向导式的规则配制、自动解析与执行工具。

2.根据权利要求1所述的可视化的、向导式的操作方式，其特征在于根据用户服务请求，配制规则库与正则魔方库支持内外部***的单条或批量动态扩充，以达到经验与知识的共享。

3.根据权利要求1所述的自动解析，其特征在于根据用户服务请求，工具自动解析配置模版信息，配置模版可来自于内部配置规则库，也可来自外部***的请求数据，一次可以解析一条或一批配置数据。

4.根据权利要求1所述的自动执行，其特征在于根据用户服务请求，工具自动执行已经解析的配置模版信息，执行可来自于内部请求，也可来自外部***的请求，一次可以执行一条或一批配置数据。

5.根据权利要求1所述的智库建设，其特征在于工具根据用户历史数据，基于数据分析(普通分析或大数据分析)，自动的把一些使用比较频繁的规则模版及正则魔方进行标记，智能的进行业务知识与经验的共享。

6.上述内容可能使用了一些出于简化描述的目的而设的专门的概念，具体定义如下：

【定义1】工具

这里所说的工具是指自定义***日志结构并自动解析日志的方法和工具。

【定义2】等等

等等是举例说明项，但是内容包含但不限定于此发明的范围。

【定义3】正则魔方

正则魔方是工具能够自动识别的正则表达式标签的统称，工具已内置部分常用正则表达式标签库，用户通过可视化图形界面可以自定义扩充正则魔方库。对使用用户而言，用户把正则魔方标签动态添加到配制规则中，而不需关心正则表达式标签的具体实现。

【定义4】向导式配制

向导式配制是指在可视化操作下，下一步的配制页面元素是根据上一步的配制所决定的。