CN102480383A

CN102480383A - 一种日志消息报文处理方法及装置

Info

Publication number: CN102480383A
Application number: CN2010105661303A
Authority: CN
Inventors: 樊华恒; 梁冰; 朱以军
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Shenzhen Tencent Computer Systems Co Ltd
Priority date: 2010-11-23
Filing date: 2010-11-23
Publication date: 2012-05-30
Anticipated expiration: 2030-11-23
Also published as: CN102480383B

Abstract

本发明提供了一种日志消息报文处理方法及装置，本发明利用染色消息，对日志消息报文的染色字段符合染色消息的日志消息报文设置染色标志，而日志服务器在对接收到的日志消息报文进行染色插件处理时，仅仅针对染色标志显示为已进行染色处理且染色成功的日志消息报文进行相应处理，高效地实施了随时在线进行业务流程的跟踪，从而快速定位了问题的根源，并且不会对正常的业务流量造成冲击。

Description

一种日志消息报文处理方法及装置

技术领域

本发明涉及软件在线实时调试技术，尤指一种日志消息报文处理方法及装置。

背景技术

随着现代软件的快速发展以及业务***的复杂化，常常需要在线对***软件进行实时调试，以便追踪问题或者确认流程。但是在实际环境中，在线对***软件进行实时调试会带来以下问题：

海量调试信息的淹没：在线对***软件进行实时调试首先需要打开所有的调试信息，然后再找出所需要的信息。这种操作无异于海底捞针，而且在打开调试信息时，会严重影响到***的整体性能，极端情况下可能导致设备重启，这种操作对于正在提供服务的设备来讲，基本是不可接受的。

海量信息的分布存储：即使打开了调试，但是，由于现代软件越来越趋向于分布式接入，这就意味着，调试中并不知道客户端的信息会什么时候在哪台设备上登录，换句话讲就是后台服务器有N台，来自客户端的一个请求有可能落到任意一台服务器上，这样，在出现问题时，需要一台一台地登录到服务器确认到底信息存储在哪些服务器上，然后，才能再对这几台服务器进行调试，而且在调试过程中，信息可能还在变化，导致调试过程的不确定性。因此，分布式的信息让记录以及后续的处理都增加了相当大的成本。

发明内容

有鉴于此，本发明的主要目的在于提供一种日志消息报文处理方法及装置，能够仅对满足染色消息的染色关键字段的日志消息报文进行处理，高效地实施了随时在线进行业务流程的跟踪。

为达到上述目的，本发明的技术方案是这样实现的：

一种日志消息报文处理方法，设置用于过滤不符合染色条件的日志消息报文的染色消息，该方法还包括：

比较染色消息与日志消息报文的染色字段，在染色字段符合染色消息时，设置染色标志；

输出设置有染色标志的日志消息报文。

所述比较染色消息与日志消息报文的染色字段之前，该方法还包括：生成所述日志消息报文；

所述日志消息报文包括：染色标志，用于标识所述日志消息报文是否是染色且染色成功的日志消息报文；以及，

染色字段，用于用户自定义的日志区域。

所述日志消息报文还包括：用于记录所述日志消息报文的生成次序的序列号。

所述染色消息中的过滤条件包括染色关键字以及染色动作。

所述设置染色标志包括：

所述日志消息报文的染色字段与染色消息一致，或所述日志消息报文的染色字段包含有染色消息中的染色关键字时，确定所述染色字段符合染色消息，将所述日志消息报文中的染色标志设置为表示该日志消息报文已进行过染色且染色成功。

所述设置染色标志还包括：

所述日志消息报文的染色字段与染色消息不一致，或者所述日志消息报文的染色字段未包含有染色消息中的染色关键字时，确定所述染色字段不符合染色消息，将所述日志消息报文中的染色标志设置为表示该日志消息报文已进行过染色但染色失败。

所述设置染色标志之后，输出设置有染色标志的日志消息报文之前，该方法还包括：

所述设置有染色标志的日志消息报文与预先设置的默认消息等级进行比较，将小于设定级别的日志消息报文发送到日志服务器。

该方法之前还包括：用户输入的染色开启指令，或配置染色开启指令信息；同时，

设置染色控制标记，用于指示将接收到的染色后的日志消息报文存储到染色文件中，和/或输出在日志服务器的屏幕上。

一种日志消息报文处理装置，包括设置模块、处理模块和输出模块，其中，

设置模块，用于在得到染色开启指令后，设置染色消息；

处理模块，用于在得到染色开启指令时，比较染色消息与来自构建模块的日志消息报文的染色字段，在染色字段符合染色消息时，为该日志消息报文设置染色标志，并将设置有染色标志的日志消息报文输出给输出模块；

输出模块，用于输出设置有染色标志的日志消息报文。

还包括生成模块，用于生成所述日志消息报文。

所述染色消息包括染色关键字和染色动作；

所述处理模块，具体用于在所述日志消息报文的染色字段与染色消息一致，或所述日志消息报文的染色字段包含有染色消息中的染色关键字时，确定所述染色字段符合染色消息，将所述日志消息报文中的染色标志设置为表示该日志消息报文已进行过染色且染色成功。

所述处理模块，还用于在未得到染色开启指令时，将来自生成模块的日志消息报文直接输出给输出模块。

所述输出模块，还用于将未进行过染色处理的日志消息报文，与设定的默认消息等级进行比较，并将小于设定级别的日志消息报文输出到日志服务器。

从上述本发明提供的技术方案可以看出，本发明利用染色消息，对日志消息报文的染色字段符合染色消息的日志消息报文设置染色标志，而日志服务器在对接收到的日志消息报文进行染色插件处理时，仅仅针对染色标志显示为已进行染色处理且染色成功的日志消息报文进行相应处理，高效地实施了随时在线进行业务流程的跟踪，从而快速定位了问题的根源，并且不会对正常的业务流量造成冲击。

附图说明

图1为本发明日志消息报文处理方法的流程图；

图2为本发明日志消息报文处理装置的组成结构示意图；

图3为本发明日志消息报文处理的实施例的流程示意图；

图4为本发明对染色后的日志消息报文进行处理的实施例的而流程图。

具体实施方式

图1为本发明日志信息处理方法的流程图，如图1所示，包括以下步骤：

步骤100：设置包括染色关键字和染色动作的染色消息。

染色消息，用于过滤不符合染色条件的日志消息报文，其中染色条件可以用染色(Color)关键字以及染色动作来表示，染色消息的格式可以如下：

[Color]

＞1234

＝1234

＜1234

[Color]

Equal test string

Contain test string

其中，Color关键字用于定义一个段，一个段是一个或者多个规则的集合，上面的例子里就定义了两个Color段，换句话讲，就是定义了两个规则集合。段与段之间是或的关系，也就是说，只需要满足其中的一个段里的规则集，那么，就表示染色成功。

而每一个段里面的规则集是与的关系，也就是说，一个段里的所有规则必须全部满足才算这个段检查通过。

规则检查支持上述5种操作符(即染色动作)，其中大于符＞，小于符＜，和等于符＝，应于数值类型的比较，例如：

[Color]

＞1

＜10

这个规则集表示大于1，小于10的数字。

[Color]

＞1

这个规则集仅仅表示大于1的数字。

另外，规则制定可能出现空集，例如：

[Color]

＞10

＝5

这个规则集就是一个空规则集，本段都满足不了。除非还有其他段的规则，否则染色总是失败。

操作符相等(Equal)和包含(Contain)用于字符串的比对。其中，Equal用于精确的字符串比较，两者只有完全一致，检查才通过；而Contain则用于字符串的包含，只要指定的字符串包含在染色字符串之内，则检查通过。对Equal和Contain的使用举例说明如下：

[Color]

Equal test string

这样，在日志消息报文的染色字段必须也是test string，检查才通过，否则染色失败。

[Color]

Contain test string

上面的规则只要求日志消息报文的染色字段中包含有test string即认为染色成功，否则染色失败。

步骤101：比较染色消息与日志消息报文的染色字段，在染色字段符合染色消息时，设置染色标志。

当按照染色消息进行比对后，如果日志消息报文的染色字段与染色消息一致，或者日志消息报文的染色字段包含有染色消息中的染色关键字，则确定染色字段符合染色消息，即染色成功，将日志消息报文中的染色标志设置为表示该日志消息报文已进行过染色且染色成功；如果日志消息报文的染色字段与染色消息不一致，或者日志消息报文的染色字段未包含有染色消息中的染色关键字，则确定染色字段不符合染色消息，即染色失败，将日志消息报文中的染色标志设置为表示该日志消息报文已进行过染色但染色失败。

步骤102：输出设置有染色标志的日志消息报文。之后，还包括对设置有染色标志的日志消息报文进行打印输出处理等。

本步骤包括：检查日志消息报文中的Color标志，如果这个字段被设置为真(1)，那么，表明该日志消息报文是被染色且染色成功的，需要特殊处理：染色插件将该日志消息报文保存到染色文件中，同时，检测是否开启了屏幕输出，如果屏幕输出打开，将这条染色消息在服务器的屏幕上打印，这样，方便了维护人员实时的跟踪查看，定位问题。

需要说明的是，不论染色成功还是失败，都只是在日志消息报文中的染色字段设置特定的标志，日志服务器在进行后续的处理。本发明染色过程可以在日志客户端实现，也可以在日志服务器实现。

当染色过程在日志客户端实现，进一步地，本发明方法之前或之后还包括：在日志客户端，染色完毕的报文还需要与本地设定的默认消息等级进行比较，小于设定级别的日志消息报文才会被发送到日志服务器。

当染色过程在日志服务器实现时，日志客户端只需在生成日志消息报文时增加染色字段及染色标志即可，其它处理与现有技术一致。关于日志消息报文的构成请参见下文详细描述。

当染色过程在日志服务器实现时，或者，染色业务未开启时，日志客户端的处理大致包括：接收从用户程序输出的日志信息，按照默认的日志等级控制日志消息报文的输出。比如：日志消息报文总共有8个等级，级别越高，优先级越低，默认等级是4，那么，大于等于4的日志消息报文都会在日志客户端就被丢弃，只有低于4的才会送到远端的日志服务器。具体送到哪台日志服务器，由本地日志客户端的路由策略决定，选择和地址最精确匹配的日志服务器上报日志，具体实现属于本领域技术人员惯用技术手段，这里不再赘述。

另外，日志客户端在生成日志消息报文时，将序列号、进程等信息添加在生成的日志消息报文中。本发明中，对于日志客户端和日志服务器之间的日志格式进行了格式化，详细的格式可以如下(需要说明的是，这里仅是举例说明，并不用于限定本发明的保护范围)：

<sequence><timestamp><color><ipaddress><process><severity><customs>:<message body>，其中，

Sequence为序列号，用于记录本条日志的本地生成次序。由于现有时间戳记录可能精度不够高，另外通过网络传输，日志消息报文的序列有可能发生变化，所以，通过日志消息报文的序列号可以准确地定位日志消息报文产生的先后次序。需要说明的是，如果不考虑更高的精度的话，在生成日志消息报文时，可以不加入Sequence。

Timestamp为时间戳，用于记录本条日志的本地生成时间。

Color为染色标志，用于通知日志服务器，本日志消息报文是否是染色且染色是否成功的日志消息报文。

Ipaddress用于记录客户端本地的网络地址。当为多个时，则选取发送网卡的地址。

Process为进程名称，用于标志发送本条日志消息报文的进程名称。

Severity为严重级别，用于标志本条日志的重要程序。

Customs为染色字段，为用户自定义的日志区域，这个区域和后续的染色过程紧密相关。

Message body为日志正文，用于记录日志部分。

通过本发明方法可见，染色实际上就是仅对满足染色消息的染色关键字段的日志消息报文进行染色处理，高效地实施了随时在线进行业务流程的跟踪。比如：某个客户端出现异常，只要开启针对该客户端特征的染色处理，就能获得唯一客户端的所有业务活动数据记录，从而快速定位问题的根源，并且不会对正常的业务流量造成冲击。

针对本发明方法，还提供一种日志信息处理装置，如图2所示，包括包括设置模块、处理模块和输出模块，其中，

设置模块，用于在得到染色开启指令后，设置染色消息；

输出模块，用于输出设置有染色标志的日志消息报文。

本发明装置还包括生成模块，用于生成所述日志消息报文。

其中，所述染色消息包括染色关键字和染色动作；所述处理模块，具体用于在所述日志消息报文的染色字段与染色消息一致，或所述日志消息报文的染色字段包含有染色消息中的染色关键字时，确定所述染色字段符合染色消息，将所述日志消息报文中的染色标志设置为表示该日志消息报文已进行过染色且染色成功。

下面结合实施例，对本发明方法进行详细描述。

图3为本发明日志消息报文处理的实施例的流程示意图，本实施例中，假设染色处理在日志客户端完成，如图3所示，包括：

步骤300：生成日志消息报文。本步骤中，按照本发明日志客户端和日志服务器之间的日志格式进行格式化，生成日志消息报文。

步骤301：判断是否开启染色，如果是进入步骤302；否则进入步骤304。本步骤中，可以为染色设置一个染色级别，这个级别可以比默认级别大一些，比如默认别为4，染色级别可以设置为6、8等，目的就是为了保证尽可能多的日志消息报文能够参与染色过程。

本步骤中，如果用户输入的一个染色开启指令，或者用户配置的一个染色开启指令信息，则判定开启了染色。具体实现可以采用很多现有技术手段，是本领域技术人员容易实现的，这里不再赘述，且其具体实现方式也不用于限定本发明的保护范围。

步骤302：设置染色消息。

包括染色关键字和染色动作，其中染色关键字即为一系列规则集，染色动作可以采用操作符来体现，比如大于符＞、小于符＜、等于符＝、Equal和Contain等。

步骤303：根据日志消息报文是否符合染色消息设置染色标志。

本步骤具体包括：比较染色消息与日志消息报文的染色字段，在染色字段符合染色消息时，设置染色标志为已进行染色处理且染色成功，如设置为真；在染色字段不符合染色消息时，设置染色标志为已进行染色处理但染色失败，如设置为假。

步骤304：上报小于预设默认级别的日志消息报文，丢弃不小于预设默认级别的日志消息报文。

本步骤中，不论日志报文是否经过染色处理，或者是否染色成功，都会被默认级别再进行一次过滤，保证优先级较高的日志消息报文进入后续处理。

需要说明的是，日志客户端本地可能同时有多个进程调用日志客户端，本领域技术人员知道，在日志客户端有唯一的守护进程监听，其他调用进程通过共享内存将处理完毕的日志消息报文发送给日志客户端，最后由日志客户端汇总后发送到日志服务器。

日志客户端的守护进程将日志消息报文发送到日志服务器，日志服务器依次调用服务器的日志处理插件，对收到的日志消息报文进一步处理。这些日志处理插件包括普通的文件处理插件、数据库插件、染色插件等。

如果染色插件被加载，那么，其在日志服务器的守护进程的调度下，对收到的日志消息报文进行处理。首先检查日志消息报文的Color(染色)标志，如果被设置为真(如)，则表明这个日志消息报文被染色且染色成功，需要特殊处理。此时，染色插件会将该日志消息报文保存到染色文件中，同时检测是否开启了屏幕输出，并在屏幕输出打开时，将这条染色后的日志消息报文在日志服务器的屏幕上打印出来，这样方便了维护人员实时的跟踪查看、定位问题。图4为本发明对染色后的日志消息报文进行处理的实施例的而流程图，如图4所示，具体包括以下步骤：

步骤400～步骤401：日志服务器收到日志消息报文后，假设调用染色插件对接收到的日志消息报文进行进一步处理。

步骤402：判断接收到的日志消息报文中的染色标志是否显示为已进行染色且染色成功，如果是进入步骤403；否则进入步骤405。

步骤403：将接收到的日志消息报文保存到染色文件中。

步骤404：在屏幕输出打开时，将接收到的染色后的日志消息报文打印到屏幕上。本步骤包括：检测是否开启了屏幕输出，如果开启，将这条染色后的日志消息报文在日志服务器的屏幕上打印出来，这样方便了维护人员实时的跟踪查看、定位问题。结束对一次日志处理插件的处理过程。

需要说明的是，在用户开启染色时，可以同时设置染色控制标记，用于指示将接收到的染色后的日志消息报文存储到染色文件中，和/或输出(也称为打印)在日志服务器的屏幕上。本实施例中以设置的染色控制标志为将接收到的染色后的日志消息报文存储到染色文件中，同时输出在日志服务器的屏幕上。

步骤405：调用下一个插件处理。表明结束当前日志处理插件的处理过程，开始新一次的日志插件处理的过程。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种日志消息报文处理方法，其特征在于，设置用于过滤不符合染色条件的日志消息报文的染色消息，该方法还包括：

输出设置有染色标志的日志消息报文。

2.根据权利要求1所述的日志消息报文处理方法，其特征在于，所述比较染色消息与日志消息报文的染色字段之前，该方法还包括：生成所述日志消息报文；

染色字段，用于用户自定义的日志区域。

3.根据权利要求2所述的日志消息报文处理方法，其特征在于，所述日志消息报文还包括：用于记录所述日志消息报文的生成次序的序列号。

4.根据权利要求2或3所述的日志消息报文处理方法，其特征在于，所述染色消息中的过滤条件包括染色关键字以及染色动作。

5.根据权利要求4所述的日志消息报文处理方法，其特征在于，所述设置染色标志包括：

6.根据权利要求5所述的日志消息报文处理方法，其特征在于，所述设置染色标志还包括：

7.根据权利要求1或2所述的日志消息报文处理方法，其特征在于，所述设置染色标志之后，输出设置有染色标志的日志消息报文之前，该方法还包括：

8.根据权利要求1或2所述的日志消息报文处理方法，其特征在于，该方法之前还包括：用户输入的染色开启指令，或配置染色开启指令信息；同时，

9.一种日志消息报文处理装置，其特征在于，包括设置模块、处理模块和输出模块，其中，

设置模块，用于在得到染色开启指令后，设置染色消息；

输出模块，用于输出设置有染色标志的日志消息报文。

10.根据权利要求9所述的日志消息报文处理装置，其特征在于，还包括生成模块，用于生成所述日志消息报文。

11.根据权利要求9或10所述的日志消息报文处理装置，其特征在于，所述染色消息包括染色关键字和染色动作；

12.根据权利要求9或10所述的日志消息报文处理装置，其特征在于，所述处理模块，还用于在未得到染色开启指令时，将来自生成模块的日志消息报文直接输出给输出模块。

13.根据权利要求9或10所述的日志消息报文处理装置，其特征在于，所述输出模块，还用于将未进行过染色处理的日志消息报文，与设定的默认消息等级进行比较，并将小于设定级别的日志消息报文输出到日志服务器。