CN101697520A - 一种***日志的处理方法和装置 - Google Patents
一种***日志的处理方法和装置 Download PDFInfo
- Publication number
- CN101697520A CN101697520A CN200910210934A CN200910210934A CN101697520A CN 101697520 A CN101697520 A CN 101697520A CN 200910210934 A CN200910210934 A CN 200910210934A CN 200910210934 A CN200910210934 A CN 200910210934A CN 101697520 A CN101697520 A CN 101697520A
- Authority
- CN
- China
- Prior art keywords
- trap
- parameter value
- module
- syslog
- system journal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种***日志的处理方法,包括:当需要分析的***日志输入后,根据匹配规则对所述***日志进行匹配,并在匹配成功后,从所述***日志中提取参数值;对所述参数值进行统计,并根据统计结果判断是否需要产生Trap;当判断结果为需要产生Trap时,根据所述***日志生成Trap,并将所述生成的Trap发送给对应的组件。本发明中,提高了Syslog的使用效率和分析能力,并且通过将Trap和其它组件进行联动,实现了主动管理的目的。本发明中同样提供了一种对应于上述方法的装置。
Description
技术领域
本发明涉及通信技术领域,特别是涉及一种***日志的处理方法和装置。
背景技术
在现有的IT***中,一般都会有Syslog(***日志),通过使用该Syslog,可以记录***的运行情况,对于***的维护起着重要的作用。其中,Syslog可以记录***中硬件、软件和***问题的信息,并监视***中发生的各类事件,用户可以通过使用Syslog来寻找问题发生的原因,从而使得Syslog在网络管理***中受到了越来越多的关注。
然而,由于Syslog需要记录***中发生的各类事件,导致记录的内容非常琐碎,在网络管理***中,网管人员只是在发现问题后,才会分析Syslog,并根据Syslog寻找出现问题的原因。
对于复杂的网络环境来说,由于存在大量设备,产生Syslog的数量也很大,而且由于Syslog被保存的时间有限,从而会导致关键事件被其他事件自动覆盖掉。因此,在网络管理***中,Syslog并不能有效的辅助网管人员对***进行Trap(告警),并节约网管人员定位问题所使用的时间。
此外,由于IT***中不同设备之间的Syslog形式差异很大,当前分析***不能适应Syslog形式差异的复杂性,只能处理特定的Syslog,而且该处理过程只是简单的检测特征文本,即当前分析***处理结果的准确性较低且缺乏灵活性,不能发挥Syslog强大的分析作用,当发生故障时,也不能有效的利用Syslog来分析问题的原因。
为了解决上述问题,分析***需要能够深度分析Syslog,并从大量的Syslog中提取自身关心的特征值。而对于提取后的特征值,分析***还需要能够根据自身需要进行统计分析,自动产生Trap,并将产生的Trap反馈给网络管理***中的其它组件(例如,告警组件、安全组件等),由各个组件进行联动,从而实现网络管理***中的告警、防御等过程,并达到实现主动管理的目的。
现有技术中,对syslog进行深度分析,从大量的Syslog中提取特征值,并根据特征值产生Trap的方式包括:
(1)通过Syslog的摘要(Digest)来区分Syslog,统计Syslog的发生次数,并由网管人员根据Syslog的发生次数来决定是否产生Trap。
但是,对于大多数Syslog来说,并没有摘要信息,只有少数设备上的Syslog具有摘要信息,因此,通过使用Syslog的摘要来区分Syslog,只能适用于少数的设备,使用范围具有很大的局限性。
(2)通过使用正则表达式对Syslog进行匹配,并根据匹配结果从大量的Syslog中提取出关键数据。例如,用户可以通过设置正则匹配表达式为“(?=.*session)(=.*root)”,来匹配与“***登录”对应的Syslog。
但是,在使用正则表达式对Syslog进行匹配时,同样具有很大的局限性。首先,不能准确的过滤出自身需要的Syslog,例如,如果Syslog不是用户关心的,而该Syslog中同时存在了“session”和“root”字符串时,同样会发生匹配,而此时的匹配结果并不是用户所需要的。其次,可能会无法从Syslog中提取到特征值,例如,Syslog的文本为“session opened by root from10.153.89.1”,如果用户需要得到的特征值为发起session的IP地址时,则不能通过使用正则表达式获得特征值。
此外,在无法通过使用正则表达式提取到特征值时,产生Trap的统计算法只是对符合条件的Syslog进行累加,当累加的数量达到设定的阈值时,则发送Trap,此时,该Trap中不能携带具体的细节,对于Trap的接收者来说,该Trap的可用性非常低。
发明内容
本发明提供一种***日志的处理方法和装置,以提高IT***中Syslog的使用效率和分析能力。
为了达到上述目的,本发明提出了一种***日志的处理方法,应用于预先设置了Syslog升级为Trap的各项规则的网络设备中,所述方法包括以下步骤:
当需要分析的***日志输入后,根据所述Syslog升级为Trap的匹配规则对所述***日志进行匹配,并在匹配成功后,从所述***日志中提取参数值;
对所述参数值进行统计,并根据统计结果判断是否需要产生Trap;
当判断结果为需要产生Trap时,根据所述***日志生成Trap,并将所述生成的Trap发送给对应的组件。
所述预先设置的Syslog升级为Trap的各项规则中包括以下内容中的一种或几种:
匹配规则,时间窗,是否进行参数值匹配,统计方式,Trap阈值,是否全网分析,是否产生恢复Trap。
所述匹配规则中包含了前导字符串、后导字符串、参数名称和参数值的四元组,
对所述***日志进行匹配具体包括:
解析所述匹配规则,并从所述匹配规则中获取前导字符串、后导字符串和参数名称;
通过使用所述前导字符串、后导字符串和参数名称对所述***日志进行匹配。
从所述***日志中提取参数值之后,还包括:
存储所述从***日志中提取的参数值,为所述参数值设置时间窗;并在所述参数值超出所述时间窗的范围时,删除所述参数值。
对所述参数值进行统计,并根据统计结果判断是否需要产生Trap具体包括:
对位于所述时间窗范围内的参数值进行统计,并在所述参数值中某个值的发生次数累计达到预设的第一Trap阈值时,判断需要产生Trap;否则,判断不需要产生Trap;或者,
对位于所述时间窗范围内的参数值进行统计,并在所述参数值中所有值的发生次数累计达到预设的第二Trap阈值时,判断需要产生Trap;否则,判断不需要产生Trap。
当需要产生恢复Trap时,将所述生成的Trap发送给对应的组件之后,还包括:
在对位于时间窗范围内的参数值进行统计时,如果根据统计结果判断出不需要产生Trap,生成恢复Trap,并将所述恢复Trap发送给所述对应的组件。
一种应用于上述方法的装置,应用于预先设置了Syslog升级为Trap的各项规则的网络设备中,所述装置包括:
设置模块,用于设置所述Syslog升级为Trap的各项规则;
匹配提取模块,与所述设置模块连接,用于当需要分析的***日志输入后,根据所述设置模块设置的Syslog升级为Trap的匹配规则对所述***日志进行匹配;并在匹配成功后,从所述***日志中提取参数值;
统计模块,与所述设置模块和所述匹配提取模块分别连接,用于根据所述设置模块设置的统计方式,对所述参数值进行统计,并根据所述统计结果判断是否需要产生Trap;
处理模块,与所述设置模块和统计模块分别连接,用于在判断结果为需要产生Trap时,根据所述***日志生成Trap,将所述生成的Trap发送给对应的组件。
所述Syslog升级为Trap的各项规则中包括以下内容中的一种或几种:
匹配规则,时间窗,是否进行参数值匹配,统计方式,Trap阈值,是否全网分析,是否产生恢复Trap;其中,
所述匹配规则中包含了前导字符串、后导字符串、参数名称和参数值的四元组。
所述匹配提取模块具体包括:
解析子模块,用于解析所述匹配规则,并从所述匹配规则中获取前导字符串、后导字符串和参数名称;
匹配子模块,与所述解析子模块连接,用于通过使用所述前导字符串、后导字符串和参数名称对所述***日志进行匹配;
提取子模块,与所述匹配子模块连接,用于在匹配成功后,从所述***日志中提取参数值。
所述统计模块具体包括:
存储子模块,用于存储所述匹配提取模块从所述***日志中提取的参数值;
删除子模块,与所述存储子模块连接,用于在所述参数值超出所述时间窗的范围时,从所述存储子模块中删除所述参数值;
统计子模块,与所述存储子模块和处理子模块分别连接,用于对所述存储子模块中位于所述时间窗范围内的参数值进行统计,
在所述参数值中某个值的发生次数累计达到预设的第一Trap阈值时,判断需要产生Trap;否则,判断不需要产生Trap;或者,
在所述参数值中所有值的发生次数累计达到预设的第二Trap阈值时,判断需要产生Trap;否则,判断不需要产生Trap。
当需要产生恢复Trap时,
所述处理模块还用于,在对位于时间窗范围内的参数值进行统计时,如果根据统计结果判断出不需要产生Trap,生成恢复Trap,并将所述恢复Trap发送给所述对应的组件。
与现有技术相比,本发明具有以下优点:通过使用网管根据自身需要设置的匹配模板提取参数值,并根据该参数值进行统计,从而提高了IT***中Syslog的使用效率和分析能力,并且通过Trap和其它组件进行联动,实现了主动管理的目的。
附图说明
图1为本发明提出的一种***日志的处理方法流程图;
图2为本发明一种具体应用场景下提出的***日志的处理方法流程图;
图3为本发明提出的一种***日志的处理装置结构图。
具体实施方式
本发明的核心思想是由网管根据自身的实际需要设置匹配模板,并使用该匹配模板对需要分析的***日志进行匹配,在匹配成功后,提取***日志中的参数值。
进一步的,通过对提取到的参数值进行统计,并根据统计结果判断是否需要产生Trap,从而使得设备可以使用根据实际需要所设置的匹配模板来产生Trap,提高了IT***中Syslog的使用效率和分析能力,并且通过Trap和其它组件进行联动,实现了主动管理的目的。
如图1所示,为本发明提出的一种***日志的处理方法,应用于预先设置了Syslog升级为Trap的各项规则的网络设备中,所述方法包括以下步骤:
步骤101,当需要分析的***日志输入后,根据所述Syslog升级为Trap的匹配规则对所述***日志进行匹配,并在匹配成功后,从所述***日志中提取参数值。
其中,所述预先设置的Syslog升级为Trap的各项规则中包括以下内容中的一种或几种:匹配规则,时间窗,是否进行参数值匹配,统计方式,Trap阈值,是否全网分析,是否产生恢复Trap。
步骤102,对所述参数值进行统计,并根据统计结果判断是否需要产生Trap。
步骤103,当判断结果为需要产生Trap时,根据所述***日志生成Trap,并将所述生成的Trap发送给对应的组件。
为了更加清楚的说明本发明所提供的***日志的处理方法,以下结合一种具体的应用场景对本发明进行详细赘述。
如图2所示,该方法包括以下步骤:
步骤201,设置Syslog升级为Trap的各项规则。其中,Syslog升级为Trap的各项规则中包括但不限于匹配模板(或者称为匹配规则),时间窗,是否进行参数值匹配,统计方式,Trap阈值,是否全网分析,是否产生恢复Trap等信息。
具体的,以下对该匹配模板,时间窗,是否进行参数值匹配,统计方式,Trap阈值,是否全网分析,是否产生恢复Trap进行详细说明。
(1)匹配模板。匹配模板是网管人员根据实际需要任意设置的,通过使用该匹配模板,可以判断出要处理的Syslog是否能够和Syslog升级为Trap的规则相匹配,如果匹配时,则可以从Syslog中提取出匹配模板中所指定的参数值。其中,网管人员可以根据现有的日志和自身需要的参数值设置匹配模板。
例如,对于Arp Overspeed类的日志:
<182>Oct 1211:02:5219.82.2.20Arp 300:56:152000Monza_IRF%%10DHCP-SNP/5/arp_overspeed(1):-8-PacketLimit:ARP packet rate(35pps)exceeded on interface Ethernet8/0/18.The port will be down!
当网管人员需要的参数值为packet rate的值和inputDeviceIfDesc(即interface)的值时,网管人员可以将
PacketLimit:ARP packet rate($(Packet Rate))exceeded on interface$(inputDeviceIfDesc).The port will be down!
定义为匹配模板,在该匹配模板中,需要提取的参数值为Packet Rate的值和inputDeviceIfDesc的值。
综上可以看出,上述的匹配模板对网络设备(例如,交换机设备等)上产生的Arp Overspeed类的日志进行了匹配,而且该匹配模板中定义了两个参数值,分别为$(Packet Rate)和$(inputDeviceIfDesc),当Arp Overspeed类的日志完全可以和该匹配模板进行匹配时,则可以提取出Arp Overspeed类的日志中的关键字35pps和Ethernet8/0/18。
可见,本发明中,网管人员根据实际需要定义匹配模板,通过使用该匹配模板,可以精确的过滤出符合条件的Syslog,而且由于匹配模板中定义了需要提取的参数值,继而可以通过使用匹配模板提取出网管人员所需要的参数值。
(2)时间窗。在网络设备上,匹配模板处理syslog时一般都具有时效性,即通常需要对一段时间内的Syslog进行分析,本发明中,通过为Syslog设置时间窗,由时间窗来指定被处理syslog的有效时间,使得可以在该时间窗的范围内对Syslog进行分析,并提取出相应的参数值;而当超过时间窗后,该Syslog不再参与相应的处理过程。
(3)是否进行参数值匹配。在设置匹配模板的过程中,如果指定需要进行参数值匹配时,则从Syslog中提取的参数值还需要和对应的参数值匹配参数进行匹配,其中,该是否进行参数值匹配为可选的。
(4)统计方式。统计方式是指各参数值的统计方法,包括但不限于Top1统计方式,或汇总统计方式等;其中,当参数值的发生次数达到Trap的阈值后,则产生Trap,并发送给指定的接收者,该接收者可以为告警组件、安全组件等。
具体的,在使用Top1统计方式进行统计的过程中,对于某个参数值,可以指定该参数值的统计方式为Top1方式,即在预设的时间范围内,当参数值中某个值的发生次数累计达到预设的Trap阈值门限后,则需要产生Trap。
例如,对于上述的Arp Overspeed类的日志,Packet Rate为参数值,而对于该Packet Rate,有5pps、15pps、25pps、和35pps等数值,如果选择该数值35pps为上述的参数值中某个值,此时,需要对数值35pps的发生次数进行累加,假设预设的Trap阈值门限为大于50%,则统计过程中,在时间窗的范围内,如果获取到了100个参数值为Packet Rate的值,在100个Packet Rate中,只需要关心数值为35pps的数量(而不需要关心数值为5pps、15pps等的数量),如果数值为35pps的数量超过50个(Trap阈值门限大于50%)时,则需要产生Trap,否则,不需要产生Trap。
当然,在实际应用中,还可以对参数值中某段数值进行累加并判断是否到达Trap阈值门限,例如,将Packet Rate分段为0-5pps、5pps-15pps、15pps-25pps、25pps-35pps、以及大于35pps等几段;如果选择15pps-25pps为上述的参数值中某段数值,此时,需要对位于15pps-25pps之间的数值的发生次数进行累加,假设预设的Trap阈值门限仍然为大于50%,则统计过程中,在时间窗的范围内,如果获取到了100个参数值为Packet Rate的值,在100个Packet Rate中,只需要关心数值在15pps-25pps之间的数量(而不需要关心数值在0-5pps等时的数量),如果数值在15pps-25pps之间的数量超过50个时,则需要产生Trap,否则,不需要产生Trap。
另外,在使用汇总统计方式进行统计的过程中,对于某个参数值,可以指定该参数值的统计方式为汇总统计方式,即在预设的时间范围内,当参数值中所有值的发生次数累计达到预设的Trap阈值门限后,则需要产生Trap。
例如,对于上述的Arp Overspeed类的日志,Packet Rate为参数值,预设的Trap阈值门限为100,则统计过程中,在时间窗的范围内,如果获取到了100个参数值为Packet Rate的值时,则需要产生Trap;否则,当在时间窗的范围内,没有获取到100个参数值为Packet Rate的值时,则不需要产生Trap。与Top1统计方式不同的是,在使用汇总统计方式进行统计时,当获得PacketRate后,并不需要关心Packet Rate的值是多少,即不需要知道Packet Rate的值是5pps、还是15pps等,采用汇总统计方式时只需要知道一共获得了多少Packet Rate;而采用Top1统计方式时,还需要关心Packet Rate中某个值的信息。
当然,在实际应用中,并不局限于使用上述的TOP1统计方式和汇总统计方式进行统计,还可以使用的其他的方式进行统计,本发明中不在详加赘述。
(5)Trap阈值。Trap阈值为产生Trap时所使用的阈值,是根据实际需要任意设置的,例如,上述使用汇总统计方式进行统计时,Packet Rate对应的阈值门限100即该Trap阈值。
需要说明的是,在对参数值进行统计的过程中,为了能够区分Top1统计方式和汇总统计方式所使用的Trap阈值,本发明中,将Top1统计方式所使用的Trap阈值称为第一Trap阈值,将汇总统计方式使用的Trap阈值称为第二Trap阈值。例如,上述预设的Trap阈值门限为大于50%将对应于第一Trap阈值,而Trap阈值门限为100将对应于第二Trap阈值。
(6)是否全网分析。当需要全网分析时,需要综合考虑网络中所有设备,并进行分析;当不需要全网分析时,只需要对单独的网络设备进行分析。其中,该是否全网分析是可选的,本发明中以不需要全网分析为例进行说明。
(7)是否产生恢复Trap。当网络设备恢复时,需要产生恢复Trap时,即统计过程中获知需要产生Trap(在已经产生了Trap的基础上),则需要产生恢复Trap;而不需要产生恢复Trap时,当网络设备恢复时,不需要产生恢复Trap。其中,该是否产生恢复Trap是可选的。本发明中,以需要产生恢复Trap为例进行说明。
步骤202,解析Syslog升级为Trap的各项规则中的匹配模板,并分离出匹配模板中的组成元素。其中,通过使用网管人员预先设置的模板解析程序,即可以从匹配模板中分离出匹配模板中的组成元素。
具体的,一个匹配模板是由多个组成元素组成的,而每个元素都由一个四元组组成,其中,可以将该四元组定义为{前导字符串;后导字符串;参数名称;参数值}。
例如,对于上述的匹配模板
PacketLimit:ARP packet rate($(Packet Rate))exceeded on interface$(inputDeviceIfDesc).The port will be down!
对于元素Packet Rate来说,对应的前导字符串为ARP packet rate,后导字符串为exceeded on interface,参数名称为Packet Rate,参数值为具体的数值(例如,35pps等)。
步骤203,当需要分析的Syslog输入后,根据匹配模板中的元素进行匹配,并在匹配成功后,提取参数值。
具体的,当获知需要分析的Syslog后,需要使用该匹配模板中的四元组对Syslog进行匹配,即通过使用匹配模板中的前导字符串、后导字符串和参数名称匹配Syslog中是否相同的记录,当有相同的记录时,则说明匹配成功,此时,可以从Syslog中提取出参数值,该参数值的位置可以由前导字符串、后导字符串和参数名称的位置确定。当匹配不成功时,则说明该Syslog不是网管人员所关心的Syslog,可以不对该Syslog进行分析处理。
步骤204,当参数值提取成功后,将Syslog存储到缓存列表中,记录Syslog的时间,并存储从Syslog中提取的参数值。
具体的,本发明中,通过为每个参数建立哈希缓存,继而可以使用该哈希缓存存储从匹配成功的Syslog中所提取的参数值。例如,对于上述的参数Packet Rate,当Syslog与前导字符串ARP packet rate,后导字符串exceeded oninterface,和参数名称Packet Rate匹配成功后,则需要在Packet Rate对应的哈希缓存中记录对应的参数值(例如,35pps等)。
步骤205,对参数值进行统计,并根据统计结果判断是否需要产生Trap。其中,对参数值进行统计的方式可以为Top1统计方式,或者,汇总统计方式;该统计方式在上面的步骤中已经详细说明,本步骤中不再赘述。当判断结果为需要产生Trap时,转到步骤206,当判断结果为不需要产生Trap时,转到步骤207。
另外,在本步骤中,一并为Syslog设置了时间窗,如果Syslog记录的时间超出了时间窗时,则直接从缓存列表中删除该Syslog,对相应的参数值不进行统计。
步骤206,生成Trap,并将生成的Trap发送给对应的组件。其中,该组件可以为告警组件、安全组件等。
具体的,在生成Trap的过程中,为了使生成的Trap能够被其他组件有效的利用,在生成的Trap中需要充分体现Syslog的信息和Syslog升级为Trap的规则信息等。
本发明中,Trap中的字段包括:规则名称,描述信息,严重级别,分类,Syslog参数等信息;当然,实际应用中,Trap中的字段并不局限于此,可以根据实际的需要进行添加和调整,该Trap中的字段也可以是上述字段中的任意组合。
规则名称是现有Syslog的分类名称,例如,对于上述的Arp Overspeed类的日志,可知,Syslog的分类名称对应的数值为182,将182/8所得的商为Syslog的分类名称所对应的类型。其中,现有协议中,对Syslog共分成了22个类别,上述的Arp Overspeed类的日志对应着第22个类别;例如,Syslog的分类名称包括告警类别、故障类别等,本发明实施例中不再详加赘述。
描述信息是上述Syslog的分类所对应的信息,例如,当获知Syslog的分类名称为告警类别时,对应的描述信息为产生该告警类别的原因,在此不再详加赘述。
严重级别为网管人员根据参数值等信息进行设置的,可以根据自身的需要进行调整,例如,在使用TOP1统计方式时,对于Arp Overspeed类日志,当获取到了100个参数值为Packet Rate的值后,如果Packet Rate的值为35pps的数量超过50个,则严重级别为1级;当超过60个,则严重级别为2级;当超过70个,则严重级别为3级等。
分类是该Syslog所对应的类别信息,包括但不限于***信息、磁盘信息、调度信息等,例如,当获知Syslog是***类的日志时,则分类为***信息。
Syslog参数为匹配模板中设置的参数名称和参数值,通过使用该Syslog参数,告警组件、安全组件等可以获知该Trap的详细信息,继而可以根据该Trap进行相应的处理,该处理过程本发明中不再赘述。其中,该Syslog参数的字段格式为(参数1)=(值)&(参数2)=(值)...&(参数n)=(值)。
需要说明的是,本发明中,在需要产生恢复Trap的情况下,如果对参数值进行统计的过程中,根据统计结果获知参数值没有达到预设的Trap阈值门限,此时,不需要产生Trap,但是,还需要产生恢复Trap,并将该恢复Trap通知给对应的组件。其中,该恢复Trap与Trap类似,只是二者的Trap标识不同,继而使得对应的组件可以区分该恢复Trap,并进行相应的处理,在此不再详加赘述。
步骤207,不产生Trap,并继续等待。
其中,本发明中的步骤还可以根据实际的需要进行调整。
如图3所示,为本发明所提出的应用上述方法的装置,应用于预先设置了匹配模板的网络设备中,所述装置包括设置模块31、匹配提取模块32、统计模块33和处理模块34,其中,设置模块31和匹配提取模块32、统计模块33、处理模块34分别连接,该匹配提取模块32与统计模块33连接,该统计模块33与处理模块34连接。在该装置中,
设置模块31,用于设置Syslog升级为Trap的各项规则,其中,该Syslog升级为Trap的各项规则中的内容包括但不限于匹配规则,时间窗,是否进行参数值匹配,统计方式,Trap阈值,是否全网分析,是否产生恢复Trap等。
具体的,该设置模块31用于设置匹配规则,时间窗,是否进行参数值匹配,统计方式,Trap阈值,是否全网分析,是否产生恢复Trap等信息。其中,在设置模块31设置匹配规则的过程中,匹配规则在实际应用中,可以根据实际的需要由网络管理员任意进行设置,例如,可以根据现有的日志和需要的参数值设置匹配模板。在设置模块31设置时间窗的过程中,可以根据实际的需要为syslog设置时间窗的范围,以通过使用时间窗来指定被处理syslog的有效时间,使得可以在该时间窗的范围内对Syslog进行分析。在设置模块31设置统计方式的过程中,该设置模块31可以根据实际需要为Syslog设置Top1统计方式,或汇总统计方式;同样的,在设置统计方式时,设置模块31还需要为统计方式设置Trap阈值,例如,为Top1统计方式设置第一Trap阈值,为汇总统计方式设置第二Trap阈值。此外,该设置模块31还可以根据实际的需要设置是否进行参数值匹配、是否全网分析以及是否产生恢复Trap等信息,例如,当网络中的设备相关性很大时,该设置模块31可以设置全网分析的规则,继而可以综合考虑网络中的所有设备,并进行分析,以满足网管的需求。
匹配提取模块32,用于当需要分析的***日志输入后,根据所述设置模块31设置的Syslog升级为Trap的匹配规则对所述***日志进行匹配;并在匹配成功后,从所述***日志中提取参数值。
本发明中,该匹配提取模块32进一步包括:
解析子模块321,用于解析设置模块31设置的匹配规则,由于匹配规则是由多个组成元素组成的,而每个组成元素都由一个四元组组成,该四元组定义为{前导字符串;后导字符串;参数名称;参数值}。可以看出,该解析子模块321可以从匹配规则中获取到四元组中的前导字符串;后导字符串;参数名称等信息。具体地,该解析子模块321可以通过使用预设的模板解析程序从匹配模板中获取到对应的组成元素。
匹配子模块322,与该解析子模块321连接,用于通过使用解析子模块321从匹配模板中获取的前导字符串、后导字符串和参数名称对所述需要分析的***日志进行匹配。
具体的,当需要分析的***日志输入后,该匹配子模块322需要使用上述解析子模块321获得的前导字符串、后导字符串和参数名称对该***日志进行匹配;当***日志与前导字符串、后导字符串和参数名称有相同的记录时,则说明匹配成功;而当***日志与前导字符串、后导字符串和参数名称没有相同的记录时,则说明匹配不成功。
提取子模块323,与该匹配子模块322连接,用于在匹配成功后,从所述***日志中提取参数值。其中,当匹配子模块322匹配成功时,该提取子模块323可以从***日志中提取参数值,该参数值的位置可以由前导字符串、后导字符串和参数名称的位置确定。而当匹配子模块322匹配不成功时,则说明该***日志不是网管人员所关心的***日志,可以不对该***日志进行分析处理,提取子模块323不需要提取任何信息。
统计模块33,用于根据设置模块31设置的统计方式,对在时间窗内的所述参数值进行统计,并根据所述统计结果判断是否需要产生Trap。其中,设置模块31设置的统计方式包括但不限于Top1统计或者汇总统计。
本发明中,该统计模块33进一步包括:
存储子模块331,用于存储所述匹配提取模块32从所述***日志中提取的参数值。
具体的,该存储子模块331中为每个参数建立了哈希缓存,当匹配提取模块32从***日志中提取到参数值后,需要将该参数值存储到该存储子模块331中。
删除子模块332,与所述存储子模块331连接,用于在所述参数值超出所述时间窗的范围时,从所述存储子模块331中删除所述参数值。其中,该时间窗的范围是由设置模块31设置的。
统计子模块333,与所述存储子模块331和处理子模块332分别连接,用于对所述存储子模块331中位于所述时间窗范围内的参数值进行统计,在采用Top1对所述参数值进行统计的过程中,所述统计子模块333对所述参数值中某个值发生次数进行统计,当累计达到预设的第一Trap阈值时,判断需要产生Trap;否则,判断不需要产生Trap。在采用汇总方式对所述参数值进行统计的过程中,所述统计子模块333对所述参数值中的所有值发生次数进行统计,当累计达到预设的第二Trap阈值时,判断需要产生Trap;否则,判断不需要产生Trap。
需要说明的是,所述统计方式、所述时间窗以及Trap阈值(第一Trap阈值和第二Trap阈值)都是通过设置模块31进行设置的。
处理模块34,用于在判断结果为需要产生Trap时,根据所述***日志生成Trap,将所述生成的Trap发送给对应的组件。其中,该Trap中的字段包括以下内容中的一种或几种;规则名称;描述信息;严重级别;分类;***日志参数。
进一步的,当设置模块31设置了需要产生恢复Trap时,在将所述生成的Trap发送给对应的组件的基础上,在对位于时间窗范围内的参数值进行统计时,如果根据统计结果判断出不需要产生Trap,所述处理模块34还需要生成恢复Trap,并将所述恢复Trap发送给所述对应的组件。
其中,本发明装置的各个模块可以集成于一体,也可以分离部署。上述模块可以合并为一个模块,也可以进一步拆分成多个子模块。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可以通过硬件实现,也可以可借助软件加必要的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明所述的方法。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视本发明的保护范围。
本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本发明序号仅仅为了描述,不代表实施例的优劣。
以上公开的仅为本发明的几个具体实施例,但是,本发明并非局限于此,任何本领域的技术人员能思之的变化都应落入本发明的保护范围。
Claims (11)
1.一种***日志的处理方法,其特征在于,应用于预先设置了Syslog升级为Trap的各项规则的网络设备中,所述方法包括以下步骤:
当需要分析的***日志输入后,根据所述Syslog升级为Trap的匹配规则对所述***日志进行匹配,并在匹配成功后,从所述***日志中提取参数值;
对所述参数值进行统计,并根据统计结果判断是否需要产生Trap;
当判断结果为需要产生Trap时,根据所述***日志生成Trap,并将所述生成的Trap发送给对应的组件。
2.如权利要求1所述的方法,其特征在于,所述预先设置的Syslog升级为Trap的各项规则中包括以下内容中的一种或几种:
匹配规则,时间窗,是否进行参数值匹配,统计方式,Trap阈值,是否全网分析,是否产生恢复Trap。
3.如权利要求2所述的方法,其特征在于,所述匹配规则中包含了前导字符串、后导字符串、参数名称和参数值的四元组,
对所述***日志进行匹配具体包括:
解析所述匹配规则,并从所述匹配规则中获取前导字符串、后导字符串和参数名称;
通过使用所述前导字符串、后导字符串和参数名称对所述***日志进行匹配。
4.如权利要求2所述的方法,其特征在于,从所述***日志中提取参数值之后,还包括:
存储所述从***日志中提取的参数值,为所述参数值设置时间窗;并在所述参数值超出所述时间窗的范围时,删除所述参数值。
5.如权利要求4所述的方法,其特征在于,对所述参数值进行统计,并根据统计结果判断是否需要产生Trap具体包括:
对位于所述时间窗范围内的参数值进行统计,并在所述参数值中某个值的发生次数累计达到预设的第一Trap阈值时,判断需要产生Trap;否则,判断不需要产生Trap;或者,
对位于所述时间窗范围内的参数值进行统计,并在所述参数值中所有值的发生次数累计达到预设的第二Trap阈值时,判断需要产生Trap;否则,判断不需要产生Trap。
6.如权利要求1-5任一项所述的方法,其特征在于,当需要产生恢复Trap时,将所述生成的Trap发送给对应的组件之后,还包括:
在对位于时间窗范围内的参数值进行统计时,如果根据统计结果判断出不需要产生Trap,生成恢复Trap,并将所述恢复Trap发送给所述对应的组件。
7.一种应用于权利要求1所述的装置,其特征在于,应用于预先设置了Syslog升级为Trap的各项规则的网络设备中,所述装置包括:
设置模块,用于设置所述Syslog升级为Trap的各项规则;
匹配提取模块,与所述设置模块连接,用于当需要分析的***日志输入后,根据所述设置模块设置的Syslog升级为Trap的匹配规则对所述***日志进行匹配;并在匹配成功后,从所述***日志中提取参数值;
统计模块,与所述设置模块和所述匹配提取模块分别连接,用于根据所述设置模块设置的统计方式,对所述参数值进行统计,并根据所述统计结果判断是否需要产生Trap;
处理模块,与所述设置模块和统计模块分别连接,用于在判断结果为需要产生Trap时,根据所述***日志生成Trap,将所述生成的Trap发送给对应的组件。
8.如权利要求7所述的装置,其特征在于,所述Syslog升级为Trap的各项规则中包括以下内容中的一种或几种:
匹配规则,时间窗,是否进行参数值匹配,统计方式,Trap阈值,是否全网分析,是否产生恢复Trap;其中,
所述匹配规则中包含了前导字符串、后导字符串、参数名称和参数值的四元组。
9.如权利要求8所述的装置,其特征在于,所述匹配提取模块具体包括:
解析子模块,用于解析所述匹配规则,并从所述匹配规则中获取前导字符串、后导字符串和参数名称;
匹配子模块,与所述解析子模块连接,用于通过使用所述前导字符串、后导字符串和参数名称对所述***日志进行匹配;
提取子模块,与所述匹配子模块连接,用于在匹配成功后,从所述***日志中提取参数值。
10.如权利要求8所述的装置,其特征在于,所述统计模块具体包括:
存储子模块,用于存储所述匹配提取模块从所述***日志中提取的参数值;
删除子模块,与所述存储子模块连接,用于在所述参数值超出所述时间窗的范围时,从所述存储子模块中删除所述参数值;
统计子模块,与所述存储子模块和处理子模块分别连接,用于对所述存储子模块中位于所述时间窗范围内的参数值进行统计,
在所述参数值中某个值的发生次数累计达到预设的第一Trap阈值时,判断需要产生Trap;否则,判断不需要产生Trap;或者,
在所述参数值中所有值的发生次数累计达到预设的第二Trap阈值时,判断需要产生Trap;否则,判断不需要产生Trap。
11.如权利要求7-10任一项所述的装置,其特征在于,当需要产生恢复Trap时,
所述处理模块还用于,在对位于时间窗范围内的参数值进行统计时,如果根据统计结果判断出不需要产生Trap,生成恢复Trap,并将所述恢复Trap发送给所述对应的组件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009102109347A CN101697520B (zh) | 2009-11-12 | 2009-11-12 | 一种***日志的处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009102109347A CN101697520B (zh) | 2009-11-12 | 2009-11-12 | 一种***日志的处理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101697520A true CN101697520A (zh) | 2010-04-21 |
CN101697520B CN101697520B (zh) | 2012-07-11 |
Family
ID=42142595
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009102109347A Active CN101697520B (zh) | 2009-11-12 | 2009-11-12 | 一种***日志的处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101697520B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104427518A (zh) * | 2013-08-19 | 2015-03-18 | 中兴通讯股份有限公司 | 路由器及方法 |
CN104660427A (zh) * | 2013-11-18 | 2015-05-27 | 深圳市腾讯计算机***有限公司 | 日志实时统计方法及装置 |
CN104750488A (zh) * | 2015-03-26 | 2015-07-01 | 浪潮集团有限公司 | 一种软件调试日志输出控制实现方法 |
CN105138606A (zh) * | 2015-08-03 | 2015-12-09 | 上海斐讯数据通信技术有限公司 | 一种服务器日志管理方法及*** |
CN106385331A (zh) * | 2016-09-08 | 2017-02-08 | 努比亚技术有限公司 | 一种基于日志的监控告警方法及*** |
CN107391762A (zh) * | 2017-08-28 | 2017-11-24 | 京信通信***(中国)有限公司 | 日志数据的处理方法及装置 |
CN110263004A (zh) * | 2019-05-08 | 2019-09-20 | 北京字节跳动网络技术有限公司 | 日志记录方法、装置、电子设备和存储介质 |
CN114143162A (zh) * | 2020-08-13 | 2022-03-04 | 中盈优创资讯科技有限公司 | 基于缓存的网络设备syslog信息的规则匹配方法 |
CN116095203A (zh) * | 2023-01-31 | 2023-05-09 | 中国电信国际有限公司 | 基于trap消息的解析方法及相关设备 |
-
2009
- 2009-11-12 CN CN2009102109347A patent/CN101697520B/zh active Active
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104427518A (zh) * | 2013-08-19 | 2015-03-18 | 中兴通讯股份有限公司 | 路由器及方法 |
CN104660427A (zh) * | 2013-11-18 | 2015-05-27 | 深圳市腾讯计算机***有限公司 | 日志实时统计方法及装置 |
CN104750488A (zh) * | 2015-03-26 | 2015-07-01 | 浪潮集团有限公司 | 一种软件调试日志输出控制实现方法 |
CN104750488B (zh) * | 2015-03-26 | 2018-07-31 | 浪潮集团有限公司 | 一种软件调试日志输出控制实现方法 |
CN105138606A (zh) * | 2015-08-03 | 2015-12-09 | 上海斐讯数据通信技术有限公司 | 一种服务器日志管理方法及*** |
CN106385331A (zh) * | 2016-09-08 | 2017-02-08 | 努比亚技术有限公司 | 一种基于日志的监控告警方法及*** |
CN107391762A (zh) * | 2017-08-28 | 2017-11-24 | 京信通信***(中国)有限公司 | 日志数据的处理方法及装置 |
CN107391762B (zh) * | 2017-08-28 | 2021-02-05 | 京信通信***(中国)有限公司 | 日志数据的处理方法及装置 |
CN110263004A (zh) * | 2019-05-08 | 2019-09-20 | 北京字节跳动网络技术有限公司 | 日志记录方法、装置、电子设备和存储介质 |
CN114143162A (zh) * | 2020-08-13 | 2022-03-04 | 中盈优创资讯科技有限公司 | 基于缓存的网络设备syslog信息的规则匹配方法 |
CN116095203A (zh) * | 2023-01-31 | 2023-05-09 | 中国电信国际有限公司 | 基于trap消息的解析方法及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
CN101697520B (zh) | 2012-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101697520B (zh) | 一种***日志的处理方法和装置 | |
US9910727B2 (en) | Detecting anomalous accounts using event logs | |
US10122575B2 (en) | Log collection, structuring and processing | |
US10084681B2 (en) | Method and system for monitoring server cluster | |
CN109379390B (zh) | 一种基于全流量的网络安全基线生成方法 | |
EP3101580B1 (en) | Website information extraction device, system, website information extraction method, and website information extraction program | |
CN105103496A (zh) | 用于提取和保存用于分析网络通信的元数据的***和方法 | |
JP6174520B2 (ja) | 悪性通信パターン検知装置、悪性通信パターン検知方法、および、悪性通信パターン検知プログラム | |
CN104639391A (zh) | 一种生成网络流量记录的方法及相应的流量检测设备 | |
CN112350854B (zh) | 一种流量故障定位方法、装置、设备及存储介质 | |
US11989161B2 (en) | Generating readable, compressed event trace logs from raw event trace logs | |
CN115134250B (zh) | 一种网络攻击溯源取证方法 | |
CN108197008A (zh) | 一种日志收集方法、***、装置及计算机可读存储介质 | |
CN108737193A (zh) | 一种故障预测方法及装置 | |
CN110855461A (zh) | 一种基于关联分析和规则库的日志分析方法 | |
US20160205118A1 (en) | Cyber black box system and method thereof | |
CN115766258A (zh) | 一种基于因果关系图的多阶段攻击趋势预测方法、设备及存储介质 | |
JP6078485B2 (ja) | 運用履歴分析装置及び方法及びプログラム | |
CN111061593B (zh) | 一种电子取证***及方法 | |
CN105262720A (zh) | web机器人流量识别方法及装置 | |
CN116738369A (zh) | 一种流量数据的分类方法、装置、设备及存储介质 | |
CN111080362A (zh) | 广告监测***及方法 | |
Alghamdi et al. | Pattern extraction for behaviours of multi-stage threats via unsupervised learning | |
TW201928746A (zh) | 偵測惡意程式的方法和裝置 | |
CN114124555A (zh) | 报文回放方法、装置、电子设备及计算机可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address |
Address after: 310052 Binjiang District Changhe Road, Zhejiang, China, No. 466, No. Patentee after: Xinhua three Technology Co., Ltd. Address before: 310053 Hangzhou hi tech Industrial Development Zone, Zhejiang province science and Technology Industrial Park, No. 310 and No. six road, HUAWEI, Hangzhou production base Patentee before: Huasan Communication Technology Co., Ltd. |
|
CP03 | Change of name, title or address |