CN104144071A - ***日志的处理方法和***日志的处理平台 - Google Patents

***日志的处理方法和***日志的处理平台 Download PDF

Info

Publication number
CN104144071A
CN104144071A CN201310172737.7A CN201310172737A CN104144071A CN 104144071 A CN104144071 A CN 104144071A CN 201310172737 A CN201310172737 A CN 201310172737A CN 104144071 A CN104144071 A CN 104144071A
Authority
CN
China
Prior art keywords
system journal
template
journal
equipment
keyword
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310172737.7A
Other languages
English (en)
Other versions
CN104144071B (zh
Inventor
常福刚
***
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Feinno Communication Technology Co Ltd
Original Assignee
Beijing Feinno Communication Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Feinno Communication Technology Co Ltd filed Critical Beijing Feinno Communication Technology Co Ltd
Priority to CN201310172737.7A priority Critical patent/CN104144071B/zh
Publication of CN104144071A publication Critical patent/CN104144071A/zh
Application granted granted Critical
Publication of CN104144071B publication Critical patent/CN104144071B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种***日志的处理方法和***日志的处理平台。本发明实施例提供的一种***日志的处理方法包括:访问生成***日志的设备,从该设备采集***日志;将采集到的***日志的格式与指定的设备模板进行匹配,确认各***日志对应的设备类型;根据各***日志的设备类型,利用指定的关键字模板对***日志进行过滤;将过滤结果发送至服务器侧,由服务器侧对***日志进行报警处理。

Description

***日志的处理方法和***日志的处理平台
技术领域
本发明涉及互联网通信技术领域,特别涉及一种***日志的处理方法和***日志的处理平台。
背景技术
在现代运维体系中,规模化的应用***与网络设备需要自动化的监管***进行管理,对***日志(syslog)信息的监管就是其中重要一环。然而在实际中,由于不同的应用***、网络设备对应的日志格式各不相同,这给标准化的syslog分析带来了巨大难度。
现有***日志的处理方案主要是将各种设备的***日志集中存储到一个指定服务器,通过***的看门狗(watchdog)服务过滤和抓取日志,并对满足看门狗服务设定条件的记录进行报警。
然而,看门狗服务仅能实现一些比较简单的操作,使用的过滤条件较单一,无法全面准确地区分出危险的日志,过滤效果差;并且,看门狗服务将各种类型的日志混杂在一起进行处理,各条日志存储的格式和内容差异较大,导致后续操作中对***日志的利用和开发难度较大,资源利用率较低。目前亟待一种针对日志挖掘、分析和监控报警等于一体的综合服务平台。
发明内容
鉴于上述问题,本发明实施例提供了一种***日志的处理方法和***日志的处理平台。
为达到上述目的,本发明实施例采用了如下技术方案:
本发明一个实施例提供了一种***日志的处理方法,该方法包括:
访问生成***日志的设备,从设备采集***日志;
将采集到的***日志的格式与指定的设备模板进行匹配,确认各***日志对应的设备类型;
根据各***日志的设备类型,利用指定的关键字模板对***日志进行过滤;
将过滤结果发送至服务器侧,由服务器侧对***日志进行报警处理;
其中,每种设备类型的所述设备模板由能够匹配该设备类型下的所有***日志格式的条件表达式生成;
每种设备类型的所述关键字模板由该设备类型下***日志中允许包括的关键字或者禁止包括的关键字生成。
本发明又一个实施例提供了一种***日志的处理方法,包括:接收客户端侧上报的***日志的过滤结果并按照预定的统一格式将过滤结果存储至数据库,该过滤结果包括***日志和该***日志对应的标志位,该标志位包括第一标志位、第二标志位和第三标志位,该方法还包括:
当根据过滤结果获知***日志具有第一标志位时,采用短信方式和邮件方式发送报警消息;
当根据过滤结果获知***日志具有第二标志位时,不执行报警操作;
当根据过滤结果获知***日志具有第三标志位时,采用邮件方式发送报警消息。
本发明又一个实施例提供了一种***日志的处理平台,该平台包括***日志采集***和***日志管理***,
***日志采集***包括消息队列模块、模板选择器、关键字过滤器以及守护任务和调度器DTS;
消息队列模块,用于访问生成***日志的设备,从设备采集***日志;
模板选择器,用于将采集到的***日志的格式与指定的设备模板进行匹配,确认各***日志对应的设备类型;
关键字过滤器,用于根据各***日志的设备类型,利用指定的关键字模板对***日志进行过滤,并将过滤结果发送至***日志管理***;
DTS,用于对消息队列模块、模板选择器和关键字过滤器进行预定与调度;
***日志管理***包括数据库、数据生成器、报警模块和数据访问和控制中心DACC;
数据库,用于存储平台中的数据;
数据生成器,用于接收来自***日志采集***的过滤结果,并按照预定的统一格式将过滤结果存储至数据库;
报警模块,用于根据数据生成器中的数据进行报警;
DACC,用于对数据库、数据生成器和报警模块进行管理;
其中,每种设备类型的所述设备模板由能够匹配该设备类型下的所有***日志格式的条件表达式生成;
每种设备类型的所述关键字模板由该设备类型下***日志中允许包括的关键字或者禁止包括的关键字生成。
本发明实施例通过将***日志与所建立的设备模板相匹配的技术手段,能够区分出不同设备的***日志,对不同设备的***日志进行不同处理,以及通过设备类型结合指定的关键字模板对***日志进行过滤的手段,提高了过滤方式的灵活性,能够全面、准确地对日志进行过滤。
由上,本发明实施例提供的***日志处理方案,不但能够对不同类型的***日志进行区分处理和存储,极大便利了后续对***日志的利用,满足对***日志二次开发的需求,提高资源利用率;而且能够提高日志过滤的精准度和灵活性,实现问题的精准定位、精确报警和问题预警,提高***的运维质量。
附图说明
图1为根据本发明一个实施例的一种***日志的处理平台结构示意图;
图2为根据本发明一个实施例的***日志采集***的工作流程示意图;
图3为根据本发明一个实施例的另一种***日志的处理平台的结构示意图;
图4为根据本发明又一个实施例的***日志的处理方法流程示意图;
图5为根据本发明又一个实施例的***日志的处理方法流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例实现了一种集中分析、精准定位、实时报警、面向多用户、便于查询与深入分析的***日志的处理平台,既可以满足不同应用、不同设备的日志分析需求,又是一套完整的监控与报警综合服务平台。
本发明一个实施例提供的一种***日志的处理平台,参见图1,该平台包括***日志采集***和***日志管理***。本实施例不对平台及其各器件的名称进行严格限定,如***日志的处理平台可以称之为***日志信息采集与管理***(Syslog Information Collection And Management System,SICMS),SICMS包括***日志采集***100和***日志管理***200。
***日志采集***100包括守护任务和调度器(Daemon Task andScheduler,DTS)、***日志信息采集(Syslog Information Collection,SIC)功能和***日志信息管理(Syslog Information Analyse,SIA)功能。SIC中包括消息队列(Message Queue)模块112和心跳检测(Heartbeat Monitor)模块113;SIA中包括模板选择器(Template Selector)114和关键字过滤器(Keywords Filter)115。
***日志管理***200包括数据库(Data Center)214、数据生成器212、报警模块213、数据访问和控制中心(Data Access&Control Centre,DACC)211。其中报警模块213可以设置在监控中心(Monitor Center)中,并且***日志管理***200中还可以设置有控制中心(Logzilla Expand)。
其中,SIC功能主要用于对syslog进行检查与索引,并生成消息队列输送给SIA。
消息队列模块112隶属于SIC,用于生成实时消息队列。
心跳检测模块113隶属于SIC,用于检测报警那些不能正常投递日志的被采集设备。
SIA功能主要用于处理消息队列并生成所需数据。
模板选择器114隶属于SIA,使用相对应的设备模板对来自被采集设备的***日志进行匹配。
关键字过滤器115隶属于SIA,通过多级过滤条件(如多级关键字模板)过滤数据。
DTS111负责***日志采集***100中SIC和SIA功能的运行与调度。
DACC211主要对***日志管理***200中的器件进行管理,其功能包括等级关键字的设置、数据库及其管理、统计与检索、监控报警等。
数据库214隶属于DACC,用于记录格式化后的syslog、配置信息与管理日志等。
控制中心隶属于DACC,是DACC的网络(web)控制台。
监控中心隶属于DACC,由分级报警模块213和平台展现模块两部分组成。
下面结合附图分别对上述各功能和单元进行具体说明。
参见图2,显示了本发明一个实施例的***日志采集***的工作流程示意图。
在开始执行对***日志的处理操作时,消息队列模块112访问生成***日志的设备,从设备采集***日志。这些设备主要为一些可能产生***日志的进程,如防火墙设备、路由器设备、交换机设备和负载均衡设备中的一种或多种等。
具体地,消息队列模块112利用日志工具logtail访问需要执行日志采集的设备,当该设备中存在***日志时,采集该***日志并生成消息队列形式的***日志消息流,然后将消息流送入模板选择器114。即本实施例采用消息队列的数据形式,以便于对***日志进行处理。logtail工具是部署在客户端侧(如syslog-ng日志工具)上的一个客户端脚本,它为每个日志文件设置检测点(checkpoint),以向SIC提供最新的syslog记录,是消息队列模块112所使用的获取数据流的工具。本方案将***日志采集***设置在客户端侧,进行***日志的采集、过滤等操作,将***日志管理***设置在服务器侧,进行***日志的报警、二次开发等操作。
当消息队列模块112没有从设备中采集到***日志时,DTS111调度心跳检测模块113向设备发送心跳消息,即心跳检测模块113会根据DTS111的调度向设备发送心跳消息,从而触发该设备发送任意***日志,以确定该设备的存活状态,即该设备是否处于正常工作状态。当心跳检测模块113接收到该设备根据心跳消息返回***日志时,将该***日志发送至模板选择器114,由模板选择器114进行处理。
当心跳检测模块113接收到该设备根据心跳消息返回指示发生故障的应答,则将该设备的信息发送至DTS111并记录,由DTS111将该设备的信息发送至***日志管理***进行报警。当心跳检测模块113接收到该设备根据心跳消息返回指示正常的应答时,即该设备正常工作但该设备不生成***日志,则结束对该设备的操作。
DTS111对消息队列模块、模板选择器和关键字过滤器进行运行与调度。
模板选择器114将采集到的***日志与指定的设备模板进行匹配,确认各***日志对应的设备类型。***日志经过消息队列模块112的处理后形成***日志消息流,模板选择器114将设备模板与消息流进行匹配。设备类型可以指示生成***日志的设备的名称、设备的型号等。在执行匹配操作时,模板选择器114会遍历各设备模板,将各设备模板逐一对消息流中的***日志(如***日志的格式)进行匹配,当出现匹配成功的设备模板时,终止匹配操作,将与***日志匹配成功的设备模板对应的设备类型作为该***日志的设备类型。
模板选择器114可以从***日志管理***获取使用的设备模板,例如,由***日志采集***中的DTS向***日志管理***中的DACC发送请求获取设备模板的请求,DTS接收DACC根据该请求下发的设备模板,DTS将该设备模板发送至模板选择器114。
本实施例中,对每一种设备类型,将能够匹配该设备类型下的所有***日志格式的条件表达式选取为该设备类型的设备模板,则在进行设备模板与***日志的匹配操作时,将采集到的***日志的格式与下述指定的设备模板进行匹配。本实施例通过对各设备的***日志的统计和分析,提供的指定的设备模板的示例如下:
防火墙(FireWall)的设备模板为:
(.*?)\s?(\w+(-\w+){1,4})?\s?\%?\%?(\w+[-∨]([0-7])[-∨]\w+(\(\w+\))?):?\s?(.*)
路由器与交换机(Switch and Router)的设备模板为:
(.*?)\s?(\w+(-\w+){1,4})?\s?\%?\%?(\w+[-∨]([0-7])[-∨]\w+(\(\w+\))?):?\s?(.*)
F5负载均衡设备的设备模板为:
(.*?)\s?\w+(-\w+){1,4}\s+(.*?):\s+(.*)
A10负载均衡设备的设备模板为:
(.*?)\s?(a10logd:\s+\[\w+\])<([0-7])>\s+(.*)
Alteon负载均衡设备的设备模板为:
(\w+)\s+(AlteonOS\s+<\w+>):\s+(.*)
Juniper防火墙或路由器设备的设备模板为:
(.*?)\s?[Jnpr|Juniper:]\s+(.*)
由上,本实施例不同设备的***日志格式,制定的与之相符合的条件表达式,作为设备模板。设备模板由DTS进行调度,用于在***日志采集***中与消息流进行匹配比对,来确定日志来源属于何种设备,以及解析各字段含义,为后续数据生成器的格式标准化输出所用。
关键字过滤器115根据各***日志的设备类型,利用指定的关键字模板对***日志进行过滤,并将过滤结果发送至***日志管理***。关键字过滤器115对***日志的过滤操作主要起到了将***日志进行分类的作用,本实施例中过滤后的***日志被分为三大类,一类为危险的***日志(可为其设置第一标志位),再一类为安全的***日志(可为其设置第二标志位),又一类为未知的***日志(可为其设置第三标志位),按照类别将***日志的相关信息上报至服务器侧(如***日志管理***),从而使***日志管理***能够对不同类别的***日志进行不同的操作。
图2所示的实施例中关键字过滤器115包括一级关键字过滤器和二级关键字过滤器。关键字过滤器115使用的关键字模板包括一级关键字模板和二级关键字模板,不同设备类型的***日志对应的二级关键字模板不同,而所有设备类型的***日志都可以使用相同的一级关键字模板。
关键字过滤器115可以从***日志管理***获取使用的关键字模板,例如,由***日志采集***中的DTS向***日志管理***中的DACC发送请求获取关键字模板的请求,DTS接收DACC根据该请求下发的关键字模板,DTS将该关键字模板发送至关键字过滤器115。
关键字过滤器115中的一级关键字过滤器利用一级关键字模板对所有设备类型的***日志进行匹配,为一级关键字模板匹配成功的***日志设置第一标志位,将匹配成功的***日志、该***日志的第一标志位及设备类型上报至***日志管理***。本实施例中设置的标志位为一种报警级别标记,如第一标志位可以设置为1,表示报警级别为一级。对第一标志位的***日志,认定为危险日志,需要报警。
对一级关键字模板匹配失败的***日志,二级关键字过滤器利用该***日志的设备类型对应的二级关键字模板对该***日志进行匹配,为二级关键字模板匹配成功的***日志设置第二标志位,将匹配成功的***日志、该***日志的设备类型上报至***日志管理***。如第二标志位可以设置为2,表示报警级别为二级。对第二标志位的***日志,认定为排除对象,即该类型***日志为安全日志,不需要报警。
关键字过滤器115为一级关键字模板和二级关键字模板都匹配失败的***日志设置第三标志位,将该***日志、该***日志的第三标志位及设备类型上报至***日志管理***。如第三标志位可以设置为-1,表示未定义。通过第三标志位的***日志可以发现过滤条件之外未被发掘的、具有潜在价值的日志,增强***的发现与学习能力。
由上,考虑到具有第二标志位的***日志不需要报警,本实施例中采用仅将设置的第一标志位、第三标志位上报至服务器侧,而不将设置的第二标志位上报至服务器侧的处理方式,则在服务器侧将具有第一标志位或第三标志位之外的***日志视为具有第二标志为的***日志。
又一种方式下,客户端可以将设置的第一标志位、第二标志位和第三标志位都上报至服务器侧,便于服务器侧对不同的***日志进行区分和操作。
本实施例使用的一级关键字模板,参见下表1:
表1
A10 L2MC to down [Pp]ower
ACTIVE LAGG to up [Rr]eal
ALARM LINEPROTO TRUNK [Rr]eboot
ALERT LINK UP [Ss]tandby
ALM Main Board VLAN [Vv]rrp
ALMA MEM VOSCPU \b down.\b
alteon Memory VOSMEM \b up.\b
ARP Module VRRP \b STP\b
BGP NOTICE [Aa]ctive \s[Dd]own\s
CPU OSPF [Bb]ackup \s[Uu]p\s
DEV PHY [Bb]gp
DIAGCLI result [Cc]annot
DOWN RM [Dd]isk
DRV Slot [Dd]own
error SP-3 [Ff]ail
ETRUNK SP-5 [Ff]ailover
failure SPSTBY-5 [Ll]ink
FAN STNDBY [Mm]aster
HA\s SYSM [Oo]spf
L2INF TNET [Pp]anic
上述表1中的每个框格表示一个一级关键字,当一条***日志与上述的至少一个一级关键字相匹配时,表明该***日志与一级关键字模板匹配成功。上述符号“\b,\s,[]”为正则表达式语法,符号“\b”表示就近匹配,符号“\s”表示空格,符号“[]”表示其中的字符为可选。
本实施例对不同设备使用的二级关键字模板不同,二级关键字模板的示例表示如下:
A10负载均衡设备对应的二级关键字模板如下:
(″NTP″,″[Uu]ser″,″Session″,″Service tcp″,″SLB server″);
F5负载均衡设备对应的二级关键字模板如下:
(″ssl_″,″NTP″,″[Uu]ser″,″Session″,″HTTP″,″mysql″,″syslog-ng″,″crond″,″httpd″,″sshd″,″anacron″,″mcpd″,″Limiting″);
Alteon负载均衡设备对应的二级关键字模板如下:
(″mgmt″);
防火墙设备对应的二级关键字模板如下:
(″[Dd]enied″,″Deny″,″Invalid″,″[Pp]ower″,″[Cc]onfigur″);
路由器与交换机设备对应的二级关键字模板如下:
(″[Cc]onfigur″,″SHELL″,″CMD″,″SSH″,″SNMP″,″TELNET″,″VTY″,″Trap″,″OID″,″admin″);
Nokia防火墙设备对应的二级关键字模板如下:
(″BACKUP_RESTORE_CONFIG″,″snmpd″,″repeated″,″telnetd″,″syslogd″,″CONFIG″,″ntpdate″,″cron:″,″ipsctl get error″,″login″,″passwd″);
juniper防火墙设备对应的二级关键字模板如下:
(″SNMP″,″INFO″,′System\(\)\[\]′,″Syslog 3835″,″Unable to resolve″,″Unableto open″)。
进一步的,本实施例中当模板选择器114中没有与采集到的***日志相匹配的设备模板时,将该***日志的设备类型设置为未定义(undefined)设备类型;则关键字过滤器115仅利用一级关键字模板对该***日志进行匹配,将匹配成功的***日志、该***日志的第一标志位及设备类型上报至服务器侧,将匹配失败的***日志记录在临时文件中备案。
由上,本实施例采用两级的关键字结构,一级关键字模板作为报警特征使用,二级关键字模板作为排除特征使用,即每种设备类型的一级关键字模板由该设备类型下***日志中禁止包括的关键字生成,而每种设备类型的二级关键字模板由该设备类型下***日志中允许包括的关键字生成。
一级关键字模板作用于所有类型的设备,二级关键字模板作用于不同类型的设备。根据关键字模板过滤出一级、二级和未定义级别的***日志。对于标志位为1的***日志(认定为危险),将其设备类型连同标志位直接传递给***日志管理***,如先发送至***日志管理***中的数据生成器,再由数据生成器对该***日志的格式进行处理后,发送至报警模块并存储在数据库模块中;对标志位为2的***日志(认定为排除对象),将其设备类型、关键字计数结果等信息提交给数据库模块;对于标志位为-1的***日志(认定为未定义),将其设备类型连同标志位也直接传递给***日志管理***。
本实施例提供的***日志采集***能够依据设备型号,过滤掉不重要的垃圾信息,同时又可以自动发现未被发掘的有价值的日志信息,实现问题的精准定位、精确报警和问题预警,为运维人员的快速响应提供有力保障,提高运维质量。
参见图3,显示了本发明一个实施例的另一种***日志的处理平台的结构示意图。该平台包括位于客户端侧(如syslog-ng日志工具)的***日志采集***100,以及位于服务器侧的(如syslog-ng日志工具服务器)的***日志管理***200。
***日志采集***100中包括DTS、关键字过滤器(包括一级关键字过滤器和二级关键字过滤器)、消息队列模块、模板选择器和心跳检测模块,这些器件的具体工作方式可以参见图1和图2示出的实施例中的相关内容。本实施例主要对***日志管理***200的结构及运行方式进行说明。
***日志管理***200包括数据库214、数据生成器212、报警模块213和DACC211。DACC211对数据库、数据生成器和报警模块进行管理。
数据库214存储平台中的数据。数据库214可以采用mysql数据库,其存储平台的业务数据、配置信息和***日志等,并为数据生成器212和DACC211所调用。
数据生成器212接收来自***日志采集***100的过滤结果,并按照预定的统一格式将过滤结果存储至数据库。数据生成器212将各条***日志及其相关信息整理成统一的标准格式,即对接收到的数据进行格式化,如将每条***日志的相关数据整理为按照主机名称-IP地址-设备类型-标志位-***日志的次序的格式。数据生成器212将统一格式后的***日志存储至数据库214中。
当进行二次开发或数据统计等,需要从数据库214中提取***日志时,DACC接收来自外部的日志处理指令,根据该指令按照预定的统一格式从数据库214中提取出指定设备类型的***日志,并按照日志处理指令进行处理,如数据统计、或者筛选未定义的有价值的新关键字等。
本实施例中通过根据***日志采集***上报的设备类型,将***日志转换为统一格式的技术手段,能够对不同类型的***日志进行区分处理和存储,极大便利了后续对***日志的利用,满足对***日志二次开发的需求,提高资源利用率;而且能够提高日志过滤的精准度和灵活性,实现问题的精准定位、精确报警和问题预警,提高***的运维质量。
报警模块213根据数据生成器212中的数据进行报警。报警模块213针对数据生成器212抛来的数据进行报警。报警动作包括短信报警、邮件报警两种方式。对于标志位为1的***日志,报警模块213同时触发这两种方式,如报警模块213向业务组发送邮件或发送短信报警。标志位为-1的***日志仅触发邮件报警方式,如报警模块213仅向业务组发送邮件报警。即报警模块213当根据所述数据生成器212中的过滤结果获知***日志具有第一标志位时,采用短信方式和邮件方式发送报警消息;当根据所述过滤结果获知***日志具有第三标志位时,采用邮件方式发送报警消息;当根据所述过滤结果获知***日志不具有第一标志位或第三标志位时,不执行报警操作。
除了向远程的业务组报警,本实施例也可以在DACC上实现本平台的平台报警。平台报警以颜色和声音两种方式进行展现,颜色方面分为黄色预警和红色报警两种,声音方面是针对红色报警进行音频播放动作。
***日志管理***中还可以包括一个独立的控制中心(LogzillaExpand),或者,该控制中心可以设置在DACC中实现。logzilla是一款开源的日志收集工具,能很好的展示和检索日志。本方案在logzilla基础上,通过php语言开发,加入了模板定义模块、关键字定义模块、报警模块、统计分析模块、智能标识关键字模块。把logzilla改造成为了一个集日志信息管理、监控报警、统计分析与智能化的综合管控平台,即控制中心(LogzillaExpand)。
控制中心提供可视化数据展现、数据关联检索、设备模板定义、关键字模板定义、数据统计分析、数据导出、权限与配置修改、平台报警功能、智能标识关键字功能等。
控制中心通过定义设备模板、关键字模板,实现模板的平台化管理,并且,当出现新加入的需要监控的设备时,只需在控制中心为其配置设备模板、关键字模板并下发至关键字过滤器后,就可以将新设备纳入的***日志的处理平台中来,实现了不同应用、不同设备的日志分析需求。
以及,控制中心通过对历史数据的统计计算可以实现图表的功能;通过分词算法可以统计出未定义日志中有价值的新关键字,并在监控页面中自动出具新关键字添加提示信息,从而形成一个集数据、监控、报警、统计功能、智能分析于一体的综合服务平台。
本发明又一个实施例还提供了一种***日志的处理方法,参见图4,该方法包括:
S400:访问生成***日志的设备,从所述设备采集***日志;
S402:将采集到的***日志的格式与指定的设备模板进行匹配,确认各***日志对应的设备类型;
S404:根据各***日志的设备类型,利用指定的关键字模板对***日志进行过滤;
S406:将所述过滤结果发送至服务器侧,由服务器侧对所述***日志进行报警处理。
其中,每种设备类型的设备模板由能够匹配该设备类型下的所有***日志格式的条件表达式生成;
每种设备类型的关键字模板由该设备类型下***日志中允许包括的关键字或者禁止包括的关键字生成
其中,上述步骤S400包括:利用日志工具logtail访问设备,当该设备中存在***日志时,采集该***日志并生成消息队列形式的***日志消息流;当该设备中不存在***日志时,通过建立的DTS向该设备发送心跳消息,若该设备根据心跳消息返回***日志,则采集该***日志并生成消息队列形式的***日志消息流,若该设备根据心跳消息返回指示发生故障的应答,则将相应设备的信息记录在DTS中,由DTS发送至服务器侧进行报警。
在步骤S402之前,上述方法还包括:向服务器侧发送请求获取所述设备模板和/或关键字模板的请求;接收服务器侧根据所述请求下发的设备模板和/或关键字模板。
上述指定的关键字模板包括一级关键字模板和二级关键字模板,为不同设备类型的***日志设置的二级关键字模板不同,上述步骤S404包括:利用一级关键字模板对所有设备类型的***日志进行匹配,为一级关键字模板匹配成功的***日志设置第一标志位,将匹配成功的***日志、该***日志的第一标志位及设备类型上报至服务器侧;对一级关键字模板匹配失败的***日志,利用该***日志的设备类型对应的二级关键字模板对该***日志进行匹配,为二级关键字模板匹配成功的***日志设置第二标志位,将匹配成功的***日志、该***日志的设备类型上报至服务器侧;以及,为一级关键字模板和二级关键字模板都匹配失败的***日志设置第三标志位,将该***日志、该***日志的第三标志位及设备类型上报至服务器侧。
由上,本实施例采用两级的关键字结构,一级关键字模板作为报警特征使用,二级关键字模板作为排除特征使用。一级关键字模板作用于所有类型的设备,二级关键字模板作用于不同类型的设备。根据关键字模板过滤出一级、二级和未定义级别的***日志。对于标志位为1的***日志(认定为危险),将其设备类型连同标志位直接传递给***日志管理***,如先发送至***日志管理***中的数据生成器,再由数据生成器对该***日志的格式进行处理后,发送至报警模块并存储在数据库模块中;对标志位为2的***日志(认定为排除对象),将其设备类型、关键字计数结果等信息提交给数据库模块;对于标志位为-1的***日志(认定为未定义),将其设备类型连同标志位也直接传递给***日志管理***。
进一步的,上述方法还包括:当采集到的***日志没有匹配的设备模板时,将该***日志的设备类型设置为未定义设备类型;
步骤S404中利用指定的关键字模板对***日志进行过滤包括:仅利用一级关键字模板对该***日志进行匹配,将匹配成功的***日志、该***日志的第一标志位及设备类型上报至服务器侧,将匹配失败的***日志记录在临时文件中。
本方法实施例中各步骤的具体执行方法可以参见本发明产品实施例中***日志采集***的相关内容,在此不再赘述。
本发明又一个实施例还提供了一种***日志的处理方法,参见图5,该方法包括:
S500:接收客户端侧上报的***日志的过滤结果并按照预定的统一格式将过滤结果存储至数据库,该过滤结果包括***日志和该***日志对应的标志位,该标志位包括第一标志位和第三标志位。
S502:当根据所述过滤结果获知***日志具有第一标志位时,采用短信方式和邮件方式发送报警消息;
S504:当根据所述过滤结果获知***日志具有第三标志位时,采用邮件方式发送报警消息;
S506:当根据所述过滤结果获知***日志不具有第一标志位或第三标志位时,不执行报警操作。
上述步骤S500至S506的方案中,客户端仅将设置的第一标志位和第二标志位上报至服务器侧,则在服务器侧将具有第一标志位或第三标志位之外的***日志视为具有第二标志为的***日志。
又一种方式下,当客户端将设置的第一标志位、第二标志位和第三标志位都上报至服务器侧,服务器侧可以便捷、快速地识别出各个类别的***日志,便于服务器侧对各类别的***日志进行包括报警处理在内的其它操作。
进一步的,上述过滤结果中还包括***日志的设备类型,该方法还包括:根据接收到的日志处理指令,按照所述预定的统一格式从所述数据库中提取出指定设备类型的***日志,并按照所述日志处理指令进行处理,如数据统计、或者筛选未定义的有价值的新关键字等。
本方法实施例中各步骤的具体执行方法可以参见本发明产品实施例中***日志管理***的相关内容,在此不再赘述。
由上所述,本发明实施例通过将***日志与所建立的设备模板相匹配的技术手段,能够区分出不同设备的***日志,对不同设备的***日志进行不同处理,以及通过设备类型结合指定的关键字模板对***日志进行过滤的手段,提高了过滤方式的灵活性,能够全面、准确地对日志进行过滤。
由上,本发明实施例提供的***日志处理方案,不但能够对不同类型的***日志进行区分处理和存储,极大便利了后续对***日志的利用,满足对***日志二次开发的需求,提高资源利用率;而且能够提高日志过滤的精准度和灵活性,实现问题的精准定位、精确报警和问题预警,提高***的运维质量。
为了便于清楚描述本发明实施例的技术方案,在发明的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分,本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种***日志的处理方法,其特征在于,所述方法包括:
访问生成***日志的设备,从所述设备采集***日志;
将采集到的***日志的格式与指定的设备模板进行匹配,确认各***日志对应的设备类型;
根据各***日志的设备类型,利用指定的关键字模板对***日志进行过滤;
将所述过滤结果发送至服务器侧,由服务器侧对所述***日志进行报警处理;
其中,每种设备类型的所述设备模板由能够匹配该设备类型下的所有***日志格式的条件表达式生成;
每种设备类型的所述关键字模板由该设备类型下***日志中允许包括的关键字或者禁止包括的关键字生成。
2.根据权利要求1所述的方法,其特征在于,所述访问生成***日志的设备,从所述设备采集***日志包括:
利用日志工具logtail访问所述设备,当该设备中存在***日志时,采集该***日志并生成消息队列形式的***日志消息流;当该设备中不存在***日志时,通过建立的守护任务和调度器DTS向该设备发送心跳消息,若该设备根据心跳消息返回***日志,则采集该***日志并生成消息队列形式的***日志消息流,若该设备根据心跳消息返回指示发生故障的应答,则将相应设备的信息记录在DTS中,由DTS发送至服务器侧进行报警。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
向服务器侧发送请求获取所述设备模板和/或关键字模板的请求;
接收服务器侧根据所述请求下发的设备模板和/或关键字模板。
4.根据权利要求1所述的方法,其特征在于,所述指定的关键字模板包括一级关键字模板和二级关键字模板,为不同设备类型的***日志设置的二级关键字模板不同,所述一级关键字模板由该设备类型下***日志中禁止包括的关键字生成,所述二级关键字模板由该设备类型下***日志中允许包括的关键字生成,
所述根据各***日志的设备类型,利用指定的关键字模板对***日志进行过滤包括:
利用一级关键字模板对所有设备类型的***日志进行匹配,为一级关键字模板匹配成功的***日志设置第一标志位,将匹配成功的***日志、该***日志的第一标志位及设备类型上报至服务器侧;
对一级关键字模板匹配失败的***日志,利用该***日志的设备类型对应的二级关键字模板对该***日志进行匹配,为二级关键字模板匹配成功的***日志设置第二标志位,将匹配成功的***日志、该***日志的设备类型上报至服务器侧;以及,
为一级关键字模板和二级关键字模板都匹配失败的***日志设置第三标志位,将该***日志、该***日志的第三标志位及设备类型上报至服务器侧。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:当采集到的***日志没有匹配的设备模板时,将该***日志的设备类型设置为未定义设备类型;
所述利用指定的关键字模板对***日志进行过滤包括:
仅利用一级关键字模板对该***日志进行匹配,将匹配成功的***日志、该***日志的第一标志位及设备类型上报至服务器侧,将匹配失败的***日志记录在临时文件中。
6.一种***日志的处理方法,其特征在于,所述方法包括:
接收客户端侧上报的***日志的过滤结果并按照预定的统一格式将过滤结果存储至数据库,所述过滤结果包括***日志和该***日志对应的标志位,所述标志位包括第一标志位和第三标志位;
当根据所述过滤结果获知***日志具有第一标志位时,采用短信方式和邮件方式发送报警消息;
当根据所述过滤结果获知***日志具有第三标志位时,采用邮件方式发送报警消息;
当根据所述过滤结果获知***日志不具有第一标志位或第三标志位时,不执行报警操作。
7.根据权利要求6所述的方法,其特征在于,
所述过滤结果中还包括***日志的设备类型,所述方法还包括:
根据接收到的日志处理指令,按照所述预定的统一格式从所述数据库中提取出指定设备类型的***日志,并按照所述日志处理指令进行处理。
8.一种***日志的处理平台,其特征在于,所述平台包括***日志采集***和***日志管理***,
所述***日志采集***包括消息队列模块、模板选择器、关键字过滤器以及守护任务和调度器DTS;
所述消息队列模块,用于访问生成***日志的设备,从所述设备采集***日志;
所述模板选择器,用于将采集到的***日志的格式与指定的设备模板进行匹配,确认各***日志对应的设备类型;
所述关键字过滤器,用于根据各***日志的设备类型,利用指定的关键字模板对***日志进行过滤,并将所述过滤结果发送至***日志管理***;
所述DTS,用于对所述消息队列模块、所述模板选择器和所述关键字过滤器进行预定与调度;
所述***日志管理***包括数据库、数据生成器、报警模块和数据访问和控制中心DACC;
所述数据库,用于存储平台中的数据;
所述数据生成器,用于接收来自***日志采集***的过滤结果,并按照预定的统一格式将过滤结果存储至所述数据库;
所述报警模块,用于根据所述数据生成器中的数据进行报警;
所述DACC,用于对所述数据库、数据生成器和报警模块进行管理;
其中,每种设备类型的所述设备模板由能够匹配该设备类型下的所有***日志格式的条件表达式生成;
每种设备类型的所述关键字模板由该设备类型下***日志中允许包括的关键字或者禁止包括的关键字生成。
9.根据权利要求8所述的平台,其特征在于,所述***日志采集***还包括心跳检测模块,
所述消息队列模块,还用于利用日志工具logtail访问所述设备,当该设备中存在***日志时,采集该***日志并生成消息队列形式的***日志消息流;
所述DTS,还用于当所述消息队列模块没有从所述设备中采集到***日志时,调度所述心跳检测模块向所述设备发送心跳消息;
所述心跳检测模块,用于根据所述DTS的调度向设备发送心跳消息,当接收到该设备根据心跳消息返回***日志时,将该***日志发送至所述模板选择器,当接收到该设备根据心跳消息返回指示发生故障的应答,则将该设备的信息发送至所述DTS并记录,由DTS将该设备的信息发送至***日志管理***进行报警。
10.根据权利要求8或9所述的平台,其特征在于,所述关键字过滤器使用的关键字模板包括一级关键字模板和二级关键字模板,不同设备类型的***日志对应的二级关键字模板不同,所述一级关键字模板由该设备类型下***日志中禁止包括的关键字生成,所述二级关键字模板由该设备类型下***日志中允许包括的关键字生成,
所述关键字过滤器,具体用于利用一级关键字模板对所有设备类型的***日志进行匹配,为一级关键字模板匹配成功的***日志设置第一标志位,将匹配成功的***日志、该***日志的第一标志位及设备类型上报至***日志管理***;对一级关键字模板匹配失败的***日志,利用该***日志的设备类型对应的二级关键字模板对该***日志进行匹配,为二级关键字模板匹配成功的***日志设置第二标志位,将匹配成功的***日志、该***日志的设备类型上报至***日志管理***;以及,为一级关键字模板和二级关键字模板都匹配失败的***日志设置第三标志位,将该***日志、该***日志的第三标志位及设备类型上报至***日志管理***;
所述报警模块,具体用于当根据所述数据生成器中的过滤结果获知***日志具有第一标志位时,采用短信方式和邮件方式发送报警消息;当根据所述过滤结果获知***日志具有第三标志位时,采用邮件方式发送报警消息;当根据所述过滤结果获知***日志不具有第一标志位或第三标志位时,不执行报警操作。
CN201310172737.7A 2013-05-10 2013-05-10 ***日志的处理方法和***日志的处理平台 Active CN104144071B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310172737.7A CN104144071B (zh) 2013-05-10 2013-05-10 ***日志的处理方法和***日志的处理平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310172737.7A CN104144071B (zh) 2013-05-10 2013-05-10 ***日志的处理方法和***日志的处理平台

Publications (2)

Publication Number Publication Date
CN104144071A true CN104144071A (zh) 2014-11-12
CN104144071B CN104144071B (zh) 2018-02-06

Family

ID=51853143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310172737.7A Active CN104144071B (zh) 2013-05-10 2013-05-10 ***日志的处理方法和***日志的处理平台

Country Status (1)

Country Link
CN (1) CN104144071B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105183625A (zh) * 2015-08-31 2015-12-23 北京奇虎科技有限公司 一种日志数据处理方法和装置
WO2016082371A1 (zh) * 2014-11-25 2016-06-02 中国科学院声学研究所 一种基于ssh协议的会话解析方法及***
CN105824835A (zh) * 2015-01-07 2016-08-03 北京艾力泰尔信息技术有限公司 自学习式遥测数据识别方法
CN105956082A (zh) * 2016-04-29 2016-09-21 深圳前海大数点科技有限公司 实时数据处理与存储***
CN106022349A (zh) * 2015-03-27 2016-10-12 国际商业机器公司 用于设备类型确定的方法和***
CN106209405A (zh) * 2015-05-06 2016-12-07 ***通信集团内蒙古有限公司 故障诊断方法及装置
CN106209466A (zh) * 2016-07-21 2016-12-07 柳州龙辉科技有限公司 一种***日志处理方法
CN106445806A (zh) * 2016-08-26 2017-02-22 北京小米移动软件有限公司 软件测试方法及装置
CN106878085A (zh) * 2017-03-03 2017-06-20 安徽大智睿科技技术有限公司 一种基于消息通知的***日志记录的实现方法及***
CN107332720A (zh) * 2017-08-22 2017-11-07 河钢股份有限公司承德分公司 一种收集交换机日志的装置
CN107426039A (zh) * 2017-09-18 2017-12-01 武汉虹信通信技术有限责任公司 一种日志上报和接收的方法及***
CN108563629A (zh) * 2018-03-13 2018-09-21 北京仁和诚信科技有限公司 一种日志解析规则自动生成方法和装置
CN108712294A (zh) * 2018-06-05 2018-10-26 陈艳 一种基于Syslog知识库实现网络设备监控告警的方法
CN108718295A (zh) * 2018-04-20 2018-10-30 新华三技术有限公司 一种***日志传输方法及装置
CN109818763A (zh) * 2017-11-20 2019-05-28 北京绪水互联科技有限公司 设备故障的分析统计方法和***及设备实时质控方法和***
CN110377576A (zh) * 2019-07-24 2019-10-25 中国工商银行股份有限公司 创建日志模板的方法和装置、日志分析方法
CN110493348A (zh) * 2019-08-26 2019-11-22 山东融为信息科技有限公司 一种基于物联网的智能监控报警***
US10489715B2 (en) 2015-03-27 2019-11-26 International Business Machines Corporation Fingerprinting and matching log streams
CN111046012A (zh) * 2019-12-02 2020-04-21 东软集团股份有限公司 巡检日志的抽取方法、装置、存储介质和电子设备
CN111144086A (zh) * 2019-12-20 2020-05-12 锐捷网络股份有限公司 一种日志格式化方法及装置、电子设备、存储介质
CN111310147A (zh) * 2020-03-20 2020-06-19 符安文 一种分布式内部信息平台
CN111782522A (zh) * 2020-06-29 2020-10-16 Oppo广东移动通信有限公司 追踪消息的输出方法、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902764A (zh) * 2012-09-25 2013-01-30 北京奇虎科技有限公司 一种日志记录的方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902764A (zh) * 2012-09-25 2013-01-30 北京奇虎科技有限公司 一种日志记录的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
赵红宙: ""***日志syslog在电信网管中的应用"", 《电子质量》 *
顾群业等: ""基于SNMP和SYSLOG的校园网运行状况分析***探讨"", 《山东轻工业学院学报》 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016082371A1 (zh) * 2014-11-25 2016-06-02 中国科学院声学研究所 一种基于ssh协议的会话解析方法及***
CN105824835A (zh) * 2015-01-07 2016-08-03 北京艾力泰尔信息技术有限公司 自学习式遥测数据识别方法
US10489715B2 (en) 2015-03-27 2019-11-26 International Business Machines Corporation Fingerprinting and matching log streams
CN106022349A (zh) * 2015-03-27 2016-10-12 国际商业机器公司 用于设备类型确定的方法和***
US10489714B2 (en) 2015-03-27 2019-11-26 International Business Machines Corporation Fingerprinting and matching log streams
CN106209405B (zh) * 2015-05-06 2019-11-08 ***通信集团内蒙古有限公司 故障诊断方法及装置
CN106209405A (zh) * 2015-05-06 2016-12-07 ***通信集团内蒙古有限公司 故障诊断方法及装置
CN105183625B (zh) * 2015-08-31 2018-04-13 北京奇虎科技有限公司 一种日志数据处理方法和装置
CN105183625A (zh) * 2015-08-31 2015-12-23 北京奇虎科技有限公司 一种日志数据处理方法和装置
CN105956082A (zh) * 2016-04-29 2016-09-21 深圳前海大数点科技有限公司 实时数据处理与存储***
CN105956082B (zh) * 2016-04-29 2019-07-02 深圳大数点科技有限公司 实时数据处理与存储***
CN106209466A (zh) * 2016-07-21 2016-12-07 柳州龙辉科技有限公司 一种***日志处理方法
CN106445806A (zh) * 2016-08-26 2017-02-22 北京小米移动软件有限公司 软件测试方法及装置
CN106445806B (zh) * 2016-08-26 2019-09-17 北京小米移动软件有限公司 软件测试方法及装置
CN106878085A (zh) * 2017-03-03 2017-06-20 安徽大智睿科技技术有限公司 一种基于消息通知的***日志记录的实现方法及***
CN107332720A (zh) * 2017-08-22 2017-11-07 河钢股份有限公司承德分公司 一种收集交换机日志的装置
CN107426039A (zh) * 2017-09-18 2017-12-01 武汉虹信通信技术有限责任公司 一种日志上报和接收的方法及***
CN109818763A (zh) * 2017-11-20 2019-05-28 北京绪水互联科技有限公司 设备故障的分析统计方法和***及设备实时质控方法和***
CN109818763B (zh) * 2017-11-20 2022-04-15 北京绪水互联科技有限公司 设备故障的分析统计方法和***及设备实时质控方法和***
CN108563629B (zh) * 2018-03-13 2022-04-19 北京仁和诚信科技有限公司 一种日志解析规则自动生成方法和装置
CN108563629A (zh) * 2018-03-13 2018-09-21 北京仁和诚信科技有限公司 一种日志解析规则自动生成方法和装置
CN108718295A (zh) * 2018-04-20 2018-10-30 新华三技术有限公司 一种***日志传输方法及装置
CN108712294A (zh) * 2018-06-05 2018-10-26 陈艳 一种基于Syslog知识库实现网络设备监控告警的方法
CN110377576B (zh) * 2019-07-24 2021-10-29 中国工商银行股份有限公司 创建日志模板的方法和装置、日志分析方法
CN110377576A (zh) * 2019-07-24 2019-10-25 中国工商银行股份有限公司 创建日志模板的方法和装置、日志分析方法
CN110493348A (zh) * 2019-08-26 2019-11-22 山东融为信息科技有限公司 一种基于物联网的智能监控报警***
CN111046012A (zh) * 2019-12-02 2020-04-21 东软集团股份有限公司 巡检日志的抽取方法、装置、存储介质和电子设备
CN111046012B (zh) * 2019-12-02 2023-09-26 东软集团股份有限公司 巡检日志的抽取方法、装置、存储介质和电子设备
CN111144086A (zh) * 2019-12-20 2020-05-12 锐捷网络股份有限公司 一种日志格式化方法及装置、电子设备、存储介质
CN111310147A (zh) * 2020-03-20 2020-06-19 符安文 一种分布式内部信息平台
CN111782522A (zh) * 2020-06-29 2020-10-16 Oppo广东移动通信有限公司 追踪消息的输出方法、电子设备及存储介质
CN111782522B (zh) * 2020-06-29 2023-10-24 哲库科技(北京)有限公司 追踪消息的输出方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN104144071B (zh) 2018-02-06

Similar Documents

Publication Publication Date Title
CN104144071A (zh) ***日志的处理方法和***日志的处理平台
CN104506393B (zh) 一种基于云平台的***监控方法
CN105183609B (zh) 一种应用于软件***的实时监控***及方法
CN101483545B (zh) 一种金融业务监控方法及***
EP2487860B1 (en) Method and system for improving security threats detection in communication networks
CN106371986A (zh) 一种日志处理运维监控***
CN114584401B (zh) 一种面向大规模网络攻击的追踪溯源***及方法
CN113612763B (zh) 基于网络安全恶意行为知识库的网络攻击检测装置和方法
CN105207826A (zh) 一种基于Tachyou的Spark大数据平台的安全攻击告警定位***
CN102014020A (zh) 一种用于对网络设备进行网络监控的设备及其方法
CN106055608A (zh) 自动采集和分析交换机日志的方法和装置
CN103827810A (zh) 资产模型导入连接器
CN107659443A (zh) 一种实时业务的监控方法及其***
CN113157994A (zh) 一种多源异构平台数据处理方法
CN103166788B (zh) 一种集控控制管理***
CN104637265A (zh) 调度自动化多级一体化智能值班报警***
CN113946497A (zh) 一种适用于多云平台资源统一智能监控告警的方法
CN114244676A (zh) 一种智能it综合网关***
CN107547228A (zh) 一种基于大数据的安全运维管理平台的实现架构
CN112104659A (zh) 一种基于政务应用安全的实时监测平台
US11558242B2 (en) Generation of synthetic alerts and unified dashboard for viewing multiple layers of data center simultaneously
CN116030943A (zh) 一种大数据智慧运维控制***及方法
CN117118761B (zh) 一种贯穿智能汽车信息安全的纵深防御***和方法
CN114006940A (zh) 建筑集成管理信息推送方法、***、计算机及存储介质
CN103618635A (zh) 信息化设备分层关联管控***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: Room 810, 8 / F, 34 Haidian Street, Haidian District, Beijing 100080

Patentee after: BEIJING D-MEDIA COMMUNICATION TECHNOLOGY Co.,Ltd.

Address before: 100089 Beijing city Haidian District wanquanzhuang Road No. 28 Wanliu new building 6 storey block A room 602

Patentee before: BEIJING D-MEDIA COMMUNICATION TECHNOLOGY Co.,Ltd.

CP02 Change in the address of a patent holder