CN106055608A - 自动采集和分析交换机日志的方法和装置 - Google Patents

Abstract

本申请公开了一种自动采集和分析交换机日志的方法和装置。所述方法的一具体实施方式包括：采集互联网数据中心内所有交换机产生的日志；将所述日志按照预定的规则过滤，保留符合预定的规则的日志；对所述保留的日志进行结构化处理以形成结构化数据，其中，所述结构化数据包括：交换机ID、时间戳、消息类型和详细消息；将所述结构化数据传输到存储设备中；分析所述存储设备中的所述结构化数据。该实施方式实现了交换机日志的自动化采集、传输、存储、结构化、查询以及分析。

Description

自动采集和分析交换机日志的方法和装置

技术领域

本申请涉及计算机技术领域，具体涉及互联网技术领域，尤其涉及自动采集和分析交换机日志的方法和装置。

背景技术

随着互联网数据的***性增长以及业务的增多，很多互联网企业对自建网络的投入也越来越大，IDC(Internet Data Center，互联网数据中心)中涉及到的网络设备也越来越多，尤其是交换机设备。

交换机日志是交换机设备在存活周期内产生的重要数据，通过交换机日志可以获取交换机的状态，包括端口的抖动、协议的抖动、板卡故障、电源故障等，而传统的设备监控***都是基于交换机日志，通过特定的规则匹配日志，从而发现故障点并进行报警。交换机日志分析面临的问题是规模的庞大以及物理位置的分散、设备型号的复杂化，工程师排障时需要逐一登录设备查看日志，而设备上存在的垃圾日志会严重干扰排障效率。已有的监控***对日志进行实时匹配，离线数据会丢弃掉，而这部分离线数据中很有可能存在有价值的信息。

发明内容

本申请的目的在于提出一种自动采集和分析交换机日志的方法和装置，来解决以上背景技术部分提到的技术问题。

第一方面，本申请提供了一种自动采集和分析交换机日志的方法，所述方法包括：采集互联网数据中心内所有交换机产生的日志；将所述日志按照预定的规则过滤，保留符合预定的规则的日志；对所述保留的日志进行结构化处理以形成结构化数据，其中，所述结构化数据包括：交换机ID、时间戳、消息类型和详细消息；将所述结构化数据传输到存储设备中；分析所述存储设备中的所述结构化数据。

在一些实施例中，所述对所述保留的日志进行结构化处理以形成结构化数据，包括：从所述保留的日志中解析出交换机ID和时间戳；去除所述保留的日志中的交换机ID和时间戳；采用Lucene对所述日志进行分词去重；采用聚类算法将具有相同结构或含义的日志分成一类以提取消息类型和详细消息。

在一些实施例中，所述采集互联网数据中心内所有交换机产生的日志，包括：通过两台核心服务器采集所述互联网数据中心内所有交换机产生的日志，其中，所述两台核心服务器互为冗余并支持断点续传。

在一些实施例中，所述将所述结构化数据传输到存储设备中，包括：采用存在两个传输节点的flume架构，所述两个传输节点共用一个虚拟IP。

在一些实施例中，所述存储设备包括MySQL数据库和Hadoop分布式文件***。

在一些实施例中，所述分析所述存储设备中的所述结构化数据，包括：通过所述MySQL数据库查询预定时间内的所述交换机的实时结构化数据；通过所述Hadoop分布式文件***对所述交换机的日志大小进行分析，如果所述交换机的日志大小大于阈值则告警交换机异常。

第二方面，本申请提供了一种自动采集和分析交换机日志的装置，其特征在于，所述装置包括：采集单元，配置用于采集互联网数据中心内所有交换机产生的日志；过滤单元，配置用于将所述日志按照预定的规则过滤，保留符合预定的规则的日志；结构化单元，配置用于对所述保留的日志进行结构化处理以形成结构化数据，其中，所述结构化数据包括：交换机ID、时间戳、消息类型和详细消息；传输单元，配置用于将所述结构化数据传输到存储设备中；分析单元，配置用于分析所述存储设备中的所述结构化数据。

在一些实施例中，所述结构化单元配置用于：从所述保留的日志中解析出交换机ID和时间戳；去除所述保留的日志中的交换机ID和时间戳；采用Lucene对所述日志进行分词去重；采用聚类算法将具有相同结构或含义的日志分成一类以提取消息类型和详细消息。

在一些实施例中，所述采集单元进一步配置用于：通过两台核心服务器采集所述互联网数据中心内所有交换机产生的日志，其中，所述两台核心服务器互为冗余并支持断点续传。

在一些实施例中，所述传输单元配置用于：采用存在两个传输节点的flume架构，所述两个传输节点共用一个虚拟IP。

在一些实施例中，所述存储设备包括MySQL数据库和Hadoop分布式文件***。

在一些实施例中，所述分析单元进一步配置用于：通过所述MySQL数据库查询预定时间内的所述交换机的实时结构化数据；通过所述Hadoop分布式文件***对所述交换机的日志大小进行分析，如果所述交换机的日志大小大于阈值则告警交换机异常。

本申请提供的自动采集和分析交换机日志的方法和装置，通过采集互联网数据中心内所有交换机产生的日志，将所述日志进行清洗预处理后形成结构化数据再传输到存储设备中，并分析所述存储设备中的所述结构化数据，能够很好的处理大规模多型号复杂设备环境下的交换机日志统计采集、结构化以及集中查看、分析能够提升运维工程师的运维效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请可以应用于其中的示例性***架构图；

图2是根据本申请的自动采集和分析交换机日志的方法的一个实施例的流程图；

图3是根据本申请的自动采集和分析交换机日志的方法的一个应用场景的示意图；

图4是根据本申请的自动采集和分析交换机日志的方法的又一个实施例的流程图；

图5是根据本申请的自动采集和分析交换机日志的装置的一个实施例的结构示意图；

图6是适于用来实现本申请实施例的服务器的计算机***的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的自动采集和分析交换机日志的方法或自动采集和分析交换机日志的装置的实施例的示例性***架构100。

如图1所示，***架构100可以包括交换机101、102、103，网络104和服务器105。网络104用以在交换机101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

交换机101、102、103的日志通过网络104传输到服务器105。交换机101、102、103上可以安装有各种日志采集工具的客户端，例如安装有可以将其内部的日志信息传输到远程的日志服务器的rsyslog等。

交换机101、102、103可以是为接入交换机的任意两个网络节点提供独享的电信号通路的网络设备，包括但不限于以太网交换机、快速以太网交换机、千兆以太网交换机、FDDI交换机、ATM交换机和令牌环交换机等。

服务器105可以是提供各种服务的服务器，例如采集交换机101、102、103的日志，对采集到的日志进行结构化、存储、分析。

需要说明的是，本申请实施例所提供的自动采集和分析交换机日志的方法一般由服务器105执行，相应地，自动采集和分析交换机日志的装置一般设置于服务器105中。

应该理解，图1中的交换机、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的交换机、网络和服务器。

继续参考图2，示出了根据本申请的自动采集和分析交换机日志的方法的一个实施例的流程200。所述的自动采集和分析交换机日志的方法，包括以下步骤：

步骤201，采集互联网数据中心内所有交换机产生的日志。

在本实施例中，自动采集和分析交换机日志的方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式通过日志采集工具从互联网数据中心内所有交换机采集交换机日志。

在本实施例的一些可选的实现方式中，通过两台核心服务器采集所述互联网数据中心内所有交换机产生的日志，其中，所述两台核心服务器互为冗余并支持断点续传。例如，在出现网络故障的情况下，可以将采集到的交换机日志缓存在本地，等到网络恢复后再进行断点续传，最大容灾可以是20万条日志。

步骤202，将日志按照预定的规则过滤，保留符合预定的规则的日志。

在本实施例中，可以将日志过滤掉无用日志后，再进行日志传输，例如，过滤掉由于BUG引起的大量无用日志。

步骤203，对保留的日志进行结构化处理以形成结构化数据。

在本实施例中，可以将过滤后保留的日志进行结构化处理以形成结构化数据，其中，所述结构化数据包括：交换机ID、时间戳、消息类型和详细消息。

步骤204，将结构化数据传输到存储设备中。

在本实施例中，将结构化数据传输到存储设备中。其中所述存储设备可以是图1所示的服务器，也可以是其它远程服务器

在本实施例的一些可选的实现方式中，采用存在两个传输节点的flume架构，所述两个传输节点共用一个虚拟IP，实现了负载均衡与容灾。

在本实施例的一些可选的实现方式中，所述存储设备包括MySQL数据库和Hadoop分布式文件***。例如，MySQL数据库用于保存一周的时间，根据经验，一周也基本是排查线上问题的最大时间窗口

步骤205，分析存储设备中的结构化数据。

在本实施例中，分析存储设备中的结构化数据。为了提升运维工程师的排障效率，可以对所有结构化的日志提供统一查看入口。将所有设备的日志集中到存储设备之后，搭建日志统一查询平台，运维工程师可以查看任意一个机房、一种型号、一台设备任意时间段的详细消息。例如，对每一台交换机设备的日志规模进行统计，通过规模异常发现可能存在问题的交换机设备。如果一台设备的日志规模异常，很有可能是开启了DEBUG模式或交换机存在BUG。因此，需要及时处理这些设备，降低垃圾日志对工程师排障的干扰。

在本实施例的一些可选的实现方式中，通过所述MySQL数据库查询预定时间内的所述交换机的实时结构化数据；通过所述Hadoop分布式文件***对所述交换机的日志大小进行分析，如果所述交换机的日志大小大于阈值则告警交换机异常。

继续参见图3，图3是根据本实施例的自动采集和分析交换机日志的方法的应用场景的一个示意图。在图3的应用场景中，日志采集单元302采集多个交换机301的日志，将采集到的日志过滤后通过日志传输单元303传输到存储设备MySQL304和HDFS(Hadoop分布式文件***)305中。MySQL304中的结构化日志供工程师查询，HDFS中的日志可用于进行日志分析并为离线挖掘、日志压缩算法提供原始的离线数据。

本申请的上述实施例提供的方法通过对交换机日志的自动化采集、传输、存储、结构化、查询以及分析，能够很好的处理大规模多型号复杂设备环境下的日志统计采集、结构化以及集中统计查看、能够提升运维工程师的运维效率。

进一步参考图4，其示出了自动采集和分析交换机日志的方法的又一个实施例的流程400。该自动采集和分析交换机日志的方法的流程400，包括以下步骤：

步骤401，采集互联网数据中心内所有交换机产生的日志。

步骤402，将日志按照预定的规则过滤，保留符合预定的规则的日志。

步骤401-402和步骤201-202相同，因此不再赘述。

步骤403，从保留的日志中解析出交换机ID和时间戳。

在本实施例中，从保留的日志中解析出交换机ID和时间戳，如表1所示。

原始的交换机日志是非结构化数据，无法直接进行日志的分类统计，而结构化的难点在于复杂交换机型号下的格式多样化。经结构化处理后的结构化数据如表1所示：

表1

其中，交换机ID是交换机设备的唯一标识，通常采用管理IP和名称表示,同样还有其归属关系，如表2所示：

IDC	管理IP	名称	区域类型
				xxx	192.168.x.x	xx-xx-xx-xx.Int	INT_SWITCH
xxx	192.168.x.x	xx-xx-xx-xx.Ext	INT_SWITCH
				xxx	192.168.x.x	xx-xx-xx-xx.Admin	INT_SWITCH

表2

其中，管理IP和名称都可以采用通用的正则表达式提取，IDC和区域类型需要在传输的时候给日志添加标签(使用Rsyslog的日志格式化功能)。

步骤404，去除保留的日志中的交换机ID和时间戳。

在本实施例中，去除保留的日志中的交换机ID和时间戳。

格式化的难点之一是对消息类型的提取，各个型号交换机的消息类型格式不统一，甚至同一型号不同版本的交换机日志格式也会有区别。为了解决这个问题，我们首先对同一型号的交换机进行预处理，去除变量(数字、管理IP、名称、时间戳等)。

步骤405，采用Lucene对日志进行分词去重。

在本实施例中，采用Lucene对日志进行分词去重。lucene是一个著名的开源工具，可以利用该工具进行分词。将去除变量的日志输入该工具，则会输出分词结果。

步骤406，采用聚类算法将具有相同结构或含义的日志分成一类以提取消息类型和详细消息形成结构化数据。

在本实施例中，对预处理后的数据提取Term Frequency–Inverse DocumentFrequency(TF-IDF)并将日志文本转化为数值，采用K-means算法聚类，将具有相同结构或含义的日志分成一类，然后提取消息类型的正则表达式，如表3所示：

表3

然后，利用消息类型的正则表达式提取日志中的消息类型。

提取详细消息时，需要将所有已经结构化的部分从原始日志中剔除，同时需要处理日志开始处的一些特殊字符，例如*.％等，详细消息如表4所示：

详细消息
	Interface ethernet 1/2/2,state up
VLAN 4094Port 1/2/2State->BLOCKING(PortDown)
	2/3optic rx power low alarm
Optic is not Foundry qualified(port 7)

表4

步骤407，将结构化数据传输到存储设备中。

步骤408，分析存储设备中的结构化数据。

步骤407-408与步骤204-205相同，因此不再赘述。

从图4中可以看出，与图2对应的实施例相比，本实施例中的自动采集和分析交换机日志的方法的流程400突出了对日志进行结构化处理以形成结构化数据的步骤。由此，本实施例描述的方案可以针对多个厂商的不同的交换机设备进行日志处理，进行统一的结构化便于对日志进行查询和分析。

进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种自动采集和分析交换机日志的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例所述的自动采集和分析交换机日志的装置500包括：采集单元501、过滤单元502、结构化单元503、传输单元504和分析单元505。其中，采集单元501配置用于采集互联网数据中心内所有交换机产生的日志；过滤单元502配置用于将所述日志按照预定的规则过滤，保留符合预定的规则的日志；结构化单元503配置用于对所述保留的日志进行结构化处理以形成结构化数据，其中，所述结构化数据包括：交换机ID、时间戳、消息类型和详细消息；传输单元504配置用于将所述结构化数据传输到存储设备中；分析单元505配置用于分析所述存储设备中的所述结构化数据。

在本实施例中，采集单元501将采集到的日志发送给过滤单元502过滤。结构化单元503将过滤单元502过滤后的日志进行结构化处理再由传输单元504传输到分析单元505。

在本实施例的一些可选的实现方式中，所述结构化单元503配置用于：从所述保留的日志中解析出交换机ID和时间戳；去除所述保留的日志中的交换机ID和时间戳；采用Lucene对所述日志进行分词去重；采用聚类算法将具有相同结构或含义的日志分成一类以提取消息类型和详细消息。

在本实施例的一些可选的实现方式中，所述采集单元501进一步配置用于：通过两台核心服务器采集所述互联网数据中心内所有交换机产生的日志，其中，所述两台核心服务器互为冗余并支持断点续传。

在本实施例的一些可选的实现方式中，所述传输单元504配置用于：采用存在两个传输节点的flume架构，所述两个传输节点共用一个虚拟IP。

在本实施例的一些可选的实现方式中，所述存储设备包括MySQL数据库和Hadoop分布式文件***。

在本实施例的一些可选的实现方式中，所述分析单元505进一步配置用于：通过所述MySQL数据库查询预定时间内的所述交换机的实时结构化数据；通过所述Hadoop分布式文件***对所述交换机的日志大小进行分析，如果所述交换机的日志大小大于阈值则告警交换机异常。

下面参考图6，其示出了适于用来实现本申请实施例的服务器的计算机***600的结构示意图。

如图6所示，计算机***600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有***600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。

附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括采集单元、过滤单元、结构化单元、传输单元和分析单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，采集单元还可以被描述为“采集互联网数据中心内所有交换机产生的日志的单元”。

作为另一方面，本申请还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中所述装置中所包含的非易失性计算机存储介质；也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当所述一个或者多个程序被一个设备执行时，使得所述设备：采集互联网数据中心内所有交换机产生的日志；将所述日志按照预定的规则过滤，保留符合预定的规则的日志；对所述保留的日志进行结构化处理以形成结构化数据，其中，所述结构化数据包括：交换机ID、时间戳、消息类型和详细消息；将所述结构化数据传输到存储设备中；分析所述存储设备中的所述结构化数据。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种自动采集和分析交换机日志的方法，其特征在于，所述方法包括：

采集互联网数据中心内所有交换机产生的日志；

将所述日志按照预定的规则过滤，保留符合预定的规则的日志；

对所述保留的日志进行结构化处理以形成结构化数据，其中，所述结构化数据包括：交换机ID、时间戳、消息类型和详细消息；

将所述结构化数据传输到存储设备中；

分析所述存储设备中的所述结构化数据。

2.根据权利要求1所述的自动采集和分析交换机日志的方法，其特征在于，所述对所述保留的日志进行结构化处理以形成结构化数据，包括：

从所述保留的日志中解析出交换机ID和时间戳；

去除所述保留的日志中的交换机ID和时间戳；

采用Lucene对所述日志进行分词去重；

采用聚类算法将具有相同结构或含义的日志分成一类以提取消息类型和详细消息。

3.根据权利要求1所述的自动采集和分析交换机日志的方法，其特征在于，所述采集互联网数据中心内所有交换机产生的日志，包括：

通过两台核心服务器采集所述互联网数据中心内所有交换机产生的日志，其中，所述两台核心服务器互为冗余并支持断点续传。

4.根据权利要求1所述的自动采集和分析交换机日志的方法，其特征在于，所述将所述结构化数据传输到存储设备中，包括：

采用存在两个传输节点的flume架构，所述两个传输节点共用一个虚拟IP。

5.根据权利要求1所述的自动采集和分析交换机日志的方法，其特征在于，所述存储设备包括MySQL数据库和Hadoop分布式文件***。

6.根据权利要求5所述的自动采集和分析交换机日志的方法，其特征在于，所述分析所述存储设备中的所述结构化数据，包括：

通过所述MySQL数据库查询预定时间内的所述交换机的实时结构化数据；

通过所述Hadoop分布式文件***对所述交换机的日志大小进行分析，如果所述交换机的日志大小大于阈值则告警交换机异常。

7.一种自动采集和分析交换机日志的装置，其特征在于，所述装置包括：

采集单元，配置用于采集互联网数据中心内所有交换机产生的日志；

过滤单元，配置用于将所述日志按照预定的规则过滤，保留符合预定的规则的日志；

结构化单元，配置用于对所述保留的日志进行结构化处理以形成结构化数据，其中，所述结构化数据包括：交换机ID、时间戳、消息类型和详细消息；

传输单元，配置用于将所述结构化数据传输到存储设备中；

分析单元，配置用于分析所述存储设备中的所述结构化数据。

8.根据权利要求7所述的自动采集和分析交换机日志的装置，其特征在于，所述结构化单元配置用于：

从所述保留的日志中解析出交换机ID和时间戳；

去除所述保留的日志中的交换机ID和时间戳；

采用Lucene对所述日志进行分词去重；

采用聚类算法将具有相同结构或含义的日志分成一类以提取消息类型和详细消息。

9.根据权利要求7所述的自动采集和分析交换机日志的装置，其特征在于，所述采集单元进一步配置用于：

通过两台核心服务器采集所述互联网数据中心内所有交换机产生的日志，其中，所述两台核心服务器互为冗余并支持断点续传。

10.根据权利要求7所述的自动采集和分析交换机日志的装置，其特征在于，所述传输单元配置用于：

采用存在两个传输节点的flume架构，所述两个传输节点共用一个虚拟IP。

11.根据权利要求7所述的自动采集和分析交换机日志的装置，其特征在于，所述存储设备包括MySQL数据库和Hadoop分布式文件***。

12.根据权利要求11所述的自动采集和分析交换机日志的装置，其特征在于，所述分析单元进一步配置用于：

通过所述MySQL数据库查询预定时间内的所述交换机的实时结构化数据；

通过所述Hadoop分布式文件***对所述交换机的日志大小进行分析，如果所述交换机的日志大小大于阈值则告警交换机异常。