CN109376136A - 一种分布式日志处理***、网络设备及方法 - Google Patents

Abstract

本发明公开了一种分布式日志处理***、网络设备及方法，涉及流量的收集汇总分析技术。本发明公开的一种分布式日志处理***，包括日志分析器，网关设备以及与所述网关设备相关联的多个日志采集器，其中：所述网关设备接收到日志数据后，根据所接收到的日志数据的议IP地址和关联的日志采集器的总个数进行HASH计算，按照HASH计算结果将所接收到的日志数据分发至指定的日志采集器；所述日志采集器，按照所述网关设备控制进行日志数据的收集，并将收集的日志数据传送到所述日志分析器。本发明技术方案易于实现，实现了日志的消峰，避免了超出服务器的处理阈值，实现了***的稳定性。

Description

一种分布式日志处理***、网络设备及方法

技术领域

本发明涉及流量的收集汇总分析技术，特别涉及一种分布式日志收集分析方案。

背景技术

现有的日志收集分析***主要存在于运营商之中，由于各个厂商的实现方案各不相同，因此主要解决的方向为大数据量消峰、数据的实时性、准确性以及***的稳定性。

针对上述的问题，亟待提出一解决方案，以应对日益增长的流量数据。

发明内容

本发明公开了一种分布式日志处理***、网络设备及方法，可以解决现有日志收集分析***针法应用数据流量过大的问题。

本发明公开了一种分布式日志处理***，包括日志分析器，还包括网关设备以及与所述网关设备相关联的多个日志采集器，其中：

所述网关设备接收到日志数据后，根据所接收到的日志数据的IP地址和关联的日志采集器的总个数进行HASH(哈希)计算，按照HASH计算结果将所接收到的日志数据分发至指定的日志采集器；

所述日志采集器，按照所述网关设备控制进行日志数据的收集，并将收集的日志数据传送到所述日志分析器。

可选地，上述***中，所述网关设备根据所接收到的日志数据的IP地址和关联的日志采集器的总个数进行HASH计算，按照HASH计算结果将所接收到的日志数据分发至指定的日志采集器进行日志数据的收集，包括：

为每个日志采集器设定索引标识，根据HASH计算结果，得到日志采集器的索引，将日志数据发至所计算出的索引对应的日志采集器上。

可选地，上述***中，所述日志采集器将收集的日志数据传送到所述日志分析器包括：

所述日志采集器进行日志数据的收集后，生成BDB(嵌入式数据库)文件，通过FTP/SFTP(文件传输协议/安全文件传送协议)发送至所述日志分析器。

可选地，上述***中，所述日志分析器，接收到所述日志采集器发送的日志数据时，在线程池中创建线程，所述线程用于将日志分析器积压的日志数据回调给对应的日志采集器。

本文还公开了一种网络设备，包括存储器和处理器，且所述网络设备关联多个日志采集器，其中：

所述存储器，用于保存用于分布式日志处理的程序；

所述处理器，用于读取执行所述用于分布式日志处理的程序，执行如下操作：

接收日志数据后，根据所接收的日志数据的IP地址和关联的日志采集器的总个数进行HASH计算，按照HASH计算结果将所接收的日志数据分发至指定的日志采集器进行日志数据的收集，收集的日志数据用于后续日志分析处理。

可选地，上述设备中，所述根据所接收的日志数据的IP地址和关联的日志采集器的总个数进行HASH计算，按照HASH计算结果将所接收的日志数据分发至指定的日志采集器进行日志数据的收集，包括：

为每个日志采集器设定索引标识，根据HASH计算结果，得到日志采集器的索引，将日志数据发至所计算出的索引对应的日志采集器上。

本文还公开了一种分布式日志处理方法，包括：

关联有多个日志采集器的分布式日志处理***接收日志数据后，根据所接收到的日志数据的网络协议IP地址和所述***关联的日志采集器的总个数进行HASH计算，按照HASH计算结果将所接收到的日志数据分发至所述***中指定的日志采集器进行日志数据的收集；

所述日志采集器进行日志数据的收集后，将收集的日志数据传送到所述***的日志分析器进行日志分析。

可选地，上述方法中，所述分布式日志处理***根据所接收到的日志数据的IP地址和所述***关联的日志采集器的总个数进行HASH计算，按照HASH计算结果将所接收到的日志数据分发至所述***指定的日志采集器进行日志数据的收集，包括：

为每个日志采集器设定索引标识，根据HASH计算结果，得到日志采集器的索引，将日志数据发至所计算出的索引对应的日志采集器上。

可选地，上述方法中，所述日志采集器将收集的日志数据传送到所述***的日志分析器包括：

所述***中关联的每个日志采集器进行日志数据的收集后，生成BDB文件，通过FTP/SFTP发送至所述日志分析器。

可选地，上述方法还包括：

所述日志分析器，在线程池中创建线程，所述线程用于将日志分析器积压的日志数据回调给对应的日志采集器。

本文还公开了一种分布式日志处理方法，包括：

接收日志数据，根据所接收的日志数据的IP地址和日志采集器的总个数进行HASH计算，按照HASH计算结果将所接收的日志数据分发至日志采集器，供日志采集器进行日志数据的收集，其中，收集的日志数据用于后续日志分析处理。

可选地，上述方法中，所述根据所接收的日志数据的IP地址和日志采集器的总个数进行HASH计算，按照HASH计算结果将所接收的日志数据分发至指定的日志采集器上，包括：

为每个日志采集器设定索引标识，根据HASH计算结果，得到日志采集器的索引，将日志数据发至所计算出的索引对应的日志采集器上。

本发明技术方案带来了一种分布式日志收集分析***技术方案，易于实现，能够依赖HASH算法将日志分配到不同的日志采集器中，实现了日志的消峰，从而也就避免了超出服务器的处理阈值，实现了***的稳定性。本发明技术方案可以应用于流量的收集汇总分析，尤其适用于运行商和企业网的流量的收集汇总分析。

附图说明

图1为本发明实施例中分布式日志处理***的架构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文将结合具体实施方式对本发明技术方案作进一步详细说明。需要说明的是，在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

实施例1

本申请发明人提出可以利用分布式服务思想设计一种分布式日志收集分析***，从而可以为大数据消峰。并且，在前端(例如，在日志收集过程中)生成结果，避免无用数据后传，造成日志分析器超出工作阈值。

基于上述思想，本实施例提供一种分布式日志处理***，如图1所示，包括有日志分析器，以及网关设备，且该网关设备相关联有多个日志采集器。

其中，网关设备将镜像流量中的日志数据发送给不同的日志采集器，即网关设备接收到日志数据后，根据所接收到的日志数据的IP地址和关联的日志采集器的总个数进行HASH计算，按照HASH计算结果将所接收到的日志数据分发至指定的日志采集器进行日志数据的收集；具体地，网关设备可以为每个日志采集器设定索引标识，之后，根据HASH计算结果，得到日志采集器的索引，将日志数据发至所计算出的索引对应的日志采集器上即可。例如，本实施例采用的HASH算法可参考如下Java代码来实现：

其中，total为日志采集器的总个数，key是接收到的日志数据的IP地址(本实施例中为日志数据的源IP地址)，return(total-1)&hash即为日志数据所分发到的那个日志采集器的索引。

日志采集器，按照网关设备控制进行日志数据的收集，并将收集的日志数据传送到日志分析器。

具体地，分布式日志处理***中每个日志采集器进行日志数据的收集后，对日志数据进行一定的业务处理后，生成Berkeley DB文件，再通过FTP/SFTP发送至日志分析器即可。其中，利用FTP或者SFTP，将处理结果(即收集并进行业务处理后的日志数据)的DB文件发送至日志分析器时，此处的DB文件可以根据业务的需要进行文件分类，发送至分析器的不同文件夹下。

另外，日志分析器对接收到的DB文件可以进行实时的清洗入库，还可以进行深层次的分析，或者上报给日志储存器。一些可选的实施方式中，日志分析器，还可以采集器在线程池中新建线程用于回调处理，即新建的线程用于将日志分析器中积压的日志数据(相当于无法实时分析的日志数据)回调给对应的日志采集器。也就是说，为了避免日志积压，导致数据无法实现实时性，当日志分析器通过FTP或者SFTP收到文件时，在线程池中新建线程进行回调处理，可以最大可能保证无中间空闲时间，避免日志积压的风险。随后可根据业务需要进行数据的二次清洗或者继续上报等处理。

实施例2

本实施例提供一种分布式日志处理方法，主要包括如下操作：

关联有多个日志采集器的分布式日志处理***接收日志数据后，根据所接收到的日志数据的IP地址和***关联的日志采集器的总个数进行HASH计算，按照HASH计算结果将所接收到的日志数据分发至***中指定的日志采集器进行日志数据的收集；

日志采集器进行日志数据的收集后，将收集的日志数据传送到***的日志分析器进行日志分析。

具体地，分布式日志处理***可按照如下方式选择日志采集器，以将接收到的日志数据分发给所选择的日志采集器：

为每个日志采集器设定索引标识，根据HASH计算结果，得到日志采集器的索引，将日志数据发至所计算出的索引对应的日志采集器上。例如，可以采用如下Java代码来实现HASH计算，并根据HASH计算结果确定日志数据发至哪一个日志采集器上：

其中，total为日志采集器的总个数，key是接收到的日志数据的IP地址(本实施例中为日志数据的源IP地址)，return(total-1)&hash即为日志数据所分发到的那个日志采集器的索引。

具体地，日志采集器进行日志数据的收集后，进行一定的业务处理，生成BDB(Berkeley DB)文件，再通过FTP/SFTP发送至日志分析器即可。其中，生成的BDB文件可以根据业务的需要进行文件分类，这样就可以将不同类别的文件发送至分析器的不同文件夹下。

对于日志分析器而言，可以在线程池中创建线程，此线程用于将日志分析器积压的日志数据(即无法实时分析的日志数据)回调给对应的日志采集器，这样可以最大可能保证无中间空闲时间，避免日志积压的风险。随后可以根据业务需要进行数据的二次清洗或者继续上报等处理。

实施例3

本实施例提供一种网络设备，包括存储器和处理器，且该网络设备可以关联多个日志采集器。

其中，存储器，主要用于保存用于分布式日志处理的程序；

处理器，主要用于读取执行所述用于分布式日志处理的程序，执行如下操作：

接收日志数据后，根据所接收的日志数据的IP地址和关联的日志采集器的总个数进行HASH计算，按照HASH计算结果将所接收的日志数据分发至指定的日志采集器进行日志数据的收集，收集的日志数据用于后续日志分析处理。

本实施例中，处理器选择不同的日志采集器分发日志数据时，可以按照如下方式确定所选择的日志采集器：

为每个日志采集器设定索引标识，根据HASH计算结果，得到日志采集器的索引，将日志数据发至所计算出的索引对应的日志采集器上。

例如，可以采用如下Java代码来实现HASH计算，并根据HASH计算结果确定日志数据发至哪一个日志采集器上：

其中，total为日志采集器的总个数，key是接收到的日志数据的IP地址(本实施例中为日志数据的源IP地址)，return(total-1)&hash即为日志数据所分发到的那个日志采集器的索引。

实施例4

本实施例提供一种分布式日志处理方法，主要从网络设备侧来描述，该方法主要包括如下操作步骤：

接收日志数据，根据所接收的日志数据的IP地址和日志采集器的总个数进行哈希HASH计算，按照HASH计算结果将所接收的日志数据分发至日志采集器，供日志采集器进行日志数据的收集，其中，收集的日志数据用于后续日志分析处理。

其中，可以采用如下计算方式确定选择哪一个日志采集器，将所接收的日志数分发至所选择的日志采集器上：

为每个日志采集器设定索引标识，根据HASH计算结果，得到日志采集器的索引，将日志数据发至所计算出的索引对应的日志采集器上。

其中，可以采用如下Java代码来实现HASH计算，并根据HASH计算结果确定日志数据发至哪一个日志采集器上：

其中，total为日志采集器的总个数，key是接收到的日志数据的IP地址(本实施例中为日志数据的源IP地址)，return(total-1)&hash即为日志数据所分发到的那个日志采集器的索引。

从上述实施例可以看出，本申请技术方案可以实现日志的分布式收集、实时上报以及零积压处理。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请不限制于任何特定形式的硬件和软件的结合。

以上所述，仅为本发明的较佳实例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种分布式日志处理***，包括日志分析器，其特征在于，还包括网关设备以及与所述网关设备相关联的多个日志采集器，其中：

所述网关设备接收到日志数据后，根据所接收到的日志数据的网络协议IP地址和关联的日志采集器的总个数进行哈希HASH计算，按照HASH计算结果将所接收到的日志数据分发至指定的日志采集器；

所述日志采集器，按照所述网关设备控制进行日志数据的收集，并将收集的日志数据传送到所述日志分析器。

2.如权利要求1所述的***，其特征在于，所述网关设备根据所接收到的日志数据的IP地址和关联的日志采集器的总个数进行HASH计算，按照HASH计算结果将所接收到的日志数据分发至指定的日志采集器进行日志数据的收集，包括：

为每个日志采集器设定索引标识，根据HASH计算结果，得到日志采集器的索引，将日志数据发至所计算出的索引对应的日志采集器上。

3.如权利要求1或2所述的***，其特征在于，所述日志采集器将收集的日志数据传送到所述日志分析器包括：

所述日志采集器进行日志数据的收集后，生成嵌入式数据库BDB文件，通过文件传输协议/安全文件传送协议FTP/SFTP发送至所述日志分析器。

4.如权利要求3所述的***，其特征在于，

所述日志分析器，接收到所述日志采集器发送的日志数据时，在线程池中创建线程，所述线程用于将日志分析器积压的日志数据回调给对应的日志采集器。

5.一种网络设备，其特征在于，包括存储器和处理器，且所述网络设备关联多个日志采集器，其中：

所述存储器，用于保存用于分布式日志处理的程序；

所述处理器，用于读取执行所述用于分布式日志处理的程序，执行如下操作：

接收日志数据后，根据所接收的日志数据的网络协议IP地址和关联的日志采集器的总个数进行哈希HASH计算，按照HASH计算结果将所接收的日志数据分发至指定的日志采集器进行日志数据的收集，收集的日志数据用于后续日志分析处理。

6.如权利要求5所述的设备，其特征在于，所述根据所接收的日志数据的IP地址和关联的日志采集器的总个数进行HASH计算，按照HASH计算结果将所接收的日志数据分发至指定的日志采集器进行日志数据的收集，包括：

为每个日志采集器设定索引标识，根据HASH计算结果，得到日志采集器的索引，将日志数据发至所计算出的索引对应的日志采集器上。

7.一种分布式日志处理方法，其特征在于，包括：

关联有多个日志采集器的分布式日志处理***接收日志数据后，根据所接收到的日志数据的网络协议IP地址和所述***关联的日志采集器的总个数进行哈希HASH计算，按照HASH计算结果将所接收到的日志数据分发至所述***中指定的日志采集器进行日志数据的收集；

所述日志采集器进行日志数据的收集后，将收集的日志数据传送到所述***的日志分析器进行日志分析。

8.如权利要求7所述的方法，其特征在于，所述分布式日志处理***根据所接收到的日志数据的IP地址和所述***关联的日志采集器的总个数进行HASH计算，按照HASH计算结果将所接收到的日志数据分发至所述***指定的日志采集器进行日志数据的收集，包括：

为每个日志采集器设定索引标识，根据HASH计算结果，得到日志采集器的索引，将日志数据发至所计算出的索引对应的日志采集器上。

9.如权利要求7或8所述的方法，其特征在于，所述日志采集器将收集的日志数据传送到所述***的日志分析器包括：

所述***中关联的每个日志采集器进行日志数据的收集后，生成嵌入式数据库BDB文件，通过文件传输协议/安全文件传送协议FTP/SFTP发送至所述日志分析器。

10.如权利要求9所述的方法，其特征在于，还包括：

所述日志分析器，在线程池中创建线程，所述线程用于将日志分析器积压的日志数据回调给对应的日志采集器。

11.一种分布式日志处理方法，其特征在于，包括：

接收日志数据，根据所接收的日志数据的网络协议IP地址和日志采集器的总个数进行哈希HASH计算，按照HASH计算结果将所接收的日志数据分发至日志采集器，供日志采集器进行日志数据的收集，其中，收集的日志数据用于后续日志分析处理。

12.如权利要求11所述的方法，其特征在于，所述根据所接收的日志数据的IP地址和日志采集器的总个数进行HASH计算，按照HASH计算结果将所接收的日志数据分发至指定的日志采集器上，包括：

为每个日志采集器设定索引标识，根据HASH计算结果，得到日志采集器的索引，将日志数据发至所计算出的索引对应的日志采集器上。