CN111427858A - 日志处理***及其处理方法 - Google Patents

Abstract

本发明公开了一种日志处理***及其处理方法。其中，该***包括：日志数据采集器，所述日志数据采集器由二进制文件构成，用于采集本地的日志数据；分布式流平台，获取所述日志数据采集器采集的日志数据，并对所述日志数据进行存储；解析器，从所述分布式流平台处获取所述日志数据，并对所述日志数据进行解析。本发明解决了现有技术中对日志处理时运算资源消耗较大的技术问题。

Description

日志处理***及其处理方法

技术领域

本发明涉及计算机领域，具体而言，涉及一种日志处理***及其处理方法。

背景技术

分布式日志***基于ELK(Elasticsearch、Logstash、Kibana)开源组件实现。ELK是Elasticsearch，Logstash，Kibana开源软件的集合，对外是作为一个日志管理***的开源方案。ELK主要进行日志搜索，分析获取数据，并实时进行展示。

其中，Logstash的主要作用就是一个数据收集器，将各种格式各种渠道的数据通过它收集解析之后格式化输出到Elasticsearch，最后再由Kibana提供的比较友好的Web界面进行汇总、分析、搜索。但Logstash存在的问题是，它的资源消耗过大(默认的堆大小是1GB)。

图1是相关技术中ELK的架构示意图，结合图1所示，传统的ELK架构中，由Logstash分布于各个节点上搜集相关日志、数据，并经过分析、过滤后发送给远端服务器上的Elasticsearch进行存储。Elasticsearch将数据以分片的形式压缩存储并提供多种API(Application Programming Interface，应用程序接口)供用户查询，操作。用户再通过配置Kibana Web方便的对日志查询，并根据数据生成报表。这样的传统架构中，由于Logstash耗资源较大，因此会导致运行占用CPU和内存太高

针对现有技术中对日志处理时运算资源消耗较大的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种日志处理***及其处理方法，以至少解决现有技术中对日志处理时运算资源消耗较大的技术问题。

根据本发明实施例的一个方面，提供了一种日志处理***，包括：日志数据采集器，所述日志数据采集器由二进制文件构成，用于采集本地的日志数据；分布式流平台，获取所述日志数据采集器采集的日志数据，并对所述日志数据进行存储；解析器，从所述分布式流平台处获取所述日志数据，并对所述日志数据进行解析。

进一步地，日志数据采集器包括：查找器，用于查看所述日志数据所在的路径，并启动采集器；所述采集器，用于被所述查找器启动后，读取所述路径中的日志数据，并将读取到的日志数据输出至所述分布式流平台。

进一步地，上述***还包括：搜索服务器，用于从所述解析器解析过的日志数据中搜索指定的日志数据。

进一步地，上述***还包括：可视化平台，用于对所述解析器解析过的日志数据进行可视化展示。

根据本发明实施例的一个方面，提供了一种日志处理***的日志处理方法，所述日志处理***包括上述的日志处理方法，上述方法包括：通过日志数据采集器采集本地的日志数据，其中，所述日志数据采集器由二进制文件构成；通过分布式流平台获取所述日志数据采集器采集的日志数据，并对所述日志数据进行存储；从所述分布式流平台处获取所述日志数据，并对所述日志数据进行解析。

进一步地，通过日志数据采集器采集本地的日志数据，包括：查看所述日志数据所在的路径，并启动采集器，其中，所述采集器被启动后，读取所述路径中的日志数据，并将读取到的日志数据输出至所述分布式流平台。

进一步地，上述方法还包括：从所述解析器解析过的日志数据中搜索指定的日志数据。

进一步地，上述方法还包括：对解析过的日志数据进行可视化展示。

根据本发明实施例的一个方面，提供了一种存储介质，存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述的日志的处理方法。

根据本发明实施例的一个方面，提供了一种处理器，处理器用于运行程序，其中，所述程序运行时执行上述的日志的处理方法。

在本发明实施例中，由上可知，本申请上述实施例中，通过日志数据采集器采集本地的日志数据；通过分布式流平台获取所述日志数据采集器采集的日志数据，并对所述日志数据进行存储；通过解析器从所述分布式流平台处获取所述日志数据，并对所述日志数据进行解析。由于日志数据采集器只是一个二进制文件没有任何依赖，占用资源极少，因此使用日志数据采集器进行日志的采集，从而能够极大的减少在日志采集时对资源的占用，进而解决了现有技术中对日志处理时运算资源消耗较大的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是相关技术中ELK的架构示意图；

图2是根据本发明实施例的日志处理***的示意图；以及

图3是根据本发明实施例的日志处理***的日志处理方法的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例，提供了一种日志处理***的实施例，图2是根据本发明实施例的日志处理***的示意图，如图2所示，该***包括如下步骤：

日志数据采集器20，所述日志数据采集器由二进制文件构成，用于采集本地的日志数据。

具体的，上述日志数据采集器可以为Filebeat，Filebeat是本地文件的日志数据采集器，可监控日志目录或特定日志文件(tail file)，并将它们转发给Elasticsearch或Logstatsh进行索引。可通过一个指定命令来简化通用日志格式的收集，解析和可视化。由于Filebeat只是一个二进制文件没有任何依赖，占用资源极少，因此使用Filebeat进行日志的采集，从而能够极大的减少在日志采集时对资源的占用。

分布式流平台22，获取所述日志数据采集器采集的日志数据，并对所述日志数据进行存储。

具体的，上述分布式流平台可以是Kafka，Kafka是一个java开发的mq中间件，依赖于zookeper，有高可用，高吞吐量等特点。Kafka为了在网络阻塞时防止数据丢失。作为数据的缓冲区。

解析器24，从所述分布式流平台处获取所述日志数据，并对所述日志数据进行解析。

具体的，上述解析器可以为MessageServer。MessageServer作为消息的获取及解析工具，其作为一个消费者从Kafka中获取日志消息，并可对消息进行处理及解析，实现对消息的拆分、解析、合并等能力。

由上可知，本申请上述实施例中，通过日志数据采集器采集本地的日志数据；通过分布式流平台获取所述日志数据采集器采集的日志数据，并对所述日志数据进行存储；通过解析器从所述分布式流平台处获取所述日志数据，并对所述日志数据进行解析。由于日志数据采集器只是一个二进制文件没有任何依赖，占用资源极少，因此使用日志数据采集器进行日志的采集，从而能够极大的减少在日志采集时对资源的占用，进而解决了现有技术中对日志处理时运算资源消耗较大的技术问题。

作为一种可选的实施例，日志数据采集器包括：查找器，用于查看所述日志数据所在的路径，并启动采集器；所述采集器，用于被所述查找器启动后，读取所述路径中的日志数据，并将读取到的日志数据输出至所述分布式流平台。

具体的，上述查找器为prospector，采集器为harvester。日志所在的路径为预设的获取日志的路径。

在一种可选的实施例中，Filebeat包括两个组件：查找器prospector和采集器harvester，来读取文件(tail file)并将事件数据发送到指定的输出。启动Filebeat时，它会启动一个或多个查找器，查看为日志文件指定的本地路径。对于prospector所在的每个日志文件，prospector启动harvester。每个harvester都会为新内容读取单个日志文件，并将新日志数据发送到libbeat，libbeat再将聚合事件并将聚合数据发送到为Filebeat配置的输出。

作为一种可选的实施例，上述***还包括：搜索服务器，用于从所述解析器解析过的日志数据中搜索指定的日志数据。

具体的，上述搜索服务器可以为ElasticSearch，ElasticSearch提供了一个分布式多用户能力的全文搜索引擎，通过ElasticSearch可以进行消息的存储，并实现快速检索能力。

作为一种可选的实施例，上述***还包括：可视化平台，用于对所述解析器解析过的日志数据进行可视化展示。

可视化展示可以用于数据监控或数据分析，具体的，上述可视化平台可以为Kibana，通过Kibana可以进行日志报表、图形化的展现。

Kibana是为Elasticsearch设计的开源分析和可视化平台，可以使用Kibana来搜索，查看存储在Elasticsearch索引中的数据并与之交互，容易实现高级的数据分析和可视化，以图标的形式展现出来。

实施例2

根据本发明实施例，提供了一种日志处理***的日志处理方法法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图3是根据本发明实施例的日志处理***的日志处理方法的流程图，该日志处理***包括实施例1中所述的日志处理***，如图3所示，该方法包括如下步骤：

步骤S302，通过日志数据采集器采集本地的日志数据，其中，所述日志数据采集器由二进制文件构成。

具体的，上述日志数据采集器可以为Filebeat，Filebeat是本地文件的日志数据采集器，可监控日志目录或特定日志文件(tail file)，并将它们转发给Elasticsearch或Logstatsh进行索引。可通过一个指定命令来简化通用日志格式的收集，解析和可视化。由于Filebeat只是一个二进制文件没有任何依赖，占用资源极少，因此使用Filebeat进行日志的采集，从而能够极大的减少在日志采集时对资源的占用。

步骤S304，通过分布式流平台获取所述日志数据采集器采集的日志数据，并对所述日志数据进行存储。

具体的，上述分布式流平台可以是Kafka，Kafka是一个java开发的mq中间件，依赖于zookeper，有高可用，高吞吐量等特点。Kafka为了在网络阻塞时防止数据丢失。作为数据的缓冲区。

步骤S306，从所述分布式流平台处获取所述日志数据，并对所述日志数据进行解析。

具体的，可以通过解析器从所述分布式流平台处获取所述日志数据，并对所述日志数据进行解析，上述解析器可以为MessageServer。MessageServer作为消息的获取及解析工具，其作为一个消费者从Kafka中获取日志消息，并可对消息进行处理及解析，实现对消息的拆分、解析、合并等能力。

由上可知，本申请上述实施例中，通过日志数据采集器采集本地的日志数据；通过分布式流平台获取所述日志数据采集器采集的日志数据，并对所述日志数据进行存储；通过解析器从所述分布式流平台处获取所述日志数据，并对所述日志数据进行解析。由于日志数据采集器只是一个二进制文件没有任何依赖，占用资源极少，因此使用日志数据采集器进行日志的采集，从而能够极大的减少在日志采集时对资源的占用，进而解决了现有技术中对日志处理时运算资源消耗较大的技术问题。

作为一种可选的实施例，通过日志数据采集器采集本地的日志数据，包括：查看所述日志数据所在的路径，并启动采集器，其中，所述采集器被启动后，读取所述路径中的日志数据，并将读取到的日志数据输出至所述分布式流平台。

具体的，上述查找器为prospector，采集器为harvester。日志所在的路径为预设的获取日志的路径。

在一种可选的实施例中，Filebeat包括两个组件：查找器prospector和采集器harvester，来读取文件(tail file)并将事件数据发送到指定的输出。启动Filebeat时，它会启动一个或多个查找器，查看为日志文件指定的本地路径。对于prospector所在的每个日志文件，prospector启动harvester。每个harvester都会为新内容读取单个日志文件，并将新日志数据发送到libbeat，libbeat再将聚合事件并将聚合数据发送到为Filebeat配置的输出。

作为一种可选的实施例，上述方法还包括：从所述解析器解析过的日志数据中搜索指定的日志数据。

具体的，可以通过搜索服务器从所述解析器解析过的日志数据中搜索指定的日志数据，上述搜索服务器可以为ElasticSearch，ElasticSearch提供了一个分布式多用户能力的全文搜索引擎，通过ElasticSearch可以进行消息的存储，并实现快速检索能力。

作为一种可选的实施例，上述方法还包括：对解析过的日志数据进行可视化展示。

可视化展示可以用于数据监控或数据分析，具体的，可以通过可视化平台对解析过的日志数据进行可视化展示。上述可视化平台可以为Kibana，通过Kibana可以进行日志报表、图形化的展现。

Kibana是为Elasticsearch设计的开源分析和可视化平台，可以使用Kibana来搜索，查看存储在Elasticsearch索引中的数据并与之交互，容易实现高级的数据分析和可视化，以图标的形式展现出来。

实施例3

根据本发明实施例，提供了一种存储介质，存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行实施例2中任意一项所述的日志的处理方法。

实施例4

根据本发明实施例，提供了一种处理器，处理器用于运行程序，其中，所述程序运行时执行实施例2中任意一项所述的日志的处理方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种日志处理***，其特征在于，包括：

日志数据采集器，所述日志数据采集器由二进制文件构成，用于采集本地的日志数据；

分布式流平台，获取所述日志数据采集器采集的日志数据，并对所述日志数据进行存储；

解析器，从所述分布式流平台处获取所述日志数据，并对所述日志数据进行解析。

2.根据权利要求1所述的***，其特征在于，日志数据采集器包括：

查找器，用于查看所述日志数据所在的路径，并启动采集器；

所述采集器，用于被所述查找器启动后，读取所述路径中的日志数据，并将读取到的日志数据输出至所述分布式流平台。

3.根据权利要求1所述的***，其特征在于，所述***还包括：

搜索服务器，用于从所述解析器解析过的日志数据中搜索指定的日志数据。

4.根据权利要求1所述的***，其特征在于，所述***还包括：

可视化平台，用于对所述解析器解析过的日志数据进行可视化展示。

5.一种日志处理***的日志处理方法，其特征在于，所述日志处理***包括权利要求1至4中任意一项所述的日志处理***，所述方法包括：

通过日志数据采集器采集本地的日志数据，其中，所述日志数据采集器由二进制文件构成；

通过分布式流平台获取所述日志数据采集器采集的日志数据，并对所述日志数据进行存储；

从所述分布式流平台处获取所述日志数据，并对所述日志数据进行解析。

6.根据权利要求5所述的方法，其特征在于，通过日志数据采集器采集本地的日志数据，包括：

查看所述日志数据所在的路径，并启动采集器，其中，所述采集器被启动后，读取所述路径中的日志数据，并将读取到的日志数据输出至所述分布式流平台。

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

从所述解析器解析过的日志数据中搜索指定的日志数据。

8.根据权利要求5所述的方法，其特征在于，所述方法还包括：

对解析过的日志数据进行可视化展示。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求4至8中任意一项所述的日志处理***的日志处理方法。

10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求4至8中任意一项所述的日志处理***的日志处理方法。

Images