CN108959054A - 一种基于Logstash的日志处理方法和装置 - Google Patents

Abstract

本发明实施例公开了一种基于Logstash的日志处理方法和装置，所述方法包括：通过syslog模拟器模拟syslog标准协议，将加有来源主机互联网协议ip地址的日志信息发送到日志管理工具Logstash；通过Host修改器对所述日志信息的所述ip地址进行修改；通过所述Logstash将修改后的日志信息转发到数据存储装置进行保存；数据展示装置检索所述数据存储装置的信息并展示。本发明实施例通过设计合理的Host修改器，可以灵活方便的处理大量的日志文件，减少大量日志对于检索的困扰。

Description

一种基于Logstash的日志处理方法和装置

技术领域

本发明涉及云计算技术，尤指一种基于Logstash的日志处理方法和装置。

背景技术

ELKstack是Elasticsearch、Logstash、Kibana三个开源软件的组合，在日志处理和检索中，有广泛的应用。其中，Logstash为管理日志和事件的工具，有效处理来源于各种不同数据源的日志信息。syslog为一个IP网络中转发***日志信息的标准，通过分析这些网络行为日志，可追踪和掌握与设备和网络有关的情况，由于syslog是一种标准，可以通过syslog的方式，记录需要记录的日志，但是在模拟syslog时，Logstash的存在Host数据的地方，记录的是syslog模拟器地址，使得日志保存、处理时，不能灵活地使用，存在大量日志对于检索的困扰。

发明内容

为了解决上述技术问题，本发明实施例提供了一种基于Logstash的日志处理方法和装置，通过设计合理的Host修改器，可以灵活方便的处理大量的日志文件，减少大量日志对于检索的困扰。

为了达到本发明目的，一方面，本发明实施例提供了一种基于Logstash的日志处理方法，包括：

通过syslog模拟器模拟syslog标准协议，将加有来源主机互联网协议ip地址的日志信息发送到日志管理工具Logstash；

通过Host修改器对所述日志信息的所述ip地址进行修改；

通过所述Logstash将修改后的日志信息转发到数据存储装置进行保存；

数据展示装置检索所述数据存储装置的信息并展示。

进一步地，所述方法还包括：

所述syslog模拟器在发送日志信息时，在信息message前加入主机Host的ip地址信息和特殊字符。

进一步地，所述方法还包括：

所述Host修改器检索所述日志信息是否包含信息message前加入的所述特殊字符。

进一步地，所述方法还包括：

如果所述Host修改器检索到所述特殊字符，通过所述Logstash的函数进行Host的ip地址修改。

进一步地，所述方法还包括：

如果所述Host修改器检索不到所述特殊字符，则正常处理日志信息。

另一方面，本发明实施例还提供了一种基于Logstash的日志处理装置，包括：

syslog模拟器，用于通过syslog模拟器模拟syslog标准协议，将加有来源主机互联网协议ip地址的日志信息发送到日志管理工具Logstash；

Host修改器，用于通过所述Host修改器对所述日志信息的所述ip地址进行修改；

数据存储装置，用于通过所述Logstash将修改后的日志信息转发到数据存储装置进行保存；

数据展示装置，用于检索所述数据存储装置的信息并展示。

进一步地，所述syslog模拟器还用于：

所述syslog模拟器在发送日志信息时，在信息message前加入主机Host的ip地址信息和特殊字符。

进一步地，所述Host修改器还用于：

所述Host修改器检索所述日志信息是否包含信息message前加入的所述特殊字符。

进一步地，所述Host修改器还用于：

如果所述Host修改器检索到所述特殊字符，通过所述Logstash的函数进行Host的ip地址修改。

进一步地，所述Host修改器还用于：

如果所述Host修改器检索不到所述特殊字符，则正常处理日志信息。

本发明实施例通过syslog模拟器模拟syslog标准协议，将加有来源主机互联网协议ip地址的日志信息发送到日志管理工具Logstash；通过Host修改器对所述日志信息的所述ip地址进行修改；通过所述Logstash将修改后的日志信息转发到数据存储装置进行保存；数据展示装置检索所述数据存储装置的信息并展示。本发明实施例通过设计合理的Host修改器，可以灵活方便的处理大量的日志文件，减少大量日志对于检索的困扰。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明实施例基于Logstash的日志处理方法的流程图；

图2为本发明实施例基于Logstash的日志处理装置的结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1为本发明实施例基于Logstash的日志处理方法的流程图，如图1所示，本发明实施例的方法包括以下步骤：

步骤100：通过syslog模拟器模拟syslog标准协议，将加有来源主机互联网协议ip地址的日志信息发送到日志管理工具Logstash；

步骤101：通过Host修改器对所述日志信息的所述ip地址进行修改；

步骤102：通过所述Logstash将修改后的日志信息转发到数据存储装置进行保存；

步骤103：数据展示装置检索所述数据存储装置的信息并展示。

具体地，本发明实施例主要应用于Logstash-syslog的日志收集，通过本发明实施例的方法可以模拟syslog日志，并有效地修改来源主机的互联网协议(InternetProtocol，ip)地址。

本发明实施例技术方案的详细阐述如下：

本发明实施例包括syslog模拟器、Host修改器、数据存储装置和数据展示装置。其中，

syslog模拟器，模拟syslog标准协议发送到Logstash；

在发送Logstash前，经过Host修改器，修改后通过Logstash转发；

通过Logstash转发到数据存储装置，保存数据；

数据展示装置检索数据存储装置的信息并展示；

进一步地，所述方法还包括：

所述syslog模拟器在发送日志信息时，在信息message前加入主机Host的ip地址信息和特殊字符。

进一步地，所述方法还包括：

所述Host修改器检索所述日志信息是否包含信息message前加入的所述特殊字符。

进一步地，所述方法还包括：

如果所述Host修改器检索到所述特殊字符，通过所述Logstash的函数进行Host的ip地址修改。

进一步地，所述方法还包括：

如果所述Host修改器检索不到所述特殊字符，则正常处理日志信息。

本发明实施例技术实现过程中，具体操作如下：

syslog模拟器，在发送日志信息时，在message前加入Host的ip地址信息和特殊字符；

Host修改器，检索是否包含所述特殊字符：

如果有所述特殊字符的话，进行Host的修改，通过Logstash的函数进行；

如果没有所述特殊字符的话，正常处理日志信息；

通过Logstash的转发，到数据存储器中，保存数据；

数据展示装置通过相应的方式，检索数据信息供用户查看。

本发明实施例使得日志保存、处理时，可以更加灵活地使用，减少大量日志对于检索的困扰。

本发明实施例通过设计合理的Host修改器，可以灵活方便的处理大量的日志文件。

图2为本发明实施例基于Logstash的日志处理装置的结构图，如图2所示，本发明实施例另一方面提供的一种基于Logstash的日志处理装置，包括：

syslog模拟器201，用于通过syslog模拟器201模拟syslog标准协议，将加有来源主机互联网协议ip地址的日志信息发送到日志管理工具Logstash；

Host修改器202，用于通过所述Host修改器202对所述日志信息的所述ip地址进行修改；

数据存储装置203，用于通过所述Logstash将修改后的日志信息转发到数据存储装置203进行保存；

数据展示装置204，用于检索所述数据存储装置203的信息并展示。

进一步地，所述syslog模拟器201还用于：

所述syslog模拟器201在发送日志信息时，在信息message前加入主机Host的ip地址信息和特殊字符。

进一步地，所述Host修改器202还用于：

所述Host修改器202检索所述日志信息是否包含信息message前加入的所述特殊字符。

进一步地，所述Host修改器202还用于：

如果所述Host修改器202检索到所述特殊字符，通过所述Logstash的函数进行Host的ip地址修改。

进一步地，所述Host修改器202还用于：

如果所述Host修改器202检索不到所述特殊字符，则正常处理日志信息。

综上所述，本发明实施例的一种基于Logstash的修改Host的方法及装置包括syslog模拟器、Host修改器、数据存储装置和数据展示装置，通过syslog模拟器模拟syslog标准协议，将加有来源主机互联网协议ip地址的日志信息发送到日志管理工具Logstash；通过Host修改器对所述日志信息的所述ip地址进行修改；通过所述Logstash将修改后的日志信息转发到数据存储装置进行保存；数据展示装置检索所述数据存储装置的信息并展示。本发明实施例通过设计合理的Host修改器，可以灵活方便的处理大量的日志文件，减少大量日志对于检索的困扰。

由于在模拟syslog时，Logstash的存在Host数据的地方，记录的是syslog模拟器地址，这个时候就可以通过本发明实施例的方法修改这个地址。

本发明实施例应用于在大数据时代日志文件的数据量巨大的情况，日志处理时，设计Logstash合理的过滤器filter，通过修改Hosts地址，这样能够加快日志的处理速度，过滤多余的日志。

本发明实施例使得日志保存、处理时，可以更加灵活地使用，减少大量日志对于检索的困扰。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种基于Logstash的日志处理方法，其特征在于，包括：

通过syslog模拟器模拟syslog标准协议，将加有来源主机互联网协议ip地址的日志信息发送到日志管理工具Logstash；

通过Host修改器对所述日志信息的所述ip地址进行修改；

通过所述Logstash将修改后的日志信息转发到数据存储装置进行保存；

数据展示装置检索所述数据存储装置的信息并展示。

2.根据权利要求1所述的基于Logstash的日志处理方法，其特征在于，还包括：

所述syslog模拟器在发送日志信息时，在信息message前加入主机Host的ip地址信息和特殊字符。

3.根据权利要求2所述的基于Logstash的日志处理方法，其特征在于，还包括：

所述Host修改器检索所述日志信息是否包含信息message前加入的所述特殊字符。

4.根据权利要求3所述的基于Logstash的日志处理方法，其特征在于，还包括：

如果所述Host修改器检索到所述特殊字符，通过所述Logstash的函数进行Host的ip地址修改。

5.根据权利要求3所述的基于Logstash的日志处理方法，其特征在于，还包括：

如果所述Host修改器检索不到所述特殊字符，则正常处理日志信息。

6.一种基于Logstash的日志处理装置，其特征在于，包括：

syslog模拟器，用于通过syslog模拟器模拟syslog标准协议，将加有来源主机互联网协议ip地址的日志信息发送到日志管理工具Logstash；

Host修改器，用于通过所述Host修改器对所述日志信息的所述ip地址进行修改；

数据存储装置，用于通过所述Logstash将修改后的日志信息转发到数据存储装置进行保存；

数据展示装置，用于检索所述数据存储装置的信息并展示。

7.根据权利要求6所述的基于Logstash的日志处理装置，其特征在于，所述syslog模拟器还用于：

所述syslog模拟器在发送日志信息时，在信息message前加入主机Host的ip地址信息和特殊字符。

8.根据权利要求7所述的基于Logstash的日志处理装置，其特征在于，所述Host修改器还用于：

所述Host修改器检索所述日志信息是否包含信息message前加入的所述特殊字符。

9.根据权利要求8所述的基于Logstash的日志处理装置，其特征在于，所述Host修改器还用于：

如果所述Host修改器检索到所述特殊字符，通过所述Logstash的函数进行Host的ip地址修改。

10.根据权利要求8所述的基于Logstash的日志处理装置，其特征在于，所述Host修改器还用于：

如果所述Host修改器检索不到所述特殊字符，则正常处理日志信息。