CN109586968A - 大数据平台的日志处理方法和大数据平台的日志处理*** - Google Patents

Abstract

本发明公开了一种大数据平台的日志处理方法和大数据平台的日志处理***，一种大数据平台的日志处理方法包括：日志处理终端向日志服务器发送日志采集请求；日志服务器根据日志采集请求的内容，查找所需采集的日志，并向日志处理终端发送采集到的日志文件；日志处理终端对采集到的日志文件进行分析处理，得到日志分析结果；日志处理终端将日志分析结果存储至预设数据库中，并在预设页面中显示日志分析结果。本发明公开的大数据平台的日志处理方法和大数据平台的日志处理***，用于提高对大数据平台的运维效率。

Description

大数据平台的日志处理方法和大数据平台的日志处理***

技术领域

本发明实施例涉及计算机技术，尤其涉及一种大数据平台的日志处理方法和大数据平台的日志处理***。

背景技术

科学技术及互联网的发达，推动着大数据时代的到来，各行各业每天都在产生数量巨大的数据碎片，为了可以从这些数据碎片中获取到有价值的信息，各行业领域涉及到大数据业务的企业就会建立企业大数据平台。

一个大数据平台的搭建涉及到的数据处理环节很多，各个企业搭建的大数据平台的数据处理环节各不相同。然而，对于很多企业来说，其大数据平台的各个数据处理环节的运行状态是否正常或者处理数据量的多少只能通过人工去后台查看每个环节的节点状态和相应处理环节的数据输入输出量，也即日志文件，这对于维护大数据平台的运维人员来说，这是一件严重重复性的工作，这不仅浪费了运维人员的时间而且又不能及时了解大数据平台的各个数据处理环节的工作状态，从而降低运维效率。

发明内容

本发明提供一种日志处理方法和大数据平台的日志处理***，以提高对大数据平台的运维效率。

第一方面，本发明实施例提供一种大数据平台的日志处理方法，包括：

日志处理终端向日志服务器发送日志采集请求；

日志服务器根据日志采集请求的内容，查找所需采集的日志，并向日志处理终端发送采集到的日志文件；

日志处理终端对采集到的日志文件进行分析处理，得到日志分析结果；

日志处理终端将日志分析结果存储至预设数据库中，并在预设页面中显示日志分析结果。

在第一方面一种可能的实现方式中，日志处理终端向日志服务器发送日志采集请求，包括：

日志处理终端从预设配置文件中查找日志服务器的信息，并根据日志服务器的信息与日志服务器建立连接，然后向日志服务器发送日志采集请求，日志采集请求中包括采集日志类型和采集日志路径。

在第一方面一种可能的实现方式中，日志处理终端从预设配置文件中查找日志服务器的信息，并根据日志服务器的信息与日志服务器建立连接，包括：

日志处理终端依次使用预设配置文件中的地址信息创建套接字，依次与多个日志服务器建立连接。

在第一方面一种可能的实现方式中，日志服务器根据日志采集请求的内容，查找所需采集的日志，并向日志处理终端发送采集到的日志文件，包括：

日志服务器根据日志采集请求的内容，查找所需采集的日志，并按照指定长度逐条向日志处理终端发送采集到的日志文件。

在第一方面一种可能的实现方式中，采集日志类型包括实时日志、历史日志和重传日志；

日志处理终端对采集到的日志文件进行分析处理，得到日志分析结果，包括：

若判断日志文件采集失败，则日志处理终端将日志文件的信息保存在重传容器中，并将采集失败的日志文件类型设置为重传日志；

若采集的日志文件类型为重传日志，则日志处理终端对采集到的日志文件进行分析处理，得到日志分析结果后清除重传容器中的信息。

第二方面，本发明实施例还提供了一种大数据平台的日志处理***，包括：日志处理终端和日志服务器；

日志处理终端，用于向日志服务器发送日志采集请求；

日志服务器，用于根据日志采集请求的内容，查找所需采集的日志，并向日志处理终端发送采集到的日志文件；

日志处理终端，还用于对采集到的日志文件进行分析处理，得到日志分析结果；将日志分析结果存储至预设数据库中，并在预设页面中显示日志分析结果。

在第二方面一种可能的实现方式中，日志处理终端具体用于从预设配置文件中查找日志服务器的信息，并根据日志服务器的信息与日志服务器建立连接，然后向日志服务器发送日志采集请求，日志采集请求中包括采集日志类型和采集日志路径。

在第二方面一种可能的实现方式中，日志处理终端，具体用于依次使用预设配置文件中的地址信息创建套接字，依次与多个日志服务器建立连接。

在第二方面一种可能的实现方式中，日志服务器，具体用于根据日志采集请求的内容，查找所需采集的日志，并按照指定长度逐条向日志处理终端发送采集到的日志文件。

在第二方面一种可能的实现方式中，采集日志类型包括实时日志、历史日志和重传日志；

日志处理终端具体用于若判断日志文件采集失败，则将日志文件的信息保存在重传容器中，并将采集失败的日志文件类型设置为重传日志；若采集的日志文件类型为重传日志，则对采集到的日志文件进行分析处理，得到日志分析结果后清除重传容器中的信息。

本发明实施例提供的大数据平台的日志处理方法和大数据平台的日志处理***，由日志处理终端向日志服务器发送日志采集请求，日志服务器根据日志采集请求的内容，查找所需采集的日志，并向日志处理终端发送采集到的日志文件，然后日志处理终端对采集到的日志文件进行分析处理，得到日志分析结果，并将日志分析结果存储至预设数据库中，并在预设页面中显示日志分析结果，提高了对大数据平台进行运维的效率。

附图说明

图1为本发明实施例提供的大数据平台的日志处理方法实施例一的流程图；

图2为本发明实施例提供的大数据平台的日志处理方法的处理程序逻辑示意图；

图3为本发明实施例提供的大数据平台的日志处理***实施例一的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

图1为本发明实施例提供的大数据平台的日志处理方法实施例一的流程图，如图1所示，本实施例提供的大数据平台的日志处理方法包括：

步骤S101，日志处理终端向日志服务器发送日志采集请求。

大数据平台是对海量数据进行统一处理的服务器的集合，其涉及的数据数量巨大，且类型众多，并且需要由多个服务器以及其他设备工作配合实现大数据平台的正常运行。为了确保大数据平台的正常工作，需要多大数据平台中各节点的运行状态进行监控，但由于大数据平台中的节点众多，类型不同，导致对大数据平台进行监控的运维工作量巨大。传统的运维工作都由人工完成，效率较低，且不能及时了解到大数据平台中各节点的状态。

而在大数据平台的各节点中，随着各节点的工作，都会有相应的日志文件产生，在日志文件中记录了各节点的各种处理记录，对日志文件进行分析后即可获知各节点在不同时间点的工作状态。因此本实施例提供一种大数据平台的日志处理方法，通过对大数据平台中各节点的日志文件进行统一的采集和分析处理，从而对大数据平台的工作状态进行统一的监控。

首先，为了实现对大数据平台中各节点的日志文件采集，需要设置一个专门的日志处理终端，日志处理终端负责对大数据平台中的所有日志文件进行统一的采集、分析和处理。日志处理终端向日志服务器发送日志采集请求，请求日志服务器发送日志文件。日志服务器设置于大数据平台中能够产生日志文件的各种节点中，通过与日志处理终端的连接，在各节点中采集日志文件并将采集到的日志文件统一发送至日志处理终端。在大数据平台中，日志服务器的数量根据组成大数据平台的节点数量确定，日志处理终端只需要一个。日志处理终端可以周期性地向日志服务器发送日志采集请求，该周期可以根据实际需求确定，例如每天一次、每小时一次等。或者日志处理终端可以根据用户发送的日志采集指令的触发，向日志服务器发送日志采集请求。日志处理终端可以同时向多个日志服务器发送日志采集请求，也可以依次向各日志服务器发送日志采集请求，还可以根据需求向特定的日志服务器发送日志采集请求。

在日志处理终端中可以预存一个配置文件，该配置文件中保存有各日志服务器的地址、采集日志类型、日志路径等信息。日志处理终端可以根据需求，从配置文件中读取相应的信息，生成日志采集请求发送给日志服务器。当日志处理终端从预设配置文件中查找到日志服务器的地址信息后，首先根据该地址信息与日志服务器建立连接，然后日志处理终端即可通过建立的连接向日志服务器发送日志采集请求，日志采集请求中包括采集日志类型和采集日志路径。

由于大数据平台中具有多个日志服务器，日志处理终端可以依次使用预设配置文件中的日志服务器地址信息创建套接字，从而依次与多个日志服务器建立连接，这样就可以依次从多个日志服务器中采集日志文件。

步骤S102，日志服务器根据日志采集请求的内容，查找所需采集的日志，并向日志处理终端发送采集到的日志文件。

当日志服务器接收到日志采集请求后，将根据日志采集请求中所请求的内容，在日志服务器所部署的节点中查找所需采集的日志文件，然后将采集到的日志文件发送给日志处理终端。

由于日志处理终端和日志服务器之间的连接是根据一定的通信协议建立的，因此日志服务器在采集到日志文件后，需要按照指定长度逐条向日志处理终端发送采集到的日志文件，日志处理终端在接收到日志文件后，将其保存到相应的文件中。

步骤S103，日志处理终端对采集到的日志文件进行分析处理，得到日志分析结果。

当日志处理终端接收到日志服务器采集的日志文件后，对其进行分析处理，从而可以获取该日志文件对应的节点的工作状态。其中，对日志文件进行分析得到的结果可以包括对应节点在各个时间点的工作状态，以及该节点输入输出数据的相关信息等，从中可以分析出各节点在不同时间点的不同工作状态。而由于日志处理终端可以接收到大数据平台中各个节点的日志文件，在对多个相关节点的日志文件进行统一分析后，还可以判断出整个大数据平台中的处理瓶颈等信息。

步骤S104，日志处理终端将日志分析结果存储至预设数据库中，并在预设页面中显示日志分析结果。

在日志处理终端得到日志分析结果后，可以将其存储于预设的数据库中，从而可以无需运维人员实时关注日志处理终端的工作。运维人员可以通过查询该数据库，获知整个大数据平台中各个节点在不同时间的工作状态，从而有利于运维人员对大数据平台进行运维和管理。另外，日志处理终端还可以将日志分析结果在预设页面以图形化或格式化的方式进行显示，这样运维人员就可以直观地掌握大数据平台的运行情况，可以有效地提高运维人员的运维效率。

预设的数据库可以采用mysql数据库存放日志分析的结果，SQL语句规范且具有良好的运行效率，还具有丰富信息的网络支持，因此可以通过MYSQL数据查询方式，通过页面展示日志分析结果。

本实施例提供的大数据平台的日志处理方法，由日志处理终端向日志服务器发送日志采集请求，日志服务器根据日志采集请求的内容，查找所需采集的日志，并向日志处理终端发送采集到的日志文件，然后日志处理终端对采集到的日志文件进行分析处理，得到日志分析结果，并将日志分析结果存储至预设数据库中，并在预设页面中显示日志分析结果，提高了对大数据平台进行运维的效率。

进一步地，日志处理终端发送的日志采集请求中，包括的采集日志类型包括实时日志、历史日志和重传日志。其中，若采集日志类型为实时日志，则日志服务器接收到日志采集请求后，直接向日志处理终端发送当前的实时日志文件。而若日志类型为历史日志，则日志服务器接收到日志采集请求后，根据历史日志的设置，向日志处理终端发送对应的历史日志，例如前一天的日志文件。若日志类型为重传日志，那么意味着日志处理终端上一次接收的日志文件接收失败，此次接收为重传的日志文件。

相应地，在日志处理终端接收日志服务器发送的日志文件后，若判断日志文件采集失败，则日志处理终端将日志文件的信息保存在重传容器中，并将采集失败的日志文件类型设置为重传日志。若采集的日志文件类型为重传日志，则日志处理终端对采集到的日志文件进行分析处理，得到日志分析结果后清除重传容器中的信息。

图2为本发明实施例提供的大数据平台的日志处理方法的处理程序逻辑示意图，如图2所示，本实施例提供的日志处理处理逻辑包括：

终端主线程Client_main和服务器主线程Server_main，分别运行于日志处理终端和日志服务器中。终端主线程进一步地包括信号处理线程，消息队列，读取、保存配置信息，创建定时器，任务分发线程，退出检测等多个线程，分别用于进行相应的处理。信号处理线程进一步地包括检测定时器信号和检测退出信号线程，在检测到定时器信号时，向任务分发线程发送命令。任务分发线程进一步地包括处理前一天日志线程、处理实时日志线程、处理前一天日志失败重连线程和数据库老化线程。服务器主线程包括信号处理线程、向任务分发线程发送命令、退出检测几个子线程。通过上述线程的设置，从而使得日志处理终端和日志服务器建立连接，并完成日志文件数据的交互。

图3为本发明实施例提供的大数据平台的日志处理***实施例一的结构示意图，如图3所示，本实施例提供的大数据平台的日志处理***包括：

日志处理终端31和日志服务器32。日志服务器32部署于大数据平台的各节点中，数量为多个。

日志处理终端31，用于向日志服务器32发送日志采集请求；

日志服务器32，用于根据日志采集请求的内容，查找所需采集的日志，并向日志处理终端31发送采集到的日志文件；

日志处理终端31，还用于对采集到的日志文件进行分析处理，得到日志分析结果；将日志分析结果存储至预设数据库中，并在预设页面中显示日志分析结果。

本实施例提供的大数据平台的日志处理***用于实现图1所示大数据平台的日志处理方法，其实现原理和技术效果类似，此处不再赘述。

进一步地，在图3所示实施例的基础上，日志处理终端31具体用于从预设配置文件中查找日志服务器32的信息，并根据日志服务器32的信息与日志服务器32建立连接，然后向日志服务器32发送日志采集请求，日志采集请求中包括采集日志类型和采集日志路径。

进一步地，在图3所示实施例的基础上，日志处理终端31，具体用于依次使用预设配置文件中的地址信息创建套接字，依次与多个日志服务器32建立连接。

进一步地，在图3所示实施例的基础上，日志服务器32，具体用于根据日志采集请求的内容，查找所需采集的日志，并按照指定长度逐条向日志处理终端31发送采集到的日志文件。

进一步地，在图3所示实施例的基础上，采集日志类型包括实时日志、历史日志和重传日志；

日志处理终端31具体用于若判断日志文件采集失败，则将日志文件的信息保存在重传容器中，并将采集失败的日志文件类型设置为重传日志；若采集的日志文件类型为重传日志，则对采集到的日志文件进行分析处理，得到日志分析结果后清除重传容器中的信息。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种大数据平台的日志处理方法，其特征在于，包括：

日志处理终端向日志服务器发送日志采集请求；

所述日志服务器根据所述日志采集请求的内容，查找所需采集的日志，并向所述日志处理终端发送采集到的日志文件；

所述日志处理终端对所述采集到的日志文件进行分析处理，得到日志分析结果；

所述日志处理终端将所述日志分析结果存储至预设数据库中，并在预设页面中显示所述日志分析结果。

2.根据权利要求1所述的方法，其特征在于，所述日志处理终端向日志服务器发送日志采集请求，包括：

所述日志处理终端从预设配置文件中查找日志服务器的信息，并根据日志服务器的信息与所述日志服务器建立连接，然后向所述日志服务器发送日志采集请求，所述日志采集请求中包括采集日志类型和采集日志路径。

3.根据权利要求2所述的方法，其特征在于，所述日志处理终端从预设配置文件中查找日志服务器的信息，并根据日志服务器的信息与所述日志服务器建立连接，包括：

所述日志处理终端依次使用预设配置文件中的地址信息创建套接字，依次与多个日志服务器建立连接。

4.根据权利要求2或3所述的方法，其特征在于，所述日志服务器根据所述日志采集请求的内容，查找所需采集的日志，并向所述日志处理终端发送采集到的日志文件，包括：

所述日志服务器根据所述日志采集请求的内容，查找所需采集的日志，并按照指定长度逐条向所述日志处理终端发送采集到的日志文件。

5.根据权利要求2或3所述的方法，其特征在于，所述采集日志类型包括实时日志、历史日志和重传日志；

所述日志处理终端对所述采集到的日志文件进行分析处理，得到日志分析结果，包括：

若判断所述日志文件采集失败，则所述日志处理终端将所述日志文件的信息保存在重传容器中，并将采集失败的日志文件类型设置为重传日志；

若采集的日志文件类型为重传日志，则所述日志处理终端对采集到的日志文件进行分析处理，得到日志分析结果后清除重传容器中的信息。

6.一种大数据平台的日志处理***，其特征在于，包括：日志处理终端和日志服务器；

所述日志处理终端，用于向所述日志服务器发送日志采集请求；

所述日志服务器，用于根据所述日志采集请求的内容，查找所需采集的日志，并向所述日志处理终端发送采集到的日志文件；

所述日志处理终端，还用于对所述采集到的日志文件进行分析处理，得到日志分析结果；将所述日志分析结果存储至预设数据库中，并在预设页面中显示所述日志分析结果。

7.根据权利要求6所述的***，其特征在于，所述日志处理终端具体用于从预设配置文件中查找日志服务器的信息，并根据日志服务器的信息与所述日志服务器建立连接，然后向所述日志服务器发送日志采集请求，所述日志采集请求中包括采集日志类型和采集日志路径。

8.根据权利要求7所述的***，其特征在于，所述日志处理终端，具体用于依次使用预设配置文件中的地址信息创建套接字，依次与多个日志服务器建立连接。

9.根据权利要求7或8所述的***，其特征在于，所述日志服务器，具体用于根据所述日志采集请求的内容，查找所需采集的日志，并按照指定长度逐条向所述日志处理终端发送采集到的日志文件。

10.根据权利要求7或8所述的***，其特征在于，所述采集日志类型包括实时日志、历史日志和重传日志；

所述日志处理终端具体用于若判断所述日志文件采集失败，则将所述日志文件的信息保存在重传容器中，并将采集失败的日志文件类型设置为重传日志；若采集的日志文件类型为重传日志，则对采集到的日志文件进行分析处理，得到日志分析结果后清除重传容器中的信息。