CN116126636A - 日志数据采集方法、装置、设备及存储介质 - Google Patents

Abstract

本发明属于数据采集技术领域，公开了一种日志数据采集方法、装置、设备及存储介质。该方法包括：接收分布于各目标客户端的数据采集节点的日志数据；对所述日志数据进行筛选，得到展示日志数据；将所述展示日志数据存储后通过监控面板展示。通过上述方式，实现了将日志的采集节点分布于各个客户端上进行采集，并将采集到的日志数据传输到服务器，使得可以从一个主机或者服务器上接收来自于不同客户端的日志数据，并进行筛选后通过监控面板展示，使得更加简便的采集多端的数据，不需要大面积索引，提高了日志采集、监控的效率和成本。

Description

日志数据采集方法、装置、设备及存储介质

技术领域

本发明涉及数据采集技术领域，尤其涉及一种日志数据采集方法、装置、设备及存储介质。

背景技术

随着国内互联网软件技术的飞速发展，每个软件项目的代码变得越来越庞大，复杂度也随之越来越高，维护项目得正常运行也成了十分重要得内容，当然随着项目得越来越庞大，维护的工作也变得十分复杂和困难。正常为了便于软件得开发和调试过程中，添加关键业务的日志记录代码；这样在软件运行过程中，软件将其中关键业务的程序处理情况记录在日志文件中，假如发生程序的***运行异常，就可以通过查找分析日志信息，定位到相应的问题所在。通过传统的日志方法维护***部署在不同的主机上，需要登录到不同的机器上查看指定位置的日志文件。需要监控登录的主机繁多，且账号密码复杂。一套大型项目，部署的节点数可能成百上千，一个个登录查看日志往往不太现实。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种日志数据采集方法、装置、设备及存储介质，旨在解决现有技术日志监控***部署在不同的主机上导致节点众多操作麻烦的技术问题。

为实现上述目的，本发明提供了一种日志数据采集方法，所述方法包括以下步骤：

接收分布于各目标客户端的数据采集节点的日志数据；

对所述日志数据进行筛选，得到展示日志数据；

将所述展示日志数据存储后通过监控面板展示。

可选地，所述接收分布于各客户端的数据采集节点的日志数据之前，还包括：

获取客户端信息；

根据所述客户端信息确定身份认证信息；

根据所述身份认证信息确定目标客户端；

将所述目标客户端中预先配置的采集节点作为数据采集节点。

可选地，所述接收分布于各目标客户端的数据采集节点的日志数据，包括：

当监听到来自所述数据采集节点的套接字连接请求时，根据所述套接字连接请求向各数据采集节点发送套接字描述信息；

当接收到各数据采集节点基于所述套接字描述信息反馈的描述确认信息时，与各数据采集节点建立日志接收连接线程；

通过所述日志接收连接线程接收各数据采集节点传输的日志数据。

可选地，所述通过所述日志接收连接线程接收各数据采集节点传输的日志数据之前，还包括：

向各数据采集节点发送轮询更新指令，以使各数据采集节点查询更新文件信息，并根据所述更新文件信息进行日志采集。

可选地，所述根据所述更新文件信息进行日志采集之前，还包括：

向各数据采集节点发送垃圾数据权限控制指令，以使各数据采集节点增加身份验证流程，并使各数据采集节点拦截未通过所述身份验证流程的数据。

可选地，所述接收分布于各目标客户端的数据采集节点的日志数据之后，还包括：

获取所述日志数据的数据来源信息；

根据所述数据来源信息确定数据源身份信息；

根据所述数据源身份信息确定未验证数据源，并将所述日志数据中的未验证数据源剔除。

可选地，所述对所述日志数据进行筛选，得到展示日志数据，包括：

获取日志消息信息，并根据所述日志消息信息确定所述日志数据是否达到过滤条件；

当所述日志数据达到所述过滤条件时，获取各数据采集节点的数据采集设置；

根据所述数据采集设置和所述日志数据确定各数据采集节点的已采集信息；

根据预设过滤规则对所述已采集信息进行数据过滤，得到展示日志数据，所述预设过滤规则为将各数据采集节点的所述已采集信息过滤到仅保留最新更新数据。

可选地，所述接收分布于各目标客户端的数据采集节点的日志数据之后，还包括：

根据所述日志数据确定等待存储的事件队列信息；

根据所述事件队列信息确定事件数量信息；

根据所述事件数量信息确定需调整数据采集策略的目标节点；

调整所述目标节点的数据采集策略，以更新所述日志数据并通过所述监控面板展示。

可选地，所述调整所述目标节点的数据采集策略，以更新所述日志数据并通过所述监控面板展示，包括：

向所述目标节点发送持续采集指令，以使所述目标节点持续监控日志，并反馈日志更新内容信息；

根据所述日志更新内容信息更新所述日志数据，得到更新日志数据；

对所述更新日志数据进行数据清洗和存储，并通过所述监控面板展示。

可选地，所述将所述展示日志数据存储后通过监控面板展示之后，还包括：

当接收到问题查询指令时，根据所述问题查询指令确定查询关键字；

根据所述查询关键字对所述日志数据进行文档搜索，以确定目标问题文档；

获取所述目标问题文档对应的异常日志信息，并通过所述监控面板展示所述异常日志信息。

可选地，所述将所述展示日志数据存储后通过监控面板展示之后，还包括：

当接收到问题锁定指令时，查询数据切片容器的容器存储信息；

根据所述容器存储信息确定各数据采集节点中的无数据节点；

根据所述无数据节点确定问题节点；

获取所述问题节点对应的节点地址信息，并通过所述监控面板展示所述节点地址信息。

可选地，所述当接收到问题锁定指令时，查询数据切片容器的容器存储信息之前，还包括：

创建初始切片容器；

在所述初始切片容器设定过期时间周期，以得到数据切片容器，所述数据切片容器在所述过期时间周期内存储各数据采集节点发送的所述日志数据，并在接收到已存储的来自相同的所述数据采集节点的所述日志数据时不进行储存。

可选地，所述在所述初始切片容器设定过期时间周期，以得到数据切片容器之后，还包括：

根据所述过期时间周期确定到期时间；

当到达到期时间时清空所述数据切片容器，以进行下一轮日志收集。

此外，为实现上述目的，本发明还提出一种日志数据采集装置，所述日志数据采集装置包括：

数据接收模块，用于接收分布于各目标客户端的数据采集节点的日志数据；

数据筛选模块，用于对所述日志数据进行筛选，得到展示日志数据；

数据展示模块，用于将所述展示日志数据存储后通过监控面板展示。

可选地，所述数据接收模块，还用于当监听到来自所述数据采集节点的套接字连接请求时，根据所述套接字连接请求向各数据采集节点发送套接字描述信息；当接收到各数据采集节点基于所述套接字描述信息反馈的描述确认信息时，与各数据采集节点建立日志接收连接线程；通过所述日志接收连接线程接收各数据采集节点传输的日志数据。

可选地，所述数据展示模块，还用于当接收到问题锁定指令时，查询数据切片容器的容器存储信息；根据所述容器存储信息确定各数据采集节点中的无数据节点；根据所述无数据节点确定问题节点；获取所述问题节点对应的节点地址信息，并通过所述监控面板展示所述节点地址信息。

可选地，所述数据展示模块，还用于创建初始切片容器；在所述初始切片容器设定过期时间周期，以得到数据切片容器，所述数据切片容器在所述过期时间周期内存储各数据采集节点发送的所述日志数据，并在接收到已存储的来自相同的所述数据采集节点的所述日志数据时不进行储存。

可选地，所述数据展示模块，还用于根据所述过期时间周期确定到期时间；当到达到期时间时清空所述数据切片容器，以进行下一轮日志收集。

此外，为实现上述目的，本发明还提出一种日志数据采集设备，所述日志数据采集设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志数据采集程序，所述日志数据采集程序配置为实现如上文所述的日志数据采集方法的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有日志数据采集程序，所述日志数据采集程序被处理器执行时实现如上文所述的日志数据采集方法的步骤。

本发明接收分布于各目标客户端的数据采集节点的日志数据；对所述日志数据进行筛选，得到展示日志数据；将所述展示日志数据存储后通过监控面板展示。通过这种方式，实现了将日志的采集节点分布于各个客户端上进行采集，并将采集到的日志数据传输到服务器，使得可以从一个主机或者服务器上接收来自于不同客户端的日志数据，并进行筛选后通过监控面板展示，使得更加简便的采集多端的数据，不需要大面积索引，提高了日志采集、监控的效率和成本。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的日志数据采集设备的结构示意图；

图2为本发明日志数据采集方法第一实施例的流程示意图；

图3为本发明日志数据采集方法一实施例中的***流程示意图；

图4为本发明日志数据采集方法第二实施例的流程示意图；

图5为本发明日志数据采集方法第三实施例的流程示意图；

图6为本发明日志数据采集装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的日志数据采集设备结构示意图。

如图1所示，该日志数据采集设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对日志数据采集设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及日志数据采集程序。

在图1所示的日志数据采集设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明日志数据采集设备中的处理器1001、存储器1005可以设置在日志数据采集设备中，所述日志数据采集设备通过处理器1001调用存储器1005中存储的日志数据采集程序，并执行本发明实施例提供的日志数据采集方法。

本发明实施例提供了一种日志数据采集方法，参照图2，图2为本发明一种日志数据采集方法第一实施例的流程示意图。

本实施例中，所述日志数据采集方法包括以下步骤：

步骤S10：接收分布于各目标客户端的数据采集节点的日志数据。

需要说明的是，本实施例的执行主体为一个服务器，可以为实体服务器，也可以为云服务器，本实施例对此不加以限制。并且执行主体的服务器与各个目标客户端共同构成C-S服务架构客户端/服务器体系结构。

应理解的是，日志从最初面向人类演变到现在的面向机器发生了巨大的变化。最初的日志主要的消费者是软件工程师，他们通过读取日志来排查问题，如今，大量机器日夜处理日志数据以生成可读性的报告以此来帮助人类做出决策。在这个转变的过程中，日志采集Agent在其中扮演着重要的角色。日志采集是大数据的基石。许多公司的业务平台每天都会产生大量的日志数据。采集业务日志数据，供离线和在线的分析***使用，正是日志采集***的要做的事情。作为一个日志采集的Agent简单来看其实就是一个将数据从源端投递到目的端的程序，通常目的端是一个具备数据订阅功能的集中存储，这么做的目的其实是为了将日志分析和日志存储解耦，同一份日志可能会有不同的消费者感兴趣，获取到日志后所处理的方式也会有所不同，通过将数据存储和数据分析进行解耦后，不同的消费者可以订阅自己感兴趣的日志，选择对应的分析工具进行分析。而数据源端大致可以分为三类，一类就是普通的文本文件，另外一类则是通过网络接收到的日志数据，最后一类则是通过共享内存的方式。一个日志采集Agent最为核心的功能大致就是这个样子了。在这个基础上进一步又可以引入日志过滤、日志格式化、路由等功能，看起来就好像是一个生产车间。从日志投递的方式来看，日志采集又可以分为推模式和拉模式。推模式是指日志采集Agent主动从源端取得数据后发送给目的端，而拉模式指的是目的端主动向日志采集Agent获取源端的数据。目前常用的开源日志收集***有Flume,Scribe等。Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的***，目前已经是Apache的一个子项目。Scribe是Facebook开源的日志收集***，它为日志的分布式收集，统一处理提供高可用，高可靠性和可扩展性的日志采集***。现有的很多日志采集的方案都是采用全文检索对日志进行索引(如ELK方案)，优点是功能丰富，允许复杂的操作。但是，这些方案往往规模复杂，资源占用高，操作困难。很多功能往往用不上，大多数查询只关注一定时间范围和一些简单的参数(如host、service等)，使用这些解决方案就有点杀鸡用牛刀的感觉了。于是本发明可以提供一个轻量级、可扩展的、易配置的简单方案在本实施例中，如图3所示即为本发明的***架构示意图，分布式的各个节点采集数据后统一发送到服务端，从而进行数据清洗、投递和存储最后显示，将日志的采集节点分布于各个客户端上进行采集，并将采集到的日志数据传输到服务器，使得可以从一个主机或者服务器上接收来自于不同客户端的日志数据，并进行筛选后通过监控面板展示，使得更加简便的采集多端的数据，不需要大面积索引，提高了日志采集、监控的效率和成本。

在具体实施中，目标客户端指的是已经与服务端建立连接的各个客户端，可以为分布于不同的主机上的客户端。数据采集节点是分别对应设置在各个目标客户端上的一个Agent节点，并且每一个目标客户端设置了一个数据采集节点。日志数据指的是各个数据采集节点在各个目标客户端上采集到的日志相关的信息和数据。

进一步的，为了预先建立服务器与客户端的连接并进行身份验证，步骤S10之前，还包括：获取客户端信息；根据所述客户端信息确定身份认证信息；根据所述身份认证信息确定目标客户端；将所述目标客户端中预先配置的采集节点作为数据采集节点。

需要说明的是，客户端信息指的是服务器接收到请求建立连接的客户端的地址、身份等信息。

应理解的是，身份认证信息指的是客户端信息中的各个客户端的身份验证相关信息，可以包括IP地址等相关信息。再根据身份认证信息确定通过了身份验证的客户端作为目标客户端。

在具体实施中，当确定了目标客户端之后，再通过目标客户端上预先配置的采集节点即Agent节点作为数据采集节点进行日志数据的采集。

通过这种方式，实现了在确认了各个客户端的身份之后再配置数据采集节点，使得保证连接的安全性。

进一步的，为了在接收到日志数据之后进行二次身份验证，步骤S10之后，还包括：获取所述日志数据的数据来源信息；根据所述数据来源信息确定数据源身份信息；根据所述数据源身份信息确定未验证数据源，并将所述日志数据中的未验证数据源剔除。

需要说明的是，数据来源信息指的是通过日志数据反向溯源，从而确定发送各个日志数据的来源的数据采集节点。

应理解的是，根据所述数据来源信息确定数据源身份信息指的是：根据数据来源信息首先确定各个日志数据的数据源，然后再确定各个数据源在传输数据时的身份信息作为数据源身份信息。

在具体实施中，当得到数据源身份信息之后在将数据源身份信息与后台存储维护的身份信息白名单进行对比，不存在白名单的数据源即为未验证数据源，此时将未验证数据源采集到的日志数据全部剔除。

通过这种方式，只有设定的种类(category)才可以进入到存储***，所以目前的权限控制就是category过滤。权限控制在Agent端的部分，可以较好地控制垃圾数据在***中流转。可以一次性增加日志配置文件中的身份验证部分，然后重载Agent的配置。权限控制在服务器(Server)端的部分，可对未有身份验证的数据源断开连接不接受无法确定的数据源。未有身份验证的未注册的数据就无法在Agent/Server之间传输。

进一步的，为了当接收到大量数据之后进行精简展示防止事件列表数量过多，步骤S10之后，还包括：根据所述日志数据确定等待存储的事件队列信息；根据所述事件队列信息确定事件数量信息；根据所述事件数量信息确定需调整数据采集策略的目标节点；调整所述目标节点的数据采集策略，以更新所述日志数据并通过所述监控面板展示。

在具体实施中，分布式的Agent节点通过Inotify监控一个文件，那么只要这个文件有新增数据就会触发事件，得到事件后就可以继续采集了。但是这样导致在大量文件写入的场景会导致事件队列溢出，比如用户连续写入日志N次就会产生N个事件，其实对于日志采集Agent只要知道内容就更新就可以了，至于更新几次这个反而不重要，因为每次采集其实都是持续读文件，直到EOF，只要用户是连续写日志，那么就会一直采集下去。另外Inotify能监控的文件数量也是有上限的。

需要说明的是，事件队列信息指的是根据日志数据确定的正在等待写入存储的日志事件的队列，其中，每一条日志数据算作一条日志事件。再根据事件队列信息确定事件数量，也就是等待存储的事件数量。

应理解的是，根据所述事件数量信息确定需调整数据采集策略的目标节点指的是：根据时间数量信息确定各个数据采集节点上传的数据数量，然后将上传的数据数量超过精简阈值的数据采集节点作为目标节点。其中，精简阈值是一个预先设置的正整数阈值，用于限制日志数据的事件数量。

在具体实施中，当确定了目标节点之后，将目标节点的数据采集策略进行调整，以减少并更新日志数据，从而使得减少事件队列的数量，并在进行展示时数据更精简。其中，数据采集策略指的是各个数据采集节点在采集日志时的储存和显示策略。

通过这种方式，实现了使得减少事件队列的数量，并在进行展示时数据更精简。

进一步的，为了进一步的更新日志数据并展示，调整所述目标节点的数据采集策略，以更新所述日志数据并通过所述监控面板展示的步骤包括：向所述目标节点发送持续采集指令，以使所述目标节点持续监控日志，并反馈日志更新内容信息；根据所述日志更新内容信息更新所述日志数据，得到更新日志数据；对所述更新日志数据进行数据清洗和存储，并通过所述监控面板展示。

需要说明的是，向所述目标节点发送持续采集指令，以使所述目标节点持续监控日志，并反馈日志更新内容信息指的是：向目标节点发送持续采集指令，使得目标节点在接收到持续采集指令之后持续对日志数据进行监控，在反馈时仅仅反馈日志更新内容信息，并不反馈具体每一次更新的更新时间、内容等多余信息，也就是仅仅反馈日志最终更新的内容，并不反馈中途每一次更新的内容。

应理解的是，根据所述日志更新内容信息更新所述日志数据，得到更新日志数据指的是：当接收到日志更新内容信息之后，再对日志数据进行更新，从而可以得到更新日志数据。最后将更新日志数据进行数据清洗的去除错误步骤和查重步骤的处理，存储到***中，最终通过监控面板展示。

通过这种方式，实现了当接收到大量日志数据时，对日志数据进行精简处理和展示，减少***压力，也使得信息展示更加精简。

步骤S20：对所述日志数据进行筛选，得到展示日志数据。

在具体实施中，筛选指的是对日志数据进行过滤和筛选，从而得到的展示数据为筛选过的，进行展示时可以更加直观的展示日志数据的更新情况。

进一步的，为了按照需求对日志数据进行筛选，步骤S20包括：获取日志消息信息，并根据所述日志消息信息确定所述日志数据是否达到过滤条件；当所述日志数据达到所述过滤条件时，获取各数据采集节点的数据采集设置；根据所述数据采集设置和所述日志数据确定各数据采集节点的已采集信息；根据预设过滤规则对所述已采集信息进行数据过滤，得到展示日志数据，所述预设过滤规则为将各数据采集节点的所述已采集信息过滤到仅保留最新更新数据。

需要说明的是，日志消息信息指的是接收到的日志数据中的推送消息的相关信息，即每接收到一条日志数据就更新了一条日志消息信息。再根据日志消息信息判断是否达到了过滤条件。其中，过滤条件指的是当日志消息信息到达指定数目时开启，其中，指定数目为一个预先设定的正整数个数，本实施例对此不加以限制。

应理解的是，当日志数据达到过滤条件之后，再获取各个数据采集节点各自的数据采集设置，即各个数据采集节点的数据采集的原则和规则。

在具体实施中，根据所述数据采集设置和所述日志数据确定各数据采集节点的已采集信息指的是：根据数据采集设置和日志数据确定每一个数据采集节点对应的已采集信息，从而可以确定各个数据采集节点分别对应的已采集信息。

需要说明的是，预设过滤规则为：仅仅保留每一个数据采集节点最后采集到的一条数据，作为最新更新数据，即简单过滤到同一个节点只显示最后一条消息，然后进行数据过滤。

通过这种方式，实现了将采集到的日志数据进行过滤之后再进行展示，可以更加直观的展示各个客户端的日志更新的最终状态。

步骤S30：将所述展示日志数据存储后通过监控面板展示。

应理解的是，在server端投递消息队列进行日志的存储，再由预先设置的展示界面来过滤数据，最终展示监控面板。

进一步的，为了可以实现查询关键字对应的相关日志，步骤S30之后，还包括：当接收到问题查询指令时，根据所述问题查询指令确定查询关键字；根据所述查询关键字对所述日志数据进行文档搜索，以确定目标问题文档；获取所述目标问题文档对应的异常日志信息，并通过所述监控面板展示所述异常日志信息。

在具体实施中，问题查询指令是预先设定的用于查询关键字的指令，当接收到用户发送的问题查询指令之后，首先根据问题查询指令中用户输入的信息确定查询关键字，查询关键字可以为一个字，或者一个词语，或者指定代码等。数据存储和搜索引擎可作为插件功能提供.

需要说明的是，当接确定查询关键字之后，再对所有的日志数据进行文档搜索的全文检索，从而确定包含查询关键字的文档作为目标问题文档。

应理解的是，当确定了目标问题文档之后，再确定目标问题文档再日志数据中对应的异常日志信息，最后通过监控面板展示异常日志信息。

通过这种方式，实现了基于用户的需求进行关键字检索，以确定用户需要排查的日志数据进行展示。

本实施例通过接收分布于各目标客户端的数据采集节点的日志数据；对所述日志数据进行筛选，得到展示日志数据；将所述展示日志数据存储后通过监控面板展示。通过这种方式，实现了将日志的采集节点分布于各个客户端上进行采集，并将采集到的日志数据传输到服务器，使得可以从一个主机或者服务器上接收来自于不同客户端的日志数据，并进行筛选后通过监控面板展示，使得更加简便的采集多端的数据，不需要大面积索引，提高了日志采集、监控的效率和成本。

参考图4，图4为本发明一种日志数据采集方法第二实施例的流程示意图。

基于上述第一实施例，本实施例日志数据采集方法在所述步骤S10包括：

步骤S101：当监听到来自所述数据采集节点的套接字连接请求时，根据所述套接字连接请求向各数据采集节点发送套接字描述信息。

需要说明的是，套接字连接请求指的是通过各个数据采集节点发送来的套接字(socket)的连接请求。在本实施例中，服务端与客户端之间通过套接字连接进行传输。

应理解的是，套接字描述信息指的是向各个数据采集节点发送的服务端的套接字的描述信息。步骤S102：当接收到各数据采集节点基于所述套接字描述信息反馈的描述确认信息时，与各数据采集节点建立日志接收连接线程。

应理解的是，当各个数据采集节点接收到套接字描述信息之后，会反馈各个客户端的描述确认信息。即由各个数据采集节点确认服务端的套接字描述信息是否为预先确认的允许连接的描述信息，如果是则反馈描述确认信息，如果不是则不反馈。

在具体实施中，当接收到描述确认信息之后，则可以通过套接字与各个数据采集节点分别建立日志接收连接线程。

步骤S103：通过所述日志接收连接线程接收各数据采集节点传输的日志数据。

需要说明的是，当建立了日志接收连接线程之后，即为通过套接字建立了连接，所以可以通过日志接收连接线程获取日志数据。

应理解的是，但是既然是日志总会有被删除的一刻，如果在采集的过程中被删除了，Linux中的文件是有引用计数的，已经打开的文件即使被删除也只是引用计数减1，只要有进程引用就可以继续读内容的，所以日志采集Agent继续把日志读完之后后释放文件的fd文件描述符，让***真正的删除文件。

进一步的，为了能够使得各个数据采集节点稳定且全面的采集数据，步骤S103之前，还包括：向各数据采集节点发送轮询更新指令，以使各数据采集节点查询更新文件信息，并根据所述更新文件信息进行日志采集。

在具体实施中，轮询更新指令指的是用于通知各个数据采集节点进行轮询更新的指令，可以为任意形式的指令，本实施例对此不加以限制。

需要说明的是，当数据采集节点接收到轮询更新指令之后，会查询要采集文件的stat信息，发现文件内容有更新就采集，采集完成后再触发下一次的轮询。

通过这种方式，实现了日志采集Agent可以不中断的持续采集日志。

进一步的，为了控制***中的垃圾数据传输，根据所述更新文件信息进行日志采集的步骤之前，还包括：向各数据采集节点发送垃圾数据权限控制指令，以使各数据采集节点增加身份验证流程，并使各数据采集节点拦截未通过所述身份验证流程的数据。

应理解的是，当各个数据采集节点接收到垃圾数据权限控制指令之后，可以增加身份验证流程，使得各个数据采集节点自动对未通过身份验证流程的数据进行丢弃和不传输。身份验证流程可以为任意能够验证数据来源和数据认证的数据的流程。

通过这种方式，实现了控制***中的垃圾数据传输，减少***压力。

本实施例通过当监听到来自所述数据采集节点的套接字连接请求时，根据所述套接字连接请求向各数据采集节点发送套接字描述信息；当接收到各5数据采集节点基于所述套接字描述信息反馈的描述确认信息时，与各数据采集节点建立日志接收连接线程；通过所述日志接收连接线程接收各数据采集节点传输的日志数据。通过这种方式，实现了基于套接字连接完成服务端与客户端的通信连接和数据交互，使得数据交互更加方便，也完成了分布式的日志数据监控。

参考图5，图5为本发明一种日志数据采集方法第三实施例的流程示意图。

基于上述第一实施例，本实施例日志数据采集方法在所述步骤S30之后，还包括：

步骤S301：当接收到问题锁定指令时，查询数据切片容器的容器存储信5息。

需要说明的是，问题锁定指令是用于锁定出现异常的数据采集节点的指令，可以为能实现此功能的任意指令，本实施例对此不加以限制。

应理解的是，容器存储信息指的是在切片容器中已经存储的日志、数据的相关信息。

0进一步的，为了能够建立用于问题所定的切片容器，步骤S301之前，还

包括：创建初始切片容器；在所述初始切片容器设定过期时间周期，以得到数据切片容器，所述数据切片容器在所述过期时间周期内存储各数据采集节点发送的所述日志数据，并在接收到已存储的来自相同的所述数据采集节点的所述日志数据时不进行储存。

5在具体实施中，建立的初始切片容器为在server端全局初始化的一个切

片容器。

需要说明的是，过期时间周期即为在配置文件中设置一个过期时间，在这段单位时间内，数据切片容器存储来自每个数据采集节点的数据，但是若server端接收的数据在数据切片容器中已经存在，那么会丢弃这段内容，进行0下一个数据接收，最后数据切片容器收集到不同来源的数据，由此可以得知哪个节点未发送数据存在问题。

通过这种方式，实现了建立数据切片容器并且准确的判断出现异常的数据采集节点。

进一步的，为了进一步周期清理过期数据，在所述初始切片容器设定过期时间周期，以得到数据切片容器之后，还包括：根据所述过期时间周期确定到期时间；当到达到期时间时清空所述数据切片容器，以进行下一轮日志收集。

需要说明的是，当确定了过期时间周期之后，确定每一次的到期时间，即到期的时刻，当到达到期的时刻之后，将数据切片容器中存储的信息清空，从而可以进行下一轮的日志收集和故障排查。

通过这种方式，实现了周期性的清空数据切片容器，防止数据切片容器数据过多，堆积导致错误。

步骤S302：根据所述容器存储信息确定各数据采集节点中的无数据节点。

应理解的是，无数据节点即为根据容器存储信息确定的各个数据采集节点在过期时间周期内没有存储数据的节点，作为无数据节点。

步骤S303：根据所述无数据节点确定问题节点。

在具体实施中，将无数据节点作为问题节点进行确认。

步骤S304：获取所述问题节点对应的节点地址信息，并通过所述监控面板展示所述节点地址信息。

需要说明的是，节点地址信息指的是问题节点的节点IP等相关的网络地址信息，再通过监控面板将节点地址信息向用户展示。

本实施例当接收到问题锁定指令时，查询数据切片容器的容器存储信息；根据所述容器存储信息确定各数据采集节点中的无数据节点；根据所述无数据节点确定问题节点；获取所述问题节点对应的节点地址信息，并通过所述监控面板展示所述节点地址信息。通过这种方式，实现了基于问题锁定指令准确的确定未上传数据的问题节点，从而可以周期性的***自查异常。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有日志数据采集程序，所述日志数据采集程序被处理器执行时实现如上文所述的日志数据采集方法的步骤。

由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不一一赘述。

参照图6，图6为本发明日志数据采集装置第一实施例的结构框图。

如图6所示，本发明实施例提出的日志数据采集装置包括：

数据接收模块10，用于接收分布于各目标客户端的数据采集节点的日志数据。

数据筛选模块20，用于对所述日志数据进行筛选，得到展示日志数据。

数据展示模块30，用于将所述展示日志数据存储后通过监控面板展示。

本实施例通过接收分布于各目标客户端的数据采集节点的日志数据；对所述日志数据进行筛选，得到展示日志数据；将所述展示日志数据存储后通过监控面板展示。通过这种方式，实现了将日志的采集节点分布于各个客户端上进行采集，并将采集到的日志数据传输到服务器，使得可以从一个主机或者服务器上接收来自于不同客户端的日志数据，并进行筛选后通过监控面板展示，使得更加简便的采集多端的数据，不需要大面积索引，提高了日志采集、监控的效率和成本。

在一实施例中，所述数据接收模块10，还用于获取客户端信息；根据所述客户端信息确定身份认证信息；根据所述身份认证信息确定目标客户端；将所述目标客户端中预先配置的采集节点作为数据采集节点。

在一实施例中，所述数据接收模块10，还用于当监听到来自所述数据采集节点的套接字连接请求时，根据所述套接字连接请求向各数据采集节点发送套接字描述信息；当接收到各数据采集节点基于所述套接字描述信息反馈的描述确认信息时，与各数据采集节点建立日志接收连接线程；通过所述日志接收连接线程接收各数据采集节点传输的日志数据。

在一实施例中，所述数据接收模块10，还用于向各数据采集节点发送轮询更新指令，以使各数据采集节点查询更新文件信息，并根据所述更新文件信息进行日志采集。

在一实施例中，所述数据接收模块10，还用于向各数据采集节点发送垃圾数据权限控制指令，以使各数据采集节点增加身份验证流程，并使各数据采集节点拦截未通过所述身份验证流程的数据。

在一实施例中，所述数据接收模块10，还用于获取所述日志数据的数据来源信息；根据所述数据来源信息确定数据源身份信息；根据所述数据源身份信息确定未验证数据源，并将所述日志数据中的未验证数据源剔除。

在一实施例中，所述数据筛选模块20，还用于获取日志消息信息，并根据所述日志消息信息确定所述日志数据是否达到过滤条件；当所述日志数据达到所述过滤条件时，获取各数据采集节点的数据采集设置；根据所述数据采集设置和所述日志数据确定各数据采集节点的已采集信息；根据预设过滤规则对所述已采集信息进行数据过滤，得到展示日志数据，所述预设过滤规则为将各数据采集节点的所述已采集信息过滤到仅保留最新更新数据。

在一实施例中，所述数据接收模块10，还用于根据所述日志数据确定等待存储的事件队列信息；根据所述事件队列信息确定事件数量信息；根据所述事件数量信息确定需调整数据采集策略的目标节点；调整所述目标节点的数据采集策略，以更新所述日志数据并通过所述监控面板展示。

在一实施例中，所述数据展示模块30，还用于向所述目标节点发送持续采集指令，以使所述目标节点持续监控日志，并反馈日志更新内容信息；根据所述日志更新内容信息更新所述日志数据，得到更新日志数据；对所述更新日志数据进行数据清洗和存储，并通过所述监控面板展示。

在一实施例中，所述数据展示模块30，还用于向所述目标节点发送持续采集指令，以使所述目标节点持续监控日志，并反馈日志更新内容信息；根据所述日志更新内容信息更新所述日志数据，得到更新日志数据；对所述更新日志数据进行数据清洗和存储，并通过所述监控面板展示。

在一实施例中，所述数据展示模块30，还用于当接收到问题查询指令时，根据所述问题查询指令确定查询关键字；根据所述查询关键字对所述日志数据进行文档搜索，以确定目标问题文档；获取所述目标问题文档对应的异常日志信息，并通过所述监控面板展示所述异常日志信息。

在一实施例中，所述数据展示模块30，还用于当接收到问题锁定指令时，查询数据切片容器的容器存储信息；根据所述容器存储信息确定各数据采集节点中的无数据节点；根据所述无数据节点确定问题节点；获取所述问题节点对应的节点地址信息，并通过所述监控面板展示所述节点地址信息。

在一实施例中，所述数据展示模块30，还用于创建初始切片容器；在所述初始切片容器设定过期时间周期，以得到数据切片容器，所述数据切片容器在所述过期时间周期内存储各数据采集节点发送的所述日志数据，并在接收到已存储的来自相同的所述数据采集节点的所述日志数据时不进行储存。

在一实施例中，所述数据展示模块30，还用于根据所述过期时间周期确定到期时间；当到达到期时间时清空所述数据切片容器，以进行下一轮日志收集。

应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。

需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。

另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的日志数据采集方法，此处不再赘述。

此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

本发明公开了A1、一种日志数据采集方法，所述日志数据采集方法包括：

接收分布于各目标客户端的数据采集节点的日志数据；

对所述日志数据进行筛选，得到展示日志数据；

将所述展示日志数据存储后通过监控面板展示。

A2、如A1所述的方法，所述接收分布于各客户端的数据采集节点的日志数据之前，还包括：

获取客户端信息；

根据所述客户端信息确定身份认证信息；

根据所述身份认证信息确定目标客户端；

将所述目标客户端中预先配置的采集节点作为数据采集节点。

A3、如A1所述的方法，所述接收分布于各目标客户端的数据采集节点的日志数据，包括：

当监听到来自所述数据采集节点的套接字连接请求时，根据所述套接字连接请求向各数据采集节点发送套接字描述信息；

当接收到各数据采集节点基于所述套接字描述信息反馈的描述确认信息时，与各数据采集节点建立日志接收连接线程；

通过所述日志接收连接线程接收各数据采集节点传输的日志数据。

A4、如A3所述的方法，所述通过所述日志接收连接线程接收各数据采集节点传输的日志数据之前，还包括：

向各数据采集节点发送轮询更新指令，以使各数据采集节点查询更新文件信息，并根据所述更新文件信息进行日志采集。

A5、如A4所述的方法，所述根据所述更新文件信息进行日志采集之前，还包括：

向各数据采集节点发送垃圾数据权限控制指令，以使各数据采集节点增加身份验证流程，并使各数据采集节点拦截未通过所述身份验证流程的数据。

A6、如A1所述的方法，所述接收分布于各目标客户端的数据采集节点的日志数据之后，还包括：

获取所述日志数据的数据来源信息；

根据所述数据来源信息确定数据源身份信息；

根据所述数据源身份信息确定未验证数据源，并将所述日志数据中的未验证数据源剔除。

A7、如A1所述的方法，所述对所述日志数据进行筛选，得到展示日志数据，包括：

获取日志消息信息，并根据所述日志消息信息确定所述日志数据是否达到过滤条件；

当所述日志数据达到所述过滤条件时，获取各数据采集节点的数据采集设置；

根据所述数据采集设置和所述日志数据确定各数据采集节点的已采集信息；

根据预设过滤规则对所述已采集信息进行数据过滤，得到展示日志数据，所述预设过滤规则为将各数据采集节点的所述已采集信息过滤到仅保留最新更新数据。

A8、如A1所述的方法，所述接收分布于各目标客户端的数据采集节点的日志数据之后，还包括：

根据所述日志数据确定等待存储的事件队列信息；

根据所述事件队列信息确定事件数量信息；

根据所述事件数量信息确定需调整数据采集策略的目标节点；

调整所述目标节点的数据采集策略，以更新所述日志数据并通过所述监控面板展示。

A9、如A8所述的方法，所述调整所述目标节点的数据采集策略，以更新所述日志数据并通过所述监控面板展示，包括：

向所述目标节点发送持续采集指令，以使所述目标节点持续监控日志，并反馈日志更新内容信息；

根据所述日志更新内容信息更新所述日志数据，得到更新日志数据；

对所述更新日志数据进行数据清洗和存储，并通过所述监控面板展示。

A10、如A1所述的方法，所述将所述展示日志数据存储后通过监控面板展示之后，还包括：

当接收到问题查询指令时，根据所述问题查询指令确定查询关键字；

根据所述查询关键字对所述日志数据进行文档搜索，以确定目标问题文档；

获取所述目标问题文档对应的异常日志信息，并通过所述监控面板展示所述异常日志信息。

A11、如A1所述的方法，所述将所述展示日志数据存储后通过监控面板展示之后，还包括：

当接收到问题锁定指令时，查询数据切片容器的容器存储信息；

根据所述容器存储信息确定各数据采集节点中的无数据节点；

根据所述无数据节点确定问题节点；

获取所述问题节点对应的节点地址信息，并通过所述监控面板展示所述节点地址信息。

A12、如A11所述的方法，所述当接收到问题锁定指令时，查询数据切片容器的容器存储信息之前，还包括：

创建初始切片容器；

在所述初始切片容器设定过期时间周期，以得到数据切片容器，所述数据切片容器在所述过期时间周期内存储各数据采集节点发送的所述日志数据，并在接收到已存储的来自相同的所述数据采集节点的所述日志数据时不进行储存。

A13、如A12所述的方法，所述在所述初始切片容器设定过期时间周期，以得到数据切片容器之后，还包括：

根据所述过期时间周期确定到期时间；

当到达到期时间时清空所述数据切片容器，以进行下一轮日志收集。

本发明还公开了B14、一种日志收集监控装置，所述日志收集监控装置包括：

数据接收模块，用于接收分布于各目标客户端的数据采集节点的日志数据；

数据筛选模块，用于对所述日志数据进行筛选，得到展示日志数据；

数据展示模块，用于将所述展示日志数据存储后通过监控面板展示。

B15、如B14所述的日志收集监控装置，所述数据接收模块，还用于当监听到来自所述数据采集节点的套接字连接请求时，根据所述套接字连接请求向各数据采集节点发送套接字描述信息；当接收到各数据采集节点基于所述套接字描述信息反馈的描述确认信息时，与各数据采集节点建立日志接收连接线程；通过所述日志接收连接线程接收各数据采集节点传输的日志数据。

B16、如B14所述的日志收集监控装置，所述数据展示模块，还用于当接收到问题锁定指令时，查询数据切片容器的容器存储信息；根据所述容器存储信息确定各数据采集节点中的无数据节点；根据所述无数据节点确定问题节点；获取所述问题节点对应的节点地址信息，并通过所述监控面板展示所述节点地址信息。

B17、如B15所述的日志收集监控装置，所述数据展示模块，还用于创建初始切片容器；在所述初始切片容器设定过期时间周期，以得到数据切片容器，所述数据切片容器在所述过期时间周期内存储各数据采集节点发送的所述日志数据，并在接收到已存储的来自相同的所述数据采集节点的所述日志数据时不进行储存。

B18、如B16所述的日志收集监控装置，所述数据展示模块，还用于根据所述过期时间周期确定到期时间；当到达到期时间时清空所述数据切片容器，以进行下一轮日志收集。

本发明还公开了C19、一种日志收集监控设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志收集监控程序，所述日志收集监控程序配置为实现如上所述的日志收集监控方法。

本发明还公开了D20、一种存储介质，所述存储介质上存储有日志收集监控程序，所述日志收集监控程序被处理器执行时实现如上所述的日志收集监控方法。

Claims (10)

1.一种日志数据采集方法，其特征在于，所述日志数据采集方法包括：

接收分布于各目标客户端的数据采集节点的日志数据；

对所述日志数据进行筛选，得到展示日志数据；

将所述展示日志数据存储后通过监控面板展示。

2.如权利要求1所述的方法，其特征在于，所述接收分布于各客户端的数据采集节点的日志数据之前，还包括：

获取客户端信息；

根据所述客户端信息确定身份认证信息；

根据所述身份认证信息确定目标客户端；

将所述目标客户端中预先配置的采集节点作为数据采集节点。

3.如权利要求1所述的方法，其特征在于，所述接收分布于各目标客户端的数据采集节点的日志数据，包括：

当监听到来自所述数据采集节点的套接字连接请求时，根据所述套接字连接请求向各数据采集节点发送套接字描述信息；

当接收到各数据采集节点基于所述套接字描述信息反馈的描述确认信息时，与各数据采集节点建立日志接收连接线程；

通过所述日志接收连接线程接收各数据采集节点传输的日志数据。

4.如权利要求3所述的方法，其特征在于，所述通过所述日志接收连接线程接收各数据采集节点传输的日志数据之前，还包括：

向各数据采集节点发送轮询更新指令，以使各数据采集节点查询更新文件信息，并根据所述更新文件信息进行日志采集。

5.如权利要求4所述的方法，其特征在于，所述根据所述更新文件信息进行日志采集之前，还包括：

向各数据采集节点发送垃圾数据权限控制指令，以使各数据采集节点增加身份验证流程，并使各数据采集节点拦截未通过所述身份验证流程的数据。

6.如权利要求1所述的方法，其特征在于，所述接收分布于各目标客户端的数据采集节点的日志数据之后，还包括：

获取所述日志数据的数据来源信息；

根据所述数据来源信息确定数据源身份信息；

根据所述数据源身份信息确定未验证数据源，并将所述日志数据中的未验证数据源剔除。

7.如权利要求1所述的方法，其特征在于，所述对所述日志数据进行筛选，得到展示日志数据，包括：

获取日志消息信息，并根据所述日志消息信息确定所述日志数据是否达到过滤条件；

当所述日志数据达到所述过滤条件时，获取各数据采集节点的数据采集设置；

根据所述数据采集设置和所述日志数据确定各数据采集节点的已采集信息；

根据预设过滤规则对所述已采集信息进行数据过滤，得到展示日志数据，所述预设过滤规则为将各数据采集节点的所述已采集信息过滤到仅保留最新更新数据。

8.一种日志收集监控装置，其特征在于，所述日志收集监控装置包括：

数据接收模块，用于接收分布于各目标客户端的数据采集节点的日志数据；

数据筛选模块，用于对所述日志数据进行筛选，得到展示日志数据；

数据展示模块，用于将所述展示日志数据存储后通过监控面板展示。

9.一种日志收集监控设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志收集监控程序，所述日志收集监控程序配置为实现如权利要求1至7中任一项所述的日志收集监控方法。

10.一种存储介质，其特征在于，所述存储介质上存储有日志收集监控程序，所述日志收集监控程序被处理器执行时实现如权利要求1至7任一项所述的日志收集监控方法。

Images