CN113176978B - 基于日志文件的监控方法、***、设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种基于日志文件的监控方法，所述方法包括：实时采集目标终端集群中每一个终端的日志文件并存储到消息队列中；依次从所述消息队列中拉取符合目标字段的目标日志文件，并提取所述目标日志文件中的内容字段；将预设的监控规则对所述内容字段进行匹配，以筛选出匹配的目标日志文件，得到目标日志文件集；根据预设的监听规则分析所述目标日志文件集，并根据分析结果生成监控结果。本发明还公开了一种基于日志文件的监控***、设备及可读存储介质。本发明实施例可以对终端集群进行灵活监控。

Description

基于日志文件的监控方法、***、设备及可读存储介质

技术领域

本发明涉及日志监控技术领域，尤其涉及一种基于日志文件的监控方法、***、设备及可读存储介质。

背景技术

随着计算机技术的成熟，运行于智能设备的应用程序虽然越来越完善，但是实际运行过程中又难免会出现执行错误的情况。因此，开发人员通常需要通过日志***，记录应用程序的运行状态及操作内容，以便人员查看、作为调试设备的依据。日志记录应用程序的各种运行状态和操作信息，生成日志文件。但是在应用程序运行过程中出现问题时，往往需要很长时间才能从日志文件中寻找到问题产生原因，所以会增加一个对日志文件的进行监控的监控***，良好的监控***可以在应用程序出现问题是根据日志文件准确寻找到问题，并进行实时报警，提醒开发人员。

现有技术中监控***是基于主机层面进行监控，也就是将监控程序要直接植入被监控的终端中，然后由监控程序执行对于该终端的日志文件进行监控并返回结果数据；另外，如果被监控的对象为包括多个终端的集群时，则需要依次对集群中的每一个终端执行监控，而且，当需要对监控程序的监控规则进行调整时，则需要逐个更新每一个终端上的监控程序。因此，现有的监控方式不便于自助化配置，而且在实际应用中维护难度大。

发明内容

本发明提出一种基于日志文件的监控方法、***、设备及可读存储介质，能够解决现有技术中日志监控不能灵活设置，效率低的问题。

为实现上述目的，本发明提供了一种基于日志文件的监控方法，所述方法包括：

实时采集目标终端集群中每一个终端的日志文件并存储到消息队列中；

依次从所述消息队列中拉取符合目标字段的目标日志文件，并提取所述目标日志文件中的内容字段；

将预设的监控规则对所述内容字段进行匹配，以筛选出匹配的目标日志文件，得到目标日志文件集；

根据预设的监听规则分析所述目标日志文件集，并根据分析结果生成监控结果。

进一步地，所述实时采集目标终端集群中每一个终端的日志文件数据并存储到消息队列中之前，包括：

控制监控程序根据预先设置的数据采集规则收集每一个所述终端上应用程序产生的日志文件，所述数据采集规则包括实时采集规则；

将所述日志文件存储于所述目标终端集群中的每一个终端中。

进一步地，所述实时采集目标终端集群中每一个终端的日志文件并存储到消息队列中包括：

向所述监控程序发送日志采集指令，以控制所述监控程序根据所述日志采集指令获取每一个所述终端上的日志文件；

将采集到的所述日志文件存储到预设的消息队列中。

进一步地，所述根据预设的监听规则分析所述目标日志文件集，并根据分析结果生成监控结果包括：

获取所述目标日志文件集中的相同日志文件名称的日志文件；

求和计算所述相同日志文件名称的日志文件的出现次数；

若所述日志文件的出现次数满足预先设置的监听规则，生成日志文件对应的终端的监控结果。

进一步地，所述将预设的监控规则对所述内容字段进行匹配，以筛选出匹配的目标日志文件，得到目标日志文件集包括：

基于预设的正则表达式对每一个所述目标日志文件的内容字段进行模糊匹配，以提取候选字段；

通过敏感信息识别规则对所述候选字段进行识别，筛选出匹配的候选字段对应的目标日志文件，得到目标日志文件集，所述预设的监控规则包括所述预设的正则表达式与所述敏感信息识别规则。

进一步地，所述根据预设的监听规则分析所述目标日志文件集，并根据分析结果生成监控结果之后，还包括：

将所述分析结果存储于时序数据库中；

通过所述时序数据库将所述分析结果生成报表发送给所述目标用户进行查看。

进一步地，所述根据预设的监听规则分析所述目标日志文件集，并根据分析结果生成监控结果之后，还包括：

从配置管理中心获取目标用户的消息渠道；

将所述监控结果通过所述消息渠道发送给所述目标用户进行查看。

为实现上述目的，本发明提供了一种基于日志文件的监控***，所述***包括：

采集模块，用于实时采集目标终端集群中每一个终端的日志文件并存储到消息队列中；

提取模块，用于依次从所述消息队列中拉取符合目标字段日志文件，并提取所述日志文件中的内容字段；

匹配模块，用于将预设的监控规则对所述内容字段进行匹配，以筛选出匹配的日志文件，得到目标日志文件集；

分析模块，用于根据预设的监听规则分析所述目标日志文件集，并根据分析结果生成监控结果。

为实现上述目的，本发明提供了一种计算机设备，所述计算机设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的基于日志文件的监控方法的步骤。

为实现上述目的，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如上所述的基于日志文件的监控方法的步骤。

相较于现有技术，本发明所提出的基于日志文件的监控方法、***、设备及可读存储介质，可以对终端集群的日志文件进行采集，将日志文件存储于消息队列中进行分流处理，再对消息队列中的日志文件进行筛选，筛选包括日志文件的内容字段的匹配以及预设监听规则对目标日志文件的分析，以通过对日志文件的分析进而实现对终端的监控；通过消息队列对终端集群的日志文件进行存储再通过分布式计算框架对目标日志进行处理，提高了日志文件监控的效率，可以对大数据级别的日志文件进行监控。

附图说明

图1为本发明基于日志文件的监控方法实施例一的流程图。

图2为本发明基于日志文件的监控***实施例二的程序模块示意图。

图3为本发明计算机设备实施例三的硬件结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

实施例一

参阅图1，示出了本发明实施例一之基于日志文件的监控方法的步骤流程图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备2为执行主体进行示例性描述。具体如下。

步骤S100，实时采集目标终端集群中每一个终端的日志文件并存储到消息队列中。

具体地，通过日志采集客户端收集多个终端的日志文件，收集的日志文件包括每个终端的终端名称、日志文件路径与日志内容等，将日志文件存储于消息队列中，便于后续的数据计算与数据筛选。消息队列是预先设置的用于依据时间顺序将每一个终端上的日志文件进行排序存储的存储单元。消息队列为分布式发布-订阅消息***Kafka，可以对日志文件数据进行即时的储存和消费，设置的储存时间为2小时，当日志文件被消费时，即从消息队列中消失，未被消费的日志文件可以在消息队列中储存两个小时；当数据量过大时，kafka***可以进行扩容，横向的储存数据量和纵向的储存数据时间都可以根据实际需要进行增加。日志采集客户端收集到的日志文件实时转移到kafka***的消息队列中。

示例性地，所述步骤S100之前，还包括：

控制监控程序根据预先设置的数据采集规则收集每一个所述终端上应用程序产生的日志文件，所述数据采集规则包括实时采集规则；将所述日志文件存储于所述目标终端集群中的每一个终端中。

具体地，日志采集客户端与目标终端集群中的每一个终端通信连接，终端上安装有应用，然后可以预先在每一个终端设置监控程序。监控程序可以根据预先配置的数据采集规则收集该终端上的应用程序产生的日志文件，比如，数据采集规则为定时采集或周期性采集。监控程序可以为日志采集客户端。接着，日志采集客户端从每一个终端获取由监控程序收集的日志文件，并存储到预设的消息队列中。

示例性地，所述步骤S100包括：

步骤S101，向所述监控程序发送日志采集指令，以控制所述监控程序根据所述日志采集指令获取每一个所述终端上的日志文件；步骤S102，将采集到的所述日志文件存储到预设的消息队列中。

具体地，通过监控平台向目标终端集群的监控程序发送日志采集指令，以实时采集每个终端上的应用程序产生的日志文件并从终端上获取历史时间段采集的日志文件。

步骤S120，依次从所述消息队列中拉取符合目标字段的目标日志文件，并提取所述目标日志文件中的内容字段。

具体地，获取消息队列中符合目标字段的日志文件，目标字段为需要进行监控的应用的目标应用名与需要监控的日志文件的目标日志文件路径，应用安装于目标终端集群上，目标日志文件路径可以设置在每个终端的内存上，通过应用名可以查询到日志文件存储的目标日志文件路径。拉取消息队列中需要进行监控的应用的目标日志文件，通过目标字段筛选出来。再提取日志文件的内容字段，进行再次筛选。内容字段为日志文件中的任一字段，也可以为每个日志文件的全部字段。

示例性地，可以将目标字段预先存储在数据库中，数据库可以为mysql数据库，当拉取消息队列中的日志文件时，先获取目标字段。

步骤S140，将预设的监控规则对所述内容字段进行匹配，以筛选出匹配的目标日志文件，得到目标日志文件集。

具体地，预设的监控规则可以为关键字段和白名单，关键字段为需要进行监控的敏感信息，例如：身份证号、手机号和银行***等私人敏感信息，白名单中为预设字段或者字符。可以通过分布式计算框架拉取消息队列中的日志文件进行筛选，分布式计算框架包含多个服务器，可以同时处理巨量数据，分布式计算框架应用监控规则对消息队列中的实时日志文件进行匹配，产生目标日志文件集，目标日志文件集由经过监控规则筛选后的目标日志文件构成，即可实现根据监控规则对进行日志文件分类，减少运算量，将亿级以上的巨量数据经过监控规则的过滤减少数据量，便于日志文件的集中管理。

示例性地，所述步骤S140包括：

步骤S141，基于预设的正则表达式对每一个所述目标日志文件的内容字段进行模糊匹配，以提取候选字段；步骤S142，通过敏感信息识别规则对所述候选字段进行识别，筛选出匹配的候选字段对应的目标日志文件，得到目标日志文件集，所述预设的监控规则包括所述预设的正则表达式与所述敏感信息识别规则。

具体地，对目标日志数据集中的目标日志文件的内容字段进行筛选，首先基于正则表达式筛选出包含关键字段的内容字段对应的候选目标日志文件集，再基于白名单筛选出该候选目标日志文件集中不包含白名单中的字段或字符的目标日志文件，作为目标日志文件集。例如：若内容字段中出现了“身份证号”的关键字段则筛选出来，作为候选目标日志文件集，再看候选目标日志文件集是否包含“error”的白名单字段，若出现了则过滤，若没有出现则将其作为目标日志数据集。监控规则不限于预设的正则表达式与敏感信息识别规则。

步骤S160，根据预设的监听规则分析所述目标日志文件集，并根据分析结果生成监控结果。

具体地，可以将目标日志文件集存储于redis数据库，预先在redis数据库中设置监听程序对redis数据库进行监听，监听目标日志文件集中的目标日志文件是否满足预设条件，当满足预设条件时，触发报警指令，根据报警指令生成报警信息，该报警信息即为监控结果。将报警信息发送给目标用户。监听程序预先设置预设条件，预设条件为限定时间同一日志文件的出现次数的限定值，符合预设条件即出现次数达到限定值则触发报警，生成报警信息，比如预设条件为10分钟内出现次数限定值为20次，如果符合，则触发报警，生成报警信息。

示例性地，所述步骤S160包括：

步骤S161，获取所述目标日志文件集中的相同日志文件名称的日志文件；步骤S162，求和计算所述相同日志文件名称的日志文件的出现次数；步骤S163，若所述日志文件的出现次数满足预先设置的监听规则，生成日志文件对应的终端的监控结果。

具体地，监听规则包括故障报警监控规则，故障报警监控规则为根据监控需要设置的故障内容，故障报警监控规则的功能是筛选出日志文件中包含符合故障报警监控规则，即预设条件的故障信息的日志文件。如果日志文件未包含故障监控规则中所设置的故障内容，则为正常日志文件，反之则为故障文件，出现一个故障文件即出现次数进行加一，也可以直接求和。监控结果包括报警程序发出的报警信号和包含敏感信息的日志文件，报警信号内容包含发生故障的报错次数和发生故障的日志文件信息，日志文件信息包含目标终端名称、日志文件发生位置等信息。

示例性地，所述步骤S160之后，还包括：

步骤S171，将所述分析结果存储于时序数据库中；步骤S172，通过所述时序数据库将所述分析结果生成报表发送给所述目标用户进行查看。

具体地，可以将分析结果储存在时序型数据库中，时序型数据库优选为influxdb数据库，influxdb数据库的报表生成程序将包含敏感信息的日志文件生成敏感信息报表，进行报表展示，方便用户查看问题。

示例性地，所述步骤S160之后，还包括：

所述步骤S181，从配置管理中心获取目标用户的消息渠道；所述步骤S182，将所述监控结果通过所述消息渠道发送给所述目标用户进行查看。

具体地，Cmdb数据库中预存有发送给目标用户的消息渠道，通过消息渠道将报警信息发送给目标用户，以实现通过日志文件对应用进行监控的目的。可以通过cmdb(配置管理数据库，Configuration Management Database,CMDB)查询到目标用户，再将报警信息发送给目标用户。向目标用户发送报警信号时，可以通过邮件或短信的方式进行；并且将报警信号通知记录到异常数据报表。监控平台的数据库中设置有统计程序，统计程序根据异常数据报表和敏感信息报表生成日报、周报、月报，并统计历史报错量和当前报错量。自动化管理后台根据异常数据报表与敏感信息报表选择发送给不同的用户，从而使业务对口的用户掌握相关的日志问题。

实施例二

请继续参阅图2，示出了本发明基于日志文件的监控***实施例二的程序模块示意图。在本实施例中，基于日志文件的监控***20可以包括或被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本发明，并可实现上述基于日志文件的监控方法。本发明实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合于描述基于日志文件的监控***20在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能：

采集模块200，用于实时采集目标终端集群中每一个终端的日志文件并存储到消息队列中。

具体地，通过日志采集客户端收集多个终端的日志文件，收集的日志文件包括每个终端的终端名称、日志文件路径与日志内容等，将日志文件存储于消息队列中，便于后续的数据计算与数据筛选。消息队列是预先设置的用于依据时间顺序将每一个终端上的日志文件进行排序存储的存储单元。消息队列为分布式发布-订阅消息***Kafka，可以对日志文件数据进行即时的储存和消费，设置的储存时间为2小时，当日志文件被消费时，即从消息队列中消失，未被消费的日志文件可以在消息队列中储存两个小时；当数据量过大时，kafka***可以进行扩容，横向的储存数据量和纵向的储存数据时间都可以根据实际需要进行增加。日志采集客户端收集到的日志文件实时转移到kafka***的消息队列中。

示例性地，所述采集模块200还用于：

向所述监控程序发送日志采集指令，以控制所述监控程序根据所述日志采集指令获取每一个所述终端上的日志文件；将采集到的所述日志文件存储到预设的消息队列中。

具体地，通过监控平台向目标终端集群的监控程序发送日志采集指令，实时采集每个终端上的应用程序产生的日志文件并从终端上获取历史时间段采集的日志文件。

提取模块202，用于依次从所述消息队列中拉取符合目标字段的目标日志文件，并提取所述目标日志文件中的内容字段。

具体地，获取消息队列中符合目标字段的日志文件，目标字段为需要进行监控的应用的目标应用名与需要监控的日志文件的目标日志文件路径，应用安装于目标终端集群上，目标日志文件路径可以设置在每个终端的内存上，通过应用名可以查询到日志文件存储的目标日志文件路径。拉取消息队列中需要进行监控的应用的目标日志文件，通过目标字段筛选出来。再提取日志文件的内容字段，进行再次筛选。内容字段为日志文件中的任一字段，也可以为每个日志文件的全部字段。

示例性地，可以将目标字段预先存储在数据库中，数据库可以为mysql数据库，当拉取消息队列中的日志文件时，先获取目标字段。

匹配模块204，用于将预设的监控规则对所述内容字段进行匹配，以筛选出匹配的目标日志文件，得到目标日志文件集。

具体地，预设的监控规则可以为关键字段和白名单，关键字段为需要进行监控的敏感信息，例如：身份证号、手机号和银行***等私人敏感信息，白名单中为预设字段或者字符。可以通过分布式计算框架拉取消息队列中的日志文件进行筛选，分布式计算框架包含多个服务器，可以同时处理巨量数据，分布式计算框架应用监控规则对消息队列中的实时日志文件进行匹配，产生目标日志文件集，目标日志文件集由经过监控规则筛选后的目标日志文件构成，即可实现根据监控规则对进行日志文件分类，减少运算量，将亿级以上的巨量数据经过监控规则的过滤减少数据量，便于日志文件的集中管理。

示例性地，所述匹配模块204还用于：

基于预设的正则表达式对每一个所述目标日志文件的内容字段进行模糊匹配，以提取候选字段；通过敏感信息识别规则对所述候选字段进行识别，筛选出匹配的候选字段对应的目标日志文件，得到目标日志文件集，所述预设的监控规则包括所述预设的正则表达式与所述敏感信息识别规则。

具体地，对目标日志数据集中的目标日志文件的内容字段进行筛选，首先基于正则表达式筛选出包含关键字段的内容字段对应的候选目标日志文件集，再基于白名单筛选出该候选目标日志文件集中不包含白名单中的字段或字符的目标日志文件，作为目标日志文件集。例如：若内容字段中出现了“身份证号”的关键字段则筛选出来，作为候选目标日志文件集，再看候选目标日志文件集是否包含“error”的白名单字段，若出现了则过滤，若没有出现则将其作为目标日志数据集。监控规则不限于预设的正则表达式与敏感信息识别规则。

分析模块206，用于根据预设的监听规则分析所述目标日志文件集，并根据分析结果生成监控结果。

具体地，可以将目标日志文件集存储于redis数据库，预先在redis数据库中设置监听程序对redis数据库进行监听，监听目标日志文件集中的目标日志文件是否满足预设条件，当满足预设条件时，触发报警指令，根据报警指令生成报警信息，该报警信息即为监控结果。将报警信息发送给目标用户。监听程序预先设置预设条件，预设条件为限定时间同一日志文件的出现次数的限定值，符合预设条件即出现次数达到限定值则触发报警，生成报警信息，比如预设条件为10分钟内出现次数限定值为20次，如果符合，则触发报警，生成报警信息。

示例性地，所述分析模块206还用于：

获取所述目标日志文件集中的相同日志文件名称的日志文件；求和计算所述相同日志文件名称的日志文件的出现次数；若所述日志文件的出现次数满足预先设置的监听规则，生成日志文件对应的终端的监控结果。

具体地，监听规则包括故障报警监控规则，故障报警监控规则为根据监控需要设置的故障内容，故障报警监控规则的功能是筛选出日志文件中包含符合故障报警监控规则，即预设条件的故障信息的日志文件。如果日志文件未包含故障监控规则中所设置的故障内容，则为正常日志文件，反之则为故障文件，出现一个故障文件即出现次数进行加一，也可以直接求和。监控结果包括报警程序发出的报警信号和包含敏感信息的日志文件，报警信号内容包含发生故障的报错次数和发生故障的日志文件信息，日志文件信息包含目标终端名称、日志文件发生位置等信息。

实施例三

参阅图3，是本发明实施例三之计算机设备的硬件架构示意图。本实施例中，所述计算机设备2是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。该计算机设备2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图3所示，所述计算机设备2至少包括，但不限于，可通过***总线相互通信连接存储器21、处理器22、网络接口23、以及基于日志文件的监控***20。其中：

本实施例中，存储器21至少包括一种类型的计算机可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备2的内部存储单元，例如该计算机设备2的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备2的外部存储设备，例如该计算机设备2上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算机设备2的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备2的操作***和各类应用软件，例如实施例二的基于日志文件的监控***20的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备2的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行基于日志文件的监控***20，以实现实施例二的基于日志文件的监控方法。

所述网络接口23可包括无线网络接口或有线网络接口，该网络接口23通常用于在所述服务器2与其他电子装置之间建立通信连接。例如，所述网络接口23用于通过网络将所述服务器2与外部终端相连，在所述服务器2与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯***(Global System of Mobile communication，GSM)、宽带码分多址(Wideband CodeDivision Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。需要指出的是，图3仅示出了具有部件20-23的计算机设备2，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。在本实施例中，存储于存储器21中的所述基于日志文件的监控***20还可以被分割为一个或者多个程序模块，所述一个或者多个程序模块被存储于存储器21中，并由一个或多个处理器(本实施例为处理器22)所执行，以完成本发明。

例如，图2示出了所述实现基于日志文件的监控***20实施例二的程序模块示意图，该实施例中，所述基于日志文件的监控***20可以被划分为所述采集模块200、所述提取模块202、所述匹配模块204以及所述分析模块206。其中，本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述基于日志文件的监控***20在所述计算机设备2中的执行过程。所述程序模块200-206的具体功能在实施例二中已有详细描述，在此不再赘述。

实施例四

本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于计算机程序，被处理器执行时实现实施例一的基于日志文件的监控方法。

显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。

以上仅为本发明实施例的优选实施例，并非因此限制本发明实施例的专利范围，凡是利用本发明实施例说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明实施例的专利保护范围内。

Claims (8)

1.一种基于日志文件的监控方法，其特征在于，所述方法包括：

实时采集目标终端集群中每一个终端的日志文件并存储到消息队列中；

依次从所述消息队列中拉取符合目标字段的目标日志文件，并提取所述目标日志文件中的内容字段；

将预设的监控规则对所述内容字段进行匹配，以筛选出匹配的目标日志文件，得到目标日志文件集；

根据预设的监听规则分析所述目标日志文件集，并根据分析结果生成监控结果；

所述将预设的监控规则对所述内容字段进行匹配，以筛选出匹配的目标日志文件，得到目标日志文件集包括：

基于预设的正则表达式对每一个所述目标日志文件的内容字段进行模糊匹配，以提取候选字段；

通过敏感信息识别规则对所述候选字段进行识别，筛选出匹配的候选字段对应的目标日志文件，得到目标日志文件集，所述预设的监控规则包括所述预设的正则表达式与所述敏感信息识别规则；

所述根据预设的监听规则分析所述目标日志文件集，并根据分析结果生成监控结果包括：

获取所述目标日志文件集中的相同日志文件名称的日志文件；

求和计算所述相同日志文件名称的日志文件的出现次数；

若所述日志文件的出现次数满足预先设置的监听规则，生成日志文件对应的终端的监控结果。

2.如权利要求1所述的基于日志文件的监控方法，其特征在于，所述实时采集目标终端集群中每一个终端的日志文件数据并存储到消息队列中之前，包括：

控制监控程序根据预先设置的数据采集规则收集每一个所述终端上应用程序产生的日志文件，所述数据采集规则包括实时采集规则；

将所述日志文件存储于所述目标终端集群中的每一个终端中。

3.如权利要求2所述的基于日志文件的监控方法，其特征在于，所述实时采集目标终端集群中每一个终端的日志文件并存储到消息队列中包括：

向所述监控程序发送日志采集指令，以控制所述监控程序根据所述日志采集指令获取每一个所述终端上的日志文件；

将采集到的所述日志文件存储到预设的消息队列中。

4.如权利要求1所述的基于日志文件的监控方法，其特征在于，所述根据预设的监听规则分析所述目标日志文件集，并根据分析结果生成监控结果之后，还包括：

将所述分析结果存储于时序数据库中；

通过所述时序数据库将所述分析结果生成报表发送给目标用户进行查看。

5.如权利要求4所述的基于日志文件的监控方法，其特征在于，所述根据预设的监听规则分析所述目标日志文件集，并根据分析结果生成监控结果之后，还包括：

从配置管理中心获取目标用户的消息渠道；

将所述监控结果通过所述消息渠道发送给所述目标用户进行查看。

6.一种基于日志文件的监控***，其特征在于，所述***包括：

采集模块，用于实时采集目标终端集群中每一个终端的日志文件并存储到消息队列中；

提取模块，用于依次从所述消息队列中拉取符合目标字段日志文件，并提取所述日志文件中的内容字段；

匹配模块，用于将预设的监控规则对所述内容字段进行匹配，以筛选出匹配的日志文件，得到目标日志文件集；

分析模块，用于根据预设的监听规则分析所述目标日志文件集，并根据分析结果生成监控结果；

所述匹配模块还用于：

基于预设的正则表达式对每一个所述目标日志文件的内容字段进行模糊匹配，以提取候选字段；通过敏感信息识别规则对所述候选字段进行识别，筛选出匹配的候选字段对应的目标日志文件，得到目标日志文件集，所述预设的监控规则包括所述预设的正则表达式与所述敏感信息识别规则；

所述分析模块还用于：

获取所述目标日志文件集中的相同日志文件名称的日志文件；求和计算所述相同日志文件名称的日志文件的出现次数；若所述日志文件的出现次数满足预先设置的监听规则，生成日志文件对应的终端的监控结果。

7.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-5中任一项所述的基于日志文件的监控方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如权利要求1-5中任一项所述的基于日志文件的监控方法的步骤。