CN112711520A - 异常日志信息的处理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及大数据领域，提供一种异常日志信息的处理方法、装置、设备及存储介质，用于提高分布式的异常日志信息的处理效率。异常日志信息的处理方法包括：通过面向切面编程***对各***应用的***应用日志信息进行异常检测、读取和文件写入，得到异常日志文件；通过日志文件采集***按照预设时段，对异常日志文件中的异常信息进行读取和存储，得到候选异常日志信息；通过基于全文搜索引擎的日志管理***，对日志文件采集***中的候选异常日志信息进行实时监测和提取，得到待处理异常日志信息；对待处理异常日志信息进行过滤、索引创建和分片处理，得到目标异常日志信息。此外，本发明还涉及区块链技术，目标异常日志信息可存储于区块链中。

Description

异常日志信息的处理方法、装置、设备及存储介质

技术领域

本发明涉及大数据的数据处理领域，尤其涉及一种异常日志信息的处理方法、装置、设备及存储介质。

背景技术

对于大型互联网的企业应用服务中，随着各***的日志规模的不断扩大，对***的状态分析或其他的***分析操作带来一定的困难。有效地利用***在运行过程中产生的大量日志信息来分析***的状态，对于***的性能、可扩展性等方面的需求发展具有一定的意义。目前，通常都是通过从各应用节点来获取***在运行过程中产生的异常日志信息，并对异常日志信息进行分析处理。

随着应用节点数量的增加，会造成分布式的异常日志信息的采集、分析和检索等操作繁杂且操作困难的问题，从而，导致了分布式的异常日志信息的处理效率较低。

发明内容

本发明提供一种异常日志信息的处理方法、装置、设备及存储介质，用于提高分布式的异常日志信息的处理效率。

本发明第一方面提供了一种异常日志信息的处理方法，包括：

发送异常拦截指令给预置的面向切面编程***，以使得所述面向切面编程***根据所述异常拦截指令，对各***应用的***应用日志信息进行异常检测、读取和文件写入，得到异常日志文件；

发送监测采集指令至预置的日志文件采集***，以使得所述日志文件采集***根据所述监测采集指令，按照预设时段，对所述异常日志文件中的异常信息进行读取和存储，得到候选异常日志信息；

发送监测提取指令至预置的基于全文搜索引擎的日志管理***，以使得所述基于全文搜索引擎的日志管理***根据所述监测提取指令，对所述日志文件采集***中的候选异常日志信息进行实时监测和提取，得到待处理异常日志信息；

对所述待处理异常日志信息进行过滤、索引创建和分片处理，得到目标异常日志信息。

可选的，在本发明第一方面的第一种实现方式中，所述发送异常拦截指令给预置的面向切面编程***，以使得所述面向切面编程***根据所述异常拦截指令，对各***应用的***应用日志信息进行异常检测、读取和文件写入，得到异常日志文件，包括：

向预置的面向切面编程***发送异常拦截指令，以使得所述面向切面编程***根据所述异常拦截指令，调用预先配置的***链，对各***应用的***应用日志信息进行异常检测和异常信息读取，得到初始异常日志信息；

对所述初始异常日志信息进行类型分类，得到分类日志信息，并获取所述分类日志信息的分类类型所对应的目标错误日志文件；

按照预设写入时段，将所述初始异常日志信息写入所述目标错误日志文件中，得到异常日志文件。

可选的，在本发明第一方面的第二种实现方式中，所述发送监测提取指令至预置的基于全文搜索引擎的日志管理***，以使得所述基于全文搜索引擎的日志管理***根据所述监测提取指令，对所述日志文件采集***中的候选异常日志信息进行实时监测和提取，得到待处理异常日志信息，包括：

发送监测提取指令至预置的基于全文搜索引擎的日志管理***，以使得所述基于全文搜索引擎的日志管理***根据所述监测提取指令，基于预置的监测机制，对所述日志文件采集***中的候选异常日志信息进行增量、读取时间和存储时间的监测和分析，得到符合预设监测条件的异常日志信息；

从所述日志文件采集***中，将所述符合预设监测条件的异常日志信息，提取到预先配置的集群服务地址对应的全文搜索引擎中，得到待处理异常日志信息。

可选的，在本发明第一方面的第三种实现方式中，所述对所述待处理异常日志信息进行过滤、索引创建和分片处理，得到目标异常日志信息，包括：

通过所述全文搜索引擎和预置的日志关键信息决策树，对所述待处理异常日志信息进行信息匹配、信息提取和关键字词提取，得到过滤异常日志信息，以及所述过滤异常日志信息对应的目标关键字词；

根据所述过滤异常日志信息和所述目标关键字词创建聚簇索引，并对所述聚簇索引中的数据进行分片处理，得到分片索引数据；

按照预设的存储策略，将所述分片索引数据存储至预置存储空间，得到目标异常日志信息。

可选的，在本发明第一方面的第四种实现方式中，所述发送监测采集指令至预置的日志文件采集***，以使得所述日志文件采集***根据所述监测采集指令，按照预设时段，对所述异常日志文件中的异常信息进行读取和存储，得到候选异常日志信息，包括：

向预置的日志文件采集***发送监测采集指令，以使得所述日志文件采集***根据所述监测采集指令，按照预设时段，读取所述异常日志文件中的异常信息；

获取所述异常日志文件的历史读取位置信息和目标位置偏移量信息，所述历史位置用于指示在所述预设时段的起始时刻之前读取的异常日志文件的位置偏移量信息，所述目标位置偏移量信息用于指示在所述预设时段的结束时刻读取的位置偏移量信息；

判断所述历史读取位置信息是否与所述目标位置偏移量信息一致；

若所述历史读取位置信息与所述目标位置偏移量信息不一致，则将所述异常信息、所述历史读取位置信息和所述目标位置偏移量信息，写入预置存储空间的注册文件中，得到候选异常日志信息。

可选的，在本发明第一方面的第五种实现方式中，所述对所述待处理异常日志信息进行过滤、索引创建和分片处理，得到目标异常日志信息之后，还包括：

接收预置的可视化用户界面发送的检索指令，基于所述检索指令，对所述目标异常日志信息进行查询和报表生成，得到统计分析报表，并将所述统计分析报表发送至所述可视化用户界面。

可选的，在本发明第一方面的第六种实现方式中，所述接收预置的可视化用户界面发送的检索指令，基于所述检索指令，对所述目标异常日志信息进行查询和报表生成，得到统计分析报表，并将所述统计分析报表发送至所述可视化用户界面，包括：

接收预置的可视化用户界面发送的检索指令，基于所述检索指令，通过预置的路由算法和遗传算法，对所述目标异常日志信息进行检索和过滤，得到目标检索信息；

对所述目标检索信息进行统计分析，得到统计分析信息，并根据所述统计分析信息生成统计分析报表，将所述统计分析报表发送至所述可视化用户界面。

本发明第二方面提供了一种异常日志信息的处理装置，包括：

异常拦截模块，用于发送异常拦截指令给预置的面向切面编程***，以使得所述面向切面编程***根据所述异常拦截指令，对各***应用的***应用日志信息进行异常检测、读取和文件写入，得到异常日志文件；

监测采集模块，用于发送监测采集指令至预置的日志文件采集***，以使得所述日志文件采集***根据所述监测采集指令，按照预设时段，对所述异常日志文件中的异常信息进行读取和存储，得到候选异常日志信息；

监测提取模块，用于发送监测提取指令至预置的基于全文搜索引擎的日志管理***，以使得所述基于全文搜索引擎的日志管理***根据所述监测提取指令，对所述日志文件采集***中的候选异常日志信息进行实时监测和提取，得到待处理异常日志信息；

异常处理模块，用于对所述待处理异常日志信息进行过滤、索引创建和分片处理，得到目标异常日志信息。

可选的，在本发明第二方面的第一种实现方式中，所述异常拦截模块具体用于：

向预置的面向切面编程***发送异常拦截指令，以使得所述面向切面编程***根据所述异常拦截指令，调用预先配置的***链，对各***应用的***应用日志信息进行异常检测和异常信息读取，得到初始异常日志信息；

对所述初始异常日志信息进行类型分类，得到分类日志信息，并获取所述分类日志信息的分类类型所对应的目标错误日志文件；

按照预设写入时段，将所述初始异常日志信息写入所述目标错误日志文件中，得到异常日志文件。

可选的，在本发明第二方面的第二种实现方式中，所述监测提取模块具体用于：

发送监测提取指令至预置的基于全文搜索引擎的日志管理***，以使得所述基于全文搜索引擎的日志管理***根据所述监测提取指令，基于预置的监测机制，对所述日志文件采集***中的候选异常日志信息进行增量、读取时间和存储时间的监测和分析，得到符合预设监测条件的异常日志信息；

从所述日志文件采集***中，将所述符合预设监测条件的异常日志信息，提取到预先配置的集群服务地址对应的全文搜索引擎中，得到待处理异常日志信息。

可选的，在本发明第二方面的第三种实现方式中，所述异常处理模块具体用于：

通过所述全文搜索引擎和预置的日志关键信息决策树，对所述待处理异常日志信息进行信息匹配、信息提取和关键字词提取，得到过滤异常日志信息，以及所述过滤异常日志信息对应的目标关键字词；

根据所述过滤异常日志信息和所述目标关键字词创建聚簇索引，并对所述聚簇索引中的数据进行分片处理，得到分片索引数据；

按照预设的存储策略，将所述分片索引数据存储至预置存储空间，得到目标异常日志信息。

可选的，在本发明第二方面的第四种实现方式中，所述监测采集模块具体用于：

向预置的日志文件采集***发送监测采集指令，以使得所述日志文件采集***根据所述监测采集指令，按照预设时段，读取所述异常日志文件中的异常信息；

获取所述异常日志文件的历史读取位置信息和目标位置偏移量信息，所述历史位置用于指示在所述预设时段的起始时刻之前读取的异常日志文件的位置偏移量信息，所述目标位置偏移量信息用于指示在所述预设时段的结束时刻读取的位置偏移量信息；

判断所述历史读取位置信息是否与所述目标位置偏移量信息一致；

若所述历史读取位置信息与所述目标位置偏移量信息不一致，则将所述异常信息、所述历史读取位置信息和所述目标位置偏移量信息，写入预置存储空间的注册文件中，得到候选异常日志信息。

可选的，在本发明第二方面的第五种实现方式中，所述异常日志信息的处理装置，还包括：

生成发送模块，用于接收预置的可视化用户界面发送的检索指令，基于所述检索指令，对所述目标异常日志信息进行查询和报表生成，得到统计分析报表，并将所述统计分析报表发送至所述可视化用户界面。

可选的，在本发明第二方面的第六种实现方式中，所述生成发送模块具体用于：

接收预置的可视化用户界面发送的检索指令，基于所述检索指令，通过预置的路由算法和遗传算法，对所述目标异常日志信息进行检索和过滤，得到目标检索信息；

对所述目标检索信息进行统计分析，得到统计分析信息，并根据所述统计分析信息生成统计分析报表，将所述统计分析报表发送至所述可视化用户界面。

本发明第三方面提供了一种异常日志信息的处理设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述异常日志信息的处理设备执行上述的异常日志信息的处理方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的异常日志信息的处理方法。

本发明提供的技术方案中，发送异常拦截指令给预置的面向切面编程***，以使得面向切面编程***根据异常拦截指令，对各***应用的***应用日志信息进行异常检测、读取和文件写入，得到异常日志文件；发送监测采集指令至预置的日志文件采集***，以使得日志文件采集***根据监测采集指令，按照预设时段，对异常日志文件中的异常信息进行读取和存储，得到候选异常日志信息；发送监测提取指令至预置的基于全文搜索引擎的日志管理***，以使得基于全文搜索引擎的日志管理***根据监测提取指令，对日志文件采集***中的候选异常日志信息进行实时监测和提取，得到待处理异常日志信息；对待处理异常日志信息进行过滤、索引创建和分片处理，得到目标异常日志信息。本发明实施例中，通过向切面编程***，对各***应用的***应用日志信息进行异常检测、读取和文件写入，解决了异常日志信息的获取应用启动时间较长和效率较低的问题，提高了异常日志文件生成的准确性和效率，通过日志文件采集***，按照预设时段，对异常日志文件中的异常信息进读取和存储，以及对待处理异常日志信息进行过滤、索引创建和分片处理，方便后续的查询和定位，提高了日志收集的性能和应用的解耦，简化了且有利于分布式的异常日志信息的采集、分析和检索等操作，从而提高了分布式的异常日志信息的处理效率。

附图说明

图1为本发明实施例中异常日志信息的处理方法的一个实施例示意图；

图2为本发明实施例中异常日志信息的处理方法的另一个实施例示意图；

图3为本发明实施例中异常日志信息的处理装置的一个实施例示意图；

图4为本发明实施例中异常日志信息的处理装置的另一个实施例示意图；

图5为本发明实施例中异常日志信息的处理设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种异常日志信息的处理方法、装置、设备及存储介质，用于提高分布式的异常日志信息的处理效率。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中异常日志信息的处理方法的一个实施例包括：

101、发送异常拦截指令给预置的面向切面编程***，以使得面向切面编程***根据异常拦截指令，对各***应用的***应用日志信息进行异常检测、读取和文件写入，得到异常日志文件。

可以理解的是，本发明的执行主体可以为异常日志信息的处理装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。

其中，预置的面向切面编程框架为Java的面向切面编程框架(aspect orientedprogramming，AOP)，也可为面向切面编程框。spring AOP。服务器预先搭建和配置与各***应用连接的面向切面编程***，向面向切面编程***发送异常拦截指令，以使得面向切面编程***启动，并根据该异常拦截指令，监测各***应用生成的***应用日志信息，读取***应用日志信息，并对***应用日志信息进行数据清洗和数据转换(转换为面向切面编程框架AOP对应的数据格式等)，对经过数据清洗和数据转换后的***应用日志信息中的异常信息进行拦截，并将拦截的异常信息写入预先生成的单独的错误日志文件中，从而得到异常日志文件，解决了拦截异常日志信息的应用启动时间较长和效率较低的问题，提高了异常日志文件生成的准确性和效率。

102、发送监测采集指令至预置的日志文件采集***，以使得日志文件采集***根据监测采集指令，按照预设时段，对异常日志文件中的异常信息进行读取和存储，得到候选异常日志信息。

例如，预置的日志文件采集***可为Filebeat，服务器向日志文件采集***Filebeat发送监测采集指令，以使得日志文件采集***根据监测采集指令，按照预设时段，对面向切面编程***中的异常日志文件的生成时间进行监测，判断生成时间是否晚于预设时段的起始时刻，若是，则读取异常日志文件中晚于预设时段的起始时刻所写入的异常信息，得到采集异常日志信息，若否，则继续对面向切面编程***中的异常日志文件的生成时间进行监测，直至得到异常日志文件中晚于预设时段的起始时刻所写入的采集异常日志信息，日志文件采集***得到采集异常日志信息后，获取采集异常日志信息的异常类型，根据异常类型对异常日志信息进行标签信息的标记，得到标记异常日志信息，将标记异常日志信息存储至异常类型对应的存储空间，或将标记异常日志信息写入至异常类型对应的文件中，从而得到候选异常日志信息。

103、发送监测提取指令至预置的基于全文搜索引擎的日志管理***，以使得基于全文搜索引擎的日志管理***根据监测提取指令，对日志文件采集***中的候选异常日志信息进行实时监测和提取，得到待处理异常日志信息。

服务器预先分别搭建日志采集***Logstash和分布式全文检索***Elasticsearch，获取日志采集***Logstash中的config配置文件和ElasticSearch集群服务地址信息，在config配置文件中进行ElasticSearch集群服务地址的配置，以将日志采集***Logstash和分布式全文检索***Elasticsearch进行对接整合，从而得到基于全文搜索引擎的日志管理***。

服务器向基于全文搜索引擎的日志管理***发送监测提取指令，以使得基于全文搜索引擎的日志管理***根据该监测提取指令，对日志文件采集***中候选异常日志信息的更新进行实时监测，当基于全文搜索引擎的日志管理***中的日志采集***Logstash，监测到日志文件采集***更新候选异常日志信息时，提取该候选异常日志信息，并将该候选异常日志信息发送至分布式全文检索***Elasticsearch，从而得到待处理异常日志信息。

104、对待处理异常日志信息进行过滤、索引创建和分片处理，得到目标异常日志信息。

服务器通过基于全文搜索引擎的日志管理***得到待处理异常日志信息后，通过分布式全文检索***Elasticsearch，按照预设过滤规则，对待处理异常日志信息进行过滤，得到过滤信息，该预设过滤规则包括敏感字段的识别、加密和转换，空字段，以及预设的无需要的包和日志，其中，预设的无需要的包和日志如：能够放在一条日志中的东西放在多条日志中输出、预期会发生且能够正常处理的异常而打印的一堆无用堆栈和为了开发调试方便而加入的“临时”日志等，通过分布式全文检索***Elasticsearch，对过滤信息进行索引创建，得到索引数据，根据索引数据生成多个创建有关联关系和对应关系的子表，以实现对索引数据的分片处理，从而得到目标异常日志信息。

本发明实施例中，通过向切面编程***，对各***应用的***应用日志信息进行异常检测、读取和文件写入，解决了异常日志信息的获取应用启动时间较长和效率较低的问题，提高了异常日志文件生成的准确性和效率，通过日志文件采集***，按照预设时段，对异常日志文件中的异常信息进读取和存储，以及对待处理异常日志信息进行过滤、索引创建和分片处理，方便后续的查询和定位，提高了日志收集的性能和应用的解耦，简化了且有利于分布式的异常日志信息的采集、分析和检索等操作，从而提高了分布式的异常日志信息的处理效率。

请参阅图2，本发明实施例中异常日志信息的处理方法的另一个实施例包括：

201、发送异常拦截指令给预置的面向切面编程***，以使得面向切面编程***根据异常拦截指令，对各***应用的***应用日志信息进行异常检测、读取和文件写入，得到异常日志文件。

具体地，服务器向预置的面向切面编程***发送异常拦截指令，以使得面向切面编程***根据异常拦截指令，调用预先配置的***链，对各***应用的***应用日志信息进行异常检测和异常信息读取，得到初始异常日志信息；对初始异常日志信息进行类型分类，得到分类日志信息，并获取分类日志信息的分类类型所对应的目标错误日志文件；按照预设写入时段，将初始异常日志信息写入目标错误日志文件中，得到异常日志文件。

服务器向预置的面向切面编程***发送异常拦截指令，以使得面向切面编程***根据异常拦截指令，接收事件发送器发送基于***应用日志信息处理的目标对象，并基于事件对象触发调用预先配置的***链，根据预置的执行顺序，对各***应用的***应用日志信息进行异常检测和异常信息读取，得到初始异常日志信息，并通过预置的分类器或分类网络，按照异常类型对初始异常日志信息进行类型分类，得到分类日志信息，该分类网络包括但不限于残差网络ResNext、卷积神经网络Inception V4以及压缩和激励网络(squeeze-and-excitationnetworks，SENet)等，根据分类日志信息的分类类型(即异常类型)，检索预置数据库，从预置数据库中匹配对应的目标错误日志文件，通过面向切面编程框架，按照预设写入时段，将初始异常日志信息写入目标错误日志文件中，得到异常日志文件，有利于对初始异常日志信息的分类管理，并提高了初始异常日志信息的分类管理的效率。

202、发送监测采集指令至预置的日志文件采集***，以使得日志文件采集***根据监测采集指令，按照预设时段，对异常日志文件中的异常信息进行读取和存储，得到候选异常日志信息。

具体地，服务器向预置的日志文件采集***发送监测采集指令，以使得日志文件采集***根据监测采集指令，按照预设时段，读取异常日志文件中的异常信息；获取异常日志文件的历史读取位置信息和目标位置偏移量信息，历史位置用于指示在预设时段的起始时刻之前读取的异常日志文件的位置偏移量信息，目标位置偏移量信息用于指示在预设时段的结束时刻读取的位置偏移量信息；判断历史读取位置信息是否与目标位置偏移量信息一致；若历史读取位置信息与目标位置偏移量信息不一致，则将异常信息、历史读取位置信息和目标位置偏移量信息，写入预置存储空间的注册文件中，得到候选异常日志信息。

例如，服务器向预置的日志文件采集***Filebeat发送监测采集指令，以使得日志文件采集***Filebeat根据监测采集指令，调用预置的监测记录组件，按照以天为单位的预设时段，对面向切面编程***中的异常日志文件的更新时间和写入时间进行监测，得到在预设时段之前写入和更新的异常日志文件，采集该异常日志文件，并获取异常日志文件读取的历史读取位置信息和目标位置偏移量信息，历史位置用于指示在预设时段的起始时刻之前读取的异常日志文件的位置偏移量信息，目标位置偏移量信息用于指示在预设时段的结束时刻读取的位置偏移量信息，以防止重复读取异常日志信息，并调用预置的采集工具harvester，读取异常日志文件中在预设时段之前写入的异常信息，判断历史读取位置信息是否与目标位置偏移量信息一致，若是，则将历史读取位置信息和目标位置偏移量信息，写入预置存储空间的注册文件，得到存储异常日志信息，若否，则将异常信息、历史读取位置信息和目标位置偏移量信息，写入预置存储空间的注册文件，得到候选异常日志信息。

203、发送监测提取指令至预置的基于全文搜索引擎的日志管理***，以使得基于全文搜索引擎的日志管理***根据监测提取指令，对日志文件采集***中的候选异常日志信息进行实时监测和提取，得到待处理异常日志信息。

具体地，服务器发送监测提取指令至预置的基于全文搜索引擎的日志管理***，以使得基于全文搜索引擎的日志管理***根据监测提取指令，基于预置的监测机制，对日志文件采集***中的候选异常日志信息进行增量、读取时间和存储时间的监测和分析，得到符合预设监测条件的异常日志信息；从日志文件采集***中，将符合预设监测条件的异常日志信息，提取到预先配置的集群服务地址对应的全文搜索引擎中，得到待处理异常日志信息。

例如，增量包括候选异常日志信息存储后的文件或空间增加的大小，服务器向基于全文搜索引擎的日志管理***发送监测提取指令，以使得基于全文搜索引擎的日志管理***基于该监测提取指令，根据预置的监测机制，对日志文件采集***读取异常日志文件中的异常信息后的读取时间、存储时间和读取内容的大小，以及候选异常日志信息存储后的文件或空间增加的大小(即增量)进行监测，并按照预设监测条件分析该读取时间、存储时间和读取内容的大小，以及增量进行分析，得到符合监测条件的异常日志信息，该预设监测条件包括该读取时间和存储时间为预设时段内的时刻、读取内容的大小比监测时刻前的大小大和产生增量，基于全文搜索引擎的日志管理***，从日志文件采集***中提取该符合预设监测条件的异常日志信息，并将该符合预设监测条件的异常日志信息存储至预先配置的集群服务地址对应的全文搜索引擎中，从而得到待处理异常日志信息。

204、对待处理异常日志信息进行过滤、索引创建和分片处理，得到目标异常日志信息。

具体地，服务器通过全文搜索引擎和预置的日志关键信息决策树，对待处理异常日志信息进行信息匹配、信息提取和关键字词提取，得到过滤异常日志信息，以及过滤异常日志信息对应的目标关键字词；根据过滤异常日志信息和目标关键字词创建聚簇索引，并对聚簇索引中的数据进行分片处理，得到分片索引数据；按照预设的存储策略，将分片索引数据存储至预置存储空间，得到目标异常日志信息。

例如，服务器通过基于全文搜索引擎的日志管理***得到待处理异常日志信息后，通过全文搜索引擎和预置的日志关键信息决策树，对待处理异常日志信息进行信息匹配和信息提取，得到提取异常日志信息，将提取异常日志信息中的敏感信息进行加密和转换，得到过滤异常日志信息，对过滤异常日志信息进行关键字词提取，得到对应的目标关键字词，该日志关键信息决策树包括但不限于敏感信息、业务信息相关的日志字段信息和异常日志分析规则所需的日志信息等，通过全文搜索引擎建立目标关键字词和过滤异常日志信息的聚簇索引，并对聚簇索引中的数据进行分片处理，得到分片索引数据，实现了既能保证检索准确性又能提高检索效率的效果，其中，预设的存储策略包括根据预置存储空间的资源占比大小，将分片索引数据存储至对应的预置存储空间(资源占比较小)，和/或根据集群的主题将分片索引数据存储至预设主题对应的预置存储空间，提高了目标异常日志信息的安全性和存储可用性。

205、接收预置的可视化用户界面发送的检索指令，基于检索指令，对目标异常日志信息进行查询和报表生成，得到统计分析报表，并将统计分析报表发送至可视化用户界面。

例如，用户在预置的可视化用户界面输入异常日志检索信息，该可视化用户界面可通过日志分析平台Kibana所搭建的，可视化用户界面基于该异常日志检索信息生成检索指令，并将该检索指令发送至服务器，当服务器接收到可视化用户界面发送的检索指令时，对该检索指令进行解析，得到解析信息，并根据解析信息生成查询语言，通过该查询语言，对目标异常日志信息进行查询，得到查询信息，对目标检索信息进行统计分析并生成报表，得到统计分析报表，将该统计分析报表发送至可视化用户界面，以渲染至可视化用户界面。通过对目标异常日志信息进行查询和报表生成，得到统计分析报表，并将统计分析报表发送至可视化用户界面，实现了对分布式的异常日志信息的自动检索、自动分析和展示，并提高了生成统计分析报表的准确性和效率，从而提高了分布式的异常日志信息的处理效率，以及增加多了分布式的异常日志信息的处理自动化。

具体地，服务器接收预置的可视化用户界面发送的检索指令，基于检索指令，通过预置的路由算法和遗传算法，对目标异常日志信息进行检索和过滤，得到目标检索信息；对目标检索信息进行统计分析，得到统计分析信息，并根据统计分析信息生成统计分析报表，将统计分析报表发送至可视化用户界面。

例如，当服务器接收预置的可视化用户界面发送的检索指令时，基于检索指令调用预置的路由算法，对目标异常日志信息进行路径选择分析和日志信息读取，从而得到初始检索信息，通过预置的遗传算法，对初始检索信息依次进行初始种群生成、适应度计算以及迭代的交叉和变异处理，从而得到目标检索信息，调用预置的统计分析工具根据业务需求，对目标检索工具进行统计分析，并生成统计分析报表，将统计分析报表发送至可视化用户界面，并渲染在可视化用户界面上。

本发明实施例中，不仅解决了异常日志信息的获取应用启动时间较长和效率较低的问题，提高了异常日志文件生成的准确性和效率，方便后续的查询和定位，提高了日志收集的性能和应用的解耦，简化了且有利于分布式的异常日志信息的采集、分析和检索等操作，从而提高了分布式的异常日志信息的处理效率，还通过对目标异常日志信息进行查询和报表生成，得到统计分析报表，并将统计分析报表发送至可视化用户界面，实现了对分布式的异常日志信息的自动检索、自动分析和展示，并提高了生成统计分析报表的准确性和效率，从而提高了分布式的异常日志信息的处理效率，以及增加多了分布式的异常日志信息的处理自动化。

上面对本发明实施例中异常日志信息的处理方法进行了描述，下面对本发明实施例中异常日志信息的处理装置进行描述，请参阅图3，本发明实施例中异常日志信息的处理装置一个实施例包括：

异常拦截模块301，用于发送异常拦截指令给预置的面向切面编程***，以使得面向切面编程***根据异常拦截指令，对各***应用的***应用日志信息进行异常检测、读取和文件写入，得到异常日志文件；

监测采集模块302，用于发送监测采集指令至预置的日志文件采集***，以使得日志文件采集***根据监测采集指令，按照预设时段，对异常日志文件中的异常信息进行读取和存储，得到候选异常日志信息；

监测提取模块303，用于发送监测提取指令至预置的基于全文搜索引擎的日志管理***，以使得基于全文搜索引擎的日志管理***根据监测提取指令，对日志文件采集***中的候选异常日志信息进行实时监测和提取，得到待处理异常日志信息；

异常处理模块304，用于对待处理异常日志信息进行过滤、索引创建和分片处理，得到目标异常日志信息。

上述异常日志信息的处理装置中各个模块的功能实现与上述异常日志信息的处理方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。

本发明实施例中，通过向切面编程***，对各***应用的***应用日志信息进行异常检测、读取和文件写入，解决了异常日志信息的获取应用启动时间较长和效率较低的问题，提高了异常日志文件生成的准确性和效率，通过日志文件采集***，按照预设时段，对异常日志文件中的异常信息进读取和存储，以及对待处理异常日志信息进行过滤、索引创建和分片处理，方便后续的查询和定位，提高了日志收集的性能和应用的解耦，简化了且有利于分布式的异常日志信息的采集、分析和检索等操作，从而提高了分布式的异常日志信息的处理效率。

请参阅图4，本发明实施例中异常日志信息的处理装置的另一个实施例包括：

异常拦截模块301，用于发送异常拦截指令给预置的面向切面编程***，以使得面向切面编程***根据异常拦截指令，对各***应用的***应用日志信息进行异常检测、读取和文件写入，得到异常日志文件；

监测采集模块302，用于发送监测采集指令至预置的日志文件采集***，以使得日志文件采集***根据监测采集指令，按照预设时段，对异常日志文件中的异常信息进行读取和存储，得到候选异常日志信息；

监测提取模块303，用于发送监测提取指令至预置的基于全文搜索引擎的日志管理***，以使得基于全文搜索引擎的日志管理***根据监测提取指令，对日志文件采集***中的候选异常日志信息进行实时监测和提取，得到待处理异常日志信息；

异常处理模块304，用于对待处理异常日志信息进行过滤、索引创建和分片处理，得到目标异常日志信息；

生成发送模块305，用于接收预置的可视化用户界面发送的检索指令，基于检索指令，对目标异常日志信息进行查询和报表生成，得到统计分析报表，并将统计分析报表发送至可视化用户界面。

可选的，异常拦截模块301还可以具体用于：

向预置的面向切面编程***发送异常拦截指令，以使得面向切面编程***根据异常拦截指令，调用预先配置的***链，对各***应用的***应用日志信息进行异常检测和异常信息读取，得到初始异常日志信息；

对初始异常日志信息进行类型分类，得到分类日志信息，并获取分类日志信息的分类类型所对应的目标错误日志文件；

按照预设写入时段，将初始异常日志信息写入目标错误日志文件中，得到异常日志文件。

可选的，监测提取模块303还可以具体用于：

发送监测提取指令至预置的基于全文搜索引擎的日志管理***，以使得基于全文搜索引擎的日志管理***根据监测提取指令，基于预置的监测机制，对日志文件采集***中的候选异常日志信息进行增量、读取时间和存储时间的监测和分析，得到符合预设监测条件的异常日志信息；

从日志文件采集***中，将符合预设监测条件的异常日志信息，提取到预先配置的集群服务地址对应的全文搜索引擎中，得到待处理异常日志信息。

可选的，异常处理模块304还可以具体用于：

通过全文搜索引擎和预置的日志关键信息决策树，对待处理异常日志信息进行信息匹配、信息提取和关键字词提取，得到过滤异常日志信息，以及过滤异常日志信息对应的目标关键字词；

根据过滤异常日志信息和目标关键字词创建聚簇索引，并对聚簇索引中的数据进行分片处理，得到分片索引数据；

按照预设的存储策略，将分片索引数据存储至预置存储空间，得到目标异常日志信息。

可选的，监测采集模块302还可以具体用于：

向预置的日志文件采集***发送监测采集指令，以使得日志文件采集***根据监测采集指令，按照预设时段，读取异常日志文件中的异常信息；

获取异常日志文件的历史读取位置信息和目标位置偏移量信息，历史位置用于指示在预设时段的起始时刻之前读取的异常日志文件的位置偏移量信息，目标位置偏移量信息用于指示在预设时段的结束时刻读取的位置偏移量信息；

判断历史读取位置信息是否与目标位置偏移量信息一致；

若历史读取位置信息与目标位置偏移量信息不一致，则将异常信息、历史读取位置信息和目标位置偏移量信息，写入预置存储空间的注册文件中，得到候选异常日志信息。

可选的，生成发送模块305还可以具体用于：

接收预置的可视化用户界面发送的检索指令，基于检索指令，通过预置的路由算法和遗传算法，对目标异常日志信息进行检索和过滤，得到目标检索信息；

对目标检索信息进行统计分析，得到统计分析信息，并根据统计分析信息生成统计分析报表，将统计分析报表发送至可视化用户界面。

上述异常日志信息的处理装置中各模块和各单元的功能实现与上述异常日志信息的处理方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。

本发明实施例中，不仅解决了异常日志信息的获取应用启动时间较长和效率较低的问题，提高了异常日志文件生成的准确性和效率，方便后续的查询和定位，提高了日志收集的性能和应用的解耦，简化了且有利于分布式的异常日志信息的采集、分析和检索等操作，从而提高了分布式的异常日志信息的处理效率，还通过对目标异常日志信息进行查询和报表生成，得到统计分析报表，并将统计分析报表发送至可视化用户界面，实现了对分布式的异常日志信息的自动检索、自动分析和展示，并提高了生成统计分析报表的准确性和效率，从而提高了分布式的异常日志信息的处理效率，以及增加多了分布式的异常日志信息的处理自动化。

上面图3和图4从模块化功能实体的角度对本发明实施例中的异常日志信息的处理装置进行详细描述，下面从硬件处理的角度对本发明实施例中异常日志信息的处理设备进行详细描述。

图5是本发明实施例提供的一种异常日志信息的处理设备的结构示意图，该异常日志信息的处理设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对异常日志信息的处理设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在异常日志信息的处理设备500上执行存储介质530中的一系列指令操作。

异常日志信息的处理设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作***531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的异常日志信息的处理设备结构并不构成对异常日志信息的处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在计算机上运行时，使得计算机执行异常日志信息的处理方法的步骤。

进一步地，计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种异常日志信息的处理方法，其特征在于，所述异常日志信息的处理方法包括：

发送异常拦截指令给预置的面向切面编程***，以使得所述面向切面编程***根据所述异常拦截指令，对各***应用的***应用日志信息进行异常检测、读取和文件写入，得到异常日志文件；

发送监测采集指令至预置的日志文件采集***，以使得所述日志文件采集***根据所述监测采集指令，按照预设时段，对所述异常日志文件中的异常信息进行读取和存储，得到候选异常日志信息；

发送监测提取指令至预置的基于全文搜索引擎的日志管理***，以使得所述基于全文搜索引擎的日志管理***根据所述监测提取指令，对所述日志文件采集***中的候选异常日志信息进行实时监测和提取，得到待处理异常日志信息；

对所述待处理异常日志信息进行过滤、索引创建和分片处理，得到目标异常日志信息。

2.根据权利要求1所述的异常日志信息的处理方法，其特征在于，所述发送异常拦截指令给预置的面向切面编程***，以使得所述面向切面编程***根据所述异常拦截指令，对各***应用的***应用日志信息进行异常检测、读取和文件写入，得到异常日志文件，包括：

向预置的面向切面编程***发送异常拦截指令，以使得所述面向切面编程***根据所述异常拦截指令，调用预先配置的***链，对各***应用的***应用日志信息进行异常检测和异常信息读取，得到初始异常日志信息；

对所述初始异常日志信息进行类型分类，得到分类日志信息，并获取所述分类日志信息的分类类型所对应的目标错误日志文件；

按照预设写入时段，将所述初始异常日志信息写入所述目标错误日志文件中，得到异常日志文件。

3.根据权利要求1所述的异常日志信息的处理方法，其特征在于，所述发送监测提取指令至预置的基于全文搜索引擎的日志管理***，以使得所述基于全文搜索引擎的日志管理***根据所述监测提取指令，对所述日志文件采集***中的候选异常日志信息进行实时监测和提取，得到待处理异常日志信息，包括：

发送监测提取指令至预置的基于全文搜索引擎的日志管理***，以使得所述基于全文搜索引擎的日志管理***根据所述监测提取指令，基于预置的监测机制，对所述日志文件采集***中的候选异常日志信息进行增量、读取时间和存储时间的监测和分析，得到符合预设监测条件的异常日志信息；

从所述日志文件采集***中，将所述符合预设监测条件的异常日志信息，提取到预先配置的集群服务地址对应的全文搜索引擎中，得到待处理异常日志信息。

4.根据权利要求3所述的异常日志信息的处理方法，其特征在于，所述对所述待处理异常日志信息进行过滤、索引创建和分片处理，得到目标异常日志信息，包括：

通过所述全文搜索引擎和预置的日志关键信息决策树，对所述待处理异常日志信息进行信息匹配、信息提取和关键字词提取，得到过滤异常日志信息，以及所述过滤异常日志信息对应的目标关键字词；

根据所述过滤异常日志信息和所述目标关键字词创建聚簇索引，并对所述聚簇索引中的数据进行分片处理，得到分片索引数据；

按照预设的存储策略，将所述分片索引数据存储至预置存储空间，得到目标异常日志信息。

5.根据权利要求1所述的异常日志信息的处理方法，其特征在于，所述发送监测采集指令至预置的日志文件采集***，以使得所述日志文件采集***根据所述监测采集指令，按照预设时段，对所述异常日志文件中的异常信息进行读取和存储，得到候选异常日志信息，包括：

向预置的日志文件采集***发送监测采集指令，以使得所述日志文件采集***根据所述监测采集指令，按照预设时段，读取所述异常日志文件中的异常信息；

获取所述异常日志文件的历史读取位置信息和目标位置偏移量信息，所述历史位置用于指示在所述预设时段的起始时刻之前读取的异常日志文件的位置偏移量信息，所述目标位置偏移量信息用于指示在所述预设时段的结束时刻读取的位置偏移量信息；

判断所述历史读取位置信息是否与所述目标位置偏移量信息一致；

若所述历史读取位置信息与所述目标位置偏移量信息不一致，则将所述异常信息、所述历史读取位置信息和所述目标位置偏移量信息，写入预置存储空间的注册文件中，得到候选异常日志信息。

6.根据权利要求1-5中任一项所述的异常日志信息的处理方法，其特征在于，所述对所述待处理异常日志信息进行过滤、索引创建和分片处理，得到目标异常日志信息之后，还包括：

接收预置的可视化用户界面发送的检索指令，基于所述检索指令，对所述目标异常日志信息进行查询和报表生成，得到统计分析报表，并将所述统计分析报表发送至所述可视化用户界面。

7.根据权利要求6所述的异常日志信息的处理方法，其特征在于，所述接收预置的可视化用户界面发送的检索指令，基于所述检索指令，对所述目标异常日志信息进行查询和报表生成，得到统计分析报表，并将所述统计分析报表发送至所述可视化用户界面，包括：

接收预置的可视化用户界面发送的检索指令，基于所述检索指令，通过预置的路由算法和遗传算法，对所述目标异常日志信息进行检索和过滤，得到目标检索信息；

对所述目标检索信息进行统计分析，得到统计分析信息，并根据所述统计分析信息生成统计分析报表，将所述统计分析报表发送至所述可视化用户界面。

8.一种异常日志信息的处理装置，其特征在于，所述异常日志信息的处理装置包括：

异常拦截模块，用于发送异常拦截指令给预置的面向切面编程***，以使得所述面向切面编程***根据所述异常拦截指令，对各***应用的***应用日志信息进行异常检测、读取和文件写入，得到异常日志文件；

监测采集模块，用于发送监测采集指令至预置的日志文件采集***，以使得所述日志文件采集***根据所述监测采集指令，按照预设时段，对所述异常日志文件中的异常信息进行读取和存储，得到候选异常日志信息；

监测提取模块，用于发送监测提取指令至预置的基于全文搜索引擎的日志管理***，以使得所述基于全文搜索引擎的日志管理***根据所述监测提取指令，对所述日志文件采集***中的候选异常日志信息进行实时监测和提取，得到待处理异常日志信息；

异常处理模块，用于对所述待处理异常日志信息进行过滤、索引创建和分片处理，得到目标异常日志信息。

9.一种异常日志信息的处理设备，其特征在于，所述异常日志信息的处理设备包括：存储器和至少一个处理器，所述存储器中存储有指令；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述异常日志信息的处理设备执行如权利要求1-7中任意一项所述的异常日志信息的处理方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述异常日志信息的处理方法。

Images