CN113961414A - 一种日志数据的处理方法、装置、设备及存储介质 - Google Patents
一种日志数据的处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113961414A CN113961414A CN202011502805.8A CN202011502805A CN113961414A CN 113961414 A CN113961414 A CN 113961414A CN 202011502805 A CN202011502805 A CN 202011502805A CN 113961414 A CN113961414 A CN 113961414A
- Authority
- CN
- China
- Prior art keywords
- log data
- data
- structured
- structured log
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/327—Alarm or error message display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明实施例涉及大数据领域，公开了一种日志数据的处理方法、装置、设备及存储介质，该方法包括：获取根据用户对客户端的目标应用的搜索行为所确定的一个或多个结构化的日志数据；对一个或多个结构化的日志数据进行分类，得到每个结构化的日志数据的分类结果；根据对每个结构化的日志数据的分类结果进行分析得到结果数据对各个类别的结构化的日志数据进行聚合处理；当检测到聚合处理后的结构化的日志数据满足告警条件时，触发生成差异化告警信息，并输出差异化告警信息至客户端。这种方式有助于大幅提升计算机***的可靠性，以及辅助完成多种信息的处理。本发明涉及区块链技术，如可将日志数据写入区块链中，以用于数据取证等场景。
Description
技术领域
本发明涉及大数据领域，尤其涉及一种日志数据的处理方法、装置、设备及存储介质。
背景技术
随着互联网技术的蓬勃发展，计算机已经成为人们日常办公或交流必不可少的工具，随着计算机的大量普及，日志数据也得到了越来越广泛的应用。日志数据包括计算机***、设备、软件等在某种刺激下作出反应而生成的消息。在实际情况中，日志数据的来源往往是多种多样的，例如，Unix操作***会记录用户登录和注销的消息，防火墙会记录访问控制列表中通过和拒绝的消息。目前，主要是收集文本类日志数据并对其进行相关处理，然而，这些文本类日志数据无法进一步地进行实时分析、监控、告警、多维度查询等。
发明内容
本发明实施例提供了一种日志数据的处理方法、装置、设备及存储介质，可以通过对结构化的日志数据进行实时分析、分类、监控、多维度查询等，快速高效地确定出异常类日志数据，并对异常类日志数据进行差异化告警，有助于大幅提升计算机***的可靠性，以及辅助完成多种信息的处理。
第一方面，本发明实施例提供了一种日志数据的处理方法，所述方法包括：
获取根据用户对客户端的目标应用的搜索行为所确定的一个或多个结构化的日志数据；
对所述一个或多个结构化的日志数据进行分类，得到所述一个或多个结构化的日志数据中每个结构化的日志数据的分类结果；
对所述每个结构化的日志数据的分类结果进行分析得到结果数据，并根据分析得到的结果数据对各个类别的结构化的日志数据进行聚合处理；
当检测到聚合处理后的结构化的日志数据满足告警条件时，触发生成差异化告警信息，并输出所述差异化告警信息至所述客户端。
进一步地，所述获取根据用户对客户端的目标应用的搜索行为所确定的一个或多个结构化的日志数据，包括：
利用指定***拦截获取用户对客户端的目标应用的搜索行为所生成的一个或多个原始日志数据；
将所述一个或多个原始日志数据输入指定日志模型，以利用所述指定日志模型对所述一个或多个原始日志数据进行解析，得到所述一个或多个结构化的日志数据；
其中，所述指定日志模型是根据不同的日志格式构建的模型，所述不同的日志格式对应不同类别的日志数据。
进一步地，所述对所述一个或多个结构化的日志数据进行分类，得到所述一个或多个结构化的日志数据中每个结构化的日志数据的分类结果，包括：
根据预设的类别与日志数据的映射关系，确定与所述一个或多个结构化的日志数据中的每个结构化的日志数据对应的类别，其中，所述结构化的日志数据的类别包括Web类日志数据、请求报文类日志数据、微服务类日志数据、响应报文类日志数据、异常类日志数据中的一种或多种；
对所述每个结构化的日志数据的类别进行分类统计，得到分类结果。
进一步地，所述结构化的日志数据的类别包括微服务类日志数据；所述对所述每个结构化的日志数据的分类结果进行分析得到结果数据，包括：
获取一个或多个微服务类日志数据的生成日期；
根据所述一个或多个微服务类日志数据的生成日期，对所述一个或多个微服务类日志数据进行分析；
根据对所述一个或多个微服务类日志数据进行分析得到的分析结果，按照预设的报表模板生成所述一个或多个微服务类日志数据的汇总报表和/或专题报表。
进一步地，所述结构化的日志数据的类别包括异常类日志数据；所述对所述每个结构化的日志数据的分类结果进行分析得到结果数据，包括：
获取一个或多个异常类日志数据的生成日期；
根据所述一个或多个异常类日志数据的生成日期，对所述一个或多个异常类日志数据进行分析，以确定所述一个或多个异常类日志数据出现的次数。
进一步地，所述根据分析得到的结果数据对各个类别的结构化的日志数据进行聚合处理之前，还包括：
获取数据查询请求，所述数据查询请求中携带了用户标识、类别标识、指标性能数据中的一种或多种；
根据所述数据查询请求中携带的用户标识、类别标识、指标性能数据中的一种或多种，查询与所述用户标识、类别标识、指标性能数据中的一种或多种对应的结构化的日志数据；
所述根据分析得到的结果数据对各个类别的结构化的日志数据进行聚合处理，包括：
对分析得到的结果数据中各个类别的结构化的日志数据以及查询得到的与所述用户标识、类别标识、指标性能数据中的一种或多种对应的结构化的日志数据进行聚合处理。
进一步地，所述当检测到聚合处理后的结构化的日志数据满足告警条件时，触发生成差异化告警信息，包括：
检测所述聚合处理后的结构化的日志数据中是否存在异常类日志数据；
当检测结果为所述聚合处理后的结构化的日志数据中存在异常类日志数据时，确定所述聚合处理后的结构化日志数据满足告警条件，并触发生成差异化告警信息。
第二方面，本发明实施例提供了一种日志数据的处理装置，包括：
获取单元，用于获取根据用户对客户端的目标应用的搜索行为所确定的一个或多个结构化的日志数据；
分类单元，用于对所述一个或多个结构化的日志数据进行分类，得到所述一个或多个结构化的日志数据中每个结构化的日志数据的分类结果；
处理单元，用于对所述每个结构化的日志数据的分类结果进行分析得到结果数据，并根据分析得到的结果数据对各个类别的结构化的日志数据进行聚合处理；
告警单元，用于当检测到聚合处理后的结构化的日志数据满足告警条件时，触发生成差异化告警信息，并输出所述差异化告警信息至所述客户端。
第三方面，本发明实施例提供了一种计算机设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储支持日志数据的处理装置执行上述方法的计算机程序，所述计算机程序包括程序，所述处理器被配置用于调用所述程序，执行上述第一方面的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行以实现上述第一方面的方法。
本发明实施例可以获取根据用户对客户端的目标应用的搜索行为所确定的一个或多个结构化的日志数据；对所述一个或多个结构化的日志数据进行分类，得到所述一个或多个结构化的日志数据中每个结构化的日志数据的分类结果；对所述每个结构化的日志数据的分类结果进行分析得到结果数据，并根据分析得到的结果数据对各个类别的结构化的日志数据进行聚合处理；当检测到聚合处理后的结构化的日志数据满足告警条件时，触发生成差异化告警信息，并输出所述差异化告警信息至所述客户端。这种实施方式，通过对结构化的日志数据进行实时分析、分类、监控、多维度查询等，快速高效地确定出异常类日志数据，并对异常类日志数据进行差异化告警，有助于大幅提升计算机***的可靠性，以及辅助完成多种信息的处理。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种日志数据的处理方法的示意流程图；
图2是本发明实施例提供的一种日志数据的处理装置的示意框图；
图3是本发明实施例提供的一种计算机设备的示意框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的日志数据的处理方法可以应用于一种日志数据的处理装置，在某些实施例中，所述日志数据的处理装置设置于计算机设备中。
下面结合附图1对本发明实施例提供的日志数据的处理方法进行示意性说明。
请参见图1，图1是本发明实施例提供的一种日志数据的处理方法的示意流程图，如图1所示，该方法可以由日志数据的处理装置执行，所述日志数据的处理装置设置于计算机设备中。具体地，本发明实施例的所述方法包括如下步骤。
S101：获取根据用户对客户端的目标应用的搜索行为所确定的一个或多个结构化的日志数据。
本发明实施例中，日志数据的处理装置可以获取根据用户对客户端的目标应用的搜索行为所确定的一个或多个结构化的日志数据。
在一个实施例中，日志数据的处理装置在获取根据用户对客户端的目标应用的搜索行为所确定的一个或多个结构化的日志数据时，可以利用指定***拦截获取用户对客户端的目标应用的搜索行为所生成的一个或多个原始日志数据；并将所述一个或多个原始日志数据输入指定日志模型，以利用所述指定日志模型对所述一个或多个原始日志数据进行解析，得到所述一个或多个结构化的日志数据；其中，所述指定日志模型是根据不同的日志格式构建的模型，所述不同的日志格式对应不同类别的日志数据。例如，可以在请求接口的入口增加指定***，以通过该指定***获取用户对客户端的目标应用的搜索行为所生成的一个或多个原始日志数据。
在一个实施例中，在获取到所述根据用户对客户端的目标应用的搜索行为所确定的一个或多个结构化的日志数据之后，可以通过预先设置的过滤条件删除所述一个或多个结构化的日志数据中不必要的字段数据。在具体实施例中，可以通过过滤器对所述一个或多个结构化的日志数据进行过滤处理。
在一个实施例中，可以自定义过滤插件，以有助于增加多输出源，支持多个项目组、多套环境的日志聚合收集服务。
在一个实施例中，在获取到所述根据用户对客户端的目标应用的搜索行为所确定的一个或多个结构化的日志数据之后，可以根据预先的格式调整日志数据的格式。
在一个实施例中，在获取到日志数据后，可以将所述日志数据存储到数据库、缓存等存储单元中。
S102：对所述一个或多个结构化的日志数据进行分类，得到所述一个或多个结构化的日志数据中每个结构化的日志数据的分类结果。
本发明实施例中，日志数据的处理装置可以对所述一个或多个结构化的日志数据进行分类，得到所述一个或多个结构化的日志数据中每个结构化的日志数据的分类结果。在某些实施例中，所述分类结果中包括每种类别的结构化日志数据中的指标性能数据，其中，所述指标性能数据包括但不限于日期、数据类别、数据量等中的一种或多种。
在一个实施例中，日志数据的处理装置在对所述一个或多个结构化的日志数据进行分类，得到所述一个或多个结构化的日志数据中每个结构化的日志数据的分类结果时，可以根据预设的类别与日志数据的映射关系，确定与所述一个或多个结构化的日志数据中的每个结构化的日志数据对应的类别，其中，所述结构化的日志数据的类别包括Web类日志数据、请求报文类日志数据、微服务类日志数据、响应报文类日志数据、异常类日志数据中的一种或多种；并对所述每个结构化的日志数据的类别进行分类统计，得到分类结果。
在某些实施例中，所述异常类日志数据包括不满足配置规则的结构化的日志数据以及错误日志数据，其中，所述错误日志数据可以是采集时标识为错误的结构化的日志数据。在某些实施例中，所述日志数据的类别还包括***指标日志数据，其中，所述***指标日志数据包括但不限于时间序列指标日志数据，例如线程池、数据库连接池、redis调用次数、mq消费次数等。
可见，通过对结构化的日志数据进行分类，有助于后续对结构化的日志数据进行分析，可以更快速高效地确定出结构化的日志数据的类别。
在一个实施例中，还可以通过***拦截获取访问客户端的目标应用的用户终端的用户标识。例如，可以在请求接口的入口增加***，以获取访问客户端的目标用户的用户标识如会话ID。并将获取到的用户标识存储到当前线程的类加载器ThreadContext中，发生远程过程调用(Remote Procedure Call，RPC)时继续MDC线程池的方式传递，若进入异步任务，则通过自定义MyCallable多线程的方式继续传递MDC线程池，处理完之后并回收MDC线程池的内存。通过这种方式可以隔离相同账号或不同账号之间的请求日志。
S103：对所述每个结构化的日志数据的分类结果进行分析得到结果数据，并根据分析得到的结果数据对各个类别的结构化的日志数据进行聚合处理。
本发明实施例中，日志数据的处理装置可以对所述每个结构化的日志数据的分类结果进行分析得到结果数据，并根据分析得到的结果数据对各个类别的结构化的日志数据进行聚合处理。
在一个实施例中，所述结构化的日志数据的类别包括微服务类日志数据；日志数据的处理装置在对所述每个结构化的日志数据的分类结果进行分析得到结果数据时，可以获取一个或多个微服务类日志数据的生成日期；根据所述一个或多个微服务类日志数据的生成日期，对所述一个或多个微服务类日志数据进行分析；根据对所述一个或多个微服务类日志数据进行分析得到的分析结果，按照预设的报表模板生成所述一个或多个微服务类日志数据的汇总报表和/或专题报表。
在一个实施例中，所述结构化的日志数据的类别包括异常类日志数据；日志数据的处理装置在对所述每个结构化的日志数据的分类结果进行分析得到结果数据时，可以获取一个或多个异常类日志数据的生成日期；根据所述一个或多个异常类日志数据的生成日期，对所述一个或多个异常类日志数据进行分析，以确定所述一个或多个异常类日志数据出现的次数。
在一个实施例中，在对所述每个结构化的日志数据的分类结果进行分析时，可以利用多线程对所述每个结构化的日志数据的分类结果中的指标性能数据进行分析，以确定各类别的结构化的日志数据中各指标性能数据的平均值和指标性能数据的数量等。
在一个实施例中，可以进行异步线程池监控，在进行异步线程池监控时，可以自定义替换实现Java开发工具(Java Development Kit，JDK)的线程池、定时任务线程池，自定义Runable、Callable，通过模板方法的设计模式，封装异步任务类库以供开发使用，在运行时通过Netty实时计算，按固定间隔上报到服务端，以实现日志串联、线程池活跃数、队列大小、任务数等精细化监控。
在一个实施例中，日志数据的处理装置在根据分析得到的结果数据对各个类别的结构化的日志数据进行聚合处理之前，还可以获取数据查询请求，所述数据查询请求中携带了用户标识、类别标识、指标性能数据中的一种或多种；并根据所述数据查询请求中携带的用户标识、类别标识、指标性能数据中的一种或多种，查询与所述用户标识、类别标识、指标性能数据中的一种或多种对应的结构化的日志数据；以及对分析得到的结果数据中各个类别的结构化的日志数据以及查询得到的与所述用户标识、类别标识、指标性能数据中的一种或多种对应的结构化的日志数据进行聚合处理。
在一个实施例中，可以通过接口地址如统一资源定位***(Uniform ResourceLocator，URL)、用户标识(会话ID)以及请求标识自由组合查询日志数据。
在一个实施例中，可以根据数据查询请求中携带的用户标识通过管理界面查询与所述用户标识对应的结构化的日志数据；或者，根据数据查询请求中携带的微服务标识查询与所述微服务标识对应的结构化的日志数据；或者，根据数据查询请求中携带的指标性能数据查询与所述指标性能数据对应的结构化的日志数据，其中，所述指标性能数据包括日期、数据类别、数据量等中的一种或多种。
S104：当检测到聚合处理后的结构化的日志数据满足告警条件时，触发生成差异化告警信息，并输出所述差异化告警信息至所述客户端。
本发明实施例中，日志数据的处理装置可以当检测到聚合处理后的结构化的日志数据满足告警条件时，触发生成差异化告警信息，并输出所述差异化告警信息至所述客户端。
在一个实施例中，日志数据的处理装置当检测到聚合处理后的结构化的日志数据满足告警条件时，触发生成差异化告警信息时，可以检测所述聚合处理后的结构化的日志数据中是否存在异常类日志数据；当检测结果为所述聚合处理后的结构化的日志数据中存在异常类日志数据时，确定所述聚合处理后的结构化日志数据满足告警条件，并触发生成差异化告警信息。
在一个实施例中，在判断聚合处理后的结构化的日志数据中是否存在异常类日志数据时，可以获取所述聚合处理后的结构化的日志数据中的各指标性能数据，并判断所述聚合处理后的结构化的日志数据中的各指标性能数据是否大于各自对应的预设阈值，如果判断结果为所述聚合处理后的结构化的日志数据中的各指标性能数据大于对应的预设阈值，则可以确定聚合处理后的结构化的日志数据中存在异常类日志数据。
在一个实施例中，在判断聚合处理后的结构化的日志数据中是否存在异常类日志数据时，可以获取聚合处理后的结构化的日志数据的生成时间，如果所述生成时间大于预设时间阈值，则可以确定所述生成时间大于预设时间阈值的结构化的日志数据为异常类日志数据。
在一些实施例中，所述告警条件为预设的条件，所述告警条件可以为如所述聚合后的结构化的日志数据为微服务类日志数据，所述聚合后的结构化的日志数据出现异常类日志数据等。
在一个实施例中，如果所述聚合处理后的结构化的日志数据中存在异常类日志数据，则触发生成差异化告警信息，并可以获取与所述异常类日志数据对应的用户标识，以及向与所述用户标识对应的用户终端发送所述差异化告警信息。
在一个实施例中，如果所述聚合处理后的结构化的日志数据属于微服务类日志数据，则触发生成差异化告警信息，并可以获取与所述微服务类日志数据对应的微服务标识，根据所述微服务标识确定微服务终端，并向所述微服务终端发送所述差异化告警信息。
在一个实施例中，在向所述微服务终端发送所述差异化告警信息时，可以通过通信应用程序、短信、邮件等方式向所述微服务终端发送所述差异化告警信息。在某些实施例中，可以按指标阈值、关键字出现次数等发送所述差异化告警信息。通过这种方式可以实现监控的闭环。
在一个实施例中，在确定所述聚合处理后的结构化的日志数据中存在异常类日志数据时，还可以对所述异常类日志数据进行异常处理。
在一个实施例中，在对所述异常类日志数据进行异常处理时，可以根据所述异常日志数据采取对应的异常处理措施进行处理。在某些实施例中中，所述异常日志数据包括不满足配置规则的日志数据以及错误日志数据，所述错误日志数据是采集时标识为错误日志的日志数据。
在一个实施例中，如果自定义插件(即***)的方式发生结构化查询语言(Structured Query Language，SQL)超过预设时间如1秒时，记录警告日志，并记录SQL与代码的关联标识ID。通过这种方式有助于方便快速定位到SQL在xml文件的精确位置。
在一个实施例中，可以记录下请求时间，在发生错误、正常、警告返回时，计算耗费的时间，计算方可以在输入输出接口输出之后记录，以保障时间的精确性。
本发明实施例中，日志数据的处理装置可以获取根据用户对客户端的目标应用的搜索行为所确定的一个或多个结构化的日志数据；对所述一个或多个结构化的日志数据进行分类，得到所述一个或多个结构化的日志数据中每个结构化的日志数据的分类结果；对所述每个结构化的日志数据的分类结果进行分析得到结果数据，并根据分析得到的结果数据对各个类别的结构化的日志数据进行聚合处理；当检测到聚合处理后的结构化的日志数据满足告警条件时，触发生成差异化告警信息，并输出所述差异化告警信息至所述客户端。这种实施方式，通过对结构化的日志数据进行实时分析、分类、监控、多维度查询等，快速高效地确定出异常类日志数据，并对异常类日志数据进行差异化告警，有助于大幅提升计算机***的可靠性，以及辅助完成多种信息的处理。
本发明实施例还提供了一种日志数据的处理装置，该日志数据的处理装置用于执行前述任一项所述的方法的单元。具体地，参见图2，图2是本发明实施例提供的一种日志数据的处理装置的示意框图。本实施例的日志数据的处理装置包括：获取单元201、分类单元202、处理单元203以及告警单元204。
获取单元201，用于获取根据用户对客户端的目标应用的搜索行为所确定的一个或多个结构化的日志数据；
分类单元202，用于对所述一个或多个结构化的日志数据进行分类，得到所述一个或多个结构化的日志数据中每个结构化的日志数据的分类结果；
处理单元203，用于对所述每个结构化的日志数据的分类结果进行分析得到结果数据，并根据分析得到的结果数据对各个类别的结构化的日志数据进行聚合处理；
告警单元204，用于当检测到聚合处理后的结构化的日志数据满足告警条件时，触发生成差异化告警信息，并输出所述差异化告警信息至所述客户端。
进一步地，所述获取单元201获取根据用户对客户端的目标应用的搜索行为所确定的一个或多个结构化的日志数据时，具体用于：
利用指定***拦截获取用户对客户端的目标应用的搜索行为所生成的一个或多个原始日志数据；
将所述一个或多个原始日志数据输入指定日志模型，以利用所述指定日志模型对所述一个或多个原始日志数据进行解析，得到所述一个或多个结构化的日志数据；
其中，所述指定日志模型是根据不同的日志格式构建的模型，所述不同的日志格式对应不同类别的日志数据。
进一步地，所述分类单元202对所述一个或多个结构化的日志数据进行分类，得到所述一个或多个结构化的日志数据中每个结构化的日志数据的分类结果时，具体用于：
根据预设的类别与日志数据的映射关系，确定与所述一个或多个结构化的日志数据中的每个结构化的日志数据对应的类别，其中，所述结构化的日志数据的类别包括Web类日志数据、请求报文类日志数据、微服务类日志数据、响应报文类日志数据、异常类日志数据中的一种或多种；
对所述每个结构化的日志数据的类别进行分类统计，得到分类结果。
进一步地，所述结构化的日志数据的类别包括微服务类日志数据；所述分类单元202对所述每个结构化的日志数据的分类结果进行分析得到结果数据时，具体用于：
获取一个或多个微服务类日志数据的生成日期；
根据所述一个或多个微服务类日志数据的生成日期，对所述一个或多个微服务类日志数据进行分析；
根据对所述一个或多个微服务类日志数据进行分析得到的分析结果，按照预设的报表模板生成所述一个或多个微服务类日志数据的汇总报表和/或专题报表。
进一步地，所述结构化的日志数据的类别包括异常类日志数据；所述分类单元202对所述每个结构化的日志数据的分类结果进行分析得到结果数据时，具体用于：
获取一个或多个异常类日志数据的生成日期；
根据所述一个或多个异常类日志数据的生成日期，对所述一个或多个异常类日志数据进行分析，以确定所述一个或多个异常类日志数据出现的次数。
进一步地，所述处理单元203根据分析得到的结果数据对各个类别的结构化的日志数据进行聚合处理之前，还用于：
获取数据查询请求，所述数据查询请求中携带了用户标识、类别标识、指标性能数据中的一种或多种；
根据所述数据查询请求中携带的用户标识、类别标识、指标性能数据中的一种或多种，查询与所述用户标识、类别标识、指标性能数据中的一种或多种对应的结构化的日志数据；
所述处理单元203根据分析得到的结果数据对各个类别的结构化的日志数据进行聚合处理时，具体用于：
对分析得到的结果数据中各个类别的结构化的日志数据以及查询得到的与所述用户标识、类别标识、指标性能数据中的一种或多种对应的结构化的日志数据进行聚合处理。
进一步地，所述告警单元204当检测到聚合处理后的结构化的日志数据满足告警条件时，触发生成差异化告警信息时，具体用于：
检测所述聚合处理后的结构化的日志数据中是否存在异常类日志数据；
当检测结果为所述聚合处理后的结构化的日志数据中存在异常类日志数据时，确定所述聚合处理后的结构化日志数据满足告警条件，并触发生成差异化告警信息。
本发明实施例中，日志数据的处理装置可以获取根据用户对客户端的目标应用的搜索行为所确定的一个或多个结构化的日志数据；对所述一个或多个结构化的日志数据进行分类，得到所述一个或多个结构化的日志数据中每个结构化的日志数据的分类结果；对所述每个结构化的日志数据的分类结果进行分析得到结果数据，并根据分析得到的结果数据对各个类别的结构化的日志数据进行聚合处理；当检测到聚合处理后的结构化的日志数据满足告警条件时，触发生成差异化告警信息，并输出所述差异化告警信息至所述客户端。这种实施方式，通过对结构化的日志数据进行实时分析、分类、监控、多维度查询等，快速高效地确定出异常类日志数据，并对异常类日志数据进行差异化告警，有助于大幅提升计算机***的可靠性，以及辅助完成多种信息的处理。
参见图3，图3是本发明实施例提供的一种计算机设备的示意框图。如图所示的本实施例中的设备可以包括：一个或多个处理器301；一个或多个输入设备302，一个或多个输出设备303和存储器304。上述处理器301、输入设备302、输出设备303和存储器304通过总线305连接。存储器304用于存储计算机程序，所述计算机程序包括程序，处理器301用于执行存储器304存储的程序。其中，处理器301被配置用于调用所述程序执行：
获取根据用户对客户端的目标应用的搜索行为所确定的一个或多个结构化的日志数据；
对所述一个或多个结构化的日志数据进行分类，得到所述一个或多个结构化的日志数据中每个结构化的日志数据的分类结果；
对所述每个结构化的日志数据的分类结果进行分析得到结果数据，并根据分析得到的结果数据对各个类别的结构化的日志数据进行聚合处理；
当检测到聚合处理后的结构化的日志数据满足告警条件时，触发生成差异化告警信息，并输出所述差异化告警信息至所述客户端。
进一步地，所述处理器301获取根据用户对客户端的目标应用的搜索行为所确定的一个或多个结构化的日志数据时，具体用于：
利用指定***拦截获取用户对客户端的目标应用的搜索行为所生成的一个或多个原始日志数据；
将所述一个或多个原始日志数据输入指定日志模型，以利用所述指定日志模型对所述一个或多个原始日志数据进行解析，得到所述一个或多个结构化的日志数据；
其中，所述指定日志模型是根据不同的日志格式构建的模型，所述不同的日志格式对应不同类别的日志数据。
进一步地，所述处理器301对所述一个或多个结构化的日志数据进行分类，得到所述一个或多个结构化的日志数据中每个结构化的日志数据的分类结果时，具体用于：
根据预设的类别与日志数据的映射关系，确定与所述一个或多个结构化的日志数据中的每个结构化的日志数据对应的类别，其中，所述结构化的日志数据的类别包括Web类日志数据、请求报文类日志数据、微服务类日志数据、响应报文类日志数据、异常类日志数据中的一种或多种；
对所述每个结构化的日志数据的类别进行分类统计，得到分类结果。
进一步地，所述结构化的日志数据的类别包括微服务类日志数据；所述处理器301对所述每个结构化的日志数据的分类结果进行分析得到结果数据时，具体用于：
获取一个或多个微服务类日志数据的生成日期；
根据所述一个或多个微服务类日志数据的生成日期，对所述一个或多个微服务类日志数据进行分析；
根据对所述一个或多个微服务类日志数据进行分析得到的分析结果，按照预设的报表模板生成所述一个或多个微服务类日志数据的汇总报表和/或专题报表。
进一步地，所述结构化的日志数据的类别包括异常类日志数据；所述处理器301对所述每个结构化的日志数据的分类结果进行分析得到结果数据时，具体用于：
获取一个或多个异常类日志数据的生成日期；
根据所述一个或多个异常类日志数据的生成日期，对所述一个或多个异常类日志数据进行分析，以确定所述一个或多个异常类日志数据出现的次数。
进一步地，所述处理器301根据分析得到的结果数据对各个类别的结构化的日志数据进行聚合处理之前，还用于：
获取数据查询请求，所述数据查询请求中携带了用户标识、类别标识、指标性能数据中的一种或多种；
根据所述数据查询请求中携带的用户标识、类别标识、指标性能数据中的一种或多种，查询与所述用户标识、类别标识、指标性能数据中的一种或多种对应的结构化的日志数据；
所述处理器301根据分析得到的结果数据对各个类别的结构化的日志数据进行聚合处理时，具体用于：
对分析得到的结果数据中各个类别的结构化的日志数据以及查询得到的与所述用户标识、类别标识、指标性能数据中的一种或多种对应的结构化的日志数据进行聚合处理。
进一步地，所述处理器301当检测到聚合处理后的结构化的日志数据满足告警条件时，触发生成差异化告警信息时，具体用于：
检测所述聚合处理后的结构化的日志数据中是否存在异常类日志数据；
当检测结果为所述聚合处理后的结构化的日志数据中存在异常类日志数据时，确定所述聚合处理后的结构化日志数据满足告警条件，并触发生成差异化告警信息。
本发明实施例中，计算机设备可以获取根据用户对客户端的目标应用的搜索行为所确定的一个或多个结构化的日志数据；对所述一个或多个结构化的日志数据进行分类，得到所述一个或多个结构化的日志数据中每个结构化的日志数据的分类结果；对所述每个结构化的日志数据的分类结果进行分析得到结果数据，并根据分析得到的结果数据对各个类别的结构化的日志数据进行聚合处理；当检测到聚合处理后的结构化的日志数据满足告警条件时，触发生成差异化告警信息，并输出所述差异化告警信息至所述客户端。这种实施方式，通过对结构化的日志数据进行实时分析、分类、监控、多维度查询等，快速高效地确定出异常类日志数据，并对异常类日志数据进行差异化告警，有助于大幅提升计算机***的可靠性，以及辅助完成多种信息的处理。
应当理解，在本发明实施例中，所称处理器301可以是中央处理单元(CenSralProcessing UniS，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigiSalSignal Processor，DSP)、专用集成电路(ApplicaSion Specific InSegraSed CircuiS，ASIC)、现成可编程门阵列(Field-Programmable GaSe Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备302可以包括触控板、麦克风等，输出设备303可以包括显示器(LCD等)、扬声器等。
该存储器304可以包括只读存储器和随机存取存储器，并向处理器301提供指令和数据。存储器304的一部分还可以包括非易失性随机存取存储器。例如，存储器304还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的处理器301、输入设备302、输出设备303可执行本发明实施例提供的图1所述的方法实施例中所描述的实现方式，也可执行本发明实施例图2所描述的日志数据的处理装置的实现方式，在此不再赘述。
本发明实施例中还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现图1所对应实施例中描述的日志数据的处理方法，也可实现本发明图2所对应实施例的日志数据的处理装置，在此不再赘述。
所述计算机可读存储介质可以是前述任一实施例所述的日志数据的处理装置的内部存储单元，例如日志数据的处理装置的硬盘或内存。所述计算机可读存储介质也可以是所述日志数据的处理装置的外部存储装置，例如所述日志数据的处理装置上配备的插接式硬盘，智能存储卡(SmarS Media Card,SMC)，安全数字(Secure DigiSal,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述日志数据的处理装置的内部存储单元也包括外部存储装置。所述计算机可读存储介质用于存储所述计算机程序以及所述日志数据的处理装置所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。所述的计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
需要强调的是，为进一步保证上述数据的私密和安全性，上述日志数据还可以存储于一区块链的节点中。其中，本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
以上所述，仅为本发明的部分实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种日志数据的处理方法，其特征在于，所述方法包括：
获取根据用户对客户端的目标应用的搜索行为所确定的一个或多个结构化的日志数据；
对所述一个或多个结构化的日志数据进行分类，得到所述一个或多个结构化的日志数据中每个结构化的日志数据的分类结果；
对所述每个结构化的日志数据的分类结果进行分析得到结果数据，并根据分析得到的结果数据对各个类别的结构化的日志数据进行聚合处理；
当检测到聚合处理后的结构化的日志数据满足告警条件时，触发生成差异化告警信息，并输出所述差异化告警信息至所述客户端。
2.根据权利要求1所述的方法，其特征在于，所述获取根据用户对客户端的目标应用的搜索行为所确定的一个或多个结构化的日志数据，包括：
利用指定***拦截获取用户对客户端的目标应用的搜索行为所生成的一个或多个原始日志数据；
将所述一个或多个原始日志数据输入指定日志模型，以利用所述指定日志模型对所述一个或多个原始日志数据进行解析，得到所述一个或多个结构化的日志数据；
其中，所述指定日志模型是根据不同的日志格式构建的模型，所述不同的日志格式对应不同类别的日志数据。
3.根据权利要求1所述的方法，其特征在于，所述对所述一个或多个结构化的日志数据进行分类，得到所述一个或多个结构化的日志数据中每个结构化的日志数据的分类结果，包括：
根据预设的类别与日志数据的映射关系，确定与所述一个或多个结构化的日志数据中的每个结构化的日志数据对应的类别，其中，所述结构化的日志数据的类别包括Web类日志数据、请求报文类日志数据、微服务类日志数据、响应报文类日志数据、异常类日志数据中的一种或多种；
对所述每个结构化的日志数据的类别进行分类统计，得到分类结果。
4.根据权利要求3所述的方法，其特征在于，所述结构化的日志数据的类别包括微服务类日志数据；所述对所述每个结构化的日志数据的分类结果进行分析得到结果数据，包括：
获取一个或多个微服务类日志数据的生成日期；
根据所述一个或多个微服务类日志数据的生成日期，对所述一个或多个微服务类日志数据进行分析；
根据对所述一个或多个微服务类日志数据进行分析得到的分析结果，按照预设的报表模板生成所述一个或多个微服务类日志数据的汇总报表和/或专题报表。
5.根据权利要求3所述的方法，其特征在于，所述结构化的日志数据的类别包括异常类日志数据；所述对所述每个结构化的日志数据的分类结果进行分析得到结果数据，包括：
获取一个或多个异常类日志数据的生成日期；
根据所述一个或多个异常类日志数据的生成日期，对所述一个或多个异常类日志数据进行分析，以确定所述一个或多个异常类日志数据出现的次数。
6.根据权利要求1所述的方法，其特征在于，所述根据分析得到的结果数据对各个类别的结构化的日志数据进行聚合处理之前，还包括：
获取数据查询请求，所述数据查询请求中携带了用户标识、类别标识、指标性能数据中的一种或多种；
根据所述数据查询请求中携带的用户标识、类别标识、指标性能数据中的一种或多种，查询与所述用户标识、类别标识、指标性能数据中的一种或多种对应的结构化的日志数据；
所述根据分析得到的结果数据对各个类别的结构化的日志数据进行聚合处理，包括：
对分析得到的结果数据中各个类别的结构化的日志数据以及查询得到的与所述用户标识、类别标识、指标性能数据中的一种或多种对应的结构化的日志数据进行聚合处理。
7.根据权利要求1所述的方法，其特征在于，所述当检测到聚合处理后的结构化的日志数据满足告警条件时，触发生成差异化告警信息，包括：
检测所述聚合处理后的结构化的日志数据中是否存在异常类日志数据；
当检测结果为所述聚合处理后的结构化的日志数据中存在异常类日志数据时，确定所述聚合处理后的结构化日志数据满足告警条件，并触发生成差异化告警信息。
8.一种日志数据的处理装置，其特征在于，包括：
获取单元，用于获取根据用户对客户端的目标应用的搜索行为所确定的一个或多个结构化的日志数据；
分类单元，用于对所述一个或多个结构化的日志数据进行分类，得到所述一个或多个结构化的日志数据中每个结构化的日志数据的分类结果；
处理单元，用于对所述每个结构化的日志数据的分类结果进行分析得到结果数据，并根据分析得到的结果数据对各个类别的结构化的日志数据进行聚合处理；
告警单元，用于当检测到聚合处理后的结构化的日志数据满足告警条件时，触发生成差异化告警信息，并输出所述差异化告警信息至所述客户端。
9.一种计算机设备，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序，所述处理器被配置用于调用所述程序，执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011502805.8A CN113961414A (zh) | 2020-12-18 | 2020-12-18 | 一种日志数据的处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011502805.8A CN113961414A (zh) | 2020-12-18 | 2020-12-18 | 一种日志数据的处理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113961414A true CN113961414A (zh) | 2022-01-21 |
Family
ID=79460092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011502805.8A Pending CN113961414A (zh) | 2020-12-18 | 2020-12-18 | 一种日志数据的处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113961414A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114116811A (zh) * | 2022-01-29 | 2022-03-01 | 北京优特捷信息技术有限公司 | 日志处理方法、装置、设备及存储介质 |
-
2020
- 2020-12-18 CN CN202011502805.8A patent/CN113961414A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114116811A (zh) * | 2022-01-29 | 2022-03-01 | 北京优特捷信息技术有限公司 | 日志处理方法、装置、设备及存储介质 |
| CN114116811B (zh) * | 2022-01-29 | 2022-05-27 | 北京优特捷信息技术有限公司 | 日志处理方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107992398B (zh) | 一种业务***的监控方法和监控*** | |
| CN110928718B (zh) | 一种基于关联分析的异常处理方法、***、终端及介质 | |
| KR102346131B1 (ko) | 데이터 스트림의 실시간 처리를 위한 시스템 및 방법 | |
| Jiang et al. | An automated approach for abstracting execution logs to execution events | |
| US8819807B2 (en) | Apparatus and method for analyzing and monitoring sap application traffic, and information protection system using the same | |
| Shar et al. | Mining SQL injection and cross site scripting vulnerabilities using hybrid program analysis | |
| US20060074621A1 (en) | Apparatus and method for prioritized grouping of data representing events | |
| EP2674878A1 (en) | Data lineage tracking | |
| RU2702269C1 (ru) | Система интеллектуального управления киберугрозами | |
| CN112636957B (zh) | 基于日志的预警方法、装置、服务器及存储介质 | |
| CN111581054A (zh) | 一种基于elk的日志埋点的业务分析告警***及方法 | |
| CN112347501A (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN113505044B (zh) | 数据库告警方法、装置、设备和存储介质 | |
| CN112306700A (zh) | 一种异常rpc请求的诊断方法和装置 | |
| CN111756745B (zh) | 告警方法、告警装置、终端设备及计算机可读存储介质 | |
| CN110941530A (zh) | 监控数据的获取方法、装置、计算机设备和存储介质 | |
| CN111800292B (zh) | 基于历史流量的预警方法、装置、计算机设备及存储介质 | |
| CN112988509A (zh) | 一种告警消息过滤方法、装置、电子设备及存储介质 | |
| CN112116273A (zh) | 一种员工查询行为风险监测方法、装置、设备及存储介质 | |
| CN114595765A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN113961414A (zh) | 一种日志数据的处理方法、装置、设备及存储介质 | |
| CN108763916B (zh) | 业务接口安全评估方法及装置 | |
| CN107169356B (zh) | 统方分析方法及设备 | |
| CN110677271B (zh) | 基于elk的大数据告警方法、装置、设备及存储介质 | |
| CN111782481A (zh) | 一种通用数据接口监控***和监控方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |