CN112231192A - 一种日志数据分析方法及装置 - Google Patents
一种日志数据分析方法及装置 Download PDFInfo
- Publication number
- CN112231192A CN112231192A CN202011172628.1A CN202011172628A CN112231192A CN 112231192 A CN112231192 A CN 112231192A CN 202011172628 A CN202011172628 A CN 202011172628A CN 112231192 A CN112231192 A CN 112231192A
- Authority
- CN
- China
- Prior art keywords
- log data
- log
- alarm
- target
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000007405 data analysis Methods 0.000 title claims abstract description 39
- 230000002159 abnormal effect Effects 0.000 claims abstract description 65
- 238000012544 monitoring process Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 44
- 238000004458 analytical method Methods 0.000 claims abstract description 31
- 230000002547 anomalous effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种日志数据分析方法及装置,日志数据分析装置包括:日志监控模块、日志分析模块以及数据处理模块。本发明通过确定出满足日志数据告警策略中的告警条件的异常日志数据,根据异常日志数据生成告警信息,及时将告警信息进行存储并通知预设目标地址,使得技术人员可以及时根据异常日志数据对应用程序进行排查,及时发现应用程序潜在或已经发生的故障问题,从而可以及时解决应用程度的故障问题,保障应用程序所在***平台的稳定性,提升用户体验。
Description
技术领域
本发明涉及日志数据处理技术领域,尤其涉及一种日志数据分析方法及装置。
背景技术
随着云服务中心***平台上运行的应用程序不断增多,由应用程序运行时产生的日志数据也在不断增多。
当应用程序出现故障时,技术人员需要在海量的日志数据中排查应用程序出现故障的原因,从而针对故障的原因解决该故障问题。由于云服务中心***平台上运行的应用程序不断增多,应用程序的故障率也会随之升高,这为技术人员排查应用程序出现故障的原因带来相当大的负担,应用程序出现故障也难以及时解决,从而降低用户体验。
发明内容
鉴于上述问题,本发明提供一种克服上述问题或者至少部分地解决上述问题的一种日志数据分析方法及装置,技术方案如下:
一种日志数据分析方法,应用于日志数据分析装置,所述日志数据分析装置包括:日志监控模块、日志分析模块以及数据处理模块,
所述日志监控模块获得日志数据告警策略;
所述日志监控模块根据所述日志数据告警策略,获得至少一个目标日志数据,并将所述至少一个目标日志数据与所述日志数据告警策略发送至所述日志分析模块中;
所述日志分析模块确定所述至少一个目标日志数据是否满足所述日志数据告警策略中的告警条件,如果满足,则确定所述至少一个目标日志数据中的至少一个异常日志数据;
所述日志分析模块根据所述至少一个异常日志数据,生成第一告警信息,并将所述第一告警信息、所述至少一个异常日志数据与所述日志数据告警策略发送至所述数据处理模块;
所述数据处理模块根据所述日志数据告警策略中的第一格式配置项,将所述第一告警信息格式化为第二告警信息,并将所述第二告警信息保存至第一数据库中;
所述数据处理模块根据所述日志数据告警策略中配置的第二格式配置项,将所述至少一个异常日志数据格式化为异常日志信息;
所述数据处理模块将所述第一告警信息与所述异常日志信息发送至预设目标地址。
可选的,所述日志数据告警策略包括目标日志数据配置项,所述日志监控模块根据所述日志数据告警策略,获得至少一个目标日志数据,包括:
所述日志监控模块在预先存储有日志数据的第二数据库中确定与所述目标日志数据配置项匹配的至少一个目标日志数据。
可选的,所述目标日志数据配置项包括目标对象和告警周期,所述日志监控模块在预先存储有日志数据的第二数据库中确定与所述目标日志数据配置项匹配的至少一个目标日志数据,包括:
所述日志监控模块在预先存储有日志数据的第二数据库中确定与所述目标对象匹配的至少一个日志数据;
所述日志监控模块在与所述目标对象匹配的至少一个日志数据中获得与所述告警周期匹配的至少一个目标日志数据。
可选的,所述告警条件包括:
所述至少一个目标日志数据中告警关键词的出现次数大于预设阈值。
可选的,所述确定所述目标日志数据中的至少一个异常日志数据,包括:
将所述至少一个目标日志数据中携带有所述告警关键词的至少一个日志数据确定为异常日志数据。
可选的,所述预设目标地址包括邮件地址,所述数据处理模块将所述第一告警信息与所述异常日志信息发送至预设目标地址,包括:
所述数据处理模块将所述第一告警信息作为邮件的附件、将所述异常日志信息编辑为所述邮件的正文,将所述邮件发送至所述邮件地址。
一种日志数据分析装置,包括:日志监控模块、日志分析模块以及数据处理模块,
所述日志监控模块,被配置为执行获得日志数据告警策略,根据所述日志数据告警策略,获得至少一个目标日志数据,并将所述至少一个目标日志数据与所述日志数据告警策略发送至所述日志分析模块中;
所述日志分析模块,被配置为执行确定所述至少一个目标日志数据是否满足所述日志数据告警策略中的告警条件,如果满足,则确定所述至少一个目标日志数据中的至少一个异常日志数据,根据所述至少一个异常日志数据,生成第一告警信息,并将所述第一告警信息、所述至少一个异常日志数据与所述日志数据告警策略发送至所述数据处理模块;
所述数据处理模块,被配置为执行根据所述日志数据告警策略中的第一格式配置项,将所述第一告警信息格式化为第二告警信息,并将所述第二告警信息保存至第一数据库中,根据所述日志数据告警策略中配置的第二格式配置项,将所述至少一个异常日志数据格式化为异常日志信息,将所述第一告警信息与所述异常日志信息发送至预设目标地址。
可选的,所述日志数据告警策略包括目标日志数据配置项,
所述日志监控模块,具体被配置为执行在预先存储有日志数据的第二数据库中确定与所述目标日志数据配置项匹配的至少一个目标日志数据。
可选的,所述目标日志数据配置项包括目标对象和告警周期,
所述日志监控模块,具体被配置为执行在预先存储有日志数据的第二数据库中确定与所述目标对象匹配的至少一个日志数据,在与所述目标对象匹配的至少一个日志数据中获得与所述告警周期匹配的至少一个目标日志数据。
可选的,所述预设目标地址包括邮件地址,
所述数据处理模块,具体被配置为执行将所述第一告警信息作为邮件的附件、将所述异常日志信息编辑为所述邮件的正文,将所述邮件发送至所述邮件地址。
借由上述技术方案,本发明提供的一种日志数据分析方法及装置,日志数据分析装置包括:日志监控模块、日志分析模块以及数据处理模块。本发明通过确定出满足日志数据告警策略中的告警条件的异常日志数据,根据异常日志数据生成告警信息,及时将告警信息进行存储并通知预设目标地址,使得技术人员可以及时根据异常日志数据对应用程序进行排查,及时发现应用程序潜在或已经发生的故障问题,从而可以及时解决应用程度的故障问题,保障应用程序所在***平台的稳定性,提升用户体验。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的一种日志数据分析方法的时序示意图;
图2示出了本发明实施例提供的另一种日志数据分析方法的时序示意图;
图3示出了本发明实施例提供的另一种日志数据分析方法的时序示意图;
图4示出了本发明实施例提供的另一种日志数据分析方法的时序示意图;
图5示出了本发明实施例提供的另一种日志数据分析方法的时序示意图;
图6示出了本发明实施例提供的一种日志数据分析装置的结构示意图;
图7示出了本发明实施例提供的一种设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
如图1所示,本发明实施例提供的一种日志数据分析方法,应用于日志数据分析装置,所述日志数据分析装置包括:日志监控模块、日志分析模块以及数据处理模块。
S100、所述日志监控模块获得日志数据告警策略。
其中,日志数据告警策略可以包括告警关键词、告警周期、预设阈值、比较规则以及运算方式等多个日志数据配置项。本发明实施例可以通过设置各日志数据配置项,完成日志数据告警策略的配置。可选的,用户可以登录云服务中心***平台上的云服务中心控制台对日志数据告警策略中的至少一个日志数据配置项进行设置,将配置好的日志数据告警策略保存至策略存储数据库中。其中,云服务中心***平台可以是基于基于kubernetes开发的paas平台。云服务中心***平台可以为用户提供可部署应用的环境,管理应用生命周期。
可选的,用户可以设置策略存储数据库中各日志数据告警策略的策略状态。可选的,策略状态可以包括有效状态、停用状态、无效状态中的至少一种。用户可以通过应用程序服务器接口在策略存储数据库中检索出策略状态为有效状态的日志数据告警策略,再通过应用程序服务器接口将该策略状态为有效状态的日志数据告警策略发送至日志监控模块,使得日志监控模块获得该日志数据告警策略。
S110、所述日志监控模块根据所述日志数据告警策略,获得至少一个目标日志数据。
具体的,日志监控模块可以根据日志数据告警策略中的至少一个日志数据配置项,获得与该至少一个日志数据配置项匹配的至少一个目标日志数据。
可选的,所述日志数据告警策略包括目标日志数据配置项,基于图1所示方法,如图2所示,本发明实施例提供的另一种日志数据分析方法,步骤S110可以包括:
S111、所述日志监控模块在预先存储有日志数据的第二数据库中确定与所述目标日志数据配置项匹配的至少一个目标日志数据。
可以理解的是,在日志数据告警策略中的至少一个日志数据配置项中可以设置一个或多个日志数据配置项作为目标日志数据配置项。日志监控模块可以根据目标日志数据配置项,查找获得与目标日志数据配置项匹配的目标日志数据。
具体的,所述目标日志数据配置项包括目标对象和告警周期,基于图2所示的方法,如图3所示,本发明实施例提供的另一种日志数据分析方法,步骤S111可以包括:
S111a、所述日志监控模块在预先存储有日志数据的第二数据库中确定与所述目标对象匹配的至少一个日志数据。
目标对象可以是目标应用程序。日志监控模块可以在预先存储有日志数据的第二数据库中确定目标应用程序在运行时产生的日志数据。例如:目标应用程序为“聊*宝”,则日志监控模块可以确定“聊*宝”匹配的至少一个日志数据。
可选的,第二数据库与策略存储数据库可以是同一个数据库。
S111b、所述日志监控模块在与所述目标对象匹配的至少一个日志数据中获得与所述告警周期匹配的至少一个目标日志数据。
告警周期可以是用户设置在目标对象匹配的至少一个日志数据中获得目标日志数据的时间段。用户可以按照实际需求设置告警周期。例如:告警周期可以是5分钟、30分钟以及1小时。当告警周期为5分钟时,则日志监控模块可以在目标对象匹配的至少一个日志数据中确定当前时间以前5分钟内的日志数据作为目标日志数据。
S120、所述日志监控模块将所述至少一个目标日志数据与所述日志数据告警策略发送至所述日志分析模块中。
S130、所述日志分析模块确定所述至少一个目标日志数据是否满足所述日志数据告警策略中的告警条件,如果满足,则执行步骤S140。
可选的,告警条件可以由告警关键词、预设阈值、比较规则以及运算方式构成。可选的,比较规则可以包括“大于”、“小于”、“等于”、“不小于”以及“不大于”中的至少一种。可选的,运算方式可以包括“加”、“减”、“乘”以及“除”中的至少一种。可选的,告警关键词可以为“Exception”。可以理解的是,告警关键词和预设阈值可以根据用户的实际需求设置,本发明实施例在此不作进一步限制。
可选的,所述告警条件包括:所述至少一个目标日志数据中告警关键词的出现次数大于预设阈值。
可选的,日志分析模块确定该至少一个目标日志数据不满足日志数据告警策略中的告警条件时,可以不进行任何后续操作。
S140、所述日志分析模块确定所述至少一个目标日志数据中的至少一个异常日志数据。
可选的,基于图1所示方法,如图4所示,本发明实施例提供的另一种日志数据分析方法,步骤S140可以包括:
S141、所述日志分析模块将所述至少一个目标日志数据中携带有所述告警关键词的至少一个日志数据确定为异常日志数据。
S150、所述日志分析模块根据所述至少一个异常日志数据,生成第一告警信息。
可选的,本发明实施例可以从该至少一个异常日志数据中提取出目的信息,将该目的信息输入至预设信息模板中,生成第一告警信息。可选的,第一告警信息的可以是文字、图像、音频中的至少一种信息。
S160、所述日志分析模块将所述第一告警信息、所述至少一个异常日志数据与所述日志数据告警策略发送至所述数据处理模块。
S170、所述数据处理模块根据所述日志数据告警策略中的第一格式配置项,将所述第一告警信息格式化为第二告警信息。
S180、所述数据处理模块将所述第二告警信息保存至第一数据库中。
其中,第一格式配置项可以与第一数据库中保存数据的格式类型有关。例如:当第一数据库中保存数据的格式类型为数字格式时,第一格式配置项可以是“将字符串格式的数据转化为数字格式的数据”。在一般情况下,第一告警信息为JSON字符串格式的数据,数据处理模块可以根据第一格式配置项,将该JSON字符串格式的第一告警信息格式化为数字格式的第二告警信息,进而可以将数字格式的第二告警信息保存至第一数据库中,从而起到将告警信息进行存储的目的。
可选的,第一数据库可以与第二数据库可以是同一个数据库。
S190、所述数据处理模块根据所述日志数据告警策略中配置的第二格式配置项,将所述至少一个异常日志数据格式化为异常日志信息。
S200、所述数据处理模块将所述第一告警信息与所述异常日志信息发送至预设目标地址。
在通常情况下,异常日志信息的格式类型为JSON字符串格式,因此第二格式配置项可以配置为“将字符串格式的数据转化为文本格式的数据”。数据处理模块可以根据第二格式配置项,将格式类型为JSON字符串格式的异常日志信息格式化为文本格式的异常日志信息。
可选的,所述预设目标地址包括邮件地址,基于图1所示方法,如图5所示,本发明实施例提供的另一种日志数据分析方法,步骤S200可以包括:
S201、所述数据处理模块将所述第一告警信息作为邮件的附件、将所述异常日志信息编辑为所述邮件的正文,将所述邮件发送至所述邮件地址。
本发明实施例提供的一种日志数据分析方法,应用于日志数据分析装置,日志数据分析装置包括:日志监控模块、日志分析模块以及数据处理模块。本发明通过确定出满足日志数据告警策略中的告警条件的异常日志数据,根据异常日志数据生成告警信息,及时将告警信息进行存储并通知预设目标地址,使得技术人员可以及时根据异常日志数据对应用程序进行排查,及时发现应用程序潜在或已经发生的故障问题,从而可以及时解决应用程度的故障问题,保障应用程序所在***平台的稳定性,提升用户体验。
与上述方法实施例相对应,本发明实施例提供一种日志数据分析装置,其结构如图6所示,包括:日志监控模块100、日志分析模块200以及数据处理模块300。
所述日志监控模块100,可以被配置为执行获得日志数据告警策略,根据所述日志数据告警策略,获得至少一个目标日志数据,并将所述至少一个目标日志数据与所述日志数据告警策略发送至所述日志分析模块200中。
可选的,所述日志数据告警策略包括目标日志数据配置项。
所述日志监控模块100,可以具体被配置为执行在预先存储有日志数据的第二数据库中确定与所述目标日志数据配置项匹配的至少一个目标日志数据。
可选的,所述目标日志数据配置项包括目标对象和告警周期。
所述日志监控模块100,可以具体被配置为执行在预先存储有日志数据的第二数据库中确定与所述目标对象匹配的至少一个日志数据,在与所述目标对象匹配的至少一个日志数据中获得与所述告警周期匹配的至少一个目标日志数据。
所述日志分析模块200,可以被配置为执行确定所述至少一个目标日志数据是否满足所述日志数据告警策略中的告警条件,如果满足,则确定所述至少一个目标日志数据中的至少一个异常日志数据,根据所述至少一个异常日志数据,生成第一告警信息,并将所述第一告警信息、所述至少一个异常日志数据与所述日志数据告警策略发送至所述数据处理模块300。
可选的,所述告警条件包括:所述至少一个目标日志数据中告警关键词的出现次数大于预设阈值。
可选的,所述日志分析模块200,可以具体被配置为执行将所述至少一个目标日志数据中携带有所述告警关键词的至少一个日志数据确定为异常日志数据。
所述数据处理模块300,可以被配置为执行根据所述日志数据告警策略中的第一格式配置项,将所述第一告警信息格式化为第二告警信息,并将所述第二告警信息保存至第一数据库中,根据所述日志数据告警策略中配置的第二格式配置项,将所述至少一个异常日志数据格式化为异常日志信息,将所述第一告警信息与所述异常日志信息发送至预设目标地址。
可选的,所述预设目标地址包括邮件地址,所述数据处理模块300,可以具体被配置为执行将所述第一告警信息作为邮件的附件、将所述异常日志信息编辑为所述邮件的正文,将所述邮件发送至所述邮件地址。
本发明实施例提供的一种日志数据分析装置,包括:日志监控模块100、日志分析模块200以及数据处理模块300。本发明通过确定出满足日志数据告警策略中的告警条件的异常日志数据,根据异常日志数据生成告警信息,及时将告警信息进行存储并通知预设目标地址,使得技术人员可以及时根据异常日志数据对应用程序进行排查,及时发现应用程序潜在或已经发生的故障问题,从而可以及时解决应用程度的故障问题,保障应用程序所在***平台的稳定性,提升用户体验。
所述日志数据分析装置包括处理器和存储器,上述日志监控模块100、日志分析模块200以及数据处理模块300等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来确定出满足日志数据告警策略中的告警条件的异常日志数据,根据异常日志数据生成告警信息,及时将告警信息进行存储并通知预设目标地址。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现所述日志数据分析方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述日志数据分析方法。
如图7所示,本发明实施例提供了一种设备400,设备400包括至少一个处理器401、以及与处理器401连接的至少一个存储器402、总线403;其中,处理器401、存储器402通过总线403完成相互间的通信;处理器401用于调用存储器402中的程序指令,以执行上述的日志数据分析方法。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有上述的日志数据分析方法包括的步骤的程序。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
在一个典型的配置中,设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
本领域技术人员应明白,本申请的实施例可提供为方法、***或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种日志数据分析方法,其特征在于,应用于日志数据分析装置,所述日志数据分析装置包括:日志监控模块、日志分析模块以及数据处理模块,
所述日志监控模块获得日志数据告警策略;
所述日志监控模块根据所述日志数据告警策略,获得至少一个目标日志数据,并将所述至少一个目标日志数据与所述日志数据告警策略发送至所述日志分析模块中;
所述日志分析模块确定所述至少一个目标日志数据是否满足所述日志数据告警策略中的告警条件,如果满足,则确定所述至少一个目标日志数据中的至少一个异常日志数据;
所述日志分析模块根据所述至少一个异常日志数据,生成第一告警信息,并将所述第一告警信息、所述至少一个异常日志数据与所述日志数据告警策略发送至所述数据处理模块;
所述数据处理模块根据所述日志数据告警策略中的第一格式配置项,将所述第一告警信息格式化为第二告警信息,并将所述第二告警信息保存至第一数据库中;
所述数据处理模块根据所述日志数据告警策略中配置的第二格式配置项,将所述至少一个异常日志数据格式化为异常日志信息;
所述数据处理模块将所述第一告警信息与所述异常日志信息发送至预设目标地址。
2.根据权利要求1所述的方法,其特征在于,所述日志数据告警策略包括目标日志数据配置项,所述日志监控模块根据所述日志数据告警策略,获得至少一个目标日志数据,包括:
所述日志监控模块在预先存储有日志数据的第二数据库中确定与所述目标日志数据配置项匹配的至少一个目标日志数据。
3.根据权利要求2所述的方法,其特征在于,所述目标日志数据配置项包括目标对象和告警周期,所述日志监控模块在预先存储有日志数据的第二数据库中确定与所述目标日志数据配置项匹配的至少一个目标日志数据,包括:
所述日志监控模块在预先存储有日志数据的第二数据库中确定与所述目标对象匹配的至少一个日志数据;
所述日志监控模块在与所述目标对象匹配的至少一个日志数据中获得与所述告警周期匹配的至少一个目标日志数据。
4.根据权利要求1所述的方法,其特征在于,所述告警条件包括:
所述至少一个目标日志数据中告警关键词的出现次数大于预设阈值。
5.根据权利要求4所述的方法,其特征在于,所述确定所述目标日志数据中的至少一个异常日志数据,包括:
将所述至少一个目标日志数据中携带有所述告警关键词的至少一个日志数据确定为异常日志数据。
6.根据权利要求1所述的方法,其特征在于,所述预设目标地址包括邮件地址,所述数据处理模块将所述第一告警信息与所述异常日志信息发送至预设目标地址,包括:
所述数据处理模块将所述第一告警信息作为邮件的附件、将所述异常日志信息编辑为所述邮件的正文,将所述邮件发送至所述邮件地址。
7.一种日志数据分析装置,其特征在于,包括:日志监控模块、日志分析模块以及数据处理模块,
所述日志监控模块,被配置为执行获得日志数据告警策略,根据所述日志数据告警策略,获得至少一个目标日志数据,并将所述至少一个目标日志数据与所述日志数据告警策略发送至所述日志分析模块中;
所述日志分析模块,被配置为执行确定所述至少一个目标日志数据是否满足所述日志数据告警策略中的告警条件,如果满足,则确定所述至少一个目标日志数据中的至少一个异常日志数据,根据所述至少一个异常日志数据,生成第一告警信息,并将所述第一告警信息、所述至少一个异常日志数据与所述日志数据告警策略发送至所述数据处理模块;
所述数据处理模块,被配置为执行根据所述日志数据告警策略中的第一格式配置项,将所述第一告警信息格式化为第二告警信息,并将所述第二告警信息保存至第一数据库中,根据所述日志数据告警策略中配置的第二格式配置项,将所述至少一个异常日志数据格式化为异常日志信息,将所述第一告警信息与所述异常日志信息发送至预设目标地址。
8.根据权利要求7所述的装置,其特征在于,所述日志数据告警策略包括目标日志数据配置项,
所述日志监控模块,具体被配置为执行在预先存储有日志数据的第二数据库中确定与所述目标日志数据配置项匹配的至少一个目标日志数据。
9.根据权利要求8所述的装置,其特征在于,所述目标日志数据配置项包括目标对象和告警周期,
所述日志监控模块,具体被配置为执行在预先存储有日志数据的第二数据库中确定与所述目标对象匹配的至少一个日志数据,在与所述目标对象匹配的至少一个日志数据中获得与所述告警周期匹配的至少一个目标日志数据。
10.根据权利要求7所述的装置,其特征在于,所述预设目标地址包括邮件地址,
所述数据处理模块,具体被配置为执行将所述第一告警信息作为邮件的附件、将所述异常日志信息编辑为所述邮件的正文,将所述邮件发送至所述邮件地址。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011172628.1A CN112231192A (zh) | 2020-10-28 | 2020-10-28 | 一种日志数据分析方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011172628.1A CN112231192A (zh) | 2020-10-28 | 2020-10-28 | 一种日志数据分析方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112231192A true CN112231192A (zh) | 2021-01-15 |
Family
ID=74109590
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011172628.1A Pending CN112231192A (zh) | 2020-10-28 | 2020-10-28 | 一种日志数据分析方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112231192A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113391990A (zh) * | 2021-06-30 | 2021-09-14 | 未鲲(上海)科技服务有限公司 | ***日志的监控方法、装置、设备及存储介质 |
CN114679397A (zh) * | 2022-05-06 | 2022-06-28 | 苏州德姆斯信息技术有限公司 | 一种嵌入式设备的故障分析***和方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105183609A (zh) * | 2015-09-16 | 2015-12-23 | 焦点科技股份有限公司 | 一种应用于软件***的实时监控***及方法 |
CN106371986A (zh) * | 2016-09-08 | 2017-02-01 | 上海新炬网络技术有限公司 | 一种日志处理运维监控*** |
CN108737170A (zh) * | 2018-05-09 | 2018-11-02 | 中国银行股份有限公司 | 一种批量日志异常数据告警方法及装置 |
-
2020
- 2020-10-28 CN CN202011172628.1A patent/CN112231192A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105183609A (zh) * | 2015-09-16 | 2015-12-23 | 焦点科技股份有限公司 | 一种应用于软件***的实时监控***及方法 |
CN106371986A (zh) * | 2016-09-08 | 2017-02-01 | 上海新炬网络技术有限公司 | 一种日志处理运维监控*** |
CN108737170A (zh) * | 2018-05-09 | 2018-11-02 | 中国银行股份有限公司 | 一种批量日志异常数据告警方法及装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113391990A (zh) * | 2021-06-30 | 2021-09-14 | 未鲲(上海)科技服务有限公司 | ***日志的监控方法、装置、设备及存储介质 |
CN114679397A (zh) * | 2022-05-06 | 2022-06-28 | 苏州德姆斯信息技术有限公司 | 一种嵌入式设备的故障分析***和方法 |
CN114679397B (zh) * | 2022-05-06 | 2023-12-12 | 苏州德姆斯信息技术有限公司 | 一种嵌入式设备的故障分析***和方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107368507B (zh) | 一种基于区块链的共识方法及装置 | |
CN112183039B (zh) | 一种业务报表的合规校验方法及装置 | |
US20160117211A1 (en) | Error troubleshooting using a correlated knowledge base | |
JP2019517040A (ja) | クラウドプラットフォームベースのクライアントアプリケーション情報統計方法および装置 | |
CN111290866A (zh) | 业务处理方法及装置 | |
CN110022260B (zh) | 一种跨环境回执消息处理方法及*** | |
CN110798490B (zh) | 基于数据中台接入第三方***的方法、装置及数据中台 | |
CN106897342B (zh) | 一种数据校验方法和设备 | |
CN112231192A (zh) | 一种日志数据分析方法及装置 | |
CN113641526B (zh) | 告警根因定位方法、装置、电子设备及计算机存储介质 | |
CN113704117A (zh) | 一种算法测试***、方法及装置 | |
CN110858166A (zh) | 一种应用异常的处理方法、装置、存储介质及处理器 | |
CN110990456A (zh) | 一种基于区块链的信息读取转化方法及设备、介质 | |
CN112350890B (zh) | 报文处理方法、装置、服务器及存储介质 | |
CN107301097B (zh) | 一种调用java对象、java对象的引用地址信息的存储方法及装置 | |
CN109039695B (zh) | 业务故障处理方法、装置及设备 | |
CN114625611B (zh) | 一种量子计算环境的监控方法、设备及存储介质 | |
CN115756888A (zh) | 数据处理方法、处理器、装置及存储介质 | |
CN110912900B (zh) | 一种基于物联网的边界智能安防监控方法、装置及设备 | |
CN114328129A (zh) | 消息发送方法、装置、设备及存储介质 | |
CN114138615A (zh) | 一种业务告警处理方法、装置、设备及存储介质 | |
CN109062642B (zh) | 一种控件消息通知方法及装置 | |
CN113296832A (zh) | 数据处理方法、装置和电子设备 | |
CN112306989A (zh) | 数据库实例的处理方法及装置、存储介质、电子装置 | |
CN110020348B (zh) | 圈选事件的预警方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |