CN111078513A - 日志处理方法、装置、设备、存储介质及日志告警*** - Google Patents
日志处理方法、装置、设备、存储介质及日志告警*** Download PDFInfo
- Publication number
- CN111078513A CN111078513A CN201811230933.4A CN201811230933A CN111078513A CN 111078513 A CN111078513 A CN 111078513A CN 201811230933 A CN201811230933 A CN 201811230933A CN 111078513 A CN111078513 A CN 111078513A
- Authority
- CN
- China
- Prior art keywords
- attribute
- log
- alarm
- alarm log
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 55
- 230000002159 abnormal effect Effects 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 7
- 230000007613 environmental effect Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/327—Alarm or error message display
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Debugging And Monitoring (AREA)
Abstract
本说明书实施例提供一种日志处理方法、装置、设备、存储介质及日志告警***，所述方法包括：确定告警日志的第一类属性对应的第一属性标识，判断已存储的告警日志属性标识记录中是否存在所述第一属性标识，当判断结果为是时，确定所述告警日志的第二类属性对应的第二属性标识集，依据所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度判断所述告警日志是否为重复告警日志。在已存储的告警日志属性标识记录中存在第一属性标识时才依据第二属性标识集与告警日志属性标识记录中的第二属性标识集之间的相似度判断告警日志是否为重复告警日志，可以提高重复告警日志判断的准确率。
Description
技术领域
本说明书涉及数据处理领域，尤其涉及日志处理方法、装置、设备、存储介质及日志告警***。
背景技术
日志，可以是记录了运行程序中所发生事件的文件。例如，日志中可以记载事件发生日期、时间、使用者及动作等相关操作的描述。在应用***中，分析程序的运行状态十分重要。为了保证应用***能够正常运行，可以对程序的运行状态进行监控，以便在发生故障时能够及时通知运维人员进行维护、调试等。目前，主要通过日志告警规则判断日志是否为告警日志，并进行告警，然而，在程序运行过程中，日志是连续产生的，且针对同一故障可能产生大量重复日志，影响对日志进行分析和告警的效率。
发明内容
为克服相关技术中存在的问题，本说明书提供了日志处理方法、装置、设备、存储介质及日志告警***。
根据本说明书实施例的第一方面，提供一种日志处理方法，所述方法包括：
确定告警日志的第一类属性对应的第一属性标识，所述第一类属性包括：所述告警日志的日志属性中属性值固定的至少一个属性；
判断已存储的告警日志属性标识记录中是否存在所述第一属性标识，当判断结果为是时，确定所述告警日志的第二类属性对应的第二属性标识集，所述第二类属性包括：所述告警日志的日志属性中属性值可变动的至少一个属性；第二属性标识集包括第二类属性中每个属性的第二属性标识；
依据所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度判断所述告警日志是否为重复告警日志。
在一个可选的实施例中，所述确定告警日志的第一类属性对应的第一属性标识，包括：
通过哈希函数计算第一类属性中各个属性的哈希值；
将各个属性的哈希值按预设顺序进行拼接得到所述第一属性标识。
在一个可选的实施例中，所述确定所述告警日志的第二类属性对应的第二属性标识集，包括：
通过Simhash算法计算所述第二类属性中每个属性的Simhash值，第二类属性中所有属性的Simhash值构成所述第二属性标识集。
在一个可选的实施例中，所述依据所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度判断所述告警日志是否为重复告警日志，包括：
计算第二属性标识集与所述告警日志属性标识记录中的第二属性标识集中属于同一类型属性的第二属性标识之间的相似度；
将各个相似度进行设定运算，得到所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度；
判断所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度是否大于或等于预设相似度阈值，当结果为是时，判定告警日志为重复告警日志；当结果为否时，判定告警日志不是重复告警日志。
在一个可选的实施例中，所述方法还包括：
在判断出所述告警日志不是重复告警日志后，存储所述第一属性标识、第二属性标识集至所述告警日志属性标识记录。
在一个可选的实施例中，在判断出所述告警日志不为重复告警日志后，该方法进一步包括：
利用预先配置的与所述告警日志关联的应用程序对应的指标提取规则，提取与所述告警日志相关的环境指标数据；
将所述环境指标数据以及告警日志发送至告警服务端，以使告警服务端结合所述环境指标数据以及告警日志，确定告警日志的告警信息，并输出所述告警信息，所述告警信息包括告警原因、告警日志所对应的异常事件、和/或解决异常事件的指引方法。
根据本说明书实施例的第二方面，提供一种日志处理装置，所述装置包括：
第一属性标识确定模块，用于确定告警日志的第一类属性对应的第一属性标识，所述第一类属性包括：所述告警日志的日志属性中属性值固定的至少一个属性；
告警日志去重模块，用于判断已存储的告警日志属性标识记录中是否存在所述第一属性标识；
第二属性标识确定模块，用于在已存储的告警日志属性标识记录中存在所述第一属性标识时，确定所述告警日志的第二类属性对应的第二属性标识集，所述第二类属性包括：所述告警日志的日志属性中属性值可变动的至少一个属性；第二属性标识集包括第二类属性中每个属性的第二属性标识；
所述告警日志去重模块，还用于依据所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度判断所述告警日志是否为重复告警日志。
在一个可选的实施例中，所述第一属性标识确定模块，具体用于：
通过哈希函数计算第一类属性中各个属性的哈希值；
将各个属性的哈希值按预设顺序进行拼接得到所述第一属性标识。
在一个可选的实施例中，所述第二属性标识确定模块，具体用于：
通过Simhash算法计算所述第二类属性中每个属性的Simhash值，第二类属性中所有属性的Simhash值构成所述第二属性标识集。
在一个可选的实施例中，所述告警日志去重模块具体用于：
计算第二属性标识集与所述告警日志属性标识记录中的第二属性标识集中属于同一类型属性的第二属性标识之间的相似度；
将各个相似度进行设定运算，得到所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度；
判断所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度是否大于或等于预设相似度阈值，当结果为是时，判定告警日志为重复告警日志；当结果为否时，判定告警日志不是重复告警日志。
根据本说明书实施例的第三方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如下方法：
确定告警日志的第一类属性对应的第一属性标识，所述第一类属性包括：所述告警日志的日志属性中属性值固定的至少一个属性；
判断已存储的告警日志属性标识记录中是否存在所述第一属性标识，当判断结果为是时，确定所述告警日志的第二类属性对应的第二属性标识集，所述第二类属性包括：所述告警日志的日志属性中属性值可变动的至少一个属性；第二属性标识集包括第二类属性中每个属性的第二属性标识；
依据所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度判断所述告警日志是否为重复告警日志。
根据本说明书实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。
根据本说明书实施例的第五方面，提供一种日志告警***，所述***包括：日志采集端和告警服务端；
日志采集端用于：确定告警日志的第一类属性对应的第一属性标识，所述第一类属性包括：所述告警日志的日志属性中属性值固定的至少一个属性；判断已存储的告警日志属性标识记录中是否存在所述第一属性标识，当判断结果为是时，确定所述告警日志的第二类属性对应的第二属性标识集，所述第二类属性包括：所述告警日志的日志属性中属性值可变动的至少一个属性；第二属性标识集包括第二类属性中每个属性的第二属性标识；依据所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度判断所述告警日志是否为重复告警日志；将不是重复告警日志的告警日志发送至告警服务端；
告警服务端用于：接收日志采集端发送的告警日志，并根据所接收的告警日志生成告警信息。
本说明书的实施例提供的技术方案可以包括以下有益效果：
本说明书实施例将告警日志的属性分为第一类属性和第二类属性，第一类属性包括告警日志的日志属性中属性值固定的至少一个属性，第二类属性包括告警日志的日志属性中属性值可变动的至少一个属性。在已存储的告警日志属性标识记录中存在第一属性标识时才依据第二属性标识集与告警日志属性标识记录中的第二属性标识集之间的相似度判断告警日志是否为重复告警日志，可以提高重复告警日志判断的准确率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。
图1是本说明书根据一示例性实施例示出的一种日志处理方法的流程图。
图2是本说明书根据一示例性实施例示出的一种内存表示意图。
图3是本说明书根据一示例性实施例示出的一种日志采集流程图。
图4是本说明书日志处理装置所在计算机设备的一种硬件结构图。
图5是本说明书根据一示例性实施例示出的一种日志处理装置的框图。
图6是本说明书根据一示例性实施例示出的一种日志告警***的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先，对本说明书可能涉及的技术用语进行解释。
哈希函数(英语：Hash function)又称散列算法、散列函数，可以是一种从任何一种数据中创建小的数字“指纹”的方法。哈希函数把消息或数据压缩成摘要，使得数据量变小，将数据的格式固定下来。该函数将数据打乱混合，重新创建一个叫做散列值/哈希值(hash values，hash codes，hash sums，或hashes)的指纹。
哈希值，又称散列值，把任意长度的输入通过哈希函数变换成固定长度的输出，该输出即为哈希值。哈希值空间通常远小于输入空间。
日志，可以是记录了运行程序中所发生事件的文件。
告警日志，又称异常日志，用于反映运行程序处于异常状态的日志。
本说明书为了避免重复日志影响对日志进行分析和告警的效率，减少重复告警，提供一种日志处理以及日志告警方案，以下结合附图对日志处理和日志告警方案进行示例说明。
首先，对日志处理方法进行介绍，日志处理方法中包括日志去重处理。而为了方便理解，对日志处理方法所涉及的应用场景进行示例说明。日志处理方法可以应用在日志告警场景中，日志告警***可以包括日志采集端和告警服务端。日志采集端可以采集告警日志，告警服务端可以对告警日志进行告警。而本说明书实施例所提供日志处理方法可以应用在日志采集端。
如图1所示，是本说明书根据一示例性实施例示出的一种日志处理方法的流程图，所述方法包括：
在步骤102中，确定告警日志的第一类属性对应的第一属性标识，所述第一类属性包括：所述告警日志的日志属性中属性值固定的至少一个属性；
在步骤104中，判断已存储的告警日志属性标识记录中是否存在所述第一属性标识，当判断结果为是时，确定所述告警日志的第二类属性对应的第二属性标识集，所述第二类属性包括：所述告警日志的日志属性中属性值可变动的至少一个属性；第二属性标识集包括第二类属性中每个属性的第二属性标识；
在步骤106中，依据所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度判断所述告警日志是否为重复告警日志。
本实施例提供一种判断告警日志是否为重复告警日志的方案。所述方法可以应用在日志采集过程，当采集到日志时，可以采用预设策略判断日志是否为告警日志。
在一个例子中，可以通过日志告警规则判断日志是否为告警日志。例如，针对不同应用服务器可以配置不同的日志告警规则，当采集到的日志满足日志告警规则时，可以判定该日志为告警日志。日志告警规则可以包括：日志中包含过滤字段，或，日志中包含过滤字段、且过滤字段的出现次数大于次数阈值等规则。日志告警规则也可以根据历史告警日志的日志内容进行大数据分析而获得。
可以理解的是，还可以采用相关技术中日志告警规则判断日志是否为告警日志，在此不做限制。
本实施例是在确认日志为告警日志的前提下，判断告警日志是否为重复日志，以便舍去重复告警日志，从而避免大量重复的告警日志给日志采集端和告警服务端的程序带来的负担。
本实施例将告警日志的日志属性分为第一类属性和第二类属性。其中，日志属性可以是用于反应告警日志与其他告警日志是否为相同告警日志的属性。
关于第一类属性，第一类属性可以包括：所述告警日志的日志属性中属性值固定的至少一个属性。针对该类属性，由于属性值固定，所以比较属性与被比较属性的属性值完全匹配的情况下，才判定比较属性与被比较属性相同。因此，第一类属性也可以理解为需要与被比较对象完全匹配的属性。例如，第一类属性可以包括：应用***名称、模块名称、告警规则以及网络日志中的协议名称、操作类型、攻击事件类型或者应用程序中的异常程序类，异常方法等中的一种或多种。
关于第二类属性，第二类属性可以包括：所述告警日志的日志属性中属性值可变动的至少一个属性，例如，描述类属性。由于属性值不固定，所以在比较属性与被比较属性的属性值非完全匹配的情况下，也可以判定比较属性与被比较属性相同。因此，第二类属性也可以理解为不需要与被比较对象完全匹配的属性。例如，第二类属性可以包括：描述信息、方法调用路径等中的一种或多种。
本说明书实施例预先将告警日志的日志属性分类两类，先判断第一类属性，若已存储告警日志属性中不包括第一类属性，则可以直接判定该告警日志不是重复告警日志，可见，可以提高判断重复告警日志的判断效率。若已存储告警日志属性中包括第一类属性，则通过第二类属性进行进一步判断告警日志是否为重复告警日志，从而可以提高重复告警日志的判断准确率。
在一个实施例中，还提供一种确定第一类属性和第二类属性的手段。在对程序(可以是应用程序，也可以是操作***程序)的运行状态进行监控的场景中，预先为每种程序配置对应的属性提取规则，所述属性提取规则用于提取：告警日志的第一类属性和第二类属性。其中，属性提取规则可以基于历史告警日志的日志属性进行大数据分析而确定。针对不同程序，日志的日志属性可能不同，因此，配置的属性提取规则可能不同，从而实现利用该属性提取规则所提取的第一类属性和第二类属性也不相同，具体根据程序而定。
第一属性标识可以是用于标识第一类属性的标识。其中，由于第一类属性中属性的属性值固定，因此，可以利用一个属性标识唯一标识告警日志的第一类属性，即可以利用一个属性标识代替第一类属性中所有属性，将该属性标识称为第一属性标识。例如，第一属性标识基于第一类属性中各属性的属性值进行确定。
在一个实施例中，第一属性标识可以由第一类属性中各属性的属性值直接拼接而成。
然而，实际应用中，若直接存储告警日志的第一类属性的属性值，可能导致占用内存大、且计算量大，因此，在另一个实施例中，第一属性标识可以基于第一类属性中各属性的属性值进行转换和拼接获得。例如，按预设规则将属性值转换为能标识属性的标识、且尽量保证该标识相比于属性值占用空间小或进行相似度比较时计算量小，并将所有转换获得的标识按一定顺序进行拼接，获得第一属性标识。
在一个实施例中，提供一种利用属性的哈希值确定第一属性标识的方案。在该实施例中，所述确定告警日志的第一类属性对应的第一属性标识，包括：
通过哈希函数计算第一类属性中各个属性的哈希值；
将各个属性的哈希值按预设顺序进行拼接得到所述第一属性标识。
其中，预设顺序可以是预先设置的对哈希值进行排序的顺序。本实施例所选取的哈希函数满足：对任意不同的第一类属性(属性集合)，利用该哈希函数计算出来的哈希值不相同的概率相等。
由于在已存储的告警日志属性标识记录中，第一类属性也是按上述方式得到第一属性标识后，用第一属性标识代替第一类属性存储在记录中，因此可以将得到的第一属性标识与记录中的第一属性标识进行匹配。由于哈希值空间通常远小于输入空间，因此可以节约存储空间，同时能减少数据计算量。
在获得告警日志的第一类属性对应的第一属性标识后，可以判断已存储的告警日志属性标识记录中是否存在所述第一属性标识。当判断结果为否，即已存储的告警日志属性标识记录中不存在所述第一属性标识，可以直接判定该告警日志不是重复日志。当判断结果为是时，即已存储的告警日志属性标识记录中存在所述第一属性标识时，确定所述告警日志的第二类属性对应的第二属性标识集，并进一步利用第二属性标识集判断告警日志是否为重复告警日志。
由于第二类属性中属性的属性值可变动，因此，针对第二类属性中每个属性利用相应的属性标识表示，可以将该属性标识称为第二属性标识。第二类属性中各属性对应的第二属性标识可以构成第二属性标识集。例如，第二属性标识基于第二类属性中属性的属性值进行确定。在一个例子中，第二类属性中某属性的第二属性标识可以是该属性的属性值。
实际应用中，若直接存储告警日志的第二类属性的属性值，可能导致占用内存大、且计算量大，因此，在另一个实施例中，第二类属性中某属性的第二属性标识可以由该属性的属性值进行转换后获得。第二属性标识可以满足：第二属性标识相比于属性值的占用空间小或进行相似度比较时计算量小、两属性间的相似度可通过其对应的第二属性标识的相似度度量。可见，若两属性间存在相似性，则两属性对应的第二属性标识也存在相似性，通过度量第二属性标识间的相似度，来实现度量两属性间的相似度，从而减少相似度计算量。
在一个实施例中，还提供一种利用属性的Simhash值确定第二属性标识的方案。在该实施例中，所述确定所述告警日志的第二类属性对应的第二属性标识集，包括：
通过Simhash算法计算所述第二类属性中每个属性的Simhash值，第二类属性中所有属性的Simhash值构成所述第二属性标识集。
其中，Simhash算法作为locality sensitive hash(局部敏感哈希)的一种，其主要思想是降维，将高维的特征向量映射成低维的特征向量，通过两个向量的海明距离(Hamming Distance)来确定字符串是否重复或者高度近似。Simhash算法可以分为分词、hash、加权、合并、降维等过程，利用Simhash算法可以获得字符串的Simhash值，通过比较多个字符串的Simhash值的海明距离，可以获取它们的相似度。
在本实施例中，针对第二类属性中的每个属性，分别利用Simhash算法对该属性的属性值进行处理，获得该属性的Simhash值。本实施例将该属性的Simhash值作为该属性的第二属性标识。因此，两个属性的相似度可以通过度量其Simhash值的相似度而获得。
由于第二属性标识满足：两属性间的相似度可通过其对应的第二属性标识的相似度度量，而在获得第二类属性中每个属性的第二属性标识后，可以依据第二属性标识集与告警日志属性标识记录中的第二属性标识集之间的相似度判断所述告警日志是否为重复告警日志。不同第二属性标识集之间的相似度可以通过其中相对应的同种类型属性对应的第二属性标识间的相似度而度量。所谓同种类型属性可以是属性名相同的属性，以实现将集合中相同属性名的属性的第二属性标识分别进行相似度比较。
在一个实施例中，所述依据所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度判断所述告警日志是否为重复告警日志，包括：
计算第二属性标识集与所述告警日志属性标识记录中的第二属性标识集中属于同一类型属性的第二属性标识之间的相似度；
将各个相似度进行设定运算，得到所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度；
判断所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度是否大于或等于预设相似度阈值，当结果为是时，判定告警日志为重复告警日志；当结果为否时，判定告警日志不是重复告警日志。
在该实施例中，针对第二属性标识集中任一第二属性标识，计算该第二属性标识与第二属性标识样本集中与该第二属性标识属于同一类型属性的第二属性标识的相似度。其中，第二属性标识样本集是告警日志属性标识记录中的第二属性标识集。换言之，在两个第二属性标识集中，通过计算同一类型属性对应的第二属性标识的相似度，以获得同类型属性间的相似度。
集合中不同类型计算获得的相似度进行设定运算后，可以作为两集合间的相似度，进而根据两集合的相似度与预设相似度阈值的比较结果判断告警日志是否为重复告警日志。其中，设定运算满足：运算后的数据与运算前的数据成正相关关系。例如，设定运算可以是加权平均运算、平均运算等。
进一步的，以第二属性标识为Simhash值为例进行示例说明，所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度确定过程可以包括：
针对第二属性标识集与所述告警日志属性标识记录中的第二属性标识集，计算同种类型属性对应的Simhash值间海明距离，以获得同种类型属性的相似度；将第二属性标识集中所有属性的相似度进行设定运算，获得第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度。
相比于利用日志内容进行相似度比较，本实施例利用日志属性的Simhash值进行相似度，可以提高准确率和效率。
在一个实施例中，所述方法还包括：在判断出所述告警日志不是重复告警日志后，存储所述第一属性标识、第二属性标识集至所述告警日志属性标识记录。其中，告警日志属性标识记录中可以记录非重复告警日志的第一属性标识和第二属性标识集。
进一步的，为了提高读取记录的效率，可以将告警日志属性标识记录存储在内存中，例如，预创建一个内存表，用于存储告警日志属性标识记录。
进一步的，为了降低内存资源的使用，可以设置判断告警日志重复的时间窗口，时间窗口可以基于日志规模进行评估。在存储每条告警日志的第一属性标识和第二属性标识集时，还存储告警日志时间。其中，告警日志时间可以是告警日志的采集时间。相应的，所述方法还包括：
根据已存储的告警日志属性标识记录中的采集时间以及预设时间窗口，判断是否存在过期的已存储告警日志；删除过期的已存储告警日志的记录。其中，已存储告警日志的记录包括告警日志的采集时间、第一属性标识和第二属性标识集。
可见，该实施例按时间值检查内存表中的记录，将过期的告警日志的记录删除，有效降低了内存资源的使用，提高去重效率。
以上实施方式中的各种技术特征可以任意进行组合，只要特征之间的组合不存在冲突或矛盾，但是限于篇幅，未进行一一描述，因此上述实施方式中的各种技术特征的任意进行组合也属于本说明书公开的范围。以下以一个具体例子进行示例说明。
在该例子中，可以创建一个内存表用于保存告警日志属性标识记录，并设置告警日志重复的时间窗口为T。在应用阶段，读取一条应用***中的日志记录，根据日志告警规则判定当前日志为告警日志时，采用与应用***对应的属性提取规则提取该告警规则的第一类属性和第二类属性。为了方便描述，第一类属性又称为a类属性，第二类属性又称为b类属性。因此，可以获得该告警日志的记录(也可以称为集合)：record＝{t,(a1,a2,a3…),(b1,b2,b3…)}，其中，t为告警日志的采集时间，ai表示属性值固定的属性，即在日志重复判断中需要与被比较对象完全匹配的属性。例如应用***名称、模块名称、告警规则以及网络日志中的协议名称、操作类型、攻击事件类型或者应用程序中的异常程序类，异常方法等。bi表示属性值可变动的属性，即在日志重复判断中需与被比较对象通过相似度判断的属性。例如，描述信息，方法调用路径等。通过哈希函数计算该日志a类属性的hash值。首先对a类中的每个属性进行hash计算，然后将这些属性的hash值拼接为a类属性的hash值，即f(record，a)，遍历内存表获取f(record，a)相同的记录的集合，减少后续数据计算量。若没有相同的记录，则该日志即为非重复日志。通过Simhash算法计算日志中b类每个属性的Simhash值，利用属性的Simhash值与内存表中相应属性的Simhash值的海明距离确定两属性的相似度，并将各个属性的相似度做加权平均，即为当前告警日志的b类属性与内存表中b类属性的相似度sim(record1，record2，b)，给定阈值y，当sim(record1,record2,b)>y时，当前告警日志record1和内存表中告警日志record2为重复日志，否则为不相同日志。如果当前告警日志不是重复日志，则保存告警日志的时间和最终哈希值至内存表中。按时间值检查内存表中的记录，将过期的告警日志的记录删除，保证去重效率。如图2所示，是本说明书根据一示例性实施例示出的一种内存表示意图。在该内存表中，每一行表示一条告警日志的记录，例如，tn表示告警日志n的日志时间，f(recordn，a)表示告警日志n中a类属性的第一属性标识的记录，b1 n表示告警日志n中b类属性中第一个属性的Simhash值，b2 n表示告警日志n中b类属性中第二个属性的Simhash值，其他同理，在此不一一解释。在内存表中，时间窗口为T，在tn+k-tn<T的情况下，内存表中可继续增加告警日志的记录。当增加至tn+m，发现tn +m-tn>T时，删除先加入的记录，例如删除tn。
在一个实施例中，可以将日志处理方法应用在日志告警场景中。在判定告警日志不是重复告警日志后，可以将告警日志发送至告警服务端，由告警服务端进行告警处理。因此，可以及时发现应用***异常状态，发出告警并给出可能的原因，有助于运维人员快速处理***异常。
实际应用中，仅通过日志内容判断程序的具体异常情况可能不准确，因此，本说明书实施例还提供一种告警信息确定手段，以提高具体异常判断的准确性。在判断出所述告警日志不为重复告警日志后，该方法进一步包括：
利用预先配置的与所述告警日志关联的应用程序对应的指标提取规则，提取与所述告警日志相关的环境指标数据；
将所述环境指标数据以及告警日志发送至告警服务端，以使告警服务端结合所述环境指标数据以及告警日志，确定告警日志的告警信息，并输出所述告警信息，所述告警信息包括告警原因、告警日志所对应的异常事件、和/或解决异常事件的指引方法。
在该实施例中，预先针对不同的应用程序配置不同的指标提取规则，指标提取规则是用于提取与告警日志相关的环境指标数据，环境指标数据用于辅助决策告警日志的告警信息。环境指标数据可以是诸如内存、磁盘等***运行状态参数，诸如连接数、队列数据处理状态等程序运行状态参数。针对不同的应用程序提取哪些环境指标数据可以根据事先收集的各应用***异常日志的指标数据而确定。在该实施例中，可以通过执行命令脚本、调用应用***jmx或自定义业务生成数据采集相关指标数据。
可见，在通过日志分析应用***异常时，了解***异常时的环境情况，通过采集***相关指标，实现依据多元数据的聚合分析，提高日志告警的准确率。
以一个组合实施例进行示例说明。如图3所示，是本说明书根据一示例性实施例示出的一种日志采集流程图。本说明书实施例的日志处理方法可以应用在日志采集端。在该示意图中，可以包括：
步骤301，读取日志。例如，从应用***中读取日志。
步骤302，判断是否为告警日志。在该过程中，可以从告警规则库中获取日志告警规则，以判断当前获取的日志是否为告警日志。若当前日志是告警日志，进入步骤303，若当前日志不是告警日志，返回步骤301。
步骤303，提取日志属性。在过程中，可以从告警规则库中获取属性提取规则，以提取日志属性，日志属性包括第一类属性和第二类属性。可以理解的是，第二类属性可以在该阶段提取，也可以在判定已存储的告警日志属性标识记录中存在第一属性标识的情况下提取。
步骤304，判断日志是否重复，若告警日志不是重复告警日志，可以进入步骤305，若告警日志是重复告警日志，返回步骤301。在该过程中，在基于所提取的第一类属性获得第一属性标识后，可以判断已存储的告警日志属性标识记录中是否存在所述第一属性标识，当判断结果为否时，判定该告警日志不是重复告警日志。当判断结果为是时，确定所述告警日志的第二类属性对应的第二属性标识集，依据所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度判断所述告警日志是否为重复告警日志。
步骤305，采集环境指标数据。
步骤306，将告警日志的记录加入内存表。该步骤在判断出所述告警日志不是重复告警日志后，存储所述第一属性标识、第二属性标识集至内存表。
步骤307，更新日志元数据。日志元数据可以包括：日志对应的路径、日志所属应用、日志读取偏移量、是否发生日志切换等，从而保证采集***重启时不会重复采集日志数据。
可以理解的是，图3中与图1中相关技术相同，在此不一一赘述。本说明书实施例使用一种属性哈希去重的告警日志采集方法去除重复的告警日志，提高了判断重复日志的准确率，使得一段时间内相同的告警日志只采集一次，提高了告警日志的采集效率，减少告警日志的网络传输使用。
与前述日志处理方法的实施例相对应，本说明书还提供了日志处理装置及其所应用的电子设备的实施例。
本说明书日志处理装置的实施例可以应用在计算机设备。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在计算机设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本说明书日志处理装置所在计算机设备的一种硬件结构图，除了图4所示的处理器410、网络接口420、内存430、以及非易失性存储器440之外，实施例中日志处理装置431所在的计算机设备通常根据该设备的实际功能，还可以包括其他硬件，对此不再赘述。
如图5所示，是本说明书根据一示例性实施例示出的一种日志处理装置的框图，所述装置包括：
第一属性标识确定模块52，用于确定告警日志的第一类属性对应的第一属性标识，所述第一类属性包括：所述告警日志的日志属性中属性值固定的至少一个属性；
告警日志去重模块56，用于判断已存储的告警日志属性标识记录中是否存在所述第一属性标识；
第二属性标识确定模块54，用于在已存储的告警日志属性标识记录中存在所述第一属性标识时，确定所述告警日志的第二类属性对应的第二属性标识集，所述第二类属性包括：所述告警日志的日志属性中属性值可变动的至少一个属性；第二属性标识集包括第二类属性中每个属性的第二属性标识；
告警日志去重模块56，还用于依据所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度判断所述告警日志是否为重复告警日志。
在一个实施例中，告警日志去重模块，还用于若已存储的告警日志属性标识记录中不存在所述第一属性标识时，判定所述告警日志不为重复告警日志。
在一个实施例中，所述第一属性标识确定模块52，具体用于：
通过哈希函数计算第一类属性中各个属性的哈希值；
将各个属性的哈希值按预设顺序进行拼接得到所述第一属性标识。
在一个实施例中，所述第二属性标识确定模块54，具体用于：
通过Simhash算法计算所述第二类属性中每个属性的Simhash值，第二类属性中所有属性的Simhash值构成所述第二属性标识集。
在一个实施例中，所述告警日志去重模块56，具体用于：
计算第二属性标识集与所述告警日志属性标识记录中的第二属性标识集中属于同一类型属性的第二属性标识之间的相似度；
将各个相似度进行设定运算，得到所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度；
判断所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度是否大于或等于预设相似度阈值，当结果为是时，判定告警日志为重复告警日志；当结果为否时，判定告警日志不是重复告警日志。
在一个实施例中，所述告警日志去重模块56还用于：
在判断出所述告警日志不是重复告警日志后，存储所述第一属性标识、第二属性标识集至所述告警日志属性标识记录。
在一个实施例中，该装置还包括(图5未示出)：
多源指标采集模块，用于在判断出所述告警日志不为重复告警日志后，利用预先配置的与所述告警日志关联的应用程序对应的指标提取规则，提取与所述告警日志相关的环境指标数据；
信息发送模块，用于将所述环境指标数据以及告警日志发送至告警服务端，以使告警服务端结合所述环境指标数据以及告警日志，确定告警日志的告警信息，并输出所述告警信息，所述告警信息包括告警原因、告警日志所对应的异常事件、和/或解决异常事件的指引方法。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
相应的，本说明书实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如下方法：
确定告警日志的第一类属性对应的第一属性标识，所述第一类属性包括：所述告警日志的日志属性中属性值固定的至少一个属性；
判断已存储的告警日志属性标识记录中是否存在所述第一属性标识，当判断结果为是时，确定所述告警日志的第二类属性对应的第二属性标识集，所述第二类属性包括：所述告警日志的日志属性中属性值可变动的至少一个属性；第二属性标识集包括第二类属性中每个属性的第二属性标识；
依据所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度判断所述告警日志是否为重复告警日志。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
相应的，本说明书还提供一种计算机存储介质，所述存储介质中存储有程序指令，所述程序指令包括：
确定告警日志的第一类属性对应的第一属性标识，所述第一类属性包括：所述告警日志的日志属性中属性值固定的至少一个属性；
判断已存储的告警日志属性标识记录中是否存在所述第一属性标识，当判断结果为是时，确定所述告警日志的第二类属性对应的第二属性标识集，所述第二类属性包括：所述告警日志的日志属性中属性值可变动的至少一个属性；第二属性标识集包括第二类属性中每个属性的第二属性标识；
依据所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度判断所述告警日志是否为重复告警日志。
本说明书实施例可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
相应的，本说明书还提供一种日志告警***，所述***包括：日志采集端和告警服务端。将上述日志处理方法应用在日志采集端。如图6所示，是本说明书根据一示例性实施例示出的一种日志告警***的结构示意图。***包括日志采集端62和告警服务端64。
日志采集端62用于：确定告警日志的第一类属性对应的第一属性标识，所述第一类属性包括：所述告警日志的日志属性中属性值固定的至少一个属性；判断已存储的告警日志属性标识记录中是否存在所述第一属性标识，当判断结果为是时，确定所述告警日志的第二类属性对应的第二属性标识集，所述第二类属性包括：所述告警日志的日志属性中属性值可变动的至少一个属性；第二属性标识集包括第二类属性中每个属性的第二属性标识；依据所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度判断所述告警日志是否为重复告警日志；将不是重复告警日志的告警日志发送至告警服务端；
告警服务端64用于：接收日志采集端发送的告警日志，并根据所接收的告警日志生成告警信息。
可以理解的是，日志采集端中所涉及的技术特征与图1中相关技术相同，在此不一一赘述。
在一个实施例中，日志采集端可以针对不同的应用***配置日志抓取内容，并管理日志元数据。根据异常日志的类型提取告警日志相关日志属性，并使用哈希去重的方法去掉重复告警日志。
作为其中一种实现方式，日志采集端可以包括日志读取模块、多源指标采集模块、元数据管理模块以及告警日志去重模块。
日志读取模块，根据配置可以识别应用***下的日志文件，提交任务读取日志记录。当读取到告警日志时，可以判断告警的类型，并将告警日志解析为包括第一类属性和第二类属性的集合。同时***会定时扫描应用***日志目录下是否产生新的需要抓取的日志文件。
多源指标采集模块，依据需要采集的环境指标数据(如***指标)，本模块可以通过执行命令脚本、调用应用***jmx和自定义业务生成数据采集相关指标数据。
元数据管理模块，可以管理日志相关的元数据，包括日志对应的路径、日志所属应用，日志读取偏移量、是否发生日志切换，保证采集***重启时不会重复采集日志数据。
告警日志去重模块，可以构建一个内存表，存储告警日志哈希记录及日志采集时间。根据预设的日志属性提取规则，提取相关日志数据，并计算第一类属性中属性的hash值以及第二类属性中属性的Simhash值，从而获得第一属性标识以及第二属性标识集。通过与内存表中的hash记录对比，判断新的日志是否重复，若不重复则将该日志的记录添加到内存表中，同时按时间窗口移除过期的告警记录。
告警服务端，主要维护收集的应用***异常模式，制定异常告警规则，使用采集到的指标进行综合判断，对符合告警规则的日志，发送告警信息。告警服务端中包括告警规则库和告警模块。告警规则库中，可以事先收集各应用***异常日志，并设置日志告警规则、属性提取规则以及指标提取规则等。告警模块可以根据各个***指标以及告警日志综合判断具体告警，发送告警信息。
可见，该***在采集到***异常的告警日志时，会根据指标提取规则，收集***相关指标，辅助决策告警信息，提高了日志告警的准确度，有利于运维人员排查问题。同时通过抽取预设指定类型日志的属性，采用哈希函数计算第一类属性的hash值以及第二类属性的Simhash值，在给定的时间窗口内，通过比较哈希值判断是否重复告警日志，并将非重复的告警日志发送告警服务端。采用属性哈希去重的方式提高了重复告警日志的准确率和效率，从而减少重复告警。
本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本说明书的真正范围和精神由下面的权利要求指出。
应当理解的是，本说明书并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。
以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。
Claims (13)
1.一种日志处理方法，其特征在于，所述方法包括：
确定告警日志的第一类属性对应的第一属性标识，所述第一类属性包括：所述告警日志的日志属性中属性值固定的至少一个属性；
判断已存储的告警日志属性标识记录中是否存在所述第一属性标识，当判断结果为是时，确定所述告警日志的第二类属性对应的第二属性标识集，所述第二类属性包括：所述告警日志的日志属性中属性值可变动的至少一个属性；第二属性标识集包括第二类属性中每个属性的第二属性标识；
依据所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度判断所述告警日志是否为重复告警日志。
2.根据权利要求1所述的方法，其特征在于，所述确定告警日志的第一类属性对应的第一属性标识，包括：
通过哈希函数计算第一类属性中各个属性的哈希值；
将各个属性的哈希值按预设顺序进行拼接得到所述第一属性标识。
3.根据权利要求1所述的方法，其特征在于，所述确定所述告警日志的第二类属性对应的第二属性标识集，包括：
通过Simhash算法计算所述第二类属性中每个属性的Simhash值，第二类属性中所有属性的Simhash值构成所述第二属性标识集。
4.根据权利要求1所述的方法，其特征在于，所述依据所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度判断所述告警日志是否为重复告警日志，包括：
计算第二属性标识集与所述告警日志属性标识记录中的第二属性标识集中属于同一类型属性的第二属性标识之间的相似度；
将各个相似度进行设定运算，得到所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度；
判断所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度是否大于或等于预设相似度阈值，当结果为是时，判定告警日志为重复告警日志；当结果为否时，判定告警日志不是重复告警日志。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在判断出所述告警日志不是重复告警日志后，存储所述第一属性标识、第二属性标识集至所述告警日志属性标识记录。
6.根据权利要求1至5任一项所述的方法，其特征在于，在判断出所述告警日志不为重复告警日志后，该方法进一步包括：
利用预先配置的与所述告警日志关联的应用程序对应的指标提取规则，提取与所述告警日志相关的环境指标数据；
将所述环境指标数据以及告警日志发送至告警服务端，以使告警服务端结合所述环境指标数据以及告警日志，确定告警日志的告警信息，并输出所述告警信息，所述告警信息包括告警原因、告警日志所对应的异常事件、和/或解决异常事件的指引方法。
7.一种日志处理装置，其特征在于，所述装置包括：
第一属性标识确定模块，用于确定告警日志的第一类属性对应的第一属性标识，所述第一类属性包括：所述告警日志的日志属性中属性值固定的至少一个属性；
告警日志去重模块，用于判断已存储的告警日志属性标识记录中是否存在所述第一属性标识；
第二属性标识确定模块，用于在已存储的告警日志属性标识记录中存在所述第一属性标识时，确定所述告警日志的第二类属性对应的第二属性标识集，所述第二类属性包括：所述告警日志的日志属性中属性值可变动的至少一个属性；第二属性标识集包括第二类属性中每个属性的第二属性标识；
所述告警日志去重模块，还用于依据所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度判断所述告警日志是否为重复告警日志。
8.根据权利要求7所述的装置，其特征在于，所述第一属性标识确定模块，具体用于：
通过哈希函数计算第一类属性中各个属性的哈希值；
将各个属性的哈希值按预设顺序进行拼接得到所述第一属性标识。
9.根据权利要求7所述的装置，其特征在于，所述第二属性标识确定模块，具体用于：
通过Simhash算法计算所述第二类属性中每个属性的Simhash值，第二类属性中所有属性的Simhash值构成所述第二属性标识集。
10.根据权利要求7所述的装置，其特征在于，所述告警日志去重模块具体用于：
计算第二属性标识集与所述告警日志属性标识记录中的第二属性标识集中属于同一类型属性的第二属性标识之间的相似度；
将各个相似度进行设定运算，得到所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度；
判断所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度是否大于或等于预设相似度阈值，当结果为是时，判定告警日志为重复告警日志；当结果为否时，判定告警日志不是重复告警日志。
11.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如下方法：
确定告警日志的第一类属性对应的第一属性标识，所述第一类属性包括：所述告警日志的日志属性中属性值固定的至少一个属性；
判断已存储的告警日志属性标识记录中是否存在所述第一属性标识，当判断结果为是时，确定所述告警日志的第二类属性对应的第二属性标识集，所述第二类属性包括：所述告警日志的日志属性中属性值可变动的至少一个属性；第二属性标识集包括第二类属性中每个属性的第二属性标识；
依据所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度判断所述告警日志是否为重复告警日志。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至6任一项所述方法的步骤。
13.一种日志告警***，其特征在于，所述***包括：日志采集端和告警服务端；
日志采集端用于：确定告警日志的第一类属性对应的第一属性标识，所述第一类属性包括：所述告警日志的日志属性中属性值固定的至少一个属性；判断已存储的告警日志属性标识记录中是否存在所述第一属性标识，当判断结果为是时，确定所述告警日志的第二类属性对应的第二属性标识集，所述第二类属性包括：所述告警日志的日志属性中属性值可变动的至少一个属性；第二属性标识集包括第二类属性中每个属性的第二属性标识；依据所述第二属性标识集与所述告警日志属性标识记录中的第二属性标识集之间的相似度判断所述告警日志是否为重复告警日志；将不是重复告警日志的告警日志发送至告警服务端；
告警服务端用于：接收日志采集端发送的告警日志，并根据所接收的告警日志生成告警信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811230933.4A CN111078513B (zh) | 2018-10-22 | 2018-10-22 | 日志处理方法、装置、设备、存储介质及日志告警*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811230933.4A CN111078513B (zh) | 2018-10-22 | 2018-10-22 | 日志处理方法、装置、设备、存储介质及日志告警*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111078513A true CN111078513A (zh) | 2020-04-28 |
| CN111078513B CN111078513B (zh) | 2024-02-27 |
Family
ID=70308243
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811230933.4A Active CN111078513B (zh) | 2018-10-22 | 2018-10-22 | 日志处理方法、装置、设备、存储介质及日志告警*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111078513B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112000806A (zh) * | 2020-08-25 | 2020-11-27 | 携程旅游信息技术（上海）有限公司 | 异常日志监控分析方法、***、设备及存储介质 |
| CN112104480A (zh) * | 2020-08-05 | 2020-12-18 | 福建天泉教育科技有限公司 | 提高告警质量的方法及其*** |
| CN112685277A (zh) * | 2020-12-31 | 2021-04-20 | 海光信息技术股份有限公司 | 警告信息检查方法、装置、电子设备和可读存储介质 |
| CN113077615A (zh) * | 2021-03-22 | 2021-07-06 | 杭州海康威视数字技术股份有限公司 | 报警信息处理方法、装置及电子设备 |
| CN113220543A (zh) * | 2021-04-15 | 2021-08-06 | 新浪网技术(中国)有限公司 | 一种业务自动报警方法及装置 |
| CN113259166A (zh) * | 2021-05-27 | 2021-08-13 | 长扬科技（北京）有限公司 | 一种日志告警处理方法和装置 |
| CN113904815A (zh) * | 2021-09-22 | 2022-01-07 | 深信服科技股份有限公司 | 一种告警聚合方法、装置、设备及计算机存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7031981B1 (en) * | 2001-12-21 | 2006-04-18 | Unisys Corporation | Tool supporting system log file reporting |
| CN103095503A (zh) * | 2013-01-23 | 2013-05-08 | 网神信息技术（北京）股份有限公司 | 告警方法及装置 |
| US20150106663A1 (en) * | 2013-10-15 | 2015-04-16 | Sas Institute Inc. | Hash labeling of logging messages |
| WO2015146086A1 (ja) * | 2014-03-28 | 2015-10-01 | 日本電気株式会社 | ログ分析システム、障害原因分析システム、ログ分析方法、および、記録媒体 |
| CN105335422A (zh) * | 2014-08-06 | 2016-02-17 | 阿里巴巴集团控股有限公司 | 舆情信息的告警方法及装置 |
| US20160070739A1 (en) * | 2014-09-10 | 2016-03-10 | Ca, Inc, | Batch processed data structures in a log repository referencing a template repository and an attribute repository |
| CN106713017A (zh) * | 2016-12-08 | 2017-05-24 | 国网北京市电力公司 | 告警信息的处理方法及装置 |
| CN107248927A (zh) * | 2017-05-02 | 2017-10-13 | 华为技术有限公司 | 故障定位模型的生成方法、故障定位方法和装置 |
| CN107423194A (zh) * | 2017-06-30 | 2017-12-01 | 阿里巴巴集团控股有限公司 | 前端异常告警处理方法、装置及*** |
-
2018
- 2018-10-22 CN CN201811230933.4A patent/CN111078513B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7031981B1 (en) * | 2001-12-21 | 2006-04-18 | Unisys Corporation | Tool supporting system log file reporting |
| CN103095503A (zh) * | 2013-01-23 | 2013-05-08 | 网神信息技术（北京）股份有限公司 | 告警方法及装置 |
| US20150106663A1 (en) * | 2013-10-15 | 2015-04-16 | Sas Institute Inc. | Hash labeling of logging messages |
| WO2015146086A1 (ja) * | 2014-03-28 | 2015-10-01 | 日本電気株式会社 | ログ分析システム、障害原因分析システム、ログ分析方法、および、記録媒体 |
| CN105335422A (zh) * | 2014-08-06 | 2016-02-17 | 阿里巴巴集团控股有限公司 | 舆情信息的告警方法及装置 |
| US20160070739A1 (en) * | 2014-09-10 | 2016-03-10 | Ca, Inc, | Batch processed data structures in a log repository referencing a template repository and an attribute repository |
| CN106713017A (zh) * | 2016-12-08 | 2017-05-24 | 国网北京市电力公司 | 告警信息的处理方法及装置 |
| CN107248927A (zh) * | 2017-05-02 | 2017-10-13 | 华为技术有限公司 | 故障定位模型的生成方法、故障定位方法和装置 |
| CN107423194A (zh) * | 2017-06-30 | 2017-12-01 | 阿里巴巴集团控股有限公司 | 前端异常告警处理方法、装置及*** |
Non-Patent Citations (1)
| Title |
|---|
| 刘夏龙: "入侵检测报警数据的过滤与聚合技术研究", pages 3 - 4 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112104480A (zh) * | 2020-08-05 | 2020-12-18 | 福建天泉教育科技有限公司 | 提高告警质量的方法及其*** |
| CN112000806A (zh) * | 2020-08-25 | 2020-11-27 | 携程旅游信息技术（上海）有限公司 | 异常日志监控分析方法、***、设备及存储介质 |
| CN112685277A (zh) * | 2020-12-31 | 2021-04-20 | 海光信息技术股份有限公司 | 警告信息检查方法、装置、电子设备和可读存储介质 |
| CN113077615A (zh) * | 2021-03-22 | 2021-07-06 | 杭州海康威视数字技术股份有限公司 | 报警信息处理方法、装置及电子设备 |
| CN113220543A (zh) * | 2021-04-15 | 2021-08-06 | 新浪网技术(中国)有限公司 | 一种业务自动报警方法及装置 |
| CN113220543B (zh) * | 2021-04-15 | 2024-02-23 | 新浪技术（中国）有限公司 | 一种业务自动报警方法及装置 |
| CN113259166A (zh) * | 2021-05-27 | 2021-08-13 | 长扬科技（北京）有限公司 | 一种日志告警处理方法和装置 |
| CN113904815A (zh) * | 2021-09-22 | 2022-01-07 | 深信服科技股份有限公司 | 一种告警聚合方法、装置、设备及计算机存储介质 |
| CN113904815B (zh) * | 2021-09-22 | 2024-05-28 | 深信服科技股份有限公司 | 一种告警聚合方法、装置、设备及计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111078513B (zh) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111078513B (zh) | 日志处理方法、装置、设备、存储介质及日志告警*** | |
| CN109034993B (zh) | 对账方法、设备、***及计算机可读存储介质 | |
| US10649838B2 (en) | Automatic correlation of dynamic system events within computing devices | |
| US10031829B2 (en) | Method and system for it resources performance analysis | |
| US20160055044A1 (en) | Fault analysis method, fault analysis system, and storage medium | |
| CN112506894A (zh) | 基于链路追踪的服务链日志处理方法、装置和计算机设备 | |
| CN108322350B (zh) | 业务监控方法及装置和电子设备 | |
| CN110471945B (zh) | 活跃数据的处理方法、***、计算机设备和存储介质 | |
| CN111881011A (zh) | 日志管理方法、平台、服务器及存储介质 | |
| CN113254255B (zh) | 一种云平台日志的分析方法、***、设备及介质 | |
| CN111614483A (zh) | 链路监控方法、装置、存储介质及计算机设备 | |
| CN112800061B (zh) | 一种数据存储方法、装置、服务器及存储介质 | |
| CN113448935A (zh) | 用于提供日志信息的方法、电子设备和计算机程序产品 | |
| CN114968959A (zh) | 日志处理方法、日志处理装置及存储介质 | |
| CN111143103A (zh) | 一种关联关系确定方法、装置、设备及可读存储介质 | |
| CN112948262A (zh) | 一种***测试方法、装置、计算机设备和存储介质 | |
| CN115658441B (zh) | 一种基于日志的家政业务***异常监控方法、设备及介质 | |
| CN112612679A (zh) | ***运行状态监控方法、装置、计算机设备和存储介质 | |
| CN115658443B (zh) | 一种日志过滤方法及装置 | |
| CN109101234B (zh) | 确定页面与业务模块之间对应关系的方法及装置 | |
| CN116881100A (zh) | 日志检测方法、日志告警方法、***、设备及存储介质 | |
| CN115580528A (zh) | 故障根因定位方法、装置、设备及可读存储介质 | |
| CN111966339B (zh) | 埋点参数的录入方法、装置、计算机设备和存储介质 | |
| CN114996080A (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN108829563B (zh) | 一种告警方法和告警装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |