CN115473789B - 告警处理方法以及相关设备 - Google Patents
告警处理方法以及相关设备 Download PDFInfo
- Publication number
- CN115473789B CN115473789B CN202211128454.8A CN202211128454A CN115473789B CN 115473789 B CN115473789 B CN 115473789B CN 202211128454 A CN202211128454 A CN 202211128454A CN 115473789 B CN115473789 B CN 115473789B
- Authority
- CN
- China
- Prior art keywords
- field content
- alarm
- access
- statistical
- target access
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims description 30
- 230000015654 memory Effects 0.000 claims description 17
- 238000013138 pruning Methods 0.000 claims description 9
- 238000012217 deletion Methods 0.000 claims description 8
- 230000037430 deletion Effects 0.000 claims description 8
- 230000002085 persistent effect Effects 0.000 claims description 3
- 230000006403 short-term memory Effects 0.000 claims description 2
- 238000012423 maintenance Methods 0.000 abstract description 15
- 238000004458 analytical method Methods 0.000 description 8
- 230000002776 aggregation Effects 0.000 description 6
- 238000004220 aggregation Methods 0.000 description 6
- 235000014510 cooky Nutrition 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012300 Sequence Analysis Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Alarm Systems (AREA)
Abstract
本申请实施例公开了告警处理方法以及相关设备,用于提升运维效率。本申请实施例方法包括:从当前待处理告警中获取目标访问字段内容;将目标访问字段内容存储入与目标访问字段内容达到预设相似条件的字段内容聚类组,以得到当前字段内容聚类组;为当前字段内容聚类组确定对应的至少两个统计周期;根据当前字段内容聚类组中各个字段内容的访问时间所归入的统计子周期,统计得到每个统计周期各自对应的字段内容访问次数序列;确定至少两个统计周期中的当前统计周期对应的字段内容访问次数序列与每个其他统计周期对应的字段内容访问次数序列的时序相似度,得到时序相似度结果;根据时序相似度结果,确定当前待处理告警是否为误报告警。
Description
技术领域
本申请实施例涉及计算机安全领域,尤其涉及告警处理方法以及相关设备。
背景技术
在复杂的业务场景下,由于业务不规范以及部分安全产品规则太宽松,不可避免地会在检测过程中产生大量误报告警,导致真正有价值的非误报告警被淹没在误报告警中。运维人员的研判能力有限,面对日增的大量的未分类告警,运维人员无法从告警日志中及时发现会产生威胁的非误报告警,极大影响了运维效率。
目前通常采用源IP、目的IP和攻击类型聚类的方法对告警日志中的大量告警进行聚合,通过源IP、目的IP和攻击类型区分误报告警和非误报告警。
但如果攻击者利用代理不断变换IP,目前的方案就无法有效的区分误报告警和非误报告警,限制了运维效率的提升。
发明内容
本申请实施例提供了告警处理方法以及相关设备,用于提升运维效率。
本申请实施例第一方面提供一种告警处理方法,包括:
从当前待处理告警中获取目标访问字段内容,所述目标访问字段内容具有对应的访问时间;
将所述目标访问字段内容存储入与所述目标访问字段内容达到预设相似条件的字段内容聚类组,以得到当前字段内容聚类组;其中所述字段内容聚类组包括至少一个历史待处理告警的历史访问字段内容,且所述历史访问字段内容具有对应的访问时间;
为所述当前字段内容聚类组确定对应的至少两个统计周期,所述统计周期包括按时间顺序排列的多个统计子周期;
根据所述当前字段内容聚类组中各个字段内容的访问时间所归入的统计子周期,统计得到每个所述统计周期各自对应的字段内容访问次数序列;
确定所述至少两个统计周期中的当前统计周期对应的字段内容访问次数序列与每个其他统计周期对应的字段内容访问次数序列的时序相似度,得到时序相似度结果;所述当前统计周期为所述目标访问字段内容对应的访问时间所归入的统计周期;所述其他统计周期为所述至少两个统计周期中除所述当前统计周期之外的统计周期;
根据所述时序相似度结果,确定所述当前待处理告警是否为误报告警。
在一种具体实现方式中,在将所述目标访问字段内容存储入与所述目标访问字段内容达到预设相似条件的字段内容聚类组之前,所述方法还包括:
获得预先设置的告警白名单,所述告警白名单包含至少一类非误报告警的告警特征;
若所述目标访问字段内容的告警特征与任一类非误报告警的告警特征一致,则确定所述待处理告警为误报告警;
若所述字段内容的告警特征与所有类非误报告警的告警特征均不一致,则执行将所述目标访问字段内容存储入与所述目标访问字段内容达到预设相似条件的字段内容聚类组的步骤。
在一种具体实现方式中,所述方法还包括:
确定已经存储的至少一个字段内容聚类组中各字段内容聚类组对应的至少两个历史统计周期,所述历史统计周期包括按时间顺序排列的多个历史统计子周期;
根据各字段内容聚类组中各历史字段内容的访问时间所归入的历史统计子周期,统计得到各字段内容聚类组在每个所述历史统计周期各自对应的字段内容访问次数序列;
将对应的多个字段内容访问次数序列满足预设判白条件的字段内容聚类组的告警特征添加至告警白名单。
在一种具体实现方式中,所述方法还包括:
定期对所述告警白名单进行删减处理,获取所述告警白名单中每类非误报告警的告警特征对应的历史访问字段内容所存储的字段内容聚类组的历史访问次数;
将对应的历史访问次数满足预设删除条件的告警特征从所述告警白名单中删除,以得到新的告警白名单。
在一种具体实现方式中,所述将所述目标访问字段内容存储入与所述目标访问字段内容达到预设相似条件的字段内容聚类组,以得到当前字段内容聚类组,包括:
在已经存储的至少一个字段内容聚类组中,查找与所述目标访问字段内容达到预设相似条件的字段内容聚类组;
将所述目标访问字段内容存储入查找到的字段内容聚类组,以得到当前字段内容聚类组。
在一种具体实现方式中,所述在已经存储的至少一个字段内容聚类组中,查找与所述目标访问字段内容达到预设相似条件的字段内容聚类组,包括:
在已经存储的至少一个字段内容聚类组中,计算所述目标访问字段内容与字段内容聚类组中历史访问字段内容的文本相似度,以查找与所述目标访问字段内容达到预设相似条件的字段内容聚类组;
或者,
在已经存储的至少一个字段内容聚类组中,计算所述目标访问字段内容与字段内容聚类组中指定历史访问字段内容的文本相似度,以查找与所述目标访问字段内容达到预设相似条件的字段内容聚类组;其中,所述指定历史访问字段内容为每个字段内容聚类组中对应的文本相似度之和最大的历史访问字段内容。
在一种具体实现方式中,在所述依次计算所述目标访问字段内容与每个字段内容聚类组中指定历史访问字段内容的文本相似度之前,所述方法还包括:
获取每个字段内容聚类组中任意两个历史访问字段内容之间的文本相似度;
确定所述每个字段内容聚类组中对应的文本相似度之和最大的历史访问字段内容为指定历史访问字段内容。
在一种具体实现方式中,所述将所述目标访问字段内容存储入与所述目标访问字段内容达到预设相似条件的字段内容聚类组,包括:
根据预设泛化规则确定所述目标访问字段内容对应的目标泛化字段内容;
将所述目标访问字段内容存储入与所述目标泛化字段内容达到预设相似条件的字段内容聚类组。
本申请实施例第二方面提供一种告警处理设备,包括:
获取单元,用于从当前待处理告警中获取目标访问字段内容,所述目标访问字段内容具有对应的访问时间;
存储单元,用于将所述目标访问字段内容存储入与所述目标访问字段内容达到预设相似条件的字段内容聚类组,以得到当前字段内容聚类组;其中所述字段内容聚类组包括至少一个历史待处理告警的历史访问字段内容,且所述历史访问字段内容具有对应的访问时间;
确定单元,用于为所述当前字段内容聚类组确定对应的至少两个统计周期,所述统计周期包括按时间顺序排列的多个统计子周期;
统计单元,用于根据所述当前字段内容聚类组中各个字段内容的访问时间所归入的统计子周期,统计得到每个所述统计周期各自对应的字段内容访问次数序列;
所述确定单元,还用于确定所述至少两个统计周期中的当前统计周期对应的字段内容访问次数序列与每个其他统计周期对应的字段内容访问次数序列的时序相似度,得到时序相似度结果;所述当前统计周期为所述目标访问字段内容对应的访问时间所归入的统计周期;所述其他统计周期为所述至少两个统计周期中除所述当前统计周期之外的统计周期;
所述确定单元,还用于根据所述时序相似度结果,确定所述当前待处理告警是否为误报告警。
在一种具体实现方式中,所述获取单元,还用于获得预先设置的告警白名单,所述告警白名单包含至少一类非误报告警的告警特征;
所述确定单元,还用于若所述目标访问字段内容的告警特征与任一类非误报告警的告警特征一致,则确定所述待处理告警为误报告警;
所述存储单元,还用于若所述字段内容的告警特征与所有类非误报告警的告警特征均不一致,则执行将所述目标访问字段内容存储入与所述目标访问字段内容达到预设相似条件的字段内容聚类组的步骤。
在一种具体实现方式中,所述设备还包括:新增单元;
所述确定单元,还用于确定已经存储的至少一个字段内容聚类组中各字段内容聚类组对应的至少两个历史统计周期,所述历史统计周期包括按时间顺序排列的多个历史统计子周期;
所述统计单元,还用于根据各字段内容聚类组中各历史字段内容的访问时间所归入的历史统计子周期,统计得到各字段内容聚类组在每个所述历史统计周期各自对应的字段内容访问次数序列;
所述新增单元,用于将对应的多个字段内容访问次数序列满足预设判白条件的字段内容聚类组的告警特征添加至告警白名单。
在一种具体实现方式中,所述设备还包括:删减单元;
所述获取单元,还用于定期对所述告警白名单进行删减处理,获取所述告警白名单中每类非误报告警的告警特征对应的历史访问字段内容所存储的字段内容聚类组的历史访问次数;
所述删减单元,用于将对应的历史访问次数满足预设删除条件的告警特征从所述告警白名单中删除,以得到新的告警白名单。
在一种具体实现方式中,所述存储单元,具体用于在已经存储的至少一个字段内容聚类组中,查找与所述目标访问字段内容达到预设相似条件的字段内容聚类组;
将所述目标访问字段内容存储入查找到的字段内容聚类组,以得到当前字段内容聚类组。
在一种具体实现方式中,所述存储单元,具体用于在已经存储的至少一个字段内容聚类组中,计算所述目标访问字段内容与字段内容聚类组中历史访问字段内容的文本相似度,以查找与所述目标访问字段内容达到预设相似条件的字段内容聚类组;
或者,
在已经存储的至少一个字段内容聚类组中,计算所述目标访问字段内容与字段内容聚类组中指定历史访问字段内容的文本相似度,以查找与所述目标访问字段内容达到预设相似条件的字段内容聚类组;其中,所述指定历史访问字段内容为每个字段内容聚类组中对应的文本相似度之和最大的历史访问字段内容。
在一种具体实现方式中,所述获取单元,还用于获取每个字段内容聚类组中任意两个历史访问字段内容之间的文本相似度;
所述确定单元,还用于确定所述每个字段内容聚类组中对应的文本相似度之和最大的历史访问字段内容为指定历史访问字段内容。
在一种具体实现方式中,所述存储单元,具体用于根据预设泛化规则确定所述目标访问字段内容对应的目标泛化字段内容;
将所述目标访问字段内容存储入与所述目标泛化字段内容达到预设相似条件的字段内容聚类组。
本申请实施例第三方面提供一种告警处理设备,包括:
中央处理器,存储器以及输入输出接口;
所述存储器为短暂存储存储器或持久存储存储器;
所述中央处理器配置为与所述存储器通信,并执行所述存储器中的指令操作以执行第一方面所述的方法。
本申请实施例第四方面提供一种包含指令的计算机程序产品,当所述计算机程序产品在计算机上运行时,使得计算机执行如第一方面所述的方法。
本申请实施例第五方面提供一种计算机存储介质,所述计算机存储介质中存储有指令,所述指令在计算机上执行时,使得所述计算机执行如第一方面所述的方法。
从以上技术方案可以看出,本申请实施例具有以下优点:考虑到非误报告警对服务器的攻击是往往是间断性、多变、不可持续的,而主要由业务告警构成的误报告警在一段时间内的时序变化通常是有规律的。首先,基于预设显示条件将当前待处理告警的目标访问字段内容归入一个字段内容聚类组以得到当前字段内容聚类组;然后以当前字段内容聚类组在至少两个统计周期的字段内容访问次数序列的相似度为相似度结果;最后根据相似度结果确定当前待处理告警是否为误报告警,能有效的筛选出待处理告警中的误报告警,很大程度上减少了运维人员需要研判的告警数量,提升了运维效率。
附图说明
图1为本申请实施例公开的告警处理方法的一种***架构图;
图2为本申请实施例公开的告警处理方法的一种流程示意图;
图3为本申请实施例公开的告警处理方法的另一流程示意图;
图4为本申请实施例公开的告警处理设备一个结构示意图;
图5为本申请实施例公开的告警处理设备另一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供了告警处理方法以及相关设备,用于提升运维效率。
为了更好的实现本申请实施例的告警处理方法,请参阅图1,本申请实施例提供一种告警处理***,该告警处理***包括至少一个告警处理设备101。将当前待处理告警输入告警处理设备101后,告警处理设备101可以从当前待处理告警中获取目标访问字段内容,并将目标访问字段内容存储至与其达到预设相似条件的字段内容聚类组,得到当前字段内容聚类组。然后,获取当前字段内容聚类组在至少两个统计周期中各统计周期的字段内容访问次数序列,并计算目标访问字段内容所在的当前统计周期的字段内容访问次数序列,与至少两个统计周期中除当前统计周期外的各其他统计周期的字段内容访问次数序列的时序相似度,并根据时序相似度来判断目标访问字段内容是否为误报告警。
其中,告警处理设备101可以但不限于是各种终端或服务器。如个人计算机、笔记本电脑、智能手机、平板电脑、便携式可穿戴设备;独立的服务器或者是多个服务器组成的服务器集群,本实施例不做具体限定。
请参阅图2,在前述告警处理***的基础上,本申请实施例提供一种告警处理方法,包括:
201、从当前待处理告警中获取目标访问字段内容,目标访问字段内容具有对应的访问时间。
其中目标访问字段内容可以是当前待处理告警中多个字段中最可能是攻击字段的字段(即目标访问字段)相应的字段内容。目标访问字段内容对应的访问时间可以是获取当前待处理告警的时间,或者是将目标访问字段内容存储至步骤202所述的与目标访问字段内容达到预设相似条件的字段内容聚类组的时间,此处不做具体限定。
在一种具体实现方式中,在执行步骤201之前,可以预先设置一个攻击字段列表,攻击字段列表中当前待处理告警的各个访问字段按照可能是攻击字段的可能性进行排序。在获得一个待处理告警后,将该待处理告警中的每个访问字段与攻击字段列表中多个依照攻击可能性排序的访问字段进行比对,以确定待处理告警包含的多个访问字段中攻击可能性最高的访问字段作为目标访问字段,并确定目标访问字段相应的字段内容为目标访问字段内容。
可以知道的是,攻击字段列表中还可以包含当前待处理告警中不包含但可能出现在其他待处理告警中的访问字段,只要攻击字段列表中各访问字段依照可能是攻击字段的可能性排序,此处不作限定。
另外,当前待处理告警可以是从定时获取的告警日志中获取的,或者在每个告警生成时获取的需要判断是否为误报告警的任一待处理告警,此处不做限定。
202、将目标访问字段内容存储入与目标访问字段内容达到预设相似条件的字段内容聚类组,以得到当前字段内容聚类组;其中字段内容聚类组包括至少一个历史待处理告警的历史访问字段内容,且历史访问字段内容具有对应的访问时间。
接着,在步骤201确定当前待处理告警中的目标访问字段后将目标访问字段内容存入与目标访问字段内容到达预设相似条件的字段内容聚类组,以得到当前字段内容聚类组。
在实际应用中,在本步骤202之前,存在已经存储的至少一个字段内容聚类组,每个字段内容聚类组包括已经处理过的至少一个历史待处理告警的目标访问字段内容(即包括已经处理过的至少一个历史待处理告警的历史访问字段内容)。与目标访问字段内容类似,每个字段内容聚类组中包含的历史访问字段也有对应的访问时间,具体的,历史访问字段内容对应的访问时间与前述步骤201中目标访问字段内容相应的访问时间类似,此处不再赘述。
在一些具体实现方式中,本步骤202具体可以通过以下方式实现:在已经存储的至少一个字段内容聚类组中,查找与目标访问字段内容达到预设相似条件的字段内容聚类组;将目标访问字段内容存储入查找到的字段内容聚类组,以得到当前字段内容聚类组。
具体的,有两种实现方式:方式一:确定目标访问字段内容与已经存储的至少一个字段内容聚类组中每个字段内容聚类组的文本相似度,并确定多个文本相似度中,最高的文本相似度对应的字段内容聚类组为与目标访问字段内容达到预设相似条件的字段内容聚类组,然后将目标访问字段内容存入该字段内容聚类组,以得到当前字段内容聚类组;方式二:随机选择已经存储的至少一个字段内容聚类组中任一字段内容聚类组为目标字段内容聚类组,确定目标访问字段内容与该目标字段内容聚类组的文本相似度,若目标访问字段内容与该目标字段内容聚类组的文本相似度不小于预设文本相似度,则确定该目标字段内容聚类组为与该目标访问字段内容达到预设相似条件的字段内容聚类组;若该目标字段内容聚类组与目标访问字段内容的文本相似度小于预设文本相似度,则随机从已经存储的至少一个字段内容聚类组中选择任一未与目标访问字段内容确定过文本相似度的字段内容聚类组作为目标字段内容聚类组,直至确定到与目标访问字段内容达到预设相似条件的字段内容聚类组,就将目标访问字段内容存入该字段内容聚类组,以得到当前字段内容聚类组。此处不对本步骤的实现方式做具体限定。
其中,前述以及后述文本相似度可以是包括但不限于:矩阵相似度、余弦相似度或jaro相似度的任一文本相似度算法。
可以知道的是,若不存在与目标访问字段内容达到预设相似条件的字段内容聚类组,则确定当前待处理告警为非误报告警,并新增一个字段内容聚类组用于存储该目标访问字段内容。
203、为当前字段内容聚类组确定对应的至少两个统计周期,统计周期包括按时间顺序排列的多个统计子周期。
根据预设的统计周期时长以及预设的统计子周期时长,从当前时刻起按照预设的统计周期时长确定至少两个统计周期对应的时间段,以及确定的每个统计周期中对应的时间段中按预设的统计子周期时长确定依照并时间顺序排列的多个统计子周期对应的时间段。最后将确定的统计周期的时间段以及每个统计周期时间段包含的按时间顺序排列的多个统计子周期的时间段,作为当前字段内容集对应的统计周期时间段以及统计子周期时间段。其中,统计子周期的时长小于统计子周期时长,统计周期包括的统计子周期是依照预设子周期时长对预设的统计周期时长进行划分得到的。如,统计周期时长可以为一周,统计子周期时长为天,则每个统计周期内应当包含七个统计子周期。
另外,当前时刻可以是获取当前待处理告警的时间,或者是将目标访问字段内容存储至步骤202所述的与目标访问字段内容达到预设相似条件的字段内容聚类组的时间,此处不做具体限定。
204、根据当前字段内容聚类组中各个字段内容的访问时间所归入的统计子周期,统计得到每个统计周期各自对应的字段内容访问次数序列。
根据步骤203为当前字段内容聚类组确定对应的至少两个统计周期以及每个统计周期包含的按时间顺序排列的多个统计子周期,将当前字段内容聚类组中各个字段内容的访问时间所归入的统计子周期,统计每个统计子周期的时间段中出现的当前字段内容聚类组的字段内容以及每个字段内容的出现次数,将每个统计子周期的时间段中出现的当前字段内容聚类组的字段内容的出现次数之和确定为该统计子周期内当前字段内容聚类组的字段内容访问次数。根据每个统计子周期对应的当前字段内容聚类组的字段内容访问次数,可以得到包含当前字段内容聚类组在对应的每个统计周期内的每个统计子周期中的字段内容访问次数的按时间顺序排列的每个统计周期各自对应的字段内容访问次数序列。
205、确定至少两个统计周期中的当前统计周期对应的字段内容访问次数序列与每个其他统计周期对应的字段内容访问次数序列的时序相似度,得到时序相似度结果;当前统计周期为目标访问字段内容对应的访问时间所归入的统计周期;其他统计周期为至少两个统计周期中除当前统计周期之外的统计周期。
确定目标访问字段内容对应的访问时间所归入的当前统计周期的字段内容访问次数序列,与步骤203确定的至少两个统计周期中除所述当前统计周期之外的其他各统计周期的字段内容访问次数序列的时序相似度,得到包含当前统计周期的字段内容访问次数序列与各其他统计周期的字段内容访问次数序列的时序相似度的时序相似度结果。
其中,计算时序相似度的时序相似度算法可以是欧氏距离或者动态时间规划(DTW,dynamic time warping)算法,此处不作限定。
206、根据时序相似度结果,确定当前待处理告警是否为误报告警。
具体的,根据步骤205得到的时序相似度结果,可以包括但不限于通过一下两种方式进行当前待处理告警是否为误报告警的判断。方式一:若时序相似度结果中包含的任一时序相似度不小于预设时序相似度,则认为当前待处理告警为误报告警。方式二:若时序相似度结果中包含的每个时序相似度均不小于预设时序相似度,则认为当前待处理告警为误报告警。可以知道的是,若部分或全部时序相似度均小于预设时序相似度,则认为当前待处理告警为非误报告警,并可以提醒运维人员进行查看。
本申请实施例中,考虑到非误报告警对服务器的攻击是往往是间断性、多变、不可持续的,而主要由业务告警构成的误报告警在一段时间内的时序变化通常是有规律的。首先,基于预设显示条件将当前待处理告警的目标访问字段内容归入一个字段内容聚类组以得到当前字段内容聚类组;然后以当前字段内容聚类组在至少两个统计周期的字段内容访问次数序列的相似度为相似度结果;最后根据相似度结果确定当前待处理告警是否为误报告警,能有效的筛选出待处理告警中的误报告警,很大程度上减少了运维人员需要研判的告警数量,提升了运维效率。
在一种具体实现方式中,前述步骤202所述实施例中,查找与目标访问字段内容达到预设相似条件的字段内容聚类组的步骤中,需要根据目标访问字段内容与字段内容聚类组的相似度确定,目标访问字段内容与各字段内容聚类组的文本相似度可以是:各字段内容聚类组的指定历史访问字段内容与目标访问字段内容的文本相似度,或各字段内容聚类组的任一历史访问字段内容与目标访问字段内容的文本相似度,此处不作具体限定。
具体的,方式一:确定目标访问字段内容与各字段内容聚类组中指定历史访问字段内容的文本相似度,为目标访问字段内容与该字段内容聚类组的文本相似度;方式二:确定目标访问字段内容与各字段内容聚类组中任一历史访问字段内容的文本相似度,为目标访问字段内容与该字段内容聚类组的文本相似度。其中,方式二中所述各字段内容聚类组中任一历史访问字段内容可以是:各字段内容聚类组中任一与目标访问字段内容的文本相似度满足预设相似条件的历史访问字段内容,或者是各字段内容聚类组中与目标访问字段内容的文本相似度最大的历史访问字段内容。
另外,方式一种各字段内容聚类组中的指定历史访问字段内容可以通过以下步骤确定:获取每个字段内容聚类组中任意两个历史访问字段内容之间的相似度;确定每个字段内容聚类组中对应的相似度之和最大的历史访问字段内容为指定历史访问字段内容。
具体的,下面以确定一个字段内容聚类组中的指定历史访问字段内容为例进行描述。计算字段内容聚类组中任意两个历史访问字段内容之间的文本相似度,确定字段内容聚类组中每个历史访问字段内容对应的各文本相似度,计算每个历史访问字段内容对应的各文本相似度之和,确定对应的各本相似度之和最大的历史访问字段内容,为该字段内容聚类组中的指定历史访问字段内容。比如,若一个字段内容聚类组内存在N个字段内容,则需要计算字段内容聚类组内每个历史访问字段内容,与该字段内容聚类组内剩余N-1个历史访问字段内容中各历史访问字段内容的文本相似度,即该字段内容聚类组内每个历史访问字段内容都对应有N-1个文本相似度;然后计算各历史访问字段内容对应的N-1个文本相似度之和,将对应的N-1个文本相似度之和最大的历史访问字段内容,确定为该字段内容聚类组的指定历史访问字段内容。
在实际应用中,本申请前述以及后述实施例中计算任意两个字段内容之间的文本相似度之前,可以先按照预设的泛化规则确定每个字段内容对应的泛化字段内容,然后计算两个字段内容分别对应的泛化字段内容的文本相似度;最后将两个字段内容分别对应的泛化字段内容的文本相似度作为两个字段内容的文本相似度。
进一步的,考虑到部分由业务原因产生的非误报告警的出现频次较高,可进一步的引入告警白名单,以对与告警白名单中的非误报告警的告警特征类似的待处理告警进行快速检测(即判断待处理告警是否为误报告警的检测)。
若引入告警白名单,则在一些具体实现方式中,在步骤202之前,还包括以下步骤:获得预先设置的告警白名单,告警白名单包含至少一类非误报告警的告警特征;若目标访问字段内容的告警特征与任一类非误报告警的告警特征一致,则确定待处理告警为误报告警;若字段内容的告警特征与所有类非误报告警的告警特征均不一致,则执行将目标访问字段内容存储入与目标访问字段内容达到预设相似条件的字段内容聚类组的步骤。
具体的,获取到目标待处理告警的目标访问字段内容后,首先,确定目标访问字段内容的告警特征。然后,将目标访问字段内容的告警特征与告警白名单中每类非误报告警的告警特征进行比较,若目标访问字段内容的告警特征与任一类非误报告警的告警特征一致,则确定待处理告警为误报告警;若字段内容的告警特征与所有类非误报告警的告警特征均不一致,则执行前述步骤201至步骤206以及相关步骤。
其中,告警白名单中的各类非误报告警的告警特征可以是预设的,告警特征具体可以是包括但不限于:目标访问字段内容对应的目标访问字段、当前待处理告警的目的ip和/或当前待处理告警的url。同时,前述以及后述实施例中的告警特征可以是根据预设泛化规则进行泛化后的泛化告警特征。在实际应用中,(未泛化的)告警特征可以展示给运维人员以供查看,相应的泛化后的泛化告警特征可用在对当前待处理告警进行快速检测时比较告警特征一致性时进行使用,以提升泛化能力,具体的对当前待处理告警进行快速检测的方式,与前述实施例相关内容类似,此处不再赘述。
可以知道的是,告警白名单中的各类告警特征除了是预设的,还可以根据各类字段内容聚类组中包含的各历史待处理告警的历史访问字段内容(其中各历史待处理告警的历史访问字段内容的获取方式,与从当前待处理告警中获取目标访问字段内容的方式类似,不再赘述)确定的。定期更新白名单,可以通过以下方式实现:确定已经存储的至少一个字段内容聚类组中各字段内容聚类组对应的至少两个历史统计周期,历史统计周期包括按时间顺序排列的多个历史统计子周期;根据各字段内容聚类组中各历史字段内容的访问时间所归入的历史统计子周期,统计得到各字段内容聚类组在每个历史统计周期各自对应的字段内容访问次数序列;将对应的多个字段内容访问次数序列满足预设判白条件的字段内容聚类组的告警特征添加至告警白名单。
具体的,可以预先设置新增周期,每到一个新增周期就执行告警白名单新增流程。下面以一个周期内执行依次白名单更新为例:首先,确定更新白名单时已经存储的每个字段内容聚类组对应的至少两个历史统计周期,每个历史统计周期包括按时间顺序排列的多个历史统计子周期(此处历史统计周期与历史统计子周期的确定方式,与前述实施例中当前字段内容聚类组对应的统计周期以及统计子周期的确认方式类似,此处不再赘述)。然后,确定每个字段内容聚类组在每个历史统计周期的字段内容访问次数序列,此处确定方式与前述实施例中,确定当前字段内容聚类组在各统计周期对应的字段内容访问次数序列的方式类似,此处不再赘述。再然后,计算每个字段内容聚类组对应的各字段内容访问次数序列中任意两个字段内容访问次数序列的时序相似度(具体计算方式可参照前述时序相似度计算方式的相关实施例,此处不再赘述)。最后,将对应的多个字段内容访问次数序列满足预设判白条件的字段内容聚类组的告警特征添加至告警白名单。其中,字段内容聚类组的告警特征可以是该字段内容聚类组中指定历史访问字段内容对应的告警特征,此处字段内容聚类组中指定历史访问字段内容的确定方式与前述实施例类似,此处不再赘述。可以互
更进一步的,为了优化存储空间,还可以定期或者在存储空间不足时对告警白名单进行删减处理。在一种具体实现方式中,定期删减白名单包括以下步骤:定期对告警白名单进行删减处理,获取告警白名单中每类非误报告警的告警特征对应的历史访问字段内容所存储的字段内容聚类组的历史访问次数;将对应的历史访问次数满足预设删除条件的告警特征从告警白名单中删除,以得到新的告警白名单。
具体的,若告警白名单中的某类告警特征时在定期新增时新增至告警白名单中的,则该类告警特征就对应于某类字段内容聚类组中的指定历史访问字段内容。因此,根据对应的字段内容聚类组的历史访问次数对每类告警特征进行删减处理,将相应的字段内容聚类组的历史访问次数最低的一类告警特征删除。
可以知道的是,部分非误报告警是间歇性出现,为了避免将这部分非误报告警对应的告警特征被删减,在确定每类告警特征对应的字段内容聚类组的历史访问次数后,可以依照每类告警特征对应的字段内容聚类组的历史访问次数对各类告警特征从低至高进行排序(相应的字段内容聚类组的历史访问次数越低,排序越靠前),比较排序第一的告警特征相应的字段内容聚类组的历史访问次数(即历史最低访问次数)和排序第二的告警特征相应的字段内容聚类组的历史访问次数(即历史次低访问次数),若历史次低访问次数超出历史最低访问次数的程度满足预设频次条件,则删除排序第二的告警特征(即相应的字段内容聚类组的历史访问次数为历史次低访问次数的告警特征)而非排序第一的告警特征(即相应的字段内容聚类组的历史访问次数为历史最低访问次数的告警特征)。其中,历史访问次数是字段内容聚类组中的各字段内容在一段时间内处理的待处理告警的目标访问字段内容中的出现次数,预设频次条件和一段时间是根据需求设置,不作具体限定。
另外,前述以及后述实施例中所指告警白名单中的每类告警特征都是一个告警特征,采用类这一量词对告警白名单中的告警特征进行描述仅为强调告警白名单中的每个(类)告警特征都是对一类告警的概括,不代表一类告警特征中有多个告警特征。
下面为了更好的描述本申请实施例,在一个具体的实施场景中,描述本申请实施例的告警处理方法。
本申请实施例提供一种误报消减***,用于对对应的终端或设备的告警进行处理,以判断该告警是否是误报告警,高效地在大量告警中找出非误报告警(即攻击),进而提升运维人员的运维效率。该误报消减***包含:字段内容提取模块、字段内容聚合模块、访问序列存储模块、访问序列分析模块以及白名单模块。
首先,获取(误报消减***)对应的终端或设备的安全日志中的一条告警为当前待处理告警,对该告警依次进行:字段解析、字段解码以及规则/引擎匹配得到目标访问字段内容。然后,白名单模块判断目标访问字段内容对应的告警特征是否与告警白名单中任一告警特征一致,若告警白名单中存在与目标访问字段内容对应的告警特征一致的告警特征,则认为目标访问字段内容是误报告警;若告警白名单中不存在与目标访问字段内容对应的告警特征一致的告警特征,则通过字段内容聚合模块,确定与当前待处理告警达到预设相似条件的字段内容聚类组。接着,获取访问序列存储模块中与当前待处理告警达到预设相似条件的字段内容聚类组的多个周期的字段内容访问次数序列。在然后,访问序列分析模块根据多个周期的字段内容访问次数序列的时序相似度结果,确定当前待处理告警是否为误报告警。
请参阅图3,在前述误报消减***的技术上,获取到当前待处理告警如下:
{
POST/xxx HTTP/1.1
Host:10.100.4.101:8080
cookie:application/x-www-form-urlencoded
referer:100-continue
a=1'union select 1,2,3,database(),5,6
}
接着,对该当前待处理告警进行字段解析,具体包括报文的字段解析和数据格式的字段解析,其中报文字段解析是指对header的uri,body、cookie、referer等解析成键值对,数据格式解析是指对xml、json、mutipart等格式的数据解析成键值对。具体的,上述当前待处理告警进行字段解析可以得到如下内容:
{
"uri":"/xxx",
"referer":"100-continue",
"cookie":"application/x-www-form-urlencoded",
"Host":"10.100.4.101:8080",
"a":"1'%10union%10select%101,2,3,database(),5,6"
}
再接着,对解析后的上述内容进行字段解码。具体可以提供包括但不限于url、html、base64、hex、UTF-16、CP037以及IBM037等编码进行解码,保证进行规则/引擎匹配时的当前待处理告警是解码后的当前待处理告警。具体的,上述解析后的当前待处理告警进行字段解码后可以得到以下内容:
{
"uri":"/xxx",
"referer":"100-continue",
"cookie":"application/x-www-form-urlencoded",
"Host":"10.100.4.101:8080",
"a":"1'union select 1,2,3,database(),5,6"}
误报告警是设备或终端上的规则或引擎产生的,因此需要在平台侧重新用规则/引擎匹配一遍数据包,提取出最可能是攻击字段的目标访问字段内容,即"a"。在匹配过程中,如果遇到数据包截断等情况,需要返回最容易产生攻击的字段,比如post请求被截断,那么就返回body的数据,然后是cookie、reference、等依次字段的数据。具体的,最容易产生攻击的字段可参照前述实施例中的攻击字段列表,此处不再赘述。
然后,字段内容聚合模块根据预设的泛化规则确定{1'union select1,2,3,database(),5,6}(目标访问字段的目标访问字段内容)对应的泛化告警特征,若白名单模块的告警白名单中存在与泛化后的告警特征一致的告警特征,则确定当前待处理告警为误报告警,若白名单模块的告警白名单中不存在与泛化后的告警特征一致的告警特征,则由字段内容聚合模块确定与目标访问字段内容达到预设相似条件的字段内容聚类组并将该目标访问字段内容的访问次数按照各次访问的访问时间增加至访问序列存储模块保存的与目标访问字段内容达到预设相似条件的字段内容聚类组的相应周期的字段内容访问次数序列中。具体的,如图2中字段内容聚合模块相关内容可知,预设的泛化规则可以包括两个,先将目标访问字段内容token化,即将目标访问字段内容中按照预设的token化规则转换为字符串,再将token化之后得到的字符串按照预设的向量化规则转换为向量,得到目标访问字段内容对应的泛化告警特征。需要说明的是,白名单模块中泛化告警特征的生成方式应当与生成目标访问字段内容对应的泛化告警特征一致。另外,图2中的字段内容聚合模块中的token化以及向量化结果仅为举例,不是对本申请实施例技术方案的具体限定。
接着,访问序列分析模块向访问序列存储模块获取当前字段内容聚类组在多个统计周期的字段内容访问次数序列,并计算目标访问字段内容的访问时间所归入的当前统计周期与多个统计周期中除所述当前统计周期之外的各其他统计周期的时序相似度,以确定当前待处理告警是否为误报告警。若只存在两个统计周期,则若通过DTW算法计算两个统计周期分别对应的字段内容访问次数序列的时序相似度达到80%,则可以认为当前待处理告警为误报告警。
另外,访问序列存储模块可以定期或响应聚类组删减请求,根据每个字段内容聚类组在一段时间内的访问次数或访问频率,删除访问次数或访问频率低于预设聚类组删减条件的字段内容聚类组。访问序列存储模块还可以定期或响应判白类删减请求,基于以下删减策略对告警白名单中的告警特征进行删减。策略一,使用最近最少访问的删减策略;在使用策略一的基础上同时考虑访问频率,如果当前要删除的字段内容聚类组的访问量远远大于倒数第二个要删除的字段内容聚类组的访问量,那么考虑删除倒数第二个。进一步的,仅在如当前要删除的字段内容聚类组触发了多次这种删除操作,再删除该字段内容聚类组。这样能一定程度上缓解删除间断出现的字段内容相应的字段内容聚类组被移出白名单。
请参阅图4,本申请实施例还提供一种告警处理设备,包括:
获取单元401,用于从当前待处理告警中获取目标访问字段内容,目标访问字段内容具有对应的访问时间;
存储单元402,用于将目标访问字段内容存储入与目标访问字段内容达到预设相似条件的字段内容聚类组,以得到当前字段内容聚类组;其中字段内容聚类组包括至少一个历史待处理告警的历史访问字段内容,且历史访问字段内容具有对应的访问时间;
确定单元403,用于为当前字段内容聚类组确定对应的至少两个统计周期,统计周期包括按时间顺序排列的多个统计子周期;
统计单元404,用于根据当前字段内容聚类组中各个字段内容的访问时间所归入的统计子周期,统计得到每个统计周期各自对应的字段内容访问次数序列;
确定单元403,还用于确定至少两个统计周期中的当前统计周期对应的字段内容访问次数序列与每个其他统计周期对应的字段内容访问次数序列的时序相似度,得到时序相似度结果;当前统计周期为目标访问字段内容对应的访问时间所归入的统计周期;其他统计周期为至少两个统计周期中除当前统计周期之外的统计周期;
确定单元403,还用于根据时序相似度结果,确定当前待处理告警是否为误报告警。
在一种具体实现方式中,获取单元401,还用于获得预先设置的告警白名单,告警白名单包含至少一类非误报告警的告警特征;
确定单元403,还用于若目标访问字段内容的告警特征与任一类非误报告警的告警特征一致,则确定待处理告警为误报告警;
存储单元402,还用于若字段内容的告警特征与所有类非误报告警的告警特征均不一致,则执行将目标访问字段内容存储入与目标访问字段内容达到预设相似条件的字段内容聚类组的步骤。
在一种具体实现方式中,设备还包括:新增单元;
确定单元403,还用于确定已经存储的至少一个字段内容聚类组中各字段内容聚类组对应的至少两个历史统计周期,历史统计周期包括按时间顺序排列的多个历史统计子周期;
统计单元404,还用于根据各字段内容聚类组中各历史字段内容的访问时间所归入的历史统计子周期,统计得到各字段内容聚类组在每个历史统计周期各自对应的字段内容访问次数序列;
新增单元,用于将对应的多个字段内容访问次数序列满足预设判白条件的字段内容聚类组的告警特征添加至告警白名单。
在一种具体实现方式中,设备还包括:删减单元;
获取单元401,还用于定期对告警白名单进行删减处理,获取告警白名单中每类非误报告警的告警特征对应的历史访问字段内容所存储的字段内容聚类组的历史访问次数;
删减单元,用于将对应的历史访问次数满足预设删除条件的告警特征从告警白名单中删除,以得到新的告警白名单。
在一种具体实现方式中,存储单元402,具体用于在已经存储的至少一个字段内容聚类组中,查找与目标访问字段内容达到预设相似条件的字段内容聚类组;
将目标访问字段内容存储入查找到的字段内容聚类组,以得到当前字段内容聚类组。
在一种具体实现方式中,存储单元402,具体用于在已经存储的至少一个字段内容聚类组中,计算目标访问字段内容与字段内容聚类组中历史访问字段内容的文本相似度,以查找与目标访问字段内容达到预设相似条件的字段内容聚类组;
或者,
在已经存储的至少一个字段内容聚类组中,计算目标访问字段内容与字段内容聚类组中指定历史访问字段内容的文本相似度,以查找与目标访问字段内容达到预设相似条件的字段内容聚类组;其中,指定历史访问字段内容为每个字段内容聚类组中对应的文本相似度之和最大的历史访问字段内容。
在一种具体实现方式中,获取单元,还用于获取每个字段内容聚类组中任意两个历史访问字段内容之间的文本相似度;
确定单元403,还用于确定每个字段内容聚类组中对应的文本相似度之和最大的历史访问字段内容为指定历史访问字段内容。
在一种具体实现方式中,存储单元402,具体用于根据预设泛化规则确定目标访问字段内容对应的目标泛化字段内容;
将目标访问字段内容存储入与目标泛化字段内容达到预设相似条件的字段内容聚类组。
图5是本申请实施例提供的一种告警处理设备结构示意图,该告警处理设备500可以包括一个或一个以***处理器(central processing units,CPU)501和存储器505,该存储器505中存储有一个或一个以上的应用程序或数据。
其中,存储器505可以是易失性存储或持久存储。存储在存储器505的程序可以包括一个或一个以上模块,每个模块可以包括对告警处理设备中的一系列指令操作。更进一步地,中央处理器501可以设置为与存储器505通信,在告警处理设备500上执行存储器505中的一系列指令操作。
告警处理设备500还可以包括一个或一个以上电源502,一个或一个以上有线或无线网络接口503,一个或一个以上输入输出接口504,和/或,一个或一个以上操作***,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等。
该中央处理器501可以执行前述图1至图4所示实施例中告警处理设备所执行的操作,具体此处不再赘述。
需要说明的是,若当前待处理告警或历史待处理告警是从用户设备中获取的待处理告警时,本申请实施例所涉及到当前待处理告警以及历史待处理告警中的字段内容等相关的数据,均是经过用户授权后所获取到的。并且,当本申请实施例运用到具体产品或技术中时,所涉及使用到的数据需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,read-onlymemory)、随机存取存储器(RAM,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例还提供一种包含指令的计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行如上述的告警处理方法。
Claims (11)
1.一种告警处理方法,其特征在于,包括:
从当前待处理告警中获取目标访问字段内容,所述目标访问字段内容具有对应的访问时间;
将所述目标访问字段内容存储入与所述目标访问字段内容达到预设相似条件的字段内容聚类组,以得到当前字段内容聚类组;其中所述字段内容聚类组包括至少一个历史待处理告警的历史访问字段内容,且所述历史访问字段内容具有对应的访问时间;
为所述当前字段内容聚类组确定对应的至少两个统计周期,所述统计周期包括按时间顺序排列的多个统计子周期;
根据所述当前字段内容聚类组中各个字段内容的访问时间所归入的统计子周期,统计得到每个所述统计周期各自对应的字段内容访问次数序列;
确定所述至少两个统计周期中的当前统计周期对应的字段内容访问次数序列与每个其他统计周期对应的字段内容访问次数序列的时序相似度,得到时序相似度结果;所述当前统计周期为所述目标访问字段内容对应的访问时间所归入的统计周期;所述其他统计周期为所述至少两个统计周期中除所述当前统计周期之外的统计周期;
根据所述时序相似度结果,确定所述当前待处理告警是否为误报告警。
2.根据权利要求1所述的方法,其特征在于,在将所述目标访问字段内容存储入与所述目标访问字段内容达到预设相似条件的字段内容聚类组之前,所述方法还包括:
获得预先设置的告警白名单,所述告警白名单包含至少一类非误报告警的告警特征;
若所述目标访问字段内容的告警特征与任一类非误报告警的告警特征一致,则确定所述待处理告警为误报告警;
若所述字段内容的告警特征与所有类非误报告警的告警特征均不一致,则执行将所述目标访问字段内容存储入与所述目标访问字段内容达到预设相似条件的字段内容聚类组的步骤。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
确定已经存储的至少一个字段内容聚类组中各字段内容聚类组对应的至少两个历史统计周期,所述历史统计周期包括按时间顺序排列的多个历史统计子周期;
根据各字段内容聚类组中各历史字段内容的访问时间所归入的历史统计子周期,统计得到各字段内容聚类组在每个所述历史统计周期各自对应的字段内容访问次数序列;
将对应的多个字段内容访问次数序列满足预设判白条件的字段内容聚类组的告警特征添加至告警白名单。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
定期对所述告警白名单进行删减处理,获取所述告警白名单中每类非误报告警的告警特征对应的历史访问字段内容所存储的字段内容聚类组的历史访问次数;
将对应的历史访问次数满足预设删除条件的告警特征从所述告警白名单中删除,以得到新的告警白名单。
5.根据权利要求1所述的方法,其特征在于,所述将所述目标访问字段内容存储入与所述目标访问字段内容达到预设相似条件的字段内容聚类组,以得到当前字段内容聚类组,包括:
在已经存储的至少一个字段内容聚类组中,查找与所述目标访问字段内容达到预设相似条件的字段内容聚类组;
将所述目标访问字段内容存储入查找到的字段内容聚类组,以得到当前字段内容聚类组。
6.根据权利要求5所述的方法,其特征在于,所述在已经存储的至少一个字段内容聚类组中,查找与所述目标访问字段内容达到预设相似条件的字段内容聚类组,包括:
在已经存储的至少一个字段内容聚类组中,计算所述目标访问字段内容与字段内容聚类组中历史访问字段内容的文本相似度,以查找与所述目标访问字段内容达到预设相似条件的字段内容聚类组;
或者,
在已经存储的至少一个字段内容聚类组中,计算所述目标访问字段内容与字段内容聚类组中指定历史访问字段内容的文本相似度,以查找与所述目标访问字段内容达到预设相似条件的字段内容聚类组;其中,所述指定历史访问字段内容为每个字段内容聚类组中对应的文本相似度之和最大的历史访问字段内容。
7.根据权利要求6所述的方法,其特征在于,在所述依次计算所述目标访问字段内容与每个字段内容聚类组中指定历史访问字段内容的文本相似度之前,所述方法还包括:
获取每个字段内容聚类组中任意两个历史访问字段内容之间的文本相似度;
确定所述每个字段内容聚类组中对应的文本相似度之和最大的历史访问字段内容为指定历史访问字段内容。
8.根据权利要求1所述的方法,其特征在于,所述将所述目标访问字段内容存储入与所述目标访问字段内容达到预设相似条件的字段内容聚类组,包括:
根据预设泛化规则确定所述目标访问字段内容对应的目标泛化字段内容;
将所述目标访问字段内容存储入与所述目标泛化字段内容达到预设相似条件的字段内容聚类组。
9.一种告警处理设备,其特征在于,包括:
获取单元,用于从当前待处理告警中获取目标访问字段内容,所述目标访问字段内容具有对应的访问时间;
存储单元,用于将所述目标访问字段内容存储入与所述目标访问字段内容达到预设相似条件的字段内容聚类组,以得到当前字段内容聚类组;其中所述字段内容聚类组包括至少一个历史待处理告警的历史访问字段内容,且所述历史访问字段内容具有对应的访问时间;
确定单元,用于为所述当前字段内容聚类组确定对应的至少两个统计周期,所述统计周期包括按时间顺序排列的多个统计子周期;
统计单元,用于根据所述当前字段内容聚类组中各个字段内容的访问时间所归入的统计子周期,统计得到每个所述统计周期各自对应的字段内容访问次数序列;
所述确定单元,还用于确定所述至少两个统计周期中的当前统计周期对应的字段内容访问次数序列与每个其他统计周期对应的字段内容访问次数序列的时序相似度,得到时序相似度结果;所述当前统计周期为所述目标访问字段内容对应的访问时间所归入的统计周期;所述其他统计周期为所述至少两个统计周期中除所述当前统计周期之外的统计周期;
所述确定单元,还用于根据所述时序相似度结果,确定所述当前待处理告警是否为误报告警。
10.一种告警处理设备,其特征在于,包括:
中央处理器,存储器以及输入输出接口;
所述存储器为短暂存储存储器或持久存储存储器;
所述中央处理器配置为与所述存储器通信,并执行所述存储器中的指令操作以执行权利要求1至8中任一项所述的方法。
11.一种计算机存储介质,其特征在于,所述计算机存储介质中存储有指令,所述指令在计算机上执行时,使得所述计算机执行如权利要求1至8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211128454.8A CN115473789B (zh) | 2022-09-16 | 2022-09-16 | 告警处理方法以及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211128454.8A CN115473789B (zh) | 2022-09-16 | 2022-09-16 | 告警处理方法以及相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115473789A CN115473789A (zh) | 2022-12-13 |
CN115473789B true CN115473789B (zh) | 2024-02-27 |
Family
ID=84333739
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211128454.8A Active CN115473789B (zh) | 2022-09-16 | 2022-09-16 | 告警处理方法以及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115473789B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110213208A (zh) * | 2018-05-09 | 2019-09-06 | 腾讯科技(深圳)有限公司 | 一种处理请求的方法和装置以及存储介质 |
CN111294233A (zh) * | 2018-12-11 | 2020-06-16 | 国网信息通信产业集团有限公司 | 网络告警统计分析方法、***及计算机可读存储介质 |
CN111818050A (zh) * | 2020-07-08 | 2020-10-23 | 腾讯科技(深圳)有限公司 | 目标访问行为检测方法、***、装置、设备及存储介质 |
CN111934920A (zh) * | 2020-07-28 | 2020-11-13 | 北京青云科技股份有限公司 | 监控告警方法、装置、设备和存储介质 |
CN112769612A (zh) * | 2020-12-30 | 2021-05-07 | 北京天融信网络安全技术有限公司 | 一种告警事件去误报方法及装置 |
CN112818066A (zh) * | 2019-11-15 | 2021-05-18 | 深信服科技股份有限公司 | 一种时序数据异常检测方法、装置及电子设备和存储介质 |
WO2021098021A1 (zh) * | 2019-11-20 | 2021-05-27 | 珠海格力电器股份有限公司 | 数据异常统计报警方法、装置及电子设备 |
WO2021217865A1 (zh) * | 2020-04-29 | 2021-11-04 | 平安科技(深圳)有限公司 | 告警根因的定位方法、装置、计算机设备和存储介质 |
CN114357110A (zh) * | 2021-12-20 | 2022-04-15 | 迪爱斯信息技术股份有限公司 | 一种基于警情信息的异常词组检测方法、***及存储介质 |
CN114422267A (zh) * | 2022-03-03 | 2022-04-29 | 北京天融信网络安全技术有限公司 | 流量检测方法、装置、设备及介质 |
CN114697087A (zh) * | 2022-03-17 | 2022-07-01 | 南京科技职业学院 | 一种基于报警时序的报警关联方法 |
-
2022
- 2022-09-16 CN CN202211128454.8A patent/CN115473789B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110213208A (zh) * | 2018-05-09 | 2019-09-06 | 腾讯科技(深圳)有限公司 | 一种处理请求的方法和装置以及存储介质 |
CN111294233A (zh) * | 2018-12-11 | 2020-06-16 | 国网信息通信产业集团有限公司 | 网络告警统计分析方法、***及计算机可读存储介质 |
CN112818066A (zh) * | 2019-11-15 | 2021-05-18 | 深信服科技股份有限公司 | 一种时序数据异常检测方法、装置及电子设备和存储介质 |
WO2021098021A1 (zh) * | 2019-11-20 | 2021-05-27 | 珠海格力电器股份有限公司 | 数据异常统计报警方法、装置及电子设备 |
WO2021217865A1 (zh) * | 2020-04-29 | 2021-11-04 | 平安科技(深圳)有限公司 | 告警根因的定位方法、装置、计算机设备和存储介质 |
CN111818050A (zh) * | 2020-07-08 | 2020-10-23 | 腾讯科技(深圳)有限公司 | 目标访问行为检测方法、***、装置、设备及存储介质 |
CN111934920A (zh) * | 2020-07-28 | 2020-11-13 | 北京青云科技股份有限公司 | 监控告警方法、装置、设备和存储介质 |
CN112769612A (zh) * | 2020-12-30 | 2021-05-07 | 北京天融信网络安全技术有限公司 | 一种告警事件去误报方法及装置 |
CN114357110A (zh) * | 2021-12-20 | 2022-04-15 | 迪爱斯信息技术股份有限公司 | 一种基于警情信息的异常词组检测方法、***及存储介质 |
CN114422267A (zh) * | 2022-03-03 | 2022-04-29 | 北京天融信网络安全技术有限公司 | 流量检测方法、装置、设备及介质 |
CN114697087A (zh) * | 2022-03-17 | 2022-07-01 | 南京科技职业学院 | 一种基于报警时序的报警关联方法 |
Non-Patent Citations (1)
Title |
---|
基于多源告警的攻击事件分析;王淳颖;张驯;赵金雄;袁晖;李方军;赵博;朱小琴;杨凡;吕世超;;计算机应用(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115473789A (zh) | 2022-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107547555B (zh) | 一种网站安全监测方法及装置 | |
US7581245B2 (en) | Technique for evaluating computer system passwords | |
US10902114B1 (en) | Automated cybersecurity threat detection with aggregation and analysis | |
CN103297435B (zh) | 一种基于web日志的异常访问行为检测方法与*** | |
CN105590055B (zh) | 用于在网络交互***中识别用户可信行为的方法及装置 | |
CN111585955B (zh) | 一种http请求异常检测方法及*** | |
Desai et al. | Malicious web content detection using machine leaning | |
US11159564B2 (en) | Detecting zero-day attacks with unknown signatures via mining correlation in behavioral change of entities over time | |
Taylor et al. | Detecting malicious exploit kits using tree-based similarity searches | |
Pao et al. | Malicious URL detection based on kolmogorov complexity estimation | |
CN107895008B (zh) | 基于大数据平台的情报信息热点发现方法 | |
Yun et al. | Efficient mining of maximal correlated weight frequent patterns | |
Nwana et al. | A latent social approach to youtube popularity prediction | |
WO2021051536A1 (zh) | 安全预警方法及相关设备、计算机可读存储介质 | |
CN114301692B (zh) | 攻击预测方法、装置、介质及设备 | |
Yoon et al. | Multiple dynamic outlier-detection from a data stream by exploiting duality of data and queries | |
CN109933575B (zh) | 监测数据的存储方法及装置 | |
CN112287339A (zh) | Apt入侵检测方法、装置以及计算机设备 | |
CN113568940A (zh) | 数据查询的方法、装置、设备以及存储介质 | |
CN115473789B (zh) | 告警处理方法以及相关设备 | |
CN111885011B (zh) | 一种业务数据网络安全分析挖掘的方法及*** | |
CN110677271B (zh) | 基于elk的大数据告警方法、装置、设备及存储介质 | |
EP1574929A1 (en) | Technique for evaluating computer system passwords | |
CN115859273A (zh) | 一种数据库异常访问的检测方法、装置、设备及存储介质 | |
CN115589339A (zh) | 网络攻击类型识别方法、装置、设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |