CN113778671A - 一种日志数据处理方法、***及装置 - Google Patents

Abstract

本申请提供了一种日志数据处理方法、***及装置。该方法为：分发引擎获取流量的日志数据，并从日志数据中解析出日志特征信息；根据日志特征信息确定对日志数据感兴趣的目标规则引擎；目标规则引擎判断第一规则桶中是否存在日志特征信息；若判断第一规则桶存在日志特征信息，则判断第二规则桶是否存在日志特征信息；若所述第二规则桶不存在所述日志特征信息，则将所述第一规则桶中日志特征信息对应的计数器的数值加1；若判断第一规则桶不存在所述日志特征信息，则将所述第一规则桶中日志特征信息对应的计数器的数值加1；若确认计数器的数值大于设定阈值，则确认流量存在异常。

Description

一种日志数据处理方法、***及装置

技术领域

本申请涉及数据处理技术领域，尤其涉及一种日志数据处理方法、***及装置。

背景技术

安全管理平台是以安全大数据为基础，对能够引起网络态势发生变化的要素进行获取、理解、评估、呈现以及对未来发展趋势进行预测。以全局视角提升对安全威胁的发现识别、理解分析、响应处置的能力，通过智能分析和联动响应，结合机器学习和人工智能，推动安全大脑的闭环决策，实现安全能力的落地实践。其中，目前提供的异常流量模块通过Spark周期性的从海量原始日志中提取各个规则感兴趣的日志记录，经过聚合、过滤后生成对应的安全事件，比较关注的是流量日志和审计日志。由于日志数据巨大，并且规则是串行执行的，随着规则数量的增加，必然导致后面的规则在Spark任务周期内来不及处理，导致安全分析能力的下降。因此，如何快速寻找出多个日志来源的海量数据中是否存在满足异常流量规则的异常数据，是当前安全业界研究的重要课题之一。

目前的Spark日志分析方式存在下述弊端：一方面，每个规则都需要对内存中的海量数据做查询、分组、聚合、过滤等操作，这样就可能造成规则检测卡死，同时串行处理可能造成后面的规则超时，进而导致安全检测能力降低；另一方面是多个来源日志可能会影响检测性能，比如DNS隧道检测涉及到流量会话日志和DNS审计日志，流量会话日志中有上下行流量大小，审计日志中有DNS域名，多表连接会造成性能极大损失。

因此，如何对日志数据进行高效分析避免规则检测卡死，以提升安全检测能力是值得考虑的技术问题之一。

发明内容

有鉴于此，本申请提供一种日志数据处理方法、***及装置，用以对日志数据进行高效分析避免规则检测卡死，以提升安全检测能力。

具体地，本申请是通过如下技术方案实现的：

根据本申请的第一方面，提供一种日志数据处理方法，应用于日志数据处理***中，所述日志数据处理***包括分发引擎和多个规则引擎，所述方法，包括：

分发引擎获取流量的日志数据，并从所述日志数据中解析出日志特征信息；

所述分发引擎根据所述日志特征信息确定对所述日志数据感兴趣的目标规则引擎，所述目标规则引擎为所述多个规则引擎中的至少一个；

所述目标规则引擎判断第一规则桶中是否存在所述日志特征信息；

所述目标规则引擎若判断所述第一规则桶存在所述日志特征信息，则判断第二规则桶是否存在所述日志特征信息；若所述第二规则桶不存在所述日志特征信息，则将所述第一规则桶中所述日志特征信息对应的计数器的数值加1；

所述目标规则引擎若判断所述第一规则桶不存在所述日志特征信息，则将所述第一规则桶中所述日志特征信息对应的计数器的数值加1；

所述目标规则引擎若确认所述计数器的数值大于设定阈值，则确认所述流量存在异常。

根据本申请的第二方面，提供一种日志数据处理方法，应用于规则引擎中，所述方法，包括：

获取分发引擎分发的日志特征信息，所述日志特征信息为所述分发引擎从获取到的流量的日志数据中解析出日志特征信息且基于所述日志特征信息确认所述规则引擎对所述日志数据感兴趣后分发；

判断第一规则桶中是否存在所述日志特征信息；

若判断所述第一规则桶存在所述日志特征信息，则判断第二规则桶是否存在所述日志特征信息；若所述第二规则桶不存在所述日志特征信息，则将所述第一规则桶中所述日志特征信息对应的计数器的数值加1；

若判断所述第一规则桶不存在所述日志特征信息，则将所述第一规则桶中所述日志特征信息对应的计数器的数值加1；

若确认所述计数器的数值大于设定阈值，则确认所述流量存在异常。

根据本申请的第三方面，提供一种日志数据处理***，所述***包括分发引擎和多个规则引擎，其中：

所述分发引擎，用于分发引擎获取流量的日志数据，并从所述日志数据中解析出日志特征信息；根据所述日志特征信息确定对所述日志数据感兴趣的目标规则引擎，所述目标规则引擎为所述多个规则引擎中的至少一个；

所述目标规则引擎，用于判断第一规则桶中是否存在所述日志特征信息；若判断所述第一规则桶存在所述日志特征信息，则判断第二规则桶是否存在所述日志特征信息；若所述第二规则桶不存在所述日志特征信息，则将所述第一规则桶中所述日志特征信息对应的计数器的数值加1；若判断所述第一规则桶不存在所述日志特征信息，则将所述第一规则桶中所述日志特征信息对应的计数器的数值加1；若确认所述计数器的数值大于设定阈值，则确认所述流量存在异常。

根据本申请的第四方面，提供一种日志数据处理装置，设置于规则引擎中，所述装置，包括：

获取模块，用于获取分发引擎分发的日志特征信息，所述日志特征信息为所述分发引擎从获取到的流量的日志数据中解析出日志特征信息且基于所述日志特征信息确认所述规则引擎对所述日志数据感兴趣后分发；

第一判断模块，用于判断第一规则桶中是否存在所述日志特征信息；

第二判断模块，用于若所述第一判断模块判断所述第一规则桶存在所述日志特征信息，则判断第二规则桶是否存在所述日志特征信息；

处理模块，用于若所述第二判断模块判断所述第二规则桶不存在所述日志特征信息，则将所述第一规则桶中所述日志特征信息对应的计数器的数值加1；

所述处理模块，还用于若所述第一判断模块判断所述第一规则桶不存在所述日志特征信息，则将所述第一规则桶中所述日志特征信息对应的计数器的数值加1；

流量识别模块，用于若确认所述计数器的数值大于设定阈值，则确认所述流量存在异常。

根据本申请的第五方面，提供一种电子设备，包括处理器和机器可读存储介质，机器可读存储介质存储有能够被处理器执行的计算机程序，处理器被计算机程序促使执行本申请实施例第一方面所提供的方法。

根据本申请的第六方面，提供一种机器可读存储介质，机器可读存储介质存储有计算机程序，在被处理器调用和执行时，计算机程序促使处理器执行本申请实施例第一方面所提供的方法。

本申请实施例的有益效果：

分发引擎可以将日志数据中的日志特征信息分发给对该日志数据感兴趣的各个目标规则引擎，这样一来，目标规则引擎就可以并行对日志特征信息进行处理，而不再是现有技术的串行处理，从而大大提升了日志数据的处理效率，有效节省了日志数据的处理时间，进而也就避免了检测规则的卡死情况的发生，在一定程度上提升了安全检测的检测能力。

附图说明

图1是现有技术提供的一种日志数据处理逻辑示意图；

图2是本申请实施例提供的一种日志数据处理方法的流程示意图；

图3是本申请实施例提供的一种日志数据处理***的架构图；

图4是本申请实施例提供的一种分发引擎匹配目标规则引擎的匹配示意图；

图5是本申请实施例提供的一种SMB内网横向扩散规则对应的规则桶的结构示意图；

图6是本申请实施例提供的一种日志数据处理装置的结构示意图；

图7是本申请实施例提供的一种实施日志数据处理方法的电子设备的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相对应的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

传统的日志数据处理流程可以参考图1所示，首先从日志数据来源中，获取一段时间的流量日志和审计日志，然后存储在内存中，针对每个规则，该规则的处理流程为，从内存中通过Spark SQL查询、聚合、过滤，得到满足规则条件的数据，最终得到安全事件。发明人发现，由于规则是串行分析的，每个规则都要从内存中进行查询、聚合、过滤等操作，从而会因规则数越多而导致日志处理性能损失越大。当规则逻辑涉及到同时处理流量和审计日志时，需要将多源日志根据用户名、用户IP地址等日志信息进行Join连接操作，这也将会带来极大的性能损失。

有鉴于此，本申请提出一种日志数据处理方法，分发引擎获取流量的日志数据，并从日志数据中解析出日志特征信息；分发引擎根据日志特征信息确定对日志数据感兴趣的目标规则引擎；目标规则引擎判断第一规则桶中是否存在日志特征信息；目标规则引擎若判断第一规则桶存在日志特征信息，则判断第二规则桶是否存在日志特征信息；若第二规则桶不存在日志特征信息，则将第一规则桶中日志特征信息对应的计数器的数值加1；目标规则引擎若判断第一规则桶不存在日志特征信息，则将第一规则桶中日志特征信息对应的计数器的数值加1；目标规则引擎若确认计数器的数值大于设定阈值，则确认流量存在异常。采用上述方法，分发引擎将日志数据分配给感兴趣的目标规则引擎，然后由目标规则引擎对该日志数据进行处理，而不再是现有技术中的串行分析方式，大大提升了日志数据的处理效率，而且避免了规则检测卡死的情况，在一定程度上提升了安全检测能力。

下面对本申请提供的日志数据处理方法进行详细地说明。

参见图2，图2是本申请提供的一种日志数据处理方法的流程图，可以应用于图3所示的日志数据处理***的架构图中，实际应用中，日志数据处理***包括分发引擎和多个规则引擎；分发引擎和规则引擎在实施该方法时，可包括如下所示步骤：

S201、分发引擎获取流量的日志数据，并从所述日志数据中解析出日志特征信息。

本步骤中，分发引擎可以按照下述过程获取流量的日志数据：分发引擎从内存中读取流量的日志数据，该内存缓存有所述流量的部分日志数据。

具体地，多个来源的日志数据一般会先缓存到存储设备中，然后分发引擎会从存储设备中读取流量的一部分日志数据并缓存到内存中，然后再从内存中逐条读取日志数据，然后针对读取的每条日志数据解析出日志特征信息。具体来说，分发引擎会调用多个线程从内存中读取表征上述流量的日志数据，然后每个线程会从读取到的日志数据中解析出日志特征信息。需要说明的是，上述存储设备可以但不限于为数据库、消息中间件等等。上述数据库可以但不限于为ElasticSearch数据库、ClickHouse数据库等等，上述消息中间件可以但不限于为Kafka中间件。

S202、分发引擎根据所述日志特征信息确定对所述日志数据感兴趣的目标规则引擎。

本步骤中，分发引擎会基于解析出的日志特征信息与各个规则进行匹配，然后以得到相匹配(对该日志数据感兴趣)的规则对应的目标规则引擎。需要说明的是，确定出的目标规则引擎的数量可以为1个，也可以为多个，具体可以根据日志特征信息及各规则的具体内容来定。当确定出目标规则引擎后，则分发引擎将该日志数据的日志特征信息分别发送给确定出的每个目标规则引擎。

在此基础上，在执行步骤S202之后，本申请提供的日志数据处理方法，还包括：将流量的日志数据从内存中删除。

具体地，当分发引擎确定出对日志数据感兴趣的目标规则引擎后，将该日志数据从内存中删除，以减轻内存的存储压力。与现有技术将全部数据读到内存中然后再分析的方案，本申请中采用流式处理，在将多个来源的日志数据多线程读入内存的过程中直接分析为每个日志数据匹配对应的目标规则引擎，这样就不会存在检测规则卡死的情况，同时也不会造成后面的规则超时所导致的安全检测能力低的情况。然后为每个日志数据匹配出目标规则引擎后，再从内存中删除该日志数据，以为后续从数据库中读取日志数据提供内存空间。

需要说明的是，当分发引擎基于日志特征信息未匹配到相适应的目标规则引擎时，则表明没有对该日志数据感兴趣的规则，则此时不需要做任何处理。

可选地，分发引擎在确定出每条日志数据对应的目标规则引擎后，可以对这条日志数据进行标记，以标记出对该日志数据感兴趣的目标规则引擎。需要说明的是，每条日志数据只需解析一次，多个目标规则引擎消费日志数据，即匹配出的各个目标规则引擎可以共用该日志数据的日志特征信息。

需要说明的是，每个规则对应一个规则引擎，而在进行安全检测时可能会存在大量的规则，相应地也就会有对应数量的规则引擎与之相对应。规则可以但不限于包括SMB暴力破解规则、SMB横向移动规则、SMB横向扩散规则、RDP暴力破解规则、RDP横向移动规则、SSH暴力破解规则、Telnet暴力破解规则、Redis暴力破解规则、MySQL暴力破解规则、MySQL未授权访问规则、Elasticsearch未授权访问规则、端口扫描规则、ICMP隧道规则和高危端口通信规则等等。而且上述规则还包括内网规则和外网规则，例如，SMB暴力破解规则包括SMB内网暴力破解规则和SMB外网暴力破解规则。为了更好地理解每个规则，此处以SMB内网横向扩展规则为例进行说明，SMB内网横向扩展规则可以表达为：在5分钟时间窗口里，源IP访问了大于100个不同的目的IP地址的445端口。需要说明的是，其他规则的描述类似，具体还需要根据实际场景来设定。

此外，不同规则对应的日志特征信息可能相同也可能不同。为了保持日志特征信息的通用性，分布引擎从日志数据中提取到的日志特征信息可以包括源IP地址、目的IP地址、协议(protocol)、目的端口(dest_port)、上行流量(out_bytes)和下行流量(in_bytes)等等。而源IP地址一般从日志数据的源区域字段(src_is_out_in)获取，目的IP地址一般从日志数据的目的区域字段(dest_is_out_in)获取，目的端口从日志数据的目标端口字段获取，同理，上行流量和下行流量可以分别从日志数据的上行流量字段和下行流量字段获取。然后基于提取到的这些日志特征信息去匹配各个规则，然后以确定出相匹配的目标规则，进而确定出目标规则对应的目标规则引擎。由于每个规则所感兴趣的日志特征信息中各特征的取值不同，参考表1所示，示出了每个规则所感兴趣的日志特征信息的具体内容，需要说明的是，表1中“-”表示规则对这特征不感兴趣。

表1

在此基础上，就可以根据从日志数据中提取的日志特征信息与表1中各规则进行匹配，从而匹配出对该日志数据感兴趣的目标规则，进而确定出目标规则对应的目标规则引擎，具体匹配示意图可以参考图4所示，图4给出了3个日志特征信息匹配目标规则引擎的示意图，用编号1/2/3来区分，可以看出编号1对应的日志特征信息匹配出2个目标规则引擎，分别为SSH内网横向扩散规则引擎和SSH内网暴力破解引擎，而编号2对应的日志特征信息匹配出1个目标规则引擎，即，ICMP隧道规则引擎；同理，编号3对应的日志特征信息匹配出1个目标规则引擎，即，MySQL未授权访问规则引擎。需要说明的是，图4仅是一个示例，并不构成对本申请利用日志特征信息匹配目标规则引擎的具体限定。

S203、目标规则引擎判断第一规则桶中是否存在所述日志特征信息；若存在，则执行步骤S204；若不存在，则执行步骤S205。

本步骤中，每个规则引擎都有自己的第一规则桶和第二规则桶，该第一规则桶和第二规则桶分别用于缓存中间数据，该中间数据可以但不限于有部分或全部日志特征信息等等。

在此基础上，目标规则引擎接收到日志特征信息后，可以先判断该第一规则桶中是否记录了该日志特征信息，如果第一规则桶存在上述日志特征信息，此时则需要执行步骤S204。如果不存在，则表明该目标规则引擎首次检测携带上述日志特征信息的日志数据，此时需要执行步骤S205。

可选地，上述日志特征信息包括源IP地址，则在此基础上，可以按照下述过程执行步骤S203：判断第一规则桶中是否存在源IP地址；若第一规则桶中存在上述源IP地址，则确认第一规则桶中存在上述日志特征信息；若第一规则桶中不存在上述源IP地址，则确认第一规则桶不存在上述日志特征信息。

具体地，上述第一规则桶本质上属于一种数据结构，可以记录日志特征信息，也就是说，规则引擎是基于抽象数据结构“规则桶”实现的。例如，第一规则桶可以是一个map类型的数据结构，由键值对key-value构成，关键字key可以是日志特征信息中的源IP地址，value用于记录该源IP地址对应的计数器的取值，例如可以用std表征，用于计数。基于此，可以遍历第一规则桶的key，然后判断第一规则桶中是否存在上述日志特征信息中的源IP地址，当存在该源IP地址，则确认第一规则桶中存在上述日志特征信息；若不存在该源IP地址，则确认第一规则桶中不存在上述日志特征信息。

S204、目标规则引擎若判断第一规则桶存在所述日志特征信息，则判断第二规则桶是否存在所述日志特征信息；若第二规则桶不存在所述日志特征信息，则将所述第一规则桶中所述日志特征信息对应的计数器的数值加1。

具体地，当第一规则桶存在上述日志特征信息时，则表明第一规则桶之前记录了携带该日志特征信息的其他日志数据，则此时还需要进一步判断第二规则桶是否有该日志特征信息的记录，如果第二规则桶也记录了该日志特征信息，则表明本次的日志数据之前已经出现过，不需要重复记录，则此时可以丢弃该日志数据。

如果第二规则桶中未记录上述日志特征信息，表明本次日志数据属于新的日志数据，则此时需要将第一规则桶中该日志特征信息对应的计数器的数值做加1处理。此外，当第二规则桶不存在上述日志特征信息时，本申请提供的方法，还包括：目标规则引擎在所述第二规则桶中所述日志特征信息对应的标志位的取值设置为设定值。具体来说，可以将该日志特征信息记录到第二规则桶中，并将第二规则桶中该日志特征信息对应标志位的取值设置为设定值，该设定值可以但不限于为1，表征已记录该日志特征信息。

可选地，当上述日志特征信息包括源IP地址和目的IP地址时，则确认第一规则桶中存在上述源IP地址时，则目标规则引擎可以按照下述过程执行判断第二规则桶是否存在所述日志特征信息：目标规则引擎判断第二规则桶是否存在源IP地址和目的IP地址，若第二规则桶中存在源IP地址和目的IP地址，则确认第二规则桶存在上述日志特征信息；若第二规则桶中不存在上述源IP地址和目的IP地址，则确认第二规则桶不存在上述日志特征信息。

具体地，上述第二规则桶本质上也是一个数据结构，由此可以记录日志特征信息，也就是说，规则引擎是基于抽象数据结构“规则桶”实现的。例如，第二规则桶可以是一个map类型的数据结构，由键值对key-value构成，然后由关键字key记录源IP地址和目的IP地址，关键值value记录标志位。在此基础上，可以逐个遍历第二规则桶的key，然后判断第二规则桶中的key中是否存在与上述日志特征信息中的源IP地址和目的IP地址相一致的源IP地址和目的IP地址，如果存在，则表明第二规则桶存在上述日志特征信息，如果不存在，则确认第二规则桶不存在上述日志特征信息。

需要说明的是，若第一规则桶存在日志特征信息，且第二规则桶存在日志特征信息，则保持第一规则桶中所述日志特征信息对应的计数器的数值不变。

具体来说，当基于第一规则桶中的key确认第一规则桶存在上述源IP地址时，则表明目标规则引擎之前可能收到过该源IP地址对应的日志数据，为了进一步确认该目标规则引擎之前是否收到过该源IP地址对应的日志数据，目标规则引擎会判断第二规则桶中是否存在上述日志特征信息中的源IP地址和目的IP地址，如果第二规则桶未存在上述源IP地址和目的IP地址，则表明本次的日志数据与第一规则桶记录的该源IP地址的日志数据相比，属于同一个源IP地址，不同的目的IP地址，表明本次的日志数据属于新的日志数据，则在第一规则桶中的关键字key中记录该源IP地址，此时就需要第一规则桶中该源IP地址对应的计数器的数值做加1处理，即在第一规则桶该关键字key(该源IP地址)对应的关键值value中记录的数值(计数器的数值)加1；同时，在第二规则桶中记录本次的日志数据的日志特征信息中的源IP地址和目的IP地址，也即在第二规则桶中的关键字key中加入该源IP地址和目的IP地址，并将该关键字key对应的关键值value记录的标志位的取值设置为1。

此外，如果第二规则桶存在上述源IP地址和目的IP地址，则进一步表明该目标规则引擎之前确实收到过该源IP地址对应的日志数据，则此时保持第一规则桶中该关键字key(该源IP地址)对应的关键值value中记录的数值(计数器的数值)不变。

S205、目标规则引擎若判断所述第一规则桶不存在所述日志特征信息，则将所述第一规则桶中所述日志特征信息对应的计数器的数值加1。

本步骤中，当目标规则引擎判断第一规则桶中未记录上述日志特征信息，表明本次的日志数据为新的日志数据，此时则需要在第一规则桶中记录该日志特征信息，同时将该日志特征信息对应的计数器的数值做加1处理。在此基础上，还包括：目标规则引擎在所述第二规则桶中所述日志特征信息对应的标志位的取值设置为设定值。具体来说，可以将该日志特征信息记录到第二规则桶中，并将第二规则桶中该日志特征信息对应标志位的取值设置为设定值，该设定值可以但不限于为1，表征已记录该日志特征信息。

可选地，当上述日志信息包括源IP地址时，在实施步骤S205时，如果判断第一规则桶中未记录上述源IP地址，则表明本次的日志数据为目标规则引擎首次获取到，则此时在第一规则桶中的关键字key中记录该源IP地址，然后将该关键字key对应的关键值value中的数值(计数器的数值)进行加1处理。

S206、目标规则引擎若确认所述计数器的数值大于设定阈值，则确认流量存在异常。

本步骤中，目标规则引擎会查询第一规则桶中各个计数器的数值，也即会查询第一规则桶中已填充的value值，如果存在value值大于设定阈值，则确认value值大于设定阈值的key-源IP地址对应的流量存在异常。由此基于日志数据即可识别出存在异常的流量。

通过实施本申请提供的日志数据处理方法，分发引擎可以将日志数据中的日志特征信息分发给对该日志数据感兴趣的各个目标规则引擎，这样一来，目标规则引擎就可以并行对日志特征信息进行处理，而不再是现有技术的串行处理，从而大大提升了日志数据的处理效率，有效节省了日志数据的处理时间，进而也就避免了检测规则的卡死情况的发生，在一定程度上提升了安全检测的检测能力。

可选地，在步骤S204或S205执行将第一规则桶中所述日志特征信息对应的计数器的数值加1之后，本实施例提供的日志数据处理方法，还可以包括：创建所述日志特征信息的安全事件模板。

具体地，第一规则桶中每个key对应的value中还可以记录指针，该指针用于指向安全事件模板，具体来说，每个key对应的value用std:pair表示，pair用于存在指针(也可以称为安全时间对象)，用于指向安全事件模板，参考图5所示，图5中给出了SMB内网横向扩散规则的规则引擎对应的第一规则桶中关键字key用于存储源IP地址(srcip)，value：(int，*)，其中int为计数器的数值；“*”表示指针，用于指向SMB内网横向扩散安全事件模板，该安全事件模板缓存在内存中。此外，图5还给出了SMB内网横向扩散规则的规则引擎对应的第二规则桶中记录的信息，即第二规则桶中的key用于记录源IP地址+目的IP地址，用srcip+destip表征，而key的value用于记录该源IP地址和目的IP地址的标志位的取值，即图5中第二规则桶中的int为标志位，若标志位的取值int为1，表明该规则引擎已接收到包含该源IP地址和目的IP地址的日志特征信息。

在此基础之上，当目标规则引擎确认计数器的数值大于设定阈值之后，还包括：上报安全事件模板所指示的安全事件。

具体地，当目标规则引擎确认计数器的数值大于设定阈值时，则填充已创建的安全事件模板，得到安全事件，然后上报该安全事件。需要说明的是，在判断计数器的数值是否大于设定阈值时，可以判断单个key对应的value中的数值int是否大于设定阈值，若大于设定阈值，则表明包含该key中的源IP地址的流量存在异常，然后填充该key的value值中的指针所指示的安全事件模板，以生成安全事件，进而上报该安全事件，以便运维人员进行网络安全检测。此外，当确认该key对应的value中的数值int不大于设定阈值时，则表明携带该源IP地址的流量未存在异常，不会对网络的安全产生威胁，则删除该key对应的value中的指针所指示的安全事件模板。

需要说明的是，在判断计数器的数值是否大于设定阈值之前，还需要执行下述过程：判断设定时间内的日志数据处理是否完成，或者判断设定定时器的定时时间是否到达；当设定时间内的日志数据处理完成，或者定时时间到达时，再执行判断计数器的数值是否大于设定阈值。这样，才能保证异常流量识别结果的准确性及合理性。例如，以SMB横向移动规则为例进行说明，设定阈值为100为例进行说明，当设定定时器的定时时间到达时，则SMB横向移动规则引擎判断第一规则桶中每个value中的int的数值是否大于100，当SMB横向移动规则引擎判断源IP地址1对应的value中的int为101，而101大于100时，则填充源IP地址1对应的value中的指针所指向的安全事件模板，得到安全事件，然后上报该安全事件。若确认IP地址2对应的value中的int为99，而99小于100，则删除源IP地址2对应的value中的指针所指向的安全事件模板，以释放内存资源。

至此，本申请分发引擎使用多线程同时处理多个来源的日志数据，采用流式分析，避免了加载到内存串行分析的弊端。此外，基于分发引擎提取的日志特征信息，能够快速匹配到流量感兴趣的规则，以使感兴趣的规则对应的规则引擎基于各自的“规则桶”数据结构，快速实现对规则的检测，极大地提高了异常流量日志分析的处理性能，有利于日志分析产品处理更多的异常检测规则，增强产品的威胁检测能力。实践证明，采用本申请提供的方法，单机版中验证每秒可以处理8万条日志数据，远远超过每秒处理4000数据的产品规格，明显实现了日志数据的高效分析，大大提升了安全检测的检测能力。

基于同一发明构思，本申请还提供了一种规则引擎侧实施的日志数据处理方法，包括下述步骤：

步骤一：获取分发引擎分发的日志特征信息，所述日志特征信息为所述分发引擎从获取到的流量的日志数据中解析出日志特征信息且基于所述日志特征信息确认所述规则引擎对所述日志数据感兴趣后分发；

步骤二：判断第一规则桶中是否存在所述日志特征信息；

步骤三：若判断所述第一规则桶存在所述日志特征信息，则判断第二规则桶是否存在所述日志特征信息；若所述第二规则桶不存在所述日志特征信息，则将所述第一规则桶中所述日志特征信息对应的计数器的数值加1；

步骤四：若判断所述第一规则桶不存在所述日志特征信息，则将所述第一规则桶中所述日志特征信息对应的计数器的数值加1；

步骤五：若确认所述计数器的数值大于设定阈值，则确认所述流量存在异常。

需要说明的是，上述步骤一～步骤五的实施可以参考步骤S203～S206的相关描述，此处不再一一详细说明。

可选地，基于上述实施例，上述日志特征信息包括源IP地址和目的IP地址；则

可以按照下述过程执行步骤二中判断第一规则桶中是否存在所述日志特征信息：判断所述第一规则桶中是否存在所述源IP地址，若所述第一规则桶中存在所述源IP地址，则确认所述第一规则桶中存在所述日志特征信息。

同理，可以按照下述过程执行步骤三中的判断第二规则桶是否存在所述日志特征信息：判断所述第二规则桶是否存在所述源IP地址和所述目的IP地址，若所述第二规则桶中存在所述源IP地址和所述目的IP地址，则确认所述第二规则桶存在所述日志特征信息。

需要说明的是，上述两个判断步骤的实施可以参考步骤S203～S204的相关描述，此处不再一一详细说明。

可选地，基于上述任一实施例，规则引擎在将所述第一规则桶中所述日志特征信息对应的计数器的数值加1之后，还包括：创建所述日志特征信息的安全事件模板；

在此基础上，规则引擎若确认计数器的数值大于设定阈值之后，还包括：上报安全事件模板所指示的安全事件。

具体地，上述两个步骤的实施可以参考图2所示实施例中目标规则引擎对此的相关描述，此处不再一一详细说明。

可选地，基于上述任一实施例，本实施例提供的日志数据处理方法，还包括：若第一规则桶存在所述日志特征信息，且所述第二规则桶存在所述日志特征信息，则保持所述第一规则桶中所述日志特征信息对应的计数器的数值不变。

具体地，本步骤的实施可以参考图2所示实施例中目标规则引擎对此的相关描述，此处不再一一详细说明。

可选地，基于上述任一实施例，若第二规则桶不存在日志特征信息，或，上述第一规则桶不存在日志特征信息，则本实施例提供的日志数据处理方法方法，还包括：在第二规则桶中日志特征信息对应的标志位的取值设置为设定值。

具体地，本步骤的实施可以参考图2所示实施例中目标规则引擎对此的相关描述，此处不再一一详细说明。

实施本申请提供的日志数据处理方法，分发引擎可以将日志数据中的日志特征信息分发给对该日志数据感兴趣的各个目标规则引擎，这样一来，每个目标规则引擎接收到日志特征信息后，就可以并行对日志特征信息进行处理，而不再是现有技术的串行处理，从而大大提升了日志数据的处理效率，有效节省了日志数据的处理时间，进而也就避免了检测规则的卡死情况的发生，在一定程度上提升了安全检测的检测能力。

基于同一发明构思，本申请还提供了一种日志数据处理***，包括分发引擎和多个规则引擎，其中：

上述分发引擎，用于分发引擎获取流量的日志数据，并从所述日志数据中解析出日志特征信息；根据所述日志特征信息确定对所述日志数据感兴趣的目标规则引擎，所述目标规则引擎为所述多个规则引擎中的至少一个；

上述目标规则引擎，用于判断第一规则桶中是否存在所述日志特征信息；若判断所述第一规则桶存在所述日志特征信息，则判断第二规则桶是否存在所述日志特征信息；若所述第二规则桶不存在所述日志特征信息，则将所述第一规则桶中所述日志特征信息对应的计数器的数值加1；若判断所述第一规则桶不存在所述日志特征信息，则将所述第一规则桶中所述日志特征信息对应的计数器的数值加1；若确认所述计数器的数值大于设定阈值，则确认所述流量存在异常。

需要说明的是，实际应用中，上述分发引擎和规则引擎可以设置在同一个设备中，也可以设置在不同的设备中，具体可以根据实际情况来设定。

可选地，基于上述实施例，上述分发引擎，具体用于从内存中读取所述流量的日志数据，所述内存缓存有所述流量的部分日志数据；

在此基础上，上述分发引擎，还用于在根据所述日志特征信息确定对所述日志数据感兴趣的目标规则引擎之后，将所述流量的日志数据从所述内存中删除。

可选地，基于上述任一实施例，上述日志特征信息包括源IP地址和目的IP地址；则

上述目标规则引擎，具体用于判断所述第一规则桶中是否存在所述源IP地址；若所述第一规则桶中存在所述源IP地址，则确认所述第一规则桶中存在所述日志特征信息；

可选地，基于上述任一实施例，上述目标规则引擎，具体用于在将所述第一规则桶中所述日志特征信息对应的计数器的数值加1之后，创建所述日志特征信息的安全事件模板。

在此基础上，上述目标规则引擎，具体用于若确认所述计数器的数值大于设定阈值之后，上报所述安全事件模板所指示的安全事件。

可选地，上述目标规则引擎，还用于若所述第一规则桶存在所述日志特征信息，且所述第二规则桶存在所述日志特征信息，则保持所述第一规则桶中所述日志特征信息对应的计数器的数值不变。

可选地，上述目标规则引擎，还用于若第二规则桶不存在所述日志特征信息，或，所述第一规则桶不存在所述日志特征信息，则在所述第二规则桶中所述日志特征信息对应的标志位的取值设置为设定值。

实施本申请提供的日志数据处理***，分发引擎可以将日志数据中的日志特征信息分发给对该日志数据感兴趣的各个目标规则引擎，这样一来，每个目标规则引擎接收到日志特征信息后，就可以并行对日志特征信息进行处理，而不再是现有技术的串行处理，从而大大提升了日志数据的处理效率，有效节省了日志数据的处理时间，进而也就避免了检测规则的卡死情况的发生，在一定程度上提升了安全检测的检测能力。

基于同一发明构思，本申请还提供了与上述日志数据处理方法对应的日志数据处理装置。该日志数据处理装置的实施具体可以参考上述规则引擎对日志数据处理方法的描述，此处不再一一论述。

参见图6，图6是本申请一示例性实施例提供的一种日志数据处理装置，设置于规则引擎中，上述装置，包括：

获取模块601，用于获取分发引擎分发的日志特征信息，所述日志特征信息为所述分发引擎从获取到的流量的日志数据中解析出日志特征信息且基于所述日志特征信息确认所述规则引擎对所述日志数据感兴趣后分发；

第一判断模块602，用于判断第一规则桶中是否存在所述日志特征信息；

第二判断模块603，用于若所述第一判断模块602判断所述第一规则桶存在所述日志特征信息，则判断第二规则桶是否存在所述日志特征信息；

处理模块604，用于若所述第二判断模块603判断所述第二规则桶不存在所述日志特征信息，则将所述第一规则桶中所述日志特征信息对应的计数器的数值加1；

所述处理模块604，还用于若所述第一判断模块602判断所述第一规则桶不存在所述日志特征信息，则将所述第一规则桶中所述日志特征信息对应的计数器的数值加1；

流量识别模块605，用于若确认所述计数器的数值大于设定阈值，则确认所述流量存在异常。

可选地，基于上述实施例，本实施例中的日志特征信息包括源IP地址和目的IP地址；则

上述第一判断模块602，具体用于判断所述第一规则桶中是否存在所述源IP地址；若所述第一规则桶中存在所述源IP地址，则确认所述第一规则桶中存在所述日志特征信息；

上述第二判断模块603，具体用于判断所述第二规则桶是否存在所述源IP地址和所述目的IP地址；若所述第二规则桶中存在所述源IP地址和所述目的IP地址，则确认所述第二规则桶存在所述日志特征信息。

可选地，基于上述任一实施例，本实施例提供的日志数据处理装置，还包括：

创建模块(图中未示出)，用于在上述处理模块604将所述第一规则桶中所述日志特征信息对应的计数器的数值加1之后，创建所述日志特征信息的安全事件模板；

上报模块(图中未示出)，用于在上述流量识别模块605若确认所述计数器的数值大于设定阈值之后，上报所述安全事件模板所指示的安全事件。

可选地，基于上述任一实施例，上述处理模块604，还用于若第一判断模块602的判断结果为第一规则桶存在所述日志特征信息，且上述第二判断模块603的判断结果为第二规则桶存在所述日志特征信息，则保持第一规则桶中所述日志特征信息对应的计数器的数值不变。

可选地，基于上述任一实施例，上述处理模块604，还用于若第二判断模块603的判断结果为第二规则桶不存在日志特征信息，或者若第一判断模块602的判断结果为第一规则桶不存在上述日志特征信息，则在所述第二规则桶中所述日志特征信息对应的标志位的取值设置为设定值。

基于同一发明构思，本申请实施例提供了一种电子设备，如图7所示，包括处理器701和机器可读存储介质702，机器可读存储介质702存储有能够被处理器701执行的计算机程序，处理器701被计算机程序促使执行本申请任一实施例所提供的分发引擎侧的日志数据处理方法，和/或，执行本申请任一实施例所提供的规则引擎侧的日志数据处理方法。此外，该电子设备还包括通信接口703和通信总线704，其中，处理器701，通信接口703，机器可读存储介质702通过通信总线704完成相互间的通信。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)、DDR SRAM(Double Data Rate Synchronous Dynamic Random Access Memory，双倍速率同步动态随机存储器)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

另外，本申请实施例提供了一种机器可读存储介质，机器可读存储介质存储有计算机程序，在被处理器调用和执行时，计算机程序促使处理器执行本申请实施例所提供的日志数据处理方法。

对于电子设备以及机器可读存储介质实施例而言，由于其涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

上述装置中各个单元/模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元/模块可以是或者也可以不是物理上分开的，作为单元/模块显示的部件可以是或者也可以不是物理单元/模块，即可以位于一个地方，或者也可以分布到多个网络单元/模块上。可以根据实际的需要选择其中的部分或者全部单元/模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (13)

1.一种日志数据处理方法，其特征在于，应用于日志数据处理***中，所述日志数据处理***包括分发引擎和多个规则引擎，所述方法，包括：

分发引擎获取流量的日志数据，并从所述日志数据中解析出日志特征信息；

所述分发引擎根据所述日志特征信息确定对所述日志数据感兴趣的目标规则引擎，所述目标规则引擎为所述多个规则引擎中的至少一个；

所述目标规则引擎判断第一规则桶中是否存在所述日志特征信息；

所述目标规则引擎若判断所述第一规则桶存在所述日志特征信息，则判断第二规则桶是否存在所述日志特征信息；若所述第二规则桶不存在所述日志特征信息，则将所述第一规则桶中所述日志特征信息对应的计数器的数值加1；

所述目标规则引擎若判断所述第一规则桶不存在所述日志特征信息，则将所述第一规则桶中所述日志特征信息对应的计数器的数值加1；

所述目标规则引擎若确认所述计数器的数值大于设定阈值，则确认所述流量存在异常。

2.根据权利要求1所述的方法，其特征在于，分发引擎获取流量的日志数据，包括：

所述分发引擎从内存中读取所述流量的日志数据，所述内存缓存有所述流量的部分日志数据；

在所述分发引擎根据所述日志特征信息确定对所述日志数据感兴趣的目标规则引擎之后，所述方法，还包括：

将所述流量的日志数据从所述内存中删除。

3.根据权利要求1所述的方法，其特征在于，所述日志特征信息包括源IP地址和目的IP地址；则

所述目标规则引擎判断第一规则桶中是否存在所述日志特征信息，包括

所述目标规则引擎判断所述第一规则桶中是否存在所述源IP地址；

若所述第一规则桶中存在所述源IP地址，则确认所述第一规则桶中存在所述日志特征信息；

所述目标规则引擎判断第二规则桶是否存在所述日志特征信息，包括：

所述目标规则引擎判断所述第二规则桶是否存在所述源IP地址和所述目的IP地址；

若所述第二规则桶中存在所述源IP地址和所述目的IP地址，则确认所述第二规则桶存在所述日志特征信息。

4.根据权利要求1所述的方法，其特征在于，在将所述第一规则桶中所述日志特征信息对应的计数器的数值加1之后，还包括：

创建所述日志特征信息的安全事件模板；

所述目标规则引擎若确认所述计数器的数值大于设定阈值之后，还包括：

上报所述安全事件模板所指示的安全事件。

5.根据权利要求1所述的方法，其特征在于，还包括：

若所述第一规则桶存在所述日志特征信息，且所述第二规则桶存在所述日志特征信息，则保持所述第一规则桶中所述日志特征信息对应的计数器的数值不变。

6.根据权利要求1所述的方法，其特征在于，若第二规则桶不存在所述日志特征信息，或，所述第一规则桶不存在所述日志特征信息，则所述方法，还包括：

所述目标规则引擎在所述第二规则桶中所述日志特征信息对应的标志位的取值设置为设定值。

7.一种日志数据处理方法，其特征在于，应用于规则引擎中，所述方法，包括：

获取分发引擎分发的日志特征信息，所述日志特征信息为所述分发引擎从获取到的流量的日志数据中解析出日志特征信息且基于所述日志特征信息确认所述规则引擎对所述日志数据感兴趣后分发；

判断第一规则桶中是否存在所述日志特征信息；

若判断所述第一规则桶存在所述日志特征信息，则判断第二规则桶是否存在所述日志特征信息；若所述第二规则桶不存在所述日志特征信息，则将所述第一规则桶中所述日志特征信息对应的计数器的数值加1；

若判断所述第一规则桶不存在所述日志特征信息，则将所述第一规则桶中所述日志特征信息对应的计数器的数值加1；

若确认所述计数器的数值大于设定阈值，则确认所述流量存在异常。

8.根据权利要求7所述的方法，其特征在于，所述日志特征信息包括源IP地址和目的IP地址；则

判断第一规则桶中是否存在所述日志特征信息，包括：

判断所述第一规则桶中是否存在所述源IP地址；

若所述第一规则桶中存在所述源IP地址，则确认所述第一规则桶中存在所述日志特征信息；

判断第二规则桶是否存在所述日志特征信息，包括：

判断所述第二规则桶是否存在所述源IP地址和所述目的IP地址；

若所述第二规则桶中存在所述源IP地址和所述目的IP地址，则确认所述第二规则桶存在所述日志特征信息。

9.根据权利要求7所述的方法，其特征在于，在将所述第一规则桶中所述日志特征信息对应的计数器的数值加1之后，还包括：

创建所述日志特征信息的安全事件模板；

若确认所述计数器的数值大于设定阈值之后，还包括：

上报所述安全事件模板所指示的安全事件。

10.根据权利要求7所述的方法，其特征在于，还包括：

若所述第一规则桶存在所述日志特征信息，且所述第二规则桶存在所述日志特征信息，则保持所述第一规则桶中所述日志特征信息对应的计数器的数值不变。

11.根据权利要求7所述的方法，其特征在于，若第二规则桶不存在所述日志特征信息，或，所述第一规则桶不存在所述日志特征信息，则所述方法，还包括：

在所述第二规则桶中所述日志特征信息对应的标志位的取值设置为设定值。

12.一种日志数据处理***，其特征在于，所述***包括分发引擎和多个规则引擎，其中：

所述分发引擎，用于分发引擎获取流量的日志数据，并从所述日志数据中解析出日志特征信息；根据所述日志特征信息确定对所述日志数据感兴趣的目标规则引擎，所述目标规则引擎为所述多个规则引擎中的至少一个；

所述目标规则引擎，用于判断第一规则桶中是否存在所述日志特征信息；若判断所述第一规则桶存在所述日志特征信息，则判断第二规则桶是否存在所述日志特征信息；若所述第二规则桶不存在所述日志特征信息，则将所述第一规则桶中所述日志特征信息对应的计数器的数值加1；若判断所述第一规则桶不存在所述日志特征信息，则将所述第一规则桶中所述日志特征信息对应的计数器的数值加1；若确认所述计数器的数值大于设定阈值，则确认所述流量存在异常。

13.一种日志数据处理装置，其特征在于，设置于规则引擎中，所述装置，包括：

获取模块，用于获取分发引擎分发的日志特征信息，所述日志特征信息为所述分发引擎从获取到的流量的日志数据中解析出日志特征信息且基于所述日志特征信息确认所述规则引擎对所述日志数据感兴趣后分发；

第一判断模块，用于判断第一规则桶中是否存在所述日志特征信息；

第二判断模块，用于若所述第一判断模块判断所述第一规则桶存在所述日志特征信息，则判断第二规则桶是否存在所述日志特征信息；

处理模块，用于若所述第二判断模块判断所述第二规则桶不存在所述日志特征信息，则将所述第一规则桶中所述日志特征信息对应的计数器的数值加1；

所述处理模块，还用于若所述第一判断模块判断所述第一规则桶不存在所述日志特征信息，则将所述第一规则桶中所述日志特征信息对应的计数器的数值加1；

流量识别模块，用于若确认所述计数器的数值大于设定阈值，则确认所述流量存在异常。

Images