CN111092852B - 基于大数据的网络安全监控方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种基于大数据的网络安全监控方法、装置、设备及存储介质，所述方法包括：实时监控流量信息，并采用深度报文检测的方式，对流量信息进行解析，得到流量信息对应的日志文件，进而通过日志分析框架，获取流量信息对应的日志文件，并对流量信息对应的日志文件进行筛选过滤处理，得到目标日志文件，使得精准获取有效的日志文件，从而减少运算量，降低运算耗时，保证后续过程可持续进行，同时，对目标日志文件中的数据进行异常攻击的特征分析，得到特征检测结果，若特征检测结果为存在至少一种异常攻击特征，则执行相应预警措施，实现通过对有效数据进行检测的方式，判断异常，并对异常进行实时预警，提高了网络安全监控的及时性。

Description

基于大数据的网络安全监控方法、装置、设备及存储介质

技术领域

本发明涉及信息安全领域，尤其涉及一种基于大数据的网络安全监控方法、装置、设备及存储介质。

背景技术

随着计算机技术的飞速发展，许多大型科技公司采用搭建集群服务器来处理日益增长的海量数据，这些集群服务器中往往涉及多个领域多种业务，数据交互较为频繁，确保这些数据的安全性显得尤为重要，通常情况下，采用网络安全的检测和监控来提高网络数据的安全性。

在当前，网络安全的检测和监控仅能及时检测出***中发生的攻击威胁，从而缩短攻击发生的应急响应的时间差，但是即便是最理想的威胁检测***，当发生威胁警报时，威胁大多已经发生，对***的危害已经造成，因此检测永远只能作为一种相对被动的安全机制，而无法对网络安全事件及时作出预警，并且随着网络环境的日趋复杂，网络数据也在逐渐的增大，传统的安全信息和事件管理事务(Security Information and EventManagement，SIEM)很难处理多样化的非结构数据，影响对网络安全的及时检测，信息安全面临大数据带来的挑战。

因此，有必要提供一种新的能够实时进行网络数据的安全检测的技术方案以克服上述缺陷。

发明内容

本发明实施例提供一种基于大数据的网络安全监控方法、装置、计算机设备和存储介质，以实时对网络数据的安全进行检测监控，提高网络数据的安全监控的及时性。

一种基于大数据的网络安全监控方法，包括：

实时监控流量信息，并采用深度报文检测的方式，对所述流量信息进行解析，得到所述流量信息对应的日志文件；

通过日志分析框架，获取所述流量信息对应的日志文件，并对所述流量信息对应的日志文件进行筛选过滤处理，得到目标日志文件；

对所述目标日志文件中的数据进行异常攻击的特征分析，得到特征检测结果；

若所述特征检测结果为存在至少一种异常攻击特征，则执行相应预警措施。

一种基于大数据的网络安全监控装置，包括：

流量解析模块，用于实时监控流量信息，并采用深度报文检测的方式，对所述流量信息进行解析，得到所述流量信息对应的日志文件；

日志筛选模块，用于通过日志分析框架，获取所述流量信息对应的日志文件，并对所述流量信息对应的日志文件进行筛选过滤处理，得到目标日志文件；

异常分析模块，用于对所述目标日志文件中的数据进行异常攻击的特征分析，得到特征检测结果；

异常预警模块，用于若所述特征检测结果为存在至少一种异常攻击特征，则执行相应预警措施。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于大数据的网络安全监控方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于大数据的网络安全监控方法的步骤。

本发明实施例提供的基于大数据的网络安全监控方法、装置、计算机设备及存储介质，一方面，实时监控流量信息，并采用深度报文检测的方式，对流量信息进行解析，得到流量信息对应的日志文件，进而通过日志分析框架，获取流量信息对应的日志文件，并对流量信息对应的日志文件进行筛选过滤处理，得到目标日志文件，使得精准获取有效的日志文件，减少数据量，从而减少运算量，降低运算耗时，保证后续过程可持续进行，另一方面，对目标日志文件中的数据进行异常攻击的特征分析，得到特征检测结果，若特征检测结果为存在至少一种异常攻击特征，则执行相应预警措施，实现通过对有效数据进行检测的方式，判断异常，并对异常进行实时预警，提高了网络安全监控的及时性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于大数据的网络安全监控方法的应用环境示意图；

图2是本发明实施例提供的基于大数据的网络安全监控方法的实现流程图；

图3是本发明实施例提供的基于大数据的网络安全监控方法中步骤S20的实现流程图；

图4是本发明实施例提供的基于大数据的网络安全监控方法中步骤S30的实现流程图；

图5是本发明实施例提供的基于大数据的网络安全监控方法中步骤S35的实现流程图；

图6是本发明实施例提供的基于大数据的网络安全监控方法中步骤S35的另一实现流程图；

图7是本发明实施例提供的基于大数据的网络安全监控方法中步骤S355的实现流程图；

图8是本发明实施例提供的基于大数据的网络安全监控装置的示意图；

图9是本发明实施例提供的计算机设备的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，图1示出本发明实施例提供的基于大数据的网络安全监控方法的应用环境。该基于大数据的网络安全监控方法应用在网络安全监控场景中。该记录场景包括服务端和客户端，其中，服务端和客户端之间通过网络进行连接，客户端向服务端发送访问请求，产生流量数据，服务端对实时流量数据进行监控，并通过日志收集分析框架，对监控数据进行过滤，得到日志文件，进而通过对日志文件进行分析，判断是否存在异常攻击。客户端具体可以但不限于是手机、个人计算机、便携式笔记本和可穿戴式智能设备等可用于网络交互的的智能设备，服务端具体可以用独立的服务器或者多个服务器组成的服务器集群实现。

请参阅图2，图2示出本发明实施例提供的一种基于大数据的网络安全监控方法，以该方法应用在图1中的服务端为例进行说明，详述如下：

S10：实时监控流量信息，并采用深度报文检测的方式，对流量信息进行解析，得到流量信息对应的日志文件。

具体地，分布式集群服务器的流量信息较为庞大，在本实施例中，实时对分布式集群服务器的流量信息进行监控，并采用深度报文检测的方式，对监控的流量信息进行解析，过滤掉一些无效的数据信息，并将有效的数据信息按照预设规则进行分类，并生成流量信息对应的日志文件。

其中，深度报文检测(Deep Packet Inspection，DPI)是一种基于数据包的深度检测技术，设备通过对网络的关键点处的流量和报文内容进行检测分析，可以根据事先定义的策略对检测流量进行过滤控制，能完成所在链路的业务精细化识别、业务流量流向分析、业务流量占比统计、业务占比整形等功能。

S20：通过日志分析框架，获取流量信息对应的日志文件，并对流量信息对应的日志文件进行筛选过滤处理，得到目标日志文件。

具体地，在集群端的每个集群服务器上分别部署预设的日志收集框架，该框架具体可包括分布式发布订阅消息***Kafka和预设的日志收集***，通过预设的日志收集框架，收集流量信息对应的日志文件，并对该日志文件进行筛选过滤，得到目标日志文件。

其中，Kafka是一种高吞吐量的分布式发布订阅消息***。Kafka通过磁盘数据结构提供消息的持久化，这种结构对于TB数量级的消息存储也能够保持长时间的稳定性能，能够处理消费者规模的站点中的所有动作流数据。

具体来说，动作流数据中的动作包括但不限于：网页浏览，搜索和其他用户的行动，这些动作是在现代网络上的许多社会功能的一个关键因素。动作流数据通常是根据吞吐量的要求，通过处理日志和日志聚合来解决。

例如，在一具体实施方式中，Kafka收集的动作流可以包括：服务器上各个进程运行产生的日志，管理人员对服务器的操作产生的日志，服务器运行时自身的处理日志等。

其中，预设的日志收集***包括但不限于：Spark、Hadoop、Logstash和Flume等，其中Spark和Hadoop相对成本较高，Logstash是一款轻量级的日志搜集处理框架，可以方便的把分散的、多样化的日志搜集起来，并进行自定义的处理因此，作为优选方式，本发明实施例中使用的日志收集***为Flume或Logstash。

其中，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力，当收集数据的速度超过将写入数据的时候，也就是当收集信息遇到峰值时，收集的信息非常大，甚至超过了***的写入数据能力，此时，Flume会在数据生产者和数据收容器间做出调整，保证其能够在两者之间提供平稳的数据，Flume的管道是基于事务，保证了数据在传送和接收时的一致性，同时，Flume具有可靠性强、容错性高、支持升级和易管理的特性，使得日志收集***高可用。

S30：对目标日志文件中的数据进行异常攻击的特征分析，得到特征检测结果。

具体地，针对得到的目标日志文件，对高目标日志文件包含的每个源IP和目标端口，进行单位时间内的流量分析，并结合各种异常攻击的特性，判断是否存在异常攻击的特征，得到特征检测结果。

其中，异常攻击包括但不限于：分布式拒绝服务(Distributed Denial ofService，DDOS)、挑战黑洞(ChallengeCollapsar，CC)、异常流量、SQL注入(SqlInject)等。

其中，源IP是指访问服务端的任一端口的IP地址，目标端口是在源IP访问的端口。

在本实施例中，每种异常攻击，对应有自身的流量变化特性，对异常攻击的检测主要是根据单位时间内流量的变化趋势来进行相应判断。

具体对异常攻击的判断，可参考步骤S31至步骤S35的描述，或者，参照步骤S36至步骤S37的描述，为避免重复，此处不再赘述。

S40：若特征检测结果为存在至少一种异常攻击特征，则执行相应预警措施。

具体地，在特征检测结果为存在至少一种异常攻击特征时，执行相应预警措施。

其中，服务端设置有不同异常攻击对应的预警措施，根据特征检测结果中包含的异常攻击特征，确定对应的预警措施，具体的预警措施可根据实际需要进行设定，此处不做限定。

在本实施例中，通过实时监控流量信息，并采用深度报文检测的方式，对流量信息进行解析，得到流量信息对应的日志文件，进而通过日志分析框架，获取流量信息对应的日志文件，并对流量信息对应的日志文件进行筛选过滤处理，得到目标日志文件，使得精准获取有效的日志文件，减少数据量，从而减少运算量，降低运算耗时，保证后续过程可持续进行，另一方面，对目标日志文件中的数据进行异常攻击的特征分析，得到特征检测结果，若特征检测结果为存在至少一种异常攻击特征，则执行相应预警措施，实现通过对有效数据进行检测的方式，判断异常，并对异常进行实时预警，提高了网络安全监控的及时性。

在图2对应的实施例的基础之上，下面通过一个具体的实施例来对步骤S20中所提及的通过日志分析框架，获取流量信息对应的日志文件，并对流量信息对应的日志文件进行筛选过滤处理，得到目标日志文件的具体实现方法进行详细说明。

请参阅图3，图3示出了本发明实施例提供的步骤S20的具体实现流程，详述如下：

S21：部署分布式发布订阅消息***Kafka和日志分析工具Logstash。

具体地，在集群端的每个集群服务器上分别部署分布式发布订阅消息***Kafka和日志分析工具Logstash。

其中，Kafka是一种高吞吐量的分布式发布订阅消息***。Kafka通过磁盘数据结构提供消息的持久化，这种结构对于TB数量级的消息存储也能够保持长时间的稳定性能，能够处理消费者规模的站点中的所有动作流数据。

具体来说，动作流数据中的动作包括但不限于：网页浏览，搜索和其他用户的行动，这些动作是在现代网络上的许多社会功能的一个关键因素。动作流数据通常是根据吞吐量的要求，通过处理日志和日志聚合来解决。

例如，在一具体实施方式中，Kafka收集的动作流可以包括：服务器上各个进程运行产生的日志，管理人员对服务器的操作产生的日志，服务器运行时自身的处理日志等。

目前常见的用于集群管理的开源日志分析工具包括：Spark、Hadoop、Logstash等，其中Spark和Hadoop相对成本较高，因此本发明实施例中使用的日志分析工具为Logstash。

Logstash是一款轻量级的日志搜集处理框架，可以方便的把分散的、多样化的日志搜集起来，并进行自定义的处理，然后传输到指定的位置，例如某个服务器上或者某个文件里。

进一步地，Logstash可以通过配置匹配符来进行日志筛选过滤操作。

S22：通过分布式发布订阅消息***Kafka实时获取流量信息对应的日志文件。

具体地，Kafka集群获取到的每条消息都有一个类别，这个类别被称为Topic。不同Topic的消息分开存储，存储位置可以根据需求进行自定义并记录在Offset中，消费者只需指定消息的Topic即可获取数据而不必关心数据具体存储在哪个地方。

其中，Offset为存储位置的索引序列，Offset包括但不限于：Offset编号、消息类别、服务器IP地址、存储位置和消息时间。

例如，在一个由服务器A、服务器B和服务器C组成的Kafka集群中，在一具体时间段接收到的消息类别中包含两类：故障记录消息和调试记录消息，其中，故障记录消息23条，调试记录消息160条，Kafka自动根据服务器A、服务器B和服务器C当前的状态，选择存储故障记录消息和调试记录消息的服务器。比如，将故障记录消息和调试记录消息分别存储在服务器A和服务器B上，其中，服务器A上存储了6条故障记录消息，其存储位置为：“C:\temp\server_fault_2952.log”，同时服务器A上还存储了100条调试记录消息，其存储位置为：“C:\temp\server_debug_3623.log”，服务器B上存储了17条故障记录消息，其存储位置为：“E:\min\server_fault_95.log”，同时服务器B上还存储了60条调试记录消息，其存储位置为：“C:\ser\server_debug_532.log”，服务器A的IP地址为：192.168.23.2，其存储的故障记录消息的Offset为“编号：9562，日志类别：故障记录消息，服务器IP地址：192.168.23.2，存储位置：C:\temp\server_fault_2952.log，消息时间：2018-01-19 11:49:20”。

需要说明的是，由于Kafka采用解耦的设计思想，并非原始的发布订阅，生产者把数据推送给每个Topic，消费者从Topic中获取数据，这种方式具有如下优势：

a)生产者的负载与消费者的负载解耦。

b)消费者按照自己的需要获取数据，避免了消费者集群中产生大量没必要的垃圾数据。其中，获取数据使用Fetch方法，Fetch方法提供了获取资源数据的API接口和更强大更灵活的功能集，消费者可以根据自己的能力来获取接口，不受生产者的服务器限制。

c)消费者可以自定义消费的数量。

可以理解地，由于这些优势，使得Kafka能够实时获取并存储所有实时流量产生的日志文件。

S23：使用日志分析工具Logstash对日志文件的数据进行筛选过滤处理，得到目标日志文件。

具体地，Logstash是一款轻量级的日志搜集处理框架，具有方便的把分散的、多样化的日志搜集起来的特性。在Kafak将实时获取的集群端日志文件的数据分布式存放在预设的自定义存储位置后，Logstash根据应用的需要获取日志文件的数据并对日志文件的数据进行分类过滤，得到目标资源数据。其具体实现流程如下：

a)Logstash获取预设时间间隔内的Offset。

由于步骤S302中所提到的Kafka所具有的特性，使得Kafka可以实时获取并存储所有日志文件的数据，出于性能方面的考虑，Logstash在处理这些日志文件的数据的时候，需要预设一个时间间隔，通过获取预设时间间隔内的所有Offset来得到相关消息的记录。

例如，在一具体实施方式中，预设的处理日志文件的数据的时间间隔为60秒，则Logstash在开始处理日志文件的数据时，先获取距当前时间60内的所有Offset。

b)Logstash根据Offset内记载的存储位置获取相对应的日志文件。

由步骤S302中对Offset的说明可知，每个Offset包含有该Offset记载的消息的对应的存储位置，根据该存储位置，获取相对应的日志文件。

例如，在一具体实施方式中，获取到的某个Offset具体记载内容为：“编号：9562，日志类别：故障记录消息，服务器IP地址：192.168.23.2，存储位置：C:\temp\server_fault_2952.log，消息时间：2018-01-25 11:37:21”，容易理解地，其记载的存储信息为：“C:\temp\server_fault_2952.log”，其对应的日志文件为记载在服务器IP为“192.168.23.2”的服务器上的“C:\temp\”目录下的“server_fault_2952.log”文件。

c)Logstash对日志文件中的记录信息进行分类。

在获取到日志文件后，对日志文件里面的每条记录信息进行分类。

具体地，日志文件包含至少一条记录信息，每条记录信息包含但不限于该记录信息的类别、编号、和具体事件，但这些内容没有被分割开来，通过对记录信息进行分割，获取记录信息的分类。

例如：在一具体实施方式中，在一日志文件里存在这样一条记录信息：“0009[I]C:\Windows\system32\Macromed\Flash\activex.vch”，通过使用Split函数对该记录信息进行分割，得到{“0009”，“[I]”，“C:\Windows\system32\Macromed\Flash\activex.vch”}，其中“0009”为该记录信息的编号，“[I]”为该记录信息的类别，“C:\Windows\system32\Macromed\Flash\activex.vch”为该记录信息的具体事件。

d)Logstash从日志文件的记录信息中，获取与预设匹配符相匹配的类别的记录信息，同时获取该记录信息对应的服务器IP地址和消息时间，并将该记录信息、该服务器IP地址和该消息时间作为目标日志文件。

具体地，Logstash从日志文件的记录信息中，按照预设匹配符查找对应的类别，并获取查询到的与预设匹配符相匹配的类别所在的记录信息，并根据该记录信息所在的日志文件，获取该记录信息对应的服务器IP地址和消息时间。

例如，记录信息的类别可以包括“[D]”、“[I]”、“[W]”、“[E]”、“[F]”中的至少一种，其中，“[D]”、“[I]”、“[W]”、“[E]”、“[F]”分别对应“Debug”、“Info”、“Warn”、“Error”、“Fatal”，当预设匹配符为“Debug”、“Info”、“Warn”、“Error”、“Fatal”中的某一项或者多项组合时，通过获取与该匹配符相匹配的类别，进而获取该类别对应的记录信息。

需要说明的是，预设匹配符和记录信息的类别均可以根据实际应用的需要进行设置，此处不做限制。

作为一种优选方式，在本实施例中，预设匹配符和记录信息的类别可以是采用实时流量的数据类型或者访问的端口类型进行分类。

在本实施例中，通过部署分布式发布订阅消息***Kafka和日志分析工具Logstash，并通过分布式发布订阅消息***Kafka实时获取流量信息对应的日志文件，再使用日志分析工具Logstash对日志文件的数据进行筛选过滤处理，得到目标日志文件，实现在有效获取所需要的目标日志文件的同时，也避免了过多的冗余数据对后续异常判断带来的干扰，减少了计算量，有利于提高后续异常判断的效率。

在图2对应的实施例的基础之上，下面通过一个具体的实施例来对步骤S30中所提及的对目标日志文件中的数据进行异常攻击的特征分析，得到特征检测结果的具体实现方法进行详细说明。

请参阅图4，图4示出了本发明实施例提供的步骤S30的具体实现流程，详述如下：

S31：针对流量信息对应的每个目标端口，从目标日志文件中，获取预设时间区间内，每个源IP访问目标端口的基础数据包信息。

具体地，在集群服务器中，包含多个节点服务器，每个节点服务器包含一个或多个端口，针对流量信息对应的每个目标端口，从目标日志文件中，获取预设时间区间内，每个源IP访问目标端口的基础数据包信息。

其中，基础数据包信息是指该源IP访问目标端口的数据流量的信息。

S32：对每个基础数据包信息进行汇总，得到预设时间区间内，访问目标端口的汇总数据包信息。

具体地，对每个基础数据包信息进行汇总，得到预设时间区间内，访问目标端口的汇总数据包信息。

S33：针对每个源IP，计算源IP对应的基础数据包信息与汇总数据包的比值，得到源IP在单位时间内访问目标端口的频率，并根据频率，确定预设时间区间内的信息熵。

具体地，针对每个源IP，计算源IP对应的基础数据包信息与汇总数据包的比值，得到源IP在单位时间内访问目标端口的频率，并根据频率，确定预设时间区间内的信息熵。

其中，信息熵(informationentropy)是对信息出现概率的量化度量，一个信源发送出什么符号是不确定的，衡量它可以根据其出现的概率来度量。概率大，出现机会多，不确定性小，反之不确定性就大。

在本实施例中，通过信息熵来度量在预设时间范围内，源IP访问目标端口数量的范围。

S34：将信息熵存入到长度为M的滑动窗口中，其中，每个信息熵占滑动窗口的1个单位的长度。

具体地，将信息熵存入到长度为M的滑动窗口中，其中，每个信息熵占滑动窗口的1个单位的长度。

S35：基于信息熵与滑动窗口，判断信息熵对应的源IP是否存在流量异常，并根据判断结果，确定特征检测结果。

具体地，根据信息熵与滑动窗口，判断信息熵对应的源IP是否存在流量异常，并根据判断结果，确定特征检测结果，具体过程可参考步骤S351至步骤S353的描述，或者，参考步骤S354至步骤S355的描述，为避免重复，此处不再赘述。

在本实施例中，针对流量信息对应的每个目标端口，从目标日志文件中，获取预设时间区间内，每个源IP访问目标端口的基础数据包信息，对每个基础数据包信息进行汇总，得到预设时间区间内，访问目标端口的汇总数据包信息，再针对每个源IP，计算源IP对应的基础数据包信息与汇总数据包的比值，得到源IP在单位时间内访问目标端口的频率，并根据频率，确定预设时间区间内的信息熵，进而将信息熵存入到长度为M的滑动窗口中，其中，每个信息熵占滑动窗口的1个单位的长度，最后基于信息熵与滑动窗口，判断信息熵对应的源IP是否存在流量异常，并根据判断结果，确定特征检测结果，实现快速对每个IP是否存在流量异常进行监控，在检测到异常时，快速获取引发异常的源IP，进而进行处理，有利于提高网络安全监控的效率。

在图4对应的实施例的基础之上，下面通过一个具体的实施例来对步骤S35中所提及的基于信息熵与滑动窗口，判断信息熵对应的源IP是否存在流量异常，并根据判断结果，确定特征检测结果的具体实现方法进行详细说明。

请参阅图5，图5示出了本发明实施例提供的步骤S35的具体实现流程，详述如下：

S351：在滑动窗口中存储的信息熵个数达到M个时，计算M个信息熵的置信值N和平均值V，并根据置信值和平均值确定置信区间[N-V，N+V]。

具体地，在滑动窗口中存储的信息熵个数达到M个时，计算M个信息熵的置信值N和平均值V，并根据置信值和平均值确定置信区间[N-V，N+V]。

其中，计算信息熵的置信值和平均值，可根据置信值和平均值的计算公式进行计算，此处不做具体说明。

S352：判断源IP在预设时间区间内的信息熵是否属于置信区间[N-V，N+V]范围内。

具体地，在确定置信区间之后，对每个源IP在预设时间区间内的信息熵进行统计，判断源IP在预设时间区间内的信息熵是否属于置信区间[N-V，N+V]范围内。

S353：若源IP在预设时间区间内的信息熵在置信区间[N-V，N+V]范围内，则确定特征检测结果为存在至少一种异常攻击特征。

具体地，当源IP在预设时间区间内的信息熵置信区间[N-V，N+V]范围内时，则确定该源IP的访问流量存在异常，此时，确定特征检测结果为存在至少一种异常攻击特征。

在本实施例中，通过具体信息熵和置信区间，判断源IP在预设时间区间内的流量是否正常，进而确定是否存在异常攻击特征，实现快速进行异常的检测，提高了异常检测的效率。

在一实施例中，该步骤S35还包括采用流计算框架Flink的方式来进行异常结果的监控。

请参阅图6，图6示出了本发明实施例提供的采用流计算框架Flink的方式来进行异常结果的监控的具体实现流程，详述如下：

S354：采用流计算框架Flink，实时对信息熵和滑动窗口设置状态管理点State。

具体地，本实施例中，数据流量是属于持续生成的数据，对于持续生成最新数据的场景，采用流数据的方式进行处理能有效提高处理速度，流数据主要特性有数据实时到达、到达次序独立且不受应用***控制、对未知规模容量的数据具有较强的分析和处理能力等，本实施例中，采用流计算框架Flink，实时对信息熵和滑动窗口设置状态管理点State，也即，实时对信息熵和滑动窗口进行分段存储。

其中，流计算框架Flink由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎，Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时***可以执行批处理和流处理程序，Flink具有Checkpoint、Savepoint和容错机制。

其中，Sate是事务过程中的一个逻辑点，用于取消部分事务，当结束事务时，会自动的删除该事务中所定义的所有保存点，在本实施例中，根据State，可以对实时计算的信息熵和滑动窗口中保存的数据进行保存并分发到并发式框架进行并发计算。

S355：按照预设的时间间隔，读取状态管理点State对应的信息熵和滑动窗口，并基于信息熵与滑动窗口，采用预设判断方式，判断信息熵对应的源IP是否存在流量异常，并根据判断结果，确定特征检测结果。

具体地，按照预设的时间间隔，读取状态管理点State对应的信息熵和滑动窗口，并基于信息熵与滑动窗口，采用预设判断方式，判断信息熵对应的源IP是否存在流量异常，并根据判断结果，确定特征检测结果。

需要说明的是，预设判断方式，具体可以是根据实际情况新增加的流量异常判断算法，例如，预设判断方式为通过判断信息熵是否落入置信区间确定是否存在异常攻击，新增加的流量异常判断算法为通过计算单位时间内的流量阈值确定是否存在异常攻击，或者通过神经网络模型判断当前流量是否异常等，也可以是根据实际情况，对步骤S351至步骤S353提供的判断方式进行调整后的流量异常检测算法，本实施例采用流计算框架Flink自带的状态管理(state)特性，实时对正在执行运算的中间结果(信息熵和滑动窗口中保存的信息)进行暂存，并执行预设判断方式进行判断，步骤S351至步骤S353提供的判断方式与预设判断方式之间没有必然的先后的先后顺序，可以是只执行步骤S351至步骤S353提供的判断方式，也可以是只执行预设判断方式，还可以是同时并发执行这两种判断方式，此处不做具体限制。

应理解，预设判断方式仅作为本实施例的一个具体实施方式进行说明，实际生产中，也可以是两个或者两个以上的预设判断方式，其执行可以是执行多种预设判断方式中的一种或者多种，在执行多种预设判断方式中的多种时，该多种预设判断方式为并发执行。

值得说明的是，预设判断方式是在预设时间间隔之后才执行判断，因而，可根据实际需要，对判断方式进行实时更新，而并不影响流量监控的正常进行，在本实施例中，通过向服务端发送包含更新内容的更新指令，实现对判断方式的更新。

在本实施例中，采用流计算框架Flink，实时对信息熵和滑动窗口进行状态保存，并按照预设的时间间隔，对该时间段范围内保存的信息熵和滑动窗口进行异常检测，得到检测结果。流计算框架Flink和状态管理点State的结合使用，根据实际需求，设定时间间隔对流量信息进行异常判断，防止在流量高峰期容易导致的网络拥堵，有利于提高实时检测的效率和检测的及时性。

在图6对应的基础上，下面通过一个具体地实施例对步骤基于信息熵与滑动窗口，采用预设判断方式，判断信息熵对应的源IP是否存在流量异常，并根据判断结果，确定特征检测结果进行详细说明。

如图7所示，图7示出了本实施例提供的基于信息熵与滑动窗口，采用预设判断方式，判断信息熵对应的源IP是否存在流量异常，并根据判断结果，确定特征检测结果进行的具体实现流程，详述如下：

S3551：根据获取到的信息熵和滑动窗口，确定预设时间间隔的流量序列。

具体地，依次获取滑动窗口中，每个信息熵对应的流量信息，得到预设时间间隔的流量序列。

S3552：对流量序列进行小波变换，得到流量序列对应的小波系数，并根据小波系数确定所述流量序列对应的目标赫斯特指数。

具体地，网络中的正常流量具有相似性，即相同时长且相同时隙对流量进行采样得到的多个流量序列对应的多组小波系数也相似，相应的，基于该多组小波系数分别计算得到的赫斯特指数指数大小也近似。也就是说，若在某一预设时长内网络中存在异常流量，则这些异常流量将阻塞网络中的正常流量，导致网络设备传输的流量的相似性降低，这样，在该预设时长内按照预设时隙对流量进行采样得到的流量序列对应的一组小波系数会与基于相同时长且相同时隙对正常流量进行采样得到的流量序列对应的一组小波系数存在明显变化，相应的，赫斯特指数指数也会发生明显变化，在本实施例中，通过对流量序列进行小波变化，得到流量序列对应的小波系数，并根据小波系数确定所述流量序列对应的目标赫斯特指数。

其中，赫斯特指数(Hurst exponent)是一种基于重标极差(R/S)分析方法构建的指数，用于作为判断时间序列数据遵从随机游走还是有偏的随机游走过程的指标。

S3553：若目标赫斯特指数与预设赫斯特指数的差值的绝对值大于预设阈值，则确定特征检测结果为存在异常流量。

具体地，在目标赫斯特指数与预设赫斯特指数的差值的绝对值大于预设阈值，则确定特征检测结果为存在异常流量。

其中，预设赫斯特指数为根据正常流量序列计算得到。

其中，预设阈值可根据实际需求进行设定，通常在0.1-0.4之间。

在本实施例中，根据获取到的信息熵和滑动窗口，确定预设时间间隔的流量序列，再计算该流量序列的目标赫斯特指数，并与预设赫斯特指数进行比较，判断是否存在异常，实现快速对流量进行分析，提高了异常检测的效率。

在一实施例中，在步骤S40之后，该基于大数据的网络安全监控方法还包括：

对目标日志文件和异常攻击特征进行数据分析，并构建可视化图表，其中，该可视化图表包括趋势图、频数图、比重图或数据表格中的至少一项。

具体地，在检测到异常之后，获取异常流量对应的源IP和目标端口，并对该源IP的流量数据和目标端口的流量数据进行可视化显示，以便管理人员快速直观对异常进行查阅。

其中，生成的可视化图表具体包括但不限于：趋势图、频数图、比重图或数据表格等，具体可依据实际需求进行设定，此处不做限制。

需要说明的是，生成可视化图表之后，可将可视化图表发送到监控端的界面，将可视化图表作为预警提示信息，发送到第三方通信平台。

在本实施例中，通过对目标位置文件和和异常攻击特征进行数据分析，生成可视化图表，以便管理人员快速进行查阅。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

图8示出与上述实施例基于大数据的网络安全监控方法一一对应的基于大数据的网络安全监控装置的原理框图。如图8所示，该基于大数据的网络安全监控装置包括流量解析模块10、日志筛选模块20、异常分析模块30、和异常预警模块50。各功能模块详细说明如下：

流量解析模块10，用于实时监控流量信息，并采用深度报文检测的方式，对流量信息进行解析，得到流量信息对应的日志文件；

日志筛选模块20，用于通过日志分析框架，获取流量信息对应的日志文件，并对流量信息对应的日志文件进行筛选过滤处理，得到目标日志文件；

异常分析模块30，用于对目标日志文件中的数据进行异常攻击的特征分析，得到特征检测结果；

异常预警模块40，用于若特征检测结果为存在至少一种异常攻击特征，则执行相应预警措施。

进一步地，日志筛选模块20包括：

部署单元，用于部署分布式发布订阅消息***Kafka和日志分析工具Logstash；

日志收集单元，用于通过分布式发布订阅消息***Kafka实时获取流量信息对应的日志文件；

日志分析单元，用于使用日志分析工具Logstash对日志文件的数据进行筛选过滤处理，得到目标日志文件。

进一步地，异常分析模块30包括：

基础数据包获取单元，用于针对流量信息对应的每个目标端口，从目标日志文件中，获取预设时间区间内，每个源IP访问目标端口的基础数据包信息；

汇总数据包确定单元，用于对每个基础数据包信息进行汇总，得到预设时间区间内，访问目标端口的汇总数据包信息；

信息熵确定单元，用于针对每个源IP，计算源IP对应的基础数据包信息与汇总数据包的比值，得到源IP在单位时间内访问目标端口的频率，并根据频率，确定预设时间区间内的信息熵；

信息熵存储单元，用于将信息熵存入到长度为M的滑动窗口中，其中，每个信息熵占滑动窗口的1个单位的长度；

结果判断单元，用于基于信息熵与滑动窗口，判断信息熵对应的源IP是否存在流量异常，并根据判断结果，确定特征检测结果。

进一步地，结果判断单元包括：

置信区间确定子单元，用于在滑动窗口中存储的信息熵个数达到M个时，计算M个信息熵的置信值N和平均值V，并根据置信值和平均值确定置信区间[N-V，N+V]；

范围比较子单元，用于判断源IP在预设时间区间内的信息熵是否属于置信区间[N-V，N+V]范围内；

异常确定子单元，用于若源IP在预设时间区间内的信息熵在置信区间[N-V，N+V]范围内，则确定特征检测结果为存在至少一种异常攻击特征。

进一步地，结果判断单元还包括：

信息存储子单元，用于采用流计算框架Flink，实时对信息熵和滑动窗口设置状态管理点State；

预设判断子单元，用于按照预设的时间间隔，读取状态管理点State对应的信息熵和滑动窗口，并基于信息熵与滑动窗口，采用预设判断方式，判断信息熵对应的源IP是否存在流量异常，并根据判断结果，确定特征检测结果。

进一步地，预设判断单元包括：

序列获取元件，用于根据获取到的信息熵和滑动窗口，确定预设时间间隔的流量序列；

指数计算元件，用于对流量序列进行小波变换，得到流量序列对应的小波系数，并根据小波系数确定流量序列对应的目标赫斯特指数；

异常判断元件，用于若目标赫斯特指数与预设赫斯特指数的差值的绝对值大于预设阈值，则确定特征检测结果为存在异常流量。

该基于大数据的网络安全监控装置还包括：

实时更新单元，用于若接收到针对所述预设判断方式的更新指令，则根据所述更新指令，对所述预设判断方式进行更新。

关于基于大数据的网络安全监控装置的具体限定可以参见上文中对于基于大数据的网络安全监控方法的限定，在此不再赘述。上述基于大数据的网络安全监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图9是本发明一实施例提供的计算机设备的示意图。该计算机设备可以是服务端，其内部结构图可以如图9所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储日志分析框架和预设判断方式。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于大数据的网络安全监控方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例基于大数据的网络安全监控方法的步骤，例如图2所示的步骤S10至步骤S40。或者，处理器执行计算机程序时实现上述实施例基于大数据的网络安全监控装置的各模块/单元的功能，例如图8所示的模块10至模块40的功能。为避免重复，这里不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

在一实施例中，提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例基于大数据的网络安全监控方法的步骤，或者，该计算机程序被处理器执行时实现上述实施例基于大数据的网络安全监控装置中各模块/单元的功能。为避免重复，这里不再赘述。

可以理解地，所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号和电信信号等。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于大数据的网络安全监控方法，其特征在于，包括：

实时监控流量信息，并采用深度报文检测的方式，对所述流量信息进行解析，得到所述流量信息对应的日志文件；

通过日志分析框架，获取所述流量信息对应的日志文件，并对所述流量信息对应的日志文件进行筛选过滤处理，得到目标日志文件；

对所述目标日志文件中的数据进行异常攻击的特征分析，得到特征检测结果；

若所述特征检测结果为存在至少一种异常攻击特征，则执行相应预警措施；

所述对所述目标日志文件中的数据进行异常攻击的特征分析，得到特征检测结果包括：

针对所述流量信息对应的每个目标端口，从所述目标日志文件中，获取预设时间区间内，每个源IP访问所述目标端口的基础数据包信息，其中，所述基础数据包信息为源IP访问目标端口的数据流量信息；

对每个基础数据包信息进行汇总，得到所述预设时间区间内，访问所述目标端口的汇总数据包信息；

针对每个所述源IP，计算所述源IP对应的基础数据包信息与所述汇总数据包的比值，得到所述源IP在单位时间内访问所述目标端口的频率，并根据所述频率，确定所述预设时间区间内的信息熵；

将所述信息熵存入到长度为M的滑动窗口中，其中，每个所述信息熵占所述滑动窗口的1个单位的长度；

基于所述信息熵与所述滑动窗口，判断所述信息熵对应的所述源IP是否存在流量异常，并根据判断结果，确定所述特征检测结果；

所述基于所述信息熵与所述滑动窗口，判断所述信息熵对应的所述源IP是否存在流量异常，并根据判断结果，确定所述特征检测结果还包括：

采用流计算框架Flink，实时对所述信息熵和所述滑动窗口设置状态管理点State；

按照预设的时间间隔，读取所述状态管理点State对应的所述信息熵和所述滑动窗口，并基于所述信息熵与所述滑动窗口，采用预设判断方式，判断所述信息熵对应的所述源IP是否存在流量异常，并根据判断结果，确定所述特征检测结果。

2.如权利要求1所述的基于大数据的网络安全监控方法，其特征在于，所述日志分析框架包括分布式发布订阅消息***Kafka和日志分析工具Logstash，所述通过日志分析框架，获取所述流量信息对应的日志文件，并对所述流量信息对应的日志文件进行筛选过滤处理，得到目标日志文件包括：

部署所述分布式发布订阅消息***Kafka和所述日志分析工具Logstash；

通过所述分布式发布订阅消息***Kafka实时获取所述流量信息对应的日志文件；

使用所述日志分析工具Logstash对所述日志文件中的数据进行筛选过滤处理，得到目标日志文件。

3.如权利要求1所述的基于大数据的网络安全监控方法，其特征在于，所述基于所述信息熵与所述滑动窗口，判断所述信息熵对应的所述源IP是否存在流量异常，并根据判断结果，确定所述特征检测结果包括：

在所述滑动窗口中存储的信息熵个数达到M个时，计算所述M个信息熵的置信值N和平均值V，并根据所述置信值和平均值确定置信区间[N-V，N+V]；

判断所述源IP在预设时间区间内的信息熵是否属于所述置信区间[N-V，N+V]范围内；

若所述源IP在预设时间区间内的信息熵在所述置信区间[N-V，N+V]范围内，则确定特征检测结果为存在至少一种异常攻击特征。

4.如权利要求1所述的基于大数据的网络安全监控方法，其特征在于，所述基于所述信息熵与所述滑动窗口，采用预设判断方式，判断所述信息熵对应的所述源IP是否存在流量异常，并根据判断结果，确定所述特征检测结果包括：

根据获取到的所述信息熵和所述滑动窗口，确定所述预设时间间隔的流量序列；

对所述流量序列进行小波变换，得到所述流量序列对应的小波系数，并根据所述小波系数确定所述流量序列对应的目标赫斯特指数；

若所述目标赫斯特指数与预设赫斯特指数的差值的绝对值大于预设阈值，则确定所述特征检测结果为存在异常流量。

5.如权利要求1所述的基于大数据的网络安全监控方法，其特征在于，所述基于大数据的网络安全监控方法还包括：

若接收到针对所述预设判断方式的更新指令，则根据所述更新指令，对所述预设判断方式进行更新。

6.一种基于大数据的网络安全监控装置，其特征在于，包括：

流量解析模块，用于实时监控流量信息，并采用深度报文检测的方式，对所述流量信息进行解析，得到所述流量信息对应的日志文件；

日志筛选模块，用于通过日志分析框架，获取所述流量信息对应的日志文件，并对所述流量信息对应的日志文件进行筛选过滤处理，得到目标日志文件；

异常分析模块，用于对所述目标日志文件中的数据进行异常攻击的特征分析，得到特征检测结果；

异常预警模块，用于若所述特征检测结果为存在至少一种异常攻击特征，则执行相应预警措施；

所述异常分析模块包括：

基础数据包获取单元，用于针对所述流量信息对应的每个目标端口，从所述目标日志文件中，获取预设时间区间内，每个源IP访问所述目标端口的基础数据包信息，其中，所述基础数据包信息为源IP访问目标端口的数据流量信息；

汇总数据包确定单元，用于对每个基础数据包信息进行汇总，得到所述预设时间区间内，访问所述目标端口的汇总数据包信息；

信息熵确定单元，用于针对每个所述源IP，计算所述源IP对应的基础数据包信息与所述汇总数据包的比值，得到所述源IP在单位时间内访问所述目标端口的频率，并根据所述频率，确定所述预设时间区间内的信息熵；

信息熵存储单元，用于将所述信息熵存入到长度为M的滑动窗口中，其中，每个所述信息熵占所述滑动窗口的1个单位的长度；

结果判断单元，用于基于所述信息熵与所述滑动窗口，判断所述信息熵对应的所述源IP是否存在流量异常，并根据判断结果，确定所述特征检测结果；

所述结果判断单元还包括：

信息存储子单元，用于采用流计算框架Flink，实时对所述信息熵和所述滑动窗口设置状态管理点State；

预设判断子单元，用于按照预设的时间间隔，读取所述状态管理点State对应的所述信息熵和所述滑动窗口，并基于所述信息熵与所述滑动窗口，采用预设判断方式，判断所述信息熵对应的所述源IP是否存在流量异常，并根据判断结果，确定所述特征检测结果。

7.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的基于大数据的网络安全监控方法。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的基于大数据的网络安全监控方法。

Images