CN115361231B - 基于访问基线的主机异常流量检测方法、***及设备 - Google Patents

Abstract

本发明属于流量检测技术领域，为了解决基于深度学习方法提取出的特征有效性差，影响流量异常检测的效率的问题，提供了一种基于访问基线的主机异常流量检测方法、***及设备。其中，该方法包括获取预设时间段内主机访问数据，并基于定量分析基线和定性分析基线分别对应进行定量分析和定性分析；其中，定量分析基线和定性分析基线是基于设定历史时间段内的主机访问数据而构建的；基于定量分析和定性分析两者的结果来判定主机流量的异常性：若定量分析和定性分析两者中存在任一者判定主机访问数据为异常流量，则认定存在主机异常流量。其可在多维度、多场景，并根据不同筛选条件确定基线，具有检测准确度更高、覆盖场景多、基线确定精确的优点。

Description

基于访问基线的主机异常流量检测方法、***及设备

技术领域

本发明属于流量检测技术领域，尤其涉及一种基于访问基线的主机异常流量检测方法、***及设备。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着网络技术的不断发展，主机每日的网络访问流量逐步增长。先前基于人工判断主机访问是否异常的方式已变得不再可能。因此如何从海量的主机访问数据中进行异常流量检测面临巨大挑战。

现阶段主机异常流量检测主要包含以下方法：（1）基于规则：通过程序开发完成检测规则的设计，在获取主机流量数据后进行规则匹配和筛选。通过筛选的则被判定为异常流量数据。基于规则的异常流量检测方法由于规则相对固定、流程相对固定，存在灵活性、扩展性不强的问题。且由于规则存在严格的条件限制，也会包含较高的误判率。对于数据量较大的情况，对性能也是一个极大的挑战。（2）基于统计或机器学习方法：利用统计学方法或传统机器学习方法建立流量访问基线或均值，并建立误差区间。最后对需要检测的数据进行聚合或分组操作，与基线进行对比判定，若不存在误差区间内则被判定为异常流量数据。基于统计或机器学习方法可较好实现异常流量检测，但是在大数据的前提下，传统方法则较难提取出数据中的共性特征，对检测准确度会有较大不利影响。（3）基于深度学习方法：随着流量数据的指数增长，利用深度学习方法进行异常流量检测则变得越来越流行，通过构造数据集、模型搭建和训练、结果预测的方式完成对异常流量的检测。该方法相比统计或机器学习方法检测准确度较高，但对训练数据有较高要求。由于主机访问数据区别与传统文本，不存在语义及上下文信息，因此基于深度学习方法提取出的特征有效性差，进而影响流量异常检测的效率。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种基于访问基线的主机异常流量检测方法、***及设备，其可在多维度、多场景，并根据不同筛选条件确定基线，具有检测准确度更高、覆盖场景多、基线确定精确的优点。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种基于访问基线的主机异常流量检测方法，其包括：

获取预设时间段内主机访问数据，并基于定量分析基线和定性分析基线分别对应进行定量分析和定性分析；其中，定量分析基线和定性分析基线是基于设定历史时间段内的主机访问数据而构建的；

基于定量分析和定性分析两者的结果来判定主机流量的异常性：若定量分析和定性分析两者中存在任一者判定主机访问数据为异常流量，则认定存在主机异常流量。

作为一种实施方式，在基于定量分析基线进行定量分析的过程中，对主机访问数据进行聚合和分组之后，判断是否落在定量分析基线的误差区间内，若落在误差区间外，则被判定为异常流量。

作为一种实施方式，定量分析基线的误差区间为[平均值-标准差,平均值+标准差]。

作为一种实施方式，在确定定量分析基线的误差区间之前进行噪音数据排除处理。这样能够有效完成异常流量检测。

作为一种实施方式，所述定性分析基线为基于主机访问数据预先训练的定性分析模型，若定性分析模型预测结果为异常场景，则被判定为异常流量。这样能够防止单一分析方式造成的误判、错判情况，建立定性分析基线，从多角度进行异常流量检测。

作为一种实施方式，所述异常场景包括：主机进行非正常时间访问；主机进行非正常端口访问；主机访问其他用户终端开启的服务；主机访问未知设备；以及主机越过堡垒机直接运维。

作为一种实施方式，定性分析模型包括加入残差网络结构和inception结构的卷积神经网络。加入残差网络结构和inception结构能够防止特征丢失，且提高了提取特征的有效性。

本发明的第二个方面提供一种基于访问基线的主机异常流量检测***，其包括：

定量及定性分析模块，其用于获取预设时间段内主机访问数据，并基于定量分析基线和定性分析基线分别对应进行定量分析和定性分析；其中，定量分析基线和定性分析基线是基于设定历史时间段内的主机访问数据而构建的；

异常流量判断模块，其用于基于定量分析和定性分析两者的结果来判定主机流量的异常性：若定量分析和定性分析两者中存在任一者判定主机访问数据为异常流量，则认定存在主机异常流量。

作为一种实施方式，在所述定量及定性分析模块中，在基于定量分析基线进行定量分析的过程中，对主机访问数据进行聚合和分组之后，判断是否落在定量分析基线的误差区间内，若落在误差区间外，则被判定为异常流量。

作为一种实施方式，在所述定量及定性分析模块中，所述定性分析基线为基于主机访问数据预先训练的定性分析模型，若定性分析模型预测结果为异常场景，则被判定为异常流量。

本发明的第三个方面提供一种基于访问基线的主机异常流量检测***，其包括前端服务器、后台接口服务器、数据库服务器、模型训练服务器及模型检测服务器；

所述前端服务器用于接收页面访问请求；所述数据库服务用于存储主机访问数据；所述模型训练服务器，用于对定性分析模型进行训练并经后台接口服务器传送至模型检测服务器；所述模型检测服务器用于基于定性分析基线对主机访问数据进行定性分析；所述定性分析基线为基于主机访问数据预先训练的定性分析模型；

所述后台接口服务器，用于调用数据库服务器并基于定量分析基线进行定量分析，将模型训练服务器或模型检测服务器的返回结果传送到前端服务器。

本发明的第四个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于访问基线的主机异常流量检测方法中的步骤。

与现有技术相比，本发明的有益效果是：

本发明基于定量分析基线和定性分析基线对预设时间段内主机访问数据分别对应进行定量分析和定性分析，再基于定量分析和定性分析两者的结果来判定主机流量的异常性，实现了从定量和定性多维度有效完成主机异常流量检测，而且可在多维度、多场景，并根据不同筛选条件确定基线，因此具有基线确定精确、覆盖场景多且检测准确度更高的优点。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明实施例的基于访问基线的主机异常流量方法流程图；

图2是本发明实施例的定性分析模型结构示意图；

图3是本发明实施例的模型对比分析图；

图4是本发明实施例的基于访问基线的主机异常流量检测***结构示意图；

图5是本发明实施例的基于访问基线的主机异常流量检测***框架图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

参照图1，本实施例提供一种基于访问基线的主机异常流量检测方法，其包括：

步骤1：获取预设时间段（例如：每天）内主机访问数据，并基于定量分析基线和定性分析基线分别对应进行定量分析和定性分析；其中，定量分析基线和定性分析基线是基于设定历史时间段（例如：近一月）内的主机访问数据而构建的。

在步骤1的实施过程中，定量分析为：

根据主机的访问次数等可以量化的维度建立定量分析基线，根据对后续主机的访问数据进行分组和聚合，并与定量分析基线进行对比，以此达到异常流量检测的目的。

具体地，在基于定量分析基线进行定量分析的过程中，对主机访问数据进行聚合和分组之后，判断是否落在定量分析基线的误差区间内，若落在误差区间外，则被判定为异常流量。

由于不同主机由不同用户使用，因此每台主机的访问数据中包含特点不尽相同，而访问基线的建立也需根据不同主机的访问数据分别建立。由于主机访问数据非常大，因此使用Elastic Search数据库对其进行存储。

由于要对每台主机单独建立访问基线，因此需根据实际需求和准确的条件查询，将需要建立基线的源数据从Elastic Search中筛选并导出。而后将数据作为定量分析原始数据集，与此同时将导出的数据利用Word2Vec词嵌入模型训练成词嵌入矩阵，将此作为定性分析原始数据集。

在具体实施过程中，由于主机访问数据中可挖掘多种定量分析维度，如访问次数，登录次数等。因此需根据实际需求对定量分析原始数据集进行合理的分组或聚合操作后，计算均值与标准差的计算。

而为了有效完成异常流量检测，需去除噪音数据和确定合理的误差区间。将区间：[平均值-3*标准差,平均值+3*标准差]外的数据作为噪音数据排除，而后重新计算均值与标准差。

此处可以理解的是，可用计算中位数代替定量分析中计算平均数的过程。

定量分析基线的误差区间为[平均值-标准差,平均值+标准差]。

其中，在确定定量分析基线的误差区间之前进行噪音数据排除处理。这样能够有效完成异常流量检测。[平均值-标准差,平均值+标准差]作为误差区间，所有数据落在该区间内则被认为合理。反之，则可被认定为异常流量数据。

在步骤1的实施过程中，定性分析为：

根据主机非规定时间访问、非正常端口访问等维度建立基线。通过对主机访问数据作为数据集送入深度学习模型中进行训练，对后续用户访问数据进行预测，以此达到异常流量检测的目的。

所述定性分析基线为基于主机访问数据预先训练的定性分析模型，若预测结果为异常场景，则被判定为异常流量。

为了防止单一分析方式造成的误判、错判情况，因此额外使用深度学习方法建立定性分析基线，从多角度进行异常流量检测。定性分析模型包括加入残差网络结构和inception结构的卷积神经网络。加入残差网络结构和inception结构能够防止特征丢失，且提高了提取特征的有效性。

由于主机访问数据区别于其他文本数据，无语义信息和上下文信息，若使用RNN-based模型难以捕获有效特征，因此采用CNN卷积神经网络，而为了防止特征丢失、有效提取特征。额外加入残差网络结构和inception结构。将经数据预处理的定性分析原始数据集输入模型，模型结构如图2所示。最后使用Sigmoid分类器并输出结果，通过模型预测结果来判断是否为异常流量数据。

在具体实施过程中，所述异常场景包括：主机进行非正常时间访问；主机进行非正常端口访问；主机访问其他用户终端开启的服务，如文件共享、FTP；主机访问未知设备、黑域名或黑ip；以及主机越过堡垒机直接运维或访问重要服务器等。

步骤2：基于定量分析和定性分析两者的结果来判定主机流量的异常性：若定量分析和定性分析两者中存在任一者判定主机访问数据为异常流量，则认定存在主机异常流量。

在评价定性分析模型中选用精确率、召回率和F值来对实验结果进行的评估判定。由于定性分析通过深度学习模型实现，因此模型检测准确度对异常流量的有效检测起到了至关重要的作用。为此，将提出的定性分析检测模型与其他较为流行的深度学习模型进行对比实验，实验结果如图3所示。

实验结果证明，使用ResNet残差网络并结合inception结构能有效减少特征的丢失，最终训练准确度可达到90.4%。

为验证异常流量检测有效性，提取主机ip为：127.0.0.1的近一月访问数据作为源数据，选择表1中的字段作计算用：

表1 字段含义及类型

按定量分析中目的ip 172.168.3.1的访问次数建立基线，确定误差区间为：[31-3,31+3]。而后对之后每天的主机127.0.0.1对目的ip 172.168.3.1的访问数据进行聚合，若包含在该区间内则证明为正常数据，反之为异常。

建立定性分析基线，确定该主机ip的先前所有正常和异常访问数据，并放入模型训练。而后对之后每天127.0.0.1的访问数据进行逐条判断，检测访问数据是否异常。

本实施例基于定量分析基线和定性分析基线对预设时间段内主机访问数据分别对应进行定量分析和定性分析，再基于定量分析和定性分析两者的结果来判定主机流量的异常性，实现了从定量和定性多维度有效完成主机异常流量检测，而且可在多维度、多场景，并根据不同筛选条件确定基线，因此具有基线确定精确、覆盖场景多且检测准确度更高的优点。

实施例二

参照图4，本实施例提供了一种基于访问基线的主机异常流量检测***，其包括：

（1）定量及定性分析模块，其用于获取预设时间段内主机访问数据，并基于定量分析基线和定性分析基线分别对应进行定量分析和定性分析；其中，定量分析基线和定性分析基线是基于设定历史时间段内的主机访问数据而构建的。

在具体实施过程中，在所述定量及定性分析模块中，在基于定量分析基线进行定量分析的过程中，对主机访问数据进行聚合和分组之后，判断是否落在定量分析基线的误差区间内，若落在误差区间外，则被判定为异常流量。

在具体实施过程中，在所述定量及定性分析模块中，所述定性分析基线为基于主机访问数据预先训练的定性分析模型，若预测结果为异常场景，则被判定为异常流量。

（2）异常流量判断模块，其用于基于定量分析和定性分析两者的结果来判定主机流量的异常性：若定量分析和定性分析两者中存在任一者判定主机访问数据为异常流量，则认定存在主机异常流量。

此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。

实施例三

本实施例提供了一种基于访问基线的主机异常流量检测***，该***的后端采用Java编程框架Springboot和Python工具Flask进行开发，前端采用element-ui+Vue.js，采取前后端分离架构。由于***中的主机访问数据的训练需要大量的时间和资源，并且受网络带宽和服务器资源的限制，***的模型训练任务和模型检测任务需要离线完成。而为了分担单一服务器压力，因此***采用分布式架构，其中前端文件及静态资源部署在Nginx服务器上。***总体架构如图5所示。

本实施例提供的基于访问基线的主机异常流量检测***，其包括前端服务器、后台接口服务器、数据库服务器、模型训练服务器及模型检测服务器；

所述前端服务器用于接收页面访问请求；所述数据库服务用于存储主机访问数据；所述模型训练服务器，用于对定性分析模型进行训练并经后台接口服务器传送至模型检测服务器；所述模型检测服务器用于基于定性分析基线对主机访问数据进行定性分析；所述定性分析基线为基于主机访问数据预先训练的定性分析模型；

所述后台接口服务器，用于调用数据库服务器并基于定量分析基线进行定量分析，将模型训练服务器或模型检测服务器的返回结果传送到前端服务器。

具体地，通过浏览器通过前端服务器Nginx中访问静态页面，在页面中进行相关操作，而后请求通过http协议发送到业务后台接口服务器。

对于基本数据管理、定量分析等功能，后台接口服务器通过调用数据库服务器或通过运算来获取结果。

对于定性分析模型的训练、检测功能，接口服务器则需请求模型训练服务器发起模型训练的指令，或请求模型检测服务器获得检测结果，并将模型训练服务器或模型预测服务器的返回结果传送到前台页面。

此外，由于模型训练需要时间较长，因此模型训练服务器与模型检测服务器在收到请求后便开始模型训练或预测任务，在结束后才可将结果异步发送到业务后台的监听接口。因此服务器之间的通讯使用需使用异步的消息队列Kafka的来进行信息传输。

需要说明的是，在其他实施例中，在***架构设计中，可用Flask代替Spring boot进行接口开发；在***架构设计中，消息队列也可用RabbitMQ替代消息队列Kafka。

实施例四

本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于访问基线的主机异常流量检测方法中的步骤。

实施例五

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于访问基线的主机异常流量检测方法中的步骤。

本发明是参照根据本发明实施例的方法、设备(***)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于访问基线的主机异常流量检测方法，其特征在于，包括：

获取预设时间段内主机访问数据，并基于定量分析基线和定性分析基线分别对应进行定量分析和定性分析；其中，定量分析基线和定性分析基线是基于设定历史时间段内的主机访问数据而构建的；

基于定量分析和定性分析两者的结果来判定主机流量的异常性：若定量分析和定性分析两者中存在任一者判定主机访问数据为异常流量，则认定存在主机异常流量；

在基于定量分析基线进行定量分析的过程中，对主机访问数据进行聚合和分组之后，判断是否落在定量分析基线的误差区间内，若落在误差区间外，则被判定为异常流量；

所述定性分析基线为基于主机访问数据预先训练的定性分析模型，若定性分析模型预测结果为异常场景，则被判定为异常流量；

所述异常场景包括：主机进行非正常时间访问；主机进行非正常端口访问；主机访问其他用户终端开启的服务；主机访问未知设备；以及主机越过堡垒机直接运维；

定性分析模型包括Sigmoid分类器及加入残差网络结构和inception结构的卷积神经网络，使用Sigmoid分类器输出定性分析结果。

2.如权利要求1所述的基于访问基线的主机异常流量检测方法，其特征在于，定量分析基线的误差区间为[平均值-标准差,平均值+标准差]。

3.如权利要求1或2所述的基于访问基线的主机异常流量检测方法，其特征在于，在确定定量分析基线的误差区间之前进行噪音数据排除处理。

4.一种基于访问基线的主机异常流量检测***，其特征在于，包括：

定量及定性分析模块，其用于获取预设时间段内主机访问数据，并基于定量分析基线和定性分析基线分别对应进行定量分析和定性分析；其中，定量分析基线和定性分析基线是基于设定历史时间段内的主机访问数据而构建的；

异常流量判断模块，其用于基于定量分析和定性分析两者的结果来判定主机流量的异常性：若定量分析和定性分析两者中存在任一者判定主机访问数据为异常流量，则认定存在主机异常流量；

其中，在所述定量及定性分析模块中，在基于定量分析基线进行定量分析的过程中，对主机访问数据进行聚合和分组之后，判断是否落在定量分析基线的误差区间内，若落在误差区间外，则被判定为异常流量；

所述定性分析基线为基于主机访问数据预先训练的定性分析模型，若定性分析模型预测结果为异常场景，则被判定为异常流量；

所述异常场景包括：主机进行非正常时间访问；主机进行非正常端口访问；主机访问其他用户终端开启的服务；主机访问未知设备；以及主机越过堡垒机直接运维；

定性分析模型包括Sigmoid分类器及加入残差网络结构和inception结构的卷积神经网络，使用Sigmoid分类器输出定性分析结果。

5.一种基于访问基线的主机异常流量检测***，其特征在于，包括前端服务器、后台接口服务器、数据库服务器、模型训练服务器及模型检测服务器；

所述前端服务器用于接收页面访问请求；所述数据库服务用于存储主机访问数据；所述模型训练服务器，用于对定性分析模型进行训练并经后台接口服务器传送至模型检测服务器；所述模型检测服务器用于基于定性分析基线对主机访问数据进行定性分析；所述定性分析基线为基于主机访问数据预先训练的定性分析模型；

所述后台接口服务器，用于调用数据库服务器并基于定量分析基线进行定量分析，将模型训练服务器或模型检测服务器的返回结果传送到前端服务器；

在基于定量分析基线进行定量分析的过程中，对主机访问数据进行聚合和分组之后，判断是否落在定量分析基线的误差区间内，若落在误差区间外，则被判定为异常流量；

所述定性分析基线为基于主机访问数据预先训练的定性分析模型，若定性分析模型预测结果为异常场景，则被判定为异常流量；

所述异常场景包括：主机进行非正常时间访问；主机进行非正常端口访问；主机访问其他用户终端开启的服务；主机访问未知设备；以及主机越过堡垒机直接运维；

定性分析模型包括Sigmoid分类器及加入残差网络结构和inception结构的卷积神经网络，使用Sigmoid分类器输出定性分析结果。

6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-3中任一项所述的基于访问基线的主机异常流量检测方法中的步骤。

Images