CN110557402A - 异常流量的检测方法及装置 - Google Patents

Abstract

本发明提出了一种异常流量的检测方法及装置，方法包括：提取数据流的特征数据，并基于所述特征数据生成特征向量；将所述特征向量输入预先训练的异常检测模型进行计算；输出所述数据流的检测结果；其中，所述异常检测模型采用局部异常因子算法模型。根据本发明的异常流量的检测方法，采用了LOF算法进行异常流量的检测，LOF算法是无监督的算法，无需对训练样本打标签，可以在没有异常样本的情况下进行训练和异常检测。由此，可以使异常流量的检测更加便利。而且，LOF算法最后输出的是一个可以反映样本的异常程度值，而不是正常或异常的分类结果，从而可以使输出结果更加直观地反映异常流量的检测情况。

Description

异常流量的检测方法及装置

技术领域

本发明涉及网络安全技术领域，尤其涉及一种异常流量的检测方法及装置。

背景技术

随着信息技术的发展，网络已经成为人们日常生活中必不可少的一部分，给工作、生活、学习等都带来了极大的便利。但任何事情都有两面性，网络的开放性同时也带来了诸多安全性问题。网络流量异常是指网络的流量行为偏离正常行为的情形，例如网络业务流量突然出现不正常的重大变化等等。引起网络流量异常的原因有很多，例如网络设备异常、网络操作异常、闪现拥挤异常、网络攻击行为等。网络流量异常不仅影响网络和业务***的正常使用，还会威胁网络用户信息安全，给网络用户造成诸多危害。因此，检测异常流量是网络运行维护工作中的重要方面。

目前，针对异常流量的检测方法通常采用分类算法，如逻辑回归、SVM、决策树等。此类方法提取了流量的流统计特征等多维度特征，然后对带有正常和异常标签的流量数据进行特征提取生成特征向量，最后将特征向量送入选定分类算法进行训练，得到分类模型。新的流量在进行特征提取后可使用上述模型进行正常和异常判断。

上述检测方法存在如下缺陷：分类算法本质上是二分类方法，对于一个待检测对象，只能给出：正常、异常两种结果；现有技术采用的是监督的算法，需要人工对样本进行标注正常和异常，并且在训练时需要异常样本，而异常样本通常是不容易获取的。

发明内容

本发明要解决的技术问题是解决现有技术中，采用分类算法检测异常流量存在异常样本获取困难、输出结果过于绝对化的技术问题，本发明提出了一种异常流量的检测方法及装置。

根据本发明实施例的异常流量的检测方法，包括：

提取数据流的特征数据，并基于所述特征数据生成特征向量；

将所述特征向量输入预先训练的异常检测模型进行计算；

输出所述数据流的检测结果；

其中，所述异常检测模型采用局部异常因子算法模型。

根据本发明实施例的异常流量的检测方法，采用了LOF算法进行异常流量的检测，LOF算法是无监督的算法，无需对训练样本打标签，可以在没有异常样本的情况下进行训练和异常检测。由此，可以使异常流量的检测更加便利。而且，LOF算法最后输出的是一个可以反映样本的异常程度值，而不是正常或异常的分类结果，从而可以使输出结果更加直观地反映异常流量的检测情况。

根据本发明的一些实施例，所述数据流为TLS数据流，所述特征数据包括：基于流的特征数据、TLS握手特征数据和证书特征数据。

在本发明的一些实施例中，在提取所述数据流的特征数据之前，所述方法还包括：

采集所述数据流；

解析所述数据流。

根据本发明的一些实施例，对所述数据流的解析、提取所述数据流的数据特征以及所述异常模型计算的过程均在大数据分析平台进行。

在本发明的一些实施例中，所述异常模型的训练方法包括：

采集所述数据流并对所述数据流进行解析；

提取所述数据流的特征数据并形成特征向量；

将所述特征向量输入模型进行训练，获得所述异常模型。

根据本发明实施例的异常流量的检测装置，包括：

提取模块，用于提取数据流的特征数据，并基于所述特征数据生成特征向量；

计算模块，用于将所述特征向量输入预先训练的异常检测模型进行计算；

输出模块，用于输出所述数据流的检测结果；

其中，所述异常检测模型采用局部异常因子算法模型。

根据本发明实施例的异常流量的检测装置，采用了LOF算法进行异常流量的检测，LOF算法是无监督的算法，无需对训练样本打标签，可以在没有异常样本的情况下进行训练和异常检测。由此，可以使异常流量的检测更加便利。而且，LOF算法最后输出的是一个可以反映样本的异常程度值，而不是正常或异常的分类结果，从而可以使输出结果更加直观地反映异常流量的检测情况。

根据本发明的一些实施例，所述数据流为TLS数据流，所述提取模块具体用于提取：基于流的特征数据、TLS握手特征数据和证书特征数据。

在本发明的一些实施例中，所述装置还包括：

采集模块，用于在提取所述数据流的特征数据之前，采集所述数据流；

解析模块，用于解析所述数据流。

根据本发明的一些实施例，所述解析模块、所述提取模块以及所述计算模块在大数据分析平台运行。

在本发明的一些实施例中，所述装置还包括：训练模块，用于训练所述异常模型，所述训练模块包括：

训练采集模块，用于采集所述数据流；

训练解析模块，用于对所述数据流进行解析；

训练提取模块，用于提取所述数据流的特征数据并形成特征向量；

训练计算模块，用于将所述特征向量输入模型进行训练，获得所述异常模型。

附图说明

图1为根据本发明实施例的异常流量的检测方法流程图；

图2为根据本发明实施例的异常模型训练方法流程图；

图3为根据本发明实施例的异常流量检测装置结构示意图；

图4位根据本发明实施例的训练模块的结构示意图；

图5为根据本发明实施例的异常流量检测方法流程图。

附图说明：

装置100，

采集模块10，解析模块20，提取模块30，计算模块40，输出模块50，训练模块60，训练采集模块610，训练解析模块620，训练提取模块630，训练计算模块640。

具体实施方式

为更进一步阐述本发明为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明进行详细说明如后。

如图1所示，根据本发明实施例的异常流量的检测方法，包括：

S101：提取数据流的特征数据，并基于特征数据生成特征向量；

S102：将特征向量输入预先训练的异常检测模型进行计算；

S103：输出数据流的检测结果；

其中，异常检测模型采用局部异常因子算法模型，即LOF模型。

需要说明的是，相关技术中，采用分类算法进行异常流量的检测。分类算法需要大量的异常流量数据进行模型训练，而异常流量的数据获取困难。而且，分类算法的输出结果只能是正常和异常两种结果，输出结果过于绝对化。而针对异常流量的检测，更适合输出一个相对的异常程度。

根据本发明实施例的异常流量的检测方法，采用了LOF算法进行异常流量的检测，LOF算法是无监督的算法，无需对训练样本打标签，可以在没有异常样本的情况下进行训练和异常检测。由此，可以使异常流量的检测更加便利。而且，LOF算法最后输出的是一个可以反映样本的异常程度值，而不是正常或异常的分类结果，从而可以使输出结果更加直观地反映异常流量的检测情况。

根据本发明的一些实施例，数据流可以为TLS数据流，特征数据包括：基于流的特征数据、TLS握手特征数据和证书特征数据。

需要说明的是，为了保护用户隐私和通信安全，加密在互联网上被广泛使用。TLS(安全传输层协议)是一种常用的网络流量加密方法，越来越多的网络应用使用TLS进行加密，但是同时网络罪犯也会通过TLS加密来隐藏他们的信息来避免检测，从而能够成功地实施恶意攻击。因此，针对TLS加密流量的异常检测也变得越来越重要。

本发明针对TLS加密流量的异常检测，通过获取基于流的特征数据、TLS握手特征数据和证书特征数据，特征总数达到了1000以上，从而可以提高异常检测的准确率。

在本发明的一些实施例中，在提取数据流的特征数据之前，方法还包括：

采集数据流，可以通过数据采集设备采集数据流。其中，针对TLS加密数据流，可以通过数据采集设备采集原始的TLS数据流量包，并保存成pcap文件格式。

解析数据流。采集数据流后，对数据流进行解析，以获取数据流中的数据信息。例如，针对TLS加密数据流，可以对获取的pacp文件进行解析，解析的内容可以包括：TLS握手信息中的Client Hello、Server Hello、Certificate、Client Key Exchange，以及数据流自身的特征，包括包长、流到达间隔、流持续时间、传输层协议等。

其中，相关技术中，提取的流统计特征和证书特征较少，影响分类的准确率，从而影响异常流量检测的准确性。本发明针对TLS加密数据流解析后，从三个角度进行数据特征提取，包括：基于流的特征数据、TLS握手特征数据和证书特征数据。部分数据特征如下表所示：

部分基于流的特征：

传输层协议
	连接持续时间
流每秒的字节数
	流每秒的包数
client->server包长的最小值、平均值、最大值、标准差
	server->client包长的最小值、平均值、最大值、标准差
client->server包到达间隔时间的最小值、平均值、最大值、标准差
	server->client包到达间隔时间的最小值、平均值、最大值、标准差
client->server包数
	client->server字节数
client->server标志位为PSH的包的个数
	server->client包数
server->client字节数
	server->client标志位为PSH的包的个数
将前50个包的包长序列离散化后生成马尔可夫链
	将前50个包的包到达间隔时间序列离散化后生成马儿可夫链
字节分布

TLS握手特征数据，由于TLS流量在完成三次握手后，客户端发送的clienthello和服务端发送的server hello是明文的，正常和异常流量client hello和serverhello中的Cipher Suites字段和Extensions字段区别较大。正常流量的CipherSuites中的加密算法一般选用加密强度大和最新的加密算法，而异常流量选用的加密算法会选用简单和比较老的加密算法，正常流量会有多个Extensions字段，而异常流量一般只有1个Extensions字段。所以，选取的部分TLS握手特征如下表所示：

TLS协议client hello中的Cipher Suites字段值
	TLS协议client hello中的Extensions字段值
TLS协议server hello中的Cipher Suites字段值
	TLS协议server hello中的Extensions字段值

证书特征，经过对正常和异常证书的对比分析发现，证书中包含的信息越多越可能是正常的，因此，选取的部分证书特征如下表所示：

根据本发明的一些实施例，对数据流的解析、提取数据流的数据特征以及异常模型计算的过程均在大数据分析平台进行。可以理解的是，通过将数据流的解析、数据流的数据特征提取以及异常模型计算等数据的处理过程放在大数据分析平台进行，可以提高数据分析效率，从而可以提高异常流量的检测效率。

在本发明的一些实施例中，如图2所示，异常模型的训练方法包括：

S201：采集数据流并对数据流进行解析；

S202：提取数据流的特征数据并形成特征向量；

S203：将特征向量输入模型进行训练，获得异常模型。

例如，以针对TLS加密数据流为例。在进行异常模型训练时，首先可以通过流量采集设备采集原始的TLS数据流量包，并保存成pacp文件格式，将保存的pacp文件发送给大数据分析平台。在大数据分析平台对pacp文件进行解析，解析的内容可以包括：TLS握手信息中的Client Hello、Server Hello、Certificate、Client Key Exchange，以及数据流自身的特征，包括包长、流到达间隔、流持续时间、传输层协议等。根据TLS数据解析后的数据进行特征数据提取，并生成特征向量。随后，将特征向量标准化后输入LOF训练模块60进行训练，训练完成后生成异常模型，即LOF模型。

如图3所示，根据本发明实施例的异常流量的检测装置100，包括：提取模块30、计算模块40和输出模块50。

具体而言，提取模块30可以用于提取数据流的特征数据，并基于特征数据生成特征向量。计算模块40可以用于将特征向量输入预先训练的异常检测模型进行计算。输出模块50可以用于输出数据流的检测结果。其中，异常检测模型采用局部异常因子算法模型，即LOF模型。

根据本发明实施例的异常流量的检测装置100，采用了LOF算法进行异常流量的检测，LOF算法是无监督的算法，无需对训练样本打标签，可以在没有异常样本的情况下进行训练和异常检测。由此，可以使异常流量的检测更加便利。而且，LOF算法最后输出的是一个可以反映样本的异常程度值，而不是正常或异常的分类结果，从而可以使输出结果更加直观地反映异常流量的检测情况。

根据本发明的一些实施例，数据流为TLS数据流，提取模块30具体用于提取：基于流的特征数据、TLS握手特征数据和证书特征数据。

本发明针对TLS加密流量的异常检测，通过提取模块30获取基于流的特征数据、TLS握手特征数据和证书特征数据，特征总数达到了1000以上，从而可以提高异常检测的准确率。

如图3所示，在本发明的一些实施例中，装置100还可以包括：采集模块10和解析模块20。

采集模块10可以用于在提取数据流的特征数据之前，采集数据流。其中，针对TLS加密数据流，可以通过采集模块10采集原始的TLS数据流量包，并保存成pcap文件格式。

解析模块20可以用于解析数据流。采集模块10采集数据流后，解析模块20可以对数据流进行解析，以获取数据流中的数据信息。例如，针对TLS加密数据流，解析模块20可以对获取的pacp文件进行解析，解析的内容可以包括：TLS握手信息中的Client Hello、Server Hello、Certificate、Client Key Exchange，以及数据流自身的特征，包括包长、流到达间隔、流持续时间、传输层协议等。

根据本发明的一些实施例，解析模块20、提取模块30以及计算模块40在大数据分析平台运行。可以理解的是，通过在大数据分析平台运行解析模块20、提取模块30和计算模块40，可以提高数据分析效率，从而可以提高异常流量的检测效率。

在本发明的一些实施例中，装置100还包括：训练模块60，用于训练异常模型，训练模块60包括：训练采集模块610、训练解析模块620、训练提取模块630和训练计算模块640。

训练采集模块610可以用于采集数据流；

训练解析模块620可以用于对数据流进行解析；

训练提取模块630可以用于提取数据流的特征数据并形成特征向量；

训练计算模块640用于将特征向量输入模型进行训练，获得异常模型。

下面参照图5详细描述根据本发明实施例的针对TLS加密的异常流量数据的检测方法。

相关技术中，针对TLS加密异常流量的检测方法通常采用分类算法，如逻辑回归、SVM、决策树等。此类方法提取了流量的流统计特征、TLS握手特征等多维度特征，然后对带有正常和异常标签的流量数据进行特征提取生成特征向量，最后将特征向量送入选定分类算法进行训练，得到分类模型。新的流量在进行特征提取后可使用上述模型进行正常和异常判断。

本发明中，如图5所示，首先，可以进行LOF模型训练：

在LOF模型训练时，通过训练采集模块610进行TLS数据采集，采集的TLS数据以pacp的格式保存并发送至大数据分析平台。在大数据分析平台通过训练解析模块620解析TLS数据解析，训练提取模块630对解析后的数据进行特征提取，并生成特征向量。特征向量标准化后输入训练计算模块640进行LOF训练，最后生成LOF模型。

采用训练好的LOF模型进行异常流量检测：

通过提取模块30提取待测TLS数据，将待测TLS数据保存为pacp格式并发送至大数据分析平台。在大数据分析平台通过解析模块20进行TLS数据解析，提取模块30对解析后的数据进行特征提取并生成特征向量，将特征向量输入LOF模型进行计算，LOF模型输出的是一个异常系数。输出模块50可以根据设定的阈值来判断待测数据是否为异常数据并输出。

本发明提出的基于LOF的TLS加密流量异常检测方法，使用了基于流的特征、TLS特征、证书特征，特征总数达到了1000以上，可以提高异常检测的准确率。而且，由于LOF是无监督算法，因此，无需对训练数据进行打标签标注，并且LOF算法输出的结果是一个表示异常程度的值，而不仅仅是划分为异常和正常，这样的异常检测更合理。另外，本发明由于引入了大数据分析平台，可以提高数据处理的效率。

通过具体实施方式的说明，应当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图示仅是提供参考与说明之用，并非用来对本发明加以限制。

Claims (10)

1.一种异常流量的检测方法，其特征在于，包括：

提取数据流的特征数据，并基于所述特征数据生成特征向量；

将所述特征向量输入预先训练的异常检测模型进行计算；

输出所述数据流的检测结果；

其中，所述异常检测模型采用局部异常因子算法模型。

2.根据权利要求1所述的异常流量的检测方法，其特征在于，所述数据流为TLS数据流，所述特征数据包括：基于流的特征数据、TLS握手特征数据和证书特征数据。

3.根据权利要求1所述的异常流量的检测方法，其特征在于，在提取所述数据流的特征数据之前，所述方法还包括：

采集所述数据流；

解析所述数据流。

4.根据权利要求3所述的异常流量的检测方法，其特征在于，对所述数据流的解析、提取所述数据流的数据特征以及所述异常模型计算的过程均在大数据分析平台进行。

5.根据权利要求1所述的异常流量的检测方法，其特征在于，所述异常模型的训练方法包括：

采集所述数据流并对所述数据流进行解析；

提取所述数据流的特征数据并形成特征向量；

将所述特征向量输入模型进行训练，获得所述异常模型。

6.一种异常流量的检测装置，其特征在于，包括：

提取模块，用于提取数据流的特征数据，并基于所述特征数据生成特征向量；

计算模块，用于将所述特征向量输入预先训练的异常检测模型进行计算；

输出模块，用于输出所述数据流的检测结果；

其中，所述异常检测模型采用局部异常因子算法模型。

7.根据权利要求6所述的异常流量的检测装置，其特征在于，所述数据流为TLS数据流，所述提取模块具体用于提取：基于流的特征数据、TLS握手特征数据和证书特征数据。

8.根据权利要求6所述的异常流量的检测装置，其特征在于，所述装置还包括：

采集模块，用于在提取所述数据流的特征数据之前，采集所述数据流；

解析模块，用于解析所述数据流。

9.根据权利要求8所述的异常流量的检测装置，其特征在于，所述解析模块、所述提取模块以及所述计算模块在大数据分析平台运行。

10.根据权利要求6所述的异常流量的检测装置，其特征在于，所述装置还包括：训练模块，用于训练所述异常模型，所述训练模块包括：

训练采集模块，用于采集所述数据流；

训练解析模块，用于对所述数据流进行解析；

训练提取模块，用于提取所述数据流的特征数据并形成特征向量；

训练计算模块，用于将所述特征向量输入模型进行训练，获得所述异常模型。