CN109167753A - 一种网络入侵流量的检测方法及装置 - Google Patents

Abstract

本发明提供了一种网络入侵流量的检测方法及装置，其中，所述方法包括：获取训练样本集，所述训练样本集中包括正常流量数据和多种类别的异常流量数据；在所述多种类别的异常流量数据中确定数据量比例低于指定比例阈值的目标异常流量数据，并扩充所述目标异常流量数据中的数据样本；基于所述正常流量数据和扩充过数据样本的异常流量数据，训练得到每种类别的异常流量数据对应的分类器；利用训练得到的多个所述分类器，对待检测流量数据进行检测，以确定所述待检测流量数据是否属于异常流量数据。本申请提供的技术方案，能够提高异常数据流量的检测精度。

Description

一种网络入侵流量的检测方法及装置

技术领域

本发明涉及互联网技术领域，特别涉及一种网络入侵流量的检测方法及装置。

背景技术

目前的网络流量入侵检测方法大多是基于二分类检测，将正常流量数据和异常流量数据分开即可，通常情况下不考虑异常流量数据内部的类别。

然而，在实际应用中，正常流量数据的内部结构相似程度较高，但是不同类别的异常流量数据，例如DOS，Probe，U2R等，其内部的数据特征分布差异非常大，如果将所有的异常流量数据看做一个整体，将无法很好地学习异常流量数据的所有特征。

并且，异常流量数据中某些异常类别的数据量很少，那么异常流量数据的整体分布将会被数据量较多的类别所主导，而数据量较少类别的特征分布将无法学习到。

因此，当前的网络流量入侵的方法，对异常数据流量的检测精度并不高。

发明内容

本申请的目的在于提供一种网络入侵流量的检测方法及装置，能够提高异常数据流量的检测精度。

为实现上述目的，本申请提供一种网络入侵流量的检测方法，所述方法包括：获取训练样本集，所述训练样本集中包括正常流量数据和多种类别的异常流量数据；在所述多种类别的异常流量数据中确定数据量比例低于指定比例阈值的目标异常流量数据，并扩充所述目标异常流量数据中的数据样本；基于所述正常流量数据和扩充过数据样本的异常流量数据，训练得到每种类别的异常流量数据对应的分类器；利用训练得到的多个所述分类器，对待检测流量数据进行检测，以确定所述待检测流量数据是否属于异常流量数据。

进一步地，扩充所述目标异常流量数据中的数据样本包括：对所述目标异常流量数据中的数据样本进行过采样，以合成新的数据样本，并将所述新的数据样本添加至所述目标异常流量数据中。

进一步地，对待检测流量数据进行检测包括：分别计算所述正常流量数据和各种类别的异常流量数据的聚类中心；计算所述待检测流量数据与各个所述聚类中心之间的距离，并确定最小的距离对应的异常流量数据；调用与确定的所述异常流量数据相匹配的分类器，并利用调用的所述分类器对所述待检测流量数据的类别进行分类。

进一步地，基于所述正常流量数据和扩充过数据样本的异常流量数据，训练得到每种类别的异常流量数据对应的分类器包括：将当前的数据样本输入初始分类器，并获取所述初始分类器针对所述当前的数据样本预测的分类结果；计算所述分类结果表征的类别与所述当前的数据样本实际所属的类别之间的误差，并利用所述误差对所述初始分类器中的参数进行校正，以使得将所述当前的数据样本再次输入校正后的分类器中后，得到的分类结果表征的类别与所述当前的数据样本实际所属的类别相一致。

进一步地，计算所述分类结果表征的类别与所述当前的数据样本实际所属的类别之间的误差，并利用所述误差对所述初始分类器中的参数进行校正包括：根据所述初始分类器的分类结果表征的类别和所述当前的数据样本实际所属的类别，确定所述分类结果对应的损失函数；计算所述损失函数的梯度，并将所述损失函数的梯度作为误差，对所述初始分类器中的参数进行校正。

为实现上述目的，本申请还提供一种网络入侵流量的检测装置，所述装置包括：训练样本集获取单元，用于获取训练样本集，所述训练样本集中包括正常流量数据和多种类别的异常流量数据；样本扩充单元，用于在所述多种类别的异常流量数据中确定数据量比例低于指定比例阈值的目标异常流量数据，并扩充所述目标异常流量数据中的数据样本；分类器训练单元，用于基于所述正常流量数据和扩充过数据样本的异常流量数据，训练得到每种类别的异常流量数据对应的分类器；流量检测单元，用于利用训练得到的多个所述分类器，对待检测流量数据进行检测，以确定所述待检测流量数据是否属于异常流量数据。

进一步地，所述样本扩充单元包括：过采样模块，用于对所述目标异常流量数据中的数据样本进行过采样，以合成新的数据样本，并将所述新的数据样本添加至所述目标异常流量数据中。

进一步地，所述流量检测单元包括：聚类中心计算模块，用于分别计算所述正常流量数据和各种类别的异常流量数据的聚类中心；距离判定模块，用于计算所述待检测流量数据与各个所述聚类中心之间的距离，并确定最小的距离对应的异常流量数据；分类器调用模块，用于调用与确定的所述异常流量数据相匹配的分类器，并利用调用的所述分类器对所述待检测流量数据的类别进行分类。

进一步地，分类器训练单元包括：初始预测模块，用于将当前的数据样本输入初始分类器，并获取所述初始分类器针对所述当前的数据样本预测的分类结果；校正模块，用于计算所述分类结果表征的类别与所述当前的数据样本实际所属的类别之间的误差，并利用所述误差对所述初始分类器中的参数进行校正，以使得将所述当前的数据样本再次输入校正后的分类器中后，得到的分类结果表征的类别与所述当前的数据样本实际所属的类别相一致。

进一步地，所述校正模块包括：损失函数确定模块，用于根据所述初始分类器的分类结果表征的类别和所述当前的数据样本实际所属的类别，确定所述分类结果对应的损失函数；梯度校正模块，用于计算所述损失函数的梯度，并将所述损失函数的梯度作为误差，对所述初始分类器中的参数进行校正。

由上可见，本申请提供的技术方案，针对数据量较少的异常流量数据而言，可以扩充其数据样本，使得后续能够训练出精度较高的分类器。在训练分类器时，可以针对每一类异常流量数据，均训练一种分类器。这样，最终可以训练得到与各类异常流量数据分别对应的多个分类器。当需要对待检测流量数据进行检测时，可以初步确定该待检测流量数据所属的类别，然后可以调用对应类别的分类器对其进行检测，从而可以提高异常数据流量的检测精度。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

在附图中：

图1为本发明实施例中网络入侵流量的检测方法的流程图；

图2为本发明实施例中网络入侵流量的检测装置的功能模块图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

请参阅图1，本申请提供一种网络入侵流量的检测方法，所述方法包括：

S1：获取训练样本集，所述训练样本集中包括正常流量数据和多种类别的异常流量数据；

S2：在所述多种类别的异常流量数据中确定数据量比例低于指定比例阈值的目标异常流量数据，并扩充所述目标异常流量数据中的数据样本；

S3：基于所述正常流量数据和扩充过数据样本的异常流量数据，训练得到每种类别的异常流量数据对应的分类器；

S4：利用训练得到的多个所述分类器，对待检测流量数据进行检测，以确定所述待检测流量数据是否属于异常流量数据。

在本实施方式中，针对多种类别的异常流量数据，可以分别计算各类异常流量数据在总的数据量中所占的比例。然后，可以将比例低于指定比例阈值的目标异常流量数据筛选出来。筛选出的各类目标异常流量数据，由于样本稀少，需要在扩充样本之后才能进行分类器的训练过程。在本实施方式中，可以采用SMOTE(Synthetic Minority OversamplingTechnique，合成少数类过采样)技术，基于目标异常流量数据中已经存在的数据样本，合成新的数据样本，并将所述新的数据样本添加至所述目标异常流量数据中，从而得到扩充了数据样本的异常流量数据。

这样，针对各类样本数量较少的异常流量数据而言，均可以采用过采样的方式对其扩充数据样本。扩充了数据样本后的异常流量数据可以与正常流量数据一起，构成训练样本集。

在本实施方式中，可以针对每一类异常流量数据，分别训练对应的分类器。具体地，可以将每一类异常流量数据和正常流量数据构成针对该类异常流量数据的训练样本，并利用构成的训练样本训练得到该类异常流量数据的分类器。具体地，可以将当前的数据样本输入初始分类器，并获取所述初始分类器针对所述当前的数据样本预测的分类结果。由于初始分类器中的参数可能并不准确，因此会导致预测得到的分类结果与实际的结果不符。此时，可以计算所述分类结果表征的类别与所述当前的数据样本实际所属的类别之间的误差，并利用所述误差对所述初始分类器中的参数进行校正，以使得将所述当前的数据样本再次输入校正后的分类器中后，得到的分类结果表征的类别与所述当前的数据样本实际所属的类别相一致。这样，通过误差校正的方式，能够对初始分类器进行迭代校正，从而可以得到精度较高的分类器。

在实际应用中，可以采用梯度提升决策树(Gradient Boosting Decision Tree，GBDT)算法对初始分类器进行校正。具体地，可以根据所述初始分类器的分类结果表征的类别和所述当前的数据样本实际所属的类别，确定所述分类结果对应的损失函数(LossFunction)，然后可以计算所述损失函数的梯度，并将所述损失函数的梯度作为误差，对所述初始分类器中的参数进行校正。这样，能够减少分类器的校正次数，从而可以更快地完成训练过程。

在本实施方式中，在对待检测流量数据进行检测时，首先可以分别计算所述正常流量数据和各种类别的异常流量数据的聚类中心。然后，可以计算所述待检测流量数据与各个所述聚类中心之间的距离，并确定最小的距离对应的异常流量数据。最小距离对应的异常流量数据可以作为待检测流量数据的初步归类结果。然后，可以调用与确定的所述异常流量数据相匹配的分类器，并利用调用的所述分类器对所述待检测流量数据的类别进行进一步的分类，以最终确定该待检测流量数据是否属于该类异常流量数据。

在一个具体应用示例中，上述的网络入侵流量的检测方法可以包括以下步骤：

1.求出正常流量数据以及每种异常流量数据的聚类中心，在检测阶段，根据待预测数据与各聚类中心之间的距离，初步将其分到某一个类别当中。

2.分类器训练阶段，首先找出异常数据中所占比例较少的类别，然后针对其采用过采样算法，对其进行样本合成，将合成的样本加入到对应的异常类别中去，然后与正常流量数据一同构成训练集进行分类器训练。

3.在每一种异常类别数据与正常流量数据之间训练一个分类器，为了提高每个分类器的泛化性能，所有的分类器均采用梯度提升树模型。在检测阶段，根据第1步的初步类别，有针对性地调用分类器进行分类。

请参阅图2，本申请还提供一种网络入侵流量的检测装置，所述装置包括：

训练样本集获取单元，用于获取训练样本集，所述训练样本集中包括正常流量数据和多种类别的异常流量数据；

样本扩充单元，用于在所述多种类别的异常流量数据中确定数据量比例低于指定比例阈值的目标异常流量数据，并扩充所述目标异常流量数据中的数据样本；

分类器训练单元，用于基于所述正常流量数据和扩充过数据样本的异常流量数据，训练得到每种类别的异常流量数据对应的分类器；

流量检测单元，用于利用训练得到的多个所述分类器，对待检测流量数据进行检测，以确定所述待检测流量数据是否属于异常流量数据。

在一个实施方式中，所述样本扩充单元包括：

过采样模块，用于对所述目标异常流量数据中的数据样本进行过采样，以合成新的数据样本，并将所述新的数据样本添加至所述目标异常流量数据中。

在一个实施方式中，所述流量检测单元包括：

聚类中心计算模块，用于分别计算所述正常流量数据和各种类别的异常流量数据的聚类中心；

距离判定模块，用于计算所述待检测流量数据与各个所述聚类中心之间的距离，并确定最小的距离对应的异常流量数据；

分类器调用模块，用于调用与确定的所述异常流量数据相匹配的分类器，并利用调用的所述分类器对所述待检测流量数据的类别进行分类。

在一个实施方式中，分类器训练单元包括：

初始预测模块，用于将当前的数据样本输入初始分类器，并获取所述初始分类器针对所述当前的数据样本预测的分类结果；

校正模块，用于计算所述分类结果表征的类别与所述当前的数据样本实际所属的类别之间的误差，并利用所述误差对所述初始分类器中的参数进行校正，以使得将所述当前的数据样本再次输入校正后的分类器中后，得到的分类结果表征的类别与所述当前的数据样本实际所属的类别相一致。

在一个实施方式中，所述校正模块包括：

损失函数确定模块，用于根据所述初始分类器的分类结果表征的类别和所述当前的数据样本实际所属的类别，确定所述分类结果对应的损失函数；

梯度校正模块，用于计算所述损失函数的梯度，并将所述损失函数的梯度作为误差，对所述初始分类器中的参数进行校正。

由上可见，本申请提供的技术方案，针对数据量较少的异常流量数据而言，可以扩充其数据样本，使得后续能够训练出精度较高的分类器。在训练分类器时，可以针对每一类异常流量数据，均训练一种分类器。这样，最终可以训练得到与各类异常流量数据分别对应的多个分类器。当需要对待检测流量数据进行检测时，可以初步确定该待检测流量数据所属的类别，然后可以调用对应类别的分类器对其进行检测，从而可以提高异常数据流量的检测精度。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种网络入侵流量的检测方法，其特征在于，所述方法包括：

获取训练样本集，所述训练样本集中包括正常流量数据和多种类别的异常流量数据；

在所述多种类别的异常流量数据中确定数据量比例低于指定比例阈值的目标异常流量数据，并扩充所述目标异常流量数据中的数据样本；

基于所述正常流量数据和扩充过数据样本的异常流量数据，训练得到每种类别的异常流量数据对应的分类器；

利用训练得到的多个所述分类器，对待检测流量数据进行检测，以确定所述待检测流量数据是否属于异常流量数据。

2.根据权利要求1所述的方法，其特征在于，扩充所述目标异常流量数据中的数据样本包括：

对所述目标异常流量数据中的数据样本进行过采样，以合成新的数据样本，并将所述新的数据样本添加至所述目标异常流量数据中。

3.根据权利要求1所述的方法，其特征在于，对待检测流量数据进行检测包括：

分别计算所述正常流量数据和各种类别的异常流量数据的聚类中心；

计算所述待检测流量数据与各个所述聚类中心之间的距离，并确定最小的距离对应的异常流量数据；

调用与确定的所述异常流量数据相匹配的分类器，并利用调用的所述分类器对所述待检测流量数据的类别进行分类。

4.根据权利要求1所述的方法，其特征在于，基于所述正常流量数据和扩充过数据样本的异常流量数据，训练得到每种类别的异常流量数据对应的分类器包括：

将当前的数据样本输入初始分类器，并获取所述初始分类器针对所述当前的数据样本预测的分类结果；

计算所述分类结果表征的类别与所述当前的数据样本实际所属的类别之间的误差，并利用所述误差对所述初始分类器中的参数进行校正，以使得将所述当前的数据样本再次输入校正后的分类器中后，得到的分类结果表征的类别与所述当前的数据样本实际所属的类别相一致。

5.根据权利要求4所述的方法，其特征在于，计算所述分类结果表征的类别与所述当前的数据样本实际所属的类别之间的误差，并利用所述误差对所述初始分类器中的参数进行校正包括：

根据所述初始分类器的分类结果表征的类别和所述当前的数据样本实际所属的类别，确定所述分类结果对应的损失函数；

计算所述损失函数的梯度，并将所述损失函数的梯度作为误差，对所述初始分类器中的参数进行校正。

6.一种网络入侵流量的检测装置，其特征在于，所述装置包括：

训练样本集获取单元，用于获取训练样本集，所述训练样本集中包括正常流量数据和多种类别的异常流量数据；

样本扩充单元，用于在所述多种类别的异常流量数据中确定数据量比例低于指定比例阈值的目标异常流量数据，并扩充所述目标异常流量数据中的数据样本；

分类器训练单元，用于基于所述正常流量数据和扩充过数据样本的异常流量数据，训练得到每种类别的异常流量数据对应的分类器；

流量检测单元，用于利用训练得到的多个所述分类器，对待检测流量数据进行检测，以确定所述待检测流量数据是否属于异常流量数据。

7.根据权利要求6所述的装置，其特征在于，所述样本扩充单元包括：

过采样模块，用于对所述目标异常流量数据中的数据样本进行过采样，以合成新的数据样本，并将所述新的数据样本添加至所述目标异常流量数据中。

8.根据权利要求6所述的装置，其特征在于，所述流量检测单元包括：

聚类中心计算模块，用于分别计算所述正常流量数据和各种类别的异常流量数据的聚类中心；

距离判定模块，用于计算所述待检测流量数据与各个所述聚类中心之间的距离，并确定最小的距离对应的异常流量数据；

分类器调用模块，用于调用与确定的所述异常流量数据相匹配的分类器，并利用调用的所述分类器对所述待检测流量数据的类别进行分类。

9.根据权利要求6所述的装置，其特征在于，分类器训练单元包括：

初始预测模块，用于将当前的数据样本输入初始分类器，并获取所述初始分类器针对所述当前的数据样本预测的分类结果；

校正模块，用于计算所述分类结果表征的类别与所述当前的数据样本实际所属的类别之间的误差，并利用所述误差对所述初始分类器中的参数进行校正，以使得将所述当前的数据样本再次输入校正后的分类器中后，得到的分类结果表征的类别与所述当前的数据样本实际所属的类别相一致。

10.根据权利要求9所述的装置，其特征在于，所述校正模块包括：

损失函数确定模块，用于根据所述初始分类器的分类结果表征的类别和所述当前的数据样本实际所属的类别，确定所述分类结果对应的损失函数；

梯度校正模块，用于计算所述损失函数的梯度，并将所述损失函数的梯度作为误差，对所述初始分类器中的参数进行校正。