CN110324178A - 一种基于多经验核学习的网络入侵检测方法 - Google Patents

Abstract

本发明公开了一种基于多经验核学***衡网络入侵检测样本进行学***衡的正负类样本的中点样本及所述中点样本的近邻样本；所述万有引力平衡的正负类样本的中点样本及其近邻样本与多经验核学***衡的正负类样本的中点样本对应的生成的正则化项用于拟合分类边界，而其近邻样本用于扰动和修正分类边界的形成。最后通过将每个核空间的分类结果进行投票，得到测试样本最终的类别，从而判别样本是否为网络攻击样本。本发明通过结合万有引力近邻模型与多核学***衡的网络攻击问题。

Description

一种基于多经验核学习的网络入侵检测方法

技术领域

本发明涉及一种基于多经验核学习的网络入侵检测方法，属于数据分类技术领域。

背景技术

由于物联网的普及和云服务的广泛采用，导致网络数据量急剧增长，处理这些流量需要日益迅速、高效的方式分析数据的技术。网络入侵问题是导致网络安全挑战的一大因素，而网络入侵检测***是网络***管理员检测组织网络内部各种安全漏洞的重要工具。网络入侵检测***监视并分析进入或退出组织网络设备的网络流量，在观察到入侵时及时发出警报。基于入侵检测的方法可分为两类：基于签名的网络入侵检测和基于异常检测的网络入侵检***。在基于签名的网络入侵检测***中，攻击签名是预先设置在网络入侵检测***中的。针对所设置的签名对网络流量执行模式匹配，以检测网络中的入侵。该方法对已知的攻击显示出较高的检测精度和较少的虚警率，但它高度依赖现有规则数据库，无法及时更新以应对新的网络攻击手段，因此很容易造成较大的损失。在基于异常检测的网络入侵检***中，当观察到不同于正常网络流量的模式时，***将该网络流量标记作为入侵数据，该方法非常适合于检测未知和新的攻击。

各种机器学***衡的特征。从高度不平衡的网络入侵数据集中学***衡的网络入侵问题。

在不平衡问题中，不同类别的样本规模差异很大。一般情况下，某一类的样本数，即少数类的样本数，远远少于另一类的样本数，即多数类的样本数。在网络入侵检测中，网络攻击数据在巨大的网络流量中占少数，而正常的数据则占大多数。在不平衡问题中，少数类样本往往受到更多的关注，具有更大的研究价值。因此，对不平衡问题的研究是值得关注的。一般情况下，传统的分类器是根据平衡的样本分布假设而提出的，对不同类别的样本分配相同的错误分类成本。因此，传统分类器很难用于有效地解决不平衡问题。传统分类器如SVM在处理不平衡问题时，由于训练数据的不平衡，少数类与多数类之间的支持向量比率也变得更加不平衡，因此对少数类的错分几率大大提高。

本发明通过多核学***衡的网络入侵检测问题。线性分类器的性能通过引入核函数可得到有效提升，核函数也可使线性分类器推广到非线性分类器问题当中。但在解决不平衡问题时，传统多核分类器的表现并不好，因为它没有考虑不平衡数据的实际分布，使得结果偏向多数类。受万有引力固定半径近邻分类器GFRNN算法的启发，本发明通过引入万有引力近邻策略，设计了两个正则化项，并结合多核学***衡网络入侵检测问题的万有引力平衡的多核学***衡点去拟合分类边界面。同时，找出这些万有引力平衡点的近邻样本，用于扰动分类边界的生成，使得分类器解决不平衡问题的能力得到有效提升。实验证明，所提出的模型能够有效地解决不平衡网络入侵检测问题。

发明内容

为了提高基于多核学***衡的网络入侵数据的分类性能，本发明提出了一种基于多核学***衡问题的万有引力平衡的多核学***衡点去拟合分类边界面。同时，找出这些万有引力平衡点的近邻样本，用于扰动分类边界的生成，提高所述模型的泛化性能。

本发明解决其技术问题所采用的技术方案：首先根据具体问题描述，将采集到的网络流量样本转化成可供该***处理的向量模型，并且对离散特征进行one-hot编码；其次，本发明利用万有引力近邻策略生成万有引力平衡的中点样本(GBMS)及其近邻样本(NNB)。然后，将所有训练样本以及生成的样本点进行多个核映射，经核映射后的万有引力平衡的中心点样本及其近邻样本点分别生成两个正则化项。最后，将所述两个正则化项与多核学习框架MultiK-MHKS相结合，优化迭代得到所提分类器GBMKL的权重和最优参数，从而得到最终的判别函数。

本发明解决其技术问题所采用的技术方案还可以进一步细化。所述技术方案中第二阶段中为了得到万有引力平衡样本点及其近邻样本，需要找出距离每个负类样本最近的少数类样本，并计算每对距离最近的样本的中点。本发明通过计算每个所述中点样本的万有引力大小选择出万有引力平衡的中点样本，并在训练样本中找出所述万有引力平衡的中点样本的近邻样本，利用所述两类样本分别在核空间中生成两个正则化项用于网络入侵样本的检测。

本发明有益的效果是：通过设计一个基于多核学***衡网络入侵检测问题。所述多核学***衡的中点样本及其近邻样本生成的正则化项，有效地校正了两类不平衡样本的分类边界，从而有效地解决了不平衡的网络入侵检测问题。

附图说明

图1为本发明应用于不平衡网络入侵检测问题的***框架图；

图2是本发明在训练步骤的详细描述；

图3是本发明在测试步骤的流程图；

具体实施方式

下面结合附图和实施例对本发明作进一步介绍：本发明的方法共分三个模块。

第一部分：输入模块

输入数据为现实的不平衡网络入侵样本的数据转化，生成向量形式的数据集便于后续模块进行处理。假设不平衡网络入侵数据的训练样本集为X＝{x_i,y_i,(i＝1,2,...,N),y_i∈{+1,-1}}。其中正类样本即网络入侵数据：X_pos＝{x_i|x_i∈X,y_i＝1}，负类样本即正常的网络数据：X_neg＝{x_j|x_j∈X,y_j＝-1}。

第二部分：训练模块

在这个模块中，首先找出距离每个负类样本最近的少数类样本，然后计算所有负类样本与距离其最近的正类样本的中点MS：根据所有训练样本和测试样本计算半径R：

其中N为训练样本的个数。计算得到R以后，到每个MS样本距离在R以内的样本称为候选样本，Candi|Candi∈X,d(candi,MS_j)＜R。MS的万有引力就是所对应候选集内的正负类样本对它的万有引力：

在实际计算中，严格等于0的情况是很难实现的，因此我们按照一定的比例选择GBMS。将所有MS对应的万有引力进行排序，选择万有引力较小的前30％的MS样本成为万有引力平衡样本GBMS。假设生成的GBMS样本有g个，表示为GBMS用于拟合分类边界，为了防止得到的分类边界过拟合，对于每一个GBMS样本，在训练样本中找到它的3个最近邻样本用来扰动分类边界的生成。选择的这些近邻训练样本是靠近分类边界的真实样本，在本方法中记为NNB，可表示为类似地，

所述万有引力平衡样本GBMS所生成的正则化项R_GBMS定义如下：

R_GBMS＝(Y_l ^Gw_l)^T(Y_l ^Gw_l)

其中，Y_l ^G表示所述GBMS样本映射在第l个核空间的增广矩阵。假设有m个核空间，它们对应的经验核映射可以表示为则 是权重向量，W为增广向量

所述GBMS样本的近邻样本NNB样本生成的正则化项R_NNB定义如下：

R_NNB＝(Y_l ^Bw_l)^T(Y_l ^Bw_l)

其中，w_l为第l个核空间的增广权向量w_l0为f_l的偏移量，Y_l ^B表示所述NNB样本映射在第l个核空间的增广矩阵，即将所述两个正则化项代入多经验核学习的框架中，得到目标函数如下：

其中，f_l表示第l个核空间的基分类器，α_l和β_l是控制参数，分别控制正则化项R_GBMS和R_NNB在GBMKL模型中的权重。

为了求出最优的权值向量w_l，采用启发式梯度下降法对所述目标函数进行优化。所述目标函数分别对w_l和b求导可以得到：

其中，是一个对角矩阵，最后一维的对角元素及非对角的元素均为0，其他对角元素均为1，可以得到b_l＝Y_lw_l-1_N×1。b_l表示样本在第l个核空间中与f_l的边界向量，且b_l的值是非负的。本模型通过误差向量e_l来更新b_l：

其中，p为迭代次数，ρ为学习率，且ρ＞0，误差向量e_l＝Y_l w_l-1_N×1-b_l，表示第l个视角下第p轮迭代。我们定义了参数ξ为终止条件，当||L^p+1-L^p||₂≤ξ时，停止迭代。

第三部分：测试模块

最后利用所述的判定函数对映射后的待检测样本进行预测，并将多个核空间的结果进行投票，将待检测样本判定为得到投票数最多的类别：

如果L(x)>0那么该样本为少数类样本，即包含网络入侵的数据，否则为多数类样本，即正常的网络数据。

实验设计

实验数据集选取：该实验选择了开源网站Extraction based on EvolutionaryLearning(KEEL)中的三个不平衡的网络入侵检测数据集“KDD CUP 99数据集”。“KDD CUP99数据集”是网络入侵检测领域的标准，为基于计算智能的网络入侵检测研究奠定基础。而不同种类的网络攻击数据在数量上有着明显的不平衡现象，这也就构成了影响分类性能的主要因素。该实验选择了来自KEEL数据库的3个不平衡KDD Cup 99数据集分别为：’rootkit-imap_vs_back’,guess_passwd_vs_satan’和’buffer_overflow_vs_back’。这三个数据集的信息如下表，其中数据中的离散特征均以one-hot方法表示。

名称	guess_passwd_vs_satan	buffer_overflow_vs_back	rootkit-imap_vs_back
				特征数	41	41	41
样本数	1642	2233	2225
				正类数	53	30	22
负类数	1589	2203	2203
				不平衡率	29.98	73.43	100.13
正类名	guess_passwd	buffer_overflow	rootkit-imap
				负类名	satan	back	back

上表中的正、负类名的实际意义如下表所示：

Satan	为Probe攻击类型，表示监视和其他探测活动
		Guess_passwd	为R2L攻击类型，表示来自远程机器的非法访问
Buffer_overflow	为U2R攻击类型，表示普通用户对本地超级用户特权的非法访问
		Back	为DOS攻击类型，表示拒绝服务攻击
Rootkit-imap	为U2R攻击类型，表示普通用户对本地超级用户特权的非法访问

所有使用的数据集均采用五折交叉方式处理，即将数据集随机分为大致均匀的五份，每一次选择其中一份作为测试数据，另外四份为训练数据，总共进行五轮实验。

对比算法：发明所使用的核心算法，即万有引力平衡的多核学习算法，简称为GBMKL。另外，我们选择Multik-MHKS、固定半径的万有引力近邻分类器GFRNN和基于代价敏感的SVM(CS-SVM)为基准算法。

参数选择：GBMKL、Multik-MHKS和CS-SVM都使用RBF核，其松弛系数C和核半径σ取值均为{0.01,0.1,1,10,100}。Multik-MHKS和CS-SVM均使用3个RBF核。

性能度量方法：实验中统一利用少数类准确率与多数类准确率率的平均值(AAcc)，来评估不同算法在各个数据集上的分类结果。记录的最终结果均为每个算法在该数据集上使用最优参数时对应的结果，即最优结果。AAcc的计算公式为：

其中TP为真正类率，FP为假正类率，TN为真负类率，FN为假负类率。四个指标的关系如下表：

实验结果

GBMKL与对比算法在各KDD网络攻击数据集上的AAcc结果如下表所示，std表示五折交叉验证结果的方差，表中的最后一行表示三个数据集上的平均AAcc。为了突出显示，每个数据集的最好结果标记为粗体。结果如下表：

由上表可知，本发明的模型在所列三个数据集上均取得最高AAcc值，说明它的检测准确率超过了其他机器学***均方差最低，表明本发明的模型对KDD网络攻击数据有着更稳定的分类效果。

Claims (5)

1.一种基于多经验核学习的网络入侵检测方法，其特征在于，所述网络入侵检测方法包括以下步骤：

1)预处理：通过网络工具获取网络入侵的数据集，将采集的数据集的特征转为数据矩阵,并对所有离散特征进行one-hot转换；

2)训练第一步：对一个包括正、负类样本的不平衡网络入侵数据的训练样本集进行学***衡的样本GBMS及其近邻样本NNB；

3)训练第二步：将训练样本和得到的GBMS和NNB样本进行多经验核映射，得到多个核空间中的训练样本、GBMS和NNB样本；

4)训练第三步：利用每个核空间映射后的GBMS和NNB样本，分别生成两个正则化项，并代入多经验核学习的目标函数中；

5)训练第四步：对所述目标函数进行求解，得到并记录最终的判定函数；

6)测试第一步：对于待检测的样本，利用与训练过程同样的多经验核函数进行核映射。

7)测试第二步：利用所述的判定函数对映射后的待检测样本进行预测，并将多个核空间的结果进行投票，将待检测样本判定为得到投票数最多的类别。

2.根据权利要求1中2)所述的方法，其特征在于，所述对一个包括正、负类样本的不平衡网络入侵数据的训练样本集进行学***衡的样本GBMS及其近邻样本NNB包括：

假设不平衡网络入侵数据的训练样本集为X＝{x_i,y_i,(i＝1,2,...,N),y_i∈{+1,-1}}，其中正类样本即网络入侵数据：X_pos＝{x_i|x_i∈X,y_i＝1}，负类样本即正常的网络数据：X_neg＝{x_j|x_j∈X,y_j＝-1}。在所述方法中，首先找出距离每个负类样本最近的少数类样本，然后计算所有负类样本与距离其最近的正类样本的中点MS：根据所有训练样本和测试样本计算半径R，对每个MS来说，距离它R以内的样本称为候选样本，Candi|Candi∈X,d(candi,MS_j)＜R。MS的万有引力就是所对应候选集内的正负类样本对它的万有引力：

将所有MS对应的万有引力进行排序，选择万有引力较小的前30％的MS样本成为万有引力平衡样本GBMS。假设生成的GBMS样本有g个，表示为GBMS用于拟合分类边界，为了防止得到的分类边界过拟合，对于每一个GBMS样本，在训练样本中找到它的3个最近邻样本NNB用来扰动分类边界的生成。选择的这些近邻训练样本NNB是靠近分类边界的真实样本，可表示为类似地，

3.根据权利要求1中4)所述的方法，其特征在于，所述利用每个核空间映射后的GBMS和NNB样本，分别生成两个正则化项，并代入多经验核学习的目标函数中包括：

所述万有引力平衡样本GBMS所生成的正则化项R_GBMS定义如下：

R_GBMS＝(Y_l ^Gw_l)^T(Y_l ^Gw_l)

其中，Y_l ^G表示所述GBMS样本映射在第l个核空间的增广矩阵。假设有m个核空间，它们对应的经验核映射可以表示为则 是权重向量，W为增广向量所述GBMS样本的近邻样本NNB样本生成的正则化项R_NNB定义如下：

R_NNB＝(Y_l ^Bw_l)^T(Y_l ^Bw_l)

其中，w_l为第l个核空间的增广权向量w_l0为f_l的偏移量，Y_l ^B表示所述NNB样本映射在第l个核空间的增广矩阵，即将所述两个正则化项代入多经验核学习的框架中得到目标函数如下：

其中，f_l表示第l个核空间的基分类器，α_l和β_l是控制参数，分别控制正则化项R_GBMS和R_NNB在GBMKL模型中的权重。

4.根据权利要求1中5)所述的方法，其特征在于，所述对所述目标函数进行求解，得到并记录最终的判定函数包括：

为了求出最优的权值向量w_l，采用启发式梯度下降法对所述目标函数进行优化。所述目标函数分别对w_l和b求导可以得到：

其中，是一个对角矩阵，最后一维的对角元素及非对角的元素均为0，其他对角元素均为1，可以得到b_l＝Y_l w_l-1_N×1。b_l表示样本在第l个核空间中与f_l的边界向量，且b_l的值是非负的。本模型通过误差向量e_l来更新b_l：

其中，p为迭代次数，ρ为学习率，且ρ＞0，误差向量e_l＝Y_l w_l-1_N×1-b_l，表示第l个视角下第p轮迭代。我们定义了参数ξ为终止条件，当||L^p+1-L^p||₂≤ξ时，停止迭代。

5.根据权利要求1中7)所述的方法，其特征在于，所述利用所述的判定函数对映射后的待检测样本进行预测，并将多个核空间的结果进行投票，将待检测样本判定为得到投票数最多的类别包括：

最终的判别函数为：

如果L(x)>0那么该样本为少数类样本，即包含网络入侵的数据，否则为多数类样本，即正常的网络数据。