CN113098910A - 基于时空粒度和三宽度学习的网络入侵检测方法及*** - Google Patents

Abstract

本发明涉及一种基于时空粒度和三宽度学习的网络入侵检测方法及***。该方法包括：步骤S1、从网络数据流中采集流量数据，进行时空粒度划分后构造时间粒度、空间粒度和数据内容三个特征数据集；步骤S2、将得到的三种粒度特征输入三宽度学习***；步骤S3、利用基础单元宽度学习模型分别提取每个粒度的高维特征，主要包括特征节点和增强节点的映射特征；步骤S4、将三种粒度特征并联作为最后提取的总特征；步骤S5、采用岭回归广义逆算法求取全局最优解，得到权值矩阵，并保存；步骤S6、将待检测数据输入训练完成的三宽度学习模型，得到分类结果。本发明结合时空多维数据之间的关联关系，通过三宽度学习的粒度融合对网络数据流检测，提高了检测精度。

Description

基于时空粒度和三宽度学习的网络入侵检测方法及***

技术领域

本发明涉及入侵检测和机器学习领域，具体涉及一种基于时空粒度和三宽度学习的网络入侵检测方法及***。

背景技术

互联网的影响力持续增加，网络服务得到了广泛的应用。与过去相比，在线娱乐，在线旅行和在线教育的用户规模和经济利益已大大增加。同时，无数的网络设备和应用程序，以及***性的网络数据，使网络环境变得越来越复杂，给网络安全带来了巨大的隐患。网络罪犯越来越熟练地抢占互联网开放性的好处，以惊人的速度推进攻击。因此，网络安全已经成为所有部门信息化建设中必须解决的重要问题。网络流量数据包含大量的时间，空间，负载和统计信息。来自不同粒度的数据分析可以为异常检测和分析结果提供不同的贡献。对于不同协议或服务的异常攻击，异常可能仅反映在与几种协议或服务相关的数据中，而其他数据是正常的。将所有数据放在一起进行分析，会影响模型对异常现象的判断。因此，有必要从不同的时间和空间粒度提取数据特征。

发明内容

本发明的目的在于提供一种基于时空粒度和三宽度学习的网络入侵检测方法，结合时空多维数据之间的关联关系，通过粒度融合对网络数据流检测，提高了多个检测指标的精度。

为实现上述目的，本发明的技术方案是：一种基于时空粒度和三宽度学习的网络入侵检测方法，包括如下步骤：

步骤S1、从网络数据流中采集流量数据，根据时空粒度进行划分，构造时间粒度、空间粒度和数据内容三个特征数据集；

步骤S2、将宽度学习***BLS进行改进，扩展为三宽度学习结构，输入三种粒度特征；

步骤S3、利用宽度学习基础单元分别提取每个粒度的高维特征，包括特征节点映射特征和增强节点映射特征；

步骤S4、将三种粒度特征并联起来，作为最后提取的总特征；

步骤S5、采用岭回归广义逆算法求取全局最优解，得到权值矩阵，并保存；

步骤S6、将待检测数据输入训练完成的三宽度学习模型，得到分类结果。

在本发明一实施例中，步骤S2中，三宽度学习结构是一个以BLS为基本单元的三宽度学习模型，三宽度学习结构结构由三个BLS单元组成，用于处理不同粒度的融合问题。

在本发明一实施例中，所述步骤S3具体为：假设Z和H分别表示特征节点和增强节点，下标T、S和D分别代表时间粒度、空间粒度和数据内容，则时间粒度的特征表达式为A_T＝[Z_T|H_T]，空间粒度的特征表达式为A_S＝[Z_S|H_S]，数据内容的特征表达式为A_D＝[Z_D|H_D]。

在本发明一实施例中，所述步骤S4具体为：假设三宽度学习模型的输入样本个数为N，特征节点个数为n，增强节点个数为m，将三种粒度特征映射到同一个样本空间，所提取到的总特征为F^N×3(n+m)＝[A_T ^N×(n+m)|A_S ^N×(n+m)|A_D ^N×(n+m)]。

在本发明一实施例中，代表时间粒度的特征节点和增强节点可分别表示为：

和

代表空间粒度的特征节点和增强节点可分别表示为：

和

代表数据内容的特征节点和增强节点可分别表示为：

和

其中z_i＝δ(X·W_ei+β_ei)，

h_j＝ξ(Zⁿ·W_hj+β_hj)，z_i代表第i个特征节点，h_j代表第j个增强节点，X是给定的输入数据，W_ei采用He initialization方法随机初始化，而W_hj经过Heinitialization随机初始化之后，进行正交归一化，β_ei和β_hj随机初始化，δ和ξ代表激活函数。

在本发明一实施例中，所述步骤S5具体为：权值矩阵W可表示为：W^3(n+m)＝[F^{N ×3(n+m)}]⁺Y，为避免过拟合，可通过岭回归公式计算W，使得矩阵非奇异，公式如下：

W^3(n+m)＝[(F^N×3(n+m))^TF^N×3(n+m)+CI]^-1(F^N×3(n+m))^TY

其中，Y是样本标签矩阵，C是一个正常数，而I是一个单位矩阵，F^N×3(n+m)是步骤S4提取的总特征。

本发明还提供了一种基于时空粒度和三宽度学习的网络入侵检测***，包括流量数据采集模块、时空粒度划分模块和三宽度学习模块；

所述流量数据采集模块，用于从网络数据流中采集流量数据；

所述时空粒度划分模块，用于将采集流量数据根据时空粒度进行划分，构造时间粒度、空间粒度和数据内容三个特征数据集；

所述三宽度学习模块，通过构造基于三个BLS为基本单元的三宽度学习模型，并通过对三个特征数据集的训练，得到训练完成的三宽度学习模型，进而实现对待检测数据的分类检测。

相较于现有技术，本发明具有以下有益效果：本发明结合时空多维数据之间的关联关系，通过粒度融合对网络数据流检测，和典型的宽度学习算法相比，显著地提升了检测精度。

附图说明

图1是本发明实施例的方法流程示意图。

图2是本发明实施例的时空粒度数据划分示意图。

图3是本发明实施例的三宽度学习结构图。

图4是本发明实施例的三宽度立体模型。

图5是本发明实施例的三宽度学习二分类检测性能分析(UNSW-NB15数据集)。

图6是本发明实施例的三宽度学习二分类检测性能分析(CIC-IDS2017数据集)。

图7是本发明实施例的三宽度学习多分类检测性能分析(UNSW-NB15数据集)。

图8是本发明实施例的三宽度学习多分类检测性能分析(CIC-IDS2017数据集)。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明提供一种基于时空粒度和三宽度学习的网络入侵检测方法，首先对公开的UNSW-NB15和CIC-IDS2017数据集进行预处理；然后根据时空粒度进行划分，将原先的整体数据集切分为时间粒度、空间粒度和数据内容三个特征数据集；再训练三宽度学习***(tri-broad learning system,TBLS)，正确地结合时空粒度之间的关系；最后，采用训练好的三宽度异常流量检测模型对实时流量进行异常检测。如图1所示，具体包括以下步骤：

步骤(1)：采集网络流量并进行预处理；

针对UNSW-NB15数据集，将协议特征、服务特征和状态特征的属性值转换为数值；针对CIC-IDS2017数据集，选择了星期三这一天的数据集，并移除了冗余和异常的特征项，如：Fwd Header Length、Flow Packets/s和Flow Packets/s。

步骤(2)：时空粒度数据划分：

如图2所示，针对数据集中每个特征项所对应的含义，将属于时空粒度的特征抽取出来，属于空间粒度的特征抽取出来，剩下的作为数据内容；

步骤(3)：三宽度学习；

如图3、4所示，将宽度学习***(broad learning system,BLS)进行改进，扩展为三宽度学习，输入三种粒度特征；利用宽度学习单元分别提取每个粒度的高维特征，主要包括特征节点映射特征和增强节点映射特征；将三种粒度特征并联作为最后提取的总特征；采用岭回归广义逆算法求取全局最优解，得到权值矩阵，并保存。

优选的，在本实施例中，所述三宽度学习结构具体为：三宽度学习结构是一个以BLS为基本单元的三宽度学习模型，此结构主要由三个BLS单元组成，用于处理不同粒度的融合问题。

优选的，在本实施例中，所述每个粒度的特征提取具体为：假设Z和H分别表示特征节点和增强节点，下标T、S和D代表时间粒度、空间粒度和数据内容，则时间粒度的特征表达式为A_T＝[Z_T|H_T]，空间粒度的特征表达式为A_S＝[Z_S|H_S]，数据内容的特征表达式为A_D＝[Z_D|H_D]。

优选的，在本实施例中，所述的最终特征具体为：假设三宽度模型的输入样本个数为N，特征节点个数为n，增强节点个数为m，将三种粒度特征映射到同一个样本空间，所提取到的总特征为F^N×3(n+m)＝[A_T ^N×(n+m)|A_S ^N×(n+m)|A_D ^N×(n+m)]。

优选的，在本实施例中，所述代表时间粒度的特征节点和增强节点可以分别表示为：

和

同理，空间粒度和数据内容可以表示为：

和

和

其中z_i＝δ(X·W_ei+β_ei)，

h_j＝ξ(Zⁿ·W_hj+β_hj)，z_i代表第i个特征节点，h_j代表第j个增强节点，X是给定的输入数据，W_ei采用He initialization方法随机初始化，而W_hj经过He initialization随机初始化之后，进行正交归一化，β_ei和β_hj随机初始化，δ和ξ代表激活函数。

优选的，在本实施例中，所述权值矩阵W为：W^3(n+m)＝[F^N×3(n+m)]⁺Y，为了避免过拟合，可以通过岭回归公式计算W，使得矩阵非奇异，公式如下：W^3(n+m)＝[(F^N×3(n+m))^TF^N×3(n+m)+CI]^-1(F^N×3(n+m))^TY,其中Y是样本标签矩阵，C是一个正常数，而I是一个单位矩阵。

步骤(4)：测试流量数据；

针对待测试的流量数据，也做相同的数据预处理以及粒度划分，保证和训练数据集一样的特征维数，然后将其传入训练好的三宽度模型进行检测。

优选的，本实施例进行仿真实验过程中，针对UNSW-NB15数据集，采用其提供的训练集和测试集；针对CIC-IDS2017(Wed.)数据集，采用20％的训练集，80％的测试集。所有实验都是使用具有2.60GHz和16GB RAM的Intel Xeon CPU，在Ubuntu LTS 16.04-64位操作***上运行的Python 3.7进行的。此外，为保证实验数据的可靠性，我们取运行20次的平均值和标准差作为最终的实验结果。图5和图6是二分类的检测结果，可以发现在两个数据集中，三宽度学***均值，即数据更加准确。图7和图8是多分类的检测结果，各方面评价指标都是最优的，说明三宽度学习模型也可以很好地提升多分类精度。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (7)

1.一种基于时空粒度和三宽度学习的网络入侵检测方法，其特征在于，包括如下步骤：

步骤S1、从网络数据流中采集流量数据，根据时空粒度进行划分，构造时间粒度、空间粒度和数据内容三个特征数据集；

步骤S2、将宽度学习***BLS进行改进，扩展为三宽度学习结构，输入三种粒度特征；

步骤S3、利用宽度学习基础单元分别提取每个粒度的高维特征，包括特征节点映射特征和增强节点映射特征；

步骤S4、将三种粒度特征并联起来，作为最后提取的总特征；

步骤S5、采用岭回归广义逆算法求取全局最优解，得到权值矩阵，并保存；

步骤S6、将待检测数据输入训练完成的三宽度学习模型，得到分类结果。

2.根据权利要求1所述的一种基于时空粒度和三宽度学习的网络入侵检测方法，其特征在于，步骤S2中，三宽度学习结构是一个以BLS为基本单元的三宽度学习模型，三宽度学习结构结构由三个BLS单元组成，用于处理不同粒度的融合问题。

3.根据权利要求1所述的一种基于时空粒度和三宽度学习的网络入侵检测方法，其特征在于，所述步骤S3具体为：假设Z和H分别表示特征节点和增强节点，下标T、S和D分别代表时间粒度、空间粒度和数据内容，则时间粒度的特征表达式为A_T＝[Z_T|H_T]，空间粒度的特征表达式为A_S＝[Z_S|H_S]，数据内容的特征表达式为A_D＝[Z_D|H_D]。

4.根据权利要求3所述的一种基于时空粒度和三宽度学习的网络入侵检测方法，其特征在于，所述步骤S4具体为：假设三宽度学习模型的输入样本个数为N，特征节点个数为n，增强节点个数为m，将三种粒度特征映射到同一个样本空间，所提取到的总特征为F^N×3(n+m)＝[A_T ^N×(n+m)|A_S ^N×(n+m)|A_D ^N×(n+m)]。

5.根据权利要求4所述的一种基于时空粒度和三宽度学习的网络入侵检测方法，其特征在于，代表时间粒度的特征节点和增强节点可分别表示为：

和

代表空间粒度的特征节点和增强节点可分别表示为：

和

代表数据内容的特征节点和增强节点可分别表示为：

和

其中z_i＝δ(X·W_ei+β_ei)，

h_j＝ξ(Zⁿ·W_hj+β_hj)，z_i代表第i个特征节点，h_j代表第j个增强节点，X是给定的输入数据，W_ei采用He initialization方法随机初始化，而W_hj经过Heinitialization随机初始化之后，进行正交归一化，β_ei和β_hj随机初始化，δ和ξ代表激活函数。

6.根据权利要求1所述的一种基于时空粒度和三宽度学习的网络入侵检测方法，其特征在于，所述步骤S5具体为：权值矩阵W可表示为：W^3(n+m)＝[F^N×3(n+m)]⁺Y，为避免过拟合，可通过岭回归公式计算W，使得矩阵非奇异，公式如下：

W^3(n+m)＝[(F^N×3(n+m))^TF^N×3(n+m)+CI]^-1(F^N×3(n+m))^TY

其中，Y是样本标签矩阵，C是一个正常数，而I是一个单位矩阵，F^N×3(n+m)是步骤S4提取的总特征。

7.一种基于时空粒度和三宽度学习的网络入侵检测***，其特征在于，包括流量数据采集模块、时空粒度划分模块和三宽度学习模块；

所述流量数据采集模块，用于从网络数据流中采集流量数据；

所述时空粒度划分模块，用于将采集流量数据根据时空粒度进行划分，构造时间粒度、空间粒度和数据内容三个特征数据集；

所述三宽度学习模块，通过构造基于三个BLS为基本单元的三宽度学习模型，并通过对三个特征数据集的训练，得到训练完成的三宽度学习模型，进而实现对待检测数据的分类检测。

Images