CN106991435A - 基于改进的字典学习的入侵检测方法 - Google Patents

Abstract

本发明公开了一种基于改进的字典学习的入侵检测方法，包括数据预处理步骤、稀疏特征提取步骤、数据检测步骤；首先收取标准数据集作为本方法训练集和测试集，然后用字典学习的方法对高维数据约简冗余信息以达到稀疏特征选择的目的；字典学习是一个双目标优化的复杂问题，使用分布式快速求解算法‑‑交替方向乘子法(ADMM)作为其求解框架，可以在加快大字典的训练速度的同时保证求解的精度；将提取出的具有高判别能力的稀疏特征作为机器学习分类器的输入，分类器使用支持向量机(SVM)，从而得到一个具有低复杂度、高表示能力的入侵检测模型，最终实现降低入侵检测的误报率、提高检测率、减少计算时间和存储开销。

Description

基于改进的字典学习的入侵检测方法

技术领域

本发明属于入侵检测技术领域，具体涉及到一种基于改进的字典学习的入侵检测方法。

背景技术

随着网络和智能手机的普及，网络安全问题日益突出，如何保证网络***的安全成为了一个亟待解决的问题。入侵检测技术通过收集操作***、***程序、应用程序、以及网络流量包等信息，发现被监控***或网络中违背安全策略，或危及***安全的行为，是保障***和网络安全的有效手段。近年来，信号的“稀疏表达”应用广泛，利用机器学习的方法为普通稠密样本寻求一个冗余字典下的稀疏表示，可以提取出原始数据的具有高判别能力的稀疏特征，从而达到约简冗余信息，降低原始问题复杂度的目的。入侵检测中通常面临安全数据的高维度问题，其本质是一个分类问题，如何采用高效的特征选择方法来降低特征维度，提高入侵检测的检测率、降低入侵检测的误报率，是亟待解决的问题。

入侵检测中通常面临安全数据的高维度问题,大数据集的求解可以运用机器学习里的方法来有效地解决，可以将机器学习的部分典型方法和算法应用于入侵检测中，去探索其中的相关数据处理方法在入侵检测中应用的有效性和可行性。机器学习方法用计算机模拟人类的学习活动，研究如何通过计算机学习现有的知识，发现新的知识，并通过不断完善，提升学习的效果。机器学习中包含大量的数据预处理和分类方法，与统计学、人工智能、信息论等学科有关联。其基本过程是通过从已有的经验中学习并构建学习机，进一步对未知的数据进行分类或预测。如何高效的维护网络和***的安全，具有重要的实际意义。

现有的网络安全研究已经不仅限于互联网的研究，而是扩展到其他的网络环境下。另外还有IDS在智能电网、信息物理融合***、认知无线电网络等方面的应用研究。目前常用的入侵检测方法包括基于马尔科夫过程的异常检测,基于神经网络的异常检测，基于支持向量机的异常检测近,基于数据挖掘的入侵检测,基于遗传算法的入侵检测，基于免疫学的入侵检测等。基于超完备字典的信号稀疏分解是一种新的信号表示理论，采用冗余原子构造字典，而不是采用传统的正交基。这样使字典更富有表现力，同时为信号自适应的稀疏扩展提供空间。通过这种超完备字典把数据变换到另一空间，即进行稀疏编码，将原始信息的稀疏表示作为特征作为机器学习分类器的输入，会带来更好的分类效果。

发明内容

本发明提出一种基于改进的字典学习的入侵检测方法，目的在于通过使用经ADMM优化的字典学习得到原始高维数据的具有高判别能力的稀疏表示，约简冗余信息，降低原始问题的复杂度，提高求解的精度，减少计算时间和存储开销，最终达到提高入侵检测检测率和降低误报率的目的。

本发明是一种基于改进的字典学习的入侵检测方法，包括数据预处理步骤、稀疏特征提取步骤、数据检测步骤；首先收取标准数据集作为本方法训练集和测试集，然后用字典学习的方法对高维数据约简冗余信息以达到稀疏特征选择的目的；字典学习是一个双目标优化的复杂问题，使用分布式快速求解算法--交替方向乘子法(ADMM)作为其求解框架，可以在加快大字典的训练速度的同时保证求解的精度；将提取出的具有高判别能力的稀疏特征作为机器学习分类器的输入，分类器使用支持向量机(SVM)，从而得到一个具有低复杂度、高表示能力的入侵检测模型，最终实现降低入侵检测的误报率、提高检测率、减少计算时间和存储开销。

具体步骤如下：

步骤1：数据预处理，具体做法是：获取数据包；进行数据清理；对清理后的数据进行格式化，将非数值型数据转化为数值型数据；将取值范围不同的特征标准化，得到标准数据集；

步骤2、稀疏特征提取，具体做法是：为入侵检测的正常行为和异常行为各自训练出一个超完备冗余字典；得到最优化的稀疏表示字典；提取最佳稀疏特征；

步骤3、数据检测，选择支持向量机作SVM为分类模型，将低维的所述稀疏特征作为支持向量机SVM分类器的输入，训练出一个基于字典学习的SVM入侵检测分类器，应用到所述分类模型中，完成高维数据集的入侵检测，将正常数据根据字典进行重构，异常数据停止操作并等待后续处理。

步骤1中数据清理包括填充缺失值、光滑噪声、识别离群点、数据一致化。

步骤2中所述得到最优化的稀疏表示字典的过程是：

步骤2-1、将特征的稀疏性作为约束条件以此最小化字典的重构误差；

步骤2-2、用交替方向乘子法ADMM作为基于改进的字典学习的入侵检测模型的求解框架；

步骤2-3、将步骤2-2求解得到的数据作为入侵检测数据的稀疏特征集，即最优化的稀疏表示字典。

本发明作为一种基于特征选择和数据压缩的入侵检测方法，利用分布式计算框架--交替方向乘子法对字典学习和稀疏表示方法进行优化，使得学习到的大字典具有更强的表示能力，提取出的稀疏特征具有高判别能力，同时能够加快求解的速度和精度；把经ADMM优化的字典学习与支持向量机分类器结合起来得到一个具有低复杂度、高表示能力、能够自适应学习的入侵检测模型，具有较强的针对性，能够提高入侵检测的检测率、降低入侵检测的误报率。本发明弥补了传统入侵检测中高维数据集的有效处理问题，提出了基于ADMM优化的字典学习的入侵检测方法。同时结合支持向量机分类器，得到一个具有低复杂度、高表示能力的入侵检测模型。

附图说明

图1为基于入侵检测数据的数据预处理流程图；

图2为基于ADMM计算框架的字典学习的稀疏特征提取流程图；

图3为基于稀疏特征和支持向量机分类器的入侵检测流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

步骤1)：数据预处理：

步骤1.1，为提高学习的质量，使用标准数据集KDD-CUP1999作为本实施例的实验数据集。

KDD-CUP1999数据集总共由约500万条记录构成,它还提供一个10％的训练子集和测试子集。其中训练子集包括494021条记录,测试子集包括311309条记录。一共包含39种攻击类型,训练集中共出现了22个攻击类型,而剩下的17种只在测试集中出现。

步骤1.2,数据的清理。

本实施例在训练前要对数据进行数据集上的一定程度上的清理，数据清理的任务包括：填充缺失值,“光滑”噪声,识别离群点,解决数据不一致。由于网络的复杂性和入侵者攻击方法的不确定性,采集得来的数据是不便于高效处理的,那么构建的模型的可信度就会降低。

步骤1.3，进行非数值数据的格式转换。

将网络数据中的非数值属性数据转化成适合于训练和学习的数值属性数据。根据对KDD-CUP1999数据集的分析中可以看出,所包含的数据类型主要有两种连续型和离散型。离散型数据是符号型的,采取某些变换将其转化为数值型，例如协议类型,离散类型,共有3种：TCP、IDP、ICMP,用数字1、2、3来代替。再如目标主机的网络服务类型,共有70种，用1,2,…，70来代替。对攻击类型我们用1和-1代替,其中正常记录为1,攻击记录为-1,或者根据需要也用1,2...来代替。

步骤1.4，将取值范围不同的数值进行标准化处理。

经过对数据集中的观察,各个属性的取值范围差别很大,会导致一些取值较小的属性严重受到取值较大的属性的制约,从而体现不出相应的作用。采用如下方法对数据进行标准化处理：记m(x_i)为第i个属性的平均值，σ(x_i)为第i个属性的标准差，为第j条记录的第i个属性。计算标准化度量值，Z_ji为标准化后的属性值，其表示方式为：由此可以得到便于后续处理的标准数据集。

步骤2)：稀疏特征提取步骤：

步骤2.1，根据字典学习和稀疏表示构建出基于入侵检测的字典学习数学模型：

其X∈Rⁿ中为待处理数据也是字典中若干原子的线性组合，D∈R^n×m为该数据的字典，α∈R^m为稀疏系数，它表示α中非零元素的个数，含义是信息X在字典下具有稀疏的表示,即X是D中若干原子的线性组合，数学模型即：

X＝Dα,s.t.min||α||₀，

步骤2.2，使用交替方向乘子法(ADMM)作为基于改进的字典学习的入侵检测模型的求解框架：

对于形如：

的可分离变量的优化问题，其中x∈Rⁿ,y∈R^m,A∈R^p×m,B∈R^p×m,b∈R^p，该问题的增广拉格朗日惩罚函数是：

该问题基于ADMM的一般迭代求解框架如下：

同理，可以将字典学习的数学模型表示成如下优化问题：

该问题中的X的0范数是一个非凸问题，不能够应用现有的高效分布式优化算法直接求解，将0范数凸松弛为1范数，使得原问题转化为凸优化问题：

该问题是一个问题中的两个优化求解，需要分别求解出D和X，精确求解是十分复杂的。一般采用交替求解的形式来有效求解。

步骤3.2.1，当D固定时即D为已知矩阵时仅求解稀疏系数X的单目标无约束优化问题：

此时需要增加一个示性函数将原目标问题改写为如下优化问题，使得该方法可以便于使用ADMM计算框架：

该带约束的凸优化问题的增广拉格朗日乘子法是，其中λ是拉格朗日乘子，β是惩罚参数：

此时基于ADMM的字典学习求解框架如下：

步骤3.2.1，根据上述求解出的稀疏系数X，来求解字典D，此时原优化问题可以转化为仅求解D的单目标无约束问题：

此时需要增加一个示性函数将原目标问题改写为如下优化问题，其中g(W)是关于W的示性函数，使得该方法可以便于使用ADMM计算框架：

该带约束的凸优化问题的增广拉格朗日乘子法是，其中Λ是拉格朗日乘子矩阵，ρ是惩罚参数：

此时基于ADMM的字典学习求解框架如下：

以上便得到了最优化的稀疏表示字典，在此训练得到的冗余字典D的基础上，得到了最佳稀疏特征X。

步骤3)：数据检测步骤：

步骤3.1，将得到的低维稀疏特征X作为支持向量机(SVM)分类器的输入

设样本集{(x_i,y_i),i＝1,2,...,l},由二类组成，如果x_i∈Rⁿ属于第一类，则y_i＝1；如果属于第二类，则y_i＝-1。SVM的训练学习是为了构造决策函数，从而能够准确地对数据进行分类。训练样本集分为线性和非线性两种情况。

(1)线性情况

如果训练集中样本集是线性可分的，则存在一个超平面H可以用下式表示：

(ω·x)+b＝0,ω∈R^N,b∈R (14)

它可以把两类样本完全分开，并且满足以下约束条件：

(ω·x_i)+b≥1,y_i＝1

(ω·x_i)+b≤-1,y_i＝-1

其中向量ω是H的法向量，决定着超平面的方向；x为输入的N维向量；b为阈值，决定超平面的位置。将上述两个约束条件合并：y_i(ω·x_i+b)≥1,i＝1,2,...,l

用决策函数：f(x)＝sgn((ω·x)+b) (17)

来区分每一个样本点。可以计算出，分类间隔为：

要最大化分类间隔只要最小化||ω||²，即可转化为在满足为如下的二次规划问题：

引入拉格朗日乘子函数来求解以上约束问题可得：

式中α_i＞0。由此得到：即：

此时可以将原问题转化为其对偶问题，原问题的最优解也是其最后问题的最优解。

α_i≥0 i＝1,2,...,

其中x_i为训练所得的支持向量，可以得到决策函数转化为：

(2)非线性情况

对于线性不可分数据需要将其投影到高维空间中，然后通过最优超平面来对数据进行分离，以解决输入空间的非线性不可分问题。此时可以定义分类超平面为：ω·φ(x)+b＝0

决策函数为：f(x)＝sgn[ω·φ(x)+b] (20)

通过求解如下最优化问题来确定高维空间的最优分类超平面：

s.t.y_i(ω·φ(x_i)+b)≥1-ξ_i,i＝1,...,l

ξ_i≥0,i＝1,...,l.

ξ_i为松弛变量。引入拉格朗日函数：

其中α＝(α₁,....,α_l)^T和β＝(β₁,...,β_l)^T都为拉格朗日乘子向量。根据对偶关系，可以将凸二次规划问题转化为对偶问题进行求解：

0≤α_i≤C,i＝1,2,...,l

其中K(x_i,x_j)＝Φ(x_i)·Φ(x_j),是满足Mercer的核函数。此时的SVM决策函数：

目前应用较多的几种核函数有以下几种：

(1)线性核函数：K(x_i,x_j)＝x_i·x_j

(2)多项式核函数：K(x_i,x_j)＝((x_i·x_j)+1)^d

(3)高斯径向基核函数：

本实施例使用的是高斯径向基核函数。

步骤3.2，根据3.1中的低维数据训练一个基于改进的字典学习的SVM入侵检测分类器模型。

步骤3.3，选择测试集在训练好的分类器上进行测试。

步骤3.4，分析测试集的分类结果，对分类结果进行评估。

步骤3.5，将检测到的异常数据停止当前操作并进入等待后续处理状态，将正常数据根据训练好的字典进行重构。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。

Claims (3)

1.一种基于改进的字典学习的入侵检测方法，其特征在于，包括以下步骤：

步骤1、数据预处理，具体做法是：获取数据包；进行数据清理；对清理后的数据进行格式化，将非数值型数据转化为数值型数据；将取值范围不同的特征标准化，得到标准数据集；

步骤2、稀疏特征提取，具体做法是：基于入侵检测大数据集训练出一个超完备冗余字典；得到最优化的稀疏表示字典；提取最佳稀疏特征；

步骤3、数据检测，选择支持向量机作为分类模型，将低维的所述稀疏特征作为支持向量机分类器的输入，训练出一个基于字典学习的支持向量机入侵检测分类器，应用到所述分类模型中，完成高维数据集的入侵检测，将正常数据根据字典进行重构，异常数据停止操作并等待后续处理。

2.根据权利要求1所述的基于改进的字典学习的入侵检测方法，其特征在于，步骤1中所述数据清理包括填充缺失值、光滑噪声、识别离群点、数据一致化。

3.根据权利要求1所述的基于改进的字典学习的入侵检测方法，其特征在于，步骤2中所述得到最优化的稀疏表示字典的过程是：

步骤2-1、将特征的稀疏性作为约束条件以此最小化字典的重构误差；

步骤2-2、用交替方向乘子法ADMM作为基于改进的字典学习的入侵检测模型的求解框架；

步骤2-3、将步骤2-2求解得到的数据作为入侵检测数据的稀疏特征集，即最优化的稀疏表示字典。