CN109104728A - 一种基于改进lda降维的elm分类入侵检测方法 - Google Patents

Abstract

本发明涉及一种基于改进LDA降维的ELM分类入侵检测方法，其中包括：网络行为数据归一化：将不同维的有量纲数据转变成无量纲数据；网络行为数据降维：计算类内散度矩阵和类间散度矩阵，采用最优转换矩阵，对归一化后的网络行为数据进行降维；网络行为数据分类：利用极限学习机分类算法，通过对网络行为数据训练集分析获得进行分类隐藏层输出矩阵H和最优输出权重β，然后对测试集进行分类判断，判定网络是否安全及存在何种攻击。本发明具有更好的时间效率、检测性能和泛化性能；尤其对于资源受限的WSNs，入侵检测算法的高效是至关重要的；本方法能在保证较好的检测效率的同时提高入侵检测的效率，相较于其他算法具有明显优势。

Description

一种基于改进LDA降维的ELM分类入侵检测方法

技术领域

本发明涉及无线传感器网络技术领域，具体是指一种基于改进LDA降维的ELM分类入侵检测方法。

背景技术

随着网络信息化的发展，人们对通信的普及化和便利化有了更高追求，借此物联网的发展壮大成为了时代的必然趋势。从物联网技术发展和应用需求来看，异构无线传感器网络(Heterogeneous Wireless Sensor Networks,WSNs)的运用对物联网发展有着至关重要的作用。异构无线传感器网络在不同应用领域中为人们带来便利的同时，其安全性也应受到相应重视。入侵检测作为可以有效保护网络免受攻击的网络安全保障技术，受到了网络安全领域研究者的极大关注，但传统的入侵检测模型在时间效率和检测效率等性能方面仍存在一定的不足，使得其并不适用于节点分布广且资源受限的HWSNs。

因此，为了在保障入侵检测准确性的同时，提高算法执行效率，能够快速的对网络入侵情况进行判别，设计一种具有较高时效性和准确性的入侵检测算法来提高网络安全性对异构无线传感器网络安全具有重要意义。

发明内容

为了克服上述背景技术的不足，本发明提供一种基于改进LDA降维的ELM分类入侵检测方法，该发明可提高入侵检测分类的准确性和高效性。

为了实现上述目的，本发明具有如下构成：

该基于改进LDA降维的ELM分类入侵检测方法，包括如下步骤：

(1)网络行为数据归一化：将不同维的有量纲数据转变成无量纲数据；

(2)网络行为数据降维：计算类内散度矩阵和类间散度矩阵，在线性判别分析中加入类内散度矩阵和类间散度矩阵，获得最优转换矩阵，对归一化后的网络行为数据进行降维；

(3)网络行为数据分类：利用极限学习机分类算法，通过对网络行为数据训练集分析获得进行分类隐藏层输出矩阵H和最优输出权重β，然后对测试集进行分类判断，判定网络是否安全及存在何种攻击。

可选地，所述步骤(1)中网络行为数据归一化，包括如下步骤：

网络行为数据采用0均值标准化方法进行归一化处理：将不同维的有量纲数据转变成无量纲数据，具体公式如下：

其中x为原始数据输入量，z为归一化后的输出数据，μ,σ分别为原始数据集各维的均值和方差。

可选地，所述步骤(2)中，根据如下步骤计算类内散度矩阵和类间散度矩阵：

给定包含N条网络行为数据训练样本的集合D，D＝{x_k,t_k},k＝1,2,...,N；假设x_ij∈{x_k},t_ij∈{t_k},i＝1,2,...,c,j＝1,2,...,n_i，x_ij为第i类的第j个样本特征向量，t_ij为该特征向量对应的样本标签，其中样本特征为d维，则总样本特征矩阵可表示为X^N×d，样本共有c类，n_i代表i类样本数，即对应总样本均值向量u和第i类样本的类均值向量u_i分别是则类内散度矩阵S_w为：

类间散度矩阵S_b为

其中，ω_ij为高位数据空间相似性度量函数，表示数据μ_i和μ_j的空间相似度，μ_i,k和μ_j,k分别代表数据i和j在k维上的均值，d为数据特征维数，n_i和n_j分别代表i类和j类样本数。

可选地，所述步骤(2)中，根据如下广义瑞利商公式计算最优变换矩阵：

其中，A^*为最优变换矩阵，A是投影矩阵，I为单位矩阵；根据广义瑞利商极值性质，计算I^-1(S_b-S_w)的前m个特征值λ₁>λ₂>…>λ_m对应的特征向量a₁,a₂,…,a_m，将其组成矩阵，即获得最优转换矩阵A^*，且m＝c-1。

可选地，所述步骤(2)中，对归一化后的网络行为数据进行降维，包括如下步骤：

通过矩阵计算获得降维后样本特征向量y_k＝x_kA^*，其中y_k为归一化后的网络行为数据的特征向量x_k降维后对应的特征向量，降维后样本特征矩阵表示为Y^N×m，其中m为降维后的特征矩阵Y^N×m的维度。

可选地，所述步骤(3)中，利用极限学习机分类算法，通过对网络行为数据训练集分析获得进行分类隐藏层输出矩阵H和最优输出权重β，包括如下步骤：

降维后获得N个样本转化为具有新特征的样本集D'＝{y_k,t_k},k＝1,2,...,N，其中y_k＝[y_k1,y_k2,...,y_km]^T为降维后数据m维特征向量，t_k＝[t_k1,t_k2,...,t_kc]^T为样本标签，样本共有c类；

将降维后获得的新样本集输入单层神经网络中，对于具有L个隐层节点的单隐层神经网络表示为：

其中，w_i＝[w_i1,w_i2,…,w_im]^T为第i个隐层节点与输入层节点之间的输入权值，b_i是第i个隐层节点的偏置量，β_i为第i个隐层节点与输出层节点之间的输出权重，g(x)为激活函数，表示和y_k的内积，且函数中输入权重w_i和偏置量b_i为(-1,1)或(0,1)间的随机量；

建立目标函数：o_k表示第k条训练样本数据的输出结果；即使得如下公式：

通过矩阵表示为Hβ＝T，其中，H满足如下公式：

H是隐层节点的输出矩阵，β为输出权重矩阵，T为期望输出；

采用H的Moore-Penrose广义逆矩阵分析确定最小范数的最优输出权重β：

其中，为了得到更好的泛化性能，在HH^T或H^TH的对角线加上正值I/C，用于修复矩阵，保证其为满秩矩阵。

可选地，所述对测试集进行分类判断，判定网络是否安全及存在何种攻击，包括如下步骤：

通过训练集训练获得隐藏层输出矩阵H和最优输出权重β后，根据Hβ＝T，将测试集代入计算出测试集标签，获得数据对应类别，进行网络安全判定，完成网络的入侵检测。

该发明中的基于改进LDA降维的ELM分类入侵检测方法的有益效果在于：该方法具有更好的时间效率、检测性能和泛化性能；尤其对于资源受限的WSNs，入侵检测算法的高效是至关重要的；本方法能在保证较好的检测效率的同时提高入侵检测的效率，相较于其他算法具有明显优势。

附图说明

图1为本发明一实施例的基于改进LDA降维的ELM分类入侵检测方法的整体框架图；

图2为本发明一实施例的基于改进LDA降维的ELM分类入侵检测方法的流程图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

为了解决上述技术问题，本发明提供了一种基于改进LDA(线性判别式分析)降维的ELM(极限学习机)分类入侵检测方法，包括以下步骤：

(1)网络行为数据归一化：将有量纲表达式转变成无量纲表达式；

此处步骤(1)中网络行为数据归一化，包括如下步骤：

网络行为数据采用0均值标准化方法进行归一化处理：将不同维的有量纲数据转变成无量纲数据，具体公式如下：

其中x为原始数据输入量，z为归一化后的输出数据，μ,σ分别为原始数据集各维的均值和方差。

(2)网络行为数据降维：通过在线性判别分析中加入高维数据空间相似性度量函数改进类间散度矩阵，将类间间距尽可能最大化的同时，最小化类内间距，从而获得最优的转换矩阵，实现对原始数据的降维；

(3)网络行为数据分类：利用极限学习机分类算法将网络行为数据进行分类，判定网络中存在何种攻击。

因此，本发明具有更好的时间效率、检测性能和泛化性能。

具体地，采用本发明的基于改进LDA降维的ELM分类入侵检测方法，在步骤(1)中对数据预处理与归一化处理后，按照下列步骤进行步骤(2)网络行为数据降维，即通过在线性判别分析中加入高维数据空间相似性度量函数改进类间散度矩阵，将类间间距尽可能最大化的同时，最小化类内间距，从而获得最优的转换矩阵，实现对原始数据的降维；

给定包含N条网络行为数据训练样本的集合D，D＝{x_k,t_k},k＝1,2,...,N，假设x_ij∈{x_k},t_ij∈{t_k},i＝1,2,...,c,j＝1,2,...,n_i，x_ij为第i类的第j个样本特征向量，t_ij为该特征向量对应的样本标签，其中样本特征为d维，则总样本特征矩阵可表示为X^N×d，样本共有c类，n_i代表i类样本数，即对应总样本均值向量u和第i类样本的类均值向量u_i是：类内散度矩阵S_w表示为：类内散度矩阵是各类样本与对应类样本中心之间的距离均方差，表示同一类别样品的分散程度；类间散度矩阵S_b为：其中，ω_ij为高位数据空间相似性度量函数，表示了数据μ_i和μ_j的空间相似度，μ_i,k和μ_j,k分别代表数据i和j在k维上的均值，d为数据特征维数，n_i和n_j分别代表i类和j类样本数；

类间散射矩阵S_b反映了不同空间相似度的各类中心与总样本中心之间距离的平均值，代表类与类之间的离散度，高维数据的空间相似性度量函数ω_ij值域为(0,1]，函数值越大则代表两数据相似性越大，为ω_ij＝1时，μ_i和μ_j相等；如果类中心μ_i和μ_j每个维度的值越接近或者数据接近的维度越多，那么ω_ij值就越大，相似性也越大，这代表两个类越容易存在混叠的情况；反之，相似性越小，ω_ij值就越小，代表类之间距离越大越不易混叠；

计算广义瑞利商公式最优变换矩阵A^*的目标函数

其中，表示赋值的是右侧计算获得的最大特征值对应的特征向量，而不是最大值，A是投影矩阵，I为单位矩阵；根据广义瑞利商极值性质，计算I^-1(S_b-S_w)的前m个特征值λ₁>λ₂>…>λ_m对应的特征向量a₁,a₂,…,a_m，将其组成矩阵，即获得最优转换矩阵A^*，且m＝c-1；最后通过矩阵计算获得降维后样本特征向量：y_k＝x_kA^*，y_k为特征向量x_k降维后对应特征向量，降维后样本特征矩阵可表示为Y^N×m；

下面按照如下步骤进行步骤(3)网络行为数据分类，即利用极限学习机分类算法将网络行为数据进行分类，判定网络中存在何种攻击；

降维后获得N个样本转化为具有新特征的样本集D'＝{y_k,t_k},k＝1,2,...,N，其中y_k＝[y_k1,y_k2,...,y_km]^T为降维后数据m维特征向量，t_k＝[t_k1,t_k2,...,t_kc]^T为样本标签，样本共有c类，将降维后获得的新样本集输入单层神经网络中，对于具有L个隐层节点的单隐层神经网络可以表示为：

其中，w_i＝[w_i1,w_i2,…,w_im]^T为第i个隐层节点与输入层节点之间的输入权值，b_i是第i个隐层节点的偏置量，β_i为第i个隐层节点与输出层节点之间的输出权重，g(x)为激活函数，表示和y_k的内积，且函数中输入权重w_i和偏置量b_i为(-1,1)或(0,1)间的随机量；

为了使得输出结果与对应样本数据标签误差最小化，建立目标函数：即使得可以通过矩阵表示为Hβ＝T，其中，

H是隐层节点的输出矩阵，β为输出权重矩阵，T为期望输出；

采用H的Moore-Penrose广义逆矩阵分析确定最小范数的最小二乘解β：

为了得到更好的泛化性能，在HH^T或H^TH的对角线加上正值1/C，用于修复矩阵，保证其为满秩矩阵；

其中，极限学习机的分类器训练过程如下：

步骤1：随机生成隐层节点i的输入权重w_i和偏置量b_i，i＝1,2,...,L；

步骤2：根据如下公式计算隐藏层输出矩阵H：

步骤3：根据式计算最优输出权重β；

通过训练集训练获得隐藏层输出矩阵H和最优输出权重β后，根据Hβ＝T，将测试集代入计算出测试集标签，获得数据对应类别，进行网络安全判定，完成网络的入侵检测。

该发明中的基于改进LDA降维的ELM分类入侵检测方法的有益效果在于：该方法具有更好的时间效率、检测性能和泛化性能；尤其对于资源受限的WSNs，入侵检测算法的高效是至关重要的；本方法能在保证较好的检测效率的同时提高入侵检测的效率，相较于其他算法具有明显优势。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (7)

1.一种基于改进LDA降维的ELM分类入侵检测方法，其特征在于，包括如下步骤：

(1)网络行为数据归一化：将不同维的有量纲数据转变成无量纲数据；

(2)网络行为数据降维：计算类内散度矩阵和类间散度矩阵，在线性判别分析中加入类内散度矩阵和类间散度矩阵，获得最优转换矩阵，对归一化后的网络行为数据进行降维；

(3)网络行为数据分类：利用极限学习机分类算法，通过对网络行为数据训练集分析获得进行分类隐藏层输出矩阵H和最优输出权重β，然后对测试集进行分类判断，判定网络是否安全及存在何种攻击。

2.根据权利要求1所述的基于改进LDA降维的ELM分类入侵检测方法，所述步骤(1)中网络行为数据归一化，包括如下步骤：

网络行为数据采用0均值标准化方法进行归一化处理：将不同维的有量纲数据转变成无量纲数据，具体公式如下：

其中x为原始数据输入量，z为归一化后的输出数据，μ,σ分别为原始数据集各维的均值和方差。

3.根据权利要求1所述的基于改进LDA降维的ELM分类入侵检测方法，其特征在于，所述步骤(2)中，根据如下步骤计算类内散度矩阵和类间散度矩阵：

给定包含N条网络行为数据训练样本的集合D，D＝{x_k,t_k},k＝1,2,...,N；假设x_ij∈{x_k},t_ij∈{t_k},i＝1,2,...,c,j＝1,2,...,n_i，x_ij为第i类的第j个样本特征向量，t_ij为该特征向量对应的样本标签，其中样本特征为d维，则总样本特征矩阵可表示为X^N×d，样本共有c类，n_i代表i类样本数，即对应总样本均值向量u和第i类样本的类均值向量u_i分别是则类内散度矩阵S_w为：

类间散度矩阵S_b为

其中，ω_ij为高位数据空间相似性度量函数，表示数据μ_i和μ_j的空间相似度，μ_i,k和μ_j,k分别代表数据i和j在k维上的均值，d为数据特征维数，n_i和n_j分别代表i类和j类样本数。

4.根据权利要求3所述的基于改进LDA降维的ELM分类入侵检测方法，其特征在于，所述步骤(2)中，根据如下广义瑞利商公式计算最优变换矩阵：

其中，A^*为最优变换矩阵，A是投影矩阵，I为单位矩阵；根据广义瑞利商极值性质，计算I^-1(S_b-S_w)的前m个特征值λ₁>λ₂>…>λ_m对应的特征向量a₁,a₂,…,a_m，将其组成矩阵，即获得最优转换矩阵A^*，且m＝c-1。

5.根据权利要求4所述的基于改进LDA降维的ELM分类入侵检测方法，其特征在于，所述步骤(2)中，对归一化后的网络行为数据进行降维，包括如下步骤：

通过矩阵计算获得降维后样本特征向量y_k＝x_kA^*，其中y_k为归一化后的网络行为数据的特征向量x_k降维后对应的特征向量，降维后样本特征矩阵表示为Y^N×m，其中m为降维后的特征矩阵Y^N×m的维度。

6.根据权利要求5所述的基于改进LDA降维的ELM分类入侵检测方法，其特征在于，所述步骤(3)中，利用极限学习机分类算法，通过对网络行为数据训练集分析获得进行分类隐藏层输出矩阵H和最优输出权重β，包括如下步骤：

降维后获得N个样本转化为具有新特征的样本集D'＝{y_k,t_k},k＝1,2,...,N，其中y_k＝[y_k1,y_k2,...,y_km]^T为降维后数据m维特征向量，t_k＝[t_k1,t_k2,...,t_kc]^T为样本标签，样本共有c类；

将降维后获得的新样本集输入单层神经网络中，对于具有L个隐层节点的单隐层神经网络表示为：

其中，w_i＝[w_i1,w_i2,…,w_im]^T为第i个隐层节点与输入层节点之间的输入权值，b_i是第i个隐层节点的偏置量，β_i为第i个隐层节点与输出层节点之间的输出权重，g(x)为激活函数，表示和y_k的内积，且函数中输入权重w_i和偏置量b_i为(-1,1)或(0,1)间的随机量；

建立目标函数：o_k表示第k条训练样本数据的输出结果；即使得如下公式：

通过矩阵表示为Hβ＝T，其中，H满足如下公式：

H是隐层节点的输出矩阵，β为输出权重矩阵，T为期望输出；

采用H的Moore-Penrose广义逆矩阵分析确定最小范数的最优输出权重β：

其中，为了得到更好的泛化性能，在HH^T或H^TH的对角线加上正值I/C，用于修复矩阵，保证其为满秩矩阵。

7.根据权利要求1所述的基于改进LDA降维的ELM分类入侵检测方法，其特征在于，所述对测试集进行分类判断，判定网络是否安全及存在何种攻击，包括如下步骤：

通过训练集训练获得隐藏层输出矩阵H和最优输出权重β后，根据Hβ＝T，将测试集代入计算出测试集标签，获得数据对应类别，进行网络安全判定，完成网络的入侵检测。