CN111416797A

CN111416797A - 改进天牛群算法优化正则化极限学习机的入侵检测方法

Info

Publication number: CN111416797A
Application number: CN202010117309.4A
Authority: CN
Inventors: 王振东
Original assignee: Buddhist Tzu Chi General Hospital
Current assignee: Buddhist Tzu Chi General Hospital
Priority date: 2020-02-25
Filing date: 2020-02-25
Publication date: 2020-07-14
Anticipated expiration: 2040-02-25
Also published as: CN111416797B

Abstract

本发明实施例公开了改进天牛群算法优化正则化极限学习机的入侵检测方法，引入LU分解法通过迭代求解输出权值，降低计算的复杂度，提高入侵检测的准确率；引入改进天牛群算法用于RELM神经网络参数寻优以提高其检测精度和训练速度，改进天牛群算法使用Tent映射反向学习初始化种群、莱维飞行的群体策略以及动态变异策略，使得个体在移动的过程中动态学习群体的经验，提高算法的收敛速度、增强后期的探索能力，避免算法陷入局部最优。

Description

改进天牛群算法优化正则化极限学习机的入侵检测方法

技术领域

本发明实施例涉及入侵检测方法技术领域，具体涉及改进天牛群算法优化正则化极限学习机的入侵检测方法。

背景技术

随着网络技术的快速发展，网络结构越趋复杂，由此发生网络入侵的风险也越来越大，如何辨识各种网络入侵成为人们高度关注的问题。入侵检测(Intrusion Detection,ID)技术是一种能够动态监控、预防和抵御入侵行为的一种新型安全机制，并逐渐发展为保障网络***安全的关键技术。该技术的核心是通过分析采集的网络数据，检测网络中的各类行为是否安全。异常检测与误用检测是入侵检测***采用的两种不同检测类型。误用检测通过对已知的入侵行为和企图进行特征提取编写进规则库，将监测到的网络行为与规则库进行模式匹配，进而判断入侵行为或者入侵企图，该方法误报率较低；异常检测则是从大量正常用户行为模型中检测出攻击行为，可以对未知攻击进行检测。

截至目前，研究人员提出了包括基于数据挖掘、机器学习、神经网络以及统计学在内的多种入侵检测方法。极限学习机是南一种单隐层前馈神经网络SLFN(Single-hiddenLayer Feedforward Neural network)，具有很强的分类能力、学习能力和收敛性能，因而受到广泛关注。目前，ELM在多标签学习、故障识别、数据分析等领域得到初步应用。由于其具备的分类快速和自学学能力强等优势，在入侵检测领域也得到了广泛关注。但由于RELM的隐含层节点个数难以确定，获得最佳的模型较困难，且随机初始化输入权值和阈值，可能使模型出现病态问题。针对上述缺点，相关学者提出改进方法。大部分学者考虑到隐含层节点个数、初始化权值和阈值对RELM模型分类能力的影响，但未考虑到RELM本身性能，其输出权值矩阵计算方法的选择，在很大程度上影响了RELM的分类性能。

发明内容

为此，本发明实施例提供改进天牛群算法优化正则化极限学习机的入侵检测方法，以解决现有技术中的算法没有优秀分类性能和良好的入侵检测能力的问题。

为了实现上述目的，本发明实施例提供如下技术方案：

根据本发明实施例的第一方面，改进天牛群算法优化正则化极限学习机的入侵检测方法，包括以下步骤：

S1：初始化正则化极限学习机模型参数，获取输入层节点、隐藏层节点和输出层节点以及网络初始权值和阈值；

S2：利用改进天牛群算法获取全局最优位置，所述最优位置即为最优初始权值和阈值；

所述改进天牛算法具体包括以下步骤

S101：使用Tent映射反向学习方法初始化天牛群体，获取输入层节点、隐藏层节点和输出层节点以及网络初始权值和阈值；

S102：根据训练样本和适应度函数计算天牛群适应度函数值，对适应度函数值升序排序并寻找天牛群的最优解位置和最优适应度函数值；

S103：更新天牛群位置，对天牛群进行越界处理和变异操作，判断当前迭代次数是否到达最大迭代次数，若判断结果为是，则继续执行下一步骤，否则返回上一步骤；

S104：输出天牛群算法全局最优位置。

进一步地，所述使用Tent映射反向学习方法初始化天牛群体具体包括以下步骤：

S201：在搜索空间中使用Tent映射产生个N天牛种群的位置作为初始种群OB；

S202：根据反向解的定义，产生初始种群OB中的每个天牛群体的反向群体作为反向种群FB；

S203：合并种群OB和FB，使用升序将这2N个天牛群体的适应度值排序，选取其中适应度值前N个天牛群体作为初始种群。

进一步地，所述权值的输出采用基于LU分解法通过迭代求解输出权值。

进一步地，所述越界处理具体包括更新天牛个体的朝向和位置，所述更新天牛个体的朝向和位置采用莱维飞行策略进行更新。

进一步地，所述变异操作采用的动态变异算法进行变异操作。

进一步地，所述动态变异算法为柯西算法，所述柯西算法用于对天牛群体进行二次寻优。

根据本发明实施例的第二方面，改进天牛群算法优化正则化极限学习机的入侵检测方法电子设备，包括：

存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6任一所述的方法。

根据本发明实施例的第三方面，改进天牛群算法优化正则化极限学习机的入侵检测方法计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一所述方法的步骤。

本发明实施例具有如下优点：引入LU分解法通过迭代求解输出权值，降低计算的复杂度，提高入侵检测的准确率；引入改进天牛群算法用于RELM神经网络参数寻优以提高其检测精度和训练速度，改进天牛群算法使用Tent映射反向学习初始化种群、莱维飞行的群体策略以及动态变异策略，使得个体在移动的过程中动态学习群体的经验，提高算法的收敛速度、增强后期的探索能力，避免算法陷入局部最优。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明实施例提供的改进天牛群算法优化正则化极限学习机的入侵检测方法的方法框图；

图2为本发明实施例提供的改进天牛群算法优化正则化极限学习机的入侵检测方法的改进天牛群算法流程图；

图3为本发明实施例提供的改进天牛群算法优化正则化极限学习机的入侵检测方法的入侵检测流程图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：一种改进天牛群算法优化正则化极限学习机的入侵检测方法，如图1所示，具体包括以下步骤

S2：利用改进天牛群算法获取全局最优位置，所述最优位置即为最优初始权值和阈值。其中，改进天牛算法具体包括以下步骤

S104：输出天牛群算法全局最优位置。

在本文中，改进的天牛群算法简称为BSO，具体的，权值的输出采用基于LU分解法通过迭代求解输出权值。采用基于LU分解的RELM输出权值求解，由传统统计学原理可知，实际风险包括经验风险和结构风险两种。一种具有好的泛化能力的模型应该能够平衡这两种风险，通过增加正则化项以调节系数，从而提高模型的泛化能力。正则化极限学习机的目标函数为：

s.th(x_i)β＝t_i-e_i,i＝1,…,N (2)

其中，e_i为训练误差，||β||²和||e_i||²分别代表结构风险和经验风险，λ为惩罚因子。

根据式(1)～(2)建立拉格朗日方程得

式中，α_i∈R(i＝1,…,N)为拉格朗日算子。对式(3)的变量(α,e,β)分别求偏导并令其等于零，得到：

对式(4)进行最小二乘法计算，得到输出权值矩阵

其中，I为单位矩阵。

式(5)计算输出权值矩阵β涉及到矩阵求逆的运算，因为输入样本过大，会导致矩阵求逆复杂度增大，从而降低RELM的训练效率。为了降低RELM的计算复杂度，本文提出一种基于LU分解法求解RELM输出权值矩阵的方法。

从式(5)得到，

令

则式(6)转化为：

Aβ＝b (7)

LU分解法适用于对任何矩阵的求解，所以无论矩阵A是何种形式的，用LU分解法求解输出权值矩阵都适用。LU分解法的具体步骤如下：

矩阵A可作唯一的LU分解，设

由矩阵乘法并令两边矩阵的(i,j)元素相等，得上下三角矩阵中的元素：

当矩阵A作LU分解后，解线性方程组Aβ＝b等价于求解下面两个三角形方程组

求解Ly＝b的递推公式为

求解Uβ＝y的递推公式为

从上面的求解过程可以看出，输出权值不用像传统RELM一样通过矩阵求逆来计算，只需通过上面式(8)～(10)的迭代递推公式就可以求出RELM的输出权值。求解输出权值的过程不需要计算矩阵的逆，只需进行简单的加减运算，可以大大降低算法的复杂度，在一定程度上提高算法的分类准确率。

矩阵求逆的方法较多，而矩阵求逆方法的选择不仅对硬件资源的占有量有影响，还影响权值的更新速度。因此，对于硬件平台来说，由于物理资源有限，需要找到一种低能耗又可快速完成矩阵求逆的方法。矩阵求逆的计算步骤繁多，运算量大，时间复杂度高，所以在进行硬件实现时考虑采用矩阵分解方法。为进一步说明矩阵分解的优势，对矩阵求逆和LU分解法做如下分析：对于n阶的方阵，矩阵求逆的算法复杂度为o(n³),LU分解法的算法复杂度为

虽数量级相同，但因为系数存在差异，因此在运行时间上存在显著差异。为了更加直观地说明两种算法的复杂度，对一个10阶的矩阵进行实验的结果表明，矩阵求逆的运行时间为0.4491s，LU分解法的运行时间为0.0479s，运行时间大大缩短。

其中，改进的天牛群算法其中采用Tent映射反向学习初始化种群具体的，在群智能搜索中，算法的收敛性能会受到初始种群的影响。种群的数量越多分布越均匀，算法越能够在更短的时间内收敛到最优解；反之，则会影响算法的收敛性能。使用混沌映射初始化种群具有随机性、遍历性以及有界性的特点，在一定程度上能够提高算法的搜索效率。而Tent映射产生初始序列比Logistic映射产生初始序列更加均匀，所以本文使用Tent映射对天牛群体初始化，并使用反向学习策略对混沌映射产生的种群进行优化，使反向个体与现有个体一起竞争，让更优秀的个体被选进下一代的学习中，可以扩大种群的搜索范围，减少无效搜索，从而提高算法的收敛速度。Tent映射的数学表达式为：

反向解的定义为：在D维空间中的一个可行解为x＝(x₁,x₂,…,x_D),x∈[a,b],则其反向解为x’＝(x’₁,x’₂,…,x’_D),其中x’_i＝a_i+b_i-x_i。

综上所述，采用Tent映射反向学习初始化种群的具体步骤如下：

1)在搜索空间中使用Tent映射产生N个天牛种群的位置x_ij(i＝1,2,…,D；j＝1,2,…,N)作为初始种群OB；

2)根据反向解的定义，产生初始种群OB中的每个天牛群体x_ij的反向群体x′_ij作为反向种群FB；

3)合并种群OB和FB，使用升序将这2N个天牛群体的适应度值排序，选取其中适应度值前N个天牛群体作为初始种群。

其中越界处理具体包括更新天牛个体的朝向和位置，更新天牛个体的朝向和位置采用莱维飞行策略进行更新，具体的，标准BAS算法中，天牛个体的搜索范围是有限。搜索位置从全局最优向局部最优转移比较困难，在一定程度上影响了算法的收敛速度。虽然将个体搜索变成群体搜索在一定程度上能够扩大种群的搜索范围，但天牛个体之间没有信息交流和反馈，会影响算法的收敛性。为此，在粒子群算法的框架下，引入具有莱维飞行的指导性学习策略。根据粒子群算法可知，群体中天牛个体在移动的过程中，需不断学习历史群体经验，即个体最优应具有向历史最优移动的趋势。这种移动趋势具有指导性的意义，能够提高算法的收敛速度。而在标准粒子群算法中，更新种群使用rands产生随机数，难以保证种群的多样性，容易导致算法陷入局部最优，而莱维飞行可以增加天牛种群的多样性以及扩大搜索范围，从而避免算法陷入局部最优。

莱维分布是20世纪30年代法国数学家莱维(Levy)提出的一种概率分布,莱维飞行作为一种服从莱维分布的随机搜索方法，可以增加种群的多样性，扩大搜索范围，避免算法陷入局部最优，可有效增强算法的寻优能力。其中莱维分布满足：

Levy～u＝t^-θ,1<θ≤3

莱维飞行模型较为复杂，目前使用Mantegna算法进行模拟，数学表达式如下：

步长s的计算公式为：

其中：μ,v服从正态分布：

其中：Γ是标准的伽马分布，为了节约计算时间取θ＝1.5。

指导性学习策略中天牛朝向的公式通过莱维飞行策略进行更新：

d(t+1)＝ω*d(t)+C₁*Levy(θ)*(gbest(t)-X(t))+C₂*Levy(θ)*zbest-X(t)) (12)

其中，d(t)表示第t代天牛的朝向，X(t)表示第t代天牛的位置，gbest(t)表示第t代天牛的个体极值，zbest表示迄今为止的全局极值，ω为惯性权重，C₁,C₂为学习因子，Levy(θ)为莱维随机数。第二部分是自学习部分，表示天牛个体对自身历史的记忆，有向自身最优位置移动的趋势；第三部分为社会学习部分，表示天牛个体之间的学习以及群体的历史经验，有向群体最优位置移动的趋势。

最终个***置更新公式为：

X(t+1)＝X(t)+k₁*step*d(t)*sign(X_l(t)-X_r(t))+k₂d(t) (13)

其中，X(t)表示第t代天牛的位置，X_l(t)表示第t代天牛左须的位置，X_r(t)表示第t代天牛右须的位置，d(t)表示第t代天牛的朝向,step为天牛步长，k₁，k₂为比列系数，sign为符号函数。

其中变异操作采用的动态变异算法进行变异操作，具体的天牛群算法在迭代后期种群的多样性会越来越低，使得算法的搜索能力下降，导致算法容易陷入局部最优。为了避免迭代后期算法出现早熟现象，引入动态变异策略，增加天牛种群在迭代后期的多样性，提高算法的收敛速度。目前，相关学者提出了多种变异算法，典型的有高斯变异(Gaussianmutation)和柯西变异(Cauchy mutation)。柯西算子相比于高斯算子具有较长的两翼，可以产生大范围的随机数，使得算法有更大的机会跳出局部最优，同时，当峰值较低时柯西变异只需要花费更少的时间来搜索附近区域。因此，选择柯西变异策略对天牛群体进行二次寻优，对X进行变异操作：

X^*(t)＝X(t)+η*C(0,1) (14)

其中，η是变异权重，其值随着迭代次数的增加而减小，T为最大迭代次数，λ＝10为常数，C(0,1)是比例参数为1的柯西算子产生的一个随机数，使用该随机数使得算法在迭代初期具有较大的变异，在迭代后期变异程度变小，使得算法提高收敛速度，避免陷入局部最优。

基于上述论述，改进天牛群的算法步骤为：

1)初始化天牛群算法参数，设置天牛规模，迭代步长，最大迭代次数，使用Tent映射反向学习策略初始化天牛群体。

2)计算群体中天牛个体相应的适应度函数值，根据适应度函数值确定种群的全局最优和局部最优。

3)利用公式(11)～(13)更新天牛个体的朝向以及位置，对天牛种群进行越界处理。

4)利用公式(14)对天牛种群进行变异操作。

5)判断算法是否满足迭代终止条件，若满足则输出全局最优解及其个体对应的位置，否则返回步骤2)。

因此，基于上述天牛群算法，可得出基于BSO优化IRELM的入侵检测方法，具体的适应度函数使用入侵检测误差和函数，预测结果由神经网络直接输出，因此方便计算误差和。适应度函数为入侵检测正确率，该函数需要计算出网络正确分类个数，增加算法计算量；此外，如果计算正确分类个数不当，该适应度函数会导致神经网络训练结果不理想，因此采用误差和函数作为适应度函数对IRELM进行优化。

BSO算法通过适应度函数优化IRELM建立最优入侵检测模型，提高网络入侵检测准确率，降低假正率，从而提高网络整体安全性。使用网络入侵检测误差和函数作为适应度函数，数学表达式为：

其中，y_k表示网络的实际输出,y′_k表示网络的训练输出,M表示输入神经元的个数。

使用BSO算法优化IRELM的基本思路是求出适应度函数最好的一组天牛位置，在迭代结束时把最好的天牛位置作为IRELM的最优初始权值和阈值建立最优检测模型，算法的入侵检测流程图如图2所示。

因此，入侵检测的具体步骤如下：

1)初始化正则化极限学习机模型参数：innum个输入层节点、midnum个隐藏层节点和outnum个输出层节点以及网络初始权值和阈值。

2)初始化天牛群体：天牛种群大小N、所求问题维度D＝(innum+1)*midnum+(midnum+1)*outnum、最大迭代次数T及天牛种群位置x_i。

3)根据训练样本和适应度函数计算天牛群适应度函数值，对适应度函数值升序排序并寻找天牛群的最优解位置和最优适应度函数值。

4)更新天牛群位置，对天牛群进行越界处理和变异操作。若当前迭代次数到达最大收敛迭代次数，则迭代结束转到步骤5)；不然转到步骤3)。

5)输出改进BSO全局最优位置，即为IRELM的最优初始权值和阈值。

传统RELM神经网络使用广义逆计算输出权值，存在计算复杂且时间消耗大的问题，因此引入LU分解法通过迭代求解输出权值，降低计算的复杂度，提高入侵检测的准确率；而RELM神经网络随机初始化权值和阈值，极易导致算法陷入局部最优、收敛速度慢和检测准确率低的问题。对此引入改进天牛群算法用于RELM神经网络参数寻优以提高其检测精度和训练速度。改进天牛群算法使用Tent映射反向学习初始化种群、莱维飞行的群体策略以及动态变异策略，使得个体在移动的过程中动态学习群体的经验，提高算法的收敛速度、增强后期的探索能力，避免算法陷入局部最优。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims

1.改进天牛群算法优化正则化极限学习机的入侵检测方法，其特征是：包括以下步骤：

所述改进天牛算法具体包括以下步骤

S104：输出天牛群算法全局最优位置。

2.根据权利要求1所述的改进天牛群算法优化正则化极限学习机的入侵检测方法，其特征是：所述使用Tent映射反向学习方法初始化天牛群体具体包括以下步骤：

3.根据权利要求1所述的改进天牛群算法优化正则化极限学习机的入侵检测方法，其特征是：所述权值的输出采用基于LU分解法通过迭代求解输出权值。

4.根据权利要求1所述的改进天牛群算法优化正则化极限学习机的入侵检测方法，其特征是：所述越界处理具体包括更新天牛个体的朝向和位置，所述更新天牛个体的朝向和位置采用莱维飞行策略进行更新。

5.根据权利要求1所述的改进天牛群算法优化正则化极限学习机的入侵检测方法，其特征是：所述变异操作采用的动态变异算法进行变异操作。

6.根据权利要求5所述的改进天牛群算法优化正则化极限学习机的入侵检测方法，其特征是：所述动态变异算法为柯西算法，所述柯西算法用于对天牛群体进行二次寻优。

7.改进天牛群算法优化正则化极限学习机的入侵检测方法电子设备，其特征在于，包括：

8.改进天牛群算法优化正则化极限学习机的入侵检测方法计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一所述方法的步骤。