CN106022465A - 改进人工蜂群优化的极限学习机方法 - Google Patents

Abstract

本发明公开了一种改进人工蜂群优化的极限学习机的方法，其特征在于，包括以下步骤：步骤1、对SN个个体产生初始解为；步骤2、对极限学习机的连接权值ω和阈值b进行全局寻优；步骤3、对极限学习机连接权值ω和阈值b进行局部寻优；步骤4、如果食物源信息在一定时间内没有更新，则将雇佣蜂转换为侦查蜂，回到步骤1重新初始化此个体；步骤5、从最优个体中提取出的极限学习机连接权值ω和阈值b，并使用测试集进行验证。本发明较好地克服了传统极限学习机应用于分类和回归时结果较差的缺点，相对于传统极限学习机和SaE‑ELM算法，本发明方法具有较强的鲁棒性，有效地提高了分类和回归的结果。

Description

改进人工蜂群优化的极限学习机方法

技术领域

本发明属于人工智能技术领域，涉及一种改进的极限学习机方法，具体涉及一种改进人工蜂群优化的极限学习机方法。

背景技术

人工神经网络(Artificial Neural Networks,ANN)，是一种模仿生物神经网络行为特征，进行分布式并行计算处理的算法数学模型。其中，单隐含层前馈神经网络(Single-hidden Layer Feed forward Neural Networks,SLFNs)因其良好的学习能力在许多领域得到了广泛的应用。但是由于传统的前馈神经网络大多数使用了梯度下降法修正隐层结点的值，因此容易出现训练速度慢、容易陷入局部极小点、需要设置较多的参数等缺点。近年来，一种新型的前馈神经网络——极限学习机(Extreme Learn-ing Machine,ELM)被Huang等人提出：“Huang G B,Zhu Q Y,Siew C K.Extreme learning machine:theory andapplications.Neurocomputing,2006,70(1-3):489-501”。由于极限学习机在训练之前可以随机产生不变的输入层与隐含层之间的连接权值以及隐含层神经元阈值b，因此能够克服传统前馈神经网络的一些缺点。极限学习机因其较快的学习速度和优良的泛化性能，引起了国内外许多学者专家的研究和关注。极限学习机的适用性广泛，其不仅仅适用于回归、拟合问题，还适用于分类，模式识别等领域，因此得到了广泛的应用。

由于极限学习机的连接权值和阈值b在训练之前随机生成并在训练过程中保持不变，因此部分隐层结点的作用非常的小，如果数据集有偏甚至会造成大部分结点接近于0的后果。因此Huang等人指出，为了达到理想的精度，需要设置大量的隐层节点。

为解决这个缺点，一些学者使用智能优化算法结合极限学习机得到了很好的效果。“Zhu Q Y,Qin A K,Suganthan P N,et al.Evolutionary ex-treme learningmachine[J].Pattern recognition,2005,38(10):1759-1763.”提出了一种进化极限学习机(E-ELM)，算法使用差分进化算法对ELM的隐层结点参数进行优化，从而提高了ELM的性能，但需要设置的参数较多，实验过程复杂；“Cao J,Lin Z,Huang G B.Self-adaptiveevolutionary ex-treme learning machine[J].Neural processing letters,2012,36(3):285-305.”提出了一种自适应的进化极限学习机(SaE-ELM)，算法将一种自适应的进化算法和极限学习机进行结合，在设定参数较少的基础上对隐层结点进行优化，提高了极限学习机在回归问题和分类问题上的精度以及稳定性，但是该算法在训练时使用时间过长，实用性较差；“王杰,毕浩洋.一种基于粒子群优化的极限学习机[J].郑州大学学报:理学版,2013,45(1):100-104.”提出了一种基于粒子群优化的极限学习机(PSO-ELM)，利用粒子群优化算法优化选择极限学习机的输入层权值和隐含层偏差，从而得到一个最优的网络，但该算法仅仅在函数拟合上达到了较好的效果，在实际应用中效果欠佳；“林梅金,罗飞,苏彩红,等.一种新的混合智能极限学习机[J].控制与决策,2015,30(06):1078-1084.”结合了差分进化算法和粒子群优化算法，借鉴蛙跳算法的模因进化机制，提出了一种混合智能优化算法(DEPSO-ELM)进行参数寻优，采用极限学习机算法求得SLFNs的输出权值，但是该算法过分地依赖实验数据，鲁棒性较差。

因此如何能够较好地解决传统极限学习机中的缺点，提高其效果显得非常重要。

传统极限学习机回归方法如下：

对于N个任意不同的训练样本集(x_i,y_i)(i＝1,2,...,N)，x_i∈R^d，y_i∈R^m，则一个具有L个隐层节点的前馈神经网络的输出为：

$t_i=\underset{j=1}{\overset{L}{\mathrm{\Σ}}}{\mathrm{\β}}_{j}g({\mathrm{\ω}}_j\·x_i+b_j),i=1,2,...,N---\left(1\right)$

式(1)中，ω_j∈R^d是输入层到到隐层节点的连接权值；b_j∈R是隐层节点的神经元阈值；g()是隐层节点的激活函数；g(ω_j·x_i+b_j)为第i个样本在隐层节点的输出；ω_j·x_i为向量的内积；β_j是隐层节点和输出层之间的连接权值。

步骤1a、随机初始化连接权值ω和阈值b，在网络训练开始时随机选择，且在训练过程中保持不变；

步骤2a、通过求解以下线性方程组的最小二乘解来获得输出权值

$\min \underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left|\right|y_i-t_i\left|\right|=0---\left(2\right)$

方程组(2)的解为：

$\widehat{\mathrm{\β}}=H^{+}T---\left(3\right)$

式(3)中，H⁺代表隐层输出矩阵的Moore-Penrose(MP)广义逆。

步骤3a、将式(3)中求得的带入式(1)后，可以得到计算结果。

传统人工蜂群优化(Artificial Bee Colony，ABC)算法的步骤如下：

步骤1b、产生初始解：在初始化阶段，对SN个个体产生初始解，其式如下：

$x_{i,j}=x_j^{\min }+rand\[0,1\](x_j^{\max }-x_j^{\min })---\left(4\right)$

式(4)中，i∈{1,2,...,N}，表示初始解的个数；j＝1,2,...,D，表示每个初始解是D维向量；rand[0,1]表示取0～1之间的随机数；和分别表示解的第j维的上界和下界。

步骤2b、雇佣蜂搜寻阶段：从初始位置开始，每个雇佣蜂个体在当前位置的附近搜索新的蜜源，其更新式如下：

v_i,j＝x_i,j+rand[-1,1](x_i,j-x_k,j) (5)

式(5)中：v_i,j表示新的蜜源位置信息；x_i,j表示原蜜源位置信息；rand[-1,1]表示取-1～1之间的随机数；x_k,j表示第k个蜜源的j维信息，k∈{1,2,...,SN}并且k≠i。

当雇佣蜂获取到新的蜜源位置信息后，将计算蜜源的适应度值，如果新蜜源的适应度比原蜜源适应度好，则采用新蜜源位置。否则继续采用原蜜源位置信息，且开采次数加1。

步骤3b、跟随蜂跟随阶段：跟随蜂根据雇佣蜂传递过来的位置信息，依概率选择适应度较高的蜜源信息，在雇佣蜂的基础上产生一个变化的位置，去寻找新的蜜源。其概率选择计算式如下：

$P_i=fitness\left(x_i\right)/\underset{j=1}{\overset{SN}{\mathrm{\Σ}}}fitness\left(x_j\right)---\left(6\right)$

式(6)中，fitness(x_i)表示第i个跟随蜂的适应度值。P_i代表了第i个跟随蜂被选择的概率。一旦跟随蜂被选择，就会按照式(5)进行位置更新操作。如果新的蜜源适应度较好，采用新蜜源位置，否则继续采用原蜜源位置信息且开采次数加1。

步骤4b、侦查蜂搜寻阶段：当蜜源开采达到一定次数却未改变适应度值时，雇佣蜂转变为侦查蜂并寻找新的蜜源位置，其搜索式同式(4)。

发明内容

针对传统极限学习机应用于分类和回归时存在的缺点，本发明在传统极限学习机的基础上，提出一种改进人工蜂群优化的极限学习机方法(DECABC-ELM)，有效地提高了分类和回归的效果。

本发明的技术方案如下：

一种改进人工蜂群优化的极限学习机的方法，包括以下步骤：

给定训练样本集(x_i,y_i)(i＝1,2,...,N),x_i∈R^d,y_i∈R^m；其激励函数为g()，隐层节点数目为L；

步骤1、对SN个个体产生初始解为：

$x_{i,j}=x_j^{\min }+rand\[0,1\](x_j^{\max }-x_j^{\min }),---\left(7\right)$

每个个体的编码方式如下所示：

${\mathrm{\θ}}_G=\[{\mathrm{\ω}}_{1,G}^T,...,{\mathrm{\ω}}_{L,G}^T,b_{1,G},...,b_{L,G}\];$

编码中，ω_j(j＝1,...,L)是D维向量，每一维都是-1到1之间的随机数；b_j则是0到1之间的随机数；G表示蜂群的迭代次数；

步骤2、对极限学习机的连接权值ω和阈值b进行全局寻优：

v_i,j＝x_i,j+rand[-1,1](x_best,j-x_k,j+x_l,j-x_m,j)， (8)

式(8)中，x_best,j代表当前蜂群最优个体，x_k,j，x_l,j和x_m,j则是除当前个体外随机选择的其他三个不同的个体，即i≠k≠l≠m；每当雇佣蜂到达一个新的位置，将极限学习机的连接权值ω和阈值b对训练样本集进行验证并得到适应度值，如果适应度值较高，则使用新的位置信息代替旧的位置信息；

步骤3、对极限学习机连接权值ω和阈值b进行局部寻优；

首先，将跟随蜂根据其适应度进行克隆，克隆的数目和其适应度成正比：

$N_i=\mathrm{int}\[SN\×fitness\left(x_i\right)/\underset{i=1}{\overset{SN}{\mathrm{\Σ}}}fitness\left(x_i\right)\],---\left(9\right)$

式(9)中，N_i表示第i个跟随蜂的克隆数目；SN表示个体的总数目；fitness(x_i)表示第i个跟随蜂的适应度值；

其次，对克隆扩增后的群体，按照适应度概率计算式，选择概率大于0～1之间随机数的跟随蜂进行寻优，寻优的方式同式(8)；

跟随蜂位置信息变化后，通过群体的浓度概率和适应度概率，使用选择概率计算式选出食物源，并组成新的位置信息；新位置信息和扩增之前的位置信息数目相同；

所述适应度概率计算式为：

$P_i=fitness\left(x_i\right)/\underset{j=1}{\overset{SN}{\mathrm{\Σ}}}fitness\left(x_j\right)---\left(6\right)$

所述浓度概率计算式为：

$\left\{\begin{array}{cc}{P}_d\left(x_i\right)=\frac{1}{SN}(1-\frac{HN}{SN})& if\frac{N_i}{SN}>T\\ P_d\left(x_i\right)=\frac{1}{SN}(1+\frac{HN}{SN}\×\frac{HN}{SN-HN})& if\frac{N_i}{SN}\≤T\end{array}\right.,---\left(10\right)$

式(10)中，N_i表示和第i个跟随蜂适应度值相近的跟随蜂数目；表示这些适应度相近的跟随蜂在群体中的数量比例；T为浓度阈值；HN则表示浓度大于T的跟随蜂数目；

所述选择概率计算式为：

P_choose(x_i)＝αP_i(x_i)+(1-α)P_d(x_i)， (11)

利用轮盘赌的形式，依据式(11)对跟随蜂群体进行选择，选择前SN个适应度函数最高的跟随蜂构成新的食物源信息。

步骤4、设定循环次数为limit次；如果食物源信息在limit次循环内没有更新，则将雇佣蜂转换为侦查蜂，使用所述步骤1中的式(7)重新初始化此个体；

步骤5、当迭代次数到达设定值，或均方误差值达到1e-4的精度后，从最优个体中提取出极限学习机连接权值ω和阈值b，并使用测试集进行验证。

本发明的有益技术效果是：

本发明较好地克服了传统极限学习机应用于分类和回归时结果较差的缺点，相对于传统极限学习机和SaE-ELM算法，本发明方法具有较强的鲁棒性，有效地提高了分类和回归的结果。

附图说明

图1是本发明的流程图。

具体实施方式

图1是本发明的流程图，如图1所示，本发明所述改进人工蜂群优化的极限学习机方法过程如下：

给定训练样本集(x_i,y_i)(i＝1,2,...,N),x_i∈R^d,y_i∈R^m；其激励函数为g()，隐层节点数目为L；

步骤1：使用改进的人工蜂群算法对极限学习机连接权值ω和阈值b进行优化，按照如下的式(7)，对SN个个体产生初始解

$x_{i,j}=x_j^{\min }+rand\[0,1\](x_j^{\max }-x_j^{\min })---\left(7\right)$

其中每个个体的编码方式如下所示：

${\mathrm{\θ}}_G=\[{\mathrm{\ω}}_{1,G}^T,...,{\mathrm{\ω}}_{L,G}^T,b_{1,G},...,b_{L,G}\]$

根据极限学习机算法，编码中ω_j(j＝1,...,L)是D维向量，每一维都是-1到1之间的随机数；b_j则是0到1之间的随机数；G表示了蜂群的迭代次数。

步骤2：在原始的人工蜂群优化算法的基础上，将DE算法中的DE/rand-to-best/1差分变异算子和雇佣蜂搜索式进行结合，使用经过改进的式(8)对极限学习机连接权值ω和阈值b进行全局寻优。

v_i,j＝x_i,j+rand[-1,1](x_best,j-x_k,j+x_l,j-x_m,j) (8)

其中，x_best,j代表当前蜂群最优个体，x_k,j，x_l,j和x_m,j则是除当前个体外随机选择的其他三个不同的个体，即i≠k≠l≠m。每当雇佣蜂到达一个新的位置，我们将位置信息，即极限学习机的连接权值ω和阈值b对训练样本集进行验证并得到适应度值，如果适应度值较高，则使用新的位置信息代替旧的位置信息。

步骤3：在原始人工蜂群算法的基础上，将免疫克隆算法中的克隆扩增算子引入人工蜂群算法中，使用改进的式对极限学习机连接权值ω和阈值b进行局部寻优，以达到更好的精度。

首先将跟随蜂根据其适应度进行克隆，克隆的数目和其适应度成正比：

$N_i=\mathrm{int}\[SN\×fitness\left(x_i\right)/\underset{i=1}{\overset{SN}{\mathrm{\Σ}}}fitness\left(x_i\right)\]---\left(9\right)$

式(9)中N_i表示第i个跟随蜂的克隆数目；SN表示个体总数目；fitness(x_i)表示第i个跟随蜂的适应度值。

接下来对克隆扩增后的群体按照适应度概率计算式(6)选择选择概率大于0～1之间随机数的跟随蜂进行寻优，即适应度较高的跟随蜂拥有较高的变化几率，寻优的方式和式(8)相同。

跟随蜂位置信息变化后，通过群体的浓度概率和适应度概率，根据选择概率式选出适应度较高的食物源，并组成新的位置信息，其中筛选出来的新位置信息和扩增之前的位置信息数目相同。其中，适应度概率计算式同式(6)，浓度概率以及选择概率见式(10)～式(11)。

浓度概率计算式：

$\left\{\begin{array}{cc}{P}_d\left(x_i\right)=\frac{1}{SN}(1-\frac{HN}{SN})& if\frac{N_i}{SN}>T\\ P_d\left(x_i\right)=\frac{1}{SN}(1+\frac{HN}{SN}\×\frac{HN}{SN-HN})& if\frac{N_i}{SN}\≤T\end{array}\right.---\left(10\right)$

式(10)中，N_i表示和第i个跟随蜂适应度值相近的跟随蜂数目；表示这些适应度相近的跟随蜂在群体中的数量比例；T为浓度阈值；HN则表示浓度大于T的跟随蜂数目。

选择概率计算式：

P_choose(x_i)＝αP_i(x_i)+(1-α)P_d(x_i) (11)

利用轮盘赌的形式，依据上述选择概率式对跟随蜂群体进行选择，选择前SN个适应度函数最高的跟随蜂构成新的食物源信息。

步骤4、如果食物源信息在给定的初始条件limit次循环内没有更新，则将雇佣蜂转换为侦查蜂，使用步骤1中的式(7)重新初始化此个体。在本实施例中，limit次具体选取为10次。

步骤5、当迭代次数到达设定值，或均方误差值达到1e-4的精度后，从最优个体中提取出的极限学习机连接权值ω和阈值b，并使用测试集进行验证。

以下用三个实施例来证明，本发明的技术方案相对于现有技术，属于更优的技术方案。

实施例1：SinC函数仿真实验。

“SinC”函数表达式如下：

$y\left(x\right)=\left\{\begin{array}{cc}\sin x/x,& x\≠0\\ 1,& x=0\end{array}\right.$

数据产生方法：产生5000个[-10,10]均匀分布的数据x，计算得到5000个数据集{x_i,f(x_i)},i＝1,...,5000，再产生5000个[-0.2,0.2]均匀分布的噪声ε；令训练样本集为{x_i,f(x_i)+ε_i},i＝1,...,5000，再产生另一组5000个数据集{y_i,f(y_i)},i＝1,...,5000作为测试集。逐渐增加四种算法的隐层节点数对函数进行拟合，ABC-ELM和DECABC-ELM算法参数设置相同。结果如表1所示。

表1 SinC函数拟合结果对比

从表1中可以看出，随着隐层节点的增加，平均测试误差和标准差逐渐减小，当隐层节点过多时，会出现过拟合的情况。ABC-ELM由于容易陷入局部最优解等缺点，在节点数较高时效果依然较差。在大部分情况下，当隐层节点数相同时，DECABC-ELM具有更小的平均测试误差和标准差。

实施例1的具体步骤为：

步骤1、对SN个个体产生初始解，其中每个个体的编码方式如下所示

${\mathrm{\θ}}_G=\[{\mathrm{\ω}}_{1,G}^T,...,{\mathrm{\ω}}_{L,G}^T,b_{1,G},...,b_{L,G}\]$

编码中ω_j(j＝1,...,L)是D维向量，每一维都是-1到1之间的随机数；b_j则是0到1之间的随机数；G表示了蜂群的迭代次数。产生初始解的方法是使用如下式：

$x_{i,j}=x_j^{\min }+rand\[0,1\](x_j^{\max }-x_j^{\min });$

即x_i,j代表θ个体中任意一个值，如使用式生成了初始的初始化完成后分别对每个个体进行适应度值的计算，这里适应度值与均方误差呈负相关。

步骤2、使用改进的雇佣蜂搜索式分别对每个个体进行寻优，其中寻优式如下所示：

v_i,j＝x_i,j+rand[-1,1](x_best,j-x_k,j+x_l,j-x_m,j)；

其中，x_best,j代表当前蜂群最优个体第j维的值，x_k,j，x_l,j和x_m,j则是除当前个体外随机选择的其他三个不同的个体第j维的值，即i≠k≠l≠m。由于每个个体θ中包含了ELM的连接权值ω和阈值b，因此我们使用个体θ变化前和变化后的内容分别构建ELM网络，并对ELM得到的结果和SinC函数的结果求均方误差。如果变化后的个体均方误差较小，即适应度值较大，那么使用新的位置信息代替旧的位置信息。

步骤3、对每个个体θ进行克隆扩增，并通过一定概率选择相应的个体进行位置信息变化。首先将跟随蜂根据其适应度进行克隆，克隆的数目和其适应度成正比：

$N_i=\mathrm{int}\[SN\×fitness\left(x_i\right)/\underset{i=1}{\overset{SN}{\mathrm{\Σ}}}fitness\left(x_i\right)\];$

其中N_i表示第i个跟随蜂的克隆数目；SN表示个体总数目；fitness(x_i)表示第i个跟随蜂的适应度值。

对克隆扩增后的群体按照概率进行寻优操作，其中寻优式和上述步骤2相同，概率式如下：

$P_i=fitness\left(x_i\right)/\underset{j=1}{\overset{SN}{\mathrm{\Σ}}}fitness\left(x_j\right)$

其中，fitness(x_i)表示第i个跟随蜂的适应度值。P_i代表了第i个跟随蜂被选择进行更新的概率。

克隆后的跟随蜂位置信息变化后，计算每个个体的适应度值，即提取出每个个体θ中包含了ELM的连接权值ω和阈值b后构建ELM网络，使用SinC函数的输入值带入ELM后求得的结果和函数正确结果求均方误差，并计算适应度信息。

在克隆变异后的群体中，通过群体的浓度和适应度选出适应度较高的食物源，组成新的位置信息，其中筛选出来的新位置信息和扩增之前的位置信息数目相同。其中，适应度概率同上述概率式，浓度概率以及选择概率见下：

浓度概率计算式：

$\left\{\begin{array}{cc}{P}_d\left(x_i\right)=\frac{1}{SN}(1-\frac{HN}{SN})& if\frac{N_i}{SN}>T\\ P_d\left(x_i\right)=\frac{1}{SN}(1+\frac{HN}{SN}\×\frac{HN}{SN-HN})& if\frac{N_i}{SN}\≤T\end{array}\right.$

其中，N_i表示和第i个跟随蜂适应度值相近的跟随蜂数目；表示这些适应度相近的跟随蜂在群体中的数量比例；T为浓度阈值；HN则表示浓度大于T的跟随蜂数目。

选择概率计算式：

P_choose(x_i)＝αP_i(x_i)+(1-α)P_d(x_i)

利用轮盘赌的形式，依据上述选择概率式对跟随蜂群体进行选择，选择前SN个适应度函数最高的跟随蜂构成新的食物源信息。

如果食物源信息在一定时间内没有更新，则将雇佣蜂转换为侦查蜂，使用步骤1中的式对这个个体再次进行初始化。

经过一定次数的迭代之后，我们取出最优个体θ中包含的ELM的连接权值ω和阈值b后构建ELM网络，并使用SinC函数预留的测试集对ELM进行测试，对ELM得到的结果和SinC函数的结果求均方误差。整个实验进行多次后均方误差取平均值，并计算各个均方误差之间的标准差，并和其他算法进行对比。对比结果如表1所示。

实施例2：回归数据集仿真实验。

使用加州大学欧文分校的机器学***均最优RMSE的实验结果被记录在表2-表5中。

表2 Auto MPG拟合结果对比

表3 Computer Hardware拟合结果对比

表4 Housing拟合结果对比

表5 Servo拟合结果对比

从表格中我们可以看出，DECABC-ELM在所有的数据集拟合实验中获得了最小的RMSE，但是在Auto MPG和Computer Hardware中，DECABC-ELM的标准差却比其他算法差，即稳定性有待提升。从训练时间和隐层节点数上看，PSO-ELM和DEPSO-ELM收敛速度较快，且使用的隐层节点数较少，但精度却不如DECABC-ELM。综合考虑，DECABC-ELM，即本发明所述的算法，性能较为优越。

实施例2的具体步骤与实施例1相同。

实施例3：分类数据集仿真实验。

使用了加州大学欧文分校的机器学习库。4个真实分类数据集名称分别是：BloodTransfusion Service Cen-ter(Blood)，Ecoli，Iris和Wine。和分类数据集相同，实验数据中70％作为训练样本集，30％作为测试样本集，数据集的输入变量归一化到[-1,1]。实验中隐层节点逐步增加，具有最优分类率的实验结果被记录在表6-表9中。

表6 Blood分类结果对比

表7 Ecoli分类结果对比

表8 Iris分类结果对比

表9 Wine分类结果对比

表格显示在四种分类数据集中DECABC-ELM均取得了最高分类正确率。但DECABC-ELM在稳定性上依然不够理想。DECABC-ELM算法的用时较PSO-ELM，DEPSO-ELM和ABC-ELM三种算法更长，比SaE-ELM短。相比于其他算法，DECABC-ELM使用了较少的隐层节点就能够达到较高的分类正确率。综合上述考虑，DECABC-ELM，即本发明所述的方法，性能较优。

实施例3的具体步骤与实施例1相同。

以上所述的仅是本发明的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (1)

1.一种改进人工蜂群优化的极限学习机的方法，其特征在于，包括以下步骤：

给定训练样本集(x_i,y_i)(i＝1,2,...,N),x_i∈R^d,y_i∈R^m；其激励函数为g()，隐层节点数目为L；

步骤1、对SN个个体产生初始解为：

$x_{i,j}=x_j^{\min }+rand\[0,1\](x_j^{\max }-x_j^{\min }),---\left(7\right)$

每个个体的编码方式如下所示：

${\mathrm{\θ}}_G=\[{\mathrm{\ω}}_{1,G}^T,\mathrm{...},{\mathrm{\ω}}_{L,G}^T,b_{1,G},\mathrm{...},b_{L,G}\];$

编码中，ω_j(j＝1,...,L)是D维向量，每一维都是-1到1之间的随机数；b_j则是0到1之间的随机数；G表示蜂群的迭代次数；

步骤2、对极限学习机的连接权值ω和阈值b进行全局寻优：

v_i,j＝x_i,j+rand[-1,1](x_best,j-x_k,j+x_l,j-x_m,j)， (8)

式(8)中，x_best,j代表当前蜂群最优个体，x_k,j，x_l,j和x_m,j则是除当前个体外随机选择的其他三个不同的个体，即i≠k≠l≠m；每当雇佣蜂到达一个新的位置，将极限学习机的连接权值ω和阈值b对训练样本集进行验证并得到适应度值，如果适应度值较高，则使用新的位置信息代替旧的位置信息；

步骤3、对极限学习机连接权值ω和阈值b进行局部寻优；

首先，将跟随蜂根据其适应度进行克隆，克隆的数目和其适应度成正比：

$N_i=\mathrm{int}\[SN\×fitness\left(x_i\right)/\underset{i=1}{\overset{SN}{\Σ}}fitness\left(x_i\right)\],---\left(9\right)$

式(9)中，N_i表示第i个跟随蜂的克隆数目；SN表示个体的总数目；fitness(x_i)表示第i个跟随蜂的适应度值；

其次，对克隆扩增后的群体，按照适应度概率计算式，选择概率大于0～1之间随机数的跟随蜂进行寻优，寻优的方式同式(8)；

跟随蜂位置信息变化后，通过群体的浓度概率和适应度概率，使用选择概率计算式选出食物源，并组成新的位置信息；新位置信息和扩增之前的位置信息数目相同；

所述适应度概率计算式为：

$P_i=fitness\left(x_i\right)/\underset{j=1}{\overset{SN}{\Σ}}fitness\left(x_j\right),---\left(6\right)$

所述浓度概率计算式为：

$\left\{\begin{array}{ccc}{P}_d\left(x_i\right)=\frac{1}{SN}(1-\frac{HN}{SN})& if& \frac{N_i}{SN}>T\\ P_d\left(x_i\right)=\frac{1}{SN}(1+\frac{HN}{SN}\×\frac{HN}{SN-HN})& if& \frac{N_i}{SN}\≤T\end{array}\right.,---\left(10\right)$

式(10)中，N_i表示和第i个跟随蜂适应度值相近的跟随蜂数目；表示这些适应度相近的跟随蜂在群体中的数量比例；T为浓度阈值；HN则表示浓度大于T的跟随蜂数目；

所述选择概率计算式为：

P_choose(x_i)＝αP_i(x_i)+(1-α)P_d(x_i)， (11)

利用轮盘赌的形式，依据式(11)对跟随蜂群体进行选择，选择前SN个适应度函数最高的跟随蜂构成新的食物源信息。

步骤4、设定循环次数为limit次；如果食物源信息在limit次循环内没有更新，则将雇佣蜂转换为侦查蜂，使用所述步骤1中的式(7)重新初始化此个体；

步骤5、当迭代次数到达设定值，或均方误差值达到1e-4的精度后，从最优个体中提取出极限学习机连接权值ω和阈值b，并使用测试集进行验证。