CN105978732B - 一种基于粒子群优化最简回声状态网络参数的方法和*** - Google Patents

Abstract

本发明涉及一种基于粒子群优化最简回声状态网络参数的方法和***，其方法包括以下步骤：(1)建立最简回声状态网络模型；(2)设置最简回声状态网络模型的初始化参数；(3)建立适应度函数；(4)计算粒子目标函数；(5)更新各粒子个体最优解和结构参数；(6)判断是否达到终止条件；(7)输出粒子群最优解。本发明所引用最简回声状态网络模型包括输入层、储备池和输出层，该模型具有一个确定的储备池结构，其中的神经元以环形结构相连，增强了储备池拓扑的稳定性且简化了计算量，同时，基于粒子群优化算法运算速度快，全局搜索能力强的特点，对最简回声状态网络的多个参数进行了优化，从而得到一个粒子群最优解，提高了预测精度。

Description

一种基于粒子群优化最简回声状态网络参数的方法和***

技术领域

本发明涉及机器学习领域，具体涉及一种基于粒子群优化最简回声状态网络参数的方法和***。

背景技术

回声状态网络ESN(Echo State Network)是一种新型的递归神经网络，其独特的动态储备池结构使网络具备良好的短期记忆能力，与传统的递归神经网络相比，ESN最大的优势就是简化了网络的训练过程，解决了传统递归神经网络结构难以确定、训练算法过于复杂的问题，同时也克服了递归网络存在的记忆渐消问题，但也存在一些问题，如：

(1)储备池内部随机拓扑，映射到未知的高维空间；

(2)ESN结构参数选取凭借经验，没有科学理论的支撑。

这些问题阻止了ESN成为可以广泛使用的工具，为了改善这些不足,文献(RodanA,Tino P.Minimum Complexity Echo State Network[J].iEEE Transactions on NeuralNetworks,2011,22.)提出了一种具有环形储备池拓扑结构的最简回声状态网络MESN(Minimum Complexity Echo State Network)，分别设置了输入权值矩阵和内部权值矩阵的权值相同，这确保仅需调整较少的自由参数，同时该确定的储备池拓扑避免了不断重复实验以获得性能良好的ESN结构。针对非线性***逼近任务，该方法在保持精度不降低的同时，极大地减少了计算量。

相比经典回声状态网络，虽然MESN极大地简化了ESN结构，解决了第一个问题，即储备池内部随机拓扑，映射到未知的高维空间，但是其参数选择如神经元数量、谱半径、输入权值、内部权值和反馈权值等大多在给定的参数空间通过试凑的方法实现，或者根据经验选择，存在很大的盲目性与不确定性，因此，如何寻找到最适合的参数解决参数选取的问题成为了人们研究的热点方向。

发明内容

本发明所要解决的技术问题是提供一种基于粒子群优化最简回声状态网络参数的方法和***，该方法将粒子群优化算法引入简最回声状态网络，优化其关键参数，有效地加快了运算速度，提高了预测精度。

本发明解决其技术问题所采用的技术方案是：一种基于粒子群优化最简回声状态网络参数的方法，包括以下步骤：

步骤1：建立一个最简回声状态网络模型，用环形拓扑结构代替原有回声状态网络的随机拓扑结构；

步骤2：设置最简回声状态网络模型的初始化参数，所述初始化参数包括结构参数、粒子个体最优解、粒子群最优解、最大迭代次数及粒子群的粒子个数；

步骤3：对最简回声状态网络模型的结构参数和最优解进行随机分配，建立最简回声状态网络模型的适应度函数，并计算每个粒子的适应度值；

步骤4：根据步骤3中计算的每个粒子的适应度值和步骤2中的初始化参数的粒子个体最优解及粒子群最优解计算粒子目标函数；

步骤5：根据粒子群算法的位置和速度更新公式，更新最简回声状态网络模型中粒子个体最优解和结构参数，迭代次数加1；

步骤6：判断迭代次数是否大于最大迭代次数，如果是，执行步骤7，否则，执行步骤3至步骤5；

步骤7：输出该粒子群最优解。

进一步地，所述步骤1中的最简回声状态网络模型包括输入层、储备池和输出层，所述输入层、储备池和输出层对应的输入向量、状态向量和输出向量分别为：K个输入单元u(n)＝(u₁(n),…,u_k(n))；N个储备池单元x(n)＝(x₁(n),…,x_k(n))；和L个输出单元y(n)＝(y₁(y),…,y_k(n))。

进一步地，所述储备池中包括多个神经元，每个神经元都有一个激励状态，且储备池中神经元的激励状态x(n+1)，通过状态更新方程更新：

x(n+1)＝f(Wⁱⁿu(n+1)+Wx(n)+W^backy(n))

其中，u(n)为K个输入单元；x(n)为N个储备池单元；y(n)为L个输出单元；Wⁱⁿ和W分别表示N×K输入权值矩阵和N×N储备池连接矩阵，W^back为一个N×L的反馈连接矩阵，分别设置Wⁱⁿ和W中的所有非零元素绝对值相同，等于非零值a∈(-1,1)，其权值符号通过随机方法或者Logistic映射的方式产生，f(·)表示储备池中神经元的激励函数。

进一步地，所述储备池中神经元的激励函数为正弦函数或者S型函数。

进一步地，根据所述储备池中神经元的激励状态x(n+1)，该模型的输出为：

y(n+1)＝f^out(W^out(u(n+1),x(n+1),y(n)))

其中，u(n)为K个输入单元；x(n)为N个储备池单元；y(n)为L个输出单元，f^out是一个输出函数，W^out表示一个L×(K+N+L)的输出连接矩阵。

进一步地，所述步骤3中的适应度函数包括MESN训练阶段和测试阶段的误差，可表示为：

Fitness＝f₁(Error_train)+f₂(Error_test)

训练阶段需要考虑该结构参数下ESN模型的逼近能力，用训练的误差Error_train体现，预测阶段考虑的是该结构参数下ESN模型的泛化能力，用训练的误差Error_train体现，其中，f₁(·)、f₂(·)分别为Error_train和Error_test的激励函数，Fitness为每个粒子的适应度值。

进一步地，所述步骤4中计算目标函数的具体过程为：

(1)对于某一时刻t的第i个粒子的第d维分量将该粒子当前时刻的最优解的第d维分量所对应的适应度值与该粒子的个体最优解的第d维分量p_id的适应度值进行比较，若所对应的适应度值小于p_id的适应度值，则用替换为p_id，否则p_id保持不变；

(2)将第i个粒子得到的最优解的第d维分量p_id所对应的适应度值与粒子群最优解的第d维分量p_gd所对应的适应度值进行比较，若p_id所对应的适应度值小于p_gd的适应度值，则将p_id作为p_gd，否则p_gd保持不变。

进一步地，所述步骤2中结构参数包括神经元数量、输入权值矩阵、反馈权值矩阵、储备池的权值、谱半径，其中，神经元数量初始化从10开始，变化范围在10-1000之间，其余参数初始时刻为0～1的随机数。

进一步地，所述步骤5中的位置和速度更新公式如下：

其中，r₁,r₂是[0～1]区间生成的随机数，d＝1,2,3,4,5,即解空间的维数为5或自变量的个数为5，i＝1,2,…,M,M是群体中粒子的个数，c₁和c₂为加速因子，k表示迭代次数；表示第i个粒子在第k次迭的第d维分量的最优解；表示第i个粒子在第k次迭代的第d维分量的结构参数； p_id表示第i个粒子的个体最优解的第d维分量；p_gd表示粒子群最优解的第d维分量。

一种基于粒子群优化最简回声状态网络参数的***，包括建模单元、初始化单元、建立函数单元、计算单元、更新单元、判断单元及输出单元；

所述建模单元，用于建立一个最简回声状态网络模型，用环形拓扑结构代替原有回声状态网络的随机拓扑结构；

所述初始化单元，用于设置最简回声状态网络模型的初始化参数，所述初始化参数包括结构参数、粒子个体最优解、粒子群最优解、最大迭代次数及粒子群的粒子个数；

所述建立函数单元，用于对最简回声状态网络模型的结构参数和最优解进行随机分配，建立最简回声状态网络模型的适应度函数，并计算每个粒子的适应度值；

所述计算单元，用于根据计算的每个粒子的适应度值和初始化参数的粒子个体最优解及粒子群最优解计算粒子目标函数；

所述更新单元，用于根据粒子群算法的位置和速度更新公式，更新最简回声状态网络模型中粒子个体最优解和结构参数；

所述判断单元，用于判断是否达到终止条件；

所述输出单元，用于输出粒子群最优解。

本发明的有益效果：本发明将粒子群优化算法引入最简回声状态网络优化其关键参数，最简回声状态网络模型包括输入层、储备池、输出层，该模型具有一个确定的储备池结构，其中的神经元以环形结构相连，增强了储备池拓扑的稳定性并且大大简化了计算量，同时，基于粒子群优化算法运算速度快，全局搜索能力强的特点，对最简回声状态网络的多个参数进行了优化，从而找寻到一个全局最优解，提高了预测精度。

附图说明

图1为最简回声状态网络结构图；

图2为本发明的方法流程图；

图3粒子数为20时本发明逼近NARMA***的效果图；

图4粒子数为20本发明逼近NARMA***的误差幅度图；

图5粒子数为20时本发明逼近NARMA***的性能评估图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

粒子群优化算法PSO(Particle Swarm Optimization)具有原理简单，参数少，收敛速度快，全局寻优能力强的特点，这种优化算法是根据鸟捕食的行为提出的，每个觅食的鸟都是一个粒子，粒子在空间中以一定的速度飞行(这个速度根据它本身的飞行经验和同伴的飞行经验来动态调整)所有粒子都有一个被目标函数决定的适应值——这个值适用于评价粒子的好坏程度。优化搜索正是在由这样一群随机初始化形成的粒子组成的一个种群中，以迭代的方式进行的。

本发明利用粒子群优化算法优化最简回声状态网络的5个关键储备池参数：神经元数量、输入权值矩阵、反馈权值矩阵、储备池的权值及谱半径。

如图1至图5所示，本发明提供了一种基于粒子群优化最简回声状态网络参数的方法，包括以下步骤：

步骤1：如图1所示，建立一个最简回声状态网络模型，用环形拓扑结构代替原有回声状态网络的随机拓扑结构；三层最简回声状态网络模型由输入层、储备池和输出层三部分构成，其对应的输入向量、状态向量和输出向量分别为：K个输入单元u(n)＝(u₁(n),…,u_k(n))；N个储备池单元x(n)＝(x₁(n),…,x_k(n))；和L个输出单元y(n)＝(y₁(y),…,y_k(n))，其中，该模型采用单个非线性神经元和延迟环代替传统储备池中大量随机互连的非线性神经元，以简化其物理拓扑，这种***更易于硬件实现，因为只包括两个元素：单个非线性神经元和一个延迟环，储备池中的每个神经元都有一个激励状态，且储备池神经元的激励状态x(n+1)，通过状态更新方程更新：

x(n+1)＝f(Wⁱⁿu(n+1)+Wx(n)+W^backy(n))

其中，Wⁱⁿ和W分别表示N×K输入权值矩阵和N×N储备池连接矩阵，W^back为一个N×L的反馈连接矩阵，分别设置Wⁱⁿ和W中的所有非零元素绝对值相同，等于非零值a∈(-1,1)，其权值符号通过随机方法或者Logistic映射的方式产生，f表示储备池神经元的激励函数，通常为正弦函数或者S型函数。

根据上述储备池激励状态x(n+1)，该模型的输出可以通过以下等式计算：

y(n+1)＝f^out(W^out(u(n+1),x(n+1),y(n)))

其中，u(n)为K个输入单元；x(n)为N个储备池单元；y(n)为L个输出单元，f^out是一个输出函数，W^out表示表示一个L×(K+N+L)的输出连接矩阵。

步骤2：设置最简回声状态网络模型的初始化参数,所述初始化参数包括(1)结构参数：神经元数量、输入权值矩阵、反馈权值矩阵、储备池的权值、谱半径，其中，神经元数量初始化从10开始，变化范围在10-1000之间，其余参数初始时刻为0～1的随机数；(2)最优解：粒子个体最优解和粒子群最优解；(3)粒子群的粒子个数、最大迭代次数。

步骤3：对最简回声状态网络模型的结构参数和最优解进行随机分配，建立最简回声状态网络模型的适应度函数，并计算每个粒子的适应度值；为确保回声状态网络的泛化能力，需将全部训练数据分为训练集与预测集，先进行MESN训练阶段再进行预测阶段，所述适应度函数包括MESN训练阶段和测试阶段的误差，可表示为：

Fitness＝f₁(Error_train)+f₂(Error_test)

训练阶段需要考虑该结构参数下ESN模型的逼近能力，用训练的误差Error_train体现。预测阶段考虑的是该结构参数下ESN模型的泛化能力，用训练的误差Error_test体现，其中，f₁(·)、f₂(·)分别为Error_train和Error_test的激励函数，Fitness为每个粒子的适应度值。

步骤4：根据步骤3中计算的每个粒子的适应度值和步骤2中的初始化参数计算粒子目标函数；计算粒子目标函数的具体过程为：

(1)对于某一时刻t的第i个粒子的第d维分量将该粒子当前时刻的最优解的第d维分量所对应的适应度值与该粒子的个体最优解的第d维分量p_id的适应度值进行比较，若所对应的适应度值小于p_id的适应度值，则用替换为p_id，否则p_id保持不变；

(2)将第i个粒子得到的最优解的第d维分量p_id所对应的适应度值与粒子群最优解的第d维分量p_gd所对应的适应度值进行比较，若p_id所对应的适应度值小于p_gd的适应度值，则将p_id作为p_gd，否则p_gd保持不变。

步骤5：根据粒子群算法的位置和速度更新公式，更新粒子个体最优解和结构参数，迭代次数加1；

位置和速度更新公式如下：

其中，r₁,r₂是[0～1]区间生成的随机数，d＝1,2,3,4,5,即解空间的维数为5或自变量的个数为5，i＝1,2,…,M,M是群体中粒子的个数，c₁和c₂为加速因子，k表示迭代次数；表示第i个粒子在第k次迭的第d维分量的最优解；表示第i个粒子在第k次迭代的第d维分量的结构参数； p_id表示第i个粒子的个体最优解的第d维分量；p_gd表示粒子群最优解的第d维分量。

步骤6：判断迭代次数是否大于最大迭代次数，如果是，执行步骤7，否则，执行步骤3至步骤5；

步骤7：输出粒子群最优解。

一种基于粒子群优化最简回声状态网络参数的***，包括建模单元、初始化单元、建立函数单元、计算单元、更新单元、判断单元及输出单元；

所述建模单元，用于建立一个最简回声状态网络模型，用环形拓扑结构代替原有回声状态网络的随机拓扑结构；

所述初始化单元，用于设置最简回声状态网络模型的初始化参数，所述初始化参数包括结构参数、粒子个体最优解、粒子群最优解、最大迭代次数及粒子群的粒子个数；

所述建立函数单元，用于对最简回声状态网络模型的结构参数和最优解进行随机分配，建立最简回声状态网络模型的适应度函数，并计算每个粒子的适应度值；

所述计算单元，用于根据计算的每个粒子的适应度值和初始化参数的粒子个体最优解及粒子群最优解计算粒子目标函数；

所述更新单元，用于根据粒子群算法的位置和速度更新公式，更新最简回声状态网络模型中粒子个体最优解和结构参数；

所述判断单元，用于判断是否达到终止条件；

所述输出单元，用于输出粒子群最优解。

图3和图4分别给出了粒子数为20时本发明逼近NARMA***的效果图和误差幅度图，可以看出利用该方法可以有效地跟随NARMA***的未来变化趋势。

图5给出了粒子数为20时本发明逼近NARMA***的性能评估图，可以看出在第16次迭代时NRMSE最小，即MESN具有最佳的非线性逼近能力，此时优化结果为：储备池规模为620，输入权值矩阵权值为0.55，反馈权值矩阵权值为0.21，储备池权值矩阵权值为0.48，谱半径为0.77。

本发明的有益效果：本发明将粒子群优化算法引入最简回声状态网络优化其关键参数，最简回声状态网络模型包括输入层、储备池、输出层，该模型具有一个确定的储备池结构，其中的神经元以环形结构相连，增强了储备池拓扑的稳定性并且大大简化了计算量，同时，基于粒子群优化算法运算速度快，全局搜索能力强的特点，对最简回声状态网络的多个参数进行了优化，从而找寻到一个全局最优解，提高了预测精度。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于粒子群优化最简回声状态网络参数的方法，其特征在于，包括以下步骤：

步骤1：建立一个最简回声状态网络模型，用环形拓扑结构代替原有回声状态网络的随机拓扑结构；

步骤2：设置最简回声状态网络模型的初始化参数，所述初始化参数包括结构参数、粒子个体最优解、粒子群最优解、最大迭代次数及粒子群的粒子个数；

步骤3：对最简回声状态网络模型的结构参数和最优解进行随机分配，建立最简回声状态网络模型的适应度函数，并计算每个粒子的适应度值；

步骤4：根据步骤3中计算的每个粒子的适应度值和步骤2中的初始化参数的粒子个体最优解及粒子群最优解计算粒子目标函数；

步骤5：根据粒子群算法的位置和速度更新公式，更新最简回声状态网络模型中粒子个体最优解和结构参数，迭代次数加1；

步骤6：判断迭代次数是否大于最大迭代次数，如果是，执行步骤7，否则，执行步骤3至步骤5；

步骤7：输出粒子群最优解。

2.如权利要求1所述的一种基于粒子群优化最简回声状态网络参数的方法，其特征在于，所述步骤1中的最简回声状态网络模型包括输入层、储备池和输出层，所述输入层、储备池和输出层对应的输入向量、状态向量和输出向量分别为：K个输入单元u(n)＝(u₁(n),…,u_k(n))；N个储备池单元x(n)＝(x₁(n),…,x_k(n))；和L个输出单元y(n)＝(y₁(y),…,y_k(n))。

3.如权利要求2所述的一种基于粒子群优化最简回声状态网络参数的方法，其特征在于，所述储备池中包括多个神经元，每个神经元都有一个激励状态，且储备池中神经元的激励状态x(n+1)为：

x(n+1)＝f(Wⁱⁿu(n+1)+Wx(n)+W^backy(n))

其中，u(n)为K个输入单元；x(n)为N个储备池单元；y(n)为L个输出单元；Wⁱⁿ和W分别表示N×K输入权值矩阵和N×N储备池连接矩阵，W^back为一个N×L的反馈连接矩阵，分别设置Wⁱⁿ和W中的所有非零元素绝对值相同，等于非零值a∈(-1,1)，其权值符号通过随机方法或者Logistic映射的方式产生，f(·)表示储备池中神经元的激励函数。

4.如权利要求3所述的一种基于粒子群优化最简回声状态网络参数的方法，其特征在于，所述储备池中神经元的激励函数为正弦函数或者S型函数。

5.如权利要求3所述的一种基于粒子群优化最简回声状态网络参数的方法，其特征在于，根据所述储备池中神经元的激励状态x(n+1)，该模型的输出为：

y(n+1)＝f^out(W^out(u(n+1),x(n+1),y(n)))

其中，u(n)为K个输入单元；x(n)为N个储备池单元；y(n)为L个输出单元，f ^out是一个输出函数,W^out表示一个L×(K+N+L)的输出连接矩阵。

6.如权利要求1所述的一种基于粒子群优化最简回声状态网络参数的方法，其特征在于，所述步骤3中的适应度函数包括最简回声状态网络模型训练阶段和测试阶段的误差，表示为：

Fitness＝f₁(Error_train)+f₂(Error_test)

训练阶段需要考虑该结构参数下ESN模型的逼近能力，用训练的误差Error_train体现；预测阶段考虑的是该结构参数下ESN模型的泛化能力，用训练的误差Error_test体现，其中，f₁(·)、f₂(·)分别为Error_train和Error_test的激励函数，Fitness为每个粒子的适应度值。

7.如权利要求1所述的一种基于粒子群优化最简回声状态网络参数的方法，其特征在于，所述步骤4中计算粒子目标函数的具体过程为：

(1)对于某一时刻t的第i个粒子的第d维分量将该粒子当前时刻的最优解的第d维分量所对应的适应度值与该粒子的个体最优解的第d维分量p_id的适应度值进行比较，若所对应的适应度值小于p_id的适应度值，则用替换为p_id，否则p_id保持不变；

(2)将第i个粒子得到的最优解的第d维分量p_id所对应的适应度值与粒子群最优解的第d维分量p_gd所对应的适应度值进行比较，若p_id所对应的适应度值小于p_gd的适应度值，则将p_id作为p_gd，否则p_gd保持不变。

8.如权利要求1所述的一种基于粒子群优化最简回声状态网络参数的方法，其特征在于，所述步骤2中结构参数包括神经元数量、输入权值矩阵、反馈权值矩阵、储备池的权值、谱半径，其中，神经元数量初始化从10开始，变化范围在10-1000之间，其余参数初始时刻为0～1的随机数。

9.如权利要求8所述的一种基于粒子群优化最简回声状态网络参数的方法，其特征在于，所述步骤5中的位置和速度更新公式如下：

其中，r₁,r₂是[0～1]区间生成的随机数，d＝1,2,3,4,5,即解空间的维数为5或自变量的个数为5，i＝1,2,…,M,M是群体中粒子的个数，c₁和c₂为加速因子，k表示迭代次数；表示第i个粒子在第k次迭的第d维分量的最优解；表示第i个粒子在第k次迭代的第d维分量的结构参数； p_id表示第i个粒子的个体最优解的第d维分量；p_gd表示粒子群最优解的第d维分量。

10.一种基于粒子群优化最简回声状态网络参数的***，其特征在于，包括建模单元、初始化单元、建立函数单元、计算单元、更新单元、判断单元及输出单元；

所述建模单元，用于建立一个最简回声状态网络模型，用环形拓扑结构代替原有回声状态网络的随机拓扑结构；

所述初始化单元，用于设置最简回声状态网络模型的初始化参数，所述初始化参数包括结构参数、粒子个体最优解、粒子群最优解、最大迭代次数及粒子群的粒子个数；

所述建立函数单元，用于对最简回声状态网络模型的结构参数和最优解进行随机分配，建立最简回声状态网络模型的适应度函数，并计算每个粒子的适应度值；

所述计算单元，用于根据计算的每个粒子的适应度值和初始化参数的粒子个体最优解及粒子群最优解计算粒子目标函数；

所述更新单元，用于根据粒子群算法的位置和速度更新公式，更新最简回声状态网络模型中粒子个体最优解和结构参数；

所述判断单元，用于判断是否达到终止条件；

所述输出单元，用于输出粒子群最优解。