CN103699873A - 基于ga-bp神经网络下肢平地行走步态识别方法 - Google Patents

Abstract

本发明公开了一种基于GA-BP神经网络下肢平地行走步态识别方法。本发明首先对采集到的下肢连续平地行走动作的四路表面肌电信号进行消噪滤波和时域特征值提取，得到其特征向量样本集。然后用GA对BP神经网络进行优化，得到BP神经网络误差最小的一组完整初始权值和阈值。最后将提取的特征值随机分成训练样本和测试样本两组，并用训练样本来训练GA优化之后的BP神经网络；用测试样本输入训练好的BP神经网络分类器，进行识别分类。采用本发明使得肌电信号的时域特征容易提取、特征明显、具有良好表达能力。

Description

基于GA-BP神经网络下肢平地行走步态识别方法

技术领域

本发明涉及一种人体运动模式识别方法，特别涉及基于下肢平地行走时肌电信号特征值的GA-BP神经网络步态识别的方法。

背景技术

步态体现出下肢行走运动的姿态，是下肢行走状态统称。它与人体结构与功能、运动协调组织、行为及心理活动都有着重要的关系，是人体生命活动中最基本的动作。常步态（normal gait）是指健康人体下肢有自己感觉最自然、最舒适的姿态行走时的步态，它具有周期性以及协调和均衡的特点。

人体表面肌电信号是一种低频的微弱生物信号，在本质上是一种具有非平稳、非高斯特性的生理信号，在拾取、调理、采集过程中，不可避免地会引入许多干扰，通过合适的信号消噪、特征值提取和模式识别方法可区分下肢平地行走的步态。

人体下肢步态模式识别方法的研究从上世纪90年代开始，取得了许多成果。例如Mumse与Saka提出了一种时空相关匹配的方法用于区别不同的步态；南安普顿大学的Foster等提出采用区域度量的方法解决步态识别问题。随着人工神经网路的发展，国内有人使用神经网络对肌电信号提取出的特征值进行分类，最后得到了较好的效果。然而现在大部分方法的共同理论基础是经典统计学，采用的是研究样本数目趋于无穷大时的渐进理论。然而在实际问题中，样本数目往往有限，故这些在理论上有显著长处的分类方法在实际应用中的表现却可能不尽人意，例如传统的BP神经网络分类容易出现局部最小值以及分类效果不理想。本发明采用一种遗传算法优化之后的BP神经网络来更好地进行模式识别和分类。

发明内容

本发明就是针对传统BP神经网络分类的不足，采用GA（遗传算法）优化BP神经网络的初始权值和阈值，使优化后的BP神经网络对肌电信号提取出的特征值进行识别分类，从而提高正确识别率。

本发明的目的可以通过以下技术方案实现：

本发明包括以下步骤：

步骤1.对采集到的下肢连续平地行走动作的四路表面肌电信号进行消噪滤波和时域特征值提取，得到其特征向量样本集。

步骤2.用GA对BP神经网络进行优化，得到BP神经网络误差最小的一组完整初始权值和阈值。

步骤3.将步骤1中提取的特征值随机分成训练样本和测试样本两组，并用训练样本来训练GA优化之后的BP神经网络；用测试样本输入训练好的BP神经网络分类器，进行识别分类。

其中步骤1中四路肌电信号的消噪滤波采用空域相关滤波，具体步骤归结如下：

（1）对含噪信号进行离散小波变换，对采集的原始肌电信号进行5层小波分解，基小波选用双正交样条小bior 1.5，得到尺度j上位置n处的含噪信号f的离散小波变换Wf(j,n)。

（2）求取各尺度与其相邻尺度的相关系数Corr₂(j,n)＝Wf(j,n)Wf(j+1,n)。

（3）将Corr₂(j,n)归一化到Wf(j,n)的能量上去，得到归一化后的相关系数NewCorr₂(j,n)。计算方法为：

$\mathrm{New}{\mathrm{Corr}}_2(j,n)={\mathrm{Corr}}_2(j,n)\sqrt{P_W\left(j\right)/P_{{\mathrm{Corr}}_2}\left(j\right)},n=\mathrm{1,2},\·\·\·,N$

其中， $P_{{\mathrm{Corr}}_2}\left(j\right)=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{Corr}}_2{(j,n)}^2;$ $P_W\left(j\right)=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{Wf}{(j,n)}^2$

（4）若NewCorr₂(j,n)＞Wf(j,n)，则认为n点处的小波系数值是有信号产生，将Wf(j,n)的值替换Wf_new(j,n)的相应位置，并将Wf(j,n)置零，Corr₂(j,n)置零；否则认为Wf(j,n)是由噪声产生的，保留Wf(j,n)。

（5）重复步骤(3)和(4)，直到P_W(j)满足某一噪声能量阈值（在空域相关滤波消噪中需要设定某一噪声阈值，本发明在实验中以信号的80个只含有噪声的点估计噪声在各层的方差，并以此10倍作为噪声能量阈值。为获取80个只含噪声的点，在各相关肌肉放松时采样80个点作为参考，认为此时信号为噪声）。这时Wf_new(j,n)保留了去除噪声后的小波系数。

（6）对Wf_new(j,n)进行小波重构就得到空域相关滤波后的信号。

提取的时域特征值为积分肌电值和绝对值方差。两个特征值的定义及提取如下：

积分肌电值(Integrate EMG)，其计算式为：

$x_{\mathrm{iemg}}=\frac{1}{N}\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}\left|x_{\left(i\right)}\right|$

其中i为每组的采样点数，x_(i)为表面肌电信号采样的数据点值，N为每组采样点数。

绝对值方差(Variance)：对原始肌电信号进行取绝对值操作,而后再求取所得信号的方差,此种情况下的方差定义如下：

$\mathrm{VAR}=\frac{1}{N-1}\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}{(x_{\left(i\right)}-x_{\mathrm{iemg}})}^2$

四路信号共八个特征参数来构建一个特征向量。

其中步骤2所述的“用GA对BP神经网络进行优化，得到BP神经网络误差最小的一组完整初始权值和阈值”中的GA是一种并行随机搜索最优化方法。它把自然界“优胜劣汰,适者生存”的生物进化原理引入优化参数形成的编码串联群体中,按照所选择的适应度函数并通过遗传中的选择、交叉和变异对个体进行筛选,使适应度值好的个体被保留,适应度差的个体被淘汰,新的群体既继承了上一代的信息,又优于上一代。这样反复循环,直至满足条件。具体描述如下：

种群初始化：

个体编码方法为实数编码,每个个体均为一个实数串,由输入层与隐含层连接权值、隐含层阈值、隐含层与输出层连接权值以及输出层阈值4部分组成。个体包含了神经网络全部权值和阈值,在网络结构已知的情况下,就可以构成一个结构、权值、阈值确定的神经网络。

适应度函数的确定：

根据个体得到BP神经网络的初始权值和阈值,用训练数据训练BP神经网络后预测***输出,把预测输出和期望输出之间的误差绝对值和E作为个体适应度值F,计算公式为：

$F=k\left(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{abs}(y_i-o_i)\right)$

式中,n为网络输出节点数;y_i为BP神经网络第i个节点的期望输出;o_i为第i个节点的预测输出;k为系数。

选择操作：

遗传算法选择操作有轮盘赌法、锦标赛法等多种方法,本发明选择轮盘赌法,即基于适应度比例的选择策略,每个个体i的选择概率p_i的计算公式为：

f_i＝k/F_i； $p_i=\frac{f_i}{\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{f}_i}$

式中,F_i为个体i的适应度值,由于适应度值越小越好,所以在个体选择前对适应度值求倒数;k为系数;N为种群个体数目。

交叉操作：

由于个体采用实数编码,所以交叉操作方法采用实数交叉法,a_kj为第k个染色体a_k的第j位，a_kj为第l个染色体a_l的第j位，两者在第j位交叉操作方法如下:

$\left\{\begin{array}{c}{a}_{\mathrm{kj}}=a_{\mathrm{kj}}(1-b)+a_{\mathrm{ij}}b\\ a_{\mathrm{lj}}=a_{\mathrm{lj}}(1-b)+a_{\mathrm{kj}}b\end{array}\right.$

式中,b是[0,1]间的随机数。

变异操作：

选取第i个个体的第j个基因a_ij进行变异,变异操作方法如下:

$a_{\mathrm{ij}}=\left\{\begin{array}{cc}{a}_{\mathrm{ij}}+(a_{\mathrm{ij}}-a_{\max })*f\left(g\right)& r\&GreaterEqual;0.5\\ a_{\mathrm{ij}}+(a_{\min }-a_{\mathrm{ij}})*f\left(g\right)& r<0.5\end{array}\right.$

式中,a_max为基因a_ij的上界;a_min为基因a_ij的下界;f(g)＝r₂(1-g/G_max);r₂为一个随机数;g为当前迭代次数;G_max是最大进化次数;r为[0,1]间的随机数。这样，经过以上遗传运算，就得到了BP神经网络误差最小的一组完整初始权值和阈值。

其中步骤2、3中所述的BP神经网络即误差反向传播的神经网络，其算法基本思想是梯度下降法。它采用梯度搜索技术，以期使网络的输出值与期望输出值的误差均方值为最小。对优化之后的BP神经网络进行训练，以方差值样本为例，用于训练BP网络包括输入层神经元、隐含层输出神经元和输出神经元。

BP网络的训练过程如下：正向传播是输入信号从输入层经隐含层传向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传播。

网络学习算法如下：

（1）前向传播：计算网络的输出

w_ij为输入层第i个神经元和隐含层第j个神经元的联接权值，x_i为输入层第i个神经元向输出层第j个神经元的输出，隐含层神经元的输入x_j为所有x_i的加权之和：

$x_j=\underset{i}{\mathrm{\&Sigma;}}{w}_{\mathrm{ij}}{x}_i$

隐含层层神经元的输出x_j′，采用S函数激发x_j：

$x_j^{\&prime;}=f\left(x_j\right)=\frac{1}{1+e^{-x_j}}$

则 $\frac{{\&PartialD;x}_j^{\&prime;}}{{\&PartialD;x}_j}=x_j^{\&prime;}(1-x_j^{\&prime;})$

输出层神经元的输出x_l：

$x_l=\underset{j}{\mathrm{\&Sigma;}}{w}_{\mathrm{jl}}{x}_j^{\&prime;}$

网络第l个输出与相应理想输出

的误差e₁为：

$e_1=x_l^0-x_l$

第p个样本的误差性能指标函数E_p为：

$E_p=\frac{1}{2}\underset{l=1}{\overset{N}{\mathrm{\&Sigma;}}}{e}_l^2$

其中N为网络输出层的个数；

（2）反向传播：采用梯度下降法，调整各层间的权值；权值的学习算法如下：

输出层第l个神经元和隐含层第j个神经元的联接权值w_jl学习算法为：

${\mathrm{\&Delta;w}}_{\mathrm{jl}}=-\mathrm{\&eta;}\frac{{\&PartialD;E}_p}{{\&PartialD;w}_{\mathrm{jl}}}={\mathrm{\&eta;e}}_l\frac{{\&PartialD;x}_l}{{\&PartialD;w}_{\mathrm{jl}}}=\mathrm{\&eta;}{e}_l{x}_j^{\&prime;}$

w_ij(k+1)＝w_ij(k)+Δw_ij

其中w_ij(k)为第k次学习中w_ij的值，且

$\frac{{\&PartialD;x}_l}{{\&PartialD;w}_{\mathrm{ij}}}=\frac{{\&PartialD;x}_l}{{\&PartialD;x}_j^{\&prime;}}\&CenterDot;\frac{{\&PartialD;x}_j^{\&prime;}}{{\&PartialD;x}_j}\&CenterDot;\frac{{\&PartialD;x}_j}{{\&PartialD;w}_{\mathrm{ij}}}=w_{\mathrm{jl}}\&CenterDot;\frac{{\&PartialD;x}_j^{\&prime;}}{{\&PartialD;x}_j}\&CenterDot;x_i=w_{\mathrm{jl}}\&CenterDot;x_j^{\&prime;}(1-x_j^{\&prime;})\&CenterDot;x_i$

考虑上次权值对本次权值变化的影响，须加入动量因子a，此时的权值为：

w_jl(k+1)＝w_jl(k)+Δw_jl+a(w_jl(k)-w_jl(k-1))

w_ij(t+1)＝w_ij(t)+Δw_ij+a(w_ij(t)-w_ij(t-1))

其中，η为学习速率，a为动量因子，k，t为学习次数，η∈[0,1],a∈[0,1]；

训练好之后，输入测试样本进行识别分类。

与现有技术相比，本发明具有以下优点：

1.肌电信号的时域特征容易提取、特征明显、具有良好表达能力。

2.采用GA优化之后的BP神经网络进行步态识别，识别精度高，误差率小。

附图说明

图1为肌电信号消噪前后对比；

图2为GA优化BP神经网络流程；

图3为BP神经网络结构示意图；

图4为本发明流程框图；

图5为识别误差进化曲线；

图1中(a)、(b)分别表示消噪前后的肌电信号，横轴为采样点数，纵轴为电压(uV)。从图1中可以看出空域相关滤波消噪后的肌电信号的信噪比明显得到了提高，同时肌电信号的边缘特征被较好的保留了下来，这为特征提取和模式识别率的提高创造了良好的条件。

图2中左部分为GA算法部分，右部分为BP神经网络训练学习过程。

图3中,X₁,X₂,…,X_m是BP神经网络的输入值，Y₁,Y₂,…,Y_n是BP神经网络的预测值,ω_ij和ω_jk为BP神经网络权值。

具体实施方式

见图4，本发明一种GA优化BP神经网络对下肢平地行走步态识别方法，该方法包括以下步骤：

步骤1.对采集到的下肢连续平地行走动作的四路表面肌电信号进行消噪滤波和时域特征值提取得到其特征向量样本集。

步骤2.用GA对BP神经网络进行优化，优化流程如图2所示，得到BP神经网络误差最小的一组完整初始权值和阈值。

步骤3.将步骤1中提取的特征值随机分成训练样本和测试样本两组，并用训练样本来训练GA优化之后的BP神经网络。用测试样本输入训练好的BP神经网络分类器，进行识别分类。

为使本发明的目的、技术方案和优点表达的更加清楚明白，下面结合附图及具体实施例对本发明再做进一步详细的说明。

本发明主要思想是通过GA优化BP神经网络，赋予了BP神经网络误差最小的一组完整初始权值和阈值。在此基础上结合肌电信号时域特征值提取容易、特征值明显有点，构建具有良好表达能力的特征向量。对优化后的BP神经网络进行训练和识别。

步骤1：具体实施方式如下：

信号来源方面，本发明所用的肌电信号采集仪是美国Noraxon公司的MyoTrace400肌电信号采集仪。采集平地行走时大腿上最具代表性的4块肌肉的表面肌电信号，它们分别是大腿前侧的股内侧肌、大腿后侧的半腱肌、大腿与胯部相连的阔筋膜张肌与大腿内侧的长收肌。这4块肌肉分布在大腿的不同区域，在位置和信号区分度上都具有典型性。

信号消噪滤波采用空域相关滤波（消噪前后的肌电信号波形如图1所示)，之后的特征值提取具体实现过程如下：

求取第i种步态的四路表面肌电信号的积分肌电值I_ij、方差V_ij，i=1,2,3,4,5；j=1,2,3,4。

则构建时域特征向量X_i＝{I_i1,V_i1,I_i2,V_i2,I_i3,V_i3,I_i4,V_i4}。

由上得出的各特征向量组成特征向量样本集。

步骤2：将BP神经网络设计三层BP网络结构(BP神经网络结构示意图如图3所示)，由于4路肌电信号每路都提取积分肌电值和方差两个特征值，则输入端有8个神经元，输出层具有5个神经元，隐含层神经元数目根据经验公式及多次运行分析我们设为15。

式中n₁为隐含层神经元数目，n为输入层神经元数目，m为输出层神经元数目，常数a＝1～10。

步骤3：训练时均取学***。

表1  BP神经网络对步态的识别结果

表2  遗传算法优化BP神经网络对步态的识别结果

Claims (5)

1.基于GA-BP神经网络下肢平地行走步态识别方法，其特征在于该方法的具体步骤是：

步骤1.对采集到的下肢连续平地行走动作的四路表面肌电信号进行消噪滤波和时域特征值提取，得到其特征向量样本集；

步骤2.用GA对BP神经网络进行优化，得到BP神经网络误差最小的一组完整初始权值和阈值；

步骤3.将步骤1中提取的特征值随机分成训练样本和测试样本两组，并用训练样本来训练GA优化之后的BP神经网络；用测试样本输入训练好的BP神经网络分类器，进行识别分类。

2.根据权利要求1所述的基于GA-BP神经网络下肢平地行走步态识别方法，其特征在于：步骤1中的消噪滤波采用空域相关滤波，具体是：

（1）对含噪信号进行离散小波变换，对采集的原始肌电信号进行5层小波分解，基小波选用双正交样条小bior 1.5，得到尺度j上位置n处的含噪信号f的离散小波变换Wf(j,n)；

（2）求取各尺度与其相邻尺度的相关系数Corr₂(j,n)

Corr₂(j,n)＝Wf(j,n)Wf(j+1,n)；

（3）将Corr₂(j,n)归一化到Wf(j,n)的能量上去，得到归一化后的相关系数NewCorr₂(j,n)：

$\mathrm{New}{\mathrm{Corr}}_2(j,n)={\mathrm{Corr}}_2(j,n)\sqrt{P_W\left(j\right)/P_{{\mathrm{Corr}}_2}\left(j\right)},n=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,N$

其中， $P_{{\mathrm{Corr}}_2}\left(j\right)=\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{Corr}}_2{(j,n)}^2;$ $P_W\left(j\right)=\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{Wf}{(j,n)}^2$

（4）若NewCorr₂(j,n)＞Wf(j,n)，则认为n点处的小波系数值是有信号产生，将Wf(j,n)的值替换Wf_new(j,n)的相应位置，并将Wf(j,n)置零，Corr₂(j,n)置零；否则认为Wf(j,n)是由噪声产生的，保留Wf(j,n)；

（5）重复步骤(3)和(4)，直到P_W(j)满足某一噪声能量阈值，这时Wf_new(j,n)保留了去除噪声后的小波系数；

（6）对Wf_new(j,n)进行小波重构就得到空域相关滤波后的信号。

3.根据权利要求1所述的基于GA-BP神经网络下肢平地行走步态识别方法，其特征在于：步骤1中时域特征值提取为积分肌电值和绝对值方差，两个特征值的定义及提取如下：

积分肌电值x_iemg，其计算式为：

$x_{\mathrm{iemg}}=\frac{1}{N}\underset{i=0}{\overset{N-1}{\mathrm{\&Sigma;}}}\left|x_{\left(i\right)}\right|$

其中i为每组的采样点数，x_(i)为表面肌电信号采样的数据点值，N为每组采样点数；

绝对值方差VAR：对原始肌电信号进行取绝对值操作,而后再求取所得信号的方差,此种情况下的方差定义如下：

$\mathrm{VAR}=\frac{1}{N-1}\underset{i=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{(x_{\left(i\right)}-x_{\mathrm{iemg}})}^2$

四路信号共八个特征参数来构建一个特征向量。

4.根据权利要求1所述的基于GA-BP神经网络下肢平地行走步态识别方法，其特征在于：步骤2所述的用GA对BP神经网络进行优化，具体是：

（1）种群初始化：个体编码方法为实数编码,每个个体均为一个实数串,由输入层与隐含层连接权值、隐含层阈值、隐含层与输出层连接权值以及输出层阈值4部分组成；个体包含了神经网络全部权值和阈值,在网络结构已知的情况下,就可以构成一个结构、权值、阈值确定的神经网络；

（2）适应度函数的确定

根据个体得到BP神经网络的初始权值和阈值,用训练数据训练BP神经网络后预测***输出,把预测输出和期望输出之间的误差绝对值和E作为个体适应度值F,计算公式为：

$F=k\left(\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\mathrm{abs}(y_i-o_i)\right)$

式中,n为网络输出节点数;y_i为BP神经网络第i个节点的期望输出;o_i为第i个节点的预测输出;k为系数；

（3）选择操作

遗传算法选择操作采用轮盘赌法,即基于适应度比例的选择策略,每个个体i的选择概率p_i的计算公式为：

f_i＝k/F_i； $p_i=\frac{f_i}{\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{f}_i}$

式中,F_i为个体i的适应度值,由于适应度值越小越好,所以在个体选择前对适应度值求倒数;k为系数;N为种群个体数目；

（4）交叉操作

由于个体采用实数编码,所以交叉操作方法采用实数交叉法,a_kj为第k个染色体a_k的第j位，a_kj为第l个染色体a_l的第j位，两者在第j位交叉操作方法如下:

$\left\{\begin{array}{c}{a}_{\mathrm{kj}}=a_{\mathrm{kj}}(1-b)+a_{\mathrm{ij}}b\\ a_{\mathrm{lj}}=a_{\mathrm{lj}}(1-b)+a_{\mathrm{kj}}b\end{array}\right.$

式中,b是[0,1]间的随机数；

（5）变异操作

选取第i个个体的第j个基因a_ij进行变异,变异操作方法如下：

$a_{\mathrm{ij}}=\left\{\begin{array}{cc}{a}_{\mathrm{ij}}+(a_{\mathrm{ij}}-a_{\max })*f\left(g\right)& r\&GreaterEqual;0.5\\ a_{\mathrm{ij}}+(a_{\min }-a_{\mathrm{ij}})*f\left(g\right)& r<0.5\end{array}\right.$

式中,a_max为基因a_ij的上界;a_min为基因a_ij的下界;f(g)＝r₂(1-g/G_max);r₂为一个随机数;g为当前迭代次数;G_max是最大进化次数;r为[0,1]间的随机数；这样，经过以上遗传运算，就得到了BP神经网络误差最小的一组完整初始权值和阈值。

5.根据权利要求1-4中任一项所述的基于GA-BP神经网络下肢平地行走步态识别方法，其特征在于：

步骤2和步骤3中所述的BP神经网络即误差反向传播的神经网络，其算法基本思想是梯度下降法；它采用梯度搜索技术，以期使网络的输出值与期望输出值的误差均方值为最小；对优化之后的BP神经网络进行训练，以方差值样本为例，用于训练BP网络包括输入层神经元、隐含层输出神经元和输出神经元；

BP网络的训练过程如下：正向传播是输入信号从输入层经隐含层传向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传播；

网络学习算法如下：

（1）前向传播：计算网络的输出

w_ij为输入层第i个神经元和隐含层第j个神经元的联接权值，x_i为输入层第i个神经元向输出层第j个神经元的输出，隐含层神经元的输入x_j为所有x_i的加权之和：

$x_j=\underset{i}{\mathrm{\&Sigma;}}{w}_{\mathrm{ij}}{x}_i$

隐含层层神经元的输出x_j′，采用S函数激发x_j：

$x_j^{\&prime;}=f\left(x_j\right)=\frac{1}{1+e^{-x_j}}$

则 $\frac{{\&PartialD;x}_j^{\&prime;}}{{\&PartialD;x}_j}=x_j^{\&prime;}(1-x_j^{\&prime;})$

输出层神经元的输出x_l：

$x_l=\underset{j}{\mathrm{\&Sigma;}}{w}_{\mathrm{jl}}{x}_j^{\&prime;}$

网络第l个输出与相应理想输出

的误差e₁为：

$e_1=x_l^0-x_l$

第p个样本的误差性能指标函数E_p为：

$E_p=\frac{1}{2}\underset{l=1}{\overset{N}{\mathrm{\&Sigma;}}}{e}_l^2$

其中N为网络输出层的个数；

（2）反向传播：采用梯度下降法，调整各层间的权值；权值的学习算法如下：

输出层第l个神经元和隐含层第j个神经元的联接权值w_jl学习算法为：

${\mathrm{\&Delta;w}}_{\mathrm{jl}}=-\mathrm{\&eta;}\frac{{\&PartialD;E}_p}{{\&PartialD;w}_{\mathrm{jl}}}={\mathrm{\&eta;e}}_l\frac{{\&PartialD;x}_l}{{\&PartialD;w}_{\mathrm{jl}}}=\mathrm{\&eta;}{e}_l{x}_j^{\&prime;}$

w_ij(k+1)＝w_ij(k)+Δw_ij

其中w_ij(k)为第k次学习中w_ij的值，且

$\frac{{\&PartialD;x}_l}{{\&PartialD;w}_{\mathrm{ij}}}=\frac{{\&PartialD;x}_l}{{\&PartialD;x}_j^{\&prime;}}\&CenterDot;\frac{{\&PartialD;x}_j^{\&prime;}}{{\&PartialD;x}_j}\&CenterDot;\frac{{\&PartialD;x}_j}{{\&PartialD;w}_{\mathrm{ij}}}=w_{\mathrm{jl}}\&CenterDot;\frac{{\&PartialD;x}_j^{\&prime;}}{{\&PartialD;x}_j}\&CenterDot;x_i=w_{\mathrm{jl}}\&CenterDot;x_j^{\&prime;}(1-x_j^{\&prime;})\&CenterDot;x_i$

考虑上次权值对本次权值变化的影响，须加入动量因子a，此时的权值为：

w_jl(k+1)＝w_jl(k)+Δw_jl+a(w_jl(k)-w_jl(k-1))

w_ij(t+1)＝w_ij(t)+Δw_ij+a(w_ij(t)-w_ij(t-1))

其中，η为学习速率，a为动量因子，k，t为学习次数，η∈[0,1],a∈[0,1]；

训练好之后，输入测试样本进行识别分类。

Images