CN103204193A - 一种欠驱动双足机器人行走控制方法 - Google Patents

Abstract

本发明公开了一种欠驱动双足机器人快速行走的控制方法，针对双足机器人平面行走控制的问题，采用MACCEPA柔性驱动器，利用双足机器人自身的动力学特性，有效地实现了快速行走。本发明在机器人与地面的不断交互中，充分利用Q学习方法试错学习的能力，在试错中自主学习行走；实现了机器人的稳定、自然、周期的快速行走，具有较强的应用价值。

Description

一种欠驱动双足机器人行走控制方法

技术领域

本发明涉及一种双足机器人动力式行走方法，尤其涉及一种欠驱动双足机器人行走控制方法。

背景技术

目前，双足机器人的行走方法主要包括ZMP判据行走和极限环行走。ZMP判据行走要求机器人的零据点始终保持在双足构成的多边形内.ZMP稳定判据规划关节运动轨迹，能实现机器人多种步态的行走。目前，ZMP判据行走的成功实例主要为日本本田公司的ASIMO。但是，ZMP判据行走采用了较多的人为约束，采用高刚度大惯性高增益的电机来精确跟踪期望轨迹,没有充分利用机器人本身的动力学特性，导致高能耗。此外，ZMP判据只能适用于有脚板一类的机器人，无脚板、弧形足等类型的机器人无法定义ZMP点。基于ZMP稳定判据的轨迹规划和轨迹跟踪，在传统双足机器人上得到了广泛而成功应用，而不适用于被动机器人。

极限环行走是二十世纪末出现的一种新的行走理念。受到人类行走的启发，其行走是周期稳定的，即步态序列可以在状态空间中形成一个稳定的极限环，但在步态周期的任意瞬时并不具备局部稳定性。这种方法对机器人的人为约束较少，能充分利用机器人自身的动力学特性，因而具备较高的能量效率、行走速度和抗干扰能力。目前，采用极限环行走原理的欠驱动双足机器人成功实例包括Cornell大学的双足机器人。机器人采用PD控制器，参数需要手动调节，工作量巨大。

传统的刚性驱动器的伺服电机具有高惯性，能耗较大，不能充分利用机器人的自身动力学特性，不适宜欠驱动步行控制。相对而言，柔性驱动器可视为一特殊的弹簧，充分利用双足机器人的动力学特性。并且双足机器人快速步行或者跑动时存在冲击效应。柔性驱动器可有效吸收冲击，有助于实现快速步行。

发明内容

本发明的目的在于针对现有技术的不足，提供一种欠驱动双足机器人行走控制方法。

本发明的目的是通过以下技术方案来实现的：一种欠驱动双足机器人快速行走的控制方法，包括如下步骤：

步骤1：上位机根据安装在欠驱动双足机器人躯干和四肢上的传感器采集机器人初始状态，包括躯干、第一大腿、第二大腿、第一小腿、第二小腿与竖直方向的夹角(θ₁,θ₂,θ₃,θ₄,θ₅)及其角速度

步骤2：双足机器人建模，包括建立欠驱动双足机器人运动控制模型及其等效倒立摆模型；

步骤3：初始化Q学习网络，包括：初始化RBF神经网络、初始化资格迹Φ₀、动作向量A；

步骤4：计算RBF神经网络输出Q(s_t,a)；

步骤5：采用ε-greedy策略选择动作向量a_t；

步骤6：对机器人进行动力学仿真，根据下式求解欠驱动双足机器人模型，得到新的状态x_t+1，s_t+1和报酬信号强化值r_t；

步骤7：更新Q学习网络，包括更新资格迹Φ_t，计算TD误差e，更新RBF网络权值。

步骤8：重复步骤4-7，直到欠驱动双足机器人的新的状态x_t+1和前一状态x_t相同，即查找到不动点。

步骤9：上位机将不动点对应的欠驱动双足机器人状态x_t和对应的动作向量a_t输出到欠驱动双足机器人，控制欠驱动双足机器人得到稳定快速的周期步态。

本发明的有益效果是：本发明是采用MACCEPA柔性驱动器的欠驱动双足机器人的控制方法。采用了MACCEPA柔性驱动器，能充分利用双足机器人本身的动力学特性，降低了机器人能耗。并且能有效吸收了机器人碰撞时的冲击，对机器人起到了一定的保护作用。本方法具有快速顺利地控制双足机器人实现了稳定、自然，周期和低能耗的动态步态的优点。

附图说明

图1是欠驱动双足机器人及等效倒立摆模型图；

图2是MACCEPA驱动器示意图；

图3是RBF神经网络示意图；

图4是双足机器人控制框图；

图5是控制流程图。

具体实施方式

如图1所示，双足机器人包括躯干1、第一大腿2、第二大腿3、第一小腿4、第二小腿5，其中，躯干1通过第一电机6与第一大腿2相连，通过第二电机7与第二大腿3相连，第一大腿2通过第三电机8与第一小腿4相连，第二大腿3通过第四电机9与第二小腿5相连。躯干1与竖直方向夹角为θ₁，第一大腿2与竖直方向夹角为θ₂，第二大腿3与竖直方向夹角为θ₃，第一小腿4与竖直方向夹角为θ₄，第二小腿5与竖直方向夹角为θ₅。欠驱动双足机器人躯干1、第一大腿2、第二大腿3、第一小腿4和第二小腿5的长度和质量分别为l_i和m_i，i=1,2,…,5。在本方法中为了简化计算，需要将机器人模型等效为倒立摆模型。等效倒立摆10与竖直方向夹角为

第一电机6、第二电机7、第三电机8和第四电机9均采用MACCEPA（Mechanically Adjustable Compliance and ControllableEquilibrium Position Actuator）柔性驱动电机。如图2所示，包括用于连接的第一杆11、第二杆12以及辅助杆13，如第一电机6的第一杆11与躯干1固定连接，第二杆12与第一大腿2固定连接，其余电机的连接关系以此类推。

MACCEPA柔性驱动器的特征方程如下：

$\mathrm{\τ}=-k(\mathrm{\α}-\mathrm{\φ})-b\stackrel{\·}{\mathrm{\α}},$

式中，τ为关节力矩，α为双足机器人关节相对角度，

为关节相对角速度，k为弹性系数，φ为关节平衡角度，b为驱动器的阻尼常数并取定值，k和φ可调节。因而每个MACCEPA电机有两个控制量k和φ。各电机的控制信号输入端分别与上位机的一个控制信号输出端相连；上位机由工控机来实现，如可以采用PC104工控机。

本发明欠驱动双足机器人快速行走的控制方法，包括如下步骤：

步骤1：上位机根据安装在欠驱动双足机器人躯干和四肢上的传感器采集机器人初始状态，包括躯干1、第一大腿2、第二大腿3、第一小腿4、第二小腿5与竖直方向的夹角(θ₁,θ₂,θ₃,θ₄,θ₅)及其角速度

步骤2：欠驱动双足机器人建模，如图1所示。包括建立欠驱动双足机器人运动控制模型及其等效倒立摆模型。机器人的完整的周期行走过程包括摆动过程和碰撞过程。摆动过程是指机器人支撑腿着地，以末端为轴向前转动，同时摆动腿摆动到支撑腿前方，直至摆动腿与地面接触。碰撞过程指摆动过程结束时摆动腿末端与地面发生瞬间碰撞，同时，支撑腿离地。碰撞后，支撑腿转换为摆动腿，摆动腿转换成支撑腿。机器人行走一步是指由由上一次碰撞后开始，经摆动过程到下一次碰撞后结束。

摆动过程中的欠驱动双足机器人的运动控制模型为：

$D\left(\mathrm{\θ}\right)\stackrel{\·\·}{\mathrm{\θ}}+C(\mathrm{\θ},\stackrel{\·}{\mathrm{\θ}})\stackrel{\·}{\mathrm{\θ}}+G\left(\stackrel{\·}{\mathrm{\θ}}\right)=u,$

其中D是广义惯量阵,C是离心力和科氏力项，G是重力项,u=(u₁,u₂,u₃,u₄)′是外力矩，θ=(θ₁,θ₂,θ₃,θ₄,θ₅)′。

将欠驱动双足机器人的运动控制模型转换成状态方程：

$\stackrel{\·}{x}=f\left(x\right)+g\left(x\right)u,$

其中：

$f\left(x\right)=\begin{array}{c}\end{array}\left[\begin{array}{c}\stackrel{\·}{\mathrm{\θ}}\\ D^{-1}\left(q\right)(-C(\mathrm{\θ},\stackrel{\·}{\mathrm{\θ}})\stackrel{\·}{\mathrm{\θ}}-G\left(\mathrm{\θ}\right))\end{array}\right],g\left(x\right)=\left[\begin{array}{c}0\\ D^{-1}\left(\mathrm{\θ}\right)\end{array}\right],$

式中， $x={({\mathrm{\θ}}_1,{\mathrm{\θ}}_2,{\mathrm{\θ}}_3,{\mathrm{\θ}}_4,{\mathrm{\θ}}_5,{\stackrel{\·}{\mathrm{\θ}}}_1,{\stackrel{\·}{\mathrm{\θ}}}_2,{\stackrel{\·}{\mathrm{\θ}}}_3,{\stackrel{\·}{\mathrm{\θ}}}_4,{\stackrel{\·}{\mathrm{\θ}}}_5)}^{\′},$ f(x)和g(x)是非线性函数。

机器人与地面接触的碰撞过程是一个瞬间过程，指摆动过程结束时摆动腿末端与地面发生瞬间碰撞，利用冲量定理得：

${\∫}_{t^{-}}^{t^{+}}D\left(\mathrm{\θ}\right)\stackrel{\·\·}{\mathrm{\θ}}+C(\mathrm{\θ},\stackrel{\·}{\mathrm{\θ}})\stackrel{\·}{\mathrm{\θ}}+G\left(\stackrel{\·}{\mathrm{\θ}}\right))\mathrm{dt}={\∫}_{t^{-}}^{{\text{t}}^{+}}u+\mathrm{Fdt},$

其中，F为碰撞时的外作用力，t^-,t⁺为碰撞前后瞬间；

上式可改写成：

x⁺=Δ(x^-)，

为了方便计算，需要将机器人状态x转化为等效倒立摆模型。欠驱动双足机器人等效倒立摆模型参数包括倒立摆的长度L，角度和动能E；

双足机器人的躯干1、第一大腿2、第二大腿3、第一小腿4和第二小腿5的重心位置 $G_i=\left[\begin{array}{c}{G}_{x_i}\\ G_{y_i}\end{array}\right],i=\mathrm{1,2},...,5$ 为：

$G_4=\left[\begin{array}{c}\frac{l_4}{2}\sin \left({\mathrm{\θ}}_4\right)\\ \frac{l_4}{2}\cos \left({\mathrm{\θ}}_4\right)\end{array}\right]$

$G_2=\left[\begin{array}{c}{l}_4\sin \left({\mathrm{\θ}}_4\right)+\frac{l_2}{2}\sin \left({\mathrm{\θ}}_2\right)\\ l_4\cos \left({\mathrm{\θ}}_4\right)+\frac{l_2}{2}\cos \left({\mathrm{\θ}}_2\right)\end{array}\right]$

$G_1=\left[\begin{array}{c}{l}_4\sin \left({\mathrm{\θ}}_4\right)+l_2\sin \left({\mathrm{\θ}}_2\right)+\frac{l_1}{2}\sin \left({\mathrm{\θ}}_1\right)\\ l_4\cos \left({\mathrm{\θ}}_4\right)+l_2\cos \left({\mathrm{\θ}}_2\right)+\frac{l_1}{2}\sin \left({\mathrm{\θ}}_1\right)\end{array}\right]$

$G_3=\left[\begin{array}{c}{l}_4\sin \left({\mathrm{\θ}}_4\right)+l_2\sin \left({\mathrm{\θ}}_2\right)-\frac{l_3}{2}\sin \left({\mathrm{\θ}}_3\right)\\ l_4\cos \left({\mathrm{\θ}}_4\right)+l_2\cos \left({\mathrm{\θ}}_2\right)-\frac{l_3}{2}\cos \left({\mathrm{\θ}}_3\right)\end{array}\right]$

$G_5=\left[\begin{array}{c}{l}_4\sin \left({\mathrm{\θ}}_4\right)+l_2\sin \left({\mathrm{\θ}}_2\right)\mathrm{\θ}{l}_3\sin \left({\mathrm{\θ}}_3\right)-\frac{l_5}{2}\sin \left({\mathrm{\θ}}_5\right)\\ l_4\cos \left({\mathrm{\θ}}_4\right)+l_2\cos \left({\mathrm{\θ}}_2\right)-l_3\cos \left({\mathrm{\θ}}_3\right)-\frac{l_5}{2}\cos \left({\mathrm{\θ}}_5\right)\end{array}\right]$

等效倒立摆重心位置 $G=\left[\begin{array}{c}{G}_x\\ G_y\end{array}\right],$ 为 $G=\frac{\underset{i=1}{\overset{5}{\mathrm{\Σ}}}{m}_i{G}_i}{\underset{i=1}{\overset{5}{\mathrm{\Σ}}}{m}_i},$

根据重心的位置可以计算倒立摆的角度

和长度L，倒立摆的动能E为欠驱动双足机器人躯干1、第一大腿2、第二大腿3、第一小腿4和第二小腿5的动能E₁、E₂、E₃、E₄、E₅之和，等效倒立摆模型

的计算公式为：

步骤3：初始化Q学习网络，包括：初始化RBF神经网络、初始化资格迹Φ₀、动作向量A；

采用如图3所示的多输入多输出3层RBF神经网络，输入为连续的等效倒立摆状态向量，输出为动作集合所对应的Q值。

输入层：输入为等效倒立摆的状态向量

隐含层：隐含层采用的是高斯函数

其中第j个隐含层神经元的中心宽度和中心向量分别为σ_j和c_j。

输出层：输出层第m个节点的输出值为机器人行走第t步动作向量A中第m个动作向量a_m对应的Q(s_t,a_m)，s_t为t步的等效倒立摆状态。

隐含层与输出层间的网络权值矩阵W_jk，其中j=1,2,…,H，k=1,2,…,M。H为隐含层节点数，M为输出节点数。

资格迹定义为：

${\mathrm{\Φ}}_t=\underset{p=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\λ}}_{t-p}{\▿}_{w}Q(s_p,a)$

其中，

${\▿}_{w}Q(s_p,a)=\frac{\∂Q(s_p,a)}{{\∂w}_t}$

式中，t表示机器人行走过程中当前第t步，p表示机器人之前行走的第p步，s_p表示第p步时欠驱动双足机器人等效倒立摆状态，W_t表示第t步的网络权值,λ为资格迹折扣率。

资格迹初始化Φ₀=0。

动作向量为A=(k₁,φ₁,k₂,φ₂,k₃,φ₃,k₄,φ₄)，其中k₁,k₂,k₃,k₄分别为四个电机的弹性系数，φ₁,φ₂,φ₃,φ₄分别为四个电机的平衡角度。

步骤4：计算RBF神经网络输出Q(s_t,a)；

可以计算得：

式中

w_mj第j个隐含层节点到第m个输出层节点的网络权值。

步骤5：采用ε-greedy策略选择动作向量a_t；

结合模拟退火算法思想和Boltzmann-Gibbs分布融入伪贪婪算法中，本发明采用了一种随机概率ε随连续步数衰减的ε衰减贪婪算法。随机概率ε衰减的算法为：

ε=ε₀·exp(-step/N)，

式中，ε₀为随机常数初始值，ε₀∈(0,1)，step为连续行走步数，N为依据实验情况自定义整数。动作选择模块采用ε衰减贪婪算法选择下一步动作a_t。

步骤6：对机器人进行动力学仿真，根据下式求解欠驱动双足机器人模型，得到新的状态x_t+1，s_t+1和报酬信号强化值r_t；

$\left\{\begin{array}{c}\stackrel{\·}{x}=f\left(x\right)+g\left(x\right)u\\ x^{+}=\mathrm{\Δ}\left(x^{-}\right)\end{array}\right.,$

强化学习中报酬信号直接反映了学习效果，当机器人成功行走一步时，上位机继续进行机器人下一步行走的试验；当机器人摔倒时，上位机重新开始下一轮试验。若机器人成功行走一步后其角度与角速度与上一步相同，则认为找到了不动点，此时给出较大的报酬信号。上述的强化学习中的强化值r设置如下：

步骤7：更新Q学习网络。包括更新资格迹Φ_t，计算TD误差e，更新RBF网络权值。

资格迹更新公式为：

${\mathrm{\Φ}}_t=\underset{p=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\λ}}_{t-p}{\▿}_{w}Q(s_p,a),$

其中：

${\▿}_{w}W(s_p,a)=\frac{\∂Q(s_p,a)}{\∂W_t}.$

引入TD（Temporal Difference）误差e，把误差反传到网络中，修改权值与阈值：

$e=r_t+\underset{a\∈A}{\max }Q(s_{t+1},a)-Q(s_t,a_t),$

其中，r_t表示欠驱动双足机器人行走第t步的强化值，Q(s_t,a_t)表示第t步所选动作的Q值，Q(s_t+1,a)表示第t+1步所选动作的Q值。

修改神经网络权值时，结合资格迹思想，RBF网络权值的误差计算公式为：

$\mathrm{\Δ}{W}_t=\mathrm{\ηe}{\mathrm{\Φ}}_t=\mathrm{\η}[r_t+\mathrm{\γ}\underset{a\∈A}{\max }Q(s_{t+1},a)-Q(s_t,a_t)]{\mathrm{\Φ}}_t,$

式中，η为学习速率，γ为折扣因子，η，γ均在区间(0,1)内，r为强化值，s_t为双足机器人等效倒立摆第t步的状态，s_t+1为第t+1步的状态，a为动作，a_t表示第t步时选择的动作，Φ_t为第t步时的资格迹。在多输入多输出的RBF神经网络中，网络的权值调整仅调整被选中的动作a_t对应网络权值，其它动作对应的网络权值不进行调整。具体网络权值更新公式如下：

输出层权值增量Δw_jk的误差修正公式为：

隐含层节点的宽度参数增量Δσ_j误差修正公式为：

隐含层节点的中心向量增量Δc_ij误差修正公式为：

其中：λ为资格迹折扣率，η为学习率，α为动量因子，η、α均在区间(0,1)内，

为隐含层的高斯函数，t表示机器人行走过程中当前第t步。

步骤8：重复步骤4-7，直到欠驱动双足机器人的新的状态x_t+1和前一状态x_t相同，即查找到不动点。

步骤9：上位机将不动点对应的欠驱动双足机器人状态x_t和对应的动作向量a_t输出到欠驱动双足机器人，控制欠驱动双足机器人得到稳定快速的周期步态。

本发明是采用MACCEPA柔性驱动器的欠驱动双足机器人的控制方法。MACCEPA柔性驱动器能充分利用双足机器人本身的动力学特性，降低机器人能耗。并能有效吸收了机器人碰撞时的冲击，对机器人起到了一定的保护作用。本方法具有快速顺利地控制欠驱动双足机器人实现了稳定、自然，周期和低能耗的动态步态的优点。

Claims (6)

1.一种欠驱动双足机器人快速行走的控制方法，其特征在于，包括如下步骤：步骤1：上位机根据安装在欠驱动双足机器人躯干和四肢上的传感器采集机器人初始状态，包括躯干、第一大腿、第二大腿、第一小腿、第二小腿与竖直方向的夹角(θ₁,θ₂,θ₃,θ₄,θ₅)及其角速度

步骤2：双足机器人建模，包括建立欠驱动双足机器人运动控制模型及其等效倒立摆模型； 

步骤3：初始化Q学习网络，包括：初始化RBF神经网络、资格迹Φ₀和动作向量A； 

步骤4：计算RBF神经网络输出Q(s_t,a)； 

步骤5：采用ε-greedy策略选择动作向量a_t； 

步骤6：对机器人进行动力学仿真，根据下式求解欠驱动双足机器人模型，得到新的状态x_t+1，s_t+1和报酬信号强化值r_t； 

步骤7：更新Q学习网络，包括更新资格迹Φ_t，计算TD误差e，更新RBF网络权值； 

步骤8：重复步骤4-7，直到欠驱动双足机器人的新的状态x_t+1和前一状态x_t相同，即查找到不动点； 

步骤9：上位机将不动点对应的欠驱动双足机器人状态x_t和对应的动作向量a_t输出到欠驱动双足机器人，控制欠驱动双足机器人得到稳定快速的周期步态。 

2.根据权利要求1所述欠驱动双足机器人快速行走的控制方法，其特征在于，所述步骤2具体为：摆动过程中的欠驱动双足机器人的运动控制模型为： 

其中，D是广义惯量阵,C是离心力和科氏力项，G是重力项,u=(u₁,u₂,u₃,u₄)′是 外力矩，θ=(θ₁,θ₂,θ₃,θ₄,θ₅)′， 

将欠驱动双足机器人的运动控制模型转换成状态方程： 

其中： 

式中，

f(x)和g(x)是非线性函数； 

机器人与地面接触的碰撞过程是一个瞬间过程，指摆动过程结束时摆动腿末端与地面发生瞬间碰撞，利用冲量定理得： 

其中，F为碰撞时的外作用力，t^-,t⁺为碰撞前后瞬间； 

上式可改写成： 

x⁺=Δ(x^-)， 

为了方便计算，需要将机器人状态x转化为等效倒立摆模型。欠驱动双足机器人等效倒立摆模型参数包括倒立摆的长度L，角度

和动能E； 

双足机器人的躯干1、第一大腿2、第二大腿3、第一小腿4和第二小腿5的重心位置

为： 

等效倒立摆重心位置为

根据重心的位置可以计算倒立摆的角度

和长度L，倒立摆的动能E为欠驱动双足机器人躯干1、第一大腿2、第二大腿3、第一小腿4和第二小腿5的动能E₁、E₂、E₃、E₄、E₅之和，等效倒立摆模型

的计算公式为： 

3.根据权利要求1所述欠驱动双足机器人快速行走的控制方法，其特征在于，所述步骤3具体为：采用多输入多输出3层RBF神经网络，输入为连续的等效倒立摆状态向量，输出为动作集合所对应的Q值， 

输入层：输入为等效倒立摆的状态向量

隐含层：隐含层采用的是高斯函数

其中第j个隐含层神经元的中心宽度和中心向量分别为σ_j和c_j，

输出层：输出层第m个节点的输出值为机器人行走第t步动作向量A中第m个动作向量a_m对应的Q(s_t,a_m)，s_t为t步的等效倒立摆状态， 

隐含层与输出层间的网络权值矩阵W_jk，其中j=1,2,…,H，k=1,2,…,M，H为隐含层节点数，M为输出节点数， 

资格迹定义为： 

其中， 

式中，t表示机器人行走过程中当前第t步，p表示机器人之前行走的第p步，s_p表示第p步时欠驱动双足机器人等效倒立摆状态，W_t表示第t步的网络权值,λ为资格迹折扣率。资格迹初始化Φ₀=0， 

动作向量为A=(k₁,φ₁,k₂,φ₂,k₃,φ₃,k₄,φ₄)，其中k₁,k₂,k₃,k₄分别为四个电机的弹性系数，φ₁,φ₂,φ₃,φ₄分别为四个电机的平衡角度。 

4.根据权利要求1所述欠驱动双足机器人快速行走的控制方法，其特征在于，所述步骤4具体为：通过下式计算RBF神经网络输出Q(s_t,a)： 

式中

w_mj第j个隐含层节点到第m个输出层节点的网络权值。 

5.根据权利要求1所述欠驱动双足机器人快速行走的控制方法，其特征在于，所述步骤5具体为：采用了随机概率ε随连续步数衰减的ε衰减贪婪算法选择动作： 

ε=ε₀·exp(-step/N)， 

式中，ε₀为随机常数初始值，ε₀∈(0,1)，step为连续行走步数，N为依据实验情况自定义整数。 

6.根据权利要求1所述欠驱动双足机器人快速行走的控制方法，其特征在于，所述步骤6具体为：对机器人进行动力学仿真，根据下式求解欠驱动双足机器人模型，得到新的状态x_t+1，s_t+1和报酬信号强化值r_t； 

强化学习中报酬信号直接反映了学习效果，当机器人成功行走一步时，上位机继续进行机器人下一步行走的试验；当机器人摔倒时，上位机重新开始下一轮试验。若机器人成功行走一步后其角度与角速度与上一步相同则认为找到了不动点，此时给出较大的报酬信号。上述的强化学习中的强化值r设置如下： 

步骤7：更新Q学习网络，包括更新资格迹Φ_t，计算TD误差e，更新RBF网络权值， 

资格迹更新公式为： 

其中： 

引入TD（Temporal Difference）误差e，把误差反传到网络中，修改权值与阈值： 

其中，r_t表示欠驱动双足机器人行走第t步的强化值，Q(s_t,a_t)表示第t步所选动作的Q值，Q(s_t+1,a)表示第t+1步所选动作的Q值， 

修改神经网络权值时，结合资格迹思想，RBF网络权值的误差计算公式为： 

式中，η为学习速率，γ为折扣因子，η，γ均在区间(0,1)内，r为强化值，s_t为双足机器人等效倒立摆第t步的状态，s_t+1为第t+1步的状态，a为动作，a_t表示第t步时选择的动作，Φ_t为第t步时的资格迹。在多输入多输出的RBF神经网络中，网络的权值调整仅调整被选中的动作a_t对应网络权值，其它动作对应的网络权值不进行调整。具体网络权值更新公式如下： 

输出层权值增量Δw_jk的误差修正公式为： 

隐含层节点的宽度参数增量Δσ_j误差修正公式为： 

隐含层节点的中心向量增量Δc_ij误差修正公式为： 

其中：λ为资格迹折扣率，η为学习率，α为动量因子，η、α均在区间(0,1)内，

为隐含层的高斯函数，t表示机器人行走过程中当前第t步。 

Images