CN101673354A - 操作条件反射自动机及其在仿生自主学习控制中的应用 - Google Patents

Abstract

本发明提出了一种操作条件反射自动机模型，并且基于该模型设计了一种仿生自主学习控制的方法。针对自然界***的控制问题，运用仿生的自组织学习方法，设计出一种可用于描述，模拟，设计具有自组织(包括自学习和自适应)功能的操作条件反射自动机模型，从而有效的将仿生学、心理学应用于***的控制。该方法利用操作条件反射自动机模型OCM，首先是由当前***的输入和状态，随机的选择操作(控制量)，并倾向于选择概率值大的操作，概率值大的操作取向性好。待实施控制后观测状态并对外输出其控制效果，再由取向单元来评价控制后的状态，修改其规则集合概率值，不断习得取向性好的行为，以便下次选择更优的行为，最终实现其自主控制。

Description

操作条件反射自动机及其在仿生自主学习控制中的应用

技术领域

本发明涉及一种基于操作条件反射原理的仿生自动机(Operant Conditioning Automata，以下简称OCM)。它利用计算机技术、自动控制技术、仿生学、心理学、生物学等来实现仿生自主学习控制。

背景技术

本发明基于Skinner的操作条件反射理论，它区别于巴甫洛夫的经典条件反射。经典性条件反射是由条件刺激引起反应的过程，其公式为S→R，反应具有先天性，刺激物作为一种强化，并且在行为之前就已经被呈现；而操作性条件反射是首先做某种操作反应，然后得到强化的过程，其公式为R→S，反应具有后天性，其强化出现在行为出现之后，目的是让试验对象学会实验者所期望的特定行为。据此，Skinner又进一步提出两种学习：一种是经典性条件反射式学习，另一种是操作条件反射式学习。两种学习形式同样重要，而操作式条件反射的强化刺激有明确的目的，更有利于试验对象学会特定的行为。

本发明的自动机模型建立在有限状态自动机的基础上，一般的一个有限状态机是一个五元组：FSM＝{A，Z，S，f，g}。其中各符号的意义：(1)A表示有限输入符号集合(2)S表示有限(内部)状态符号集合(s(0)∈S为初始状态)(3)Z表示有限输出(接受状态)符号集合(4)f：S×A→S表示状态转移函数(5)g：S→Z表示输出函数。

目前，相似的发明专利主要是基于有限状态自动机或元胞自动机的方法的研究，采用的元胞自动机主要用于研究信息传递、计算、构造、生长、复制、竞争等一般现象，但在模拟动物的感知和认知行为方面还没有很好的应用。如申请(专利)号为200610119136.X，名称为基于元胞自动机的图像边缘检测算法；申请(专利)号为200810031543.4，名称为基于有限状态自动机的多艾真体动态多目标协作跟踪方法。操作条件反射自动机及其应用方面的专利还未见到。

本发明提出了一种操作条件反射自动机模型，并且基于该模型设计了一种仿生自主学习控制的方法。本发明的目的在于用Skinner鸽子实验来说明此方法实现了模拟操作条件反射学习的机制，用倒立摆控制问题来证实用此方法去实现某些状态连续控制***的无模型控制的可行性。

发明内容

本发明不同于传统的控制方法，是以操作条件反射学***衡控制问题，运用仿生的自组织(包括自学习和自适应)学习方法，设计出一种可用于描述、模拟、设计具有自组织(包括自学习和自适应)功能的操作条件反射自动机模型，从而有效的将仿生学、心理学和生物学应用于控制***，从而实现仿生自主学习控制的功能。

本发明的操作条件反射自动机是一个八元组

OCM＝<A，S，O，Z，R，f，ψ，δ>，

其中，

(1)OCM的输入符号集合：A＝{a_j|j＝0，1，2，…，n_A}，a_j为OCM第j个输入符号；

(2)OCM的内部状态集合：S＝{s_j|i＝0，1，2，…，n_S}，s_i为OCM第i个状态符号；

(3)OCM的内部操作集合：O＝{o_k|k＝1，2，…，n_O}，o_k为OCM第k个操作符号；

(4)OCM的输出符号集合：Z＝{z_m|m＝0，1，2，…，n_Z}，z_m为OCM第m个输出符号；

(5)OCM的规则集合：R＝{r_ijk|i∈{0，1，2，…，n_S}；j∈{0，1，2，…，n_A}；k∈{1，2，…，n_O}}，R的每一个元素r_ijk∈R代表一条随机“条件-操作”规则：

r_ijk：s_i×a_j→o_k(p_ijk)

即OCM在状态处于s_i(∈S)和输入为a_j(∈A)的条件下依概率p_ijk实施操作o_k(∈O)，p_ijk＝p(o_k|s_i∩a_j)是OCM在状态处于s_i和输入为a_i∈A的条件下实施操作o_k的概率，又称规则r_ijk的激发概率。

(6)OCM的状态空间方程：

$f:\left\{\begin{array}{c}{f}_S:S\left(t\right)\&times;A\left(t\right)\&times;O\left(t\right)\&RightArrow;S(t+1)\\ f_Z:S\left(t\right)\&times;A\left(t\right)\&times;O\left(t\right)\&RightArrow;Z(t+1)\end{array}\right.$

其中，f_S是OCM的状态转移方程，OCM t+1时刻的状态s(t+1)(∈S)由t时刻的状态s(t)(∈S)和t时刻输入a(t)(∈A)及t时刻的操作o(t)(∈O)确定，与其t时刻之前的状态、输入和操作无关，并且，f_S可以是未知的，但OCM状态转移的结果是OCM自身可以观测的；f_Z是OCM的输出方程，OCMt+1时刻的输出z(t+1)(∈Z)由t时刻的状态s(t)(∈S)和t时刻输入a(t)(∈A)及t时刻的操作o(t)(∈O)确定，与其t时刻之前的状态和输入及操作无关，OCM的输出是外部世界可以观测的；

(7)OCM的状态取向函数：ψ：S×A→[h，q]，h定义为取向性最差的取向函数值，q为取向性最好的取向函数值(这里的取向性是从生物学意义上来定义的，环境决定生物进化的方向，即生物的取向性)。p和q的值可根据所处理的具体的对象来取值。对于任一s_i(∈S)和输入a_j(∈A)，ψ_ij＝ψ(s_i，a_j)是OCM关于状态s_i和输入a_j的期望值，如果ψ_ij＜0，则称s_i是OCM在输入为a_j时的负取向状态；如果ψ_ij＝0，则称s_i是OCM在输入为a_j时的零取向状态；如果ψ_ij＞0，则称s_i是OCM在输入为a_j时的正取向状态；

(8)OCM的操作条件反射学习律：

设OCM t时刻的状态为s(t)＝s_a∈S，输入a(t)＝a_b∈A，依集合R中随机“条件-操作”规则选中的操作为o(t)＝o_c∈O，实施操作后观测到t+1时刻的状态s(t+1)＝s_d∈S，则基于操作条件反射原理，操作集合R中随机“条件-操作”规则p_abk(k＝1，2，…，n_o)的激发概率依

$\mathrm{\&delta;}:\left\{\begin{array}{c}\&ForAll;k\&NotEqual;c{p}_{\mathrm{abk}}(t+1)=p_{\mathrm{abk}}\left(t\right)-\mathrm{\&xi;}\left({\stackrel{\&RightArrow;}{\mathrm{\&psi;}}}_{\mathrm{abk}}\right)\&CenterDot;p_{\mathrm{abk}}\left(t\right)\\ p_{\mathrm{abk}}(t+1)=\max \min (p_{\mathrm{abk}}(t+1),\mathrm{0,1})\\ p_{\mathrm{abc}}(t+1)=1-\underset{k\&NotEqual;c}{\mathrm{\&Sigma;}}{p}_{\mathrm{abk}}(t+1)\end{array}\right.$

进行调节，其中，

是OCM在状态处于s_a(∈S)和输入为a_b(∈A)的条件下实施操作o_c(∈O)后状态转移为s_d(∈S)后取向函数值的变化量，可用此变化量来判断该操作的好坏；

是单调增函数，ξ(x)＝0当且仅当

r是操作规则总数，λ是学习率，即每次迭代学习的速率。p_abc(t)(a∈{0，1，2，…，n_S}；b∈{0，1，2，…，n_A}；c∈{1，2，…，n_O})是OCM状态处于s_a(∈S)和输入为a_b(∈A)时实施操作o_c(∈O)的概率p(o_c|s_a∩a_b)在t时刻的值，当

时，说明实施操作o_c(∈O)并转移状态为s_d(∈S)后的取向函数值变小，即取向性变差，则p_abc(t+1)＜p_abc(t)，表示下一时刻选择操作o_c(∈O)的概率减小；当

时，说明实施操作o_c(∈O)并转移状态为s_d(∈S)后的取向函数值不变，即取向性也不变，这时p_abc(t+1)＝p_abc(t)，表示下一时刻选择操作o_c(∈O)的概率不变；当

时，说明实施操作o_c(∈O)并转移状态为s_d(∈S)后的取向函数值变大，即取向性变好，则p_abc(t+1)＞p_abc(t)，表示下一时刻选择操作o_c(∈O)的概率增大。其中max min(p_abk(t+1)，0，1)是当p_abk(t+1)＞1时p_abk(t+1)＝1；p_abk(t+1)＜0时p_abk(t+1)＝0可保证p_abk(t+1)∈[0，1]，且

即表示在同一输入同一状态下采取不同操作的概率和为1，当t→∞时，若p_abc(t)→1，说明操作o_c(∈O)在状态处于s_a(∈S)和输入为a_b(∈A)的条件下行为最优。一般情况下我们给定学习迭代次数Tf或最优行为选择概率最大阈值p_ε，当学习达到迭代次数或者当某一状态处于s_a(∈S)和输入为a_b(∈A)的条件下实施操作o_c(∈O)的概率p_abc(t)≥p_ε时停止学习，p_ε∈[0.7，1]，由实际的***环境来具体设定，一般设为p_ε＝0.9。

本发明的重要特征在于模拟生物的操作条件反射机制，因而具有仿生的自组织功能，包括自学习和自适应功能，可用于描述，模拟，设计各种自组织的***。

本发明的技术方案见图1、图2。

本发明的方法步骤如下：

(1)设定实验的初始条件。给定OCM的起始状态s(0)，给定OCM的初始输入a(0)，学习率λ，给定R中各随机“条件-操作”规则r_ijk(i∈{0，1，2，…，n_S}；j∈{0，1，2，…，n_A}；k∈{1，2，…，n_o})的初始激发概率p_ijk(0)＝l/r，给定迭代学习步数Tf或最优行为选择概率p_ε，由实验要求及环境确定λ、Tf和p_ε，一般取λ＝0.05，Tf＝1000，p_ε＝0.9。

(2)随机选择操作并实施操作。依OCMt时刻的状态s(t)∈S和输入a(t)∈A及R中各随机“条件-操作”规则r_ijk(i∈{0，1，2，…，n_S}；j∈{0，1，2，…，n_A}；k∈{1，2，…，n_o})的激发概率t时刻的值p_ijk(t)，按t时刻状态下各操作的概率值p_ijk(t)分布，随机地选择t时刻的操作o(t)∈O；设OCMt时刻的状态s(t)＝s_a，输入a(t)＝a_b，选中t时刻的操作o(t)＝o_c，则OCM的状态依f_S：S(t)×A(t)×O(t)→S(t+1)状态转移方程发生特性转移；

(3)操作条件反射。设观测到状态s(t+1)＝s_d∈S，t+1时刻则操作条件反射学习单元δ对随机“条件-操作”规则r_abc激发概率进行调节，r_abc激发概率t+1时刻的值

$\mathrm{\&delta;}:\left\{\begin{array}{c}\&ForAll;k\&NotEqual;c{p}_{\mathrm{abk}}(t+1)=p_{\mathrm{abk}}\left(t\right)-\mathrm{\&xi;}\left({\stackrel{\&RightArrow;}{\mathrm{\&psi;}}}_{\mathrm{abk}}\right)\&CenterDot;p_{\mathrm{abk}}\left(t\right)\\ p_{\mathrm{abk}}(t+1)=\max \min (p_{\mathrm{abk}}(t+1),\mathrm{0,1})\\ p_{\mathrm{abc}}(t+1)=1-\underset{k\&NotEqual;c}{\mathrm{\&Sigma;}}{p}_{\mathrm{abk}}(t+1)\end{array}\right.$

其中maxmin(p_abk(t+1)，0，1)是当p_abk(t+1)＞1时p_abk(t+1)＝1；p_abk(t+1)＜0时p_abk(t+1)＝0；可保证p_abk(t+1)∈[0，1]。且 $\underset{k=1}{\overset{n_o}{\mathrm{\&Sigma;}}}{p}_{\mathrm{abk}}\left(t\right)=1.$

(4)由***的输出方程f_Z：S(t)×A(t)×O(t)→Z(t+1)对外输出Z(t+1)。

(5)重复进行(2)-(4)的步骤，直到达到迭代学习次数Tf或当p_abc(t+1)＞p_ε时停止实验。

本发明方法的流程图见图3。

本发明的优点是能模拟和仿生自然界生命的“随机应变性”，使机器生命具有思维、记忆和学习功能。具有认知行为或认知能力的机器生命因而不仅能改变自己的行为，而且能改善自己的行为。使机器生命表现的更加具有仿生性和智能性。

附图说明

图1为本发明的结构示意图

图1：1输入符号集合，2内部状态集合，3内部操作集合，4输出符号集合，5随机“条件-操作”规则集合，6状态空间单元，7状态取向函数，8操作条件反射学习律。

图2为本发明专利的应用结构框图

图3为本发明专利的方法流程图

图4为Skinner鸽子实验三种行为次数效果图

1红色按钮2黄色按钮3蓝色按钮

图5(a)(b)为Skinner鸽子实验迭代学习仿真效果图，分别为在1000次和1000次训练次数的行为操作概率图。1红色按钮2黄色按钮3蓝色按钮

图6(a)为倒立摆平衡控制实验确定模型下的偏角曲线图

图6(b)为倒立摆平衡控制实验确定模型下的偏角速度曲线图

图7(a)为倒立摆平衡控制随机模型下的偏角曲线图

图7(b)为倒立摆平衡控制实验随机模型下的偏角速度曲线图

具体实施方式

实施例一：如图4、5所示，Skinner操作条件反射鸽子实验。

Skinner鸽子实验训练的目标是使其学会啄红色按钮的操作行为。它啄红色按钮时得到食物(正强化刺激)，啄黄色按钮时无任何刺激，啄蓝色按钮时给予电击(负强化刺激)。采用Skinner操作条件反射自动机模型方法进行实验，如图1、2、3所示。

先给出鸽子实验简化的离散数学模型：设鸽子有三个状态分别为：饥饿状态、半饥饿状态和零饥饿状态。鸽子状态为饥饿时，当给它食物，状态转移为半饥饿，不给鸽子食物或给其电击刺激时，鸽子依然表现为饥饿状态，输出为此时鸽子的状态；鸽子状态为半饥饿时，当给它食物，状态转移为零饥饿，不给其食物或给其电击刺激，鸽子转移为饥饿状态，输出为此时鸽子的状态；鸽子状态为零饥饿时，当给它食物，状态依然转移为零饥饿，不给其食物，状态转移为半饥饿状态，给其电击刺激，状态转移为饥饿状态，输出为鸽子此时的状态。得到其模型的状态转移方程f_s：S(t)×A(t)×O(t)→S(t+1)具体表示为：

f(s₀，a₀，o₁)＝s₁  f(s₁，a₀，o₁)＝s₂  f(s₂，a₀，o₁)＝s₂

f(s₀，a₁，o₂)＝s₀  f(s₁，a₁，o₂)＝s₀  f(s₂，a₁，o₂)＝s₁

f(s₀，a₂，o₃)＝s₀  f(s₁，a₂，o₃)＝s₀  f(s₂，a₂，o₃)＝s₀

鸽子实验的输入符号集合A＝{a₀，a₁，a₂}，其中a₀表示啄红色按钮给鸽子食物，a₁表示啄黄色按钮不给鸽子食物，a₂表示啄蓝色按钮给予电击刺激；状态集合S＝{s₀，s₁，s₂}，其中s₀表示饥饿状态，s₁表示半饥饿，s₂表示零饥饿状态；操作集合O＝{o₁，o₂，o₃}，其中o₁表示鸽子啄红色按钮，o₂表示鸽子啄黄色按钮，o₃表示鸽子啄蓝色按钮，开始时鸽子啄红，黄和蓝三个按钮是随机的；规则集合R为：r_ijk：s_i×a_j→o_k(p_ijk)，即表示鸽子在处于s_i(∈S)状态和输入为a_j(∈A)的条件下依概率p_ijk实施操作o_k(∈O)，p_ijk＝p(o_k|s_i∩a_j)是鸽子在状态处于s_i和输入为a_i∈A的条件下实施操作o_k的概率，又称规则r_ijk的激发概率。设定鸽子离散状态取向函数ψ：S×A→{-1，0，1，2，3}，具体函数表达式为：

ψ₀₀(s₀，a₀)＝1  ψ₁₀(s₁，a₀)＝2  ψ₂₀(s₂，a₀)＝3

ψ₀₁(s₀，a₁)＝0  ψ₁₁(s₁，a₁)＝1  ψ₂₁(s₂，a₁)＝2

ψ₀₂(s₀，a₂)＝-1  ψ₁₂(s₁，a₂)＝0  ψ₂₂(s₂，a₂)＝1

ψ₀₀(s₀，a₀)＝1表示当鸽子状态为饥饿时，给其食物，则其状态取向函数值较大为1；

ψ₁₁(s₀，a₁)＝0表示当鸽子状态为饥饿时，不给其食物，则其状态取向函数值为0；

ψ₂₂(s₀，a₂)＝-1表示当鸽子状态为饥饿时，给其电击，则其状态取向函数值较小为-1。

鸽子实验方法基本步骤如下：

(1)设定实验的初始条件。初始输入设定为给鸽子食物a₀，初始状态设定为饥饿状态s₀，设定鸽子啄三个按钮的初始概率均为1/3，即刚开始鸽子啄三个按钮的机会是均等的，学习率λ＝0.05，设定最优行为选择概率阈值p_ε＝0.97。

(2)随机选择操作并实施操作。设在t时刻观测到鸽子的状态为s_a∈S，输入为a_b∈A，状态取向函数值为ψ_ab∈ψ，依集合R中随机“条件-操作”规则按t时刻各操作的概率值p_ijk(t)分布选中的操作o_c∈O，实施操作o_c∈O后依鸽子的状态转移函数f_s：

S(t)×A(t)×O(t)→S(t+1)进行状态转移。即依

f(s₀，a₀，o₁)＝s₁    f(s₁，a₀，o₁)＝s₂    f(s₂，a₀，o₁)＝s₂

f(s₀，a₁，o₂)＝s₀    f(s₁，a₁，o₂)＝s₀    f(s₂，a₁，o₂)＝s₁

f(s₀，a₂，o₃)＝s₀    f(s₁，a₂，o₃)＝s₀    f(s₂，a₂，o₃)＝s₀

进行状态转移。其中f(s₀，a₀，o₁)＝s₁表示当鸽子为饥饿状态时，其选择啄红色按钮时给食物下鸽子状态转移为半饥饿状态；f(s₁，a₁，o₂)＝s₀表示当鸽子为半饥饿状态时，其选择黄色按钮时不给其食物下鸽子状态转移为饥饿状态；f(s₂，a₂，o₃)＝s₀表示鸽子为零饥饿状态时，其选择蓝色按钮时给其电击鸽子状态转移为饥饿状态。

输出函数定义f_z：z_m＝s_i，m＝i，i＝{0，1，2}。输出集合Z＝{z₀，z₁，z₂}，z₀＝s₀，z₁＝s₁，z₂＝s₂。当鸽子在t时刻转移后，t+1时刻状态为s_d∈S，那么得到t+1时刻鸽子的状态取向函数值为ψ_ab∈ψ。

(3)操作条件反射。根据鸽子的状态取向函数ψ值的变化量，即

按照操作条件反射单元δ对随机“条件-操作”规则r_abc激发概率进行调节。这里的δ为：

$\mathrm{\&delta;}:\left\{\begin{array}{c}\&ForAll;k\&NotEqual;c{p}_{\mathrm{abk}}(t+1)=p_{\mathrm{abk}}\left(t\right)-\mathrm{\&xi;}\left({\stackrel{\&RightArrow;}{\mathrm{\&psi;}}}_{\mathrm{abk}}\right)\&CenterDot;p_{\mathrm{abk}}\left(t\right)\\ p_{\mathrm{abk}}(t+1)=\max \min (p_{\mathrm{abk}}(t+1),\mathrm{0,1})\\ p_{\mathrm{abc}}(t+1)=1-\underset{k\&NotEqual;c}{\mathrm{\&Sigma;}}{p}_{\mathrm{abk}}(t+1)\end{array}\right.$

其中，

是鸽子在状态s_a(∈S)和输入为a_b(∈A)的条件下实施操作o_c(∈O)后状态转移为s_d(∈S)后取向函数值的变化量，可用此变化量来判断该操作的好坏；

是单调增函数，ξ(x)＝0当且仅当是操作规则总数，λ是学习率，即每次迭代学习的速率，这里取r＝3，λ＝0.05。p_abc(t)(a∈{0，1，2，…，n_S}；b∈{0，1，2，…，n_A}；c∈{1，2，…，n_o})是鸽子处于s_a(∈S)和输入为a_b(∈A)时实施操作o_c(∈O)的概率p(o_c|s_a∩a_b)在t时刻的值，当

时，说明实施操作o_c(∈O)并转移状态为s_d(∈S)后的取向函数值变小，即取向性变差，这时得到p_abc (t+1)＜p_abc(t)，表示下一时刻选择操作o_c(∈O)的概率减小，即在该输入与状态下该行为被选择的机率变小；当

时，说明实施操作o_c(∈O)并转移状态为s_d(∈S)后的取向函数值不变，即取向性也不变，这时得到p_abc(t+1)＝p_abc(t)，表示下一时刻选择操作o_c(∈O)的概率不变；当

时，说明实施操作o_c(∈O)并转移状态为s_d(∈S)后的取向函数值变大，即取向性变好，这时得到p_abc(t+1)＞p_abc(t)，表示下一时刻选择操作o_c(∈O)的概率增大。

具体来说，当t时刻时鸽子状态为饥饿s₀时，如果鸽子按规则集合R中的激发概率p₀₀₁(t)＝p(o₁|s₀∩a₀)＝0.55选择了啄红色按钮o₁的操作，并给其食物a₀，由鸽子状态转移方程f(s₀，a₀，o₁)＝s₁则鸽子下一时刻状态转移为半饥饿s₁，此时的取向函数值ψ₁₀(s₁，a₀)＝2大于先前饥饿时的取向函数值ψ₀₀(s₀，a₀)＝1，得到p₀₀₁(t+1)＞p₀₀₁(t)，故下次学习时选择啄红色按钮的概率就增大。

其中maxmin(p_abk(t+1)，0，1)是当p_abk(t+1)＞1时p_abk(t+1)＝1，p_abk(t+1)＜0时p_abk(t+1)＝0可保证p_abk(t+1)∈[0，1]，且

即表示在同一输入同一状态下采取不同操作的概率和为1。当t→∞时，若p_abc(t)→1，则说明操作o_c(∈O)在状态处于s_a(∈S)和输入为a_b(∈A)的条件下行为最优。

(4)对外输出。由输出函数定义f_z：z_m＝s_i，i＝0，1，2，m＝i。按输出集合Z＝{z₀，z₁，z₂}，z₀＝s₀，z₁＝s₁，z₂＝s₂对外输出t+1时刻的状态。

(5)判断实验停止条件是否达到。当p_abc＝p(o_c|s_a∩a_b)＞p_ε时，则认为鸽子已学会一最优操作行为，则鸽子此后便在此状态此输入下持续选择这一最优操作行为直到达到迭代次数Tf。否则重复进行(2)一(4)的实验步骤，直到满足条件为止。

结果表明，应用上述的操作条件反射自动机的模型，一段时间之后，鸽子啄取红色按钮的次数明显高于啄取其它两个按钮的次数，见图4。图5为鸽子实验迭代学习仿真效果图，从图中可看到鸽子操作条件反射学习形成的过程。

实施例二：如图6-图7所示，单级倒立摆的平衡控制实验。

倒立摆控制的目标是通过给小车底座施加一个力u(控制量)，即为操作符号集合O，即u＝o_k，k＝1，2，…，n_o。最终保证杆不倒下，即不超过一个预先定义好的垂直偏离角度范围。采用Skinner操作条件反射自动机模型的方法进行控制实验，如图1、2、3所示。

倒立摆可以用以下运动方程来描述

$\stackrel{\&CenterDot;\&CenterDot;}{\mathrm{\&theta;}}=\frac{m(m+M)\mathrm{gl}}{(M+m)I+{\mathrm{Mml}}^2}\mathrm{\&theta;}-\frac{\mathrm{ml}}{(M+m)I+{\mathrm{Mml}}^2}u$ ，把式u＝o_k，k＝1，2，…，n_o代入得到下面

式中 $I=\frac{1}{12}{\mathrm{mL}}^2,$ $l=\frac{1}{2}L.$

的式子：

$\stackrel{\&CenterDot;\&CenterDot;}{\mathrm{\&theta;}}=\frac{m(m+M)\mathrm{gl}}{(M+m)I+{\mathrm{Mml}}^2}\mathrm{\&theta;}-\frac{\mathrm{ml}}{(M+m)I+{\mathrm{Mml}}^2}{o}_k$

式中

k＝1，2，…，n_o

通过Euler方法数值近似，可用以下差分方程来仿真倒立摆***：

$\mathrm{\&theta;}(t+1)=\mathrm{\&theta;}\left(t\right)+\mathrm{\&tau;}\&CenterDot;\stackrel{\&CenterDot;}{\mathrm{\&theta;}}\left(t\right)$

$\stackrel{\&CenterDot;}{\mathrm{\&theta;}}(t+1)=\stackrel{\&CenterDot;}{\mathrm{\&theta;}}\left(t\right)+\mathrm{\&tau;}\&CenterDot;\stackrel{\&CenterDot;\&CenterDot;}{\mathrm{\&theta;}}\left(t\right)$

时间τ一般设定为0.02秒，显然以上给的倒立摆***是一个确定性***。为了说明基于操作条件反射自动机模型的方法也同样适用于连续随机***的无模型控制，即f_S可以是未知的。在以上确定性模型中引入了一个噪声信号构成一个随机倒立摆模型，即在仿真中用以下方程来代替上面的倒立摆方程。

$\stackrel{\&CenterDot;}{\mathrm{\&theta;}}(t+1)=\stackrel{\&CenterDot;}{\mathrm{\&theta;}}\left(t\right)+\mathrm{\&tau;}\&CenterDot;\stackrel{\&CenterDot;\&CenterDot;}{\mathrm{\&theta;}}\left(t\right)+d$

其中d为随机噪声，这里d为在[-1.5，1.5]上一均匀随机分布噪声。

输出函数定义f_z：z_m＝s_i，m＝i，i＝{0，1，2}。输出集合Z＝{z₀，z₁，z₂}，z₀＝s₀，z₁＝s₁，z₂＝s₂。

倒立摆实验的输入符号集合A＝{a₀}，其中θ为摆杆偏离垂直线的角度，为偏离垂直线的角速度。状态集合S＝{s₀，s₁，s₂}，其中s₀表示倒立摆控制状态不好，s₁表示倒立摆控制状态较好/坏，s₂表示倒立摆控制状态好。输出集合Z＝{z₀，z₁，z₂}，z₀表示倒立摆控制效果不好，z₁表示倒立摆控制效果较好/坏，z₁表示倒立摆控制效果好，即达到控制要求。操作集合O＝{o₁，o₂，o₃}，其中o₁表示给小车底座施加一个向右的力，o₂表示给小车底座施加一个微小接近于零的力，o₃表示给小车底座施加一个向左的力。规则集合R为：r_ijk：s_i×a_j→o_k(p_ijk)，即表示倒立摆在处于s_i(∈S)状态和输入为a_j(∈A)的条件下依概率p_ijk实施操作o_k(∈O)，p_ijk＝p(o_k|s_i∩a_j)是倒立摆在状态处于s_i和输入为a_i∈A的条件下实施操作o_k的概率，又称规则r_ijk的激发概率。状态取向函数值为ψ：S×A→(0，1，2)，其中ψ₀₀(s₀，a₀)＝0，ψ₁₀(s₁，a₀)＝1，ψ₂₀(s₂，a₀)＝2。

倒立摆实验控制方法基本步骤如下：

(1)设定实验的初始条件。其中，重力加速度g＝9.8m/s²，小车质量M＝1.0kg，杆的质量m＝0.1kg，杆的半长L＝0.5m。设置偏角范围θ∈[-0.1，+0.1]，角速度范围

这里规定倒立摆偏角左偏时为正值，右偏时为负值，同样，角速度方向向左时为正，方向向右时为负。初始输入为a₀(0)取θ(0)＝5°＝0.087，

其中摆动角度值转化为弧度值。初始状态为s(0)＝s₀，其中当θ∈[-0.1，-0.03]或者θ∈[+0.03，+0.1]为s₀，即状态不好，当θ∈(-0.03，+0.005)或者θ∈(+0.005，+0.03)时为s₁，即状态较好/坏，当θ∈[-0.005，+0.005]时为s₂，即状态控制好。设定倒立摆的三个操作力，即控制量O＝{o₁，o₂，o₃}＝{-5，0.1，5}，倒立摆选择这三个操作力的初始概率均为1/3，给定迭代学习步数Tf＝1000，学习率λ＝0.02，操作规则总数r＝3，最优行为选择概率阈值为p_ε＝0.95。

(2)随机选择操作并实施操作。设在t时刻观测到倒立摆的状态为s_a∈S，输入为a_b∈A，状态取向函数值为ψ_ab∈ψ，依集合R中随机“条件-操作”规则选中的操作o_c∈O，实施操作后依倒立摆的状态转移方程f_s：S(t)×A(t)×O(t)→S(t+1)进行状态转移。

倒立摆状态转移方程可以用以下运动方程来描述

$\stackrel{\&CenterDot;\&CenterDot;}{\mathrm{\&theta;}}=\frac{m(m+M)\mathrm{gl}}{(M+m)I+{\mathrm{Mml}}^2}\mathrm{\&theta;}-\frac{\mathrm{ml}}{(M+m)I+{\mathrm{Mml}}^2}{o}_k$

式中

k＝1，2，…，n_o

和以下差分方程来仿真倒立摆***：

$\mathrm{\&theta;}(t+1)=\mathrm{\&theta;}\left(t\right)+\mathrm{\&tau;}\&CenterDot;\stackrel{\&CenterDot;}{\mathrm{\&theta;}}\left(t\right)$

$\stackrel{\&CenterDot;}{\mathrm{\&theta;}}(t+1)=\stackrel{\&CenterDot;}{\mathrm{\&theta;}}\left(t\right)+\mathrm{\&tau;}\&CenterDot;\stackrel{\&CenterDot;\&CenterDot;}{\mathrm{\&theta;}}\left(t\right)$

时间τ一般设定为0.02秒，显然以上给的倒立摆***是一个确定性***。

也可用随机倒立摆模型来仿真，即用下式：

$\stackrel{\&CenterDot;}{\mathrm{\&theta;}}(t+1)=\stackrel{\&CenterDot;}{\mathrm{\&theta;}}\left(t\right)+\mathrm{\&tau;}\&CenterDot;\stackrel{\&CenterDot;\&CenterDot;}{\mathrm{\&theta;}}\left(t\right)+d$

代替上面的式 $\stackrel{\&CenterDot;}{\mathrm{\&theta;}}(t+1)=\stackrel{\&CenterDot;}{\mathrm{\&theta;}}\left(t\right)+\mathrm{\&tau;}\&CenterDot;\stackrel{\&CenterDot;\&CenterDot;}{\mathrm{\&theta;}}\left(t\right).$

其中d为随机噪声，这里d为在[-1.5，1.5]上-均匀随机分布噪声。

输出函数定义f_z：z_i＝s_i，i＝0，1，2。输出集合Z＝{z₀，z₁，z₂}，z₀＝s₀，z₁＝s₁，z₂＝s₂。当倒立摆在t时刻通过倒立摆运动运动方程发生转移后，t+1时刻状态为s_d∈S，那么得到t+1时刻倒立摆的状态取向函数值为ψ_db∈ψ。

(3)操作条件反射。根据倒立摆的状态取向函数ψ值的变化量，即按照操作条件反射单元δ对随机“条件-操作”规则r_abc激发概率进行调节。这里的δ为：

$\mathrm{\&delta;}:\left\{\begin{array}{c}\&ForAll;k\&NotEqual;c{p}_{\mathrm{abk}}(t+1)=p_{\mathrm{abk}}\left(t\right)-\mathrm{\&xi;}\left({\stackrel{\&RightArrow;}{\mathrm{\&psi;}}}_{\mathrm{abk}}\right)\&CenterDot;p_{\mathrm{abk}}\left(t\right)\\ p_{\mathrm{abk}}(t+1)=\max \min (p_{\mathrm{abk}}(t+1),\mathrm{0,1})\\ p_{\mathrm{abc}}(t+1)=1-\underset{k\&NotEqual;c}{\mathrm{\&Sigma;}}{p}_{\mathrm{abk}}(t+1)\end{array}\right.$

其中，

是倒立摆在状态s_a(∈S)和输入为a_b(∈A)的条件下实施操作o_c(∈O)后状态转移为s_d(∈S)前后取向函数值的变化量，可用此变化量来判断该操作的好坏；

是单调增函数，ξ(x)＝0当且仅当

r是操作规则总数，λ是学习率，即每次迭代学习的速率，这里取r＝3，λ＝0.02。p_abc(t)(a∈{0，1，2，…，n_S}；b∈{0，1，2，…，n_A}；c∈{1，2，…，n_o})是倒立摆处于s_a(∈S)和输入为a_b(∈A)时实施操作o_c(∈O)的概率p(o_c|s_a∩a_b)在t时刻的值，当时，说明实施操作o_c(∈O)并转移状态为s_d(∈S)后的取向函数值变小，即取向性变差，则得到p_abc(t+1)＜p_abc(t)，表示下一时刻选择操作o_c(∈O)的概率减小；当

时，说明实施操作o_c(∈O)并转移状态为s_d(∈S)后的取向函数值不变，即取向性也不变，则得到p_abc(t+1)＝p_abc(t)，表示下一时刻选择操作o_c(∈O)的概率不变；当

时，说明实施操作o_c(∈O)并转移状态为s_d(∈S)后的取向函数值变大，即取向性变好，则得到p_abc(t+1)＞p_abc(t)，表示t+1时刻选择操作o_c(∈O)的概率增大。

具体来说，应用倒立摆确定模型仿真，当t时刻时输入θ(t)＝0.046和

时即倒立摆向左偏，且偏角加速度方向向右时，倒立摆状态好为s₂，如果此时由规则集合中的激发概率p₂₀₃(t)＝p(o₃|s₂∩a₀)＝0.335选择到的操作为o₃，即左推，再由倒立摆运动方程

$\stackrel{\&CenterDot;\&CenterDot;}{\mathrm{\&theta;}}=\frac{m(m+M)\mathrm{gl}}{(M+m)I+{\mathrm{Mml}}^2}\mathrm{\&theta;}-\frac{\mathrm{ml}}{(M+m)I+{\mathrm{Mml}}^2}{o}_k$ 及差分方程 $\begin{array}{c}\mathrm{\&theta;}(t+1)=\mathrm{\&theta;}\left(t\right)+\mathrm{\&tau;}\&CenterDot;\stackrel{\&CenterDot;}{\mathrm{\&theta;}}\left(t\right)\\ \stackrel{\&CenterDot;}{\mathrm{\&theta;}}(t+1)=\stackrel{\&CenterDot;}{\mathrm{\&theta;}}\left(t\right)+\mathrm{\&tau;}\&CenterDot;\stackrel{\&CenterDot;\&CenterDot;}{\mathrm{\&theta;}}\left(t\right)\end{array}$ 来求得t+1

式中

k＝1，2，…，n_O

时刻θ(t+1)＝0.031，即倒立摆t+1时刻的状态转移为较好s₁，此时的取向函数值ψ₁₀(s₁，a₀)＝1要比t时刻ψ₂₀(s₂，a₀)＝2小，得到p₂₀₃(t+1)＜p₂₀₃(t)，故下次迭代学习时在输入a₀及状态s₂下选择操作o₃左推的概率就会减小，相应地，选择其它两种操作的概率就会增大。

其中maxmin(p_abk(t+1)，0，1)是当p_abk(t+1)＞1时p_abk(t+1)＝1；p_abk(t+1)＜0时p_abk(t+1)＝0可保证p_abk(t+1)∈[0，1]，且这里

即表示在同一输入同一状态下采取不同操作的概率和为1。当t→∞时，若p_abc(t)→1，则说明操作o_c(∈O)在状态处于s_a(∈S)和输入为a_b(∈A)的条件下行为最优。

(4)对外输出。由输出函数定义f_z：z_m＝s_i，i＝0，1，2，m＝i。按输出集合Z＝{z₀，z₁，z₂}，z₀＝s₀，z₁＝s₁，z₂＝s₂对外输出t+1时刻的状态。

(5)判断实验停止条件是否达到。

当t+1时刻满足|θ|≤0.005且

且p_abc(t+1)＝p(o_c|s_a∩a_b)＞0.95时，则认为倒立摆已能通过学***衡控制，则之后倒立摆按此状态此输入下持续选择操作o_c直到达到迭代次数Tf_o否则重复进行(2)-(4)的实验步骤，直到满足条件为止。

图6、图7显示，在同样条件下，不管是确定模型还是随机模型采用操作条件反射自动机模型的方法都能成功控制倒立摆的平衡，显然，由于随机噪声的引入增加了随机模型的学***均要在8800次后可实现倒立摆自主平衡控制。

Claims (2)

1、操作条件反射自动机，操作条件反射自动机以下简称为OCM，其特征在于：是一个八元组

OCM＝<A，S，O，Z，R，f，ψ，δ>，

其中，

(1)OCM的输入符号集合：A＝{a_j|j＝0，1，2，…，n_A}，a_j为OCM第j个输入符号；

(2)OCM的内部状态集合：S＝{s_i|i＝0，1，2，…，n_S}，s_i为OCM第i个状态符号；

(3)OCM的内部操作集合：O＝{o_k|k＝1，2，…，n_O}，o_k为OCM第k个操作符号；

(4)OCM的输出符号集合：Z＝{z_m|m＝0，1，2，…，n_Z}，z_m为OCM第m个输出符号；

(5)OCM的规则集合：R＝{r_ijk|i∈{0，1，2，…，n_S}；j∈{0，1，2，…，n_A}；k∈{1，2，…，n_O}}，R的每一个元素r_ijk∈R代表一条随机“条件-操作”规则：

r_ijk：s_i×a_j→o_k(p_ijk)

即OCM在状态处于s_i(∈S)和输入为a_j(∈A)的条件下依概率p_ijk实施操作o_k(∈O)，p_ijk＝p(o_k|s_i∩a_j)是OCM在状态处于s_i和输入为a_i∈A的条件下实施操作o_k的概率，又称规则r_ijk的激发概率；

15(6)OCM的状态空间方程：

$f:\left\{\begin{array}{c}{f}_S:S\left(t\right)\&times;A\left(t\right)\&times;O\left(t\right)\&RightArrow;S(t+1)\\ f_Z:S\left(t\right)\&times;A\left(t\right)\&times;O\left(t\right)\&RightArrow;Z(t+1)\end{array}\right.$

其中，f_S是OCM的状态转移方程，OCM t+1时刻的状态s(t+1)(∈S)由t时刻的状态s(t)(∈S)和t时刻输入a(t)(∈A)及t时刻的操作o(t)(∈O)确定，与其t时刻之前的状态、输入和操作无关，并且，f_S是未知的，但OCM状态转移的结果是OCM自身观测的；f_Z是OCM的输出方程，OCMt+1时刻的输出z(t+1)(∈Z)由t时刻的状态s(t)(∈S)和t时刻输入a(t)(∈A)及t时刻的操作o(t)(∈O)确定，与其t时刻之前的状态和输入及操作无关，OCM的输出是外部世界观测的；

(7)OCM的状态取向函数：ψ：S×A→[h，q]，h定义为取向性最差的取向函数值，q为取向性最好的取向函数值对于任一s_i(∈S)和输入a_j(∈A)，ψ_ij＝ψ(s_i，a_j)是OCM关于状态s_i和输入a_j的期望值，如果ψ_ij＜0，则称s_i是OCM在输入为a_j时的负取向状态；如果ψ_ij＝0，则称s_i是OCM在输入为a_j时的零取向状态；如果ψ_ij＞0，则称s_i是OCM在输入为a_j时的正取向状态；

(8)OCM的操作条件反射学习律：

设OCM t时刻的状态为s(t)＝s_a∈S，输入a(t)＝a_b∈A，依集合R中随机“条件-操作”规则选中的操作为o(t)＝o_c∈O，实施操作后观测到t+1时刻的状态s(t+1)＝s_d∈S，则基于操作条件反射原理，操作集合R中随机“条件-操作”规则p_abk(k＝1，2，…，n_O)的激发概率依

$\mathrm{\&delta;}:\left\{\begin{array}{c}\&ForAll;k\&NotEqual;c{p}_{\mathrm{abk}}(t+1)=p_{\mathrm{abk}}\left(t\right)-\mathrm{\&xi;}\left({\stackrel{\&RightArrow;}{\mathrm{\&psi;}}}_{\mathrm{abk}}\right)\&CenterDot;p_{\mathrm{abk}}\left(t\right)\\ p_{\mathrm{abk}}(t+1)=\max \min (p_{\mathrm{abk}}(t+1),\mathrm{0,1})\\ p_{\mathrm{abc}}(t+1)=1-\underset{k\&NotEqual;c}{\mathrm{\&Sigma;}}{p}_{\mathrm{abk}}(t+1)\end{array}\right.$

进行调节，其中，

是OCM在状态处于s_a(∈S)和输入为a_b(∈A)的条件下实施操作o_c(∈O)后状态转移为s_d(∈S)后取向函数值的变化量，用此变化量来判断该操作的好坏；

是单调增函数，ξ(x)＝0当且仅当

r是操作规则总数，λ是学习率，即每次迭代学习的速率；p_abc(t)(a∈{0，1，2，…，n_S}；b∈{0，1，2，…，n_A}；c∈{1，2，…，n_O})是OCM状态处于s_a(∈S)和输入为a_b(∈A)时实施操作o_c(∈O)的概率p(o_c|s_a∩a_b)在t时刻的值，当

时，说明实施操作o_c(∈O)并转移状态为s_d(∈S)后的取向函数值变小，即取向性变差，则p_abc(t+1)＜p_abc(t)，表示下一时刻选择操作o_c(∈O)的概率减小；当

时，说明实施操作o_c(∈O)并转移状态为s_d(∈S)后的取向函数值不变，即取向性也不变，这时p_abc(t+1)＝p_abc(t)，表示下一时刻选择操作o_c(∈O)的概率不变；当

时，说明实施操作o_c(∈O)并转移状态为s_d(∈S)后的取向函数值变大，即取向性变好，则p_abc(t+1)＞p_abc(t)，表示下一时刻选择操作o_c(∈O)的概率增大；其中max min(p_abk(t+1)，0，1)是当p_abk(t+1)＞1时p_abk(t+1)＝1；p_abk(t+1)＜0时p_abk(t+1)＝0保证p_abk(t+1)∈[0，1]，且

即表示在同一输入同一状态下采取不同操作的概率和为1，当t →∞时，若p_abc(t)→1，说明操作o_c(∈O)在状态处于s_a(∈S)和输入为a_b(∈A)的条件下行为最优；当学习达到迭代次数或者当某一状态处于s_a(∈S)和输入为a_b(∈A)的条件下实施操作o_c(∈O)的概率p_abc(t)≥p_ε时停止学习，p_ε∈[0.7，1]。

2.如权利要求1所述的操作条件反射自动机在仿生自主学习控制中的应用，其特征在于，包括如下步骤：

(1)设定实验的初始条件；给定OCM的起始状态s(0)，给定OCM的初始输入a(0)，学习率λ，给定R中各随机“条件-操作”规则r_ijk(i∈{0，1，2，…，n_S}；j∈{0，1，2，…，n_A}；k∈{1，2，…，n_O})的初始激发概率p_ijk(0)＝1/r，给定迭代学习步数Tf或最优行为选择概率p_ε；

(2)随机选择操作并实施操作；依OCMt时刻的状态s(t)∈S和输入a(t)∈A及R中各随机“条件-操作”规则r_ijk(i∈{0，1，2，…，n_S}；j∈{0，1，2，…，n_A}；k∈{1，2，…，n_O})的激发概率t时刻的值p_ijk(t)，按t时刻状态下各操作的概率值p_ijk(t)分布，随机地选择t时刻的操作o(t)∈O；设OCM t时刻的状态s(t)＝s_a，输入a(t)＝a_b，选中t时刻的操作o(t)＝o_c，则OCM的状态依f_S：S(t)×A(t)×O(t)→S(t+1)状态转移方程发生特性转移；

(3)操作条件反射；设观测到状态s(t+1)＝s_d∈S，t+1时刻则操作条件反射学习单元δ对随机“条件-操作”规则r_abc激发概率进行调节，r_abc激发概率t+1时刻的值

$\mathrm{\&delta;}:\left\{\begin{array}{c}\&ForAll;k\&NotEqual;c{p}_{\mathrm{abk}}(t+1)=p_{\mathrm{abk}}\left(t\right)-\mathrm{\&xi;}\left({\stackrel{\&RightArrow;}{\mathrm{\&psi;}}}_{\mathrm{abk}}\right)\&CenterDot;p_{\mathrm{abk}}\left(t\right)\\ p_{\mathrm{abk}}(t+1)=\max \min (p_{\mathrm{abk}}(t+1),\mathrm{0,1})\\ p_{\mathrm{abc}}(t+1)=1-\underset{k\&NotEqual;c}{\mathrm{\&Sigma;}}{p}_{\mathrm{abk}}(t+1)\end{array}\right.$

其中max min(p_abk(t+1)，0，1)是当

p_abk(t+1)＞1时p_abk(t+1)＝1；p_abk(t+1)＜0时p_abk(t+1)＝0；保证p_abk(t+1)∈[0，1]；且

$\underset{k=1}{\overset{n_o}{\mathrm{\&Sigma;}}}{p}_{\mathrm{abk}}\left(t\right)=1;$

(4)由***的输出方程f_Z：S(t)×A(t)×O(t)→Z(t+1)对外输出Z(t+1)；

(5)重复进行(2)-(4)的步骤，直到达到迭代学习次数Tf或当p_abc(t+1)＞p_ε时停止实验。

Images