CN101942790A - 基于act-r的港区弯道线形设计方法 - Google Patents

Abstract

本发明属于港区道路设计技术领域，涉及一种基于ACT-R的港区弯道线形设计方法，包括下列步骤：估计弯道圆曲线半径范围，并将其以20-60米的间隔进行离散；根据弯道环境确定不同位置驾驶员视距及离散之后的距离长度，建立交通拥堵感知参数；建立相邻车辆位置和信号感知参数；建立触觉感知参数；对驾驶员港区弯道驾驶可能的动作进行描述；设计驾驶员动作的效用评价函数；根据港区弯道环境及道路交通流预测数据确定ACT-R模型参数；在离散后的不同圆曲线半径的弯道上进行仿真实验，在满足弯道设计通行能力基础上，选取舒适度最优的方案。与传统方法相比，采用本发明法人设计方法得到的港区弯道线形设计方案更为符合港区交通特性。

Description

基于ACT-R的港区弯道线形设计方法

技术领域

本发明属于港区道路设计技术领域，具体涉及一种港区弯道线形设计方法。

背景技术

在区域经济联动发展日益广泛的今天，港口作为城市对外贸易主要窗口而成为城市发展规划的重点，近年新港规划设计、旧港改扩建工程在全国各地如火如荼。然而，港区规划设计及建设工程面临着许多问题，即港区道路交通需求合理预测、道路路基处理技术、港区道路设计规范、港区道路网合理规模、道路设计后评估等，这些都成为港口快速规划建设的制约因素，传统交通规划管理或者道路设计方法无法有效地解决这些难题，归根结底，是没有把港区交通特点与交通设计方法很好的结合起来，其中港区弯道线形设计是其中一个重要的问题。目前，港区弯道线形设计方法主要采用公路线形设计标准，其不合理性主要体现在以下几个方面：

1)大型车辆多、动特性复杂

由于港区道路承担集、疏港任务，因此集装箱卡车、货车等成为港区道路主要行驶车辆。以天津市为例，根据实际交通调查结果，大中型车辆比例高达50％-90％，大、中型车辆比例高是港内道路车辆构成的主要特征。由于大型车辆具有车型大、车身长、惯性大等特点，在港区道路行驶时表现出与小汽车截然不同的动特性，这些特征在城市道路驾驶模型中都没有体现，因此在港区道路驾驶模型中要考虑到大型车辆动特性对驾驶行为的影响。

2)港区驾驶员行为的特殊性

城市道路车流主要是通勤、通学等日常出行交通流，驾驶员一股都熟悉城市路网状况，超速、疲劳驾驶等行为较少。港区道路驾驶员中，主要分为长途运输和港内运输两部分。从始发地到港区长途运输的驾驶员由于连续驾驶时间长，其疲劳驾驶、超速、忽视交通信号标志等特征明显，由于上述港区驾驶员行为的存在，需要针对港区交通特征构造驾驶员行为决策模型。

发明内容

本发明的目的是克服现有技术的上述不足，结合港区交通特点，提出一种弯道线形设计方法。为此，本发明技术方案如下：

一种基于ACT-R的港区弯道线形设计方法，包括下列步骤：

(1)估计弯道圆曲线半径范围，并将其以20-60米的间隔进行离散；

(2)根据弯道环境确定不同位置驾驶员视距及离散之后的距离长度，建立交通拥堵感知参数；

(3)建立相邻车辆位置和信号感知参数：设定弯道行驶操作的相邻车辆位置感知点，将相邻车辆位置和信号感知参数利用含有离散分量的向量表示，每个分量位置对应一个感知点编号，分量取值为1，2，3，4，5，6，分别表示对应感知位置上无车、匀速行驶、加速行驶、减速行驶、左转指示、右转指示6种状态，并确定弯道行驶的各个操作影响的主要感知点；

(4)建立触觉感知参数：利用公式计算在圆曲线上行驶车辆的近似加速度干扰值，式中，V表示车辆行驶速度，R表示圆曲线半径，根据该值大小，将触觉感知参数分为1，2，3，4个等级，分别表示加速度干扰值在[0，0.7)，[0.7，1)，[1，1.3)，[1.3，+∞)四个区间，4个等级分别对应一个舒适度等级；

(5)对驾驶员港区弯道驾驶可能的动作进行描述：将步骤(2)至(5)建立的各个驾驶员感知参数通过状态向量进行表达，通过对由感知产生的状态向量进行分析后，推断可能进行的操作，形成可能的动作集合，建立动作集合产生规则；考虑操作的分量取值条件中，仅单个分量不满足条件时，驾驶员的非理性操作对相邻车辆的影响，建立非理性操作对相邻车辆的影响规则；

(6)设计驾驶员动作的效用评价函数：令u(p，s，o，s′)表示第p个周期在状态s执行操作o后的效用，则

式中，n(o)表示执行动作o的主要感知点数量；

w₁(o，g)表示动作o的第g个感知点的对动作效用的权重；

d_min(o，g)表示当前车辆与动作o的第g个感知点对应位置的最小感知安全距离，不同类型驾驶员的最小感知安全距离不一样，保守型最小感知安全距离小，冒险型的最小感知安全距离大；

d(o，g)表示当前车辆与动作o的第g个感知点对应位置的感知安全距离；

w₂表示感知舒适度对动作效用的的权重；

S_max表示感知舒适的最大加速度干扰值；

表示车辆在圆曲线上行驶车辆的近似加速度干扰值；

(7)在上述的(2)至(6)步骤建立的ACT-R模型的基础上，根据港区弯道环境及道路交通流预测数据确定ACT-R模型参数；

(8)在离散后的不同圆曲线半径的弯道上进行仿真实验，对驾驶员动作进行效用评价，得到不同条件下的弯道通行能力、舒适度和等级4舒适度比例，在满足弯道设计通行能力基础上，选取舒适度最优或等级4舒适度比例最低的方案，如果无满足要求的方案，则转1，调整设计要求，重新估计弯道圆曲线半径范围。

作为进一步的实施方式，其中的步骤(2)，可采用如下的方法获得交通拥堵交通拥堵感知参数：

设t时刻感知的交通拥堵程度p(x，t)为：

式中，

L(x)表示x点所在路段位置的车道数；

r(l，x)表示车道l对应于车辆所在点x的左视或右视参照点，如果车道l为点x所在车道，则r(l，x)＝x；

v[r(l，x)，l]表示车道l上r(l，x)位置的视距；

s(l)表示将车道l上视距均分后的距离数量；

d(l)表示车道l上视距长度离散之后的距离长度，d(l)＝v(x，l)/s(l)；

ω(l，s)表示车道l视距离散后第s段所占本车道交通拥堵感知的权重，s越大，ω(l，s)越小；

ρ[r(l，x)+sd(L)，l，t，d(l)]表示t时刻在车道l上，从位置r(l，x)+(s-1)d(l)到位置r(l，x)+sd(l)范围内的交通流密度；

将t时刻感知的交通拥堵程度p(x，t)交通拥堵状况感知参数分为1，2，3，4四个等级，分别表示p(x，t)值在[0，0.4)，[0.4，0.6)，[0.6，0.8)，[0.8，1]四个区间。

其中的步骤(8)，在仿真实验中，驾驶员在驾驶过程中对动作的评价采用的学习机制步骤如下：

1)初始化u(p，s，o)＝0；

2)输入感知状态s，采用轮盘赌方法选择动作集合中的某一动作o；

3)执行动作o并根据动作效果产生下一个状态s′；

4)u(p+1，s，o)：＝u(p，s，o)+λ[u(p+1，s，o)-u(p，s，o)]，其中λ∈(0，1)为学习率。

与传统设计方法进行对比可发现，采用基于ACT-R的弯道驾驶行为决策模型，较好了结合了港区弯道的特点，特别是细致刻画了驾驶员弯道转弯行为，模拟了驾驶员弯道的视觉、听觉和触觉感知及驾驶学***面线形之外，还可指导港区弯道横坡度、车道宽度等设计。

附图说明

图1ACT-R认知模型结构框架。

图2驾驶行为的ACT-R认知模型框架。

图3交通拥堵状况感知示意图。

图4感知点示意图。

图5实验1弯道车辆平均速度。

图6实验2弯道车辆平均速度。

图7实验3弯道车辆平均速度。

具体实施方式

本发明主要结合港区交通特点，设计基于ACT-R认知模型，对驾驶员驾驶行为进行描述，继而通过仿真对港区弯道线形设计主要因素进行确定。

完整步骤如下：

1.根据港区道路设计速度、红线范围、道路等级、通行能力等指标估计弯道圆曲线半径范围，将圆曲线半径范围以20-60米间隔进行离散；

2.根据弯道环境确定不同位置驾驶员视距及离散之后的距离长度等拥堵感知参数；

3.根据港区弯道环境及道路交通流预测数据确定ACT-R模型参数；

4.在离散后的不同圆曲线半径的弯道上进行仿真实验，得到不同条件下的弯道通行能力、舒适度和等级4舒适度比例。在满足弯道设计通行能力基础上，选取舒适度最优或等级4舒适度比例最低的方案。如果无满足要求的方案，则重新确定输入条件(设计速度、红线范围、道路等级、通行能力等指标)，转1。

下面首先介绍ACT-R认知模型。ACT-R认知模型的原理是采用基于规则的学习和推理机制来处理人的认知问题，其***框架如下图1所示。

ACT-R认知模型框架主要由感知-动作模块、记忆模块、缓冲及模式匹配器组成。感知-动作模块是联系***与外界环境交互的纽带，通过感知得到外界环境状态，并用动作执行***决策；记忆模块内存储了全部的知识，包括以陈述性知识为主的短时记忆和以程序性知识为主的长期记忆，这些知识用来支持状态识别、学习和决策；ACR-R缓冲模块包含了关于外界状态和内部推理的所有动态信息。上述***框架包含了决策和学习两个回路，决策回路主要包括感知-决策-动作执行，学习回路则是在缓冲模块和模式匹配器之间交互，并最终影响程序性记忆。

采用ACT-R认知模型对港区道路驾驶行为进行描述的***框架如图2所示。

如图所示，驾驶行为的ACT-R认知模型中，感知模块主要包括视觉、听觉和触觉三个部分，这是驾驶员从外界接受信息的“传感器”，模型中的决策部分是在陈述性记忆和程序性记忆支持下在ACT-R缓冲模块中完成的，其中，状态描述单元将输入信息标准化，加工成能完成模式匹配的信息格式，在长期记忆中匹配对应动作，成功后得到可能发生的动作集合，继而采用效用函数评价动作的效用，采用选择机制得到下一步动作，如果是目标动作(可执行的操作，如转向、加速、制动等)，则直接输出执行，如果是中间动作(如改变当前状态的动作，如情绪变化等)，则根据改变的结果返回状态描述单元对当前状态重新描述，在知识支持下重新做出决策，直至动作输出。

下面结合驾驶行为的ACT-R认知模型对本发明的设计方法做详细说明。

一、根据港区交通状况及驾驶员特点设计驾驶员感知规则。主要包括：视觉、听觉感知规则和触觉感知两种感知规则。

1)视觉、听觉感知规则：视觉感知单元主要对交通拥堵状况、相邻车辆位置、相邻车辆信号及交通信号进行感知，此模型主要仿真港区弯道驾驶行为，不考虑交通信号的影响。听觉感知主要考虑相邻车辆喇叭刺激，不考虑发生交通安全事故的碰撞声音刺激。因此可以采用交通拥堵状况和相邻车辆位置及信号来描述，详细设计如下(1)、(2)所示。

(1)交通拥堵状况。采用行车视距范围内的交通流密度表示，则t时刻感知的交通拥堵程度P(x，t)可表示为：

$p(x,t)=\underset{s=1}{\overset{S\left(l\right)}{\mathrm{\Σ}}}\mathrm{\ω}(l,s)d\left(l\right)\mathrm{\ρ}[r(l,x)+\mathrm{sd}\left(l\right),l,t,d\left(l\right)]/\underset{l=1}{\overset{L\left(x\right)}{\mathrm{\Σ}}}v[r(l,x),l]$

L(x)表示x点所在路段位置的车道数，

r(l，x)表示车道l对应于车辆所在点x的左视(或右视)参照点，如果车道l为点x所在车道，则r(l，x)＝x；

v[r(l，x)，l]表示车道l上r(l，x)位置的视距；

s(l)表示将车道l上视距均分后的距离数量；

d(l)表示车道l上视距长度离散之后的距离长度，d(l)＝v(x，l)/s(l)；

ω(l，s)表示车道l视距离散后第s段所占本车道交通拥堵感知的权重，s越大，ω(l，s)越小；

ρ[r(l，x)+sd(l)，l，t，d(l)]表示t时刻车道l在位置[r(l，x)+(s-1)d(l)，r(l，x)+sd(l)]范围内的交通流密度(即车道l上，从位置r(l，x)+(s-1)d(l)到位置r(l，x)+sd(l)范围内的交通流密度)；

本发明将交通拥堵状况感知分为1，2，3，4四个等级，分别表示p(x，t)值在[0，0.4)，[0.4，0.6)，[0.6，0.8)，[0.8，1]四个区间。

(2)相邻车辆位置和信号。车辆要进行转向、制动、加速等操作，需要对相邻车辆位置和信号进行感知并判断操作空间和风险，是决策跟驰、换道和超车等行为的前提。本发明采用的视觉、听觉感知点示意图如图4所示，对于当前车辆位置，。

第1-8个感知点的位置为如图4所示的相邻车辆对应位置，采用图4感知点，可为加速、减速、转向等操作提供决策依据，相关决策涉及的主要感知点如表1所示。

表1弯道行驶操作主要感知点

操作	主要感知点
		加速	4，5，7
减速	2
		左转向	1，4，6
右转向	3，5，8

相邻车辆位置和信号感知采用含有8位离散分量的向量表示，分量位置为对应感知点编号，分量取值为1，2，3，4，5，6，分别表示对应感知位置上无车、匀速行驶、加速行驶、减速行驶、左转指示、右转指示6种状态。

2)触觉感知设计

触觉感知主要是对车辆弯道行驶的加速度干扰值进行描述。根据Jones和Potts提出的加速度干扰数学方程：

$\mathrm{\σ}=\sqrt{\frac{1}{T}\underset{0}{\overset{T}{\∫}}{[a\left(t_i\right)-\stackrel{\‾}{a}]}^2\mathrm{dt}}$

式中，σ表示加速度干扰值，T表示车辆运行总时间，a(t_i)表示i时刻的加速度，

表示平均加速度。将该式代入圆曲线，经推导可得到在圆曲线上行驶车辆的近似加速度干扰值的近似计算公式为

其中V表示车辆行驶速度，R表示圆曲线半径。一股认为当加速度干扰大于1.5m/s²时，车辆的行驶舒适性和安全性很差，当加速度干扰小于0.7m/s²时，舒适性比较好，存在潜在的安全隐患的可能性较低，因此，本发明将触觉感知分为1，2，3，4个等级，分别表示加速度干扰值在[0，0.7)，[0.7，1)，[1，1.3)，[1.3，+∞)四个区间。

二、将驾驶员的视觉、听觉、触觉感知通过状态向量进行表达，即状态描述。由上可知，状态向量可由10位分量的状态向量表达，其中第1-8位分别为相邻车辆位置相邻车辆位置和信号感知的8个离散分量，第9位表示触觉感知，第10位为交通拥堵状况感知，考虑到对外界的感知存在一定的误差，本发明状态描述步骤如下：

1)根据感知规则得到状态向量的10个分量值，令c_i表示状态向量的第i个分量的值；

2)

其中

表示第j类驾驶员感知误差状态位数上限值，令k＝0；

3)k：＝k+1；

4)如果k＞α，转6，否则继续；

5)

其中

表示第j类驾驶员第k位状态分量误差的上限，令c_z：＝c_z+ξ，如果c_z超过上限或下限，则取该极限值，转3；

6)结束。

三、对驾驶员港区弯道驾驶可能的动作进行描述

通过对由感知产生的状态向量进行分析后，推断可能进行的操作，形成可能的动作集合，其产生规则如表2所示。

表2动作集合产生规则

上述动作集合产生规则是在理性范围内的所有可选操作集合，实际上，驾驶员除了在理性范围内选择上述操作外，还要考虑非理性因素，即在感知条件不完全满足上述规则时，也可能进行部分操作。这部分非理性操作用来描述驾驶员疲劳、冒险等特征，当驾驶员采取违规操作时，由于其他驾驶员会采取相应的避让措施，所以这些违规操作虽然影响相邻车辆的正常行驶，但并不一定会产生交通事故。本发明只考虑操作的分量取值条件中，仅单个分量不满足条件时对相邻车辆的影响，当操作的分量取值条件中有多个分量不满足条件时，产生交通事故的概率很大，暂不考虑。

表3非理性操作对相邻车辆的影响规则

四、将驾驶员动作对应的效用进行设计，即效用评价

动作的选择是建立在操作的效用基础上的，采用效用函数对可能执行动作的优劣进行评价，评价的依据为执行动作后的新状态下通过状态描述所表达的驾驶员的感知。令u(p，s，o，s′)表示第p个周期在状态s执行操作o后的效用，则：

$u(p,s,o)=\underset{g=1}{\overset{n\left(o\right)}{\mathrm{\Σ}}}{w}_1(o,g)\max {[0,d_{\min }(o,g)-d(o,g)]}^m+w_2/\max (0,S_{\max }-\frac{\sqrt{3}{V}^2}{R^2})$

式中，n(o)表示执行动作o的主要感知点数量；

w₁(o，g)表示动作o的第g个感知点的对动作效用的权重；

d_min(o，g)表示当前车辆与动作o的第g个感知点对应位置的最小感知安全距离，不同类型驾驶员的最小感知安全距离不一样，保守型最小感知安全距离小，冒险型的最小感知安全距离大；

d(o，g)表示当前车辆与动作o的第g个感知点对应位置的感知安全距离；

w₂表示感知舒适度对动作效用的的权重；

S_max表示感知舒适的最大加速度干扰值；

表示车辆在圆曲线上行驶车辆的近似加速度干扰值。

五、模拟驾驶员在多次弯道驾驶中不断学习的过程，即学习机制的设计

由四得到的动作对应效用只是新状态对应的当前效用值，实际上，驾驶员在驾驶过程中对动作的评价是一个动态的不断学习的过程，本发明采用的学习机制步骤如下：

5)初始化u(p，s，o)＝0；

6)输入感知状态s，采用轮盘赌方法选择动作集合中的某一动作o；

7)执行动作o并根据动作效果产生下一个状态s′；

8)u(p+1，s，o)：＝u(p，s，o)+λ[u(p+1，s，o)-u(p，s，o)]，其中λ∈(0，1)为学习率。

六、仿真实验及分析

本发明的基于ACT-R的港区道路弯道驾驶行为决策模型是建立在细化驾驶员弯道行驶感知和操作的基础上的，因此设计了三组仿真试验，仿真在三车道的弯道进行，实验条件如表4所示。

表4实验条件

每个实验进行50000步仿真，车辆从入口直线段进入，经过缓和曲线、圆曲线进入到出口直线段，一旦车辆驶出出口直线段，则再次进入入口直线段，反复循环直至仿真结束，因此每辆车辆能多次经过弯道行驶，以研究驾驶行为规律及交通流特征。图5-7分别为实验1-3的平均速度，通行能力，车辆平均舒适度评价。

表5试验主要结果比较

实验结果分析如下：

1)由图5，6，7可知，仿真初始阶段平均速度波动较大，随着仿真进行到30000步左右，弯道行驶平均速度逐渐稳定，这是因为采用基于ACT-R模型的个体操作初始效用的设置并不一定与实际情况一致，是在多次驾驶中进行学***均速度也进行了收敛。

2)由图5，6，7可知，随着驾驶行为逐渐稳定，弯道平均驾驶速度也呈上升趋势，这表明不稳定的个体驾驶行为对群体平均速度会造成负面影响，从表5通行能力指标可知，驾驶行为的稳定使得通行能力也在增大，与初始不稳定的驾驶行为相比，通行能力提高超过20％。

3)由于驾驶员弯道行驶舒适度与行驶速度直接相关，由表5可知，随着平均行驶速度的提高，平均舒适度也逐渐变低，但等级4舒适度比例确没有明确变化，这表明状态下个体高速驾驶的比例与状态稳定后的比例相当。

4)由表5可知，圆曲线半径为120m，160m，200m时，都能满足设计通行能力要求，但是半径120m的弯道行驶舒适度较低，特别是等级4舒适度比例达到27.6％，给安全驾驶带来一定隐患；当圆曲线半径为200米时，通行能力和舒适度都满足要求，但是与圆曲线半径160m的对应各项指标相比相差不大，为节省工程造价，推荐本仿真条件下的圆曲线半径为160米。

Claims (3)

1.一种基于ACT-R的港区弯道线形设计方法，包括下列步骤：

(1)估计弯道圆曲线半径范围，并将其以20-60米的间隔进行离散；

(2)根据弯道环境确定不同位置驾驶员视距及离散之后的距离长度，建立交通拥堵感知参数；

(3)建立相邻车辆位置和信号感知参数：设定弯道行驶操作的相邻车辆位置感知点，将相邻车辆位置和信号感知参数利用含有离散分量的向量表示，每个分量位置对应一个感知点编号，分量取值为1，2，3，4，5，6，分别表示对应感知位置上无车、匀速行驶、加速行驶、减速行驶、左转指示、右转指示6种状态，并确定弯道行驶的各个操作影响的主要感知点；

(4)建立触觉感知参数：利用公式

计算在圆曲线上行驶车辆的近似加速度干扰值，式中，V表示车辆行驶速度，R表示圆曲线半径，根据该值大小，将触觉感知参数分为1，2，3，4个等级，分别表示加速度干扰值在[0，0.7)，[0.7，1)，[1，1.3)，[1.3，+∞)四个区间，4个等级分别对应一个舒适度等级；

(5)对驾驶员港区弯道驾驶可能的动作进行描述：将步骤(2)至(5)建立的各个驾驶员感知参数通过状态向量进行表达，通过对由感知产生的状态向量进行分析后，推断可能进行的操作，形成可能的动作集合，建立动作集合产生规则；考虑操作的分量取值条件中，仅单个分量不满足条件时，驾驶员的非理性操作对相邻车辆的影响，建立非理性操作对相邻车辆的影响规则；

(6)设计驾驶员动作的效用评价函数：令u(p，s，o，s′)表示第p个周期在状态s执行操作o后的效用，则

式中，n(o)表示执行动作o的主要感知点数量；

w₁(o，g)表示动作o的第g个感知点的对动作效用的权重；

d_min(o，g)表示当前车辆与动作o的第g个感知点对应位置的最小感知安全距离，不同类型驾驶员的最小感知安全距离不一样，保守型最小感知安全距离小，冒险型的最小感知安全距离大；

d(o，g)表示当前车辆与动作o的第g个感知点对应位置的感知安全距离；

w₂表示感知舒适度对动作效用的的权重；

S_max表示感知舒适的最大加速度干扰值；

表示车辆在圆曲线上行驶车辆的近似加速度干扰值；

(7)在上述的(2)至(6)步骤建立的ACT-R模型的基础上，根据港区弯道环境及道路交通流预测数据确定ACT-R模型参数；

(8)在离散后的不同圆曲线半径的弯道上进行仿真实验，对驾驶员动作进行效用评价，得到不同条件下的弯道通行能力、舒适度和等级4舒适度比例，在满足弯道设计通行能力基础上，选取舒适度最优或等级4舒适度比例最低的方案，如果无满足要求的方案，则转1，调整设计要求，重新估计弯道圆曲线半径范围。

2.根据权利要求1所述的基于ACT-R的港区弯道线形设计方法，其特征在于，其中的步骤(2)，采用如下的方法获得交通拥堵交通拥堵感知参数：

设t时刻感知的交通拥堵程度p(x，t)为：

式中，

L(x)表示x点所在路段位置的车道数；

r(l，x)表示车道l对应于车辆所在点x的左视或右视参照点，如果车道l为点x所在车道，则r(l，x)＝x；

v[r(l，x)，l]表示车道l上r(l，x)位置的视距；

s(l)表示将车道l上视距均分后的距离数量；

d(l)表示车道l上视距长度离散之后的距离长度，d(l)＝v(x，l)/s(l)；

ω(l，s)表示车道l视距离散后第s段所占本车道交通拥堵感知的权重，s越大，ω(l，s)越小；

ρ[r(l，x)+sd(l)，l，t，d(l)]表示t时刻在车道l上，从位置r(l，x)+(s-1)d(l)到位置r(l，x)+sd(l)范围内的交通流密度；

将t时刻感知的交通拥堵程度p(x，t)交通拥堵状况感知参数分为1，2，3，4四个等级，分别表示p(x，t)值在[0，0.4)，[0.4，0.6)，[0.6，0.8)，[0.8，1]四个区间。

3.根据权利要求1所述的基于ACT-R的港区弯道线形设计方法，其特征在于，其中的步骤(8)，在仿真实验中，驾驶员在驾驶过程中对动作的评价采用的学习机制步骤如下：

1)初始化u(p，s，o)＝0；

2)输入感知状态s，采用轮盘赌方法选择动作集合中的某一动作o；

3)执行动作o并根据动作效果产生下一个状态s′；

4)u(p+1，s，o)：＝u(p，s，o)+λ[u(p+1，s，o)-u(p，s，o)]，其中λ∈(0，1)为学习率。

Images