CN102110371B - 一种基于分级多智能体架构的交通信号控制*** - Google Patents

Abstract

一种基于分级多智能体架构的交通信号控制***，本发明涉及交通信号的控制***。它解决了现有技术不能对整体交通情况进行全面反映的问题。它包括多个交通运行状态信息检测装置、多个交叉口级信号控制单元、多个小区级信号控制单元、区域级信号控制单元、策略方案库和策略解释器，每个交通运行状态信息检测装置连接一个交叉口级信号控制单元的数据输入端，每组内的交叉口级信号控制单元都连接在一个小区级信号控制单元的数据输入端上，小区级信号控制单元都连接在区域级信号控制单元的数据输入端上，交叉口、小区级、区域级信号控制单元的数据输出端口连接在策略方案库的数据输入端口上，策略方案库的数据输出端口连接在策略解释器上。用于交通控制。

Description

一种基于分级多智能体架构的交通信号控制***

技术领域

本发明涉及交通信号的控制***。

背景技术

交通信号控制***是现代城市交通指挥和决策***的重要设备，世界各国均积极致力于交通信号控制***的研究。传统的定时信号控制方法包括英国TRRL、澳大利亚ARRB法、我国“停车线法”和“冲突点法”等，其基本原理在于通过衡量交叉口的延误完成信号配时，因此不能够有效表达交通流的随机性和实时性。比较典型的脱机定时操作***，如美国TRANSYT，需要对路网和交通流信息预先采集，且计算量很大，因此很难进行大范围路网的调整，达到全局最优。随着计算机自动控制技术发展应运而生的自适应控制体统，如英国SCOOT、澳大利亚SCATS，美国RHODES、OPAC***，意大利SPOT/UTOPIA***，法国PRODYN***，大多采用数学优化的方法模拟交通流，虽然可以实时调整绿信比、周期和时差等参数，较好表达了交通流的实时性，但是仍主要以行车延误、停车次数和通畅度指数为目标评价配时方案优劣。用于评价的目标比较单一，不能对整体交通情况进行全面的反映，对于如何及时充分准确地掌握交通信息，全面***评估交通***的不确定性，进而做到宏观全局优化，经典的控制***还存在一些局限性。

发明内容

本发明的目的是提供一种基于分级多智能体架构的交通信号控制***，以解决现有技术仅以行车延误、停车次数和通畅度指数为目标调控交通通行情况，不能对整体交通情况进行全面反映的问题。它包括多个交通运行状态信息检测装置1、多个道路交叉口信号灯控制器2、多个交叉口级信号控制单元ICA、多个小区级信号控制单元ZCA、区域级信号控制单元RCA、策略方案库3和策略解释器4，每个交通运行状态信息检测装置1与一个道路交叉口信号灯控制器2相邻设置，每个交通运行状态信息检测装置1的数据输出端连接一个交叉口级信号控制单元ICA的数据输入端，所有的交叉口级信号控制单元ICA分成多个组，每组内的交叉口级信号控制单元ICA的一个数据输出端都连接在一个小区级信号控制单元ZCA的数据输入端上，所有的小区级信号控制单元ZCA的一个数据输出端都连接在区域级信号控制单元RCA的数据输入端上，每个交叉口级信号控制单元ICA的另一个数据输出端连接在策略方案库3的一个数据输入端口上，每个小区级信号控制单元ZCA的另一个数据输出端连接在策略方案库3的另一个数据输入端口上，区域级信号控制单元RCA的数据输出端口连接在策略方案库3的又一个数据输入端口上，策略方案库3的数据输出端口连接在策略解释器4的数据输入端上，策略解释器4的数据输出端分别连接在每一个道路交叉口信号灯控制器2的数据输入端。

每个道路交叉口设置一个交通运行状态信息检测装置1和一个道路交叉口信号灯控制器2。道路交叉口信号灯控制器2按照周期执行道路交叉口信号控制任务，每个交叉口级信号控制单元ICA接收来自对应道路交叉口本周期现场交通运行状态的检测信息，根据检测到的道路交叉口现场交通运行状态，进行模糊神经推理，生成下一周期道路交叉口信号控制任务的控制建议方案并将其传送给策略方案库3，同时把交叉口的交通状态和该组内各个交叉口间的协调因子传给与其相连的小区级信号控制单元ZCA；每个小区级信号控制单元ZCA接收与其相连的交叉口级信号控制单元ICA传送来的交通状态和各个交叉口间的协调因子，进行模糊神经推理，对这些交叉口进行仲裁和冲突协商，生成小区级控制建议方案并将其传送给策略方案库3，同时把小区的交通状态和小区间的协调因子传送给区域级信号控制单元RCA；区域级信号控制单元RCA接收与其相连的小区级信号控制单元ZCA传送来的小区的交通状态和小区间的协调因子，进行模糊神经推理，对小区间交通进行仲裁和冲突协商，最终生成区域级的信号控制建议方案，以上三种信号控制建议方案在策略方案库3进行综合处理和协调，最终形成整体的信号控制方案。策略解释器4将该方案分解形成每个道路交叉口信号控制任务，传送到各个路交叉口信号灯控制器，作为下一个周期道路交叉口信号控制任务予以执行。

本发明的基于分级多智能体(Multi-Agent)架构的交通信号控制***，把城市范围内某一“面控”区域划分为多个交通控制小区，每个交通控制小区又划分为多个信号控制的交叉口。因而，一个“面控”区域包含三个层级的信号控制与协调，即区域级、小区级和交叉口级。每个交叉口的信号方案决策者被表示为一个交叉口级的控制Agent(称为ICA)；每个交通控制小区对应一个小区级信号控制Agent(称为ZCA)，负责管理该交通控制小区内的多个ICA；每个交通控制区域对应一个区域级信号控制Agent(称为RCA)，负责管理该控制区域内多个ZCA以及ZCA所对应的多个ICA。

在每个交通信号控制周期(指一个道路交叉口的信号灯完成一个信号变换循环)结束时，各个交叉口级的信号控制Agent(ICA)接收来自对应交叉口现实交通环境的检测信息，包括：交叉口各个进口车道的占有率、车流量和车流量的变化率。每个ICA会根据检测到的对应交叉口的交通运行状态，进行模糊神经推理，从而生成下一个信号评估周期的信号控制方案。更高一级的小区信号控制Agent(ZCA)将会对其所管辖范围内的ICA的信号控制建议方案进行仲裁和冲突协商，从而生成小区级的信号控制方案。小区级的信号控制方案会在更高一级的区域级信号控制Agent(RCA)处得到仲裁和冲突协商，从而最终生成区域级的信号控制方案，该方案也就是下一周期各个交叉口所最终采取的信号控制方案。

本发明具有分级协调控制、模糊神经推理与协商、强化学习演化、实时数据采集支持的优点。能有效地对特定区域范围内的信号交叉口实行协调控制，从而最大限度的保障区域范围内的交通快速、通畅运行。本发明全面考虑了整体区域的交通情况，解决了现有技术仅以行车延误、停车次数和通畅度指数为目标调控交通通行情况，不能对整体交通情况进行全面反映的问题。

附图说明

图1是本发明的结构示意图，图2是实施方式二和三中小区级信号控制单元ZCA的结构示意图，图3是实施方式二中ZCA的FNDM模块结构示意图，图中：O_i＝交叉口i的占有率；F_i＝交叉口i的交通流；R_i＝交叉口i的交通流改变率；ICF_i＝交叉口i的交叉口协调因子；CF_i＝协调水平j；Spi＝信号策略I；W_nij＝连接第n层结点到下一层结点i的权重，图3中附图标记为20的是信号策略推理引擎，附图标记是21的是协调因子推理引擎，SP的值是与重心法所选信号策略相一致的值，CF的值是与重心法所选协调因子相一致的值。图4是车道占有率的模糊隶属度函数，图5是交通流量的模糊隶属度函数关系图，图6是交通流量变化率的模糊隶属度函数关系图，图7是ORL模块的构成示意图。

具体实施方式

具体实施方式一：下面结合图1具体说明本实施方式。本实施方式包括多个交通运行状态信息检测装置1、多个道路交叉口信号灯控制器2、多个交叉口级信号控制单元ICA、多个小区级信号控制单元ZCA、区域级信号控制单元RCA、策略方案库3和策略解释器4，每个交通运行状态信息检测装置1与一个道路交叉口信号灯控制器2相邻设置，每个交通运行状态信息检测装置1的数据输出端连接一个交叉口级信号控制单元ICA的数据输入端，所有的交叉口级信号控制单元ICA分成多个组，每组内的交叉口级信号控制单元ICA的一个数据输出端都连接在一个小区级信号控制单元ZCA的数据输入端上，所有的小区级信号控制单元ZCA的一个数据输出端都连接在区域级信号控制单元RCA的数据输入端上，每个交叉口级信号控制单元ICA的另一个数据输出端连接在策略方案库3的一个数据输入端口上，每个小区级信号控制单元ZCA的另一个数据输出端连接在策略方案库3的另一个数据输入端口上，区域级信号控制单元RCA的数据输出端口连接在策略方案库3的又一个数据输入端口上，策略方案库3的数据输出端口连接在策略解释器4的数据输入端上，策略解释器4的数据输出端分别连接在每一个道路交叉口信号灯控制器2的数据输入端。

策略方案库3是一个动态的数据库，能够存储每个周期各个交叉口所最终采取的信号推荐策略。每个周期后，先前的推荐策略将更新为一组新的策略。通过使用策略方案库，在所推荐的策略集被传给策略解释器之前，高层的控制单元可以执行仲裁和冲突化解。

策略解释器4将给定的策略集合解释为动作，这些动作可能导致各种信号配时参数的调整，诸如相位时长、绿时差协调等。

下面解释信号控制策略：在本发明所提出的分级多智能体交通控制架构中，各级控制单元通过选择和执行信号控制策略来控制其所管辖范围内的交叉***通流的分布。每个控制单元必须根据它对所管辖区域内当前交通需求的感知来推荐不同的信号控制策略。信号控制策略一共分为3个等级：ICA级、ZCA级和RCA级。

RCA级的信号控制策略属于最高级别，可以影响该区域内所有交叉口的信号控制。而ICA级的信号控制策略属于最低级别，仅可以影响自身所管辖的交叉口的信号控制。总的来说，每个信号控制策略集合包含8个信号控制策略，从而对应交叉***通状态的8个数值。每个信号控制策略主要关心两个问题：(1)当前相位绿灯时间的调整；(2)相对于参照交叉口的绿时差调整。ICA的信号控制策略对于其所管辖的交叉口的交通状态比较敏感，因此可以对其信号控制策略的绿灯时间作出较大调整，相反，RCA所管辖的范围较大，为了不造成整体信号配时的突变，只能对绿灯时间作出适度的调整。下面的表1、表2和表3给出了3类信号控制策略集合的细节。

表1

表2

表3

在每个周期交通信号控制方案中，各级控制单元所推荐的信号控制策略都被存储在策略库中。在一个周期结束时，高级别的信号控制策略拥有优先的仲裁权，进而选择具体交叉口在下一个周期内所应该执行的信号控制策略。

控制单元的信号控制策略一经选择，那么控制单元会根据小区级或区域级的协调策略动态调整相位的协调绿时差，例如表1至3中SCA和RCA的第6，7，8条策略。

本发明所提出的分级多智能体交通信号协调控制架构，其实现的基础来源于所研究区域范围内交叉口实时交通状态信息的检测。包括交叉口各个进口道的车道占有率、车流量和车流量的变化率。这些信息可以由埋设在交叉口各进口道停车线处的线圈检测器检测得到。

具体实施方式二：下面结合图2和图3具体说明本实施方式。本实施方式与实施方式一的不同点是：所述小区级信号控制单元ZCA包括模糊神经决策模块7，模糊神经决策模块7以与其相连的交叉口级信号控制单元ICA采集的当前交通运行状态的检测信息为一路输入，以组内每个交叉口级信号控制单元ICA所管辖交叉口之间的协调因子(即交叉口保持畅通的重要性权重)为另一路输入，制定小区级的控制建议方案和生成该小区的交通运行状态；生成的小区级控制建议方案发送给策略方案库3，而小区间的协调因子(即该小区保持畅通的重要性权重)和小区的交通运行状态作为输入参数传送给区域级信号控制单元RCA。

各级信号控制Agent都拥有一个模糊神经决策模块(Fuzzy-Neural Decision Making，FNDM)。该模块由一个知识库和一个推理引擎组成。RCA、ZCA和ICA的FNDM模块具有相同结构，但是输入和输出不同。图3给出了一个典型ZCA的模糊神经推理模块的结构。图4、图5和图6给出了用于模糊推理的三参数(车道占有率、交通流量以及交通流量变化率)的隶属度函数。

FNDM模块包含了两个功能模型，分别是：(1)信号策略推理引擎，用于生成信号控制策略；(2)协调因子推理引擎，用于生成与同级相邻Agent之间的协调因子。FNDM的模块结构遵循的是多层前馈神经网络模式，用于模拟Agent的模糊推理机制。FNDM模块结构包含了5个层级，5个层级之间分别是模糊化、延伸、推论和解模糊化过程。

第1层为交通状态信息输入层。该层表达了交叉口各个进口道的占有率、流量、流量变化率和协调因子。占有率、流量、流量变化率信息的获取是来自于现实交通环境中的检测器，而协调因子则由该交叉口的控制Agent(ICA)模糊推理生成；

第2层为交通状态信息模糊层。该层将定量的交通状态信息和协调因子信息，采用图5，6和7的隶属度函数将其转模糊化为3类模糊变量，分别是：高、中和低。

第3层为交通状态信息的延伸层。该层将上一层的交通状态模糊变量进一步延伸，采用T规则将高、中、低所表征的交通状态和协调因子映射为交通负荷水平：高负荷、中负荷和低负荷和协调水平：高协调、中协调和低协调。

第4层为交通状态信息的推论层。该层将上一层的交通负荷状态进一步映射到交通信号控制方案的调整和协调方案的生成上。在该层和上一层之间采用了S-规则。

第5层为解模糊化过程。该层负责将上一层调整的信号控制方案以及生成的协调方案进行解模糊化处理，从而得到一个具体的数值来对应具体的信号方案和协调水平。

具体实施方式三：下面结合图2具体说明本实施方式。本实施方式与实施方式一的不同点是：它还包括改进算法模糊关系生成器6，算法模糊关系生成器6的数据输入端连接模糊神经决策模块7的数据输出端，算法模糊关系生成器6的数据输出端连接模糊神经决策模块7的数据输入端。

改进算法模糊关系生成器6中能产生模糊规则的演化生成算法，它属于ZCA的学***；当模糊神经决策模块7中的算法结果从效果上达不到某要求(如交叉口的延误时间超过了要求)时，启动改进算法模糊关系生成器6，通过参数之间进行交叉变异的遗传变异算法等，选取新的参数，传送给模糊神经决策模块7，从而改进模糊神经决策模块的推理逻辑。

具体实施方式四：下面结合图1具体说明本实施方式。本实施方式与实施方式一的不同点是：它还包括在线强化学习和预测状态模块5，在线强化学习和预测状态模块5的数据输入端连接区域级信号控制单元RCA的数据输出端以获得区域交通状态参数，在线强化学习和预测状态模块5的数据输出端连接区域级信号控制单元RCA的数据输入端以把强化结果传送给区域级信号控制单元RCA。

各级控制单元需要不断的学习，从而优化自身的推理逻辑。强化学习是一个有引导的尝试-改正-再尝试的过程，从而使得各级控制单元能够根据自身的目标，不断将环境从一个状态转化为另一个状态。图7给出了在线强化学习的模块构成。在线强化学习模块(Online Reinforcement Learning，ORL)的功能是：基于FNDM模块的执行效果(通过Paramics微观交通仿真获得)，更新各级Agent的知识库和FNDM模块的推理规则。

ORL模块采用类似于FNDM模块的模糊神经结构。下面给出了ORL模块的一条模糊规则：

If{(全局平均占有率is High)并且(全局平均流量is High)并且(全局平均流量变化率isHigh)}Then{(交通负荷is High)并且(拥堵预期is High)}

如果上述规则的条件得以满足，在解模糊化过层中很有可能选择一个高交通拥挤状态的值，从而表示交叉口、小区或区域的拥挤交通条件。交通状态可以视为交叉口、小区或区域平均交叉口延误的定性描述，十分类似交叉口服务水平的概念。交叉***通状态的值采用1到8的整数来表征。1为最好的状态，8为最差的状态。因此，ORL模块比较当前交通状态估值S_c和先前评估周期内的交通状态值S_p之间的差异，从而进行强化学习。强化学习按照控制Agent的等级向下反向传播，也就是从RCA到ZCA再到ICA的传播。对于各级控制Agent而言，强化学习信号R的生成参照公式(1)：

R＝λ(S_c-S_p)-(S_c-S_b)            (1)

其中，λ是交通状态改变敏感常数；S_c是当前交通状态估值；S_b是最佳交通状态估值；S_p是前一周期交通状态估值。为了保持强化学习信号为正数，有必要定义S_c＞S_p并且λ(S_c-S_p)＞(S_c-S_b)。采用反向传播技术，神经元i与神经元j之间的权重ΔW_ij变化值如公式(2)：

${\mathrm{\ΔW}}_{\mathrm{ij}}=-\mathrm{\η}\left(\frac{\∂R}{\∂W_{\mathrm{ij}}}\right)=\mathrm{\η}{S}_j{Y}_i---\left(2\right)$

其中，η是学习率；S_j是神经元j的梯度；Y_i是神经元i的输出值。也就是，

$S_j=R_j{\mathrm{\φ}}_j^l\left(V_j\right)---\left(3\right)$

$V_j=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\left(W_{\mathrm{ij}}{Y}_i\right)---\left(4\right)$

其中，m是神经元j的输入变量数；R_j神经元j处的反向传播的强化学习值；φ_j是神经元j的转换函数。上角标l表示φ_j的一阶倒数。对于神经网络的隐藏层，右侧拥有k个神经元的隐藏神经元i的局部梯度S_i表达为：

$S_i={\mathrm{\φ}}_j^l\left(V_i\right)\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{S}_j{W}_{\mathrm{ij}}---\left(5\right)$

其中：

$V_i=\underset{n=1}{\overset{p}{\mathrm{\Σ}}}\left(W_{\mathrm{nj}}{Y}_n\right)---\left(6\right)$

其中，p是神经元i的输入变量数。因此，如果一个神经元所代表的一个模糊关系很好的匹配了一个特定的交通条件，那么它将接收到一个正的强化学习信号R，并且相应的增加该神经元的权重。

此外，ORL模型还可以评估FNDM模块的性能。这种评估要能很好的反映交通控制问题的动态特性。这可以通过另外一个交通状态估计器来完成。这里采用Webster延误公式进行交叉口、小区或区域范围内交叉口平均延误的估计。每个交通信号方案评估周期结束时，每个ICA都会以线圈检测器检测到的进口道交通流量为输入，通过Webster公式进行交叉口平均延误的计算。交叉口的平均延误等于每个进口道的延误乘以各自的交通流量。相应地，小区级的平均交叉口延误和区域级的交叉口延误都是依据所管辖交叉口的平均延误乘以各自流量而得到。最后，一个完整区域范围内的交叉口平均延误被归结为一个从1到8的状态变量。由此，可以得到ORL模块的状态估计误差E，如下式：

由此，E会作为反向传播信号替代强化学习信号R，从而实现ORL模块中的权重调整。

Claims (4)

1.一种基于分级多智能体架构的交通信号控制***，其特征在于它包括多个交通运行状态信息检测装置(1)、多个道路交叉口信号灯控制器(2)、多个交叉口级信号控制单元ICA、多个小区级信号控制单元ZCA、区域级信号控制单元RCA、策略方案库(3)和策略解释器(4)，每个交通运行状态信息检测装置(1)与一个道路交叉口信号灯控制器(2)相邻设置，每个交通运行状态信息检测装置(1)的数据输出端连接一个交叉口级信号控制单元ICA的数据输入端，所有的交叉口级信号控制单元ICA分成多个组，每组内的交叉口级信号控制单元ICA的一个数据输出端都连接在一个小区级信号控制单元ZCA的数据输入端上，所有的小区级信号控制单元ZCA的一个数据输出端都连接在区域级信号控制单元RCA的数据输入端上，每个交叉口级信号控制单元ICA的另一个数据输出端连接在策略方案库(3)的一个数据输入端口上，每个小区级信号控制单元ZCA的另一个数据输出端连接在策略方案库(3)的另一个数据输入端口上，区域级信号控制单元RCA的数据输出端口连接在策略方案库(3)的又一个数据输入端口上，策略方案库(3)的数据输出端口连接在策略解释器(4)的数据输入端上，策略解释器(4)的数据输出端分别连接在每一个道路交叉口信号灯控制器(2)的数据输入端；

每个道路交叉口设置一个交通运行状态信息检测装置(1)和一个道路交叉口信号灯控制器(2)；道路交叉口信号灯控制器(2)按照周期执行道路交叉口信号控制任务，每个交叉口级信号控制单元ICA接收来自对应道路交叉口本周期现场交通运行状态的检测信息，根据检测到的道路交叉口现场交通运行状态，进行模糊神经推理，生成下一周期道路交叉口信号控制任务的控制建议方案并将其传送给策略方案库(3)，同时把交叉口的交通状态和该组内各个交叉口间的协调因子传给与其相连的小区级信号控制单元ZCA；每个小区级信号控制单元ZCA接收与其相连的交叉口级信号控制单元ICA传送来的交通状态和各个交叉口间的协调因子，进行模糊神经推理，对这些交叉口进行仲裁和冲突协商，生成小区级控制建议方案并将其传送给策略方案库(3)，同时把小区的交通状态和小区间的协调因子传送给区域级信号控制单元RCA；区域级信号控制单元RCA接收与其相连的小区级信号控制单元ZCA传送来的小区的交通状态和小区间的协调因子，进行模糊神经推理，对小区间交通进行仲裁和冲突协商，最终生成区域级的信号控制建议方案，以上三种信号控制建议方案在策略方案库(3)进行综合处理和协调，最终形成整体的信号控制方案；策略解释器(4)将该方案分解形成每个道路交叉口信号控制任务，传送到各个路交叉口信号灯控制器，作为下一个周期道路交叉口信号控制任务予以执行。

2.根据权利要求1所述的一种基于分级多智能体架构的交通信号控制***，其特征在于所述小区级信号控制单元ZCA包括模糊神经决策模块(7)，模糊神经决策模块(7)以与其相连的交叉口级信号控制单元ICA采集的当前交通运行状态的检测信息为一路输入，以组内每个交叉口级信号控制单元ICA所管辖交叉口之间的协调因子为另一路输入，制定小区级的控制建议方案和生成该小区的交通运行状态；生成的小区级控制建议方案发送给策略方案库(3)，而小区间的协调因子和小区的交通运行状态作为输入参数传送给区域级信号控制单元RCA。

3.根据权利要求2所述的一种基于分级多智能体架构的交通信号控制***，其特征在于它还包括改进算法模糊关系生成器(6)，改进算法模糊关系生成器(6)的数据输入端连接模糊神经决策模块(7)的数据输出端，改进算法模糊关系生成器(6)的数据输出端连接模糊神经决策模块(7)的数据输入端。

4.根据权利要求1所述的一种基于分级多智能体架构的交通信号控制***，其特征在于它还包括在线强化学习和预测状态模块(5)，在线强化学习和预测状态模块(5)的数据输入端连接区域级信号控制单元RCA的数据输出端以获得区域交通状态参数，在线强化学习和预测状态模块(5)的数据输出端连接区域级信号控制单元RCA的数据输入端以把强化结果传送给区域级信号控制单元RCA。

Images