CN111402576A - 一种基于深度学习的城市道路交通状态预测*** - Google Patents

Abstract

一种基于深度学***均车速信息、气温信息、降水概率信息、拥堵长度信息；所述预处理模块基于拉格朗日插值方法与归一化方法进行交通数据预处理，获取用于交通预测的可靠数据，所得数据存入记忆库模块，并根据所述可靠数据构建神经网络，从而构建交通状态的深度循环学习网络。

Description

一种基于深度学习的城市道路交通状态预测***

技术领域

本发明属于城市交通***分析与交通状况预测领域，具体涉及一种基于深度学习的城市道路交通状态预测***。

背景技术

随着城市化发展，交通基础设施与汽车保有量之间的矛盾更加严峻，拥堵问题更加严重，不可避免地导致经济损失、出行时间耗费并加剧环境污染。交通拥堵的治理首在预防，根据道路的现有交通状态预测出短时间内的交通状态变化趋势，并对可能出现的拥堵现象进行预警；然后利用交通广播、微博等信息平台发出预警，疏导车辆合理选择行驶路线、加强秩序管理，以避免拥堵或缓解拥堵程度。因此，如何建立长效模型对交通拥堵进行及时预警是城市智能交通***优化的研究热点。

国内外对于交通拥堵预测的研究成果诸多，主要有基于时间序列相关的预测分析、机器学习预测以及多分类组合预测等方法，但都存在不同程度的缺陷。如非参数回归方法是基于大量的历史数据并构建诸多假设条件，因此难于适用于具有非线性特性的交通流；基于多层感知神经网络和反向传播神经网络模型有效性有所提升，但训练过程时间长且容易陷入局部最优；基于机器学习的预测方法大多在处理大数据上缺少鲁棒性，导致模型普遍缺乏长效性和扩展能力；基于深度学习来模拟人脑的多层感知结构来认识数据模式的学习方法，一方面加快了数据处理的速度，一方面未考虑到交通流参数高维状态引起的维度灾难问题。

城市交通状态的预测是一个高维度问题。随着交通数据指数级上升，对模型提出更高的要求。基于一种改进的时间循环神经网络(Recurrent Neural Network,RNN)，长短时记忆(Longshort-term memory,LSTM)可以学习时间序列的长期依赖信息，其深度除了体现在输入和输出之间，还体现在跨时间步上，适合于捕获交通流、速度等交通状态参数中的时空演变规律。该模型的使用，将完美解决数据维度高、量级大、分析速度慢等问题。

发明内容

本发明要解决的技术问题是提出一种基于深度学习的城市道路交通状态预测***，利用历史的数据预测未来的交通状态及延迟指数的方法，克服数据量过大、梯度***、梯度消失等问题，综合考虑交通多维数据的应用，进一步提升交通延迟预测的效率。

为实现上述目的，本发明的技术方案是：一种基于深度学习的城市道路交通状态预测***，利用如下模块实现预测：交通环境模块、记忆库模块、神经网络模块、训练提升网络模块、可视化模块、交互模块；

所述交通环境模块包括采集模块、预处理模块，所述采集模块采集城市道路位置信息、高峰期平均车速信息、气温信息、降水概率信息、拥堵长度信息；所述预处理模块基于拉格朗日插值方法与归一化方法进行交通数据预处理，获取用于交通预测的可靠数据，所得数据存入记忆库模块，并根据所述可靠数据构建神经网络，从而构建交通状态的深度循环学习网络；具体预处理方法如下：

通过拉格朗日插值方法进行异常值插补，删除部分无效数据、异常数据，从而提升数据的价值性，将数据转换成列表，构成矩阵，实现将tensor转成3维，作为LSTM cell进行输入；拉格朗日插值函数公式如下：

式中，y_i表示为i-1次的多项式，x_i表示对应i点的参数。

通过归一化函数实现数据的精确化处理，用于避免数据在分析过程中不同属性之间的小数据被大数据受到较大影响，由此保证测试结果的准确性和可靠性，归一化函数表达式如下：

X.normalize＝(X-X.mean)/X.std

式中，X.normalize表示归一化数据，X.mean表示均值，X.std表示标准差。

所述训练提升网络模块基于LSTM算法与Q-Learning，实现DRQN的训练方法；具体步骤如下：选取训练集与测试集，确定输出输入变量及网络层数，确定初始权值和阈值、学习速率、激活函数以及训练函数、训练神经网络模型，当反馈达到Q值表最优状态后停止网络训练，若不满足，进行参数值的修正与调整，调整参数使得预测、输入测试集数据得到最佳预测结果，分析预测结果得出最终的预测结果；

所述交互模块包括：将最佳预测结果选取前三条交互至所述可视化模块，从而为用户提供道路出行信息。

进一步的，所述方法还包括：对预测结果进行操作，得到可视化的损失函数曲线图以及Q-value图。

进一步的，所述方法还包括：预测结果与设置参数敏感度关联，利用三因素三水平正交试验进行测评，三因素为learning_rate、reward_delay、e_greedy，记为A/B/C，对应水平为0.01/0.03/0.05、0.9/0.8/0.7、0.9/0.8/0.7，将损失曲线的降幅程度作为优解判断依据；将A、B固定在A₁、B₁水平上，与C的三个水平进行搭配A₁B₁C₁、A₁B₁C₂、A₁B₁C₃，若A₁B₁C₃最优，则取定C₃水平，让A₁与C₃固定，再分别与B因素的两个水平搭配A₁B₂C₃、A₁B₃C₃，试验后若A₁B₂C₃最优，取定B₂、C₃两个水平，做两次试验A₂B₂C₃、A₃B₂C₃，若A₃B₂C₃最优，即为最佳水平组合。

利用LSTM算法与Q-Learning进行交通延迟指数预测分析的算法步骤包括：

1)：初试化DRQN网络结构，参数是q，初试化目标网络，参数q'＝q；

2)：初试化贪心参数、学习率、奖励、衰减系数、迭代次数、每个迭代轮数T、训练、神经网络参数轮换周期；

3)：forepisodeinEpisodesdo；

4)：初试化交通状态S_t＝S₀；

5)：Fort从0到T；

6)：选择行为(输出一个整数，范围在(0到2^n_features-1)):以1-epsilon的概率选择a_t＝argmax_aQ(s,a,θ)，epsilon的概率随机选择行为a_t；

7)：行为确定好后，在数据表中找到符合这个行为的所有状态s_all，然后从s_all中随机选择一个作为s_t+1(如果在s_all中找不到符合条件的，则重新确定行为)，然后根据s_t以及s_t+1来计算奖励r_t；

8)：将经验(s_t,a_t,r_t,s_t+1)放入记忆池中；

9)：随机拿出batchsize个数据，分别计算q_eval以及q_next；

10)：构造y＝r₁+gmax_a+1Q(s_t+1,a|q)→q_target；

11)：根据q_eval以及q_target，反向传播提升网络q；

12)：如果迭代次数为transter_cycle的整数倍，就更新q'＝q；

13)：当前状态＝s_t+1

14)：达到单轮次game最大迭代次数T时停止该轮次训练，重新回到交通状态初试化；

15)：end for；

16)：end for。

相较于现有技术，本发明具有以下有益效果：为交通科研人员和交通管理者提供了一种基于深度Q学习的交通状态预测方法；为交通规划者和政府部门提供可靠预测数据，便于提前进行路线调整和交通管理，减少人力与物力资源浪费；为道路使用者与驾驶员提供了实时数据，便于及时调整路线规划，减少道路拥堵与实践浪费；利用该方法不仅仅局限于交通拥堵预测，还可以用于交通量、分布情况等多种交通状态预测，实用性强。

附图说明

图1是本发明实例中预测执行的整体流程，包含输入层、隐含层以及输出层。

图2是本发明实例中基于深度学习的交通状态预测流程图。

图3是本发明实例中利用本发明所提出的方法预测生成的损失曲线图。

图4是本发明实例中利用本发明所提出的方法预测生成的Q-value图。

具体实施方式

为了使本发明的目的、技术方案以及优势更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明的基本思路在于，针对交通数据高维度的特征，先对数据进行归一化与拉格朗日插值法的预处理，基于Python的语言平台构建深度强化学习网络，利用LSTM的算法来缓解Q值表数据存储与分析的压力，通过训练集不断地训练、学习、记忆以及强化来提升网络对交通数据处理的敏感度，最终预测未来交通延迟指数及交通状态，并通过调整学习速率、贪婪系数以及延迟指数来研究预测结果与参数的敏感程度，选择最优结果。

本发明的应用实例如图2所示，基于拉格朗日插值方法排除空缺数据以及异常数据，最终从所有的交通数据组中筛选出1650条有效数据用于训练和预测，基于归一化的方法将减小不同性质的小数据被大数据影响的程度，使得所有交通数据区间位于[0,1]内，提升最终预测精确度。其公式如下：

拉格朗日插值函数公式

X.normalize＝(X-X.mean)/X.std，归一化函数公式

如图1以及图2所示，本发明的实施例基于多维交通数据，构建深度循环Q学习网络，并利用LSTM算法与Q-Learning，实现DRQN的训练方法，实现的步骤如下所示：

该表是本次分析数据样本

(1)根据实施例数据分析、可视化以及平台搭建需要，引入Numpy、Pandas、Matplotlib、Tensorflow的应用库，构建基本库。

(2)如图2所示，网络的构建中，首先需要交通环境模块，深度强化学习模块、记忆库模块以及神经网络模块用于支持数据的训练过程，训练提升网络模块、损失函数模块、测试数据模块都用于整个训练与预测的过程。

(3)初试化DRQN网络结构，初试化目标网络，参数q'＝q。

(4)参数的初试化。令学习速率＝0.01，延迟奖励系数＝0.9，贪婪系数＝0.9，batchsize＝15，初始权重和阈值区间[0,1]，激活函数用Sigmoid函数，训练函数用Adam，最大迭代次数T。

(5)初试化交通状态S_t＝S_o。

(6-1)选择行为。以1-epsilon的概率选择，其中epsilon的概率随机选择行为a

(6-2)行为确定好后，在训练集数据表中找到符合这个行为的所有状态s_all，从中随机选择一个行为作为s_t+1(如果s_all中找不到符合条件的，就重新确定行为)，随后根据s₁以及s_t+1来计算奖励r_t

(7)随机拿出batchsize个数据，分别计算q_eval、q_next和q_target

(8)当迭代次数为transter_cycle的整数倍，就更新q'＝q

(9)当达到最大迭代次数时停止该轮次训练。

本发明的实施例提取预测数据执行操作，预测指标的获取与可视化。

完成上述步骤后，预测结果的获取与可视化主要包括两个部分，第一部分是损失函数的可视化，第二部分是Q-value的可视化。损失函数曲线图反应训练过程的价值程度及损失消耗，Q-value图反应预测结果的高效益性。如图3、图4所示。

本发明的实施例分析预测结果与设置参数的敏感度关联。

利用三因素三水平正交试验进行测评，三因素为learning_rate、reward_delay、e_greedy，记为A/B/C，对应水平为0.01/0.03/0.05、0.9/0.8/0.7、0.9/0.8/0.7，将损失曲线的降幅程度作为优解判断依据。

第一次试验参数的选择及最优结果(第一组)

第二次试验参数的选择及最优结果(第一组)

第三次试验参数的选择及最优结果(第二组)

由此得到了当学习速率＝0.03，延迟奖励系数＝0.9，贪婪系数＝0.9时可以得到最优化预测结果，即为本次实施例的最终预测值。

以上所述仅为本发明的实施例，并非因此限制本发明的保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域内，均同理包括在本发明的保护范围内。

Claims (4)

1.一种基于深度学习的城市道路交通状态预测***，其特征在于：利用如下模块实现预测：所述交通环境模块、所述记忆库模块、神经网络模块、训练提升网络模块、可视化模块、交互模块；

所述交通环境模块包括采集模块、预处理模块，所述采集模块采集城市道路位置信息、高峰期平均车速信息、气温信息、降水概率信息、拥堵长度信息；所述预处理模块基于拉格朗日插值方法与归一化方法进行交通数据预处理，获取用于交通预测的可靠数据，所得数据存入记忆库模块，并根据所述可靠数据构建神经网络，从而构建交通状态的深度循环学习网络；具体预处理方法如下：

通过拉格朗日插值方法进行异常值插补，删除部分无效数据、异常数据，从而提升数据的价值性，将数据转换成列表，构成矩阵，实现将tensor转成3维，作为LSTM cell进行输入；拉格朗日插值函数公式如下：

式中，

表示为

次的多项式，

表示对应

点的参数；

通过归一化函数实现数据的精确化处理，用于避免数据在分析过程中不同属性之间的小数据被大数据影响，由此保证测试结果的准确性和可靠性，归一化函数表达式如下：

式中，

表示归一化数据，

表示均值，

表示标准差；

所述训练提升网络模块基于LSTM算法与Q-Learning，实现DRQN的训练方法；具体步骤如下：选取训练集与测试集，确定输出输入变量及网络层数，确定初始权值和阈值、学习速率、激活函数以及训练函数、训练神经网络模型，当反馈达到Q值表最优状态后停止网络训练，若不满足，进行参数值的修正与调整，调整参数使得预测、输入测试集数据得到最佳预测结果，分析预测结果得出最终的预测结果；

所述交互模块包括：将最佳预测结果选取前三条交互至所述可视化模块，从而为用户提供道路出行信息。

2.根据权利要求1所述的交通状态预测方法；其特征在于：所述方法还包括：对预测结果进行操作，得到可视化的损失函数曲线图以及Q-value图。

3.根据权利要求1所述的交通状态预测方法，其特征在于：所述方法还包括：预测结果与设置参数敏感度关联，其特征在于：

利用三因素三水平正交试验进行测评，三因素为learning_rate、reward_delay、e_greedy，记为A/B/C，对应水平为 0.01/0.03/0.05、0.9/0.8/0.7、0.9/0.8/0.7，将损失曲线的降幅程度作为优解判断依据；将A、B固定在 A₁、B₁水平上，与C的三个水平进行搭配A₁B₁C₁、A₁B₁C₂、A₁B₁C₃，若A₁B₁C₃最优，则取定C₃水平，让A₁与C₃固定，再分别与B因素的两个水平搭配A₁B₂C₃、A₁B₃C₃，试验后若A₁B₂C₃最优，取定 B₂、C₃两个水平，做两次试验A₂B₂C₃、A₃B₂C₃，若A₃B₂C₃最优，即为最佳水平组合。

4.根据权利要求1所述的交通状态预测方法，其特征在于：

利用LSTM算法与Q-Learning进行交通延迟指数预测分析的算法步骤包括：

1)：初试化DRQN网络结构，参数是q，初试化目标网络，参数q'＝q；

2)：初试化贪心参数、学习率、奖励、衰减系数、迭代次数、每个迭代轮数T、训练、神经网络参数轮换周期；

3)：forepisodeinEpisodesdo；

4)：初试化交通状态S_t＝S₀；

5)：Fort从0到T；

6)：选择行为(输出一个整数，范围在(0到2^n_features-1)):以1-epsilon的概率选择a_t＝argmax_aQ(s,a,θ)，epsilon的概率随机选择行为a_t；

7)：行为确定好后，在数据表中找到符合这个行为的所有状态s_all，然后从s_all中随机选择一个作为s_t+1(如果在s_all中找不到符合条件的，则重新确定行为)，然后根据s_t以及s_t+1来计算奖励r_t；

8)：将经验(s_t,a_t,r_t,s_t+1)放入记忆池中；

9)：随机拿出batchsize个数据，分别计算q_eval以及q_next；

10)：构造y＝r₁+gmax_a+1Q(s_t+1,a|q)→q_target；

11)：根据q_eval以及q_target，反向传播提升网络q；

12)：如果迭代次数为transter_cycle的整数倍，就更新q'＝q；

13)：当前状态＝s_t+1

14)：达到单轮次game最大迭代次数T时停止该轮次训练，重新回到交通状态初试化；

15)：end for；

16)：end for。

Images