CN110322695B - 一种基于深度学习的短时交通流预测方法 - Google Patents

Abstract

首先对天气数据和交通路口过车数据进行分析和预处理，输入到门限循环神经网络(GRU)中提取到交通流的高阶特征，之后将所述高阶特征输入到梯度提升决策树回归模型(GBDT)中进行短时交通流预测。本发明可以对交通流数据进行更加深入的挖掘分析，而且把输出层改为GBDT后，可以有效的提高短时交通流预测的准确率。

Description

一种基于深度学习的短时交通流预测方法

技术领域

本发明属于交通预测技术领域，特别涉及一种基于深度学习的短时交通流预测方法。

背景技术

随着社会各界与日俱增的交通运输需求，交通运输在经济发展中的作用越来越明显，交通拥堵问题成为制约社会发展的一个瓶颈，因而，如何有效地解决交通拥堵问题已成为世界各国政府最棘手的也是最急需解决的难题之一。

短时交通流预测是交通管理和控制部门采取交通诱导措施的主要依据，为了更好的实时性反映交通状态，基于短时交通流量预测模型的研究成为近几十年来流量预测研究的重点。随着新技术的不断发展，智能化***的广泛应用，对于大数据的处理和交通预测模型的精度提出了更高的要求。实时、准确的交通流预测，可以有效的提高交通的通行效率和安全性，并且方便管理部门主动的进行交通规划，并采取合理的交通诱导措施。

传统的交通流预测方法有支持向量机，决策树，卷积神经网络，循环神经网络等，这些交通流预测方法大部分都是只提取交通流的时空特征，而忽略了影响交通流的潜在特征，比如天气特征，速度特征，节假日时间特征等，而且没有对交通流数据进行深入的分析，从而无法获得更加准确的预测。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于深度学习的短时交通流预测方法，加入了影响交通流的潜在特征，可以对交通流数据进行更加深入的挖掘，使得预测出来的效果更加精准。

为了实现上述目的，本发明采用的技术方案是：

一种基于深度学习的短时交通流预测方法，首先对交通流数据进行预处理，然后将预处理的数据输入到门限循环神经网络(GRU)中进行训练，提取得到交通流数据的高阶特征，最后将所述高阶特征输入到梯度提升决策树回归模型(GBDT)中进行短时交通流预测。

所述交通流数据包括天气数据和交通路口过车数据，以车辆速度特征、前一时刻的交通流量特征、节假日时间特征和天气特征作为交通流特征，所述交通路口过车数据包括车辆速度、车辆id、监测点id和车辆行驶时间，所述预处理方法是：假设一个城市某个区域有n个路口，路口集合R＝{r₁,r₂,...,r_i,...,r_n}，将一天的24个小时划分为288个5分钟长的时间片t₁,t₂,...,t_j,...,t₂₈₈，第i个路口r_i在第j个时间片t_j的交通流量为num_ij。

所述车辆速度特征是路口每5分钟的车辆速度平均值；所述前一时刻的交通流量特征是按照时间序列排列的某一时刻前4个时间片的交通流量，所述天气特征包括天气状况和风力两个因素，所述天气状况划分为3类，分别为晴或者多云，雨，雾，用W1，W2，W3表示，所述风力划分为4个级别，分别为微风，大风，暴风，台风，用A1，A2，A3，A4表示；所述节假日时间特征中，将工作日记为W，将节假日记为H，工作日里的工作时间记为WWT，工作日里的上下班高峰时间记为WGT，工作日的早高峰前和晚高峰后时间记为WQT，其余时间记为WDT；节假日的日间时间记为HFT，其余时间记为HRT。

所述将预处理的数据输入到门限循环神经网络(GRU)中进行训练的过程是：

1)将交通流数据集输入到GRU中；

2)计算各层的更新门、重置门、当前记忆内容和最终记忆内容的值；

3)使用AdaMax优化算法训练网络模型；

4)将训练好的GRU模型中隐含层最后一层的特征提取出来输入到GBDT回归算法对短时交通流进行预测。

所述2)中，在时间片t，更新门z_t＝σ(w_z·[h_t-1，x_t])，其中σ为Sigmoid激活函数，x_t为输入的交通流特征向量，h_t-1保存的是前一个时间片t-1的信息，x_t和h_t-1均经过一个与权重矩阵w_z相乘的线性变换，之后相加投入Sigmoid激活函数以输出激活值；

重置门r_t＝σ(w_r·[h_t-1，x_t])，x_t和h_t-1均经过一个与权重矩阵w_r相乘的线性变换，之后相加投入Sigmoid激活函数以输出激活值；

当前记忆内容

其中tanh为双曲正切激活函数，

为当前记忆内容的权重，h_t-1为前一时间片隐藏层的值，x_t为输入的交通流特征向量，

为当前记忆内容的偏置，输入x_t先与h_t-1经过一个与权重矩阵

相乘的线性变换，计算重置门r_t与h_t-1的乘积，即r_t与h_t-1的对应元素乘积，然后再投入tanh；

当前时间片的最终记忆

所述2)中，所述使用AdaMax优化算法训练网络模型的方法如下：

AdaMax是Adam的一种变体，它是随机梯度下降的扩展式。此方法对学习率的上限提供了一个更简单的范围。令，

其中W_t为t时刻的门限循环神经网络权重，W_t-1为t-1时刻门限循环神经网络的权重，α为学习率，ε为非常小的数，以防止在实现中除以零，b_t为t时刻的门限循环神经网络偏置，b_t-1为t-1时刻门限循环神经网络的偏置，v_t指的是梯度的指数移动均值在时间t的更新，

为m_t的纠正；

m_t＝β₁·m_t-1+(1-β₁)·g_t

m_t是梯度的指数移动均值，通过梯度的一阶矩求得，g_t为目标函数的t时刻一阶偏导，g_t-1为目标函数的t-1时刻的一阶偏导，i为迭代时间，β₁，β₂是常数，控制指数衰减，

表示β₁的t次方，

表示β₂的p次方，|g_t|^p为g_t绝对值的p次方；

令p→∞并定义

v_t＝lim_p→∞(v_t)^1/p

然后将计算出来的v_t，

带入W_t，b_t公式中对权重和偏置进行更新，利用上述描述的AdaMax优化算法更新网络权重w和偏置b，直到模型收敛，最终模型训练完成后提取出GRU隐层最后一层的特征h作为交通流的高阶特征，h＝{(h₁，y₁)，(h₂，y₂)，...，(h_m，y_m)}。

所述将高阶特征输入到梯度提升决策树回归模型(GBDT)中进行短时交通流预测的过程如下：

初始化弱学习器f₀(h)，

其中，L为损失函数，y_i为交通流量标签，c为使损失函数极小化的常数值，m为训练样本数；

当迭代次数n＝1，2，...，N(其中N为最大迭代次数)有：

1.对于样本i＝1，2，...，m，计算负梯度

利用(h_i，r_nj)拟合一颗CART回归树，得到第n棵回归树，其对应的叶子节点区域为R_nj，j＝1，2，...，J，其中J为第n棵回归树的叶子节点的个数；

2.对于叶子节点区域j＝1，2，...，J，计算最佳拟合值

更新强学习器

其中：

得到强学习器f(h)

式中f_N(h)为达到最大迭代次数N时更新的强学习器，f(h)即最终的短时交通流预测结果。

本发明通过GRU模型对交通流数据进行训练，本发明使用深圳交警提供的数据，数据量约为60GB，包括20天的交通数据和天气信息。通过深度学习模型提取出交通流数据的本质特征，并且输入到GBDT回归算法中进行预测。与传统的交通流预测模型相比，本发明所提出的模型可以实现对交通流数据更加深入的挖掘，提取出人工无法提取出来的交通流的本质特征，并且输出层改为GBDT回归算法进行预测，比传统的sigmoid函数预测出来的结果精确值提高了12％，从而有效地缓解交通拥堵、提高道路的通行效率。

附图说明

图1是本发明预测流程示意图。

图2是本发明GRU模型的结构示意图。

图3是本发明采用AdaMax算法优化GRU模型时的预测流程示意图。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

本发明为一种基于深度学习的短时交通流预测方法，交通流信息的实时性和可靠性直接关系到交通控制与管理的效果，因而实现对道路交通流的实时掌握和准确预测就成为运用智能交通技术解决交通问题的一个重要基础。由于短时交通流的预测与前几个时刻的交通流量息息相关，因此本发明采用了适用于时间序列方面预测的门限循环神经网络(GRU)，并结合梯度提升决策树回归模型(GBDT)实现了较为精准的短时交通流预测。

具体地，本发明的一个实施例如图1所示，步骤如下：

1、对交通流数据进行预处理；

2、然后将预处理的数据输入到门限循环神经网络(GRU)中进行训练，提取得到交通流数据的高阶特征；

3、将该高阶特征输入到梯度提升决策树回归模型(GBDT)中进行短时交通流预测。

本发明可以对交通流数据进行更加深入的挖掘分析，而且把输出层改为GBDT后，可以有效提高短时交通流预测的准确率。

实际生活中影响城市交通状态的因素是非常复杂的，它受不同城市的发展情况和人口数量等影响。同时不同时间段人们的出行状况对交通流也有很大的影响，例如在上班高峰期，节假日外出旅行，高速免费通行容易发生交通拥堵。另外天气状况对交通状况也有直接的影响，例如在大雨天，大雪天更容易发生交通拥堵，而同一车道的交通速度对交通状态也有一定的影响。因此，本发明以车辆速度特征、前一时刻的交通流量特征、节假日时间特征和天气特征作为交通流特征。

具体而言，步骤1中所提到的交通流数据包括：天气数据和交通路口过车数据，交通路口过车数据包括车辆速度，车辆id，监测点id和车辆行驶时间等。交通流数据预处理的具体方法是，假设一个城市某个区域有n个路口，路口集合R＝{r₁,r₂,...,r_i,...,r_n}，将一天的24个小时划分为288个5分钟长的时间片t₁,t₂,...,t_j,...,t₂₈₈，即将影响交通流量的数据按每五分钟时间段进行划分，第i个路口r_i在第j个时间片t_j的交通流量为num_ij。

天气特征主要包括天气状况和风力两个因素，依据现有的研究，天气状况和风力大小的值会影响交通流量的大小。根据气象局天气状况划分标准将天气状况划分为3类，分别为晴或者多云，雨，雾，用W1，W2，W3表示，根据气象局风力等级划分标准，将风力划分为4个级别，分别为微风(0-5)、大风(6-8)、暴风(9-11)、台风(>11)，用A1，A2，A3，A4表示。据经验来考虑，工作日、节假日以及工作日里的工作时间、上下班高峰时间和节假日里用餐、娱乐出行时间为主要影响因子。根据数据统计，节假日时间特征中，将工作日记为W，将节假日记为H，工作日里的工作时间(9:00～17:00)记为WWT，工作日里的上下班高峰时间(7:00～9:00，17:00～20:00)记为WGT，工作日的早高峰前和晚高峰后时间(6：00～7：00，20：00～22：00)记为WQT，其余时间记为WDT；节假日的日间时间(10:00～21:00)记为HFT，其余时间记为HRT。

车辆速度特征对交通流预测也有很大的影响，将路口每5分钟的车辆速度平均值作为车辆速度特征；前几个时间段的交通流量对未来时刻交通流量的预测也有重要的影响，将按照时间序列排列的某一时刻前4个时间片的交通流量作为前一时刻的交通流量特征，例如r_i在t_j的前4个时间片的交通流量为num_ij-1，num_ij-2，num_ij-3，num_ij-4，排列作为前一时刻的交通流量特征。

在步骤2中，需要利用门限循环神经网络(GRU)从预处理的数据训练提取得到交通流数据的高阶特征，其具体方法主要是将交通流特征输入到GRU中，然后计算各层的更新门、重置门、当前记忆内容和最终记忆内容的值，GRU模型中隐含层最后一层的特征提取出来即得该高阶特征。

GRU是LSTM网络的一种变体，它较LSTM网络的结构更加简单，而且效果也很好，在LSTM中引入了三个门函数：输入门、遗忘门和输出门来控制输入值、记忆值和输出值。而在GRU模型中只有两个门：分别是更新门和重置门，具体结构如图2所示。

(1)更新门

在时间片t，首先需要使用以下公式计算更新门z_t：

z_t＝σ(w_z·[h_t-1，x_t])

其中σ为Sigmoid激活函数，x_t为输入的交通流特征向量，h_t-1保存的是前一个时间片t-1的信息，x_t和h_t-1均经过一个与权重矩阵w_z相乘的线性变换，之后相加投入Sigmoid激活函数以输出激活值，因此将激活结果压缩到0到1之间。更新门帮助模型决定到底要将多少过去的信息传递到未来，或到底前一时间片和当前时间片的信息有多少是需要继续传递的。这一点非常强大，因为模型能决定从过去复制所有的信息以减少梯度消失的风险。

(2)重置门

本质上来说，重置门主要决定了到底有多少过去的信息需要遗忘，可以使用以下表达式计算：

r_t＝σ(w_r·[h_t-1，x_t])

该表达式与更新门的表达式是一样的，只是线性变换的参数和用处不一样。如前面更新门所述，x_t和h_t-1均经过一个与权重矩阵w_r相乘的线性变换，之后相加投入Sigmoid激活函数以输出激活值。

(3)当前记忆内容

在重置门的使用中，新的记忆内容将使用重置门储存过去相关的信息，它的计算表达式为：

其中tanh为双曲正切激活函数，

为当前记忆内容的权重，h_t-1为前一时间片隐藏层的值，x_t为输入的交通流特征向量，

为当前记忆内容的偏置，输入x_t先与h_t-1经过一个与权重矩阵

相乘的线性变换，计算重置门r_t与h_t-1的乘积，即r_t与h_t-1的对应元素乘积，因为前面计算的重置门是一个由0到1组成的向量，它会衡量门控开启的大小，然后再投入tanh。

(4)当前时间片的最终记忆

在最后一步，网络需要计算h_t，该向量将保留当前单元的信息并传递到下一个单元中。在这个过程中，需要使用更新门，它决定了当前记忆内容h_t和前一时间片h_t-1中需要收集的信息是什么。这一过程可以表示为：

z_t为更新门的激活结果，它同样以门控的形式控制了信息的流入。z_t与h_t-1的Hadamard乘积表示前一时间片保留到最终记忆的信息，该信息加上当前记忆保留至最终记忆的信息就等于最终门控循环单元输出的内容。

门控循环单元不会随时间而清除以前的信息，它会保留相关的信息并传递到下一个单元，因此它利用全部信息而避免了梯度消失问题。

在步骤3中，将步骤2输出的高阶特征输入到梯度提升决策树回归模型(GBDT)中进行短时交通流预测，过程如下：

初始化弱学习器f₀(h)，

其中，L为损失函数，y_i为交通流量标签，c为使损失函数极小化的常数值，m为训练样本数；

当迭代次数n＝1，2，...，N(其中N为最大迭代次数)有：

1.对于样本i＝1，2，...，m，计算负梯度

利用(h_i，r_nj)拟合一颗CART回归树，得到第n棵回归树，其对应的叶子节点区域为R_nj，j＝1，2，...，J，其中J为第n棵回归树的叶子节点的个数；

2.对于叶子节点区域j＝1，2，...，J，计算最佳拟合值

更新强学习器

其中：

得到强学习器f(h)

式中f_N(h)为达到最大迭代次数N时更新的强学习器，f(h)即最终的短时交通流预测结果。

参考图3，在本发明的另一个实施例中，门限循环神经网络(GRU)的训练使用AdaMax优化算法，AdaMax是Adam的一种变体，它是随机梯度下降的扩展式。此方法对学习率的上限提供了一个更简单的范围，训练方法如下：

令，

其中W_t为t时刻的门限循环神经网络权重，W_t-1为t-1时刻门限循环神经网络的权重，α为学习率，ε为非常小的数，以防止在实现中除以零，b_t为t时刻的门限循环神经网络偏置，b_t-1为t-1时刻门限循环神经网络的偏置，v_t指的是梯度的指数移动均值在时间t的更新，

为m_t的纠正；

m_t＝β₁·m_t-1+(1-β₁)·g_t

m_t是梯度的指数移动均值，通过梯度的一阶矩求得，g_t为目标函数的t时刻一阶偏导，g_t-1为目标函数的t-1时刻的一阶偏导，i为迭代时间，β₁，β₂是常数，控制指数衰减，

表示β₁的t次方，

表示β₂的p次方，|g_t|^p为g_t绝对值的p次方；

令p→∞并定义

v_t＝lim_p→∞(v_t)^1/p

然后将计算出来的v_t，

带入W_t，b_t公式中对权重和偏置进行更新，利用上述描述的AdaMax优化算法更新网络权重w和偏置b，直到模型收敛，最终模型训练完成后提取出GRU隐层最后一层的特征h作为交通流的高阶特征，h＝{(h₁，y₁)，(h₂，y₂)，...，(h_m，y_m)}。

利用上述方法，本发明使用深圳交警提供的数据，数据量约为60GB，包括20天的交通数据和天气信息，处理好的交通流数据为：{(x₁，y₁)，(x₂，y₂)，...，(x_m，y_m)}，其中x_i表示i时间片的交通流流量特征，y_m表示其对应的交通流量预测标签，m表示样本个数，通过GRU提取出交通流数据的本质特征{(h₁，y₁)，(h₂，y₂)，...，(h_m，y_m)}，其中h_i为GRU隐藏层最后一层提取出来的特征，之后将其输入到GBDT回归算法中进行预测。我们使用平均绝对误差(MeanAbsolute Deviation，MAE)和均方根误差(Root Mean Squard Error，RMSE)作为评价指标。公式如下所示：

其中m为样本个数，y_i为样本标签实际值，

为样本预测值。预测模型的实验结果表现中，MAE与RMSE值越小，则预测模型的预测效果越好。

下表给出传统GRU预测结果和GRU-GBDT的预测结果。

表1不同模型的预测结果

从上表可以看出GRU-GBDT预测出来的MAE值和RMSE值都比GRU中sigmoid预测层预测出来的值要小很多，预测效果更好。

Claims (4)

1.一种基于深度学***均值；所述前一时刻的交通流量特征是按照时间序列排列的某一时刻前4个时间片的交通流量，所述天气特征包括天气状况和风力两个因素，所述天气状况划分为3类，分别为晴或者多云，雨，雾，用W1，W2，W3表示，所述风力划分为4个级别，分别为微风，大风，暴风，台风，用A1，A2，A3，A4表示；所述节假日时间特征中，将工作日记为W，将节假日记为H，工作日里的工作时间记为WWT，工作日里的上下班高峰时间记为WGT，工作日的早高峰前和晚高峰后时间记为WQT，其余时间记为WDT；节假日的日间时间记为HFT，其余时间记为HRT；所述将预处理的数据输入到门限循环神经网络(GRU)中进行训练的过程是：

1)将交通流数据集输入到门限循环神经网络(GRU)中；

2)计算各层的更新门、重置门、当前记忆内容和最终记忆内容的值；

3)使用AdaMax优化算法训练网络模型；

4)将训练好的门限循环神经网络(GRU)模型的输出层改为梯度提升决策树回归算法，将训练好的门限循环神经网络(GRU)模型中隐含层最后一层的特征提取出来输入到梯度提升决策树回归算法对短时交通流进行预测。

2.根据权利要求1所述基于深度学习的短时交通流预测方法，其特征在于，所述2)中，在时间片t，更新门z_t＝σ(w_z·[h_t-1,x_t])，其中σ为Sigmoid激活函数，x_t为输入的交通流特征向量，h_t-1保存的是前一个时间片t-1的信息，x_t和h_t-1均经过一个与权重矩阵w_z相乘的线性变换，之后相加投入Sigmoid激活函数以输出激活值；

重置门r_t＝σ(w_r·[h_t-1,x_t])，x_t和h_t-1均经过一个与权重矩阵w_r相乘的线性变换，之后相加投入Sigmoid激活函数以输出激活值；

当前记忆内容

其中tanh为双曲正切激活函数，

为当前记忆内容的权重，h_t-1为前一时间片隐藏层的值，x_t为输入的交通流特征向量，

为当前记忆内容的偏置，输入x_t先与h_t-1经过一个与权重矩阵

相乘的线性变换，计算重置门r_t与h_t-1的乘积，即r_t与h_t-1的对应元素乘积，然后再投入tanh；

当前时间片的最终记忆

3.根据权利要求1所述基于深度学习的短时交通流预测方法，其特征在于，所述2)中，所述使用AdaMax优化算法训练网络模型的方法如下：

AdaMax是Adam的一种变体，它是随机梯度下降的扩展式，此方法对学习率的上限提供了一个更简单的范围；令，

其中W_t为t时刻的门限循环神经网络权重，W_t-1为t-1时刻门限循环神经网络的权重，α为学习率，ε为非常小的数，以防止在实现中除以零，b_t为t时刻的门限循环神经网络偏置，b_t-1为t-1时刻门限循环神经网络的偏置，v_t指的是指数移动均值在时间t的更新，

为m_t的纠正；

m_t＝β₁·m_t-1+(1-β₁)·g_t

m_t是梯度的指数移动均值，通过梯度的一阶矩求得，g_t为目标函数的t时刻一阶偏导，g_t-1为目标函数的t-1时刻的一阶偏导，i为迭代时间，β₁,β₂是常数，控制指数衰减，

表示β₁的t次方，

表示β₂的p次方，|g_t|^p为g_t绝对值的p次方；

令p→∞并定义

v_t＝lim_p→∞(v_t)^1/p

然后将计算出来的v_t，

带入W_t，b_t公式中对权重和偏置进行更新，利用上述描述的AdaMax优化算法更新网络权重w和偏置b，直到模型收敛，最终模型训练完成后提取出门限循环神经网络(GRU)隐层最后一层的特征h作为交通流的高阶特征，h＝{(h₁,y₁),(h₂,y₂),…,(h_m,y_m)}，y₁,y₂,…,y_m为第1,2,…,m个交通流量标签，m为训练样本数。

4.根据权利要求1所述基于深度学习的短时交通流预测方法，其特征在于，所述将高阶特征输入到梯度提升决策树回归模型(GBDT)中进行短时交通流预测的过程如下：

初始化弱学习器f₀(h)，

其中，L为损失函数，y_i为第i个交通流量标签，c为使损失函数极小化的常数值，m为训练样本数；

当迭代次数n＝1,2,…,N，N是最大迭代次数：

(1)、对于样本i＝1,2,…,m，计算负梯度

利用(h_i,r_nj)拟合一颗CART回归树，得到第n棵回归树，其对应的叶子节点区域为R_nj,j＝1,2,…,J，其中J为第n棵回归树的叶子节点的个数；

(2)、对于叶子节点区域j＝1,2,…,J，计算最佳拟合值

更新强学习器

其中：

得到强学习器f(h)

式中f_N(h)为达到最大迭代次数N时更新的强学习器，f(h)即最终的短时交通流预测结果。

Images