CN105096614A - 基于生成型深信度网络的新建路***通流量预测方法 - Google Patents

Abstract

基于生成型深信度网络的新建路***通流量预测方法，属于短期交通流量预测技术领域。本发明是为了解决目前针对新建路口进行交通流量预测存在的数据少，预测精度低的问题。它首先基于深度学习理论和受限的玻尔兹曼机，建立一个具有144输入与144输出结构的生成型深信度网络回归模型；所述新建路口所属城市的成熟路口数据对深信度网络回归模型进行预训练，获得深信度网络回归预训练模型；再利用新建路口的预存实际交通流量数据对深信度网络回归预训练模型继续进行精调，获得最终深信度网络回归模型；采集新建路口的当前实际交通流量数据，采用最终深信度网络回归模型对新建路口的交通流量进行在线预测。本发明用于新建路***通流量预测。

Description

基于生成型深信度网络的新建路***通流量预测方法

技术领域

本发明涉及基于生成型深信度网络的新建路***通流量预测方法，属于短期交通流量预测技术领域。

背景技术

随着城镇化水平的提高和经济的快速发展，交通需求迅速增加，交通拥堵问题在全球范围内日趋严重。交通拥堵直接影响出行者的出行时间和成本，更为严重的是，因延误带来的旅行时间增加导致经济损失和环境污染影响增大，造成城市活力下降。交通拥堵直接造成能源的额外消耗和经济损失，汽车出行时间的延长导致了额外燃料的消耗，从而增加了汽车尾气的排放。因此，交通拥堵也是导致环境污染日益加剧的因素之一，也是近年来雾霾天气频繁出现的原因之一。此外，交通拥堵也是导致交通事故发生的重要原因之一。解决交通拥堵，提高交通***活力已成为全球密切关注，急需解决的难题。

然而由于经济、环境、社会以及资金等因素的限制，处理城市交通问题只靠扩建城市道路和在城市中央地区大批拆迁后再拓建、新建设施是非常困难和不现实的。需要进行有效规划并充分发挥现有道路设施的效率才能充分利用新建和已有的道路设施和资源。因此，为了缓解交通阻塞，提高路网通过能力，减少交通事故，降低能源消耗，减轻环境污染，实现人，车，路的和谐，以现代化，智能化技术管理和控制交通***的智能交通***ITS应运而生。交通流预测是一项非常重要的基础理论，对交通信息进行准确的预测，制定出更加完善的交通信息预报***来解决交通不畅问题的意义深远。然而，目前大部分研究都集中在对一些主干道的交通流量预测方面，这些路口的交通流量数据积累比较丰富，主要是为了提高交通流预测模型的准确度和可靠度。神经网络是目前应用比较广泛的一种典型常用模型，浅层网络其隐含层单元的个数随着输入的大小成指数增长；而对于多层神经网络，神经元个数只需要多项式级别的增长。同时，对于复杂的非线性映射问题，浅层神经网络很难学到这种关系，而深信度网络具有更加强大的学习能力，但是多层神经网络存在一定的应用局限性。经典的误差反向传播算法，是将训练问题看做一个优化问题，通过提出一个有监督的损失函数，通过梯度下降法与误差反向传播，调整参数和偏置，使得网络在训练集上损失函数最小。不幸的是，使用这种方法训练的深信度网络通常表现很差，比浅层网络的表现还要差。这在神经网络多年的发展中一直是一个制约性的问题。所以，目前将基于上述方法进行交通流量预测存在预测效果差的问题。

发明内容

本发明目的是为了解决目前针对新建路口进行交通流量预测存在的数据少，预测精度低的问题，提供了一种基于生成型深信度网络的新建路***通流量预测方法。

本发明所述基于生成型深信度网络的新建路***通流量预测方法，它包括以下步骤：

步骤一：基于深度学习理论和受限的玻尔兹曼机，建立一个具有144输入与144输出结构的生成型深信度网络回归模型；

步骤二：利用所述新建路口所属城市的成熟路口数据对深信度网络回归模型进行预训练，获得深信度网络回归预训练模型；所述成熟路口为交通流量数据积累成形的路口；

步骤三：再利用新建路口的预存实际交通流量数据对深信度网络回归预训练模型继续进行精调，通过预训练模型的非线性映射能力，学习得到预训练模型的序列之间的映射关系，获得最终深信度网络回归模型；

步骤四：采集新建路口的当前实际交通流量数据，采用最终深信度网络回归模型对新建路口的交通流量进行在线预测。

步骤一中生成型深信度网络回归模型的建立方法为：

通过受限的玻尔兹曼机的叠置构建具有144输入与144输出结构的深信度网络回归模型；该深信度网络回归模型为l层神经网络，以向量x＝h⁰表示原始输入，以h¹,……，h^l-1表示相应隐含层的输入，h^l表示输出层的输入；

其中，第l-1隐含层使用sigmoid函数并由受限的玻尔兹曼机构成，顶层激活函数使用纯线性函数；

对于原始输入x，l-1层隐含层和输出层的联合概率分布p(x,h¹,……,h^l)为：

$p(x,h^1,...\·\·\·,h^l)=\left(\underset{i=1}{\overset{l-1}{\Π}}p\right(h^{i-1}|h^i\left)\right)p(h^{l-1},h^l),$

其中，l为正整数；p(h^l-1,h^l)为h^l-1和h^l的联合概率分布，p(h^i-1|hⁱ)为h^i-1的后验概率。

步骤三中获得最终深信度网络回归模型的具体方法为：

步骤三一：采用逐层贪心方法，将步骤二中获得的深信度网络回归预训练模型分层，由下至上，再利用新建路口的预存实际交通流量数据对输入x的那一层进行无监督的训练；

步骤三二：所述无监督的训练结束后，使用有监督的学习对所述深信度网络回归预训练模型进行精调；

步骤三三：除了原始输入x的隐含层，以深信度网络回归预训练模型的输出作为监督信号，构造损失函数，采用梯度下降法对所述深信度网络回归预训练模型的其他隐含层进行有监督的训练，得到预训练模型的序列之间的映射关系，获得最终深信度网络回归模型。

步骤二中成熟路口数据为所属城市的相应路口近一年内的交通流量数据，其数据采集时间间隔为10min。

步骤三中预存实际交通流量数据为所述新建路口近1个月内的实际交通流量数据，其数据采集时间间隔为10min。

本发明的优点：本发明方法解决了城市新建路***通流量数据少、预测不可靠的问题：它结合深信度网络逐层训练的特点，首先利用其它路口数据对整个模型进行预训练，然后再利用新建路口的少量数据对模型进行精调；相对于现有方法中只用新建路口少量数据进行预训练和精调，本发明方法中模型精度显著提高，实现了新建路***通流量预测的可靠性。

附图说明

图1是本发明所述基于生成型深信度网络的新建路***通流量预测方法的流程图；

图2是具有五个隐含层深信度网络的结构示意图；

图3是本发明所述的受限的玻尔兹曼机的典型拓扑结构图。

具体实施方式

具体实施方式一：下面结合图1至图3说明本实施方式，本实施方式所述基于生成型深信度网络的新建路***通流量预测方法，它包括以下步骤：

步骤一：基于深度学习理论和受限的玻尔兹曼机，建立一个具有144输入与144输出结构的生成型深信度网络回归模型；

步骤二：利用所述新建路口所属城市的成熟路口数据对深信度网络回归模型进行预训练，获得深信度网络回归预训练模型；所述成熟路口为交通流量数据积累成形的路口；

步骤三：再利用新建路口的预存实际交通流量数据对深信度网络回归预训练模型继续进行精调，通过预训练模型的非线性映射能力，学习得到预训练模型的序列之间的映射关系，获得最终深信度网络回归模型；

步骤四：采集新建路口的当前实际交通流量数据，采用最终深信度网络回归模型对新建路口的交通流量进行在线预测。

本实施方式中，步骤二所述的成熟路口数据包括所属城市其它路口的大量实际交通流量数据；步骤三中预存实际交通流量数据是指新建路口的少量实际交通流量数据。

具体实施方式二：下面结合图1至图3说明本实施方式，本实施方式对实施方式一作进一步说明，步骤一中生成型深信度网络回归模型的建立方法为：

通过受限的玻尔兹曼机的叠置构建具有144输入与144输出结构的深信度网络回归模型；该深信度网络回归模型为l层神经网络，以向量x＝h⁰表示原始输入，以h¹,……，h^l-1表示相应隐含层的输入，h^l表示输出层的输入；

其中，第l-1隐含层使用sigmoid函数并由受限的玻尔兹曼机构成，顶层激活函数使用纯线性函数；

对于原始输入x，l-1层隐含层和输出层的联合概率分布p(x,h¹,……,h^l)为：

$p(x,h^1,...\·\·\·,h^l)=\left(\underset{i=1}{\overset{l-1}{\Π}}p\right(h^{i-1}|h^i\left)\right)p(h^{l-1},h^l),$

其中，l为正整数；p(h^l-1,h^l)为h^l-1和h^l的联合概率分布，p(h^i-1|hⁱ)为h^i-1的后验概率。

图2所示，为基于受限的玻尔兹曼机RBM所建的五个隐含层深信度网络的结构示意图。

受限的玻尔兹曼机是一个基于能量的生成型模型。其由一个输入层和一个隐含层构成，层内之间无连接，层间全连接。

受限的玻尔兹曼机可以表示成一个无向图的形式，如图3所示。其中，v为输入层，又称为可见层，h为隐含层，又称为重新表达层。

对于全体的可见层单元和隐含层单元，给定一个能量函数energy(v,h),其联合概率分布可以表示为：

$p(v,h)=\frac{e^{-energy(v,h)}}{Z},$

其中Z是一个归一化因子，其计算次数随着隐含层数目和输入层数目成指数次增长，因子在实际计算中很难计算出其真实分布。

受限的玻尔兹曼机的能量函数为：

$energy(v,h)=-h^{T}Wv-c^{T}v-b^{T}h=-\underset{k}{\Σ}{c}_k{v}_k-\underset{j}{\Σ}{b}_j{h}_j-\underset{jk}{\Σ}{w}_{jk}{v}_k{h}_j,$

其中，v_k表示第k个可见层单元，h_j表示第j个隐含层单元，w_jk表示二者的连接权值，c_k表示第k个可见层单元的阈值，b_j表示第j个隐含层单元的阈值。RBM的一个重要特性是：当给定其中一个层时另一个层的后验概率的计算是易于得到的。当给定可见层状态时，隐含层的激活概率为条件独立，其中第j个隐含层节点的概率为：

$p(h_j=1|v)=sigmoid(b_j+\underset{k}{\Σ}{w}_{jk}{h}_k),$

对于整个隐含层，为：

$p\left(h\right|v)=\underset{j}{\Π}p\left(h_j\right|v),$

同理，给定隐含层状态时，可见层第k个点的激活概率为：

$p(v_k=1|h)=sigmoid(c_k+\underset{j}{\Σ}{w}_{jk}{h}_j),$

对于整个可见层，概率为：

$p\left(v\right|h)=\underset{k}{\Π}p\left(v_k\right|h).$

为了训练一个RBM，需要计算相对于RBM参数的对数似然的负梯度。给定一个输入v⁰,对于参数θ的梯度表示为：

$\frac{\∂}{\∂\mathrm{\θ}}(-\log p(v^0\left)\right)=E_{p\left(h\right|v^0)}\[\frac{\∂energy(v^0,h)}{\∂\mathrm{\θ}}\]-E_{p(v,h)}\[\frac{\∂energy(v,h)}{\∂\mathrm{\θ}}\],$

其中，等式右边第一项表示在概率分布p(h|v⁰)下的期望，第二项表示在概率分布p(v,h)下的期望。对于给定的RBM，第一个期望值可以直接计算出来，但是第二项其对应着v和h的所有可能性取值，其组合数目呈禁止性的指数式关系，无法直接计算得到。针对这一问题，Hinton提出了对比散度法CD，可实现对第二个期望项的一种近似。

为实现这种近似有两个关键的要素：第一个是，为了估计第二个期望，需要将梯度用在某个特定数对(v,h)处的梯度唯一的表示。这个数对(v,h)理想情况下应该由分布p(v,h)采样得到，这样可以使得对梯度的估计是无偏的。然而，从一个RBM分布上准确采样并不像一个有向图模型上那样简单。事实上，必须依赖马尔科夫蒙特卡洛一类的方法。对于一个RBM，可以根据条件概率分布进行吉布斯采样Gibbssampling,然而步数较大的吉布斯采样计算量大效率低。于是第二个关键的因素是只使用较少次迭代的吉布斯采样，并使用v⁰作为可见层初始的状态。经验表明，只是用一次迭代的马尔科夫链在实际中表现较好。采样过程可以由下式表示：

其中和分别表示从概率p(hⁱ|vⁱ)和p(vⁱ⁺¹|hⁱ)上进行采样过程。通过以上过程对梯度进行估计即所谓的CD-1方法，当迭代的次数变为k时即所谓的CD-k方法。

考虑对权值矩阵中w_jk的梯度的估计，有：

$\frac{\∂energy(v,h)}{\∂w_{jk}}=-h_j{v}_k,$

于是基于CD-1采样估计的梯度公式可以写成：

$\begin{array}{c}{E}_{p\left(h\right|v^0)}\[\frac{\∂energy(v^0,h)}{\∂\mathrm{\θ}}\]-R_{p(v,h)}\[\frac{\∂energy(v,h)}{\∂\mathrm{\θ}}\]\\ =-E_{p\left(h\right|v^0)}\[h_j{v}_k^0\]+E_{p\left(h\right|v^1)}\[h_j^1{v}_k^1\]\\ -p\left(h_j\right|v^0)v_k^0+p\left(h_j\right|v^1)v_k^1.\end{array},$

以上的梯度估计过程，可以使用随机梯度下降法，在训练集中迭代选择v⁰进行参数的更新。对于偏置向量b和c的更新采用类似的过程，具体算法如下所示：

输入：训练样本x，RBM的权矩阵Wⁱ,偏置bⁱ和cⁱ，学习率η；

注释：a～p(·)表示a是从概率p(·)上得到的随机采样；

％设置RBM参数：

W←Wⁱ,b←bⁱ,c←cⁱ，

v⁰←x

$\widetilde{h^0\←\mathrm{sigmoid}(b+W{v}^0),}$

％采样过程：

h⁰～p(h|v⁰)

v¹～p(v|h⁰)

$\widetilde{h^1}\←\mathrm{sigmoid}(b+W{v}^1),$

％更新过程：

$W^i\←W^i+\mathrm{\η}(\widetilde{h^0}{\left(v^0\right)}^T-\widetilde{h^1}{\left(v^1\right)}^T)$

$b^i\←b^i+\mathrm{\η}(\widetilde{h^0}-\widetilde{h^1})$

$c^i\←c^i+\mathrm{\η}(v^0-v^1).$

具体实施方式三：下面结合图2和图3说明本实施方式，本实施方式对实施方式二作进一步说明，步骤三中获得最终深信度网络回归模型的具体方法为：

步骤三一：采用逐层贪心方法，将步骤二中获得的深信度网络回归预训练模型分层，由下至上，再利用新建路口的预存实际交通流量数据对输入x的那一层进行无监督的训练；

步骤三二：所述无监督的训练结束后，使用有监督的学习对所述深信度网络回归预训练模型进行精调；

步骤三三：除了原始输入x的隐含层，以深信度网络回归预训练模型的输出作为监督信号，构造损失函数，采用梯度下降法对所述深信度网络回归预训练模型的其他隐含层进行有监督的训练，得到预训练模型的序列之间的映射关系，获得最终深信度网络回归模型。

深信度网络DBN构建了一个生成型的模型，其中包含多层隐含层。输入观测数据x，底层的隐含层提取的是输入的低水平的特征，随着层数的向上，输入被不断地重新表达，其逐渐得到更抽象的特征。深度学习神经网络随着层数的向上增长，逐步进行重新表达，提取更加抽象但易于建模的特征，并把提取出的特征作为下一层的输入。

使用无监督的逐层贪心算法进行训练，通过其强大的非线性映射能力，旨在学习得到序列之间的映射关系。具体为：

逐层贪心学习算法的具体实现方式如下所示：

输入：训练集定义学习率ε，

初始化权值矩阵 $W_{\mathrm{jk}}^i~U({-a}^{-0.5},a^{-0.5}),a=\max \left(\right|{\hat{h}}^{i-1}|,{\hat{h}}^i|),$ bⁱ为0，

％预训练过程：

fori＝1:l,do

while预训练停止准则没有满足do

从训练集中选出输入xt

${\hat{h}}^0\left(x_t\right)\←x_t$

forj＝1:l-1,do

$a^j\left(x_t\right)=b^j+W^j{\hat{h}}^{j-1}\left(x_t\right)$

${\hat{h}}^j\left(x_t\right)=sigm\left(a^j\right(x_t\left)\right)$

endfor

使用作为输入，基于受限玻尔兹曼机理论对该层进行训练，更新权矩阵Wⁱ和偏置b^i-1,bⁱ：

endwhile

endfor

％精调过程：

while精调过程没有达到终止条件

从训练集中选择样本(x_t,y_t)

％前向传播

${\hat{h}}^0\left(x_t\right)\←x_t$

fori＝1:l,do

$a^i\left(x_t\right)=b^i+W^i{\hat{h}}^{i-1}\left(x_t\right)$

${\hat{h}}^i\left(x_t\right)=sigm\left(a^i\right(x_t\left)\right)$

endfor

$a^{l+1}\left(x_t\right)=b^{l+1}+W^{l+1}{\hat{h}}^j\left(x_t\right)$

$O\left(x_t\right)={\hat{h}}^{l+1}\left(x_t\right)=c_1{a}^{l+1}\left(x_t\right)+c_2$

％使用BP算法进行误差反向传播

endwhile。

具体实施方式四：本实施方式对实施方式一、二或三作进一步说明，步骤二中成熟路口数据为所属城市的相应路口近一年内的交通流量数据，其数据采集时间间隔为10min。

本实施方式中所属城市的相应路口流量数据可以采用同一城市不同的几个路口近一年月的交通流量数据。

具体实施方式五：本实施方式对实施方式一、二、三或四作进一步说明，步骤三中预存实际交通流量数据为所述新建路口近1个月内的实际交通流量数据，其数据采集时间间隔为10min。

为了验证本发明方法在交通流量预测领域的效果，对所建的交通日流量预测模型进行测试，测试结果的统计结果如表1所示。可以看出：采用其它路口数据对模型进行预训练比仅用短时间内的新建路口数据进行预训练的所得到的模型预测精度要高很多，然而，当其它路口数据量达到一定量以后，模型精度提高的程度变慢。

表1测试集交通流量天前预测平均误差

Claims (5)

1.一种基于生成型深信度网络的新建路***通流量预测方法，其特征在于，它包括以下步骤：

步骤一：基于深度学习理论和受限的玻尔兹曼机，建立一个具有144输入与144输出结构的生成型深信度网络回归模型；

步骤二：利用所述新建路口所属城市的成熟路口数据对深信度网络回归模型进行预训练，获得深信度网络回归预训练模型；所述成熟路口为交通流量数据积累成形的路口；

步骤三：再利用新建路口的预存实际交通流量数据对深信度网络回归预训练模型继续进行精调，通过预训练模型的非线性映射能力，学习得到预训练模型的序列之间的映射关系，获得最终深信度网络回归模型；

步骤四：采集新建路口的当前实际交通流量数据，采用最终深信度网络回归模型对新建路口的交通流量进行在线预测。

2.根据权利要求1所述的基于生成型深信度网络的新建路***通流量预测方法，其特征在于，步骤一中生成型深信度网络回归模型的建立方法为：

通过受限的玻尔兹曼机的叠置构建具有144输入与144输出结构的深信度网络回归模型；该深信度网络回归模型为l层神经网络，以向量x＝h⁰表示原始输入，以h¹,……，h^l-1表示相应隐含层的输入，h^l表示输出层的输入；

其中，第l-1隐含层使用sigmoid函数并由受限的玻尔兹曼机构成，顶层激活函数使用纯线性函数；

对于原始输入x，l-1层隐含层和输出层的联合概率分布p(x,h¹,······,h^l)为：

$p(x,h^1,\mathrm{......},h^l)=\left(\underset{i=1}{\overset{l-1}{\Π}}p\right(h^{i-1}\left|h^i\right))p(h^{l-1},h^l),$

其中，l为正整数；p(h^l-1,h^l)为h^l-1和h^l的联合概率分布，p(h^i-1|hⁱ)为h^i-1的后验概率。

3.根据权利要求2所述的基于生成型深信度网络的新建路***通流量预测方法，其特征在于，步骤三中获得最终深信度网络回归模型的具体方法为：

步骤三一：采用逐层贪心方法，将步骤二中获得的深信度网络回归预训练模型分层，由下至上，再利用新建路口的预存实际交通流量数据对输入x的那一层进行无监督的训练；

步骤三二：所述无监督的训练结束后，使用有监督的学习对所述深信度网络回归预训练模型进行精调；

步骤三三：除了原始输入x的隐含层，以深信度网络回归预训练模型的输出作为监督信号，构造损失函数，采用梯度下降法对所述深信度网络回归预训练模型的其他隐含层进行有监督的训练，得到预训练模型的序列之间的映射关系，获得最终深信度网络回归模型。

4.根据权利要求3所述的基于生成型深信度网络的新建路***通流量预测方法，其特征在于，步骤二中成熟路口数据为所属城市的相应路口近一年内的交通流量数据，其数据采集时间间隔为10min。

5.根据权利要求1、2、3或4所述的基于生成型深信度网络的新建路***通流量预测方法，其特征在于，步骤三中预存实际交通流量数据为所述新建路口近1个月内的实际交通流量数据，其数据采集时间间隔为10min。