CN110648527A - 一种基于深度学习模型的交通速度预测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习模型的交通速度预测方法，包括以下步骤：构建GCLSTM模型，以Seq2Seq模型作为模型基础，引入GCN模型分别对细胞层状态和隐藏层状态进行图卷积运算；将待预测路段前一段时刻的交通速度输入至GCLSTM模型中，经计算，输出未来一段时刻的预测交通速度。还公开了一种基于深度学习模型的交通速度预测方法，包括以下步骤：构建GLAT模型，以Seq2Seq模型作为模型基础，引入时间注意力机制对编码器每个时刻的隐含层向量进行关注，将待预测路段前一段时刻的交通速度输入至GLAT模型中，经计算，输出未来一段时刻的预测交通速度。这两个交通速度预测方法能够准确预测交通速度。

Description

一种基于深度学习模型的交通速度预测方法

技术领域

本发明属于交通监控领域，具体涉及一种基于深度学习模型的交通速度预测方法。

背景技术

实时准确的交通速度预测是智能交通***中的一项基本且具备挑战性的任务。现实世界中交通网络是大量纵横交错的道路组成，其中每个特定路段的交通都有可能受到其邻近路段的影响。道路的地理因素会影响其交通状况。例如，主路和小路的交通模式就不太一样，并且交通拥堵经常会发生在路口。但是，传统的交通预测模型旨在学习每条道路内的时间依赖性，它仅基于从每条道路观察到的先前交通速度来预测道路的未来交通速度。

如直接采用如附图1所示的Seq2Seq模型来预测交通速度，Seq2Seq 模型采用的是编码器-解码器的框架，其中编码器和解码器均由一个LSTM 组成。编码器将输入的交通速度序列映射成一个固定长度的上下文向量C，这个向量就可以看成是输入交通速度的特征向量，这个存储着过去时刻的交通速度信息的上下文向量将会传给解码器，解码器根据传入的上下文向量来生成特点的向量序列，从而预测未来一段时间的交通速度，其中 START向量是与速度向量维度相同的全零矩阵，用作解码器的初始输入向量，FC为全连接操作。该Seq2Seq模型仅是每条道路观察到的先前交通速度来预测道路的未来交通速度。因此忽略了邻近路段之间的空间依赖性的影响，或者说忽视了相关道路之间的信息共享。

此外，Seq2Seq模型存在一个很严重的问题：输入序列不论长短都会被编码器编码成一个固定长度的特征向量表示，而解码器则会受限于这个固定长度的向量表示。这个问题限制了模型的性能，序列输入时，随着序列的不断增长，原始根据时间步的方式的表现越来越差，这是由于原始的这种编码器-解码器模型设计的结构有一定缺陷，尤其是当输入序列比较长时，模型难以学到合理的向量表示，因此模型的性能会变得很差。

发明内容

鉴于上述，本发明提供了一种基于深度学习模型的交通速度预测方法，该交通速度预测方法能够准确预测交通速度。

本发明的技术方案为：

一种基于深度学习模型的交通速度预测方法，包括：

构建GCLSTM模型，以Seq2Seq模型作为模型基础，引入GCN模型分别对细胞层状态和隐藏层状态进行图卷积运算，即将t时刻的LSTM的隐藏层向量h_t以及cell层向量c_t分别作为2个GCN模型的输入，利用切比雪夫多项式T_k(x)得K阶的截断展开来近似滤波器g_θ，且利用滤波器g_θ对隐藏层向量h_t以及cell层向量c_t进行卷积操作，将GCN模型输出的新隐藏层向量

以及新cell层向量作为t+1时刻的LSTM的输入；

针对待预测路段，以每条路段作为一个节点，构建描述待预测路段周围路段的交通网络G，并定义交通网络G的链接矩阵A，根据链接矩阵A 构建滤波器g_θ：

将待预测路段前一段时刻的交通速度输入至GCLSTM模型中，经计算，输出未来一段时刻的预测交通速度。

该基于深度学习模型的交通速度预测方法引入GCN模型，将每个路段的交通状况受到周围其他道路交通状况的影响情况考虑进来，提升了交通速度的准确性。

还提供了一种基于深度学习模型的交通速度预测方法，包括以下步骤：

构建GLAT模型，以Seq2Seq模型作为模型基础，引入时间注意力机制对编码器每个时刻的隐含层向量进行关注，即计算解码器中当前时刻的隐藏层输出与输入的所有时刻的隐藏层向量之间的相似度分数score，并使用softmax对相似度分数进行归一化操作，使得所有相似度分数之和为 1，再通过相似度分数与输入的所有时刻的隐藏层向量进行加权求和，从而得到当前时刻得注意力向量a，该注意力向量a和当前时刻的隐藏层向量一起输入到全连接层中，经计算输出预测输出向量；

将待预测路段前一段时刻的交通速度输入至GLAT模型中，经计算，输出未来一段时刻的预测交通速度。

该交通速度预测方法在进行交通速度预测时，同时考虑了前一段时间的隐藏层向量，这样提升了交通速度的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是背景技术中Seq2Seq模型的结构示意图；

图2是本发明提供的GCLSTM模型的结构示意图；

图3为GCN的阶数K的说明示意图；

图4是本发明提供的GLAT模型的结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

如图1所示的现有Seq2Seq模型的结构示意图，Seq2Seq模型可以用于交通速度预测，其具体过程如下：

[h_t,c_t]＝LSTM₁(V_t,[h_t-1,c_t-1])(t＝1,2,...,T),

C＝[h_T,c_T],

START＝zero(V),

编码器中的LSTM单元用LSTM₁表示，前一时刻得到的隐藏层向量h_t-1，细胞层向量为c_t-1，然后将这两个向量与速度向量V_t一起输入到下一个 LSTM单元中得到新的h_t和c_t，以此类推。编码器最后一个时刻为T,将h_T和 c_T的的集合用C表示。解码器中的LSTM单元用LSTM₂表示，与编码器不同的是，t+1时刻输入的与速度向量维度相同的全0向量，每个LSTM₂单元得到的向量h_T+t'输入到全连接层FC得到预测的速度向量。

经研究发现，特定路段的交通可能受其邻近路段的影响，需要利用已知的交通路段的网络拓扑结构来进一步预测交通速度。但是，已知的 Seq2Seq预测模型旨在学***均速度进行预测的时候，不仅需要利用该条路段的先前T个时刻的速度信息，而且需要考虑周围邻近路段的速度信息对该条路段速度变化的影响，也就是说需要考虑交通网络的拓扑结构特征对整个交通网络所有路段的速度预测性能的影响。

为此，本实施例提供了一种基于深度学习模型的交通速度预测方法，该交通速度预测方法中，选择图卷积神经网络GCN来学习交通网络的拓扑结构来实现交通网络的特征提取，并学习每条路段的周围区域的路段对该路段的交通速度的影响，因此把GCN嵌入到Seq2Seq模型中去，形成如图2所示的GCLSTM模型。由于在GCLSTM模型中一直向前传递的细胞层状态和隐藏层状态能分别反映不同的状态信息，因此使用两个GCN 模型分别对细胞层状态和隐藏层状态执行图卷积运算。

具体地，图卷积神经网络GCN是直接作用于图的卷积神经网络，GCN 允许对结构化数据进行端到端的学习，通过学习网络的结构特征来对实现网络节点的特征提取。利用图卷积神经网络GCN来提取每个时刻的网络结构特征，图的谱卷积定义为输入信号x与滤波器g_θ＝diag(θ)相乘，而为了解决大网络里拉普拉斯矩阵的特征分解的复杂度高得问题，利用切比雪夫多项式T_k(x)得K阶的截断展开来近似滤波器g_θ：

其中，

表示t时刻一个重新调整的拉普拉斯矩阵，而 L_t＝I_N-D_t ^-0.5A_tD_t ^-0.5表示t时刻的拉普拉斯矩阵，A_t表示t时刻快照网络的邻接矩阵，D_t是A_t的度值矩阵，I_N是一个单位矩阵，λ_max定义为拉普拉斯矩阵L_t的最大特征值，θ_k定义为切比雪夫多项式的系数，切比雪夫多项式被递归的定义为T_k(x)＝2xT_k-1(x)-T_k-2(x)，其中T₀(x)＝1，T₁(x)＝x，k为阶数索引，K 为最大阶数，是一个超参数。

将t时刻的LSTM的隐藏层向量h_t以及cell层向量c_t分别作为2个 GCN模型的输入，利用滤波器g_θ对隐藏层向量h_t以及cell层向量c_t进行卷积操作，将GCN模型输出的新隐藏层向量

以及新cell层向量

作为t+1 时刻的LSTM的输入。

应用时，针对待预测路段，以每条路段作为一个节点，构建描述待预测路段周围路段的交通网络G，并定义交通网络G的链接矩阵A，根据链接矩阵A构建滤波器g_θ：

在构建链接矩阵A时，针对路段i和路段j，在路段i的结束节点的ID 与路段j的开始节点的ID相同的情况下：

如果两条路段的方向特征为0或者1，表示双行道，即定义路段i和路段j之间存在双向连接，即路段i可以通向路段j，同时路段也j可以通向路段i，在链接矩阵A表示下A(i,j)＝1，同时A(j,i)＝1，否则路段i和路段j之间不存在连接；

如果两条路段的方向特征都为2，即表示单行，且方向从起始节点到结束节点，则定义路段i可以通向路段j，在网络的邻接矩阵表示下A(i,j)＝1，但A(j,i)＝0；

如果两条路段的方向特征都为3，即表示单行，且方向从结束节点到起始节点，则定义路段j可以通向路段i，在网络的链接矩阵表示下A(j,i)＝1，但A(i,j)＝0；

在路段i的开始节点的ID与路段j的开始节点的ID相同的情况下：

如果两条路段的方面特征为0或1，即表示双行道，定义路段i和路段 j之间存在双向连接，即A(i,j)＝1，同时A(j,i)＝1；

如果路段i的方向特征为3且路段j方向特征为2，定义路段i可以通向路段j，在网络的链接矩阵表示下A(i,j)＝1，但A(j,i)＝0；

如果路段i的方向特征为2且路段j方向特征为3，定义路段j可以通向路段i，在网络的链接矩阵表示下A(j,i)＝1，但A(i,j)＝0。

构建好链接矩阵A后，相当于滤波器g_θ已构建好，将待预测路段前一段时刻的交通速度输入至GCLSTM模型中，经计算，输出未来一段时刻的预测交通速度。

当待预测路段前一段时刻的交通速度输入至GCLSTM模型中时， GCLSTM模型的具体实现过程为：

C＝[h_T,c_T],

START＝zero(V),

其中，

为对隐藏层向量h_t进行卷积操作的滤波器，

为对隐藏层向量c_t进行卷积操作的滤波器。

这样即可以实现考虑每个路段的交通状况受到周围其他道路交通状况的影响情况，进而实现对待测路段交通速度的预测。

值得注意的是，本实施例采用K阶的切比雪夫多项式来近似滤波器g_θ，可以利用距离中心节点最大K跳的节点的信息，因此K是一个非常重要的超参数。如图3所示，当K＝1的时候，只考虑节点6本身的信息；当K＝2 时，会考虑到1阶节点(1，5，7)信息对节点6的影响；当K＝3时，会额外考虑到1阶节点(1，5，7)以及2阶节点(2，4，8，12)的信息。当K 越大，可以考虑更大更广的领域节点与中心节点的关系，但是会大大增加计算量。一般情况下，选择K＝3。

由于在交通速度预测任务中，一般输入速度序列都比较长，因此为了解决Seq2Seq模型在编解码时都依赖于内部一个固定长度向量的限制而导致模型性能变差的问题，本实施例提出利用基于时间的注意力机制来改善已有的Seq2Seq模型，通过保留编码器中间输出的各个时刻输入序列对应的隐藏层向量表示，然后训练一个模型来对这些输入进行选择性的学习并且在模型输出时将输出序列向量与之进行关联。换一个角度而言，输出序列中的每一项的生成概率取决于在输入序列中选择了哪些项，没有注意力机制的编码器-解码器结构通常把编码器的最后一个隐藏层向量作为解码器的输入，但是编码器的隐藏层向量毕竟是有限的，存储不了太多的信息，因此对于解码的过程，每一个步骤都和编码器之前的输入没有特别强的关系了，只是与这个输入的隐藏层向量有关。引入基于时间的注意力机制之后，解码器就可以根据时刻的不同，让每一时刻的输出都与之前的输入进行匹配。

具体来说，如图4所示，以Seq2Seq模型作为模型基础，引入时间注意力机制对编码器每个时刻的隐含层向量进行关注，即计算解码器中当前时刻的隐藏层输出与输入的所有时刻的隐藏层向量之间的相似度分数 score，并使用softmax对相似度分数进行归一化操作，使得所有相似度分数之和为1，再通过相似度分数与输入的所有时刻的隐藏层向量进行加权求和，从而得到当前时刻得注意力向量a，该注意力向量a和当前时刻的隐藏层向量一起输入到全连接层中，经计算输出预测输出向量；

应用时，将待预测路段前一段时刻的交通速度输入至GLAT模型中，经计算，输出未来一段时刻的预测交通速度。当待预测路段前一段时刻的交通速度输入至GLAT模型中时，GLAT模型的具体实现过程为：

[h_t,c_t]＝LSTM₁(V_t,[h_t-1,c_t-1])(t＝1,2,...,T),

C＝[h_T,c_T],

H＝[h₁,h₂,...,h_T],

START＝zero(V),

a_T+t'＝score_T+t'·H,

其中，Wa为时间注意机制的权重矩阵。,

这样考虑了前一段时间的隐藏层向量实现了对交通速度的准确预测。

实验例

本实验选择了一个公开的大规模的交通数据集——Q-Traffic数据集，该数据集提供了交通速度数据以及各种离线和在线的附加信息。Q-Traffic 数据集中有三种附加信息：1)离线的地理和社会信息，包括节假日、早晚高峰、车道数、限速等级等；2)路网结构；3)在线地图查询信息。而Q-Traffic 数据集总共包括3个子数据集：查询子数据集、交通速度子数据集和路网子数据集。数据集介绍如下：

(1)查询子数据集

该查询子数据集的包含了北京市2017年4月1日至2017年5月31 日的地图查询信息，来源于百度地图。百度地图提供两种地图查询模式：一种称为“位置搜索”，其中包括特定地点的搜索；另一种称为“路径搜索”，它提供从一个位置到另一个位置的导航路线。该子数据集已经通过统计的方法进行了预处理操作，处理后数据集的统计数据大约1.14亿个用户查询，每个用户查询记录包括了起始时间戳，起始位置的坐标，目的地的坐标，估计的旅行时间(分钟)，其中一部分查询的数据集如表1所示。

表1查询子数据集例子

(2)交通速度子数据集

交通速度子数据集还收集与查询子数据集相同的时间段内以及相同的地图区域内的流量速度数据，都是在北京市2017年4月1日至2017年 5月31日时间内收集的。该子数据集包含了北京市总共45148个路段，覆盖范围大约738.91公里。表2显示了这些路段的统计情况，都是在北京的六环路范围内，这里是全北京最拥挤的地区。由于该交通速度子数据集来自于现实世界的城市区域，交通灯的状态将对每条路段的交通速度产生很大影响，导致每条路段的交通速度变化很大。例如，交通速度可能在连续两分钟之间达到20km/h的差距。因此为了使交通速度可预测，对于每个路段，交通速度都是通过15分钟的间隔进行采样的。

表2交通速度子数据集的统计

(3)路网子数据集

由于交通数据具有时空特性，每个特定路段的交通都有可能受到其邻近路段的影响，因此交通道路网络的拓扑结构可以有效的帮助每条特定路段的交通速度预测。路网子数据集就包含了北京市总共45148个路段之间的拓扑关系，表3显示了该路网子数据集的每个样本(即每条路段)的地理特征属性。对于交通速度子数据集中的每个路段，道路网络子数据集主要提供了该路段的起始节点和结束节点，基于这个拓扑关系就可以搭建对应交通道路网络。此外，该子数据集还提供了路段的各种地理属性，例如路段的宽度、长度、车速限制、车道的数量以及路段的行驶方向(或者说该路段是单行道还是双行道)。

表3每个路段的地理属性示例

为了评估提出的GCLSTM模型和GCN模型，通过对交通数据集的一系列实验来测试模型的性能，并与其他经典的交通速度预测方法进行比较。所有实验均在12G的英伟达GPU，32G的DDR运行内存的服务器上完成，该算法使用python编程语言编码。

本实验的数据集中交通速度以15分钟作为间隔进行采样的，一般来说，一天的交通速度序列可以作为预测未来2小时交通速度的输入数据。因此，在本实验里，模型的输入序列的长度为t＝96，输出序列的长度为t'＝8。对于Seq2Seq模型、GCLSTM模型以及GLAT模型，LSTM的隐藏状态的维度都被设置为128，并采用了Adam优化器来优化两个模型。在整个测试集中，一半数据(第一个月)用作训练集，另一半(第二个月)用于测试。所有的对比实验都是在TensorFlow框架下实现的。

由于该路网子数据集只是提供了如表3所示的每条路段对应的地理属性，并没有直接给出交通道路网络的网络拓扑结构，因此需要根据路网子数据集中给出的起始节点、结束节点以及路段的方向来搭建对应的交通网络。按照上述方法构建交通网络的链接矩阵A。

此外由于该数据集具有45148条路段，如果把所有路段都当成节点构造交通网络，这就会导致邻接矩阵A是45148×45148大小的矩阵，即使该连接矩阵是通过稀疏矩阵的方式进行存储，但这个规模仍然很大，难以计算。因此本实验从45148条路段中依次选出1000比较密集的路段(即拥有邻近路段较多的，靠近中心的)，并生成对应的子网络以及邻接矩阵，并在这个子网络上进行相应的速度预测实验。

由于在实验中使用一天的速度数据来预测未来两个小时的交通速度，而本文的数据是以15分钟维间隔进行采集的，因此表4表示3个模型分别在8个时间段的预测性能。首先在整个测试集中，GCLSTM 模型在所有时刻的预测性能都比Seq2Seq模型有一定的提升，从全部时间的统计MAPE的结果来看，GCLSTM的平均MAPE为8.601％，而Seq2Seq模型却有9.729％，因此，GCLSTM在全部时刻的平均MAPE 上比Seq2Seq模型降低了大约1.12％，由此可见，交通网络的空间关系能够有效的提高交通预测模型的准确率。尤其在第一个时刻(前15 分钟)的速度预测性能提升的最明显，GCLSTM的平均MAPE为1.058％，而Seq2Seq模型却有2.019％，因此GCLSTM性能的预测性能相较Seq2Seq模型大约提高了一倍，在短期预测性能提升更加明显，这表明模型在短期预测性能上效果十分优秀。此外，还比较了GLAT 和GLSTM模型的性能，在所有时刻GLAT模型的预测性能相比 GCLSTM的预测性能来说相差不大，但都还是有一定的提升，而GLAT 是在GLSTM的基础上加了时间注意力机制，因此可以表明时间注意力机制对于交通速度预测性能有一定的提升。

表4整个测试集上的MAPE

MAPE为平均绝对百分比误差，MAPE不仅仅考虑预测值与真实值的误差，还考虑了误差与真实值之间的比例，比如预测在0.5到5的范围之间，0.5预测成1.0和5.0预测成4.5的差距是非常大的，因此本文实验选择MAPE作为交通速度预测的评价指标。

其中，v_t和

分别表示t时刻实际和预测的速度。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于深度学习模型的交通速度预测方法，包括以下步骤：

构建GCLSTM模型，以Seq2Seq模型作为模型基础，引入GCN模型分别对细胞层状态和隐藏层状态进行图卷积运算，即将t时刻的LSTM的隐藏层向量h_t以及cell层向量c_t分别作为2个GCN模型的输入，利用切比雪夫多项式T_k(x)得K阶的截断展开来近似滤波器g_θ，且利用滤波器g_θ对隐藏层向量h_t以及cell层向量c_t进行卷积操作，将GCN模型输出的新隐藏层向量

以及新cell层向量

作为t+1时刻的LSTM的输入；

针对待预测路段，以每条路段作为一个节点，构建描述待预测路段周围路段的交通网络G，并定义交通网络G的链接矩阵A，根据链接矩阵A构建滤波器g_θ：

将待预测路段前一段时刻的交通速度输入至GCLSTM模型中，经计算，输出未来一段时刻的预测交通速度。

2.如权利要求1所述的基于深度学习模型的交通速度预测方法，其特征在于，构建的滤波器g_θ为：

其中，

表示t时刻一个重新调整的拉普拉斯矩阵，而L_t＝I_N-D_t ^{- 0.5}A_tD_t ^-0.5表示t时刻的拉普拉斯矩阵，A_t表示t时刻快照网络的邻接矩阵，D_t是A_t的度值矩阵，I_N是一个单位矩阵，λ_max定义为拉普拉斯矩阵L_t的最大特征值，θ_k定义为切比雪夫多项式的系数，切比雪夫多项式被递归的定义为T_k(x)＝2xT_k-1(x)-T_k-2(x)，其中T₀(x)＝1，T₁(x)＝x，k为阶数索引，K为最大阶数，是一个超参数。

3.如权利要求2所述的基于深度学习模型的交通速度预测方法，其特征在于，当待预测路段前一段时刻的交通速度输入至GCLSTM模型中时，GCLSTM模型的具体实现过程为：

C＝[h_T,c_T],

START＝zero(V),

其中，

为对隐藏层向量h_t进行卷积操作的滤波器，

为对隐藏层向量c_t进行卷积操作的滤波器。

4.如权利要求1所述的基于深度学习模型的交通速度预测方法，其特征在于，在构建链接矩阵A时，针对路段i和路段j，在路段i的结束节点的ID与路段j的开始节点的ID相同的情况下：

如果两条路段的方向特征为0或者1，表示双行道，即定义路段i和路段j之间存在双向连接，即路段i可以通向路段j，同时路段也j可以通向路段i，在链接矩阵A表示下A(i,j)＝1，同时A(j,i)＝1，否则路段i和路段j之间不存在连接；

如果两条路段的方向特征都为2，即表示单行，且方向从起始节点到结束节点，则定义路段i可以通向路段j，在网络的邻接矩阵表示下A(i,j)＝1，但A(j,i)＝0；

如果两条路段的方向特征都为3，即表示单行，且方向从结束节点到起始节点，则定义路段j可以通向路段i，在网络的链接矩阵表示下A(j,i)＝1，但A(i,j)＝0；

在路段i的开始节点的ID与路段j的开始节点的ID相同的情况下：

如果两条路段的方面特征为0或1，即表示双行道，定义路段i和路段j之间存在双向连接，即A(i,j)＝1，同时A(j,i)＝1；

如果路段i的方向特征为3且路段j方向特征为2，定义路段i可以通向路段j，在网络的链接矩阵表示下A(i,j)＝1，但A(j,i)＝0；

如果路段i的方向特征为2且路段j方向特征为3，定义路段j可以通向路段i，在网络的链接矩阵表示下A(j,i)＝1，但A(i,j)＝0。

5.一种基于深度学习模型的交通速度预测方法，包括以下步骤：

构建GLAT模型，以Seq2Seq模型作为模型基础，引入时间注意力机制对编码器每个时刻的隐含层向量进行关注，即计算解码器中当前时刻的隐藏层输出与输入的所有时刻的隐藏层向量之间的相似度分数score，并使用softmax对相似度分数进行归一化操作，使得所有相似度分数之和为1，再通过相似度分数与输入的所有时刻的隐藏层向量进行加权求和，从而得到当前时刻得注意力向量a，该注意力向量a和当前时刻的隐藏层向量一起输入到全连接层中，经计算输出预测输出向量；

将待预测路段前一段时刻的交通速度输入至GLAT模型中，经计算，输出未来一段时刻的预测交通速度。

6.如权利要求5所述的基于深度学习模型的交通速度预测方法，其特征在于，当待预测路段前一段时刻的交通速度输入至GLAT模型中时，GLAT模型的具体实现过程为：

[h_t,c_t]＝LSTM₁(V_t,[h_t-1,c_t-1])(t＝1,2,...,T),

C＝[h_T,c_T],

H＝[h₁,h₂,...,h_T],

START＝zero(V),

a_T+t'＝score_T+t'·H,

其中，Wa为时间注意机制的权重矩阵。

Images