CN116721538A - 一种用于动态交通状况下的自适应学习交通流预测的方法 - Google Patents

Abstract

本发明实施例公开了一种用于动态交通状况下的自适应学习交通流预测的方法，使用图结构从全局和局部两个角度对道路拓扑图进行动态学习，获取道路交通状况的最佳邻接矩阵表示；通过Transformer模块的多头注意力机制捕捉到交通数据的长期时空依赖关系；使用门控时间卷积网络提取时间序列的短期依赖关系；使用图卷积机制捕获短期的空间依赖关系。采用本发明，充分考虑了邻接图的自适应学习和高度动态性，从全局图形和局部图形角度进行邻接图学习，可以更好地捕捉到短期的空间变化。

Description

一种用于动态交通状况下的自适应学习交通流预测的方法

技术领域

本发明涉及交通流预测技术领域，尤其涉及一种用于动态交通状况下的自适应学习交通流预测的方法。

背景技术

随着城市的快速发展，交通预测扮演着越来越重要的角色，准确的交通预测能够有效处理日益增多的车辆和城市有限空间之间的矛盾，提高城市出行效率，加强对道路交通的实时管理，是智能交通***的核心技术。智能交通***是改善交通环境的替代方案，它们结合了物联网和智能算法，分别用于从多个来源收集数据和信息处理，以提高交通流的效率。由于道路网络的复杂性、它们之间的时空依赖性以及异构交通模式，交通数据的处理和建模具有挑战性。首先，区域之间的潜在空间关联性错综复杂，难以用简单的距离，地形等指标明确表示 。其次，时间维度在之间的依赖性也会因为区域的不同具有不规则的周期关联性。因此，挖掘潜在的时空模式是智能交通预测的关键。

交通预测是智能城市建设的关键技术，研究人员已经进行了几十年的研究学***均（ARIMA）和支持向量机（SVR），这些算法对交通数据的时间维度进行学习建模，难以提取非线性的复杂时空信息。随着深度学习的快速发展，循环神经网络（RNN）成为序列学习任务的主流框架，但受RNN模型迭代设计的结构，不仅会造成误差的累计，对长期的时间依赖性也会丢失。为了获得更精确的交通预测，DMVST Net模型预先将交通区域划分为规格的网格状，利用卷积神经网络（CNN）学习交通网络的欧几里得空间分布信息。Transformer模型的注意力机制能够很好地捕捉到不同区域的长期时空依赖关系，在很多任务中都变现出色，现有的多数模型已经将注意力机制应用到交通预测中。尽管在此已经取得了一定进展，但实际的路网结构中空间表现为非欧几里得距离，CNN神经网络无法很好地学习到实际的道路空间信息，不同区域的空间相关性仍未进行很好的挖掘。

在现有的相关技术中存在以下缺陷：

1由于实际交通道路状况的高度变化，预先定义的交通道路拓扑图无法精确表示动态变化的交通网络结构。

2使用单个时空预测模块进行学习交通流量的时空相关性，很难捕获全局和局部信息构成的复杂依赖。

3基于神经网络和RNN的方法只能处理标准网格数据，而忽略了复杂道路网络产生的非欧几里德相关性。

4对错误传播的敏感性。在进行长期范围预测时，每个时间步长中的小误差会被放大，造成误差的累计。

发明内容

本发明实施例所要解决的技术问题在于，提供一种用于动态交通状况下的自适应学习交通流预测的方法，可提高预测结果的精准度。

为了解决上述技术问题，本发明实施例提供了一种用于动态交通状况下的自适应学习交通流预测的方法，包括以下步骤：

S1：使用图结构从全局和局部两个角度对道路拓扑图进行动态学习，获取道路交通状况的最佳邻接矩阵表示；

S2：通过Transformer模块的多头注意力机制捕捉到交通数据的长期时空依赖关系；

S3：使用门控时间卷积网络提取时间序列的短期依赖关系；

S4：使用图卷积机制捕获短期的空间依赖关系。

其中，所述S1还包括步骤：

S11：学习隐式因素，然后将学习到的隐藏关系注入到预定义的邻接矩阵A中，获得全局邻接矩阵A_GL：

A_GL=A+△A

△A表示图中节点的可训练隐藏关系，A_GL是将△A通过将残差连接添加到预定义的邻接矩阵A生成的；△A利用两个可训练的节点嵌入向量E1、E2∈R^N×k来近似表示结点的隐式空间关系；

S12：将数据维度为R^S×N×F的交通流数据通过全连接层进行特征维度的扩展得到H∈R^S×N×D，再经过两次卷积操作激活操作，其中S代表交通流数据的记录条数，N代表交通道路的结点个数，F代表交通特征；

S13：将已学习到的隐藏结点关系融合成最佳邻接表示图，交给下游预测任务。

其中，所述多头注意力机制的处理步骤包括：

将输入经过全连接层升维之后映射到子空间学习到更多空间的隐藏信息，得到Q_s∈R^N×dq, K_s∈R^N×dk,和 V_S∈R^N×dv，其中dq，dk，dv是在训练时可学习的超参数，Q_S，K_S，V_S表示对空间特征的查询子空间，键子空间，值子空间，通过以下计算得到：

其中，是三组可学习的参数。

其中，所述S2还包括步骤：

在训练之后对空间输入数据做m组单头注意力机制，再将m组单头注意力表示向量通过concat函数计算得出每个位置最终的注意力得分，计算公式为：

SMSA（X_T，X_S，X_S）= Concat（SA₁，....，SA_m）W^S。

SMSA表示对空间维度上多个注意力头的聚合操作，X_T，X_S分别表示时间和空间输入的交通流数据，Concat表示连接操作，SA_i表示第i个注意力头，W^S是一组可学习的参数。

其中，所述S4还包括步骤：在图卷积神经网络输入学习过的最佳邻接表示矩阵，用于捕捉道路的空间相关性：

其中X∈RS×N×C，GCN表示进行图卷积后获得的结果，D预定义邻接图的输入矩阵，Â是包含自身出入度的邻接表示矩阵，W₁是可学习的参数，A*结点的出度邻接矩阵表示，I_N表示每个节点自身的入度，Relu是激活函数，Dii表示第i个节点到第i个节点的连接度，，Â_ij表示结点i和j之间的出入度。

实施本发明实施例，具有如下有益效果：本发明充分考虑了邻接图的自适应学习和高度动态性，从全局图形（图具有长期稳定性）和局部图形（短期波动性）角度进行邻接图学习，可以更好地捕捉到短期的空间变化。

附图说明

图1是本发明方法涉及到的模型的框架图；

图2是邻接图学习模块的结构示意图；

图3是自注意力机制计算过程；

图4是自注意力机制的详细计算过程；

图5是扩张卷积示意图；

图6是本发明整体框架图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

本发明实施例的一种用于动态交通状况下的自适应学习交通流预测的方法，如图1所示，采取了一个动态图学习模块，以全局和局部学习的角度获取道路交通状况的最佳邻接矩阵表示，充分利用每个时刻下交通结点属性指导邻接图学习，使邻接矩阵能够动态表示真实道路的网络拓扑结构。此外，该网络利用Transformer出众的的全局自我学习能力，能够很好地学习到交通数据中的低级特征（易于获取的特征，例如交通节点网络的大致拓扑结构），再融合时间门控卷积以及图卷积的输出对局部特征进行提取，改进交通流的预测结果。

S1：利用图结构从全局和局部两个角度对道路拓扑图进行动态学习。

（1）如图2所示，本发明的目标是学习难以被预定义规则捕获的隐式因素，然后将学习到的隐藏关系注入到预定义的邻接矩阵A中，以实现信息的补充。具体来说，本发明要获得的全局邻接矩阵AGL是

A_GL=A+△A（1）

△A表示图中节点的可训练隐藏关系，A_GL是将△A通过将残差连接添加到预定义的邻接矩阵A生成的，其中，残差连接通过学习残差映射使得对原始预定义邻接图的优化更容易。△A利用两个可训练的节点嵌入向量E1、E2∈R^N×k（其中N，k表示矩阵的大小，N表示有N个道路交通结点，k是矩阵过渡维度）来近似表示结点的隐式空间关系，对矩阵△A的训练学习方式如公式（2）所示，

（2）

本发明得到的△A是一组N×N的二维矩阵，其中N是交通道路上的结点个数，△A用于表示不同结点间的依赖关系强度。如图2左边AGL模块所示，本发明将经过原始预定义的邻接图作为△A初始的矩阵参数。将原始交通流数据作为输入，其中交通流原始数据输入的维度为R^S×N×F，其中S代表交通流数据的记录条数，N代表交通道路的结点个数，F代表交通特征（例如交通吞吐，拥挤度，交通速度等，本发明选取交通速度作为特征输入进行学习），通过每一轮训练预测值与实际交通速度预测的误差，不断优化△A表示，通过交通流数据特征得到一个能够拟合隐藏道路信息表示的矩阵。再通过公式（1）的残差运算相加得到全局的道路表示信息。

（2）从微观角度来看，图邻接拓扑表中节点的空间关系会因交通事件（包括常规和意外事件，如高峰时间、天气状况或交通事故）而发生剧烈变化。由于节点与记录交通状况的属性相关联，本发明假设通过挖掘节点属性中的相关信息来描述突发波动。

具体来说，给定交通数据输入X∈R^S×N×F（其中S代表交通流数据的记录条数，N代表交通道路的结点个数，F代表交通特征），本发明首先利用全连通层将属性维数从F扩展到D，得到H。运算如公式（3）所示，其中FC（·）表示全连接运算。

（3）

为了捕获S周期期间节点的临时空间关系，本发明通过聚合函数沿着时间维度聚合变换后的节点属性H，如下所示，

（4）

M包含与可能影响节点空间关系的因素相关的节点信息。在实践中，本发明通过以下方式将AGGREGATE（·）函数实现为卷积运算：

（5）

其中*是有效的卷积算子。H_：，i，d表示输入信号的dth信道，即节点i的属性的dth条目的时间信息。M_i，d′是输出信号的第d′通道。W d′，d是描述第d′个输出通道和第d个输入通道之间的相关性的可训练参数。卷积运算可以将时间维度减少到一个核，其大小都设置为等于历史序列的长度，即S。因此，卷积核的总参数大小为S×D×D′。

以上为对局部信息提取的公式原理。具体对于局部潜在信息获取步骤如图2右边A_Loc所示。首先本发明将交通流数据（数据维度为R^S×N×F）通过全连接层进行特征维度的扩展得到H∈R^S×N×D，再经过两次卷积操作激活操作。其中卷积操作采用公式（4）所示的二维卷积方法，激活函数采用relu函数。

（3）全局和局部信息的融合：图学习结构经过上述两个模块可以很好地捕捉到了局部和全局的隐藏空间特征，在此需要将已学习到的隐藏结点关系融合成最佳邻接表示图，交给下游预测任务。在本发明中对已学到的图进行相加，再对相加后的图进行激活和归一化处理，表示如公式（6）所示

（6）

S2：利用Transformer模块的多头注意力机制捕捉到交通数据的长期时空依赖关系：

道路空间的高度动态变化影响着交通流结果的预测，为了更好地捕捉交通网络长期的空间依赖，本发明设计了空间上的多头注意力机制模块（MSA），具体而言，将输入升维映射到高维空间用于自注意力的计算，再计算不同空间结果下获得的注意力得分。下面将先介绍单头注意力，再介绍扩展到多头的注意力机制。

单头注意力机制：自注意力机制采用查询-键-值（Query-Key-Value）的模式。

在图3中，输入信息H=[h1,h2]，其中h1,h2矩阵中每行代表对应一个输入向量，另外图6中有Wq,Wk,Wv表示3个可学习矩阵，它们负责将输入信息 H 依次转换到对应的查询空间Q=[q1,q2]，键空间K=[k1,k2]和值空间V=[v1,v2]

在获得输入信息在不同空间的表达Q、K和V后，这里以h1这个为例，去计算这个位置的一个attention输出向量context1，它代表在这个位置模型应该重点关注的内容，如图4所示。

可以看到在获得原始输入H在查询空间、键空间和值空间的表达Q、K和V后，计算在和的分数和q1在h1和h2的分数s11和s12，这里的分数计算采用的是点积（matmul）操作。然后将分数进行缩放并使用softmax进行归一化，获得在h1这个位置的注意力分布：a11和a12，它们代表模型当前在h1这个位置需要对输入信息和h1和h2的关注程度。最后根据该位置的注意力分布对和v1和v2进行加权平均获得最终h1这个位置的Attention向量。综上分析总结可得注意力的计算公式如公式X所示

（7）

其中Q是查询空间，K是键空间，V是值空间，注意力分数QK^T得到的注意力分数采用点成的方式，是缩放系数。Softmax函数进行归一缩放，使得所有位置向量的值相加为1，进而得到输入向量之间的依赖关系。接下来，本发明将单头的注意力机制扩展到多头的注意力机制。

空间依赖多头注意力机制：本发明中所给的数据输入维度X_t∈R^S×N×F，空间输入维度Xs∈R^S×N×F（其中S代表输入记录的交通记录长度，N表述交通结点数，F表示交通特征），所给的输入经过全连接层升维之后映射到子空间可以学习到更多空间的隐藏信息，得到Q_s∈R^N×dq, K_s∈R^N×dk,和 V_S∈R^N×dv（其中Q_S，K_S，V_S表示对空间特征的查询子空间，键子空间，值子空间。dq，dk，dv是在训练时可学习的超参数）。

它们经过如下计算得到：

（8）

其中，是三组可学习的参数。多头注意力机制（MSA）将输入映射到m组子空间上，为注意力层提供了多个表示子空间。有多组Query/Key/Value权重矩阵，这些权重矩阵集合中的每一个都是随机初始化的。在训练之后，每组用于将输入向量投影到不同的表示子空间中。相当于对空间输入数据做m组单头注意力机制，再将m组单头注意力表示向量通过concat函数计算得出每个位置最终的注意力得分。具体计算如公式（9）所示，SMAS计算得到每个空间位置的多头注意力最终得分，W^s是可学习参数,X_T,X_S分别为时间维度上的数据输入和空间维度上的输入。SAi表示一个位置上第i个注意力头的得分。

SMSA（X_T，X_S，X_S）= Concat（SA₁，....，SA_m）W^S（9）

其中，SMSA表示对空间维度上多个注意力头的聚合操作，X_T，X_S分别表示时间和空间输入的交通流数据，Concat表示连接操作，SA_i表示第i个注意力头，W^S是一组可学习的参数。

其中，每个注意力头SA_i的计算如公式（7）所示。

S3：利用时间门控卷积机制提取时间序列的短期依赖关系。

本发明采用了门控时间卷积网络（TGC）。TGC包括一个扩张因果卷积和门控机制。扩张因果卷积可以增大卷积感受野。

每一层的输入结点需要经过一层滤波计算，具体的计算公式表示为：

（10）

其中 X={x₁,x₂...x_n}∈R^s表示输入的时间序列，滤波器F={f1,f2...f_U}∈R^U,d表示扩张率（dilation rate），表示每一层的输入扩张几个数据，u是遍历输入序列的中间变量，如图5所示，从下往上看，u逐渐增大，表示扩张率从1升到2，再升到4。其中F（u）表示不同层所用的滤波器。

门控机制可以控制数据流的输出，能够更好地获取模型需要的数据特征，具体计算表示为：

（11）

其中Φ1和Φ2是时间维度上独立的1维扩张因果卷积运算(运算如公式（10） 所示)，a和b是偏移参数，Sigmoid和Tanh是激活函数，Xt∈R^S×N×F，F是输入的特征维度，S是输入的时间序列长度，⊙是元素之间的点积符号。

S4：利用图卷积机制捕获短期的空间依赖关系

交通路网是一张非欧几里得距离结构的图，图卷积可以聚合相邻结点间的局部信息，对空间维度的特征学习做出极大的贡献。图卷积通过一阶的Chebyshev多项式进行展开逼近，拓展到更高维的空间中。GCN图卷积神经网络输入学习过的最佳邻接表示矩阵，用于捕捉道路的空间相关性。具体表示为：

（12）

其中X∈R^S×N×C，GCN表示进行图卷积后获得的结果，D预定义邻接图的输入矩阵，Â是包含自身出入度的邻接表示矩阵，W₁是可学习的参数，A*结点的出度邻接矩阵表示，I_N表示每个节点自身的入度，Relu是激活函数，Dii表示第i个节点到第i个节点的连接度，W₁是生成的可学习参数,Âij表示结点i和j之间的出入度。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (5)

1.一种用于动态交通状况下的自适应学习交通流预测的方法，其特征在于，包括以下步骤：

S1：使用图结构从全局和局部两个角度对道路拓扑图进行动态学习，获取道路交通状况的最佳邻接矩阵表示；

S2：通过Transformer模块的多头注意力机制捕捉到交通数据的长期时空依赖关系；

S3：使用门控时间卷积网络提取时间序列的短期依赖关系；

S4：使用图卷积机制捕获短期的空间依赖关系。

2.根据权利要求1所述的用于动态交通状况下的自适应学习交通流预测的方法，其特征在于，所述S1还包括步骤：

S11：学习隐式因素，然后将学习到的隐藏关系注入到预定义的邻接矩阵A中，获得全局邻接矩阵A_GL：

A_GL=A+△A

△A表示图中节点的可训练隐藏关系，A_GL是将△A通过将残差连接添加到预定义的邻接矩阵A生成的；△A利用两个可训练的节点嵌入向量E1、E2∈R^N×k来近似表示结点的隐式空间关系；

S12：将数据维度为R^S×N×F的交通流数据通过全连接层进行特征维度的扩展得到H∈R^{S ×N×D}，再经过两次卷积操作激活操作，其中S代表交通流数据的记录条数，N代表交通道路的结点个数，F代表交通特征；

S13：将已学习到的隐藏结点关系融合成最佳邻接表示图，交给下游预测任务。

3.根据权利要求2所述的用于动态交通状况下的自适应学习交通流预测的方法，其特征在于，所述多头注意力机制的处理步骤包括：

将输入经过全连接层升维之后映射到子空间学习到更多空间的隐藏信息，得到Q_s∈R^{N ×dq}, K_s∈R^N×dk,和 V_S∈R^N×dv，其中dq，dk，dv是在训练时可学习的超参数，Q_S，K_S，V_S表示对空间特征的查询子空间，键子空间，值子空间，通过以下计算得到：

其中，是三组可学习的参数。

4.根据权利要求3所述的用于动态交通状况下的自适应学习交通流预测的方法，其特征在于，所述S2还包括步骤：

在训练之后对空间输入数据做m组单头注意力机制，再将m组单头注意力表示向量通过concat函数计算得出每个位置最终的注意力得分，计算公式为：

SMSA（X_T，X_S，X_S）= Concat（SA₁，....，SA_m）W^S。

5.根据权利要求4所述的用于动态交通状况下的自适应学习交通流预测的方法，其特征在于，所述S4还包括步骤：在图卷积神经网络输入学习过的最佳邻接表示矩阵，用于捕捉道路的空间相关性：

其中X∈RS×N×C，GCN表示进行图卷积后获得的结果，D预定义邻接图的输入矩阵，Â是包含自身出入度的邻接表示矩阵，W₁是可学习的参数，A*结点的出度邻接矩阵表示，I_N表示每个节点自身的入度，Relu是激活函数，Dii表示第i个节点到第i个节点的连接度，，Â_ij表示结点i和j之间的出入度。