CN117688453B

CN117688453B - 一种基于时空嵌入注意力网络的交通流量预测方法

Info

Publication number: CN117688453B
Application number: CN202410147357.6A
Authority: CN
Inventors: 曾庆田; 赵志华; 原桂远; 李超; 段华; 宋戈; 周长红; 郭文艳; 程成
Original assignee: Shandong University of Science and Technology
Current assignee: Shandong University of Science and Technology
Priority date: 2024-02-02
Filing date: 2024-02-02
Publication date: 2024-04-30
Anticipated expiration: 2044-02-02
Also published as: CN117688453A

Abstract

本发明公开了一种基于时空嵌入注意力网络的交通流量预测方法，属于交通流量预测领域，包括如下步骤：步骤1、从公开网站上获取现有交通流量数据集，对现有交通流量数据集进行滑动窗口采样，得到用于训练的历史交通流量数据、时间信息、空间信息和未来交通流量标签数据；步骤2、构建时间和空间的位置编码矩阵；步骤3、使用空间位置编码矩阵计算传感器节点间的余弦相似度，得到空间掩码矩阵；步骤4、构建基于时空嵌入注意力网络的交通流量预测模型，并对交通流量预测模型进行训练；步骤5、采集前一个时间段的交通流量数据，输入训练完成的交通流量预测模型，对未来一个时间段的交通流量数据进行预测。本发明实现了交通流量的准确预测。

Description

一种基于时空嵌入注意力网络的交通流量预测方法

技术领域

本发明属于交通流量预测领域，具体涉及一种基于时空嵌入注意力网络的交通流量预测方法。

背景技术

随着智慧城市的发展，智慧交通***开始用于管理、分析和改善城市的交通状况。而交通流量预测作为智慧交通***的核心技术，受到了广泛的研究。交通流量序列来自于人类活动数据，存在明显的时空分布和周期模式，是一个典型的时空序列。现有的研究主要存在以下两个问题。

交通流量的周期模式难以建模：由于人类活动存在明显的周期性，故交通数据的变化呈现一定的周期性。早期的时空神经网络将时间信息作为交通数据的特征进行建模，然而添加时间特征只能对不同时刻的交通数据加以区分，缺少了交通数据的周期信息。随后，注意力时空图神经网络（ASTGCN）和延迟传播动态远程Transformer（PDFormer）通过使用多周期的历史数据和对历史的交通序列进行聚类等方法来引入更多的周期信息来提高了模型的预测精度。然而上述方法受限于狭窄的滑动窗口难以建模整体的周期模式。时空身份信息网络（STID）则使用嵌入向量对时间信息进行位置编码，却忽略了天与天之间周期模式的差异。例如，周五和周四同属工作日，两天的上午可能拥有相同的表现，但周五的下午则可能和周四截然不同。因此，如何挖掘交通数据中更细致、更准确的周期模式，并使其具备可解释性仍是一个巨大的挑战。

传感器节点间的空间关系难定义：早期ConvLSTM将交通数据处理为网格数据，使用二维卷积建模传感器节点间空间相关性。然而，传感器节点分布在道路网络的拓扑结构中，卷积操作导致空间上临近却不相关的节点也被建模。由于图神经网络优秀的拓朴结构建模能力，扩散卷积循环神经网络（DCRNN）和图小波网络（Graph WaveNet）将交通数据的空间分布建模为拓扑图，使用图神经网络建模传感器节点的空间相关性。然而，交通序列中的拓扑关系往往是不明确且动态变化的，如何建立准确、动态的拓扑结构成为了研究的重点。自注意力机制本质是一个动态的全连接图，其由输入决定融合权重的特性成为了建模动态空间相关性的首选方法。注意力时空图神经网络（ASTGCN）和图多注意力网络（GMAN）开始将自注意力机制应用到时空特征的动态建模。但是上述方法仍基于预定义的邻接矩阵，先验知识的好坏可能决定了模型空间相关性建模的能力上限。因此，如何避免先验知识的限制，从数据本身挖掘出节点间的空间相关性是影响预测精度的关键。

发明内容

为了解决上述问题，本发明提出了一种基于时空嵌入注意力网络的交通流量预测方法，时空嵌入注意力网络（STEAN）由时间趋势层、时空位置编码器和空间掩码注意力层构成，在时间趋势层中使用一维卷积提取交通序列的时间趋势，在时空位置编码器中使用时间点在周期中的时间位置和传感器的索引对时间趋势进行时空位置编码，使用嵌入向量隐式的学习历史序列中的周期模式和节点间的空间相关性；并使用可学习的空间位置编码构建掩码矩阵，使用注意力层建模节点间的空间相关性；该方法实现了交通流量的准确预测。

本发明的技术方案如下：

一种基于时空嵌入注意力网络的交通流量预测方法，包括如下步骤：

步骤1、从公开网站上获取现有交通流量数据集，对现有交通流量数据集进行滑动窗口采样，得到用于训练的历史交通流量数据、时间信息、空间信息和未来交通流量标签数据；

步骤2、根据设定的时间周期长度和传感器节点分别构建时间和空间的位置编码矩阵；

步骤3、使用空间位置编码矩阵计算传感器节点间的余弦相似度，得到空间掩码矩阵；

步骤4、使用时间和空间的位置编码矩阵、空间掩码矩阵构建基于时空嵌入注意力网络的交通流量预测模型，并对交通流量预测模型进行训练；

步骤5、采集前一个时间段的交通流量数据，输入训练完成的交通流量预测模型，对未来一个时间段的交通流量数据进行预测。

进一步地，所述步骤1中，将历史交通流量数据视作一个时空序列，其中，/>表示传感器节点的数量；/>表示历史数据的时间点总数，对应历史交通流量的输入长度；/>表示第一个传感器节点的历史数据在第一个时间点的交通流量；/>表示第一个传感器节点的历史数据在第/>个时间点的交通流量；/>表示第/>个传感器节点的历史数据在第一个时间点的交通流量；/>表示第/>个传感器节点的历史数据在第/>个时间点的交通流量；

将时间信息定义为，由周几/>、时间点/>、是否为节假日和每天的时间切片数/>构成；其中/>，/>表示设定周期内的时间点总数；时间信息的具体公式如下：

(1)；

将空间信息定义为；

将交通流量预测问题定义为一个时空序列预测问题，使用历史交通流量数据、时间信息/>和空间信息/>，学习一个/>映射函数，得到未来时刻的交通流量数据，其中/>表示预测交通流量的输出长度，具体公式如下：

(2)。

进一步地，所述步骤2的具体过程为：

步骤2.1、在时间上构建一个时间嵌入矩阵，其中/>表示嵌入向量的维度；使用时间信息/>从时间嵌入矩阵中取出对应的时间位置向量对序列中提取的趋势信息进行时间位置编码，进而得到时间位置编码矩阵/>；时间位置编码过程描述为下列公式：

(3)；

(4)；

其中，为设定周期内第/>个时间点的时间嵌入向量；

步骤2.2、在空间上构建一个空间嵌入矩阵，使用空间信息/>从空间嵌入矩阵中取出对应的空间位置向量对序列提取的趋势信息进行空间位置编码，进而得到空间位置编码矩阵/>；空间位置编码过程描述为下列公式：

(5)；

(6)；

其中，为在第/>个传感器节点的空间嵌入向量。

进一步地，所述步骤3中，空间掩码矩阵的构建过程表示为：

(7)；

(8)；

其中，为空间嵌入向量间的余弦相似度矩阵；/>为负无穷；为空间掩码矩阵的余弦相似度阈值；余弦相似度矩阵中大于等于阈值的位置掩码赋值为0，小于阈值的位置掩码赋值为负无穷。

进一步地，所述步骤4中，构建的交通流量预测模型包含多个时间趋势层、一个时空位置编码器和一个空间掩码注意力层；每个时间趋势层包括两个一维时间卷积层和一个残差连接；堆叠多个时间趋势层，底层的时间趋势层提取局部的走势，顶层的时间趋势层则汇总全局的走势；使用处理得到的历史交通流量数据和未来交通流量标签数据训练交通流量预测模型。

进一步地，所述步骤4中，交通流量预测模型的工作过程为：

步骤4.1、将历史交通流量数据输入第一个时间趋势层，历史交通流量数据首先经过两个并行的一维卷积层提取特征，随后经过门控单元控制信息的流动，最后使用残差连接来避免梯度消失，整个过程描述为下列公式：

(8)；

其中，表示第/>个时间趋势提取层输出的时间趋势信息；/>表示哈达玛积；表示Tanh激活函数；/>表示Sigmoid激活函数；/>、/>分别是两个时间卷积层的权重；/>、/>分别为两个时间卷积层的偏置；

步骤4.2、使用跳跃连接将不同尺度的时间趋势信息进行融合，得到最终的时间趋势信息，整个过程描述为下列公式：

(9)；

其中，表示使用的时间趋势提取层的层数，/>表示最终的时间趋势特征；

步骤4.3、堆叠多个时间趋势层得到多个尺度的时间趋势信息；

步骤4.4、通过时空位置编码器将时间位置编码矩阵、空间位置编码矩阵/>与最终的时间趋势信息/>级联在一起，对时间趋势信息进行时空位置编码，得到时空位置编码后的时间趋势信息/>；时空位置编码过程描述为下列公式：

(10)；

其中，为级联操作，将/>进行拼接；

步骤4.5、将时空位置编码后的时间趋势信息输入空间掩码注意力层进行融合，得到融合后的时空特征/>，融合过程表示为：

(11)；

其中，为softmax函数；/>、/>和/>分别为查询、键和值的参数矩阵，/>为/>的特征维度；

步骤4.6、将经过一个多层感知机进行特征维度变换，得到最终预测结果，即未来时刻的交通流量数据/>，计算公式如下：

(12)；

其中，为多层感知机。

本发明所带来的有益技术效果如下。

本发明考虑交通流量的周期变化规律，提出了时空位置编码器，使用当前时间点在一个周期内（周、月或年）的位置和传感器编号对历史交通流量数据的变化趋势进行时空位置编码，有效的建模了交通流量的周期模式，提升了交通流量的预测精度；

本发明考虑传感器节点间空间相关性难以预定义的问题，提出了空间掩码注意力层，使用学习得到的空间位置编码矩阵创建空间掩码矩阵，在相关的传感器节点间建模动态的空间相关性，突破了预定义邻接矩阵的限制，实现了交通流量预测精度的提升；

本发明基于时空嵌入注意力网络的交通流量预测方法，创新性地提出了使用时空位置编码和空间掩码注意力建模交通流量的周期性和动态空间相关性，解决了传统统计模型和现有深度学习预测方法难以进行周期性建模和难以预定义空间邻接矩阵的问题。

附图说明

图1为本发明基于时空嵌入注意力网络的交通流量预测方法的流程图。

图2为本发明基于时空嵌入注意力网络的交通流量预测模型的整体框架图。

具体实施方式

下面结合附图以及具体实施方式对本发明作进一步详细说明：

本发明以交通流量数据为研究对象，提高模型预测精度为核心目标，解决了建模交通流量的周期变化模式和建模传感器节点间的动态空间相关性的两个关键技术问题。通过解决上述两个关键技术问题，可以实现道路交通流量的准确预测。

由于交通流量序列来源于人类活动，蕴含着明显的周期性。针对交通流量的周期模式难以建模的问题，本发明首先构建时间趋势层来提取交通流量序列的变化趋势，通过堆叠多个时间趋势层来提取多个尺度的时间趋势。例如，底层的时间趋势聚焦于局部窗口的变化趋势，顶层的时间趋势聚焦于全部时刻的信息，更加全局化。本发明使用时间信息对提取的多尺度时间趋势进行时间位置编码，通过可学习的嵌入表示从历史交通流量数据中挖掘出周期变化模式。

不同传感器节点间的交通流量序列存在着空间相关性，但是这种空间相关性是动态变化的。例如：在上班的高峰期和下班的高峰期，不同传感器节点间的相关性是不同的。本发明针对传感器节点间难以预定义空间结构和其动态的空间相关性问题，使用可学习的空间位置编码构建空间掩码矩阵，从历史交通流量中寻找到传感器节点间的相关性。最后，使用空间掩码注意力层在传感器节点间模拟动态的空间信息流动，实现动态的空间相关性建模。

本发明结合嵌入表示、时间卷积和注意力机制进行交通流量预测。

本发明提取交通流量在过去一个时间段在多个尺度上的变化趋势，使用时间和空间信息对多尺度的时间趋势进行时空位置编码，学习传感器节点的交通流量周期模式，并使用空间位置编码构建空间掩码矩阵，结合多头注意力机制在相关传感器节点间挖掘动态的空间相关性，

如图1所示，本发明提供了一种基于时空嵌入注意力网络的交通流量预测方法，能够提高交通流量预测的预测精度，主要步骤如下：

步骤1、从公开网站上获取现有交通流量数据集，对现有交通流量数据集进行滑动窗口采样，得到用于训练的历史交通流量数据、时间信息、空间信息和未来交通流量标签数据。

将历史交通流量数据视作一个时空序列，其中，/>表示传感器节点的数量；/>表示时间点总数，对应历史交通流量的输入长度；表示第一个传感器节点的历史数据在第一个时间点的交通流量；/>表示第一个传感器节点的历史数据在第/>个时间点的交通流量；/>表示第/>个传感器节点的历史数据在第一个时间点的交通流量；/>表示第/>个传感器节点的历史数据在第/>个时间点的交通流量。

将时间信息定义为，/>用于表示时空序列在时间上的索引，时间信息/>由周几/>、时间点/>、是否为节假日/>和每天的时间切片数/>构成；其中/>，/>表示设定周期内的时间点总数。如果当前日期为节假日，则使用最后一个时间切片数，反之，则使用一周中对应天的时间切片数；时间信息的具体公式如下：

(1)；

将空间信息定义为，/>用于表示传感器节点在空间上的索引。

(2)；

步骤2、根据设定的时间周期长度和传感器节点分别构建时间和空间的位置编码矩阵。具体过程如下：

步骤2.1、在时间上构建了一个时间嵌入矩阵，其中/>表示嵌入向量的维度。使用时间信息/>从时间嵌入矩阵中取出对应的时间位置向量对序提取的趋势信息进行时间位置编码，进而得到时间位置编码矩阵/>；时间位置编码过程可以描述为下列公式：

(3)；

(4)；

其中，为设定周期内第/>个时间点的时间嵌入向量；

在时间位置编码的过程中，使用的节假日信息均来自于国家颁布的法定节假日信息，并不会造成信息泄露。

步骤2.2、在空间上构建了一个空间嵌入矩阵，使用空间信息/>从空间嵌入矩阵中取出对应的空间位置向量对序列提取的趋势信息进行空间位置编码，进而得到空间位置编码矩阵/>，空间位置编码过程可以描述为下列公式：

(5)；

(6)；

其中，为在第/>个传感器节点的空间嵌入向量；

与通过各种方法寻找节点间的拓扑结构相比，使用可学习的嵌入向量对节点进行区分可以从数据本身挖掘出节点间的相关性。相较于通过切比雪夫矩阵和Node2Vec方法，无需依赖于预定义的邻接矩阵，而是从数据本身挖掘节点间在空间上的相关性。

步骤3、使用空间位置编码矩阵计算传感器节点间的余弦相似度，得到空间掩码矩阵。

本发明使用空间嵌入向量间的余弦相似度构建掩码矩阵，控制信息在相关的节点间流动，空间掩码矩阵的构建过程可以表示为：

(7)；

(8)；

步骤4、使用时间和空间的位置编码矩阵、空间掩码矩阵构建基于时空嵌入注意力网络的交通流量预测模型，并对交通流量预测模型进行训练。

构建的交通流量预测模型包含多个时间趋势层、一个时空位置编码器和一个空间掩码注意力层，使用处理得到的历史交通流量数据和未来交通流量标签数据训练交通流量预测模型。每个时间趋势层包括两个一维时间卷积层和一个残差连接；堆叠多个时间趋势层，底层的时间趋势层提取局部的走势，顶层的时间趋势层则汇总全局的走势。现实中，人类会根据历史时间内交通流量的变化趋势来对未来的走势进行推演。所以，在本发明中使用较大核的一维卷积来提取交通流量的变化趋势。时空位置编码器用于将时间、空间位置信息与提取后的时间趋势信息级联在一起，对时间趋势信息进行了时空位置编码。由于交通序列在空间上的动态相关性，即在不同时刻节点间关系是动态变化的，为此，设计了一个空间掩码注意力层来建模趋势特征之间的随时间变化的空间相关性。

交通流量预测模型的工作过程为：

步骤4.1、将历史交通流量数据输入第一个时间趋势层，历史交通流量数据首先经过两个并行的一维卷积层提取特征，随后经过门控单元控制信息的流动，最后使用残差连接来避免梯度消失，整个过程可以描述为下列公式：

(8)；

步骤4.2、使用跳跃连接将不同尺度的时间趋势信息进行融合，得到最终的时间趋势信息，整个过程可以描述为下列公式：

(9)；

其中，表示使用的时间趋势提取层的层数，/>表示最终的时间趋势特征。

步骤4.3、通过堆叠多个时间趋势层可以得到多个尺度的时间趋势信息。

步骤4.4、通过时空位置编码器将时间位置编码矩阵、空间位置编码矩阵/>与最终的时间趋势信息/>级联在一起，对时间趋势信息进行了时空位置编码，得到时空位置编码后的时间趋势信息/>；时空位置编码过程可以描述为下列公式：

(10)；

其中，为级联操作，将/>、/>和/>进行拼接；

步骤4.5、将时空位置编码后的时间趋势信息输入空间掩码注意力层进行融合，在融合过程中使用空间掩码矩阵控制节点间相关性的计算，得到融合后的时空特征，融合过程可以表示为：

(11)；

其中，为softmax函数；/>、/>和/>分别为查询、键和值的参数矩阵，/>为/>的特征维度。

步骤4.6、将经过一个多层感知机进行特征维度变换，得到最终预测结果，即未来时刻的交通流量数据/>；计算公式如下：

(12)；

其中，为多层感知机。

本发明使用时间趋势层、时空位置编码器和空间掩码注意力层构建了时空嵌入注意力网络模型用于交通流量预测，通过提取历史交通流量数据的变化趋势，对其进行时空位置编码，解决了交通流量数据难以进行周期性建模和动态空间相关性建模的问题，突破了预定义空间邻接矩阵的限制，提高了交通流量预测的准确度。

为了证明本发明的可行性与优越性，进行了如下对比实验。

本发明在洛杉矶湾区04、07和08三个交通流量数据集上进行对比实验，使用平均绝对误差(MAE)、均方根误差(RMSE)和平均绝对百分比误差（MAPE）三个评估指标进行评估。将本发明时空嵌入注意力网络（STEAN）模型与扩散卷积循环神经网络（DCRNN）、图小波网络（Graph WaveNet）、图多注意力网络（GMAN）、注意力时空图神经网络（ASTGCN）、时空身份信息网络（STID）、延迟传播动态远程Transformer（PDFormer）共六种时空序列预测模型进行对比实验，对比结果如表1-表3所示。

从表1-表3中的数据可以看出本发明提出的时空嵌入注意力网络模型STEAN在MAE、RMSE、MAPE等指标上明显优于其他六个预测模型，在15分钟、30分钟、60分钟和平均表现的预测结果上均取得最小的误差值，最佳的预测效果，本发明嵌入注意力神经网络模型在交通流量预测问题上具有更高的准确性和更强的适用性。所以，本发明时空嵌入注意力网络模型可以作为一种有效的交通流量预测模型，本发明为交通流量的预测与分析提供技术支撑。

表1 本发明与其他六种模型在洛杉矶湾区04交通流量数据集上的对比实验结果；

。

表2 本发明与其他六种模型在洛杉矶湾区07交通流量数据集上的对比实验结果；

。

表3 本发明与其他六种模型在洛杉矶湾区08交通流量数据集上的对比实验结果；

。

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims

1.一种基于时空嵌入注意力网络的交通流量预测方法，其特征在于，包括如下步骤：

步骤5、采集前一个时间段的交通流量数据，输入训练完成的交通流量预测模型，对未来一个时间段的交通流量数据进行预测；

所述步骤1中，将历史交通流量数据视作一个时空序列其中，N表示传感器节点的数量；T_h表示历史数据的时间点总数，对应历史交通流量的输入长度；x_1,1表示第一个传感器节点的历史数据在第一个时间点的交通流量；/>表示第一个传感器节点的历史数据在第T_h个时间点的交通流量；x_N,1表示第N个传感器节点的历史数据在第一个时间点的交通流量；/>表示第N个传感器节点的历史数据在第T_h个时间点的交通流量；

将时间信息定义为X_t∈(1,T)，由周几X_DiW、时间点X_TiD、是否为节假日X_ifH和每天的时间切片数T_times构成；其中T＝8×T_times，T表示设定周期内的时间点总数；时间信息的具体公式如下：

X_t＝X_TiD+(X_DiW(1-X_ifH)+7×X_ifH)×T_times (1)；

将空间信息定义为X_s∈(1,N)；

将交通流量预测问题定义为一个时空序列预测问题，使用历史交通流量数据X、时间信息X_t和空间信息X_s，学习一个f(·)映射函数，得到未来时刻的交通流量数据其中T_p表示预测交通流量的输出长度，具体公式如下：

所述步骤2的具体过程为：

步骤2.1、在时间上构建一个时间嵌入矩阵E_t∈R^T×^F，其中F表示嵌入向量的维度；使用时间信息X_t从时间嵌入矩阵中取出对应的时间位置向量对序列中提取的趋势信息进行时间位置编码，进而得到时间位置编码矩阵时间位置编码过程描述为下列公式：

其中，为设定周期内第T个时间点的时间嵌入向量；

步骤2.2、在空间上构建一个空间嵌入矩阵E_s∈R^N×F，使用空间信息X_s从空间嵌入矩阵中取出对应的空间位置向量对序列提取的趋势信息进行空间位置编码，进而得到空间位置编码矩阵空间位置编码过程描述为下列公式：

其中，为在第N个传感器节点的空间嵌入向量；

所述步骤3中，空间掩码矩阵S_mask的构建过程表示为：

其中，S_cos为空间嵌入向量间的余弦相似度矩阵；-inf为负无穷；threshold为空间掩码矩阵的余弦相似度阈值；余弦相似度矩阵中大于等于阈值的位置掩码赋值为0，小于阈值的位置掩码赋值为负无穷；

所述步骤4中，构建的交通流量预测模型包含多个时间趋势层、一个时空位置编码器和一个空间掩码注意力层；每个时间趋势层包括两个一维时间卷积层和一个残差连接；堆叠多个时间趋势层，底层的时间趋势层提取局部的走势，顶层的时间趋势层则汇总全局的走势；使用处理得到的历史交通流量数据和未来交通流量标签数据训练交通流量预测模型；

所述步骤4中，交通流量预测模型的工作过程为：

步骤4.1、将历史交通流量数据X输入第一个时间趋势层，历史交通流量数据首先经过两个并行的一维卷积层提取特征，随后经过门控单元控制信息的流动，最后使用残差连接来避免梯度消失，整个过程描述为下列公式：

其中，X_i表示第i个时间趋势提取层输出的时间趋势信息；⊙表示哈达玛积；tanh(·)表示Tanh激活函数；σ(·)表示Sigmoid激活函数；分别是两个时间卷积层的权重；b₁、b₂分别为两个时间卷积层的偏置；

其中，L表示使用的时间趋势提取层的层数，X_trend表示最终的时间趋势特征；

步骤4.4、通过时空位置编码器将时间位置编码矩阵空间位置编码矩阵/>与最终的时间趋势信息X_trend级联在一起，对时间趋势信息进行时空位置编码，得到时空位置编码后的时间趋势信息/>时空位置编码过程描述为下列公式：

其中，为级联操作，将X_trend、/>和/>进行拼接；

步骤4.5、将时空位置编码后的时间趋势信息输入空间掩码注意力层进行融合，得到融合后的时空特征X_st，融合过程表示为：

其中，SoftMax(·)为softmax函数；W_q、W_k和W_v分别为查询、键和值的参数矩阵，d_k为W_q的特征维度；

步骤4.6、将X_st经过一个多层感知机进行特征维度变换，得到最终预测结果，即未来时刻的交通流量数据Y，计算公式如下：

Y＝MLP(X_st) (12)；

其中，MLP(·)为多层感知机。