CN110570035B - 同时建模时空依赖性和每日流量相关性的人流量预测*** - Google Patents

Abstract

一种同时建模时空依赖性和每日流量相关性的人流量预测***，包括：ST编码器模块、FR编码器模块和解码器模块，本发明使用卷积长短期记忆网络同时空间上相邻区域的依赖性和时间依赖性，通过叠加卷积神经网络来分层次地捕获地理空间上不同范围的空间依赖性，同时基于区域的每日流量变化模式生成反映全市范围内每个区域之间流量相关性的完全图，通过图嵌入法为每个区域生成固定维向量表示，通过一层长短期记忆网络和两层反卷积神经网络，生成人流量的预测结果。

Description

同时建模时空依赖性和每日流量相关性的人流量预测***

技术领域

本发明涉及的是一种人工智能应用领域的技术，具体是一种同时建模时空依赖性和每日流量相关性的人流量预测***。

背景技术

人流量预测问题是复杂的受多种因素影响的时空序列预测问题，现有的研究大致可以分为三类。第一类研究使用循环神经网络(Recurrent Neural Network,RNN)来捕获复杂的时域相关性，但是在这类研究中，区域之间是彼此独立的，因此忽视了区域间的关联。第二类研究考虑空域的关联性性，采用卷积神经网络(Convolutional Neural Network,CNN)解决人流量预测问题，然而，CNN却不能捕获时域中的变化信息。第三类研究尝试同时建模时空相关性，并且提出了卷积长短期记忆网络(ConvLSTM)等结构来同时捕获这种相关性。

发明内容

为了能够提高全市范围人流量多步预测问题的预测精度，具体地说，预测一个城市未来若干时间段内车辆/人群进入或离开城市每个区域的数量，需要解决的技术问题包括：1)如何设计合理的结构同时建模时域和空域依赖性；2)在城市快速交通工具(如地铁、高速公路)建设成熟的情况下，一个区域的人流量将受更大空间范围内区域流量的影响，如何设计有效的结构建模这种不同大小范围的空间依赖性；3)区域每日的流量变化规律相对固定，并且全市范围内存在变化规律十分相关的区域，如何有效地建模这种基于每日流量变化的相关性。本发明针对以上问题，提出一种同时建模时空依赖性和每日流量相关性的人流量预测***，并基于观察提出，对于地理空间中的每一个区域，其每日的流量变化模式都相对固定，并且即使是空间中相距很远的两个区域也会有着十分相似的流量变化模式，这种相似反映出两个区域之间存在着较强的相关性。

本发明是通过以下技术方案实现的：

由于一个区域的人流量不仅受其周围区域人流量情况的影响，也受其之前一段时间流量情况的影响，因此采用ConvLSTM来同时捕获时空相关性。

由于城市快速交通工具的建设使得一个区域的人流量受更大空间范围内区域流量的影响，而受卷积核大小的影响，单层ConvLSTM网络只能捕获空间中较近区域间的相互影响，因此，本发明通过叠加CNN来分层次地捕获地理空间上不同范围的空间依赖性。

为了捕获区域每日流量变化规律以及区域间流量变化规律的相似性，同时建模该变化规律和相似性，本发明首先基于区域的每日流量变化模式生成反映全市范围内每个区域之间流量相关性的完全图，通过图嵌入法为每个区域生成固定维向量表示，使得具有相似流量变化规律的区域在生成的向量空间中距离更近。

本发明涉及一种同时建模时空依赖性和每日流量相关性的人流量预测***，包括：时域空域(ST)编码器模块、区域特征(FR)编码器模块和解码器模块，其中：ST编码器模块通过两层卷积神经网络分层次地建模不同大小空间范围的依赖性、通过一层卷积长短期记忆网络建模时域的依赖性，并将得到的同时捕获时空依赖性的固定维向量表示输出至解码器模块；FR编码器模块基于历史流量数据序列计算每个区域之间的流量变化相似度并生成完全图输出至解码器模块；解码器模块通过一层长短期记忆网络和两层反卷积神经网络，生成人流量的预测结果。

所述的历史流量数据序列是指：每个区域每天24小时流量状况。

所述的完全图中通过图嵌入方法为每个区域生成表示向量，使得流量变化相似的区域具有更接近的表示向量。

所述的完全图中每个节点表示一个区域，每条边表示两个对应区域的流量变化相关性。

本发明设计一种基于上述***的预测方法，编码阶段将历史流量数据序列作为输入，由ST编码器模块、FR编码器模块生成固定维的表示向量，解码阶段根据生成的向量通过解码器模块的ConvLSTM和反卷积网络生成对未来时间段内流量的预测序列。

所述的建模时空依赖性是指：为了同时建模时空相关性，在ST编码器模块设计使用卷积长短期记忆网络(ConvLSTM)，其在保留了一般循环神经网络可以捕获时间相关性特性的同时，内在的卷积操作可以捕获空间特征。

为了分层次地捕获不同大小范围的空间依赖性，同时尽量降低计算复杂度和训练时间，在ConvLSTM的底部添加两层卷积神经网络(CNN)，以捕获更大空间范围内的依赖性。

所述的建模每日流量相关性是指：为了建模基于每日流量变化的相关性，本发明在FR编码模块首先根据历史的每日流量数据提取每个区域一天24小时的流量变化规律，根据提取到的模式计算区域之间的相关性，生成以区域为节点，区域间每日流量相关性为边的完全图，利用图嵌入法，为每个区域生成唯一的固定维潜在表示向量，同时保证每日流量相关性较强的区域在向量空间内具有更近的距离。

技术效果

与现有技术相比，本发明充分考虑时域和空域相关性对一个区域人流量的影响，以及全市范围内不同空间大小的空域相关性，同时基于区域每日流量变化规律，捕获区域间流量变化的相关性，从而在全市范围内人流量多步预测问题上，取得更高的预测精度。

附图说明

图1为城市人流量预测***流程图；

图2为***结构示意图。

具体实施方式

如图2所示，为本实施示例针对全市范围人流量的多步预测问题提出的一种基于编解码框架的带双编码器模块的预测***，包括：

①ST编码器模块：包括两层卷积神经网络来分层次地捕获不同范围大小的空间依赖性，一层卷积长短期记忆网络来同时捕获时域和空域的依赖性，将输入的人流量张量序列编码为固定维的表示向量；

②FR编码器模块：捕获区域之间每日流量变化的相关性，首先通过计算区域间流量变化的相似度，得到区域间每日流量相关性，生成以区域为节点、以区域间流量变化相关性为边的完全图，然后运用图嵌入法为每个区域生成唯一的表示向量；

③解码器模块：基于两个编码器模块生成的固定维的表示向量，通过一层卷积长短期记忆网络和两层反卷积神经网络，生成表示对未来若干时间段内流量预测的张量序列。

在将数据运用到所提出的预测***之前，先对轨迹数据进行预处理，具体步骤包括：

1)基于地理坐标将一个城市划分为大小为M×N的网格地图，其中的每一个网格代表一个区域；

2)原始数据是形式为(p^start，p^end，t^start，t^end)的轨迹数据，表示一条在t^start时刻以p^start为起点，在t^end时刻以p^end为终点的轨迹，将轨迹数据转换为一个区域在某个时间段内的流入量和流出量，具体为：

其中：

和

分别表示在第t个时间段(s_t，e_t]内，区域r_ij的流入量和流出量；本***将整个城市所有区域的流入量和流出量合在一起，构成在第t个时间段全市的流量张量

以当前时刻前A个时间段的流量张量序列{Δ_t|t＝T-A+1，...，T-1，T}为输入，预测后B个时间段内的流量张量序列{Δ_t|t＝T+1，T+2，...，T+B}。

由于城市快速交通方式(如地铁和高速公路)的建设使得人们在短时间内可以移动较大的空间距离，因此地理空间上相对较远的区域之间也可能存在着空间依赖性，但是ConvLSTM中的卷积操作只能捕获空间中十分邻近的区域的依赖性(受卷积核大小的限制)。本实施例采用在ConvLSTM层底部增加两层卷积神经网络(CNN)，在能够分层次地捕获更大范围的空间依赖性的同时尽可能减少所需的计算量和训练时间。

在某个具体的时间点T，ST编码器模块的输入是由前A个时间段的流量张量组成的序列{Δ_T-A+1，...，Δ_T-1，Δ_T}，ST编码器模块中的两层CNN将分层地提取不同范围大小的空间依赖性，生成对应的特征表示张量

具体为：

其中：t＝T-A+1，...，T-1，T，*表示卷积操作，f(·)表示非线性的激活函数，W和b是需要学习的参数，在一个具体的时间点T被区域所共享。

所述的ST编码器模块中进一步设有一层ConvLSTM，两层CNN生成的特征表示张量将作为输入依次进入ConvLSTM来进一步捕获时空依赖性，由于ConvLSTM单元内卷积操作的存在，使得其状态的更新不仅受当前时刻的输入和之前的状态影响，还受其邻居的影响。

所述的状态的更新是指：在特定的一步t，ConvLSTM以对应的特征表示张量

为输入，并且通过卷积操作来决定是否激活其输入门i_t、遗忘门f_t、输出门o_t以及如何更新其记忆状态

和隐藏状态

最初的状态

和

被初始化为0以保证***对未来状况的“完全无知”；ConvLSTM单元对应的更新公式如下：

其中：t＝1，2，...，A，

和

分别是对应于第t步的记忆状态和隐藏状态，

表示外部输入，ConvLSTM(·)表示ConvLSTM的更新公式，具体为：

i_t＝σ(W_xi*X_t+W_hi*H_t-1+b_i）

f_t＝σ(W_xf*X_t+W_hf*H_t-1+b_f)

o_t＝σ(W_xo*X_t+W_ho*H_t-1+b_o)

其中：*表示卷积操作，

表示Hadamard积，σ(·)表示sigmoid激活函数，W和b是需要学习的参数。

用于建模每日流量的相关性的FR编码器模块首先提取每个区域的每日流量变化规律，为了减少异常值和噪声的影响，优选通过提取每日流量变化模式，将历史流量数据以小时为单位求平均值，得到一个区域的流量变化模式；然后基于提取到的模式计算区域间流量变化的相似度，从而得到区域间每日流量相关性；最后为每个区域生成唯一的表示向量，即区域表示向量来保持这种相关性信息。

所述的提取每日流量变化模式是指：针对区域r_ij，使用该区域所有的历史流量数据来提取其流量变化模式。为了减少由于工作日和周末的流量变化巨大差异所造成的刻画误差，本***将每个区域的工作日数据和周末数据分别做平均值处理，因此某个区域有96个值，其中48个值表示工作日一天24小时的流入量和流出量均值，另外48个值对应于周末，本***将这96个值表示为一维向量

由于每个区域的人口基数不同，使得尽管两个区域有着十分相似的流量变化规律，其向量的值也会有很大的差异，为了消除这一影响，本***对每个区域的向量做正则化处理：

I_max＝max(v_ij)，I_min＝min(v_ij)，k＝0，1，2，...，K-1，其中：(v_ij)_k表示向量的第k个值，K表示向量的长度，在这里为96。

所述的区域间每日流量相关性是指：基于每日流量变化模式计算区域间的相关性，以两个区域对应向量的欧拉距离取倒数后的值来表示其相关性，具体为：

其中：i，p＝0，1，2，...，M-1j，q＝0，1，2，...，N-1，K是向量的长度，α设置为0.01以避免出现分母为0的情况，M和N分别代表网格地图的行数和列数。

通过这种方式得到任意两个区域之间的每日流量相关性c(v_ij，v_pq)，将其视为一个完全图G(V，E)，其中节点v表示区域，边的权值代表两个对应的区域之间基于每日流量变化模式的相关性。

所述的区域表示向量，通过图嵌入方法(LINE)为每个区域生成唯一的向量表示，即给定图G(V，E)，LINE会对每一个节点v(也就是一个区域)生成保留了原始图结构的向量表示

因此生成的向量表示保留了区域之间每日流量的相关性，并且在向量空间中更近的向量表明了区域间更强的相关性。

所有区域的向量共同组成张量

F将会和ST编码器模块中ConvLSTM最终的记忆状态、隐藏状态拼接起来，共同作为解码器模块中ConvLSTM的初始状态：

其中：

表示连接操作，C^e和H^e是ST编码器模块中ConvLSTM的最终状态。

所述的解码器模块用于生成最终的预测结果张量序列，通过连接操作融合ST编码器模块生成的向量捕获了动态的时空依赖性和FR编码器模块生成的向量保留了区域间相对固定的每日流量相关性；通过一层ConvLSTM在时间维度解码；再通过两层反卷积神经网络来生成和输入序列尺寸大小相同的预测结果张量序列。

所述的时间维度解码是指：根据ConvLSTM的初始状态

和

在某个具体的步骤t，没有其他的外部输入进入解码器模块的ConvLSTM，是否激活其各门阀取决于前一步的状态

和

对应的更新公式为：

所述的预测结果张量序列，通过两层反卷积神经网络在特定的时间点T，对于第t步，基于ConvLSTM的输出

两层反卷积神经网络将生成预测结果张量

其中：t＝1，2，...，B，

表示反卷积操作，W和b表示需要学习的参数。

所述的预测结果张量序列，即表示T时刻后B个时间段内人流量的张量序列{Δ_T+1，Δ_T+2，...，Δ_T+B}。

所述的模型中包括ST编码模块、FR编码模块以及解码模块中所涉及到的所有参数的训练过程具体为：由于本实施例的目标在于尽可能准确地预测全市每个区域的未来B时间段内的人流量，所以在训练***的时候，本***通过最小化预测值

和真实值

之间的均方根误差来更新***中的参数，损失函数为

其中：θ表示***中所有的需要学习的参数，B是需要往后预测的步数。

在具体实施实验的过程中所用的数据集为收集于伦敦市的两个真实的轨迹数据集，分别称为BikeNYC和TaxiNYC，其中BIkeNYC包括从2013年7月1日起至2016年6月30日的2.9千万条自行车轨迹记录，TaxiNYC数据集包括自2009年1月1日起至2015年12月31日的10亿多条出租车轨迹记录。

参数具体设置为：对于卷积神经网络、反卷积神经网络和卷积长短期记忆网络，其卷积核的大小均设置为3×3，两层卷积神经网络的特征数分别设为8和16，在进行卷积操作时，TaxiNYC数据集中的步长设为2而BikeNYC中设为1。长短期记忆网络中的状态包括64个单元，对于TaxiNYC和BikeNYC数据集，FR编码器模块为每个区域生成的表示向量的长度分别设为64和80。在训练模型时采用了批处理技术，并且将每一批的数量设置为16。在更新参数的时候采用Adam优化器，在TaxiNYC和BikeNYC两个数据集上，学习率分别设置为0.001和0.0005。

本实施例所有实验均在一台装有NVIDIA Tesla K80加速器的服务器上进行，在TaxiNYC数据集上，所得到的RMSE值为25.604，在BikeNYC数据集中，所得到的RMSE值为7.668。与现有技术相比，本***将RMSE分别降低了18.20％和7.31％。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (7)

1.一种同时建模时空依赖性和每日流量相关性的人流量预测***，其特征在于，包括：ST编码器模块、FR编码器模块和解码器模块，其中：ST编码器模块通过两层卷积神经网络分层次地建模不同大小空间范围的依赖性、通过一层卷积长短期记忆网络建模时域的依赖性，并将得到的同时捕获时空依赖性的固定维向量表示输出至解码器模块；FR编码器模块基于历史流量数据序列计算每个区域之间的流量变化相似度并生成完全图输出至解码器模块；解码器模块通过一层长短期记忆网络和两层反卷积神经网络，生成人流量的预测结果；

所述的完全图中通过图嵌入方法为每个区域生成表示向量，使得流量变化相似的区域具有更接近的表示向量；

所述的完全图中每个节点表示一个区域，每条边表示两个对应区域的流量变化相关性；

所述的ST编码器模块：包括两层卷积神经网络来分层次地捕获不同范围大小的空间依赖性，一层卷积长短期记忆网络来同时捕获时域和空域的依赖性，将输入的人流量张量序列编码为固定维的表示向量，具体为：

1)基于地理坐标将一个城市划分为大小为M×N的网格地图，其中的每一个网格代表一个区域；

2)原始数据是形式为(p^startp^end，t^start，t^end)的轨迹数据，表示一条在t^start时刻以p^start为起点，在t^end时刻以p^end为终点的轨迹，将轨迹数据转换为一个区域在某个时间段内的流入量和流出量，具体为： 其中：和分别表示在第t个时间段(s_t，e_t]内，区域r_ij的流入量和流出量；本***将整个城市所有区域的流入量和流出量合在一起，构成在第t个时间段全市的流量张量

以当前时刻前A个时间段的流量张量序列{Δ_t|t＝T-A+1，...，T-1，T}为输入，预测后B个时间段内的流量张量序列{Δ_t|t＝T+1，T+2，...，T+B}；

所述的ST编码器模块，在时间点T的输入是由前A个时间段的流量张量组成的序列{Δ_T-A+1，...，Δ_T-1，Δ_T}，ST编码器模块中的两层CNN将分层地提取不同范围大小的空间依赖性，生成对应的特征表示张量具体为：其中：t＝T-A+1，...，T-1，T，*表示卷积操作，f(·)表示非线性的激活函数，W和b是需要学习的参数，在一个具体的时间点T被区域所共享；

所述的ST编码器模块中进一步设有一层ConvLSTM，两层CNN生成的特征表示张量将作为输入依次进入ConvLSTM来进一步捕获时空依赖性，由于ConvLSTM单元内卷积操作的存在，使得其状态的更新不仅受当前时刻的输入和之前的状态影响，还受其邻居的影响；

所述的卷积长短期记忆网络，在特定的一步t，ConvLSTM以对应的特征表示张量为输入，并且通过卷积操作来决定是否激活其输入门i_t、遗忘门f_t、输出门o_t以及如何更新其记忆状态和隐藏状态最初的状态和被初始化为0以保证***对未来状况的“完全无知”；ConvLSTM单元对应的更新公式如下：其中：t＝1，2，...，A，和分别是对应于第t步的记忆状态和隐藏状态，表示外部输入，ConvLSTM(·)表示ConvLSTM的更新公式，具体为：i_t＝σ(W_xi*X_t+W_hi*H_t-1+b_i)，f_t＝σ(W_xf*X_t+W_hf*H_r-1+b_f)，o_t＝σ(W_xo*X_t+W_ho*H_t-1+b_o)， 其中：*表示卷积操作，表示Hadamard积，σ(·)表示sigmoid激活函数，W和b是需要学习的参数；

所述的FR编码器模块：捕获区域之间每日流量变化的相关性，首先通过计算区域间流量变化的相似度，得到区域间每日流量相关性，生成以区域为节点、以区域间流量变化相关性为边的完全图，然后运用图嵌入法为每个区域生成唯一的表示向量；

所述的解码器模块将所有区域的向量共同组成张量与ST编码器模块中ConvLSTM最终的记忆状态、隐藏状态拼接，共同作为解码器模块中ConvLSTM的初始状态：其中：表示连接操作，C^e和H^e是ST编码器模块中ConvLSTM的最终状态；再基于两个编码器模块生成的固定维的表示向量，通过一层卷积长短期记忆网络和两层反卷积神经网络，在时间维度解码后通过两层反卷积神经网络来生成和输入序列尺寸大小相同的预测结果张量序列；

所述的时间维度解码是指：根据ConvLSTM的初始状态和在某个具体的步骤t，没有其他的外部输入进入解码器模块的ConvLSTM，是否激活其各门阀取决于前一步的状态和对应的更新公式为：

所述的预测结果张量序列，通过两层反卷积神经网络在特定的时间点T，对于第t步，基于ConvLSTM的输出两层反卷积神经网络将生成预测结果张量 其中：t＝1，2，...，B，表示反卷积操作，W和b表示需要学习的参数，预测结果张量序列，即表示T时刻后B个时间段内人流量的张量序列{Δ_T+1，Δ_T+2，...，Δ_T+B}。

2.一种基于权利要求1所述***的预测方法，其特征在于，编码阶段基于历史流量数据序列作为输入，由ST编码器模块、FR编码器模块生成固定维的表示向量，解码阶段根据生成的向量通过解码器模块的ConvLSTM和反卷积网络生成对未来时间段内流量的预测序列。

3.根据权利要求2所述的方法，其特征是，在将数据运用到所提出的预测***之前，先对轨迹数据进行预处理，具体步骤包括：

1)基于地理坐标将一个城市划分为大小为M×N的网格地图，其中的每一个网格代表一个区域；

2)原始数据是形式为(p^start，p^end，t^start，t^end)的轨迹数据，表示一条在t^start时刻以p^start为起点，在t^end时刻以p^end为终点的轨迹，将轨迹数据转换为一个区域在某个时间段内的流入量和流出量，具体为： 其中：和分别表示在第t个时间段(s_t，e_t]内，区域r_ij的流入量和流出量；本***将整个城市所有区域的流入量和流出量合在一起，构成在第t个时间段全市的流量张量

以当前时刻前A个时间段的流量张量序列{Δ_t|t＝T-A+1，...，T-1，T}为输入，预测后B个时间段内的流量张量序列{Δ_t|t＝T+1，T+2，...，T+B}。

4.根据权利要求2所述的方法，其特征是，在某个具体的时间点T，sT编码器模块的输入是由前A个时间段的流量张量组成的序列{Δ_T-A+1，...，Δ_T-1，Δ_T}，ST编码器模块中的两层CNN将分层地提取不同范围大小的空间依赖性，生成对应的特征表示张量具体为： 其中：t＝T-A+1，...，T-1，T，*表示卷积操作，f(·)表示非线性的激活函数，W和b是需要学习的参数，在一个具体的时间点T被区域所共享。

5.根据权利要求2所述的方法，其特征是，通过提取每日流量变化模式，将历史流量数据以小时为单位求平均值，得到一个区域的流量变化模式；然后基于提取到的模式计算区域间流量变化的相似度，从而得到区域间每日流量相关性；最后为每个区域生成唯一的表示向量，即区域表示向量来保持这种相关性信息；

所述的提取每日流量变化模式是指：针对区域r_ij，使用该区域所有的历史流量数据来提取其流量变化模式，为了减少由于工作日和周末的流量变化巨大差异所造成的刻画误差，本***将每个区域的工作日数据和周末数据分别做平均值处理，因此某个区域有96个值，其中48个值表示工作日一天24小时的流入量和流出量均值，另外48个值对应于周末，本***将这96个值表示为一维向量

6.根据权利要求5所述的方法，其特征是，对每个区域的向量做正则化处理： I_max＝max(v_ij)，I_min＝min(v_ij)，k＝0，1，2，...，K-1，其中：(v_ij)_k表示向量的第k个值，K表示向量的长度；

所述的区域间每日流量相关性是指：基于每日流量变化模式计算区域间的相关性，以两个区域对应向量的欧拉距离取倒数后的值来表示其相关性，具体为： 其中：i，p＝0，1，2，...，M-1j，q＝0，1，2，...，N-1，K是向量的长度，α设置为0.01以避免出现分母为0的情况，M和N分别代表网格地图的行数和列数；

所述的区域表示向量，通过图嵌入方法LINE为每个区域生成唯一的向量表示，即给定图G(V，E)，LINE会对对应每个区域的每一个节点v生成保留原始图结构的向量表示因此生成的向量表示保留了区域之间每日流量的相关性，并且在向量空间中更近的向量表明了区域间更强的相关性；

所有区域的向量共同组成张量F将会和ST编码器模块中ConvLSTM最终的记忆状态、隐藏状态拼接起来，共同作为解码器模块中ConvLSTM的初始状态： 其中：表示连接操作，C^e和H^e是ST编码器模块中ConvLSTM的最终状态。

7.根据权利要求4所述的方法，其特征是，所述的需要学习的参数，其训练过程具体为：通过最小化预测值和真实值之间的均方根误差来更新***中的参数，损失函数为 其中：θ表示***中所有的需要学习的参数，B是需要往后预测的步数。

Images