CN108446798A - 基于双路径时空残差网络的城市人群流动预测方法 - Google Patents

Abstract

本发明充分利用城市人群流动数据的时空特征，在残差网络结构ResNet和DenseNet的基础上，提出一种基于双路径时空残差网络的城市人群流动预测方法，该方法采用双路径时空残差网络进行城市人群流动预测，能够提升区域人群流入和流出的预测性能；所述双路径时空残差网络包括多个学习模块；所述学习模块由两个微块组成，其中每个微块开始于第一卷积层，后接第二卷积层，并以第三卷积层结束；第三卷积层的输出包括第一输出和第二输出，第一输出按照对应元素相加方式加入原始单通道残差网络，第二输出与密集连接网络的路径连接。本发明利用城市人群流动数据的时空特征，在残差网络结构ResNet和DenseNet的基础上，设计双路径残差网络ST‑DPResNet，从而进一步提升区域人群流入和流出的预测性能。

Description

基于双路径时空残差网络的城市人群流动预测方法

技术领域

本发明涉及一种城市人群流动预测方法，具体涉及一种基于双路径时空残差网络的城市人群流动预测方法。

背景技术

大数据时代的到来为城市计算提供了更多的机遇和更广阔的前景。如何利用大数据来提高城市管理以及社会治理的智能化和精细化水平成为当今的一个研究热点。准确地预测一个地区在未来一段时间内的人群流动情况，对于城市的交通管理、风险评估、公共安全等领域具有非常重要的意义。

现有的城市人群流动预测研究有针对人、车、路等实体的，如个体移动轨迹预测、短时交通流量预测等。这些预测是城市计算的一个重要视角，能够分析个体或局部区域的移动模式。城市人群流量预测受到很多研究人员的关注，特别是以区域为单元预测人群的流入和流出情况，能够从更宏观的层面分析群体移动模式。现有技术采用一种基于深度神经网络的时空数据预测方法，该方法将城市划分为网格区域，引入深度学习的思想，结合区域间相关性分析进行城市整体预测。但随着网络深度的增加，训练难度越来越大，而且会出现梯度消失的情况，即准确率会先上升然后达到饱和，再持续增加深度会则会导致准确率下降。现有技术将城市划分为网格区域，并利用残差网络ResNet对各区域的人群流入和流出量进行整体预测，提出ST-ResNet方法。但是传统单路径残差网络结构没有充分利用时空数据特征，且在收敛性方面存在不足，从而影响了数据的训练效果。

发明内容

本发明充分利用城市人群流动数据的时空特征，在残差网络结构ResNet和DenseNet的基础上，提出一种基于双路径时空残差网络的城市人群流动预测方法，该方法能够提升区域人群流入和流出的预测性能。

采用双路径时空残差网络进行城市人群流动预测；

所述双路径时空残差网络包括多个学习模块；

所述学习模块由两个微块组成，其中每个微块开始于第一卷积层，后接第二卷积层，并以第三卷积层结束；

第三卷积层的输出包括第一输出和第二输出，第一输出按照对应元素相加方式加入原始单通道残差网络，第二输出与密集连接网络的路径连接。

进一步的，第一卷积层为1×1的卷积层，第二卷积层为3×3的卷积层，第三卷积层为1×1卷积层。

进一步的，还包括步骤，

将反映周期性和趋势性的区域人群流量值特征经过一层卷积操作之后输入到学习模块的第一路径中，并通过以下公式进行计算，

其中x^l代表在第l个学习模块得到的信息，h_t代表在第t个学习模块的输入,f_t ^k(·)代表在第t个学习模块学习到的残差函数，l为学习模块的序号；

将反映平滑性的最近邻时刻的区域人群流量值经过一层卷积操作之后输入到学习模块的第二路径中，按照以下进行计算，

y^l＝y^l-1+φ^l-1(y^l-1),l＝1,...,L，

φ^k(·)代表在第k个模块学习到的残差函数，k为学习模块的序号。

进一步的，还包括步骤，

按照以下公式将第一路径和第二路径输出的信息进行合并，将合并结果作为下一个学习模块的输入或者作为最终输出结果，

r^k＝x^k+y^k,k为学习模块的序号。

进一步的，还包括步骤，

将学习模块的输出经过一次卷积操作后通过以下公式将结果映射到 [-1,1]，

其中表示在时间间隔t得到的预测值，k为学习模块的序号。

进一步的，还包括步骤，

通过以下公式来训练双路径时空残差网络；

其中θ是双路径时空残差网络中所有可学习的参数，X_t是真实值，是通过双路径时空残差网络得到的预测值。

第一路径为DenseNet路径；

第二路径为ResNet路径

本发明的有益效果是：

1本发明充分利用城市人群流动数据的时空特征，在残差网络结构ResNet 和DenseNet的基础上，设计双路径残差网络ST-DPResNet，从而进一步提升区域人群流入和流出的预测性能。

2城市人群流动数据具有典型的时间属性和空间属性，本发明充分利用了时空特征实现更好的数据分析、知识获取和模型构建。

3城市的区域划分已经体现了人群流动的空间特性，在此基础上，本发明考虑了时间的平滑性(recent)、周期性(period)和趋势性(trend)特性对未来时刻的影响方式各有不同。

4本发明将学习模块的结果再经过一次卷积操作(convolution2)，之后将结果映射到[-1,1]，这样有助于在反向传播过程中产生比标准逻辑函数更好的收敛性。

5与传统残差网络方法相比，本发明所提供的基于双路径时空残差网络的城市人群流动预测方法具有更好的模型收敛性与预测准确性。

附图说明

图1为本发明城市网格划分及人群流入流出示意图。

图2为本发ResNet的残差学习模块示意图。

图3为本发双路径时空残差网络学习模块设计示意图。

图4为本发基于双路径时空残差网络的城市人群流动预测框架示意图。

图5为本发模型收敛性对比示意图。

图6为本发预测准确性对比示意图。

具体实施方式

为了方便描述，本发明给出城市人群流动预测问题的相关定义。

定义1：(区域)采用网格划分的方法，根据经度和纬度，将一个城市划分为一个I×J网格图，其中每个网格表示一个区域。

定义2：(流入量/流出量)设P代表在第t个时间间隔内的轨迹集合。对于一个位于第i行第j列的网格(i,j)，在第t个时间间隔内，人群的流入量和流出量分别定义为：

其中T_r＝{p₁,p₂,...,p_n}是轨迹集合P中的一条轨迹，p_k是轨迹中的地理空间坐标；p_k∈g_i,j意味着坐标p_k位于网格g_i,j中，反之亦然；|·|代表了集合中满足条件的元素个数。所有I×J的网格区域在第t个时间间隔内的人群流动情况可以表示成一个张量X_t∈R^2×I×J，其中，

如图1所示，R1，R2，R3分别代表城市中相邻的三个区域，左下方黑色箭头表示在第t个时间间隔内根据公式(1)计算得到的区域R2的流入量，即右上方虚线箭头表示在第t个时间间隔内根据公式(2)计算得到的区域R2的流出量，即一个区域的流入/流出可以通过行人数量、附近道路行驶的车辆数量、乘坐公共交通工具的人数等数值来表示，或者通过对这些数值的综合计算来衡量。

定义3：(预测)：给出每个区域从时刻0到时刻t-1的历史观测数据 {X_t|t＝0,···,n-1}，从整体上预测所有区域在时间间隔t的人群流入/流出量。

现有残差网络分析

残差网络有效解决了梯度消失的问题，通过增加网络深度提高模型准确率。近年来研究者提出了ResNet，DenseNet，ResNeXt等不同的残差网络结构并应用于计算机视觉、图像识别等领域。本节重点分析传统单通道残差网络ResNet 与密集连接网络DenseNet的结构特点。

ResNet是当前常用的深度学习模型之一。图2展示了一个典型的残差学习模块。ResNet在原始卷积层外部加入恒等变换支路构成基本残差学习模块，前面一层的信息可以不经过矩阵乘法和非线性变换直接传输到下一层。

残差学习模块按照以下方式进行计算：

X_i+1＝F(X_i)+X_i (3)

这里X_i是第i个残差模块的输出，也是第i+1个模块的输入，F(·)是需要学习的残差函数。

DenseNet是一种密集连接残差网络，通过对特征的充分利用达到更好的效果。这种网络结构为了保证层间最大程度的信息传输，直接将所有层连接起来，即对于有l层的网络共有l·(l+1)/2个连接，从而能够避免不同层之间的信息丢失。 DenseNet中每一层的输入都来自之前所有层的输出，如公式(4)：

X_l＝H_l([X₀,X₁,...,X_l-1]) (4)

这里H_l(·)是一个复合函数，是批量正则化、激活函数和卷积三个操作的组合。[X₀,X₁,...,X_l-1]代表将l层之前所有层的输出级联在一起。

城市人群流动数据具有典型的时间属性和空间属性，充分利用时空特征有利于数据分析、知识获取和模型构建。城市的区域划分已经体现了人群流动的空间特性，在此基础上，考虑到时间的平滑性(recent)、周期性(period) 和趋势性(trend)特性对未来时刻的影响方式各有不同，因此采用不同的残差网路结构进行建模。

由于DenseNet网络加强了层间信息传递，能够充分利用周期性、趋势性等特征进行知识获取，而ResNet网络通过恒等变换的计算方式能够通过增加网络深度提高模型准确率，更适合平滑性特征的分析。因此考虑在DenseNet网络结构基础上，融合ResNet网络结构，从而设计双路径时空残差网络ST-DPResNet。

在残差网络中，用户可以通过学习模块的堆叠增加网络深度，从而解决不同的领域问题。

本发明提供一种双路径时空残差网络学习模块(ST-DPResNet Block)设计如图3所示。一个学习模块由2个微块(micro-block)结构堆叠而成。其中每个微块开始于1×1的卷积层，随后是3×3的卷积层，并以1×1的卷积层结束。最后一个1×1卷积层的输出分为两部分，一部分按照对应元素相加方式加入原始单通道残差网络，另一部分与密集连接网络的路径连接。

基于ST-DPResNet的人群流动预测框架如图4所示，输入的时间特征按照距离当前时刻的远近分为三部分，分别体现时间上的平滑性、周期性和趋势性。

将反映周期性和趋势性的区域人群流量值特征经过一层卷积操作(convolution1)之后输入到ST-DPResNet学习模块的第一路径中，通过公式(5) 进行计算。其中x^l代表在第l个学习模块得到的信息，h_t代表在第t个学习模块的输入，f_t ^k(·)代表在第t个学习模块学习到的残差函数，L为学习模块序号。

将反映平滑性的最近邻时刻的区域人群流量值经过一层卷积操作之后输入到ST-DPResNet学习模块的第二路径中，按照公式(6)进行计算，φ^k(·)代表在第k个模块学习到的残差函数。

y^l＝y^l-1+φ^l-1(y^l-1),l＝1,...,L (6)

然后按照公式(7)将双路径得到的信息进行合并，作为下一个模块的输入或者最终输出结果。

r^k＝x^k+y^k (7)

将第L个ST-DPResNet学习模块的结果再经过一次卷积操作 (convolution2)，之后通过公式(8)和公式(9)将结果映射到[-1,1]，这样有助于在反向传播过程中产生比标准逻辑函数更好的收敛性。其中表示在时间间隔t得到的预测值。

最后通过公式(10)最小化预测值与真实值之间的均方误差来训练 ST-DPResNet模型。

其中θ是ST-DPResNet中所有可学习的参数，X_t是真实值，是通过 ST-DPResNet模型得到的预测值。

为了进一步理解，本发明给出实施例1对ST-DPResNet训练过程的详细描述。首先从原始序列数据中构造训练实例(S1-S6)，然后通过反向传播算法最小化均方误差来训练ST-DPResNet模型(S7-S9)。

实施例2：

为了检验ST-DPResNet对城市人群流动预测的有效性，在预测准确性和模型收敛性两个方面，本实施例中与同样利用残差网络进行人群流动预测的 ST-ResNet方法进行对比。

其中，预测准确性选用均方根误差RMSE来度量。如公式(11)所示，x_i和分别是真实值和预测值，z是所有预测值的数量。RMSE的值越小，说明预测值与实际值越接近，准确性越高。

模型收敛性是指随着模型迭代次数的增加，误差不断减小，最后满足一定条件时停止训练过程。训练过程停止得越早，说明收敛性越好。

实验环境为Intel Core [email protected]，8GB RAM,GTX960M，4G显卡，软件开发环境是pyCharm，深度学习框架为Keras。

实验使用现有技术“Zhang J,Zheng Y,Qi D,et al.Deep Spatio-TemporalResidual Networks for Citywide Crowd Flows Prediction.Thirty-First AAAIConference on Artificial Intelligence(AAAI-17).San Francisco, California,USA.2016.1655-1661.”公开的纽约自行车出租数据集。数据取自2014年4月1日至9月30日期间，包括6800辆自行车的行程持续时间、开始和结束台站ID以及开始和结束时间,时间间隔为1小时，城市网格划分为 16×8。实验中，为了检验预测准确性，将最后10天的数据作为预测结果的测试数据，其他时间作为训练数据。为了检验模型收敛性，在训练数据中选取前90％的数据作为训练集，剩余的10％作为验证集。

实验中网络结构的参数选取非常重要，直接影响到最终的预测结果。经过多次实验确定网络结构参数设置如表1所示。图4中convolution1的卷积核大小为3×3×64，convolution2的卷积核大小为3×3×2。

参数	值
		L	4
batch_size	32
		day	24
week	7×24
		lr,lp,lt	6

表1网络结构参数设置

实验结果分析

图5和图6展示了ST-DPResNet与ST-ResNet的性能对比结果，其中图5 是在训练数据上对模型收敛性进行分析，图6是在实验数据集上对预测准确性进行对比。从图5中可以看出ST-DesNet更早结束训练，具有更好的收敛性。分析其主要原因，是得益于ST-DPResNet的主体DenseNet部分有效的解决了梯度消失问题。从图6中可以看出随着迭代次数的不断增加，两种方法的RMSE值都在不断下降，但是ST-DPResNet下降的更快更明显，说明具有更高的预测准确性，这主要是由于ST-DPResNet引入的DenseNet加强了层间的信息传递，使得模型对周期性、趋势性特征的利用更加充分。

为了以城市区域为单元预测人群的流入和流出情况，以便更有效地分析群体移动模式，本发明提出了一种基于双路径时空残差网络的城市人群流动预测方法ST-DPResNet。该方法以DenseNet为基础，同时融合了ResNet网络结构，在城市区域划分的基础上，对在时间维度上反映平滑性、周期性和趋势性的人群流量数据采用不同的残差网络结构，充分利用了数据的时空特征。实验表明，与传统残差网络方法相比，所提出的基于双路径时空残差网络的城市人群流动预测方法具有更好的模型收敛性与预测准确性。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (6)

1.一种基于双路径时空残差网络的城市人群流动预测方法,其特征在于，

采用双路径时空残差网络进行城市人群流动预测；

所述双路径时空残差网络包括多个学习模块；

所述学习模块由两个微块组成，其中每个微块开始于第一卷积层，后接第二卷积层，并以第三卷积层结束；

第三卷积层的输出包括第一输出和第二输出，第一输出按照对应元素相加方式加入原始单通道残差网络，第二输出与密集连接网络的路径连接。

2.如权利要求1所述的一种基于双路径时空残差网络的城市人群流动预测方法,其特征在于，第一卷积层为1×1的卷积层，第二卷积层为3×3的卷积层，第三卷积层为1×1卷积层。

3.如权利要求1所述的一种基于双路径时空残差网络的城市人群流动预测方法,其特征在于，还包括步骤，

将反映周期性和趋势性的区域人群流量值特征经过一层卷积操作之后输入到学习模块的第一路径中，并通过以下公式进行计算，

其中x^l代表在第l个学习模块得到的信息，h_t和f_t ^k(·)分别代表在第t个学习模块的输入和残差函数，l为学习模块的序号；

将反映平滑性的最近邻时刻的区域人群流量值经过一层卷积操作之后输入到学习模块的第二路径中，按照以下进行计算，

y^l＝y^l-1+φ^l-1(y^l-1),l＝1,...,L

φ^l(·)代表在第l个模块学习到的残差函数，l为学习模块的序号。

4.如权利要求3所述的一种基于双路径时空残差网络的城市人群流动预测方法,其特征在于，还包括步骤，

按照以下公式将第一路径和第二路径输出的信息进行合并，将合并结果作为下一个学习模块的输入或者作为最终输出结果，

r^k＝x^k+y^k,r^k是第k个模块的输出，k为学习模块的序号。

5.如权利要求1至4中任一权利要求所述的一种基于双路径时空残差网络的城市人群流动预测方法,其特征在于，还包括步骤，

将学习模块的输出经过一次卷积操作后通过以下公式将结果映射到[-1,1]，

其中表示在时间间隔t得到的预测值，k为学习模块的序号。

6.如权利要求1至5中任一权利要求所述的一种基于双路径时空残差网络的城市人群流动预测方法,其特征在于，还包括步骤，

通过以下公式来训练双路径时空残差网络；

其中θ是双路径时空残差网络中所有可学习的参数，X_t是真实值，是通过双路径时空残差网络得到的预测值。