CN110018927A

CN110018927A - 基于生成对抗网络的交通数据修复方法

Info

Publication number: CN110018927A
Application number: CN201910078120.6A
Authority: CN
Inventors: 张勇; 原野; 王博岳; 尹宝才
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2019-01-28
Filing date: 2019-01-28
Publication date: 2019-07-16

Abstract

基于生成对抗网络的交通数据修复方法是一种机器学习的数据修复方法。缺失的交通流矩阵经常影响智能交通***的性能，如错误的拥堵预测和路线指导。本发明将对抗训练思想引入交通流数据修复中，整个模型分为两个部分，生成网络和鉴别网络。生成网络部分修复缺失交通流矩阵，而鉴别网络判断修复后的交通流矩阵是否符合真实分布，并利用一致性约束来保证交通流矩阵的时序连贯性。本发明提高交通数据修复的准确性，实现对交通流量残缺部分的准确估计。

Description

基于生成对抗网络的交通数据修复方法

技术领域

本发明是一种机器学习的数据修复方法，特别是适用于缺失交通数据的修复。

背景技术

在矩阵修复方法中，邻近插值和基于稀疏低秩矩阵的修复方法是较为常用的方法。

但是由于这两种方法都主要基于临近值以及交通数据的时序特征，因此在数据变化较为剧烈或者数据损失较为严重的情况下，这些方法的性能就会大幅下降。

在我们的发明中，我们主要注重于解决算法在交通流剧烈变化或严重损失条件下表现不佳的问题。在卷积网络修复的基础上，我们加入对抗生成网络以提升效果，据我们所知，我们第一个将生成对抗网络引入交通修复问题。通过对抗约束修复结果更接近真实分布，以提升修复效果。

发明内容

目前常用如历史插值和稀疏表示等基于交通数据时序特征的方法已取得较好的修复结果，并得到广泛应用。但是，在实际中数据的变化趋势经常是十分剧烈的，这些基于时序特征的方法，会偏离识别的原始模式，致使修复效果劣化严重。更进一步的，在实际场景中数据缺失率经常在70％甚至以上，这时基于周围相关值和稀疏特征的方法基本无法恢复任何信息。鉴于上述原因，我们提出了基于对抗生成网络的交通数据修复方法。此方法利用鉴别器与生成器对抗训练，可以很好的提升交通数据修复效果，并在高损失率下表现良好。

此公式代表本发明所解决的问题描述。公式中L代表缺失交通流矩阵，其中行代表时间，列代表道路，矩阵中的每个值代表检测器对道路状态的一次记录，例如，L_ij意味着探测器在i时刻对j道路的一次记录。C代表完整交通流矩阵，同样，行代表时间，列代表道路，M(x)表示交通矩阵中缺失的记录，即M(x)＝1意味着该记录丢失，1-M意味着完全为1的矩阵减去缺失部分为一的矩阵而得到只有缺失部分为0的矩阵，意味着矩阵点乘计算，即使缺失部分记录为0。交通流修复问题可以被看作从缺失交通矩阵L中恢复完整交通矩阵C。

本发明基于生成对抗网络去修复缺失交通流矩阵。首先，原始的生成对抗网络基于一种协同训练的思想：生成对抗网络分为两部分，生成网络和对抗网络。随机噪声通过生成网络生成输出数据，之后生成网络的输出数据和真实数据一同输入鉴别网络中，鉴别网络试图最大化鉴别能力，也就是分辨数据是否属于真实数据，而生成网络试图生成足够真实的数据以迷惑鉴别网络，整体优化过程就是生成器和鉴别器的最大最小化过程。

此公式代表生成对抗网络的最大最小化过程。公式中E代表期望，p_data代表真实数据分布，p_z代表随机噪声，x代表真实数据，z代表从正态分布噪声中的随机采样。D()代表鉴别网络,G()代表生成网络，log D(x)代表鉴别网络判断x属于真实分布的概率，log(D(G(z)))代表鉴别网络判断由生成网络从随机噪声z生成的数据G(z)属于真实分布的概率。整个训练过程就是，生成网络G试图最小化整个公式，鉴别网络D试图最大化整个公式的对抗训练过程。

而在本发明中，由于修复问题的性质，我们不使用随机噪声而是从缺失矩阵中填充修复矩阵，并适应于交通问题特征，增加了生成损失和中心损失两种额外约束以提高修复效果。

J^D(θ^D，θ^G)＝-E_x～Clog D(x)-E_z～Llog(1-D(G(z)))

J^G(θ^D，θ^G)＝E_z～Llog(D(G(z))

具体到训练过程中，鉴别网络D和生成网络G分别有各自的优化函数，θ^D，θ^G分别代表鉴别网络和生成网络的网络参数。J^D表示鉴别网络的优化函数，D()代表鉴别网络，G()代表生成网络，L代表缺失交通流矩阵，其中行代表时间，列代表道路，矩阵中的每个值代表检测器对道路状态的一次记录，例如，L_ij意味着探测器在i时刻对j道路的一次记录。C代表完整交通流矩阵，同样，行代表时间，列代表道路。那么，整个优化过程意味着试图达到鉴别网络无法区分真实数据和G()输出数据的程度，也就意味着G()输出数据可以认为属于真实分布。J^G表示生成网络的优化函数，其目标是最大化鉴别网络将其判断为真实数据的概率。与原始公式不同的是，C代表完整交通流矩阵，L代表输入的缺失交通流矩阵，也就意味着，本发明并非从随机噪声中恢复完整交通流矩阵，而是以缺失的交通流矩阵作为约束恢复完整的交通流矩阵。

另一方面，为了提高完整交通流矩阵的恢复效果，我们对生成网络增加了基于交通流数据特征的损失函数。主要分为以下两部分：生成损失和中心损失。

此公式旨在约束生成网络的修复结构足够接近真实交通流矩阵。公式中N，M分别是交通流矩阵的宽和高，P代表修复后的交通流矩阵，C代表完整交通流矩阵。本公式将修复交通流矩阵的每个值与真实交通流矩阵中对应的值做平方误差，并将结果连加，以约束训练时修复后交通流矩阵和真实交通流矩阵的区别，保证修复结果足够精确。

此公式旨在约束修复后交通流矩阵符合交通的时序分布规律，时序分布规律是指交通数据是按时间排列的，因此每行之间都存在潜在的时间序列联系。公式表示修复后交通流矩阵分布的差异性：差异越大则中心损失L_center越大，差异越小则L_center越小特别地，若2者相同则L_center为0。公式中C，P分别是真实和预测矩阵中以输入矩阵缺失值P_ij为中心的5*5矩阵，C，P中所有的值由C中最大值归一化,R是原始矩阵中缺失值的数量。此约束函数目标是约束交通矩阵的时空特征，使修复矩阵的周围分布尽量接近于真实分布。

L＝L_gen+J^D(θ^D,θ^G)+J^G(θ^D,θ^G)+L_center

最终生成网络的目标函数由以上所有函数组成。

整个训练过程为：

1)搭建网络模型，模型中参数由正态随机分布进行初始化。

2)将缺失交通流矩阵输入模型中，得到修复后的交通流矩阵。

3)将修复后交通流矩阵与真实完整交通流矩阵通过以上损失函数，进行对比，得到损失函数的值。

4)将损失函数的值反向传播回网络模型，通过链式求导将网络参数向使损失值降低的方向调整。

5)将另一个的交通流矩阵输入模型，重复2)-4)过程，直到网络模型参数达到最优。

6)训练完成之后，固定网络模型参数，该模型可以修复缺失交通流数据。

附图说明

图1技术流程图

图2网络模型结构图

图3与其他方法的NMAE误差比较

图4与其他方法的RMSE误差比较

具体实施方式

在实际生产环境中，记录设备经常会丢失一些时段的记录信息，即左上角的完整交通流矩阵(a)在自然条件产生缺失形成缺失矩阵(b)。我们将缺失矩阵(b)输入已训练好的生成网络中得到修复矩阵(c)，另外加入鉴别网络训练生成网络以保证修复结果的准确性，图1中x_ij是完整数据的记录，p_ij是修复后的记录，？是缺失的记录。

图2展示训练模型的具体结构。我们将缺失交通流矩阵输入生成网络，首先通过卷积层和空洞卷积层提取特征，然后通过卷积和逆卷积层输出修复矩阵。而修复后交通矩阵经过鉴别网络判断是否属于真实分布并比较生成损失以及中心损失，其结果反向传播回去训练生成网络和鉴别网络。

我们将本发明的模型和三种经典方法在2016年7月到10月的北京环路数据上进行了比较(如图3，图4所示)。LaMit是一种基于稀疏矩阵分解的矩阵填充技术，非负矩阵分解(NMF)是一种基于周围值的矩阵填充技术，稀疏正则化奇异值分解(SRSVD)是一种基于稀疏特征和奇异值分解的矩阵填充技术。

我们在两个指标下进行了对比：标准平均(NMAE)和均方根误差(RMSE)。横坐标指输入样本的损失率。可以看到，比起其他方法，我们在全部的损失率下表现都优于其他三种方法。尤其在损失率极高的0.9条件下，其他方法效果都有很大的降低，但我们的方法仍然比较稳定。

我们在2016年7月到10月的北京环路缺失数据上进行了本发明的应用，每个交通流矩阵包括416条道路以及416次记录，每次记录间隔五分钟。

我们截取了北京环路2016年8月交通流矩阵的一部分进行说明，左边从上到下分别为完整交通流矩阵，20％缺失交通流矩阵，60％缺失交通流矩阵，90％缺失交通流矩阵，而右侧对应行是该缺失交通流矩阵输入本发明后产生的结果。

Claims

1.基于生成对抗网络的交通数据修复方法，其特征在于，先生成网络的目标函数然后开始训练：

L＝(1-M)⊙C

公式中L代表缺失交通流矩阵，其中行代表时间，列代表道路，矩阵中的每个值代表检测器对道路状态的一次记录，L_ij意味着探测器在i时刻对j道路的一次记录；C代表完整交通流矩阵，同样，行代表时间，列代表道路，M(x)表示交通矩阵中缺失的记录，即M(x)＝1意味着该记录丢失，1-M意味着完全为1的矩阵减去缺失部分为一的矩阵而得到只有缺失部分为0的矩阵，⊙意味着矩阵点乘计算，即使缺失部分记录为0；交通流修复问题被看作从缺失交通矩阵L中恢复完整交通矩阵C；

基于生成对抗网络去修复缺失交通流矩阵；首先，生成对抗网络分为两部分，生成网络和对抗网络；随机噪声通过生成网络生成输出数据，之后生成网络的输出数据和真实数据一同输入鉴别网络中，鉴别网络试图最大化鉴别能力，也就是分辨数据是否属于真实数据，而生成网络试图生成足够真实的数据以迷惑鉴别网络，整体优化过程就是生成器和鉴别器的最大最小化过程；

此公式代表生成对抗网络的最大最小化过程；公式中E代表期望，p_data代表真实数据分布，p_z代表随机噪声，x代表真实数据，z代表从正态分布噪声中的随机采样；D()代表鉴别网络,G()代表生成网络，logD(x)代表鉴别网络判断x属于真实分布的概率，log(D(G(z)))代表鉴别网络判断由生成网络从随机噪声z生成的数据G(z)属于真实分布的概率；整个训练过程就是，生成网络G试图最小化整个公式，鉴别网络D试图最大化整个公式的对抗训练过程；

增加了生成损失和中心损失两种额外约束以提高修复效果；

J^D(θ^D，θ^G)＝-E_x～ClogD(x)-E_z～Llog(1-D(G(z)))

J^G(θ^D,θ^G)＝E_z～Llog(D(G(z))

具体到训练过程中，鉴别网络D和生成网络G分别有各自的优化函数，θ^D，θ^G分别代表鉴别网络和生成网络的网络参数；J^D表示鉴别网络的优化函数，D()代表鉴别网络，G()代表生成网络，L代表缺失交通流矩阵，其中行代表时间，列代表道路，矩阵中的每个值代表检测器对道路状态的一次记录，L_ij意味着探测器在i时刻对j道路的一次记录；C代表完整交通流矩阵，同样，行代表时间，列代表道路；那么，整个优化过程意味着试图达到鉴别网络无法区分真实数据和G()输出数据的程度，也就意味着G()输出数据可以认为属于真实分布；J^G表示生成网络的优化函数，其目标是最大化鉴别网络将其判断为真实数据的概率；

对生成网络增加了基于交通流数据特征的损失函数；主要分为以下两部分：生成损失和中心损失；

公式中N，M分别是交通流矩阵的宽和高，P代表修复后的交通流矩阵，C代表完整交通流矩阵；本公式将修复交通流矩阵的每个值与真实交通流矩阵中对应的值做平方误差，并将结果连加，以约束训练时修复后交通流矩阵和真实交通流矩阵的区别，保证修复结果足够精确；

此公式旨在约束修复后交通流矩阵符合交通的时序分布规律，时序分布规律是指交通数据是按时间排列的，因此每行之间都存在潜在的时间序列联系；公式表示修复后交通流矩阵分布的差异性：差异越大则中心损失L_center越大，差异越小则L_center越小特别地，若2者相同则L_center为0；公式中C，P分别是真实和预测矩阵中以输入矩阵缺失值P_ij为中心的5*5矩阵，C，P中所有的值由C中最大值归一化,R是原始矩阵中缺失值的数量；此约束函数目标是约束交通矩阵的时空特征，使修复矩阵的周围分布尽量接近于真实分布；

L＝L_gen+J^D(θ^D,θ^G)+J^G(θ^D,θ^G)+L_center

最终生成网络的目标函数由以上所有函数组成；

整个训练过程为：

1)搭建网络模型，模型中参数由正态随机分布进行初始化；

2)将缺失交通流矩阵输入模型中，得到修复后的交通流矩阵；

3)将修复后交通流矩阵与真实完整交通流矩阵通过以上损失函数，进行对比，得到损失函数的值；

4)将损失函数的值反向传播回网络模型，通过链式求导将网络参数向使损失值降低的方向调整；

5)将另一个交通流矩阵输入模型，重复2)-4)过程，直到网络模型参数达到最优；

6)训练完成之后，固定网络模型参数，修复缺失交通流数据。