CN115599779B - 一种城市道路交通缺失数据插值方法及相关设备 - Google Patents
一种城市道路交通缺失数据插值方法及相关设备 Download PDFInfo
- Publication number
- CN115599779B CN115599779B CN202211496560.1A CN202211496560A CN115599779B CN 115599779 B CN115599779 B CN 115599779B CN 202211496560 A CN202211496560 A CN 202211496560A CN 115599779 B CN115599779 B CN 115599779B
- Authority
- CN
- China
- Prior art keywords
- missing
- traffic flow
- road
- data
- interpolation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Remote Sensing (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供了一种城市道路交通缺失数据插值方法及相关设备,包括:获取目标城市的路网数据以及与路网数据对应的历史交通流数据;根据路网数据中道路间的空间拓扑邻近性构建空间拓扑邻近图,得到第一权重矩阵;根据路网数据中道路间的环境属性相似性构建环境属性相似图,得到第二权重矩阵;对历史交通流数据进行数据增强;对多图卷积插值模型进行迭代训练,得到已训练完成的多图卷积插值模型;将第一权重矩阵、第二权重矩阵以及当前的交通流数据输入至已训练完成的多图卷积插值模型,对当前的交通流数据进行插值处理,得到目标交通流数据插值结果;解决了现有技术在时空异质的缺失模式下模型适应能力较差,无法提供可靠插值结果的问题。
Description
技术领域
本发明涉及智能交通技术领域,特别涉及一种城市道路交通缺失数据插值方法及相关设备。
背景技术
城市道路交通流状况监测数据的完整性和准确性在交通分析过程中至关重要的数据指标。高质量、精细化的数据支撑可提高交通诱导、动态调控、路径规划等下游实时决策分析任务的可靠性,从而保证城市智能交通***(ITS)的有效稳定运行。随着信息通信技术的高速发展,大数据时代下城市路网交通流状况监测手段愈加丰富,以地感线圈、视频探头等为代表的固定型传感设备和以浮动车GPS轨迹数据为代表的移动性传感设备,可实现海量、实时的交通流数据获取。
然而,在呈现数据量爆发式增长的同时,如何提高数据质量仍是交通流数据获取流程中亟待解决的问题。其中,交通流数据缺失是实际交通环境中最为常见的问题之一。一方面,传感器自身故障损坏、通讯传输异常、定位精度不稳定等设备问题会导致大量数据丢失,另一方面,城市交通是受人、车、路、环境等多方面综合交互作用的复杂动态***,浮动车GPS轨迹这种众源类型的交通感知方式更易受到居民出行模式、城市功能分区、城市人类活动、天气因素等影响,呈现出时空稀疏性,进而导致由其估计得到的胶筒流数据缺失情况更不稳定。真实交通场景下缺失模式的高度复杂性和异质性大大增加了交通流数据处理工作的难度。
为了获得覆盖全路网空间的完备交通流数据,现有方法的侧重点大多在于如何充分挖掘与利用交通流的空间、时间、属性等相关信息,二较少考虑真实交通环境中复杂异质的缺失机制。现有方法大多针对单一缺失场景进行数据生成和模型设计,虽能在特定场景下去的较好的查补结果,但实际情况中交通流数据的缺失类型、缺失程度都是时空异质与动态变化的,这会导致模型在不同缺失情境下精度波动较大,适应性较差,特别是基于数据驱动方法的插值性能会更为敏感。例如,大多数模型仅考虑了空间邻近关系,而不是有效应对大比例连续块缺失情形;在高缺失率下,属性关联因子与交通流变量之间的函数关系存在偏差,会使基于属性相似性的差值方法精度大幅度降低。
发明内容
本发明提供了一种城市道路交通缺失数据插值方法及相关设备,其目的是为了解决现有技术仅针对单一缺失场景进行设计,未考虑真实交通环境中的复杂动态缺失机制,导致在时空异质的缺失模式下模型适应能力较差,无法提供可靠插值结果的问题。
为了达到上述目的,本发明提供了一种城市道路交通缺失数据插值方法,包括:
步骤1,获取目标城市的路网数据以及与路网数据对应的历史交通流数据;
步骤2,根据路网数据中道路间的空间拓扑邻近性构建空间拓扑邻近图,得到空间拓扑邻近图的第一权重矩阵;
步骤3,根据路网数据中道路间的环境属性相似性构建环境属性相似图,得到环境属性相似图的第二权重矩阵;
步骤4,对历史交通流数据进行数据增强,得到缺失掩膜、增强交通流数据和真实交通流标签;
步骤5,将第一权重矩阵、第二权重矩阵以及增强交通流数据输入多图卷积插值模型进行插值处理,得到交通流数据插值结果,并根据交通流数据插值结果、真实交通流标签和缺失掩膜,对多图卷积插值模型进行迭代训练,得到已训练完成的多图卷积插值模型;
步骤6,将第一权重矩阵、第二权重矩阵以及当前的交通流数据输入至已训练完成的多图卷积插值模型,对当前的交通流数据进行插值处理,得到目标交通流数据插值结果。
进一步来说,空间拓扑邻近图为:
其中,表示所有路段的集合,,为路段的总数量,表示第条路段,表示路段间的拓扑邻近关系,,表示第一权重矩阵,,当路段与路段之间相互连接时,的对应值为1,反之其对应值为0。
进一步来说,环境属性相似图为:
其中,表示所有路段的集合,,为路段的总数量,表示第条路段,表示路段间的环境属性相似关系,,表示第二权重矩阵,。
进一步来说,步骤4包括:
步骤4.1,设置在数据增强时的相关参数,相关参数包括需要生成的缺失类型集合、缺失率范围和生成实例数量;
步骤4.2,根据缺失率,确定缺失路段数量;
步骤4.3,根据缺失类型,确定缺失采样规则;
步骤4.4,在缺失率范围和缺失类型中分别选择一个缺失率和一种缺失类型,并根据生成实例数量,生成在该缺失率和该缺失类型下与生成实例数量对应的缺失掩膜、增强交通流数据和真实交通流标签;
步骤4.5,根据缺失类型集合、缺失率范围和生成实例数量,生成一系列缺失掩膜集合、增强交通流数据集合和真实交通流标签集合;
步骤4.6,对缺失掩膜集合、增强交通流数据集合和真实交通流标签集合进行随机乱序排列。
进一步来说,步骤4.3具体包括:
缺失类型包括随机缺失、块状缺失和混合缺失;
初始化缺失路段序号集合和观测路段序号集合,观测路段序号集合包含所有路段的序号;
针对随机缺失,随机选择条缺失路段,将相应路段序号加入到缺失路段序号集合,并从观测路段序号集合中移除相应路段序号;
针对块状缺失,设置每个缺失块的最小缺失路段数量参数,并根据最小缺失路段数量参数计算缺失块的数量;
对于一个缺失块,从观测路段序号中随机选取一条路段作为种子点路段,在空间拓扑邻近图中以种子点路段的k阶拓扑邻域作为扩展范围,搜索满足在种子点路段的阶邻域范围内、且路段序号在观测路段序号中的路段,选择相应数量的路段加入到该缺失块,并更新缺失路段序号集合和观测路段序号集合,直至满足该缺失块的缺失路段的数量要求,循环生成个缺失块;
针对混合缺失,设置混合缺失中块状缺失路段数量所占比例,计算块状缺失路段的数量和随机缺失路段的数量,按照相应规则和数量要求选择缺失路段;
根据缺失路段序号和观测路段序号,确定缺失掩膜、增强交通流数据和真实交通流标签。
进一步来说,步骤5包括:
步骤5.1,设置空间拓扑邻近图和环境属性相似图的加权融合权重参数;
步骤5.2,基于第一权重矩阵和第二权重矩阵,通过三个多图卷积层,对增强交通流数据进行卷积操作,得到多图卷积结果;
步骤5.3,将多图卷积结果输入线性变换层,得到交通流缺失数据插值结果。
进一步来说,步骤5还包括:
使用加权均方误差作为损失函数,计算交通缺失数据插值结果与真实交通流标签的误差为:
其中,为训练数据集中样本的数量,为缺失样本权重,为非缺失样本权重,为哈达玛积,为缺失掩膜,为交通缺失数据插值结果,为真实交通流标签;
根据反向传播算法,将误差传回多图卷积插值模型中的各可学习网络参数;
利用Adam优化器,根据误差调整更新多图卷积插值模型中的各可学习网络参数;
迭代训练所述多图卷积插值模型,直至误差达到预设阈值,保存多图卷积插值模型的可学习网络参数,得到已训练完成的多图卷积插值模型。
本发明还提供了一种城市道路交通缺失数据插值装置,包括:
获取模块,用于获取目标城市的路网数据以及与路网数据对应的历史交通流数据;
第一计算模块,用于根据路网数据中道路间的空间拓扑邻近性构建空间拓扑邻近图,得到空间拓扑邻近图的第一权重矩阵;
第二计算模块,用于根据路网数据中道路间的环境属性相似性构建环境属性相似图,得到环境属性相似图的第二权重矩阵;
增强模块,用于对历史交通流数据进行数据增强,得到缺失掩膜、增强交通流数据和真实交通流标签;
训练模块,用于将第一权重矩阵、第二权重矩阵以及增强交通流数据输入多图卷积插值模型进行插值处理,得到交通流数据插值结果,并根据交通流数据插值结果、真实交通流标签和缺失掩膜,对多图卷积插值模型进行迭代训练,得到已训练完成的多图卷积插值模型;
插值模块,用于将第一权重矩阵、第二权重矩阵以及当前的交通流数据输入至已训练完成的多图卷积插值模型,对当前的交通流数据进行插值处理,得到目标交通流数据插值结果。
本发明还提供了一种计算机可读存储介质,用于存储计算机程序,通过执行计算机程序,用于实现上述的城市道路交通缺失数据插值方法。
本发明还提供了一种城市道路交通缺失数据插值设备,用于实现上述的城市道路交通缺失数据插值方法,包括:存储器和处理器;
存储器用于储存计算机程序;
处理器用于执行存储器存储的计算机程序。
本发明的上述方案有如下的有益效果:
本发明通过获取目标城市的路网数据及与路网数据对应的历史交通流数据,根据路网数据构建空间拓扑邻近图和环境属性相似图获取第一权重矩阵和第二权重矩阵,对历史交通流数据进行处理,得到缺失掩膜、增强交通流数据和真实交通流标签,并将第一权重矩阵、第二权重矩阵以及增强交通流数据输入多图卷积插值模型,对增强交通流数据进行插值处理,得到交通流数据插值结果,利用交通流数据插值结果、缺失掩膜和真实交通流标签对多图卷积插值模型进行迭代训练,得到已训练完成的多图卷积插值模型,通过已训练完成的多图卷积插值模型对当前的交通流数据进行插值处理,得到目标交通流数据插值结果;解决了现有技术仅针对单一缺失场景进行设计,未考虑真实交通环境中的复杂动态缺失机制,导致在时空异质的缺失模式下模型适应能力较差,无法提供可靠插值结果的问题。
本发明的其它有益效果将在随后的具体实施方式部分予以详细说明。
附图说明
图1为本发明实施例的流程框图;
图2为本发明实施例中进行数据增强处理的流程示意图;
图3为本发明实施例中MAPE插值误差的空间分布可视化结果,其中(a)为随机缺失情形下MAPE插值误差的空间分布可视化结果;(b)为块状缺失情形下MAPE插值误差的空间分布可视化结果;(c)为混合缺失情形下MAPE插值误差的空间分布可视化结果。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是锁定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明针对现有的问题,提供了一种城市道路交通缺失数据插值方法及相关设备。
本发明实施例获取深圳市2012年1月1日至2012年1月31日出租车GPS轨迹数据与中心城区共959条路段构成的城市路网数据作为具体的实验数据集,对本发明的城市道路交通缺失数据插值方法作进一步说明。
如图1所示,本发明的实施例提供了一种城市道路交通缺失数据插值方法,包括:
步骤1,获取目标城市的路网数据以及与路网数据对应的历史交通流数据和当前的交通流数据;
步骤2,根据路网数据中道路间的空间拓扑邻近性构建空间拓扑邻近图,得到空间拓扑邻近图的第一权重矩阵;
步骤3,根据路网数据中道路间的环境属性相似性构建环境属性相似图,得到环境属性相似图的第二权重矩阵;
步骤4,对历史交通流数据进行数据增强,得到缺失掩膜、增强交通流数据和真实交通流标签;
步骤5,将第一权重矩阵、第二权重矩阵以及增强交通流数据输入多图卷积插值模型进行插值处理,得到交通流数据插值结果,并根据交通流数据插值结果、真实交通流标签和缺失掩膜迭代训练多图卷积插值模型,得到已训练完成的多图卷积插值模型;
步骤6,将第一权重矩阵、第二权重矩阵以及当前的交通流数据输入至已训练完成的多图卷积插值模型,对当前的交通流数据进行插值处理,得到目标交通流数据插值结果。
首先是获取目标城市的路网数据以及与路网数据对应的历史交通流数据;
具体来说,对出租车GPS轨迹数据进行滤除异常值和重复值、地图匹配等预处理,通过单位时间内出租车经过目标路段平均通行速度计算交通流速度参数,以交通流速度参数作为交通流特征,时间戳间隔为10分钟,得到历史交通流数据,其中,为路段的总数量,为时间戳的总数量。
然后根据路网数据中道路间的空间拓扑邻近性构建空间拓扑邻近图,得到空间拓扑邻近图的第一权重矩阵;
具体来说,根据路网数据,将城市道路间的空间拓扑邻近性,将城市路网表示为空间拓扑邻近图,其中,表示所有路段的集合;表示路段间的拓扑邻近关系;对于权重矩阵,若路段和之间相互连接,则,反之为0。
再然后根据路网数据中道路间的环境属性相似性构建环境属性相似图,得到环境属性相似图的第二权重矩阵;
根据道路间的环境属性相似性,将城市路网表示为环境属性相似图,其中表示路段间的环境属性相似关系;对于权重矩阵,通过公式(1)计算路段和之间环境属性特征向量的相似性得到权重的值。
(1)
其中,路段的环境属性特征向量包括数值型特征(如道路长度、度中心性等)和类别型特征(如道路等级等),通过计算环境属性特征向量的欧式距离来代表向量相似性。上式中,和分别代表路段的第个数值型特征和类别型特征,和分别代表数值型特征和类别型特征的数量,为调节因子,通过各类特征的重要性来调节加权权重,为指示函数,若和相等,则,反之为1,因此由上式可知,若路段和路段之间的环境属性越相似,权重的值越大。
具体来说,如图2所示,步骤4包括:
步骤4.1,设置在数据增强时的相关参数,相关参数包括需要生成的缺失类型集合、缺失率范围和生成实例数量;
步骤4.2,根据缺失率,确定缺失路段数量;
步骤4.3,根据缺失类型,确定缺失采样规则;
步骤4.4,在缺失率范围和缺失类型中分别选择一个缺失率和一种缺失类型,并根据生成实例数量,生成在该缺失率和该缺失类型下与生成实例数量对应的缺失掩膜、增强交通流数据和真实交通流标签;
步骤4.5,根据缺失类型集合、缺失率范围和生成实例数量,生成一系列缺失掩膜集合、增强交通流数据集合和真实交通流标签集合;
步骤4.6,对缺失掩膜集合、增强交通流数据集合和真实交通流标签集合进行随机乱序排列。
具体来说,在本发明实施例中以某个时间戳的历史交通流数据为例,通过以下步骤生成缺失实例:
根据设置的缺失率确定缺失路段数据,以某个缺失率(百分数形式)为例,交通流数据的缺失路段总数量为,其中代表向下取整数部分。
根据不同缺失类型相应的规则生成单个缺失实例,具体步骤如下:
将缺失路段序号集合记为,观测路段序号集合记为,观测路段序号集合包含所有路段的序号。对缺失路段序号集合进行初始化,即。
针对随机缺失,随机选择条缺失路段,将相应路段序号加入到缺失路段序号集合,并从观测路段序号集合中移除相应路段序号;
针对块状缺失,设置每个缺失块的最小缺失路段数量参数,并根据最小缺失路段数量参数计算缺失块的数量;
对于一个缺失块,从观测路段序号集合中随机选取一条路段作为初始的种子点路段,在空间拓扑邻近图中以种子点路段的阶拓扑邻域为扩展区域,搜索满足在种子点路段的阶邻域范围内、且路段序号在观测路段序号集合中的路段,选择相应数量的路段加入到该缺失块,并更新缺失路段序号集合和观测路段序号集合,将相应路段序号加入到缺失路段序号集合,并从观测路段序号集合中移除相应路段序号;
若该缺失块路段数量尚未达到最小缺失路段数量参数要求,则继续扩展搜索范围至阶拓扑邻域;初始化,即一阶拓扑直接相邻的路段。
重复前两个步骤,在不同邻域范围下进行扩展,直到该缺失块路段数量满足要求,即可模拟拓扑邻接的连续块状缺失;
重复前三个步骤,生成个缺失块,其中最后一个缺失块的路段数量更新为,即确保缺失路段数量满足的要求。
针对混合缺失,设置混合缺失中块状缺失路段数量所占比例,计算块状缺失路段的数量和随机缺失路段的数量,按照相应规则和数量要求选择缺失路段;
按照块状缺失规则生成块状缺失情形,将其中的缺失路段数据替换为即可得到的条块状缺失路段。
按照随机缺失规则生成随机缺失情形,将其中的缺失路段数据替换为即可得到条随机缺失路段。
根据缺失路段序号集合和观测路段序号集合,确定缺失掩膜、增强交通流数据和真实交通流标签。
其中,缺失掩膜用于表示路段的交通流数据是否缺失,设定缺失路段序号集合中的路段在中对应的值为1,设定观测路段序号集合中的路段在中对应的值为0,计算增强交通流数据为:
(2)
其中,代表哈达玛积,即将增强交通流数据中交通流缺失的路段的特征值设置为0。
根据生成实例数量,重复上述步骤,生成某个缺失率和缺失类型下生成与实例数量对应的缺失掩膜、增强交通流数据和真实交通流标签;
根据缺失类型集合、缺失率范围和生成实例数量,生成一系列缺失实例,包括缺失掩膜集合、增强交通流数据集合和真实交通流标签集合。其中,生成缺失实例总数量为,为生成缺失类型的总数量,为生成缺失率的总数量,为生成实例数量。
根据所有时间戳下的交通流数据样本,重复上述步骤,生成一系列缺失实例,最终得到所有时间戳下的增强交通流数据集合、缺失掩膜集合以及真实交通流标签集合。即可扩充个模拟缺失样本,包含了不同缺失类型和缺失率的异质缺失模式。
对个模拟缺失样本进行随机打乱,得到打乱后的增强交通流数据集合、缺失掩膜集合和真实交通流标签集合。
步骤5,将第一权重矩阵、第二权重矩阵以及增强交通流数据输入多图卷积插值模型进行插值处理,得到交通流数据插值结果,具体步骤如下:
步骤5.1 设置空间拓扑邻近图和环境属性相似图的加权融合权重参数;
在本发明实施例中,通过设置空间拓扑邻近图和环境属性相似图的加权融合权重和,为可学习网络参数,初始值均为0.5。经过函数进行归一化得到和为:
(3)
(4)
步骤5.2 基于第一权重矩阵和第二权重矩阵,通过三个多图卷积层,对增强交通流数据进行卷积操作,得到多图卷积结果;
在本发明实施例中,通过三个多图卷积层,根据空间拓扑邻近图的第一权重矩阵和环境属性相似图的第二权重矩阵,对输入状态进行卷积操作:
(5)
(6)
其中,为多图卷积层的数量,,为单位矩阵;为的度矩阵,为一个对角矩阵,对角线上元素。将和代入到公式(6)中,即可得到和。和为该多图卷积层的可学习网络参数,为激活函数,为哈达玛积。
以增强交通流数据为初始输入数据,按照上述步骤,经过三层的多图卷积层,得到多图卷积结果。其中可学习网络参数包括
、
、
、
、
、
、
、
、
、
、
、 。
步骤5.3 将多图卷积结果输入线性变换层,得到交通流缺失数据插值结果;
在本发明实施例中,多图卷积结果通过可学习网络参数和,经过一个线性变换层得到完整的交通流缺失数据插值结果,其中和为可学习网络参数。
具体来说,步骤5还包括:根据所述交通流数据插值结果、所述真实交通流标签和所述缺失掩膜,对所述多图卷积插值模型进行迭代训练,得到已训练完成的多图卷积插值模型。
在本发明实施例中,按照一定比例将增强数据集划分为训练集、验证集和测试集。通过在训练集计算交通缺失数据插值结果与真实交通流标签之间的误差,来不断训练优化步骤4中多图卷积插值模型的可学习网络参数、 、
、
、
、
、
、
、
、
、
、
、
、 、、,直到误差满足要求时,使得多图卷积插值模型在验证集中具有最低误差,保存模型参数,得到已训练完成的多图卷积插值模型;主要包括以下步骤:
步骤5.4 设计一种加权自适应损失函数改进方式,使用加权均方误差作为损失函数计算交通缺失数据插值结果与真实交通流标签之间的误差为:
(7)
其中,其中,为训练数据集中样本的数量,为缺失样本权重,为非缺失样本权重,为哈达玛积,为缺失掩膜,为交通缺失数据插值结果,为真实交通流标签,即在均方误差的基础上,设置缺失样本权重与非缺失样本权重进行调整,使得多图卷积插值模型能保持缺失数据插值任务为主导优化方向。
步骤5.5 根据反向传播算法,将误差传回多图卷积插值模型中的各可学习网络参数。
步骤5.6 利用Adam优化器,根据误差调整更新多图卷积插值模型中的各可学习网络参数。
步骤5.7 通过重复上述步骤,反复进行迭代更新,直到多图卷积插值模型在验证集中的误差达到预设阈值,停止训练,保存多图卷积插值模型参数。
最终经过已训练完成的交通缺失数据插值模型,可面向真实情况中复杂异质缺失模式场景。
具体来说,步骤6中当前的交通流数据与目标城市的路网数据对应,将所述第一权重矩阵、所述第二权重矩阵、以及当前的交通流数据输入至已训练完成的多图卷积插值模型,对当前的交通流数据进行插值处理,得到目标交通流数据插值结果。
本发明实施例选取了多种方法与本发明的城市道路交通缺失数据插值方法进行插值精度的对比分析,以验证本发明的城市道路交通缺失数据插值方法的有效性。
对比方法包括:①克里金方法(Kriging)②K近邻方法(KNN)③人工神经网络模型(ANN)④基于空间拓扑邻近图的图卷积模型(A-GCN)⑤基于环境属性相似图的图卷积模型(S-GCN)。主要包括以下步骤:
选择平均绝对百分误差MAPE作为插值精度评价指标,其计算公式为:
(8)
其中,和分别代表测试集中第个交通缺失样本交通流特征估计值和真实值,代表测试集中所有交通缺失样本的数量。
本发明方法与其他对比方法在不同缺失类型(包括随机缺失、块状缺失和混合缺失)以及不同缺失率(10%至60%)下插值精度的对比结果,如表1所示。
表1
由上表可已看出,本发明方法相较于其他对比方法在缺失数据的插值精度上具有一定优势性。如图3所示,本发明方法在缺失率为30%时在随机缺失、块状缺失和混合缺失情形下MAPE插值误差的空间分布可视化结果。从图3可以看出,本发明方法插值能实现较好的插值结果,插值误差较大的路段主要集中于路网边缘。
综上所述,本发明实施例通过获取目标城市的路网数据及与路网数据对应的历史交通流数据,根据路网数据构建空间拓扑邻近图和环境属性相似图获取第一权重矩阵和第二权重矩阵,对历史交通流数据进行处理,得到缺失掩膜、增强交通流数据和真实交通流标签,并将第一权重矩阵、第二权重矩阵以及增强交通流数据输入多图卷积插值模型,对增强交通流数据进行插值处理,得到交通流数据插值结果,利用交通流数据插值结果、缺失掩膜和真实交通流标签对多图卷积插值模型进行迭代训练,得到已训练完成的多图卷积插值模型,通过已训练完成的多图卷积插值模型对当前的交通流数据进行插值处理,得到目标交通流数据插值结果;解决了现有技术仅针对单一缺失场景进行设计,未考虑真实交通环境中的复杂动态缺失机制,导致在时空异质的缺失模式下模型适应能力较差,无法提供可靠插值结果的问题。
本发明实施例还提供了一种城市道路交通缺失数据插值装置,包括:
获取模块,用于获取目标城市的路网数据以及与路网数据对应的历史交通流数据;
第一计算模块,用于根据路网数据中道路间的空间拓扑邻近性构建空间拓扑邻近图,得到空间拓扑邻近图的第一权重矩阵;
第二计算模块,用于根据路网数据中道路间的环境属性相似性构建环境属性相似图,得到环境属性相似图的第二权重矩阵;
增强模块,用于对历史交通流数据进行数据增强,得到缺失掩膜、增强交通流数据和真实交通流标签;
训练模块,用于将第一权重矩阵、第二权重矩阵以及增强交通流数据输入多图卷积插值模型,对增强交通流数据进行插值处理,得到交通流数据插值结果,并根据交通流数据插值结果、真实交通流标签和缺失掩膜迭代训练多图卷积插值模型,得到已训练完成的多图卷积插值模型;
插值模块,用于将第一权重矩阵、第二权重矩阵以及当前的交通流数据输入至已训练完成的多图卷积插值模型,对当前的交通流数据进行插值处理,得到目标交通流数据插值结果。
本发明实施例还提供了一种计算机可读存储介质,用于存储计算机程序,通过执行计算机程序,用于实现上述的城市道路交通缺失数据插值方法。
本发明实施例还提供了一种城市道路交通缺失数据插值设备,用于实现上述的城市道路交通缺失数据插值方法,包括:存储器和处理器;
存储器用于储存计算机程序;
处理器用于执行存储器存储的计算机程序。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种城市道路交通缺失数据插值方法,其特征在于,包括:
步骤1,获取目标城市的路网数据以及与所述路网数据对应的历史交通流数据;
步骤2,根据所述路网数据中道路间的空间拓扑邻近性构建空间拓扑邻近图,得到所述空间拓扑邻近图的第一权重矩阵;
所述空间拓扑邻近图为:
其中,表示所有路段的集合,,为路段的总数量,表示第条路段,表示路段间的拓扑邻近关系,,表示第一权重矩阵,,当路段与路段之间相互连接时,的对应值为1,反之其对应值为;
步骤3,根据所述路网数据中道路间的环境属性相似性构建环境属性相似图,得到所述环境属性相似图的第二权重矩阵;
所述环境属性相似图为:
其中,表示所有路段的集合,,为路段的总数量,表示第条路段,表示路段间的环境属性相似关系,,表示第二权重矩阵,;
步骤4,对所述历史交通流数据进行数据增强,得到缺失掩膜、增强交通流数据和真实交通流标签;
步骤5,将所述第一权重矩阵、所述第二权重矩阵以及增强交通流数据输入多图卷积插值模型进行插值处理,得到交通流数据插值结果,并根据所述交通流数据插值结果、所述真实交通流标签和所述缺失掩膜,对所述多图卷积插值模型进行迭代训练,得到已训练完成的多图卷积插值模型;
步骤6,将所述第一权重矩阵、所述第二权重矩阵以及当前的交通流数据输入至已训练完成的多图卷积插值模型,对当前的交通流数据进行插值处理,得到目标交通流数据插值结果。
2.根据权利要求1所述的城市道路交通缺失数据插值方法,其特征在于,所述步骤4包括:
步骤4.1,设置在所述数据增强时的相关参数,所述相关参数包括需要生成的缺失类型集合、缺失率范围和生成实例数量;
步骤4.2,根据缺失率,确定缺失路段数量;
步骤4.3,根据缺失类型,确定缺失采样规则;
步骤4.4,在所述缺失率范围和所述缺失类型中分别选择一个缺失率和一种缺失类型,并根据所述生成实例数量,生成在该缺失率和该缺失类型下与所述生成实例数量对应的缺失掩膜、增强交通流数据和真实交通流标签;
步骤4.5,根据所述缺失类型集合、所述缺失率范围和所述生成实例数量,生成一系列缺失掩膜集合、增强交通流数据集合和真实交通流标签集合;
步骤4.6,对所述缺失掩膜集合、所述增强交通流数据集合和所述真实交通流标签集合进行随机乱序排列。
3.根据权利要求2所述的城市道路交通缺失数据插值方法,其特征在于,步骤4.3具体包括:
所述缺失类型包括随机缺失、块状缺失和混合缺失;
初始化缺失路段序号集合和观测路段序号集合,所述观测路段序号集合包含所有路段的序号;
针对随机缺失,随机选择条缺失路段,将相应路段序号加入到所述缺失路段序号集合,并从所述观测路段序号集合中移除相应路段序号;
针对块状缺失,设置每个缺失块的最小缺失路段数量参数,并根据所述最小缺失路段数量参数计算所述缺失块的数量;
对于一个缺失块,从所述观测路段序号中随机选取一条路段作为种子点路段,在所述空间拓扑邻近图中以所述种子点路段的k阶拓扑邻域为扩展范围,搜索满足在所述种子点路段的k阶邻域范围内、且路段序号在观测路段序号中的路段,选择相应数量的路段加入到该缺失块,并更新所述缺失路段序号集合和观测路段序号集合,直至满足该缺失块的缺失路段的数量要求,循环生成个缺失块;
针对混合缺失,设置所述混合缺失中块状缺失路段数量所占比例,计算所述块状缺失路段的数量和所述随机缺失路段的数量,按照相应规则和数量要求选择缺失路段;
根据所述缺失路段序号和所述观测路段序号,确定缺失掩膜、增强交通流数据和真实交通流标签。
4.根据权利要求3所述的城市道路交通缺失数据插值方法,其特征在于,所述步骤5包括:
步骤5.1 设置所述空间拓扑邻近图和所述环境属性相似图的加权融合权重参数;
步骤5.2 基于所述第一权重矩阵和所述第二权重矩阵,通过三个多图卷积层,对所述增强交通流数据进行卷积操作,得到多图卷积结果;
步骤5.3 将所述多图卷积结果输入线性变换层,得到交通流缺失数据插值结果。
5.根据权利要求4所述的城市道路交通缺失数据插值方法,其特征在于,所述步骤5还包括:
使用加权均方误差作为损失函数,计算所述交通流缺失数据插值结果与所述真实交通流标签的误差为:
其中,为训练数据集中样本的数量,为缺失样本权重,为非缺失样本权重,为哈达玛积,为缺失掩膜,为交通缺失数据插值结果,为真实交通流标签;
根据反向传播算法,将所述误差传回所述多图卷积插值模型中的各可学习网络参数;
利用Adam优化器,根据所述误差调整更新所述多图卷积插值模型中的各可学习网络参数;
迭代训练所述多图卷积插值模型,直至所述误差达到预设阈值,保存所述多图卷积插值模型的可学习网络参数,得到已训练完成的多图卷积插值模型。
6.一种城市道路交通缺失数据插值装置,其特征在于,包括:
获取模块,用于获取目标城市的路网数据以及与所述路网数据对应的历史交通流数据;
第一计算模块,用于根据所述路网数据中道路间的空间拓扑邻近性构建空间拓扑邻近图,得到所述空间拓扑邻近图的第一权重矩阵;
所述空间拓扑邻近图为:
其中,表示所有路段的集合,,为路段的总数量,表示第条路段,表示路段间的拓扑邻近关系,,表示第一权重矩阵,,当路段与路段之间相互连接时,的对应值为1,反之其对应值为;
第二计算模块,用于根据所述路网数据中道路间的环境属性相似性构建环境属性相似图,得到所述环境属性相似图的第二权重矩阵;
所述环境属性相似图为:
其中,表示所有路段的集合,,为路段的总数量,表示第条路段,表示路段间的环境属性相似关系,,表示第二权重矩阵,;
增强模块,用于对所述历史交通流数据进行数据增强,得到缺失掩膜、增强交通流数据和真实交通流标签;
训练模块,用于将所述第一权重矩阵、所述第二权重矩阵以及增强交通流数据输入多图卷积插值模型进行插值处理,得到交通流数据插值结果,并根据所述交通流数据插值结果、所述真实交通流标签和所述缺失掩膜,对所述多图卷积插值模型进行迭代训练,得到已训练完成的多图卷积插值模型;
插值模块,用于将所述第一权重矩阵、所述第二权重矩阵以及当前的交通流数据输入至已训练完成的多图卷积插值模型,对当前的交通流数据进行插值处理,得到目标交通流数据插值结果。
7.一种计算机可读存储介质,用于存储计算机程序,其特征在于,通过执行所述计算机程序,用于实现上述权利要求1-5中任意一项所述的城市道路交通缺失数据插值方法。
8.一种城市道路交通缺失数据插值设备,用于实现上述权利要求1-5任意一项所述的城市道路交通缺失数据插值方法,其特征在于,包括:存储器和处理器;
所述存储器用于储存计算机程序;
所述处理器用于执行所述存储器存储的计算机程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211496560.1A CN115599779B (zh) | 2022-11-28 | 2022-11-28 | 一种城市道路交通缺失数据插值方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211496560.1A CN115599779B (zh) | 2022-11-28 | 2022-11-28 | 一种城市道路交通缺失数据插值方法及相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115599779A CN115599779A (zh) | 2023-01-13 |
CN115599779B true CN115599779B (zh) | 2023-04-07 |
Family
ID=84852510
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211496560.1A Active CN115599779B (zh) | 2022-11-28 | 2022-11-28 | 一种城市道路交通缺失数据插值方法及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115599779B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116386336B (zh) * | 2023-05-29 | 2023-08-08 | 四川国蓝中天环境科技集团有限公司 | 基于卡口车牌数据的路网交通流量鲁棒计算方法及*** |
CN116628435B (zh) * | 2023-07-21 | 2023-09-29 | 山东高速股份有限公司 | 一种路网交通流量数据修复方法、装置、设备及介质 |
CN116821636B (zh) * | 2023-08-30 | 2023-11-14 | 湖南云滨信息技术有限公司 | 一种基于大数据的物联网数据采集分析管理*** |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109325085B (zh) * | 2018-08-08 | 2019-11-08 | 中南大学 | 一种城市用地功能识别与变化检测方法 |
CN110472729B (zh) * | 2019-08-02 | 2020-05-26 | 中南大学 | 基于综合cnn-lstm的岩爆状态预测方法 |
CN111986107A (zh) * | 2020-08-05 | 2020-11-24 | 中国人民解放军战略支援部队信息工程大学 | 一种基于深度学习的dsm局部缺失修复方法 |
-
2022
- 2022-11-28 CN CN202211496560.1A patent/CN115599779B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN115599779A (zh) | 2023-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115599779B (zh) | 一种城市道路交通缺失数据插值方法及相关设备 | |
CN111540193B (zh) | 一种基于图卷积时序生成对抗网络的交通数据修复方法 | |
CN109492830B (zh) | 一种基于时空深度学习的移动污染源排放浓度预测方法 | |
CN110164128B (zh) | 一种城市级智能交通仿真*** | |
CN106981198B (zh) | 用于旅行时间预测的深度学习网络模型及其建立方法 | |
CN112215427B (zh) | 一种卡口数据缺失下的车辆行车轨迹重建方法及*** | |
CN111428558A (zh) | 一种基于改进YOLOv3方法的车辆检测方法 | |
CN114450557B (zh) | 路线偏差量化及基于此的车辆路线学习 | |
CN112232526B (zh) | 一种基于集成策略的地质灾害易发性评价方法及*** | |
CN113570861B (zh) | 一种基于合成数据的交通流量预测方法及装置 | |
CN114360239A (zh) | 一种多层时空交通知识图谱重建的交通预测方法及*** | |
CN115099328A (zh) | 基于对抗网络的交通流量预测方法、***、设备及存储介质 | |
CN117689693A (zh) | 一种基于图对比自监督学习的异常局部轨迹检测方法和装置 | |
Celik et al. | Change detection without difference image computation based on multiobjective cost function optimization | |
Zhang et al. | Off-deployment traffic estimation—a traffic generative adversarial networks approach | |
CN114757391B (zh) | 一种面向服务质量预测的网络数据空间设计与应用方法 | |
CN117134978A (zh) | 基于局部和全局行为模式分析的车辆身份验证方法及*** | |
CN116739940A (zh) | 一种点云补全的方法、装置、设备及介质 | |
CN116166642A (zh) | 基于引导信息的时空数据填补方法、***、设备及介质 | |
CN114637305B (zh) | 一种无人机最短路径规划方法及装置 | |
CN115225373A (zh) | 一种信息不完备条件下的网络空间安全态势表达方法及装置 | |
JP6950647B2 (ja) | データ判定装置、方法、及びプログラム | |
CN114265954A (zh) | 基于位置与结构信息的图表示学习方法 | |
CN113762043A (zh) | 异常轨迹识别方法及装置 | |
CN114936203B (zh) | 基于时序数据和业务数据融合分析的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |