CN112905856B - 一种具有时空依赖的高速交通数据集的构建方法 - Google Patents
一种具有时空依赖的高速交通数据集的构建方法 Download PDFInfo
- Publication number
- CN112905856B CN112905856B CN202110500403.2A CN202110500403A CN112905856B CN 112905856 B CN112905856 B CN 112905856B CN 202110500403 A CN202110500403 A CN 202110500403A CN 112905856 B CN112905856 B CN 112905856B
- Authority
- CN
- China
- Prior art keywords
- data
- time
- monitoring points
- adjacency matrix
- relationship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000012544 monitoring process Methods 0.000 claims abstract description 61
- 238000000547 structure data Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 36
- 238000011144 upstream manufacturing Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 10
- 230000001419 dependent effect Effects 0.000 claims description 2
- 238000007418 data mining Methods 0.000 abstract description 3
- 238000013079 data visualisation Methods 0.000 abstract description 2
- 238000011160 research Methods 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/909—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- Marketing (AREA)
- Remote Sensing (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Development Economics (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Software Systems (AREA)
- Library & Information Science (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及数据挖掘技术领域,具体的是涉及一种具有时空依赖的高速交通数据集的构建方法,步骤包括获取不同高速路段监测点的数据;对所获取的数据按照时序对准后进行数据预处理;构建处理后数据的时空依赖关系;将构建的数据存储为图结构数据,作为高速交通数据集。该方法同时从时间维度和空间维度上构造高速交通数据集,以相对真实地反映高速交通数据的特征。对于提升模型预测能力和数据可视化能力具有重要的意义。
Description
技术领域
本发明涉及数据挖掘技术领域,具体的是涉及交通数据的数据挖掘技术领域,更具体的是涉及一种具有时空依赖的高速交通数据集的构建方法。
背景技术
交通数据是交通领域应用和研究的基础,高速公路上通过检测器采集到的交通数据具有多源异构特性。这些数据可包括:当时当刻,监测点地理信息,监测点状态信息,交通数据流量数据以及其他影响交通天气、热点事件数据等,测量点前一段时间的上述数据,测量点前N天前一段时间的上述数据。
在目前的高速交通数据集的构建过程中,往往是单一地从时间维度或者空间维度进行构建,这样导致丢失了高速交通数据的一部分信息。在单考虑时间维度时,所构建的数据集只包含单一监测点数据,因此会缺失临近监测点的空间依赖性;在单考虑空间维度时,所构建的数据集包含了同一时刻监测点间的空间依赖关系,而丢失了时序上各个监测点间在时序上的依赖关系。
而多感知数据节点时序图模型是指针对多传感器节点获取的感知数据可以构成时空网络,也就是说同一时刻多个传感器节点相互影响,构成一个静态图结构。不同时刻的图数据结构,就构成了时序图,时序图显示了各个感知数据间相互影响、动态演变的过程。
因此,有必要同时从时间维度和空间维度上构造高速交通时序图数据集,构建贴近实际的高速交通数据集,能较为真实地反映高速交通数据的特征,也能够提升训练模型的交通流量预测效果和数据可视化效果。
发明内容
本发明的目的是为了解决目前在构建高速交通数据集时所存在的只能单一地从时间维度或者空间维度进行构建而导致部分高速交通数据信息丢失的问题,提供了一种具有时空依赖的高速交通数据集的构建方法。
本发明采用以下技术方案进行:一种具有时空依赖的高速交通数据集的构建方法,包括以下步骤:
步骤一:获取不同高速路段监测点的不同时刻多源异构数据;
步骤二:对所获取的数据按照时序对准后进行数据预处理;
步骤三:构建处理后数据的时空依赖关系;在同一时刻下,各监测点间的空间依赖关系借助于高速路网关系确定,即在同一时刻,不同监测点之间构成有向关系,用二维数组存储图中的边的信息,按照行驶方向确定监测点间有向关系,得到空间维度上的邻接矩阵表示为;
在不同时刻下,两个相邻时间片段上的监测点间的联系借助空间维度上的邻接矩阵确定,即按照时序方向,通过邻接矩阵的有向关系确定某一时刻监测点和其下一时刻监测点的关系,得到时间维度上的邻接矩阵表示为;在涉及两个时间片段时,得到邻接矩阵:
步骤四:将构建的数据存储为图结构数据,作为高速交通数据集。
进一步的,步骤一的具体过程包括:
进一步的,所述多源异构数据,包括监测点地理信息,监测点状态信息;上下游测量点获取上下游交通流量数据,以及上下游收费站收费信息;当时测量点是否处于节假日;当时测量点的路况信息;测量点上下游城市的热点事件;检测高速区域的天气情况信息。
进一步的,所述上下游交通流量数据和上下游收费站收费信息中包含单个车辆的瞬时速率,车辆车型、车道占用率、车容量。
进一步的,所述热点事件为目标监测点高速公路路段两端城市的热点事件,包括演唱会、运动会、大型会议,通过对社交网络进行热点事件自动抓取和分析获得。
进一步的,当时测量点的路况信息从第三方服务高德地图、百度地图获取对目标路段拥塞情况的统计结果。
所述天气情况信息包括降雨量、能见度、风向、风等级。
进一步的,步骤二的具体过程包括:
进一步的,步骤四的具体过程包括:
本发明的有益效果是:
其一,本发明基于高速路网地理信息,将监测点空间信息与影响交通流量的多源异构数据关联,利用高速路网连通性数据将多源异构交通流量时间相关数据构建成图结构数据,相对于传统的构建方法,该方法能够更真实反映出高速交通数据特征;
其二,该方法能够令模型更好地提取相关特征,进而提高相关模型的预测精度;一方面能够作为管理部门制定决策的依据;另一方面,可以为驾驶员提供道路状况信息,引导其进行行车路径优选,不仅可以降低环境污染,同时有利于发展交通流数据的相关理论技术。
其三,该方法能够使得高速交通可视化更加逼真。
附图说明
图1给出的是本发明的流程图;
图2给出的是本发明步骤二数据预处理的流程图;
图3给出的是本发明步骤三的流程图。
具体实施方式
现在将进一步细化基于附图实施方案。以下描述并非旨在将实施方案限制于一个优选实施方案。而是旨在涵盖可被包括在由所附权利要求限定的所述实施方案的实质和范围内的替代形式、修改形式和等同形式。
一种具有时空依赖的高速交通数据集的构建方法,在此,以高速交通流量数据为例,演示整个过程。高速交通流量数据由分布于高速道路上的监测点采集,是一种时空数据。由于实时采集的数据会因设备、数据传输等原因存在丢失等现象,该类数据需要进行预处理;然后构建具有时空依赖的高速交通数据集。
步骤结合图1具体如下。
步骤一:获取不同高速路段监测点的多源异构数据;
收集多源异构数据,该数据包括监测点地理信息,监测点状态信息;上下游测量点获取上下游交通流量数据,以及上下游收费站收费信息;当时测量点是否处于节假日;当时测量点的路况信息;测量点上下游城市的热点事件;检测高速区域的天气情况信息。根据所需问题:给定前30分钟流量,对一天内流量数据按照5分钟进行统计,得到288个时间片段对应的各监测点上的流量值。
所述上下游交通流量数据和上下游收费站收费信息中包含单个车辆的瞬时速率,车辆车型、车道占用率、车容量。该数据可从监测点交通数据库中选取相应字段。车容量的大小会直接影响路段的车密度、车间距等和交通流量直接相关的因素。例如大型车辆的侧翻对周围小车都会造成很大影响,因此小型车辆的司机遇到大型车辆时会选择适当扩大车距或更换车道等。因此车型的组成比例很对当时的交通流量有一定影响,统计同一时间各种车型的比重也有实际意义。
节假日因素是指国家的法定节假日会造成额外的人口迁移,例如回家、旅游等。也会影响交通流量。
所述热点事件为目标监测点高速公路路段两端城市的热点事件,包括演唱会、运动会、大型会议,热点事件通过对社交网络进行热点事件自动抓取和分析获得。
当时测量点的路况信息从第三方服务高德地图、百度地图获取对目标路段拥塞情况的统计结果。因为此类第三方服务除了从交管***获得实时数据以外,还会对自身服务用户的GPS定位信息反馈到服务器进行移动轨迹分析,实现对路段拥堵程度的实时统计。而拥塞状况对流量有直接影响,因此可以调用第三方导航服务开放的接口获得目标路段的实时路况信息辅助交通流量的预测。
所述天气情况信息包括降雨量、能见度、风向、风等级。公路上的例如雨、雪、雾、强光等自然现象都会导致司机主观上改变行车速度和车距。
步骤二:对所获取的数据按照时序对准后进行数据预处理,如图2所示;
统一各个监测点上的时间后,为了更快速准确的补充时序数据中的缺失值,对各个监测点上的缺失值,由于线性插值具有简单,方便的特点;临近插值具有快速,稳定的特点。先后采用线性插值及临近插值做填充。
步骤三:构建处理后数据的时空依赖关系,如图3所示;
在同一时刻下,各监测点间的空间依赖关系借助于高速路网关系确定,即在同一时刻,不同监测点之间构成有向关系,用二维数组存储图中的边的信息,按照行驶方向确定监测点间有向关系,得到空间维度上的邻接矩阵表示为;
在涉及两个时间片段时,得到邻接矩阵:
涉及多个时间片段依此类推。即考虑到时序上存在依赖性,而且不同监测点之间构成有向关系,该依赖关系仅存在于两个相邻的时间片段上,用二维数组表示,则可构建时序上的邻接矩阵。对于步骤二中获得的数据可以构建时空依赖的邻接矩阵:
步骤四:将构建的数据存储为图结构数据,作为高速交通数据集。
图结构数据由节点和边表示;分别将处理得到的监测点获取的多源异构数据作为图节点数据;将邻接矩阵A作为边集信息存储,邻接矩阵A包括时序上的邻接矩阵,以及空间维度上的邻接矩阵,由此将邻接矩阵作为高速交通数据集的一部分。
本实施例中,将上述t划分为288个时间片段,每个时间片段上的监测点数据作为图节点信息存储,同时将邻接矩阵A作为边集信息存储,邻接矩阵A包括时序上的邻接矩阵,以及空间维度上的邻接矩阵。至此将所存储的图结构数据作为高速交通流量数据集。
本高速交通数据集可用于高速交通等相关领域的研究工作,如在高速公路上发生车祸等交通事故,使用本交通数据集构建相关模型,可以从时间和空间角度对实际场景进行预判分析,从而使得来往车辆通过前方提醒,能够正常通行,避免造成二次事故和交通堵塞等。所以,此交通数据集有利于发展交通领域的相关理论技术,对后续的研究有积极的意义。
在以上的详细描述中,参考了形成说明书的一部分的附图,并且在附图中以举例说明的方式示出了根据所述实施方案的具体实施方案。尽管足够详细地描述了这些实例以使得本领域的技术人员能够实施所述实施例,但应当理解,这些实例不是限制性的,使得可以使用其它实例并且可在不脱离所述实施例的实质和范围的情况下做出相应的修改。
Claims (5)
1.一种具有时空依赖的高速交通数据集的构建方法,其特征在于:包括以下步骤:
步骤一:获取不同高速路段监测点的不同时刻多源异构数据;对所获取监测点的多源异构数据采用统一的时间刻度,重新得到时序数据;用线性插值及临近插值对数据中缺失部分进行处理;对于缺失部分,采用线性插值处理,在时刻上第个字段存在缺失情况时,则由最相近的两个已知时刻和的数据通过线性插值得到,即;在线性插值处理后出现数据越界时,采用临近插值处理,即对于时刻上第个字段存在越界时,借助最相近的两个未越界时刻和的数据,更新得到;
步骤二:对所获取的数据按照时序对准后进行数据预处理;
步骤三:构建处理后数据的时空依赖关系;在同一时刻下,各监测点间的空间依赖关系借助于高速路网关系确定,即在同一时刻,不同监测点之间构成有向关系,用二维数组存储图中的边的信息,按照行驶方向确定监测点间有向关系,得到空间维度上的邻接矩阵表示为;
在不同时刻下,两个相邻时间片段上的监测点间的联系借助空间维度上的邻接矩阵确定,即按照时序方向,通过邻接矩阵的有向关系确定某一时刻监测点和其下一时刻监测点的关系,得到时间维度上的邻接矩阵表示为;在涉及两个时间片段时,得到邻接矩阵:
;涉及多个时间片段,由于时序上存在依赖性,而且不同监测点之间构成有向关系,该依赖关系仅存在于两个相邻的时间片段上,用二维数组表示,则构建时序上的邻接矩阵,对于步骤二中获得的数据构建时空依赖的邻接矩阵:
3.根据权利要求1或2所述的构建方法,其特征在于:所述多源异构数据,包括监测点地理信息,监测点状态信息;上下游测量点获取上下游交通流量数据,以及上下游收费站收费信息;当时测量点是否处于节假日;当时测量点的路况信息;测量点上下游城市的热点事件;检测高速区域的天气情况信息。
4.根据权利要求3所述的构建方法,其特征在于:所述上下游交通流量数据和上下游收费站收费信息中包含单个车辆的瞬时速率,车辆车型、车道占用率、车容量;当时测量点的路况信息从第三方服务高德地图、百度地图获取对目标路段拥塞情况的统计结果。
5.根据权利要求3所述的构建方法,其特征在于:所述热点事件为目标监测点高速公路路段两端城市的热点事件,包括演唱会、运动会、大型会议,通过对社交网络进行热点事件自动抓取和分析获得;所述天气情况信息包括降雨量、能见度、风向、风等级。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110500403.2A CN112905856B (zh) | 2021-05-08 | 2021-05-08 | 一种具有时空依赖的高速交通数据集的构建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110500403.2A CN112905856B (zh) | 2021-05-08 | 2021-05-08 | 一种具有时空依赖的高速交通数据集的构建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112905856A CN112905856A (zh) | 2021-06-04 |
CN112905856B true CN112905856B (zh) | 2022-05-17 |
Family
ID=76109056
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110500403.2A Active CN112905856B (zh) | 2021-05-08 | 2021-05-08 | 一种具有时空依赖的高速交通数据集的构建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112905856B (zh) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111710154B (zh) * | 2020-05-15 | 2022-11-18 | 湖州师范学院 | 一种高速公路交通流量预测方法 |
CN111897875A (zh) * | 2020-07-31 | 2020-11-06 | 平安科技(深圳)有限公司 | 城市多源异构数据的融合处理方法、装置和计算机设备 |
CN112382081A (zh) * | 2020-09-30 | 2021-02-19 | 浙江高速信息工程技术有限公司 | 一种基于多任务的交通流量预测方法 |
-
2021
- 2021-05-08 CN CN202110500403.2A patent/CN112905856B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112905856A (zh) | 2021-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11265252B2 (en) | Wireless network optimization | |
CN109952592B (zh) | 自动位置相关测量和预测汽车风险的绝对和相对风险***和方法 | |
Alexander et al. | Assessing the impact of real-time ridesharing on urban traffic using mobile phone data | |
DE60319993T2 (de) | Vorrichtung und verfahren zur verkehrsinformationsbereitstellung | |
Griswold et al. | Pilot models for estimating bicycle intersection volumes | |
Velmurugan et al. | Critical evaluation of roadway capacity of multi-lane high speed corridors under heterogeneous traffic conditions through traditional and microscopic simulation models | |
CN108961758B (zh) | 一种基于梯度提升决策树的路口展宽车道探测方法 | |
WO2019007111A1 (zh) | 一种公路异常事件的判断方法 | |
CN107622325A (zh) | 基于建成环境和微博数据的交通事故时空分布量化方法 | |
CN110070720B (zh) | 提高交叉口占道施工区通行能力模型拟合度的计算方法 | |
CN110956807A (zh) | 基于多源数据与滑动窗口组合的高速公路流量预测方法 | |
CN112991743A (zh) | 基于行驶路径的实时交通风险ai预测方法及其*** | |
CN109520499B (zh) | 基于车辆gps轨迹数据实现区域实时等时线的方法 | |
CN111649752B (zh) | 拥堵路段的地图数据处理方法、装置以及设备 | |
CN115344655A (zh) | 地物要素的变化发现方法、装置及存储介质 | |
Bogenberger et al. | Quality management methods for real-time traffic information | |
Huber et al. | Modelling bicycle route choice in German cities using open data, MNL and the bikeSim web-app | |
Lian et al. | Advances in estimating pedestrian measures through artificial intelligence: From data sources, computer vision, video analytics to the prediction of crash frequency | |
Hadidi et al. | Unconventional intersection designs for improving traffic operation along arterial roads | |
CN104794301A (zh) | 一种探究公交车运行时间可靠性影响因素的方法 | |
CN112905856B (zh) | 一种具有时空依赖的高速交通数据集的构建方法 | |
CN109166310A (zh) | 基于lbs和传统交通路况数据的路段旅行时间估计方法 | |
Nara et al. | Spatial and temporal analysis of pedestrian egress behavior and efficiency | |
Mohapatra et al. | SELF ORGANIZING MAP OF ARTIFICIAL NEURAL NETWORK FOR DEFINING LEVEL OF SERVICE CRITERIA OF URBAN STREETS. | |
Miah et al. | A review of bike volume prediction studies |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder | ||
CP01 | Change in the name or title of a patent holder |
Address after: 303 Wenhui Road, Hangzhou, Zhejiang 310000 Patentee after: Zhejiang Gaoxin Technology Co.,Ltd. Address before: 303 Wenhui Road, Hangzhou, Zhejiang 310000 Patentee before: ZHEJIANG HIGHWAY INFORMATION ENGINEERING TECHNOLOGY CO.,LTD. |