CN113628441B - 一种由深度强化神经网络指导的车辆时空调度方法 - Google Patents

一种由深度强化神经网络指导的车辆时空调度方法 Download PDF

Info

Publication number
CN113628441B
CN113628441B CN202110880234.XA CN202110880234A CN113628441B CN 113628441 B CN113628441 B CN 113628441B CN 202110880234 A CN202110880234 A CN 202110880234A CN 113628441 B CN113628441 B CN 113628441B
Authority
CN
China
Prior art keywords
vehicle
neural network
space
time
intersection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110880234.XA
Other languages
English (en)
Other versions
CN113628441A (zh
Inventor
彭浩
刘琳
刘明生
冼俊宇
许涵杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202110880234.XA priority Critical patent/CN113628441B/zh
Publication of CN113628441A publication Critical patent/CN113628441A/zh
Application granted granted Critical
Publication of CN113628441B publication Critical patent/CN113628441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开一种由深度强化神经网络指导的车辆时空调度方法，通过获取路网信息及地图信息，构建时空预测模型；对于单一车辆，将车辆运行信息结合时空预测模型，基于卷积神经网络提取车辆信息所对应的时空特征向量；对于某一路口，向深度强化图神经网络输入车辆时空特征向量并进行分类，得出车辆在该路口前往不同方向的概率。本发明能够更准确地分析公路交通网络的动态变化，对于复杂变化的路况有较强的适应能力且可快速寻找其最优解，对于较为陌生的路况亦可实现快速调度，适用于复杂的公路流量变化状态。

Description

一种由深度强化神经网络指导的车辆时空调度方法
技术领域
本发明属于交通管理技术领域，特别是涉及一种由深度强化神经网络指导的车辆时空调度方法。
背景技术
对于国内地区，生产资料运输的主要方式为铁路或公路，其中对于铁路运输的调度***以及趋于成熟。相比于公路网络，铁路网络较为稀疏，单一时间段内车流量较小，变化较为简单，且事故发生率远低于公路。通过对于铁路分区进行人工调度，辅以较为高效的传统算法，可以大致满足铁路运输的准时性，对于突发事件也具有一定的调控能力。而在公路方面，却无法直接沿用铁路的调度方法。一方面，与铁路已车站为节点的运输***相比，公路路网较为稠密，分支岔道较多，难以进行人工调度。即使使用传统算法进行辅助，其过大的复杂性也会导致该算法难以投入实际使用。另一方面，公路流量变化较为复杂，堵车或交通事故等突发状况频繁且难以提前预估，基于经验的人工调度以及基于静态图数据的算法也无法胜任。从另一个角度来说，当前的人工调度***，大多面向城市交通，以保证路网畅通为目的，难以保证车辆的准时性。而面向城市企业的公路时空调度则需要以准时性作为主要衡量指标，这也是传统调度模式所无法达到的。因此，面向城市企业的，对复杂路况建模的车辆时空调度决策***依然是当前的一大空缺。
发明内容
为了解决上述问题，本发明提出了一种由深度强化图神经网络指导的车辆时空调度方法，能够更准确地分析公路交通网络的动态变化，对于复杂变化的路况有较强的适应能力且可快速寻找其最优解，对于较为陌生的路况亦可实现快速调度，适用于复杂的公路流量变化状态。
为达到上述目的，本发明采用的技术方案是：一种由深度强化神经网络指导的车辆时空调度方法，包括步骤：
S10,通过获取路网信息及地图信息，构建时空预测模型；
S20,对于单一车辆，将车辆运行信息结合时空预测模型，基于卷积神经网络提取车辆信息所对应的时空特征向量；
S30,对于某一路口，向基于深度强化图神经网络输入车辆时空特征向量进行分类，得出车辆在该路口前往不同方向的概率。
进一步的是，在所述步骤S10中，通过获取路网信息及地图信息，构建时空预测模型，包括步骤：
S11，根据地图信息，对路口信息及道路信息进行整合，从而生成空间地图；
S12，根据路网信息，结合空间地图生成时刻预测模型。
进一步的是，在步骤S12中，根据路网信息，结合空间地图生成时刻预测模型，包括步骤：
根据空间地图以及一时间段内的路况信息，基于LSTM的空间流量预测模型，对该段时间段内路口的路况进行分析并预测未来时间(以天或星期为单位)之内的路况情况。
进一步的是，在所述步骤S20中，对于单一车辆，将车辆运行信息结合时空预测模型，基于卷积神经网络提取车辆信息所对应的时空特征向量，包括步骤：
S21,根据车辆运行信息生成车辆运行矩阵；
S22,将车辆运行矩阵结合时空预测模型，生成三维张量；
S23,将三维张量输入卷积神经网络，利用卷积申请网络从三维张量中提取特征向量，得到车辆信息所对应的时空特征向量。
进一步的是，所述车辆运行信息包括车辆当前时间tpresent、车辆预计到达时间tschedule、车辆当前路口Sc与车辆终点路口D；
根据车辆运行信息生成车辆运行矩阵，包括步骤：
S211，对于车辆c，将车辆当前时间tpresent和计划到达时间tschedule数组打包并编码,得到车辆时间向量tc＝(tpresent,tc,schedule)，适用于本发明所使用的神经网络；
S212，对于车辆c，将车辆当前路口Sc与终点路口D进行打包从而生成车辆空间向量(Sc,D)；
S213，利用车辆时间向量和车辆空间向量构成车辆c的运行矩阵
Figure BDA0003191926960000021
Figure BDA0003191926960000022
将车辆运行矩阵Mc与时空预测模型
Figure BDA0003191926960000031
进行结合，获得三维张量，以作为卷积神经网络的输入，从而得到对于车辆c在该地图中的时空特征向量v。
进一步的是，在所述步骤S30中，对于某一路口，向基于深度强化图神经网络输入车辆时空特征向量进行分类，得出车辆在该路口前往不同方向的概率，包括步骤：
S31，对当前图神经网络Q进行初始化并迁移参数至目标图神经网络Q'，生成经验回放集合用于存储经验；记初始化后的当前图神经网络Q参数为ω，目标图神经网络Q'参数为ω'；
S32，通过当前图神经网络Q对时空特征向量v分类，并通过ε-贪心算法指挥车辆运行至新路口；记算法选择的动作为A，选择的新路口为Sd,到达该路口时的时间为t'present。
进一步的是，在所述步骤S32中，ε值是一个随着到D距离而变化的量，其值与
Figure BDA0003191926960000032
呈正相关，
Figure BDA0003191926960000033
是车辆当前路口Sc与终点路口D之间的距离；使在距离较远且时间充裕的情况下，车辆运行将拥有较高的自由度。
进一步的是，还包括步骤S33,通过S20所得时空预测模型，调整路口神经网络参数，从而降低车辆延误率。
进一步的是，所述步骤S33,通过S20所得时空预测模型，调整路口神经网络参数，包括步骤：
S331，在车辆每一步运行之后，将向量((t'present,tschedule),(Sd,D))作为输入构成矩阵M'c；并将M'c与
Figure BDA0003191926960000034
并通过卷积神经网络生成特征向量v'；
S332，确定车辆是否到达目的地；如果到达，则isD＝True，R＝-|t'present-tschedule|，否则isD＝False，R＝-1。
S333，生成五元组{v，Sd，A,v',isD}，并将其存储入经验回放集合；
S334，在经验回放集合中进行随机采集m个样本从而更新当前目标图神经网络值；
对于样本j＝1,2,…,m，有
Figure BDA0003191926960000041
其中，γ为人为规定值；
S335，通过均方差损失函数
Figure BDA0003191926960000042
进行当前图神经网络的梯度反向传播，从而更新目标图神经网络参数。
采用本技术方案的有益效果：
本发明通过获取路网信息及地图信息，构建时空预测模型；对于单一车辆，将车辆运行信息结合时空预测模型，基于卷积神经网络提取车辆信息所对应的时空特征向量；对于某一路口，向基于深度强化图神经网络输入车辆时空特征向量进行分类，得出车辆在该路口前往不同方向的概率；能够更准确地分析公路交通网络的动态变化。本发明采用了LSTM来构筑城市路网的时空预测模型，从而有效展现并预测路况随时间的规律变化。另外，本模型可以有效避免在时间轴上出现的梯度消失现象，从而对于周期较长的路况变化情况也能有效分析。相较于经验预测，本模型对拥有较长周期的路况变化亦可有效预测。
本发明通过组合车辆运行时空数据与地图数据，并通过卷积神经网络提取特征向量，从而抽象化车辆信息并简化分类流程。由于本发明关注点在时间轴上具有局部性而在空间轴上具有全局性，故可以在降低运算压力的同时避免局部最优。
本发明通过图神经网络进行分类处理，从而能够适应复杂且连续的交通路况变化；通过使用目标图神经网络来调整目标值，从而降低与的相关性，便于算法收敛；采用于经验回放集合中随机取样进行图神经值更新，从而在维持较小训练次数的同时增加样本的覆盖面。
附图说明
图1为本发明的一种由深度强化神经网络指导的车辆时空调度方法流程示意图；
图2为本发明优化实施例中一种由深度强化神经网络指导的车辆时空调度方法的流程示意图。
图3为本发明所用到的深度强化神经网络强化学习过程的流程示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步阐述。
在本实施例中，参见图1所示，本发明提出了一种由深度强化神经网络指导的车辆时空调度方法，包括步骤：
S10,通过获取路网信息及地图信息，构建时空预测模型；
S20,对于单一车辆，将车辆运行信息结合时空预测模型，基于卷积神经网络提取车辆信息所对应的时空特征向量；
S30,对于某一路口，向基于深度强化图神经网络输入车辆时空特征向量进行分类，得出车辆在该路口前往不同方向的概率。
作为上述实施例的优化方案，如图2所示，在所述步骤S10中，通过获取路网信息及地图信息，构建时空预测模型，包括步骤：
S11，根据地图信息，对路口信息及道路信息进行整合，从而生成空间地图；
S12，根据路网信息，结合空间地图生成时刻预测模型。
在步骤S12中，根据路网信息，结合空间地图生成时刻预测模型，包括步骤：
根据空间地图以及一时间段内的路况信息，基于LSTM的空间流量预测模型，对该段时间段内路口的路况进行分析并预测未来时间(以天或星期为单位)之内的路况情况。
作为上述实施例的优化方案，如图2和3所示，在所述步骤S20中，对于单一车辆，将车辆运行信息结合时空预测模型，基于卷积神经网络提取车辆信息所对应的时空特征向量，包括步骤：
S21,根据车辆运行信息生成车辆运行矩阵；
所述车辆运行信息包括车辆当前时间tpresent、车辆预计到达时间tschedule、车辆当前路口Sc与车辆终点路口D；
根据车辆运行信息生成车辆运行矩阵，包括步骤：
S211，对于车辆c，将车辆当前时间tpresent和计划到达时间tschedule数组打包并编码,得到车辆时间向量tc＝(tpresent,tc,schedule)，适用于本发明所使用的神经网络；
S212，对于车辆c，将车辆当前路口Sc与终点路口D进行打包从而生成车辆空间向量(Sc,D)；
S213，利用车辆时间向量和车辆空间向量构成车辆c的运行矩阵
Figure BDA0003191926960000061
Figure BDA0003191926960000062
S22,将车辆运行矩阵结合时空预测模型，生成三维张量；
S23,将三维张量输入卷积神经网络，利用卷积申请网络从三维张量中提取特征向量，得到车辆信息所对应的时空特征向量。
将车辆运行矩阵Mc与时空预测模型
Figure BDA0003191926960000063
进行结合，获得三维张量，以作为卷积神经网络的输入，从而得到对于车辆c在该地图中的时空特征向量v。
作为上述实施例的优化方案，如图2和3所示，在所述步骤S30中，对于某一路口，向基于深度强化图神经网络输入车辆时空特征向量进行分类，得出车辆在该路口前往不同方向的概率，包括步骤：
S31，对当前图神经网络Q进行初始化并迁移参数至目标图神经网络Q'，生成经验回放集合用于存储经验；记初始化后的当前图神经网络Q参数为ω，目标图神经网络Q'参数为ω'；
S32，通过当前图神经网络Q对时空特征向量v分类，并通过ε-贪心算法指挥车辆运行至新路口；记算法选择的动作为A，选择的新路口为Sd,到达该路口时的时间为t'present。
在所述步骤S32中，ε值是一个随着到D距离而变化的量，其值与
Figure BDA0003191926960000064
Figure BDA0003191926960000065
呈正相关，
Figure BDA0003191926960000066
是车辆当前路口Sc与终点路口D之间的距离；使在距离较远且时间充裕的情况下，车辆运行将拥有较高的自由度。
作为上述实施例的优化方案，如图2所示，还包括步骤S33,通过S20所得时空预测模型，调整路口神经网络参数，从而降低车辆延误率。
所述步骤S33,通过S20所得时空预测模型，调整路口神经网络参数，包括步骤：
S331，在车辆每一步运行之后，将向量((t'present,tschedule)，(Sd，D))作为输入构成矩阵M'c；并将M'c与
Figure BDA0003191926960000067
并通过卷积神经网络生成特征向量v'；
S332，确定车辆是否到达目的地；如果到达，则isD＝True，R＝-|t'present-tschedule|，否则isD＝False，R＝-1。
S333，生成五元组{v,Sd,A,v'，isD}，并将其存储入经验回放集合；
S334，在经验回放集合中进行随机采集m个样本从而更新当前目标图神经网络值；
对于样本j＝1,2,…,m，有
Figure BDA0003191926960000071
其中，γ为人为规定值；
S335，通过均方差损失函数
Figure BDA0003191926960000072
进行当前图神经网络的梯度反向传播，从而更新目标图神经网络参数。
具体实施过程中，可在步骤10中，包括：
S131，利用重力场思路对各路口进编码，从而整合
Figure BDA0003191926960000073
与
Figure BDA0003191926960000074
并生成时空预测模型
Figure BDA0003191926960000075
在该模型中，令目标点D重力势为0，其余各节点的重力势初始化为
Figure BDA0003191926960000076
其中Sa为任意相邻节点，
Figure BDA0003191926960000077
为该节点S到相邻节点Sa的预计所需时间。
可在步骤S20中，包括：
S231，将向量((tpresent,tschedule),(sc0,D))作为输入，在时空预测模型
Figure BDA00031919269600000710
上找出多个备选路径，构成矩阵Mc＝(r1,r2,r3,...rm)。在该矩阵中，对于路径ri，有ri＝(si0,si1,si2,...sin,si(n+1))。其中，si0为车辆此时的位置,初始值为sc0。对于任意c,i，有si(n+1)＝D。
对于S231，对于任意c,i，存在
Figure BDA0003191926960000078
可在步骤S30中，包括：
S301，修剪车辆运行矩阵使得对于矩阵中任意ri,有si0＝s。
S302，将车辆运行矩阵Mc与车辆时间向量(tpresent,tschedule)，以及预测模型
Figure BDA0003191926960000079
进行结合，产生一个三维张量。
S303，对每一个路口构建卷积神经网络及全连接网络，对当前路口的卷积神经网络，输入处理之后的车辆矩阵，提取出当前的特征向量。
S304，将S303产生的特征向量输入当前路口对应的全连接神经网络之中，从而得出车辆行驶至各路口时转向不同道路的概率。
S35，通过空间流量预测模型
Figure BDA0003191926960000081
调整路口神经网络参数从而降低车辆延误率。本步骤与S33相同。
该优化通过提前给定可选路径从而降低车辆由于探索新路径而可能导致的延误，在无特殊情况是可以降低车辆延误率。相比于原模型，缺点是难以开辟新路径，在面对未知路径时难以正常发挥。故是否采用该方案需要由企业自行决策。
在模型维护阶段，可选择将地图及时空预测模型进行保留，从而减少训练前的准备工作。亦可选择删除原有时空预测模型，并通过重新导入路网地图与路况地图来重新生成时空预测模型。在存在完整时空序列地图的情况下，本技术及其优化变种均支持使用虚拟样本进行训练，故对于实际样本依赖性较低。
本发明及其优化变种对于主流地图软件有着较为良好的兼容性，在经过地图提供方授权的情况下，可对绝大多数城市的时空路网实行建模处理以及调度处理。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种由深度强化神经网络指导的车辆时空调度方法，其特征在于，包括步骤：
S10,通过获取路网信息及地图信息，构建时空预测模型；
S20,对于单一车辆，将车辆运行信息结合时空预测模型，基于卷积神经网络提取车辆信息所对应的时空特征向量,包括步骤：
S21,根据车辆运行信息生成车辆运行矩阵；所述车辆运行信息包括车辆当前时间tpresent、车辆预计到达时间tschedule、车辆当前路口Sc与车辆终点路口D；
根据车辆运行信息生成车辆运行矩阵，包括步骤：
S211，对于车辆c，将车辆当前时间tpresent和计划到达时间tschedule数组打包并编码,得到车辆时间向量tc＝(tpresent,tschedule)；
S212，对于车辆c，将车辆当前路口Sc与终点路口D进行打包从而生成车辆空间向量(Sc,D)；
S213，利用车辆时间向量和车辆空间向量构成车辆c的运行矩阵
Figure FDA0003567055870000011
Figure FDA0003567055870000012
将车辆运行矩阵Mc与时空预测模型
Figure FDA0003567055870000013
进行结合，获得三维张量，以作为卷积神经网络的输入，从而得到对于车辆c在该地图中的时空特征向量v；
S22,将车辆运行矩阵结合时空预测模型，生成三维张量；
S23,将三维张量输入卷积神经网络，利用卷积神经网络从三维张量中提取特征向量，得到车辆信息所对应的时空特征向量；
S30,对于某一路口，向基于深度强化图神经网络输入车辆时空特征向量进行分类，得出车辆在该路口前往不同方向的概率包括步骤：
S31，对当前图神经网络Q进行初始化并迁移参数至目标图神经网络Q'，生成经验回放集合用于存储经验；记初始化后的当前图神经网络Q参数为ω，目标图神经网络Q'参数为ω'；
S32，通过当前图神经网络Q对时空特征向量v分类，并通过ε-贪心算法指挥车辆运行至新路口；记算法选择的动作为A，选择的新路口为Sd,到达该路口时的时间为t'present。
2.根据权利要求1所述的一种由深度强化神经网络指导的车辆时空调度方法，其特征在于，在所述步骤S10中，通过获取路网信息及地图信息，构建时空预测模型，包括步骤：
S11，根据地图信息，对路口信息及道路信息进行整合，从而生成空间地图；
S12，根据路网信息，结合空间地图生成时空预测模型。
3.根据权利要求2所述的一种由深度强化神经网络指导的车辆时空调度方法，其特征在于，在步骤S12中，根据路网信息，结合空间地图生成时空预测模型，包括步骤：
根据空间地图以及一时间段内的路况信息，基于LSTM的空间流量预测模型，对该段时间段内路口的路况进行分析并预测未来时间之内的路况情况。
4.根据权利要求1所述的一种由深度强化神经网络指导的车辆时空调度方法，其特征在于，在所述步骤S32中，ε值是一个随着到D距离而变化的量，其值与
Figure FDA0003567055870000021
呈正相关，
Figure FDA0003567055870000022
是车辆当前路口Sc与终点路口D之间的距离。
5.根据权利要求4所述的一种由深度强化神经网络指导的车辆时空调度方法，其特征在于，还包括步骤S33,通过S20所得时空预测模型，调整路口神经网络参数。
6.根据权利要求4所述的一种由深度强化神经网络指导的车辆时空调度方法，其特征在于，所述步骤S33,通过S20所得时空预测模型，调整路口神经网络参数，包括步骤：
S331，在车辆每一步运行之后，将向量((t'present,tschedule),(Sd,D))作为输入构成矩阵M'c；结合M'c与
Figure FDA0003567055870000023
并通过卷积神经网络生成特征向量v'；
S332，确定车辆是否到达目的地；如果到达，则isD＝True，R＝-|t'present-tschedule|，否则isD＝False，R＝-1；
S333，生成五元组{v,Sd,A,v',isD}，并将其存储入经验回放集合；
S334，在经验回放集合中进行随机采集m个样本从而更新当前目标图神经网络值；
S335，通过均方差损失函数进行当前图神经网络的梯度反向传播，从而更新目标图神经网络参数。
CN202110880234.XA 2021-08-02 2021-08-02 一种由深度强化神经网络指导的车辆时空调度方法 Active CN113628441B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110880234.XA CN113628441B (zh) 2021-08-02 2021-08-02 一种由深度强化神经网络指导的车辆时空调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110880234.XA CN113628441B (zh) 2021-08-02 2021-08-02 一种由深度强化神经网络指导的车辆时空调度方法

Publications (2)

Publication Number Publication Date
CN113628441A CN113628441A (zh) 2021-11-09
CN113628441B true CN113628441B (zh) 2022-05-20

Family

ID=78382185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110880234.XA Active CN113628441B (zh) 2021-08-02 2021-08-02 一种由深度强化神经网络指导的车辆时空调度方法

Country Status (1)

Country Link
CN (1) CN113628441B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114283574B (zh) * 2021-12-29 2022-10-28 湖南师范大学 一种基于卷积策略的车辆调度评价方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106205126A (zh) * 2016-08-12 2016-12-07 北京航空航天大学 基于卷积神经网络的大规模交通网络拥堵预测方法及装置
CN106952471A (zh) * 2016-01-06 2017-07-14 通用汽车环球科技运作有限责任公司 交叉路口处驾驶员意图的预测
CN108550279A (zh) * 2018-04-03 2018-09-18 同济大学 基于机器学习的车辆驾驶行为预测方法
CN110796858A (zh) * 2019-10-24 2020-02-14 山东科技大学 一种基于视频过车数据的车辆轨迹预测方法及***
CN111931905A (zh) * 2020-07-13 2020-11-13 江苏大学 一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952471A (zh) * 2016-01-06 2017-07-14 通用汽车环球科技运作有限责任公司 交叉路口处驾驶员意图的预测
CN106205126A (zh) * 2016-08-12 2016-12-07 北京航空航天大学 基于卷积神经网络的大规模交通网络拥堵预测方法及装置
CN108550279A (zh) * 2018-04-03 2018-09-18 同济大学 基于机器学习的车辆驾驶行为预测方法
CN110796858A (zh) * 2019-10-24 2020-02-14 山东科技大学 一种基于视频过车数据的车辆轨迹预测方法及***
CN111931905A (zh) * 2020-07-13 2020-11-13 江苏大学 一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hao Peng，et al.Spatial temporal incidence dynamic graph neural networks for traffic flow forecasting.《Information Sciences》.2020,期刊第277-290页. *
LSTM variants meet graph neural networks for road speed prediction;Zhilong Lu，et al;《Neuro computing》;20200313;期刊第34-45页 *

Also Published As

Publication number Publication date
CN113628441A (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
Wei et al. Colight: Learning network-level cooperation for traffic signal control
CN107705557B (zh) 基于深度增强网络的路网信号控制方法及装置
Yang et al. Bus arrival time prediction using support vector machine with genetic algorithm
Huang et al. Large scale real-time ridesharing with service guarantee on road networks
Brands et al. Modelling public transport route choice, with multiple access and egress modes
CN105679102B (zh) 一种全国飞行流量时空分布预测推演***及方法
JP2012008659A (ja) データ処理装置、データ処理方法、およびプログラム
US20220198935A1 (en) System for sparsely representing and storing geographic and map data
CN112148008A (zh) 一种基于深度强化学习的实时无人机路径预测方法
CN113628441B (zh) 一种由深度强化神经网络指导的车辆时空调度方法
CN117521937B (zh) 适于多维尺度的协同感知环境的动态路径诱导方法及***
Hu et al. Learning model parameters for decentralized schedule-driven traffic control
Ye et al. Fairlight: Fairness-aware autonomous traffic signal control with hierarchical action space
CN115208892B (zh) 基于动态资源需求的车路协同在线任务调度方法及***
Zhang et al. Intelligent scheduling of public traffic vehicles based on a hybrid genetic algorithm
CN113903171B (zh) 一种基于高速路网时空特性的车辆群智感知节点优化方法
Scozzaro et al. Noise abatement trajectories for a uav delivery fleet
Li et al. Optimal Placement of Bus Stops using Particle Swarm Optimization
Mejdoubi et al. Road traffic optimisation based on a learning approach
Liu et al. Reinforcement learning based indoor, collaborative autonomous mobility
Xie et al. Hybrid AI-based Dynamic Re-routing Method for Dense Low-Altitude Air Traffic Operations
Fu et al. Research on route optimization based on multiagent and genetic algorithm for community patrol
Yu et al. Multi-cycle optimal taxi routing with e-hailing
Sauer et al. An Efficient Solution for One-To-Many Multi-Modal Journey Planning
Kwasnicka et al. Genetic approach to optimize traffic flow by timing plan manipulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant