CN114550456B - 基于强化学习的城市交通堵塞调度方法 - Google Patents

基于强化学习的城市交通堵塞调度方法 Download PDF

Info

Publication number
CN114550456B
CN114550456B CN202210188427.3A CN202210188427A CN114550456B CN 114550456 B CN114550456 B CN 114550456B CN 202210188427 A CN202210188427 A CN 202210188427A CN 114550456 B CN114550456 B CN 114550456B
Authority
CN
China
Prior art keywords
intersection
traffic
traffic light
reinforcement learning
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210188427.3A
Other languages
English (en)
Other versions
CN114550456A (zh
Inventor
肖友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Changan Automobile Co Ltd
Original Assignee
Chongqing Changan Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Changan Automobile Co Ltd filed Critical Chongqing Changan Automobile Co Ltd
Priority to CN202210188427.3A priority Critical patent/CN114550456B/zh
Publication of CN114550456A publication Critical patent/CN114550456A/zh
Application granted granted Critical
Publication of CN114550456B publication Critical patent/CN114550456B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/048—Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G08G1/08—Controlling traffic signals according to detected number or speed of vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/095—Traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/02—Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于强化学习的城市交通堵塞调度方法，通过图像传感器和电感传感器获取城市道路交叉口的车辆数量信息、车辆排队信息和交通灯状态的实时数据；再利用机器学习算法，根据车辆数量信息、车辆排队信息和交通灯状态的实时数据，结合从图像信息与储备结构化数据获取的路段限制与车道信息的交叉口先验知识，形成交叉口路况状态数据作为调度模型训练数据；调度模型根据环境反馈的交叉口各车道的通行效果和奖励函数计算奖励信号，从而训练调度模型；利用强化学习算法，基于交叉口路况状态数据与交叉口通行安全准则训练调度模型；以交叉口路况状态数据作为输入，通过完成训练后的调度模型输出交通灯状态指令及相应交通灯控制信号。

Description

基于强化学习的城市交通堵塞调度方法
技术领域
本发明涉及智能交通领域，具体涉及一种基于强化学习的城市交通堵塞调度方法。
背景技术
随着人民经济水平的不断提高和城市化进程的推进，汽车作为最主要的交通工具走入了千家万户，城市交通拥堵的问题也越发严重。交通堵塞一方面会降低社会生产力，造成大量的经济损失，同时会消耗燃油资源，并导致严重的二氧化碳排放问题。因此，提升城市通行效率、优化交通调度方法在现代化交通领域占据重要地位，其中交通灯路口通行是城市路段最为普遍的通行效率瓶颈。
现有的交通灯控制方法主要分为两大类别，一类是基于规则的传统信号灯控制算法，如固定时长、交通流量、车道占用比等算法，此类方法对场景的认知比较片面，在复杂场景下难以应对车辆流调度，车辆通行效率较低。另一类是基于机器学习的自适应控制算法，如基于强化学习的交通灯调度算法，强化学习已在游戏博弈、优化调度等领域取得了良好的表现，由于强化学习能够自我学习并提高决策能力的特点，近年来也在交通灯控制领域引起关注。
发明内容
针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种提高城市车辆通行效率，缓解交通堵塞情况的基于强化学习的城市交通堵塞调度方法。
为了解决上述技术问题，本发明采用了如下的技术方案：
一种基于强化学习的城市交通堵塞调度方法，包括以下步骤：
(1)通过图像传感器和电感传感器获取城市道路交叉口的车辆数量信息、车辆排队信息和交通灯状态的实时数据；
(2)利用机器学习算法，根据车辆数量信息、车辆排队信息和交通灯状态的实时数据，结合从图像信息与储备结构化数据获取的路段限制与车道信息的交叉口先验知识，联合形成交叉口路况状态数据作为调度模型训练数据；
(3)采用强化学习算法，在给定时刻，调度模型根据交叉口路况状态数据和交叉口通行安全准则在交通灯状态切换的动作空间内选择一个交通灯状态切换动作，并根据环境反馈的交叉口各车道的通行效果和奖励函数计算奖励信号，在多次迭代后使模型选择的动作最大化奖励信号，从而训练调度模型；
(4)以交叉口路况状态数据作为输入，通过完成训练后的调度模型输出交通灯状态指令及相应交通灯控制信号。
作为优化，在步骤(1)中，还通过激光雷达获取接近交叉口车辆的行驶速度，还通过温度传感器和湿度传感器获取交叉口的环境状态信息。
作为优化，在步骤(2)中，先对车辆数量信息、车辆排队信息和交通灯状态的实时数据进行数据清洗、特征构建的数据预处理工作，然后利用CNN、MLP、GBDT、SVM中任意一种机器学习算法，提取作为调度模型输入的结构化实时路况特征。
作为优化，在步骤(2)中，交叉口先验知识包括路段速度限制、转向限制、车道数量、车道类别和交通灯切换时长。
作为优化，在步骤(3)中，强化学***均速度、车辆数量、车辆位置、车道数量、车道类别、天气状态、事故状态和通行效率，其中通行效率通过公式①计算得到，奖励函数的变量包括通行数量、车辆等待时间、通行前后车辆平均速度差和交通灯是否切换；
Figure BDA0003524528730000021
其中efficiency为车辆整体通行效率，vcar_avg为交叉口车辆平均速度，vlane_speed_limit为路口上限速度。
作为优化，在步骤(3)中，交叉口通行安全准则是对该交叉口安全通行的基本约束，以保证各个车道的车流不会发生碰撞。
作为优化，在步骤(4)中，将交叉口路况状态数据与交叉口先验知识输入调度模型中，得到交通灯目标状态，若当前交通灯状态与目标状态一致，则不进行交通灯切换动作，否则将交通灯切换到目标状态。
综上所述，本发明的有益效果在于：本发明通过当前交叉口路况信息，结合强化学习算法，解决了传统调度算法策略输入不全面、控制策略不灵活的问题，为城市复杂交通网络调度提供了解决方案，有效缓解交通堵塞情况，提高了城市车辆通行效率。
附图说明
为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
图1为本发明中交叉口车辆调度控制整体流程图；
图2为本发明中强化学习模型信息流程图；
图3为本发明中交通灯的有效状态空间图。
具体实施方式
下面结合附图对本发明作进一步的详细说明。
如图1和图2所示，本具体实施方式中的基于强化学习的城市交通堵塞调度方法，包括以下步骤：
(1)通过图像传感器和电感传感器获取城市道路交叉口的车辆数量信息、车辆排队信息和交通灯状态的实时数据；
(2)利用机器学习算法，根据车辆数量信息、车辆排队信息和交通灯状态的实时数据，结合从图像信息与储备结构化数据获取的路段限制与车道信息的交叉口先验知识，联合形成交叉口路况状态数据作为调度模型训练数据；
(3)采用强化学习算法，在给定时刻，调度模型根据交叉口路况状态数据和交叉口通行安全准则在交通灯状态切换的动作空间内选择一个交通灯状态切换动作，并根据环境反馈的交叉口各车道的通行效果和奖励函数计算奖励信号，在多次迭代后使模型选择的动作最大化奖励信号，从而训练调度模型；
(4)以交叉口路况状态数据作为输入，通过完成训练后的调度模型输出交通灯状态指令及相应交通灯控制信号。
本具体实施方式中，在步骤(1)中，还通过激光雷达获取接近交叉口车辆的行驶速度，还通过温度传感器和湿度传感器获取交叉口的环境状态信息。
本具体实施方式中，在步骤(2)中，先对车辆数量信息、车辆排队信息和交通灯状态的实时数据进行数据清洗、特征构建的数据预处理工作，然后利用CNN、MLP、GBDT、SVM中任意一种机器学习算法，提取作为调度模型输入的结构化实时路况特征。
本具体实施方式中，在步骤(2)中，交叉口先验知识包括路段速度限制、转向限制、车道数量、车道类别和交通灯切换时长。
本具体实施方式中，在步骤(3)中，强化学***均速度、车辆数量、车辆位置、车道数量、车道类别、天气状态、事故状态和通行效率，其中通行效率通过公式①计算得到，奖励函数的变量包括通行数量、车辆等待时间、通行前后车辆平均速度差和交通灯是否切换；
Figure BDA0003524528730000041
其中efficiency为车辆整体通行效率，vcar_avg为交叉口车辆平均速度，vlane_speed_limit为路口上限速度。
本具体实施方式中，在步骤(3)中，交叉口通行安全准则是对该交叉口安全通行的基本约束，以保证各个车道的车流不会发生碰撞。在调度模型中，可将安全准则与交通灯状态空间相结合，如对于标准十字路口，交通灯的有效状态空间可认为有8个状态，如图3所示，因此根据路况状态输入可根据模型选择8个状态中奖励最大的状态作为交通灯目标状态
本具体实施方式中，在步骤(4)中，将交叉口路况状态数据与交叉口先验知识输入调度模型中，得到交通灯目标状态，若当前交通灯状态与目标状态一致，则不进行交通灯切换动作，否则将交通灯切换到目标状态。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。

Claims (7)

1.一种基于强化学习的城市交通堵塞调度方法，其特征在于：包括以下步骤：
(1)通过图像传感器和电感传感器获取城市道路交叉口的车辆数量信息、车辆排队信息和交通灯状态的实时数据；
(2)利用机器学习算法，根据车辆数量信息、车辆排队信息和交通灯状态的实时数据，结合从图像信息与储备结构化数据获取的路段限制与车道信息的交叉口先验知识，联合形成交叉口路况状态数据作为调度模型训练数据；
(3)采用强化学***均速度、车辆数量、车辆位置、车道数量、车道类别、天气状态、事故状态和通行效率，在给定时刻，调度模型根据交叉口路况状态数据和交叉口通行安全准则在交通灯状态切换的动作空间内选择一个交通灯状态切换动作，并根据环境反馈的交叉口各车道的通行效果和奖励函数计算奖励信号，在多次迭代后使模型选择的动作最大化奖励信号，从而训练调度模型；
(4)以交叉口路况状态数据作为输入，通过完成训练后的调度模型输出交通灯状态指令及相应交通灯控制信号。
2.根据权利要求1所述的基于强化学习的城市交通堵塞调度方法，其特征在于：在步骤(1)中，还通过激光雷达获取接近交叉口车辆的行驶速度，还通过温度传感器和湿度传感器获取交叉口的环境状态信息。
3.根据权利要求1所述的基于强化学习的城市交通堵塞调度方法，其特征在于：在步骤(2)中，先对车辆数量信息、车辆排队信息和交通灯状态的实时数据进行数据清洗、特征构建的数据预处理工作，然后利用CNN、MLP、GBDT、SVM中任意一种机器学习算法，提取作为调度模型输入的结构化实时路况特征。
4.根据权利要求1所述的基于强化学习的城市交通堵塞调度方法，其特征在于：在步骤(2)中，交叉口先验知识包括路段速度限制、转向限制、车道数量、车道类别和交通灯切换时长。
5.根据权利要求1所述的基于强化学***均速度差和交通灯是否切换；
Figure FDA0004256796270000011
其中efficiency为车辆整体通行效率，vcar_avg为交叉口车辆平均速度，vlane_speed_limit为路口上限速度。
6.根据权利要求1所述的基于强化学习的城市交通堵塞调度方法，其特征在于：在步骤(3)中，交叉口通行安全准则是对该交叉口安全通行的基本约束，以保证各个车道的车流不会发生碰撞。
7.根据权利要求1所述的基于强化学习的城市交通堵塞调度方法，其特征在于：在步骤(4)中，将交叉口路况状态数据与交叉口先验知识输入调度模型中，得到交通灯目标状态，若当前交通灯状态与目标状态一致，则不进行交通灯切换动作，否则将交通灯切换到目标状态。
CN202210188427.3A 2022-02-28 2022-02-28 基于强化学习的城市交通堵塞调度方法 Active CN114550456B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210188427.3A CN114550456B (zh) 2022-02-28 2022-02-28 基于强化学习的城市交通堵塞调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210188427.3A CN114550456B (zh) 2022-02-28 2022-02-28 基于强化学习的城市交通堵塞调度方法

Publications (2)

Publication Number Publication Date
CN114550456A CN114550456A (zh) 2022-05-27
CN114550456B true CN114550456B (zh) 2023-07-04

Family

ID=81678879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210188427.3A Active CN114550456B (zh) 2022-02-28 2022-02-28 基于强化学习的城市交通堵塞调度方法

Country Status (1)

Country Link
CN (1) CN114550456B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493617A (zh) * 2018-10-29 2019-03-19 沈阳天久信息技术工程有限公司 一种交通信号优化控制方法及装置
CN109544913A (zh) * 2018-11-07 2019-03-29 南京邮电大学 一种基于深度q网络学习的交通灯动态配时算法
CN110114806A (zh) * 2018-02-28 2019-08-09 华为技术有限公司 信号灯控制方法、相关设备及***
CN110164150A (zh) * 2019-06-10 2019-08-23 浙江大学 一种基于时间分配和强化学习的交通信号灯控制方法
CN111047884A (zh) * 2019-12-30 2020-04-21 西安理工大学 一种基于雾计算和强化学习的交通灯控制方法
CN111915894A (zh) * 2020-08-06 2020-11-10 北京航空航天大学 基于深度强化学习的可变车道及交通信号协同控制方法
CN113287156A (zh) * 2019-10-28 2021-08-20 乐人株式会社 基于强化学习的信号控制装置及信号控制方法
CN113643528A (zh) * 2021-07-01 2021-11-12 腾讯科技（深圳）有限公司 信号灯控制方法、模型训练方法、***、装置及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190347933A1 (en) * 2018-05-11 2019-11-14 Virtual Traffic Lights, LLC Method of implementing an intelligent traffic control apparatus having a reinforcement learning based partial traffic detection control system, and an intelligent traffic control apparatus implemented thereby

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110114806A (zh) * 2018-02-28 2019-08-09 华为技术有限公司 信号灯控制方法、相关设备及***
CN109493617A (zh) * 2018-10-29 2019-03-19 沈阳天久信息技术工程有限公司 一种交通信号优化控制方法及装置
CN109544913A (zh) * 2018-11-07 2019-03-29 南京邮电大学 一种基于深度q网络学习的交通灯动态配时算法
CN110164150A (zh) * 2019-06-10 2019-08-23 浙江大学 一种基于时间分配和强化学习的交通信号灯控制方法
CN113287156A (zh) * 2019-10-28 2021-08-20 乐人株式会社 基于强化学习的信号控制装置及信号控制方法
CN111047884A (zh) * 2019-12-30 2020-04-21 西安理工大学 一种基于雾计算和强化学习的交通灯控制方法
CN111915894A (zh) * 2020-08-06 2020-11-10 北京航空航天大学 基于深度强化学习的可变车道及交通信号协同控制方法
CN113643528A (zh) * 2021-07-01 2021-11-12 腾讯科技（深圳）有限公司 信号灯控制方法、模型训练方法、***、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
多智能体强化学习在城市交通信号控制中的研究与应用;武强;《中国博士学位论文全文数据库 工程科技II辑》;2021(第4期);C034-14 *

Also Published As

Publication number Publication date
CN114550456A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN105976621B (zh) 一种基于车辆速度诱导策略引导车辆不停车通过交叉口的装置及方法
CN107507430B (zh) 一种城市路***通控制方法及***
CN111445692A (zh) 一种无信号灯路口智能网联汽车的速度协同优化方法
CN108986471A (zh) 混合交通条件下交叉口车辆引导方法
CN114973733B (zh) 一种信号交叉口处混合流下网联自动车轨迹优化控制方法
CN106781435A (zh) 一种基于无线通信的非信控交叉路口车辆编队通行方法
CN206194129U (zh) 一种基于车辆速度诱导策略引导车辆不停车通过交叉口的装置
CN113312752A (zh) 一种主路优先控制交叉***通仿真方法及装置
WO2023035666A1 (zh) 一种基于预期收益估计的城市路网交通信号灯控制方法
CN106781555A (zh) 一种设置双左转车道的信号交叉口调头区域设计方法
CN115565390A (zh) 智能网联汽车多车道队列通行控制方法、***及计算机可读存储介质
CN114550456B (zh) 基于强化学习的城市交通堵塞调度方法
CN112614357B (zh) 一种智能车交叉口左转相位信号优化方法及装置
CN113223324B (zh) 高速匝道入口合流的控制方法
CN105741585A (zh) 面向节油的基于车联网的车辆轨迹平滑控制方法
CN116524745B (zh) 一种云边协同区域交通信号动态配时***及方法
CN116935673A (zh) 网联环境下考虑行人过街的信号交叉口车辆通行方法
CN115083174B (zh) 一种基于合作式多智能体强化学习的交通信号灯控制方法
CN116189454A (zh) 交通信号控制方法、装置、电子设备及存储介质
Luo et al. Researches on intelligent traffic signal control based on deep reinforcement learning
Cheng RETRACTED: Intelligent traffic strategy based on 5G auto Autonomous driving
Zou et al. Vehicle trajectory control and signal timing optimization of isolated intersection under V2X environment
Peng et al. Exploring Highway Overtaking and Lane Changing Based on Soft Actor Critic for Discrete Algorithm
Xu et al. A speed guidance strategy based on cooperative vehicle-infrastructure environment at signalized intersections
CN115482676B (zh) 一种保障正点率的公交优先信号控制方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant