CN112896161A - 一种基于强化学习的电动汽车生态自适应巡航控制*** - Google Patents
一种基于强化学习的电动汽车生态自适应巡航控制*** Download PDFInfo
- Publication number
- CN112896161A CN112896161A CN202110171999.6A CN202110171999A CN112896161A CN 112896161 A CN112896161 A CN 112896161A CN 202110171999 A CN202110171999 A CN 202110171999A CN 112896161 A CN112896161 A CN 112896161A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- module
- electric automobile
- follows
- electric
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002787 reinforcement Effects 0.000 title claims abstract description 16
- 230000006870 function Effects 0.000 claims abstract description 27
- 238000005457 optimization Methods 0.000 claims abstract description 18
- 238000013461 design Methods 0.000 claims abstract description 14
- 238000004146 energy storage Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 13
- 230000001133 acceleration Effects 0.000 claims abstract description 9
- 230000002035 prolonged effect Effects 0.000 claims abstract description 8
- 238000011156 evaluation Methods 0.000 claims description 20
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 238000005265 energy consumption Methods 0.000 claims description 8
- 238000005096 rolling process Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000005484 gravity Effects 0.000 claims description 2
- 230000001172 regenerating effect Effects 0.000 claims description 2
- 238000004088 simulation Methods 0.000 description 9
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4042—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/802—Longitudinal distance
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Electric Propulsion And Braking For Vehicles (AREA)
Abstract
本发明公开了一种基于强化学习的电动汽车生态自适应巡航控制***，包括信息获取模块、纵向动力学模块、电动汽车储能模块、控制目标模块、控制器设计模块；信息获取模块通过雷达和车载信息传感器获取前车的位置和速度信息；纵向动力学模块用于计算加速度、集总阻力、实际车距、车轮扭矩和期望功率；电动汽车储能模块用于电动汽车驱动和制动情况下的需求功率以及电阻的计算；控制目标模块通过对车辆间距进行约束，确保车辆安全；通过给定优化目标提高节能驾驶、延长电池寿命；控制器设计模块用于确定控制过程中的状态变量以及代价函数的具体涉及的内容。本发明***可保证电动汽车跟随性能、实现行驶安全、增强能源经济性和延长电池使用寿命。
Description
技术领域
本发明属于汽车辅助智能驾驶，尤其是涉及一种基于自适应动态规划的电动汽车生态自适应巡航控制***。
背景技术
当前，汽车工业作为耗能较大的产业大户，面临着较大的节能减排压力。电动汽车在行驶过程中污染物零排放，是汽车产业未来发展的重要方向。如何将智能驾驶技术应用在电动汽车上以进一步挖掘其节能潜力，是各大高校、车企重点研究方向。先进驾驶辅助***(Advanced Driver Assistant System,ADAS)是智能驾驶技术的初始发展阶段，能够利用各种车载传感器自动获取相关环境数据，实现对车辆的自动控制，提高驾驶舒适性和主动安全性。
作为一种先进的智能驾驶辅助***，自适应巡航控制(Adaptive CruiseControl,ACC)从早期的定速巡航发展而来，主要用来控制汽车的纵向运动。ACC***可以使用多种车载传感器检测前方车辆的相对位置和速度，根据控制策略自动调整自身车辆的速度，以保持期望的安全距离，有利于改善交通流量，减少交通事故，提供舒适的驾驶体验。
虽然ACC***可以维持一定的安全车距，并且通过降低空气阻力可以减小能耗，但是其节能效果并不显著，尤其对于车头面积小的乘用车。特别的，当采用基于恒定车距和恒定时距的ACC***控制电动汽车时，电动汽车往往以一定车距紧紧跟随前方车辆，若前方车辆速度波动较大，则电动汽车一直处于频繁的加减速状态，这会极大影响电动汽车中电池的使用寿命，也会造成能耗损失和驾乘不舒适。
执行依赖启发式动态规划(Action-Dependent Heuristic DynamicProgramming,ADHDP)框架，即ADHDP算法参考书本《基于自适应动态规划的智能优化控制》4.3基于BP网络的ADHDP算法及实现P118，作者：林小峰、宋绍剑、宋春宁。
发明内容
本发明的目的在于提供可保证电动汽车跟随性能、实现行驶安全、增强能源经济性和延长电池使用寿命的一种基于增强学习(Reinforcement Learning,RL)的电动汽车生态自适应巡航控制(Ecological Adaptive Cruise Control,Eco-ACC)***。
一种基于强化学习的电动汽车生态自适应巡航控制***包括信息获取模块、纵向动力学模块、电动汽车储能模块、控制目标模块、控制器设计模块。
信息获取模块通过雷达和车载信息传感器获取前车的位置和速度信息；
纵向动力学模块用于计算加速度、集总阻力、实际车距、车轮扭矩和期望功率；
电动汽车储能模块用于电动汽车驱动和制动情况下的需求功率以及电阻的计算；
控制目标模块通过对车辆间距进行约束，确保车辆安全；通过给定优化目标提高节能驾驶、延长电池寿命；
控制器设计模块用于确定控制过程中的状态变量以及代价函数的具体涉及的内容。
一种基于增强学习的电动汽车生态自适应巡航控制方法采用执行依赖启发式动态规划(Action-Dependent Heuristic Dynamic Programming,ADHDP)框架，包括以下步骤：
1)通过信息获取模块和控制器设计模块确定状态变量x(t)，通过控制目标模块来确定效用函数U(t)，初始化相关参数。；
2)将状态变量x(t)输入到执行网络获取控制变量u(t)；
3)将状态变量x(t)和控制变量u(t)输入到评价网络获取期望代价J(t)；
4)设定执行网络和评价网络的误差；
5)通过纵向动力学模块和电动汽车储能模块求解出下一时刻的状态变量x(t+1)。
6)更新执行网络的权值，将状态变量x(t+1)输入到执行网络获取控制变量u(t+1)；
7)更新评价网络的权值，通过评价网络，获取期望代价
值；
8)判断评价网络和执行网络的是否满足最大迭代次数或容差是否满足自适应迭代值。若满足，则求解出的控制变量u(t+1)作为最优或者次优的控制变量，否则回到第二步。
本发明有益效果如下：
发明的***所控制的车辆和前方车辆的速度基本一致，车辆的加速度也比传统ACC***控制的更加平滑，使乘客感到更加舒适；本发明***所控制的车辆与前方车辆的实际车距始终保持在安全范围内，保证了车辆在行驶过程中的安全性；本发明***所控制的车辆比传统ACC***控制的车辆更加节能。本发明***可保证电动汽车跟随性能、实现行驶安全、增强能源经济性和延长电池使用寿命。
附图说明
图1是车辆跟车场景；
图2是ADHDP结构框图；
图3是ADHDP评价网络结构；
图4是ADHDP执行网络结构；
图5基于ADHDP控制算法的流程图；
图6是UDDS驾驶循环仿真结果对比图；
图7是MANHATAN驾驶循环仿真结果对比图；
图8是WLTC2驾驶循环仿真结果对比图。
具体实施方式
以下结合附图与实施例对本发明***及方法进行进一步描述。
一种基于强化学习的电动汽车生态自适应巡航控制***包括信息获取模块、纵向动力学模块、电动汽车储能模块、控制目标模块、控制器设计模块。
信息获取模块通过雷达和车载信息传感器获取前车的位置和速度信息；
纵向动力学模块用于计算加速度、集总阻力、实际车距、车轮扭矩和期望功率；
电动汽车储能模块用于电动汽车驱动和制动情况下的需求功率以及电阻的计算；
控制目标模块通过对车辆间距进行约束，确保车辆安全；通过给定优化目标提高节能驾驶、延长电池寿命；
控制器设计模块用于确定控制过程中的状态变量以及代价函数的具体涉及的内容。
所要研究的车辆跟车场景如图1所示，其中被控电动汽车和其前方车辆分别记为主车和前车；主车和前车之间的实际车距用L表示；主车和前车的速度分别用Vh和Vp表示。各个模块的具体内容如下：
纵向动力学模块：
主车的纵向动力学模型表示如下：
式中：sh(t)、vh(t)和Tw(t)分别为主车的位置、速度和车轮扭矩；m、R、ηt和δ分别为主车质量、轮胎有效滚动半径、传动效率和转动惯性系数；Fb(t)和Fr(t)分别为制动力和集总阻力。
由气动阻力、滚动阻力和重力组成的集总阻力Fr(t)Fr(t)表示如下：
式中：Φh(L(t))、Cd、μh、Av和θ(sh(t))分别为车辆归一化阻力系数、空气阻力系数、滚动阻力系数、车头迎风面积和路面坡度；g和ρ分别为重力加速度和空气密度。此外，主车与前车的距离L(t)可表示为
L(t)＝sp(t)-sh(t)-dcar (3)
式中：dcar表示主车车身的长度，sp(t)表示前车位置。
车轮的扭矩由齿轮通过电机输出或向电机输入，电机的转矩Tm和转速ωm表示如下：
式中：Gr为主车的固定齿轮比。车轮转速ωw(t)的计算公式如下：
然后，给出电机逆变器的输入功率如下：
式中：ηm(t)(0＜ηm(t)＜1)表示电机逆变器的效率。
电动汽车储能***模块：
变量符号定义如下：
·Pbat(t)：电池组在t时刻的输出功率；
·Pe(t)：电动汽车在t时刻的需求功率；
·Vbat(t)：电池组在t时刻的开路电压；
·Ibat(t)：电池组在t时刻的电流；
·SoCbat(t)：电池组在t时刻的荷电状态(State of Charge,简称SOC)；
·Rbat，disch(SoCbat(t))：电池组在t时刻的放电电阻；
·Rbat，ch(SoCbat(t))：电池组在t时刻的充电电阻；
电池组的放电电阻Rbat，disch(SoCbat(t))和充电电阻
Rbat，ch(SoCbat(t))表示如下：
(1)驱动模式：
(2)再生制动模式：
电池的荷电状态SoC如下：
控制目标模块：
(1)车辆安全：
为了确保车辆安全，给出车辆间距的约束如下：
dmin(υh(t))≤L(t)≤dmax(υh(t)) (11)
其中，dmin(υh(t))和dmax(υh(t))分别为允许的最小和最大安全车距，并且它们的计算公式如下：
(2)节能驾驶：
为了确保车辆在行驶过程中的能耗经济性，给出如下优化目标：
(3)延长电池寿命：
为了减少车辆在行驶过程中的电池容量损失，给出如下优化目标：
控制器设计模块：
(1)带补偿因子的带阻函数：
为了得到车辆间的误差Δd(t)，先求出车辆在安全范围内的迭代δd(t)的误差，具体描述如下：
由式中，则可以得出Δd(t)车辆间的误差为：
其中α＞0，β≥1
dmin，dmax∈R+分别为带阻的下限和上限，cf为补偿因子。
在以多目标代价函数最小化目标的优化问题中，当参数α，β，
和cf设置正确后，如果带阻函数
作为代价函数的一部分，则实际车距L(t)被限制在[dmin，dmax]范围内。
(2)基于增强学习的需求功率优化问题：
首先定义基本变量：
·x(t)：电动汽车在t时刻的状态变量；
·Fb(t)：电动汽车在t时刻的制动力；
·ωw(t)：电动汽车在t时刻的车轮转速；
·ωm(t)：电动汽车在t时刻的电机转速；
·Tm(t)：电动汽车在t时刻的电机转矩；
·Tm，max(t)：电动汽车在t时刻允许的最大电机扭矩；
·u(t)：电动汽车在t时刻的控制输入；
·ηm(t)：电动汽车在t时刻的电机效率；
·Pe(t)：电动汽车在t时刻的需求功率；
主车在时间t的连续动力学状态方程如下：
式中：x(t)＝[Δvh(t)，Δd(t)]T表示主车动力学***的状态变量。定义两类变量后，优化问题中的目标代价函数J如下：
式中：U为效用函数，γ为折现系数，则0＜γ≤1，函数J为状态x(t)的代价函数，它取决于初始时间t和初始状态x(t)。增强学习的目的是选择一个控制序列u(t)，使得公式(18)定义的代价函数最小化。另外，目标代价函数的优化目标如下：
U(t)＝λ1L1+λ2L2+λ3L3. (20)
式中：考虑到车辆的行驶安全，L1的目的是保持车辆之间的距离在最小车距dmin和最大车距dmax之间。另外，α，β，
和cf是间距阻带函数的参数。L2能够提升车辆在行驶的时候能耗经济性。L3能够延长电动汽车的电池使用寿命。
设预期电机转矩为控制变量，则给出基于ADHDP算法优化的控制变量如下
u*(·|t0)＝argminJ(x(·|t0)) (21)
总体控制算法流程图，如图5所示；
本发明的具体操作流程如图3所示，首先我们通过控制器模块确定的状态变量x(t)＝[Δv，BSF]。然后通过我们的ADHDP框架进行学习，获得控制最佳变量。其中ADHDP学习框架学习分为以下几个步骤：
一种基于增强学习的电动汽车生态自适应巡航控制方法采用执行依赖启发式动态规划(Action-Dependent Heuristic Dynamic Programming,ADHDP)框架，如图2所示，基于BP神经网络的评价网络和执行网络的结构如图3，4所示，包括以下步骤：
1)通过信息获取模块和控制器设计模块确定状态变量x(t)，通过控制目标模块来确定效用函数U(t)，初始化相关参数。
2)将状态变量x(t)输入到执行网络获取控制变量u(t)
3)将状态变量x(t)和控制变量u(t)输入到评价网络获取期望代价
4)设定执行网络和评价网络的误差
5)通过纵向动力学模块和电动汽车储能模块求解出下一时刻的状态变量x(t+1)。
6)更新执行网络的权值，将状态变量输入x(t+1)到执行网络获取控制变量u(t+1)
7)更新评价网络的权值，通过评价网络，获取期望代价
值
8)判断评价网络和执行网络的是否满足最大迭代次数或容差是否满足自适应迭代值。若满足，则求解出的控制变量u(t+1)作为最优或者次优的控制变量，否则回到第二步。
在学习过程开始时，评价网络和执行网络的参数先随机初始化。仿真开始后的每一个时间步长中，对评价网络的权重进行迭代，直到达到最大迭代次数Nc或者Ec达到允许容差Tc，迭代终止后，从评价网络中获得近似值函数；对执行网络的权重进行迭代，直到达到最大迭代次数Nah或者Ea达到允许容差Tc，迭代终止后，从执行网络中获得控制输入，经过计算获得最优需求功率Pe并应用于主车车辆上。仿真参数见表1。
表1在线学习参数
对所发明的Eco-ACC控制***进行了评估，并以城市、高速、城郊等驾驶循环为例进行测试。前车沿着驾驶循环的速度轨迹行驶，跟随车辆分别采用传统ACC***和发明的Eco-ACC***跟随前车。在典型UDDS、MANHATTAN和WLTC2驾驶循环的测试数据分别如图6、图7和图8所示，应当指出，为了便于观察仿真结果，仿真图中仅展示前400秒的仿真效果图；更多驾驶循环下的测试数据见表2和表3。
表2电池容量损失(％)
表3能耗损失(w·h)
仿真结果表明：发明的Eco-ACC***所控制的车辆和前方车辆的速度基本一致，车辆的加速度也比传统ACC***控制的更加平滑，使乘客感到更加舒适；Eco-ACC***所控制的车辆与前方车辆的实际车距始终保持在安全范围内，保证了车辆在行驶过程中的安全性；Eco-ACC***所控制的车辆比传统ACC***控制的车辆更加节能，见表3。
Claims (6)
1.一种基于强化学习的电动汽车生态自适应巡航控制***，其特征在于，包括信息获取模块、纵向动力学模块、电动汽车储能模块、控制目标模块、控制器设计模块；
信息获取模块通过雷达和车载信息传感器获取前车的位置和速度信息；
纵向动力学模块用于计算加速度、集总阻力、实际车距、车轮扭矩和期望功率；
电动汽车储能模块用于电动汽车驱动和制动情况下的需求功率以及电阻的计算；
控制目标模块通过对车辆间距进行约束，确保车辆安全；通过给定优化目标提高节能驾驶、延长电池寿命；
控制器设计模块用于确定控制过程中的状态变量以及代价函数的具体涉及的内容。
2.根据权利要求1所述的一种基于强化学习的电动汽车生态自适应巡航控制***，其特征在于，纵向动力学模块的具体内容如下：
被控电动汽车和其前方车辆分别记为主车和前车；主车和前车之间的实际车距用L表示；主车和前车的速度分别用Vh和Vp表示；
纵向动力学模块：
主车的纵向动力学模型表示如下：
式中：sh(t)、vh(t)和Tω(t)分别为主车的位置、速度和车轮扭矩；m、R、ηt和δ分别为主车质量、轮胎有效滚动半径、传动效率和转动惯性系数；Fb(t)和Fr(t)分别为制动力和集总阻力；
由气动阻力、滚动阻力和重力组成的集总阻力Fr(t)Fr(t)表示如下：
式中：Φh(L(t))、Cd、μh、Av和θ(sh(t))分别为车辆归一化阻力系数、空气阻力系数、滚动阻力系数、车头迎风面积和路面坡度；g和ρ分别为重力加速度和空气密度；此外，主车与前车的距离L(t)可表示为
L(t)＝sp(t)-sh(t)-dcar (3)
式中：dcar表示主车车身的长度，sp(t)表示前车位置；
车轮的扭矩由齿轮通过电机输出或向电机输入，电机的转矩Tm和转速ωm表示如下：
式中：Gr为主车的固定齿轮比；车轮转速ωw(t)的计算公式如下：
然后，给出电机逆变器的输入功率如下：
式中：ηm(t)(0＜ηm(t)＜1)表示电机逆变器的效率。
3.根据权利要求2所述的一种基于强化学习的电动汽车生态自适应巡航控制***，其特征在于，电动汽车储能***模块的具体内容如下：
电动汽车储能***模块：
变量符号定义如下：
·Pbat(t)：电池组在t时刻的输出功率；
·Pe(t)：电动汽车在t时刻的需求功率；
·Vbat(t)：电池组在t时刻的开路电压；
·Ibat(t)：电池组在t时刻的电流；
·SoCbat(t)：电池组在t时刻的荷电状态(State of Charge，简称SOC)；
·Rbatdisch(SoCbat(t))：电池组在t时刻的放电电阻；
·Rbatch(SoCbat(t))：电池组在t时刻的充电电阻；
电池组的放电电阻Rbat，disch(SoCbat(t))和充电电阻Rbat，ch(SoCbat(t))表示如下：
(1)驱动模式：
(2)再生制动模式：
电池的荷电状态SoC如下：
4.根据权利要求3所述的一种基于强化学习的电动汽车生态自适应巡航控制***，其特征在于，控制目标模块的具体内容如下：
控制目标模块：
(1)车辆安全：
为了确保车辆安全，给出车辆间距的约束如下：
dmin(vh(t))≤L(t)≤dmax(vh(t)) (11)
其中，dmin(vh(t))和dmax(vh(t))分别为允许的最小和最大安全车距，并且它们的计算公式如下：
(2)节能驾驶：
为了确保车辆在行驶过程中的能耗经济性，给出如下优化目标：
(3)延长电池寿命：
为了减少车辆在行驶过程中的电池容量损失，给出如下优化目标：
5.根据权利要求4所述的一种基于强化学习的电动汽车生态自适应巡航控制***，其特征在于，控制器设计模块的具体内容如下：
控制器设计模块：
(1)带补偿因子的带阻函数：
为了得到车辆间的误差Δd(t)，先求出车辆在安全范围内的迭代δd(t)的误差，具体描述如下：
由式中，则可以得出Δd(t)车辆间的误差为：
其中α＞0，β≥1，
dmin，dmax∈R+分别为带阻的下限和上限，cf为补偿因子；
在以多目标代价函数最小化目标的优化问题中，当参数α，β，
和cf设置正确后，如果带阻函数
作为代价函数的一部分，则实际车距L(t)被限制在[dmin，dmax]范围内；
(2)基于增强学习的需求功率优化问题：
首先定义基本变量：
·x(t)：电动汽车在t时刻的状态变量；
·Fb(t)：电动汽车在t时刻的制动力；
·ωw(t)：电动汽车在t时刻的车轮转速；
·ωm(t)：电动汽车在t时刻的电机转速；
·Tm(t)：电动汽车在t时刻的电机转矩；
·Tm，max(t)：电动汽车在t时刻允许的最大电机扭矩；
·u(t)：电动汽车在t时刻的控制输入；
·ηm(t)：电动汽车在t时刻的电机效率；
·Pe(t)：电动汽车在t时刻的需求功率；
主车在时间t的连续动力学状态方程如下：
式中：x(t)＝[Δvh(t)，Δd(t)]T表示主车动力学***的状态变量；定义两类变量后，优化问题中的目标代价函数J如下：
式中：U为效用函数，γ为折现系数，则0＜γ≤1，函数J为状态x(t)的代价函数，它取决于初始时间t和初始状态x(t)；增强学习的目的是选择一个控制序列u(t)，使得公式(18)定义的代价函数最小化；另外，目标代价函数的优化目标如下：
U(t)＝λiLi+λ2L2+λaLa. (20)
式中：考虑到车辆的行驶安全，L1的目的是保持车辆之间的距离在最小车距dmin和最大车距dmax之间；另外，α，β，
和cf是间距阻带函数的参数；L2能够提升车辆在行驶的时候能耗经济性；L3能够延长电动汽车的电池使用寿命；
设预期电机转矩为控制变量，则给出基于ADHDP算法优化的控制变量如下
u*(·|t0)＝argminJ(x(·|t0)) (21)。
6.根据权利要求5所述的一种基于强化学习的电动汽车生态自适应巡航控制***，其特征在于，一种基于增强学习的电动汽车生态自适应巡航控制方法采用执行依赖启发式动态规划框架，包括以下步骤：
1)通过信息获取模块和控制器设计模块确定状态变量x(t)，通过控制目标模块来确定效用函数U(t)，初始化相关参数；
2)将状态变量x(t)输入到执行网络获取控制变量u(t)
3)将状态变量x(t)和控制变量u(t)输入到评价网络获取期望代价
4)设定执行网络和评价网络的误差
5)通过纵向动力学模块和电动汽车储能模块求解出下一时刻的状态变量x(t+1)；
6)更新执行网络的权值，将状态变量输入x(t+1)到执行网络获取控制变量u(t+1)
7)更新评价网络的权值，通过评价网络，获取期望代价
值
8)判断评价网络和执行网络的是否满足最大迭代次数或容差是否满足自适应迭代值；若满足，则求解出的控制变量u(t+1)作为最优或者次优的控制变量，否则回到第二步。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110171999.6A CN112896161B (zh) | 2021-02-08 | 2021-02-08 | 一种基于强化学习的电动汽车生态自适应巡航控制*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110171999.6A CN112896161B (zh) | 2021-02-08 | 2021-02-08 | 一种基于强化学习的电动汽车生态自适应巡航控制*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112896161A true CN112896161A (zh) | 2021-06-04 |
| CN112896161B CN112896161B (zh) | 2022-06-21 |
Family
ID=76122736
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110171999.6A Active CN112896161B (zh) | 2021-02-08 | 2021-02-08 | 一种基于强化学习的电动汽车生态自适应巡航控制*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112896161B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113561976A (zh) * | 2021-08-19 | 2021-10-29 | 湖南大学无锡智能控制研究院 | 基于反馈优化的车辆节能预测自适应巡航控制方法和装置 |
| CN113741199A (zh) * | 2021-09-16 | 2021-12-03 | 吉林大学 | 一种基于智能网联信息的整车经济性速度规划方法 |
| CN114459498A (zh) * | 2022-03-14 | 2022-05-10 | 南京理工大学 | 基于强化学习的新能源车充电站选择及自适应导航方法 |
| CN115424429A (zh) * | 2022-08-30 | 2022-12-02 | 浙江绿色慧联有限公司 | 基于深度强化学习的eco-cacc控制方法及*** |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020138193A1 (en) * | 2001-03-22 | 2002-09-26 | Visteon Global Technologies, Inc. | Tracking of a target vehicle using adaptive cruise control |
| JP2007022135A (ja) * | 2005-07-12 | 2007-02-01 | Toyota Motor Corp | 車両の自動制動装置 |
| JP2008290665A (ja) * | 2007-05-28 | 2008-12-04 | Denso Corp | クルーズ制御装置、プログラム、及び目標車速の設定方法 |
| US20100125399A1 (en) * | 2008-11-18 | 2010-05-20 | Bendix Commerical Vehicle Systems Llc | Adaptive cruise control braking with deceleration monitoring |
| CN104822556A (zh) * | 2012-12-07 | 2015-08-05 | 大陆汽车有限公司 | 用于运行机动车的回馈制动器的方法和回馈制动器 |
| CN106740846A (zh) * | 2016-12-02 | 2017-05-31 | 大连理工大学 | 一种双模式切换的电动汽车自适应巡航控制方法 |
| CN107117170A (zh) * | 2017-04-28 | 2017-09-01 | 吉林大学 | 一种基于经济性驾驶的实时预测巡航控制*** |
| CN107139923A (zh) * | 2017-05-11 | 2017-09-08 | 中科院微电子研究所昆山分所 | 一种acc决策方法及*** |
| FR3060489A1 (fr) * | 2016-12-15 | 2018-06-22 | Compagnie Plastic Omnium | Dispositif chauffant de protection d'un radar de vehicule automobile |
| CN108437991A (zh) * | 2018-04-11 | 2018-08-24 | 厦门大学 | 一种智能电动汽车自适应巡航控制***及其方法 |
| CN108528268A (zh) * | 2017-03-06 | 2018-09-14 | 重庆邮电大学 | 一种电动汽车自适应巡航***的扭矩调节方法 |
| CN108622078A (zh) * | 2017-03-22 | 2018-10-09 | 丰田自动车株式会社 | 汽车、汽车用的控制装置及汽车的控制方法 |
| CN109131312A (zh) * | 2018-08-01 | 2019-01-04 | 厦门大学 | 一种智能电动汽车acc/esc集成控制***及其方法 |
| CN109591659A (zh) * | 2019-01-14 | 2019-04-09 | 吉林大学 | 一种智能学习的纯电动汽车能量管理控制方法 |
| CN109733398A (zh) * | 2018-12-05 | 2019-05-10 | 南京航空航天大学 | 具有稳定性主动控制的自适应巡航***及控制方法 |
| CN109927725A (zh) * | 2019-01-28 | 2019-06-25 | 吉林大学 | 一种具有驾驶风格学习能力的自适应巡航***及实现方法 |
| CN109969183A (zh) * | 2019-04-09 | 2019-07-05 | 台州学院 | 基于安全可控域的弯道跟车控制方法 |
| CN110406526A (zh) * | 2019-08-05 | 2019-11-05 | 合肥工业大学 | 基于自适应动态规划的并联混合动力汽车能量管理方法 |
| CN110871781A (zh) * | 2018-08-29 | 2020-03-10 | 通用汽车环球科技运作有限责任公司 | 车辆、预测性电荷规划和动力系控制的***和控制逻辑 |
-
2021
- 2021-02-08 CN CN202110171999.6A patent/CN112896161B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020138193A1 (en) * | 2001-03-22 | 2002-09-26 | Visteon Global Technologies, Inc. | Tracking of a target vehicle using adaptive cruise control |
| JP2007022135A (ja) * | 2005-07-12 | 2007-02-01 | Toyota Motor Corp | 車両の自動制動装置 |
| JP2008290665A (ja) * | 2007-05-28 | 2008-12-04 | Denso Corp | クルーズ制御装置、プログラム、及び目標車速の設定方法 |
| US20100125399A1 (en) * | 2008-11-18 | 2010-05-20 | Bendix Commerical Vehicle Systems Llc | Adaptive cruise control braking with deceleration monitoring |
| CN104822556A (zh) * | 2012-12-07 | 2015-08-05 | 大陆汽车有限公司 | 用于运行机动车的回馈制动器的方法和回馈制动器 |
| CN106740846A (zh) * | 2016-12-02 | 2017-05-31 | 大连理工大学 | 一种双模式切换的电动汽车自适应巡航控制方法 |
| FR3060489A1 (fr) * | 2016-12-15 | 2018-06-22 | Compagnie Plastic Omnium | Dispositif chauffant de protection d'un radar de vehicule automobile |
| CN108528268A (zh) * | 2017-03-06 | 2018-09-14 | 重庆邮电大学 | 一种电动汽车自适应巡航***的扭矩调节方法 |
| CN108622078A (zh) * | 2017-03-22 | 2018-10-09 | 丰田自动车株式会社 | 汽车、汽车用的控制装置及汽车的控制方法 |
| CN107117170A (zh) * | 2017-04-28 | 2017-09-01 | 吉林大学 | 一种基于经济性驾驶的实时预测巡航控制*** |
| CN107139923A (zh) * | 2017-05-11 | 2017-09-08 | 中科院微电子研究所昆山分所 | 一种acc决策方法及*** |
| CN108437991A (zh) * | 2018-04-11 | 2018-08-24 | 厦门大学 | 一种智能电动汽车自适应巡航控制***及其方法 |
| CN109131312A (zh) * | 2018-08-01 | 2019-01-04 | 厦门大学 | 一种智能电动汽车acc/esc集成控制***及其方法 |
| CN110871781A (zh) * | 2018-08-29 | 2020-03-10 | 通用汽车环球科技运作有限责任公司 | 车辆、预测性电荷规划和动力系控制的***和控制逻辑 |
| CN109733398A (zh) * | 2018-12-05 | 2019-05-10 | 南京航空航天大学 | 具有稳定性主动控制的自适应巡航***及控制方法 |
| CN109591659A (zh) * | 2019-01-14 | 2019-04-09 | 吉林大学 | 一种智能学习的纯电动汽车能量管理控制方法 |
| CN109927725A (zh) * | 2019-01-28 | 2019-06-25 | 吉林大学 | 一种具有驾驶风格学习能力的自适应巡航***及实现方法 |
| CN109969183A (zh) * | 2019-04-09 | 2019-07-05 | 台州学院 | 基于安全可控域的弯道跟车控制方法 |
| CN110406526A (zh) * | 2019-08-05 | 2019-11-05 | 合肥工业大学 | 基于自适应动态规划的并联混合动力汽车能量管理方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113561976A (zh) * | 2021-08-19 | 2021-10-29 | 湖南大学无锡智能控制研究院 | 基于反馈优化的车辆节能预测自适应巡航控制方法和装置 |
| CN113561976B (zh) * | 2021-08-19 | 2022-04-19 | 湖南大学无锡智能控制研究院 | 基于反馈优化的车辆节能预测自适应巡航控制方法和装置 |
| CN113741199A (zh) * | 2021-09-16 | 2021-12-03 | 吉林大学 | 一种基于智能网联信息的整车经济性速度规划方法 |
| CN113741199B (zh) * | 2021-09-16 | 2024-04-26 | 吉林大学 | 一种基于智能网联信息的整车经济性速度规划方法 |
| CN114459498A (zh) * | 2022-03-14 | 2022-05-10 | 南京理工大学 | 基于强化学习的新能源车充电站选择及自适应导航方法 |
| CN115424429A (zh) * | 2022-08-30 | 2022-12-02 | 浙江绿色慧联有限公司 | 基于深度强化学习的eco-cacc控制方法及*** |
| CN115424429B (zh) * | 2022-08-30 | 2024-06-07 | 浙江绿色慧联有限公司 | 基于深度强化学习的eco-cacc控制方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112896161B (zh) | 2022-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112896161B (zh) | 一种基于强化学习的电动汽车生态自适应巡航控制*** | |
| Hu et al. | Model predictive control of hybrid electric vehicles for fuel economy, emission reductions, and inter-vehicle safety in car-following scenarios | |
| He et al. | An intelligent braking system composed single-pedal and multi-objective optimization neural network braking control strategies for electric vehicle | |
| CN105644560B (zh) | 一种四轮轮毂电机电动车自适应巡航控制***及方法 | |
| Li et al. | AMT downshifting strategy design of HEV during regenerative braking process for energy conservation | |
| CN105857312B (zh) | 一种高速公路重型卡车速度行驶优化方法 | |
| CN106314202B (zh) | 纯电动汽车的滑动能量回收方法、装置及纯电动汽车 | |
| CN113635879B (zh) | 一种车辆制动力分配方法 | |
| Xiong et al. | A new dual axle drive optimization control strategy for electric vehicles using vehicle-to-infrastructure communications | |
| CN108528451A (zh) | 一种自适应巡航控制方法、装置及电动汽车 | |
| Wang et al. | Dual-mode adaptive cruise control strategy based on model predictive control and neural network for pure electric vehicles | |
| CN110667564B (zh) | 并联式混合动力汽车自主队列行驶能量智能管理方法 | |
| CN110667393B (zh) | 一种纯电动物流车滑行能量的回收控制方法 | |
| CN113459829B (zh) | 一种基于路况预测的双电机电动汽车智能能量管理方法 | |
| Pusztai et al. | Vehicle model for driving strategy optimization of energy efficient lightweight vehicle | |
| He | The Electric Vehicle Torque Adaptive Drive Anti-Skid Control Based on Objective Optimization. | |
| He et al. | Parameter matching and simulation analysis of electromechanical coupling device for hybrid electric vehicle | |
| Zhou et al. | Energy optimization for intelligent hybrid electric vehicles based on hybrid system approach in a car‐following process | |
| Yu et al. | Design of a Rule-Based Controller and Parameter Optimization Using a Genetic Algorithm for a Dual-Motor Heavy-Duty Battery Electric Vehicle | |
| Zhang et al. | Control and optimisation of a dual-motor coupling drive system of pure electric vehicle based on multi-island genetic algorithm | |
| CN114954455B (zh) | 一种基于多步强化学习的电动车跟车行驶控制方法 | |
| Qu et al. | Instantaneous velocity optimization strategy of electric vehicle considering varying road slopes | |
| Xu et al. | Look-ahead Horizon based Energy Optimization for Connected Hybrid Electric Vehicles | |
| Li | Torque optimization strategy for pure electric vehicles based on drive mode recognition | |
| Ou et al. | Torque allocation strategy for two axles four wheel drive electric vehicle with improvement of economy and stability |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |