CN110962684B - 电动汽车能源管理与分配方法 - Google Patents

电动汽车能源管理与分配方法 Download PDF

Info

Publication number
CN110962684B
CN110962684B CN201911117375.5A CN201911117375A CN110962684B CN 110962684 B CN110962684 B CN 110962684B CN 201911117375 A CN201911117375 A CN 201911117375A CN 110962684 B CN110962684 B CN 110962684B
Authority
CN
China
Prior art keywords
energy
power
management system
vehicle
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911117375.5A
Other languages
English (en)
Other versions
CN110962684A (zh
Inventor
张光林
黄淦
赵萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN201911117375.5A priority Critical patent/CN110962684B/zh
Publication of CN110962684A publication Critical patent/CN110962684A/zh
Application granted granted Critical
Publication of CN110962684B publication Critical patent/CN110962684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L58/00—Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles
    • B60L58/10—Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles for monitoring or controlling batteries
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L1/00—Supplying electric power to auxiliary equipment of vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L58/00—Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles
    • B60L58/10—Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles for monitoring or controlling batteries
    • B60L58/24—Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles for monitoring or controlling batteries for controlling the temperature of batteries
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/70—Energy storage systems for electromobility, e.g. batteries

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Sustainable Development (AREA)
  • Sustainable Energy (AREA)
  • Charge And Discharge Circuits For Batteries Or The Like (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)

Abstract

本发明涉及一种电动汽车能源管理与分配方法，一个实施例的方法包括：建立电动汽车的***模型，对汽车不同的工况进行量化，确定能源管理***的状态空间；确定优化目标函数，使得电动汽车在一个行驶周期内的耗能最少；使用强化学习的方法对目标函数进行优化，确定马尔可夫决策过程的状态转移概率及回报函数；在多次工况运行后生成“状态‑动作映射”Q矩阵，并对其不断进行更新，获得最佳的能源管理策略。本实施例方案提高了电动汽车在行驶过程中的能源利用效率。

Description

电动汽车能源管理与分配方法
技术领域
本发明涉及信息处理技术领域，特别是涉及一种电动汽车能源管理与分配策略以及其实现算法。
背景技术
目前，推动汽车工业的节能化、信息化发展是大势所趋，大力推进传统汽车工业向新能源汽车转型升级也已成为全球汽车产业的首要任务。电动汽车包括纯电动汽车、混合动力汽车以及燃料电池汽车等。就目前的发展状况而言：混合动力汽车可以在一定程度上缓解汽车对石油能源的依赖，然而其终究无法实现无污染和零排放，只是一种向新能源过渡的暂时性方案；纯电动汽车兼具能源效率高、零排放、噪声小、维修方便、结构简单等优点，而且还可使用非化石燃料的其他能源转化为电能，是理想的实现节能减排的选择。
然而，由于电池储能技术长时间未取得革命性突破，续航里程短、充电时间长的问题长期以来制约着电动汽车的大规模推广和应用。在电动汽车能源管理领域，基于规则的能量管理策略在实际应用中最为广泛，但这种策略不具有动态优化的特性，它们无法在复杂的行驶环境下充分发挥电动汽车节能潜质。还有一种基于优化的能源管理策略，这种策略需要将待优化的问题转化为若干数学约束式进行表示，并确定求解目标、设计反馈函数，利用优化算法探寻达到最值的方法，其缺点是需要预知行驶工况、计算量大、灵活性差，无法保证全局最优，使其实际优化效果大打折扣。有研究人员将机器学习应用于混动汽车的能源管理，通过不断尝试获得赏罚信息的方式进行探索，脱离了对被控***模型的依赖。但是学习的方法有赖于执行完一个动作之后环境所反馈的奖励信号，这种反馈总是存在不可避免的噪声和延时。
发明内容
本发明的目的是：降低电动汽车在行驶过程中的能量损耗，提高电动汽车的能源利用率。
为了达到上述目的，本发明的技术方案是提供了一种电动汽车能源管理与分配方法，其特征在于，包括以下步骤：
步骤1、将电动汽车的电力设备分为高压供电网网络、低压供电网络、充电网络三大类，其中：高压供电网络包含热管理***和驱动***；低压供电网络用以支持全车低压电子部件的用电；充电***用于从电网向车载电池补充能量，建立电动汽车能源***模型如下式(1)所示，根据现实中复杂多变的汽车运行工况，对汽车不同的工况进行量化，确定能源***的状态空间：
Figure SMS_1
式(1)中，ECR表示能源消耗率；KAC(t)表示热管理***功率系数，表示将高压供电***分配给热管理***的功率占热管理***峰值功率的比例；T表示一个行驶周期时长；Pmot(t)表示向驱动***输出的最大功率；PHV(t)表示可被能源管理***所分配的高压供电网络的总功率；PAC-max(t)表示电动汽车的制冷设备的峰值功率；Pdrv(t)表示电动汽车的驾驶员所期望的驱动***实际输出功率；
步骤2、根据步骤1建立的电动汽车能源***模型确定优化目标函数，使得电动汽车在一个行驶周期内的耗能最少，将求解ECR最小化的问题转化为求解0～T时间段内电动汽车在[0,T]时间段内总电量消耗E(t)最小化的问题，E(t)如下式(2)所示：
Figure SMS_2
式(2)中，
Figure SMS_3
是驱动***所消耗总能量；/>
Figure SMS_4
Figure SMS_5
是热管理***所消耗的能量；/>
Figure SMS_6
是车辆低压供电网络所消耗的能量，PLV(τ)表示低压供电网络所需的总功率；Eloss(ΔT(t))是0～t时间段内电池组温度变化而耗散的能量；
步骤3、使用强化学习的方法对步骤2确定的目标函数进行优化，强化学习模型采用Markov决策过程；
在车辆运行过程中，使用Q-learning算法对能量分配策略进行学习和优化，Q-learning算法其Q矩阵采用以下的策略不断更新，以得到更为节能的能源分配策略使得车辆的能源管理***拥有一个状态动作值矩阵，即Q表，Q表内的每一项Q(s,a)为状态s与动作a的映射关系，当电动汽车能源管理***在某一状态s下进行能量分配时，Q表采用式(3)的方法进行更新：
Q(s,a)t+1←Q(s,a)t+α[rt+γmaxa(t+1)Q(s,a)t+1-Q(s,a)t] (3)
式(3)中，Q(s,a)t是在采取动作a之前智能体对映射(s,a)的估计；rt+γmaxa(t+1)Q(s,a)t+1是Q(s,a)的现实值；α是学习率，表示Q值的过去值和新获得奖励的加权关系；γ∈[0,1]是衰减系数，反应未来奖励对当前决策的重要性，γ越大表示智能体在采取动作a是越倾向于考虑未来奖励的影响；
步骤4、当Q(s,a)t收敛于最优映射时，认为***已经完成了学习过程，即Q-learning算法得到的最优策略为：
Figure SMS_7
式(4)中，arg max是对函数求参数的函数，即求得使得策略π(s)最大的Q表映射，对于离散性的马尔可夫决策问题，这是使得***策略最佳的必要条件，即对于环境所处的任意状态s，能量管理***总能选择使得Q值最大的动作a*。
优选地，将新欧洲标准循环测试NEDC的循环测试工况表示为只有加速、减速、等速和停车四种状态；通过电动汽车的参数表计算出车辆处于每种测试状态时的电动机输出功率Pmot(t)。
优选地，将驱动***的功率Pmot(t)和电池组的温度ΔT(t)定义为步骤3中强化学习模型的状态空间，记为
Figure SMS_8
/>
将电动汽车的制冷***的运行功率分配系数kAC(t)定义为步骤3中强化学习模型的动作空间；
步骤3中强化学***均值，对于时间离散的***奖励的平均值
Figure SMS_9
r(tn)为tn时刻智能体所获得的奖励。
优选地，在所述Q-learning算法的基础上引入ε-greedy策略，使得***不仅会采取由Q表中所得出的最优动作，并且会以某个概率对当前Q值并非最大的动作进行试探。
根据如上所述的本发明的方案，对电动汽车的能源管理***而言，其需要事先有一定行驶工况的积累，根据不同工况下汽车能源消耗的情况，环境会给予管理***的智能体反馈，评价先前的能源分配策略是否足够高效。经过足够多次的训练，可以使得电动汽车能源管理***产生一张“工况-最佳动作”的映射Q表，即得到了车辆在某一工况下的最佳能量管理策略。根据这一策略进行能量分配，将显著提高电动汽车的能量利用率。
附图说明
图1是一个本实施例方案的电动汽车能源管理***部件结构示意图；
图2是一个实施例的能源管理***能量流动示意图；
图3是一个实施例的磷酸铁锂电池组不同温度下的放电效率示意图；
图4是一个本实例的强化学习***模型示意图；
图5是一个本实例的能源管理***Q-learning算法流程示意图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“或/及”包括一个或多个相关的所列项目的任意的和所有的组合。
如图1所示，电动汽车的主要电力设备可分为高压供电网网络、低压供电网络、充电网络三大类。其中高压供电网络包含热管理***和驱动***；低压供电网络用以支持全车低压电子部件的用电，包括灯光***、仪表盘、ESP助力转向***、空调风机等；充电***用于从电网向车载电池补充能量，其包括适用于普通家用充电桩的交流充电***和适用于超级充电站的直流快充***两部分。
据上述图1的部件结构，可得到整车能量流向示意图，如图2所示。它描述了整车电池组与其他模块部件间的能量交换关系。其中，Pbat为当前电池的最大输出功率；Pmot表示向驱动***输出的最大功率；PAC表示分配给空调***的功率，由于车厢控温***和电池组热管理***共用压缩机，因此可以将空调***等效为热管理***；PLV表示低压供电网络所需的总功率；Pcha表示充电***在当前状态下的最大输入功率。
在行车过程中：车辆不处于充电状态，因此Pcha＝0；低压供电网络所需功率相对于高压供电网络而言较低，且波动幅度不大，不妨将PLV视为一定值；而PAC和Pmot是能源管理***可以根据车辆的不同工况而动态调整的量。设在任意时刻，可被能源管理***所分配的高压供电网络的总功率为PHV，即PHV(t)＝Pmot(t)+PAC(t)。此外，PHV还满足：在PHV(t)＝Pbat(t)-PLV(t)-Pcha(t)。显然，整车的控制核心在于制定合理的能量分配策略，以将PHV(t)合理地分配给Pmot(t)与PAC(t)，以提高车辆的能源利用率。
在本实施例中，需上述所示的能源管理***模型的基础上，引入一热管理***功率系数kAC(t)，它表示将高压供电***分配给热管理***的功率占热管理***峰值功率的比例，取值范围为[0,1]。即分配给热管理***的功率为：
PAC(t)＝kAC(t)×PAC-max，其中PAC-max为制冷设备(压缩机)的峰值功率。相应地，驱动***可获得的最大功率为：
Pmot(t)＝PHV(t)-PAC(t)＝PHV(t)-kAC(t)PAC-max。
能源消耗率(Energy Consumption Ratio，简称ECR)是表征汽车经济性能的指标，工程中ECR的常用单位为kW·h/100km，它表示电动汽车在行驶100km路程时所需要消耗的电池组的能量。此外，还应确保分配给驱动***的功率Pmot(t)不小于驾驶员所期望的驱动***实际输出功率Pdrv(t)，以满足车辆正常行驶的动力需求。
因此，在本实施例中，我们可以建立电动汽车能源管理***的数学模型如下：
Figure SMS_10
在本实施例的一个具体示例中，我们对一种如今电动汽车常用的磷酸铁锂动力电池进行探讨。磷酸铁锂动力电池具有明显的放电热效应，即电池组的温度变化将导致电池的实际输出能量发生变化。电池放电效率是指在一定温度条件下，电池由满电状态放电至电池截至电压的实际输出的能量与电池额定能量之比。将电池在各温度下完全放电，可以测得在该温度下所对应的电池放电效率。e(ΔT)即为磷酸铁锂电池组“温度-效率”函数，如图3所示。
从图3中可以看出，电池的放电效率和电池组温度有着极大的关系。只有当电池组温度低于44.6℃时，电池效率才高于80％。为了降低行驶周期内的总电量消耗E，以获得较低的ECR，我们需要在提高电池的放电效率。由于NEDC循环采用的标准测试工况下温度为20～30℃，且考虑到电池组在工作中的升温和安全工作的温度上限，因此我们只对20～60℃温度区间的e(ΔT)函数进行多项式拟合：
Figure SMS_11
上式中，ΔT是当前的电池组温度，单位为℃；e(ΔT)是该温度下的电池放电效率；R2是该拟合的相关系数。
由于电池组温度变化而耗散的能量称为电池的“无功损耗”能量，它是关于电池组温度的函数，我们用Eloss(ΔT)表示。已知电池的额定容量，根据式3.6我们可推导出Eloss(ΔT)的表示式：
Figure SMS_12
电动汽车在[0,t]时间段内总电量消耗E(t)可表示为：
Figure SMS_13
上式中，
Figure SMS_14
是驱动***所消耗总能量，/>
Figure SMS_15
Figure SMS_16
是热管理***所消耗的能量，/>
Figure SMS_17
是车辆低压供电网络所消耗的能量，Eloss(ΔT(t))是0～t时间段内电池组温度变化而耗散的能量。
综上所述，在该具体实例中求解ECR最小化的问题，可以转化为求解0～t时间段内式上式()最小化的问题。
在本实例中，我们使用强化学习的方法对能耗最小化的问题进行求解。
智能体在进行强化学习的过程中，设当前的环境状态s(t)，此时智能体对环境施加动作a(t)，当环境进入到下一状态s(t+1)时，环境会向智能体反馈奖励——正向的奖励将对智能体执行的动作a(t)产生增强的趋势，未来再遇到这一状态s(t)时，智能体将有更大概率采取这一动作；反之，负向奖励将降低智能体对动作a(t)选择的偏好。图4描述了强化学习***进行学习的基本过程。
电动汽车的能源管理是关于时间的决策，故而可用马尔可夫决策过程的基本方法来解决。马尔可夫决策过程包括以下几个基本元素：状态空间S，动作空间A，状态转移概率和奖励函数r(t)。需要注意的是，由于我们的状态变量是关于时间t的函数，因此状态转移概率为隐式。下文将更详细地阐述强化学习算法在优化电动汽车能源消耗率问题的具体过程。
状态空间是能源管理所有可能状态的集合。由前述分析可得出，能源管理***分配给驱动***的功率Pmot(t)和电池组的温度ΔT(t)会影响能量分配策略，因此状态空间可表示为：
Figure SMS_18
这些表征状态的具体数值在每个时隙开始前对于智能体而言都是未知的，智能体只能从环境中获取当前状态的信息。
对于一个离散的强化学习控制***，其动作空间的取值是有限的，对于这一实例而言即制冷***的运行功率是一系列离散可调的量，它可以在完全关闭和全功率开启之间选择某一中间状态进行制冷工作。为此，我们需要考虑马尔可夫决策的每一个中间过程，即每个优化周期内的热管理***运行功率权值，记为kAC(t)∈A，其中A即为动作空间。根据每一时隙内总能耗最低的需求，我们可以确定最佳的能源分配策略。
奖励函数是环境对智能体的反馈信号，它对智能体在该状态下执行该动作的好坏进行评价，智能体则根据得到的奖励对自己的策略进行调整。
在时刻t，移动设备在状态s∈S采取行动a∈A后，将获得奖励，使得移动设备知道它采取的动作是否正确，环境的正向奖励将对能源管理***采取的某一动作a具有加强作用，未来在同样的环境条件下，采用这个动作的偏好会有所增加；反之，如果得到负向奖励，那么以后产生这个动作的趋势就会减弱。能源管理***根据获得的奖励以学习的方式不断更新从状态到动作的映射策略，最终达到能耗最小化的目的。
为避免保守的过程导致的智能体学***均值，则ravg(t)可以作为一个参考值用于比较当前获得的即时奖励高于或低于以往获得奖励的平均值，从而获得对当前执行动作的评价。具体而言，我们将实际进行运算的奖励定义为：
r(t)＝ravg(t)-E(t)
对于时间离散的***，奖励的平均值可被表示为：
Figure SMS_19
前述部分，我们已经交代了实例中强化学习的状态空间、动作空间和奖励函数，接下来将使用Q-learning算法(一种强化学习算法)对能量分配策略进行学习和优化。该策略使得车辆的能源管理***拥有一个状态动作值矩阵，即Q表。Q表内的每一项Q(s,a)为状态s与动作a的映射关系。当电动汽车能源管理***在某一状态s下进行能量分配时，矩阵Q将采用下式的方法进行更新：
Figure SMS_20
其中，参数α∈(0,1]是学习率，它表示Q值的过去值和新获得奖励的加权关系；γ∈[0,1]衰减系数反应未来奖励对当前决策的重要性，该值越大表示智能体在采取动作a是越倾向于考虑未来奖励的影响。采取行动a(t)后，环境从s(t)变为s(t+1)，此时能源管理***对动作值矩阵Q进行更新。其中，rt+γmaxa(t+1)Q(s,a)t+1部分是Q(s,a)的现实值，而Q(s,a)t是在采取动作a之前，智能体对映射(s,a)的估计。对现实值和估计值求差再乘以学习效率α，经过若干次学习，则Q表的中的估计值与现实值的差距将逐渐减小并最终收敛获得一组稳定的关于(s,a)的映射。当Q(s,a)收敛于最优映射时，我们可以认为***已经完成了学习过程，即Q-learning算法得到的最优策略为：
Figure SMS_21
上式中，arg max是对函数求参数的函数，即求得使得策略π(s)最大的Q表映射。对于离散性的马尔可夫决策问题，这是使得***策略最佳的必要条件，即对于环境所处的任意状态s，能量管理***总能选择使得Q值最大的动作a*。图5展现了能源管理***Q-learning算法的执行过程。
在本实例Q-learning算法的基础上，我们还需要引入ε-greedy策略，来防止次优解的Q值积累，而导致***无法选择到最优解的情况发生。该策略不仅会采取Q值最大的“最优”a(t)，并且会以某个概率对当前Q值并非最大的动作进行试探。具体而言，ε-greedy策略将以ε∈[0,1]的概率选择当前Q值最大的动作，而有1-的概率将在Q表中随机选取动作。该策略保证了经过足够多次试错试验后，***总能使得当前状态的最优动作的Q值最大。

Claims (4)

1.一种电动汽车能源管理与分配方法，其特征在于，包括以下步骤：
步骤1、将电动汽车的电力设备分为高压供电网络、低压供电网络、充电网络三大类，其中：高压供电网络包含热管理***和驱动***；低压供电网络用以支持全车低压电子部件的用电；充电网络用于从电网向车载电池补充能量，建立电动汽车能源***模型如下式(1)所示，根据现实中复杂多变的汽车运行工况，对汽车不同的工况进行量化，确定能源***的状态空间：
Figure QLYQS_1
式(1)中，ECR表示能源消耗率；kAC(t)表示热管理***功率系数，表示将高压供电***分配给热管理***的功率占热管理***峰值功率的比例；T表示一个行驶周期时长；Pmot(t)表示向驱动***输出的最大功率；PHV(t)表示可被能源管理***所分配的高压供电网络的总功率；PAC-max(t)表示电动汽车的制冷设备的峰值功率；Pdrv(t)表示电动汽车的驾驶员所期望的驱动***实际输出功率；
步骤2、根据步骤1建立的电动汽车能源***模型确定优化目标函数，使得电动汽车在一个行驶周期内的耗能最少，将求解ECR最小化的问题转化为求解0～T时间段内电动汽车在[0,T]时间段内总电量消耗E(t)最小化的问题，E(t)如下式(2)所示：
Figure QLYQS_2
式(2)中，
Figure QLYQS_3
是驱动***所消耗总能量；/>
Figure QLYQS_4
Figure QLYQS_5
是热管理***所消耗的能量；/>
Figure QLYQS_6
是车辆低压供电网络所消耗的能量，PLV(τ)表示低压供电网络所需的总功率；Eloss(ΔT(t))是0～t时间段内电池组温度变化而耗散的能量；
步骤3、使用强化学习的方法对步骤2确定的目标函数进行优化，强化学习模型采用Markov决策过程；
在车辆运行过程中，使用Q-learning算法对能量分配策略进行学习和优化，Q-learning算法其Q矩阵采用以下的策略不断更新，以得到更为节能的能源分配策略使得车辆的能源管理***拥有一个状态动作值矩阵，即Q表，Q表内的每一项Q(s,a)为状态s与动作a的映射关系，当电动汽车能源管理***在某一状态s下进行能量分配时，Q表采用式(3)的方法进行更新：
Q(s,a)t+1←Q(s,a)t+[rt+maxa(t+1)Q(s,a)t+1-Q(,a)t](3)式(3)中，Q(s,a)t是在采取动作a之前智能体对映射(,a)的估计；rt+maxa(t+1)Q(s,a)t+1是Q(s,a)的现实值；α是学习率，表示Q值的过去值和新获得奖励的加权关系；γ∈[0,1]是衰减系数，反应未来奖励对当前决策的重要性，γ越大表示智能体在采取动作a是越倾向于考虑未来奖励的影响；
步骤4、当Q(s,a)t收敛于最优映射时，认为***已经完成了学习过程，即Q-learning算法得到的最优策略为：
Figure QLYQS_7
式(4)中，argmax是对函数求参数的函数，即求得使得策略π(s)最大的Q表映射，对于离散性的马尔可夫决策问题，这是使得***策略最佳的必要条件，即对于环境所处的任意状态s，能量管理***总能选择使得Q值最大的动作a*。
2.如权利要求1所述的一种电动汽车能源管理与分配方法，其特征在于，将新欧洲标准循环测试NEDC的循环测试工况表示为只有加速、减速、等速和停车四种状态；通过电动汽车的参数表计算出车辆处于每种测试状态时的电动机输出功率Pmot(t)。
3.如权利要求1所述的一种电动汽车能源管理与分配方法，其特征在于，将驱动***的功率Pmot(t)和电池组的温度ΔT(t)定义为步骤3中强化学习模型的状态空间，记为
Figure QLYQS_8
将电动汽车的制冷***的运行功率分配系数kAC(t)定义为步骤3中强化学习模型的动作空间；
步骤3中强化学***均值，对于时间离散的***奖励的平均值
Figure QLYQS_9
r(tn)为tn时刻智能体所获得的奖励。
4.如权利要求1所述的一种电动汽车能源管理与分配方法，其特征在于，在所述Q-learning算法的基础上引入ε-greedy策略，使得***不仅会采取由Q表中所得出的最优动作，并且会以某个概率对当前Q值并非最大的动作进行试探。
CN201911117375.5A 2019-11-15 2019-11-15 电动汽车能源管理与分配方法 Active CN110962684B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911117375.5A CN110962684B (zh) 2019-11-15 2019-11-15 电动汽车能源管理与分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911117375.5A CN110962684B (zh) 2019-11-15 2019-11-15 电动汽车能源管理与分配方法

Publications (2)

Publication Number Publication Date
CN110962684A CN110962684A (zh) 2020-04-07
CN110962684B true CN110962684B (zh) 2023-06-02

Family

ID=70030621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911117375.5A Active CN110962684B (zh) 2019-11-15 2019-11-15 电动汽车能源管理与分配方法

Country Status (1)

Country Link
CN (1) CN110962684B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112757922B (zh) * 2021-01-25 2022-05-03 武汉理工大学 一种车用燃料电池混合动力能量管理方法及***
CN114212001B (zh) * 2021-12-08 2024-03-29 安徽江淮汽车集团股份有限公司 纯电动车全生命周期的放电功率管理方法
CN114330852B (zh) * 2021-12-21 2022-09-23 清华大学 一体化数据中心柜末端空调***节能优化方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10596913B2 (en) * 2015-05-01 2020-03-24 Hyliion Inc. Trailer-based energy capture and management
CN108470220B (zh) * 2018-01-31 2021-11-30 天津大学 考虑功率变化率限制的混合储能***能量管理优化方法
CN108437822B (zh) * 2018-03-15 2019-10-25 西南交通大学 一种燃料电池混合动力车辆多目标优化控制方法
KR20200135399A (ko) * 2018-03-22 2020-12-02 티에이이 테크놀로지스, 인크. 전력 관리 및 제어를 위한 시스템 및 방법
CN108608876A (zh) * 2018-04-09 2018-10-02 江苏理工学院 增程式混合动力电动汽车复合电源能量管理***控制策略

Also Published As

Publication number Publication date
CN110962684A (zh) 2020-04-07

Similar Documents

Publication Publication Date Title
Zhang et al. Adaptively coordinated optimization of battery aging and energy management in plug-in hybrid electric buses
CN110962684B (zh) 电动汽车能源管理与分配方法
US20200198495A1 (en) Real-time energy management strategy for hybrid electric vehicles with reduced battery aging
CN110936949B (zh) 基于行驶工况的能量控制方法、设备、存储介质及装置
CN109591659B (zh) 一种智能学习的纯电动汽车能量管理控制方法
WO2021159660A1 (zh) 一种混合动力汽车能量管理方法和***
CN103112450B (zh) 一种插电式并联混合动力汽车的实时优化控制方法
CN112757922B (zh) 一种车用燃料电池混合动力能量管理方法及***
CN113071506B (zh) 考虑座舱温度的燃料电池汽车能耗优化***
CN109606348A (zh) 一种插电式行星混联汽车能量管理控制方法
CN105882648A (zh) 一种基于模糊逻辑算法的混合动力***能量管理方法
CN102963353B (zh) 基于神经网络的混合动力***能量管理方法
Li et al. Power allocation smoothing strategy for hybrid energy storage system based on Markov decision process
Zhang et al. Comparative study of energy management in parallel hybrid electric vehicles considering battery ageing
CN103507656A (zh) 一种可在线自调整的增程式电动汽车能量管理方法及***
CN109693573B (zh) 促进可再生能源消纳的电动汽车集群充电功率优化方法
CN110667565A (zh) 一种智能网联插电式混合动力汽车协同优化能量管理方法
CN115230485A (zh) 基于短期功率平滑预测的燃料电池公交车能量管理方法
Ouddah et al. Hybrid energy management strategy based on fuzzy logic and optimal control for tri-actuated powertrain system
CN107627864B (zh) 一种增程式车辆的功率分配方法和控制***
Gong et al. Energy Management for a DM-i Plug-in Hybrid Electric Vehicle via Continuous-Discrete Reinforcement Learning
Kazemi et al. Utilizing situational awareness for efficient control of powertrain in parallel hybrid electric vehicles
CN117034666A (zh) 燃料电池汽车能量管理方法、***、介质、设备及终端
CN113734141A (zh) 一种车辆怠速发电功率控制方法及其***
Shen et al. Real-time energy management for plug-in hybrid electric vehicles via incorporating double-delay Q-learning and model prediction control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant