CN112018465B - 一种多物理场约束的锂离子电池智能快速充电方法 - Google Patents
一种多物理场约束的锂离子电池智能快速充电方法 Download PDFInfo
- Publication number
- CN112018465B CN112018465B CN202011087624.3A CN202011087624A CN112018465B CN 112018465 B CN112018465 B CN 112018465B CN 202011087624 A CN202011087624 A CN 202011087624A CN 112018465 B CN112018465 B CN 112018465B
- Authority
- CN
- China
- Prior art keywords
- network
- state
- variable
- strategy
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01M—PROCESSES OR MEANS, e.g. BATTERIES, FOR THE DIRECT CONVERSION OF CHEMICAL ENERGY INTO ELECTRICAL ENERGY
- H01M10/00—Secondary cells; Manufacture thereof
- H01M10/42—Methods or arrangements for servicing or maintenance of secondary cells or secondary half-cells
- H01M10/44—Methods for charging or discharging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J7/00—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries
- H02J7/007—Regulation of charging or discharging current or voltage
- H02J7/0071—Regulation of charging or discharging current or voltage with a programmable schedule
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B40/00—Technologies aiming at improving the efficiency of home appliances, e.g. induction cooking or efficient technologies for refrigerators, freezers or dish washers
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
- Y02E60/10—Energy storage using batteries
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Pure & Applied Mathematics (AREA)
- Neurology (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Electrochemistry (AREA)
- General Chemical & Material Sciences (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Chemical & Material Sciences (AREA)
- Manufacturing & Machinery (AREA)
- Operations Research (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Power Engineering (AREA)
- Secondary Cells (AREA)
- Charge And Discharge Circuits For Batteries Or The Like (AREA)
Abstract
本发明公开了一种多物理场约束的锂离子电池智能快速充电方法,包括以下步骤:S1.开展锂离子电池测试,建立锂离子电池电热耦合模型和老化模型;S2.定义动作空间和奖励函数,定义优先经验回放池;S3.设定离线训练场景,获取初始时刻状态变量,利用策略网络获取当前状态下的动作变量,并扩大动作选取范围;S4.生成充电动作、电池状态转移、奖励值并记录于经验池,进行DDPG网络的同步更新;S5.循环执行S3‑S4,直至策略网络和价值网络收敛,导出策略网络成为深度强化学习(DRL)快速充电策略;S6.估计强化学习状态空间内的各个变量;S7.确定当前时刻的最优充电动作。本发明兼顾充电速度、电池安全与寿命衰减抑制,训练后策略计算复杂度低,实时应用具有优势。
Description
技术领域
本发明涉及一种多物理场约束的锂离子电池智能快速充电方法,具体是涉及基于多物理场耦合建模与深度强化学习的锂离子电池智能快速充电方法。
背景技术
锂离子电池在电动汽车领域应用最为广泛,其快速充电技术对电动汽车的进一步普及具有重要意义。然而,现阶段快速充电技术依然面临多方面瓶颈,盲目追求充电速度可能引发锂离子电池内部过热、过应力、析锂等过程,严重影响锂离子电池的耐久性与安全性,甚至将直接导致起火、***等灾难性事故。
基于经验的充电方法简单易行,应用广泛,代表性的如恒流-恒压(CCCV)法、多阶段恒流法等,但这类方法鲁棒性差,难以考虑锂离子电池内部多理化过程及其约束意义,难以保证充电的综合最优性。相比而言,基于模型的充电优化控制方法采用等效电路-热耦合模型、电化学机理模型等对锂离子电池内部多物理过程进行描述,并采用模型预测控制(MPC)等优化控制算法实现快速充电,能够有效保证充电的多目标最优性,且具有更高的鲁棒性。但是,这类方法需要对高维、强耦合、非线性问题进行多约束、多目标优化求解,计算复杂度高,在线应用具有挑战性。
综上所述,现阶段仍然缺少一种兼具多约束、多目标最优性与低计算复杂度的锂离子电池快速充电方法。
发明内容
本发明的目的在于克服现有技术的不足,提出一种多物理场约束的锂离子电池智能快速充电方法,通过建立多目标优化问题,采用具有优先级经验重播的改进DDPG算法进行求解,实现遵从离子锂电池理化极限与老化抑制的快速充电,该方法将多约束、多目标最优化求解导致的复杂计算迁移到离线训练环节,从而保证算法的实时性。
本发明的目的是通过以下技术方案来实现的:一种多物理场约束的锂离子电池智能快速充电方法,包括以下步骤:
S1. 开展锂离子电池测试,建立锂离子电池电热耦合模型和老化模型;
S2. 将S1中确定的关键状态归入强化学习状态空间,定义动作空间和奖励函数,搭建深度确定性策略梯度(DDPG)算法的策略网络、价值网络并进行初始化,定义优先经验回放池;
S3. 设定离线训练场景,获取初始时刻状态变量,利用策略网络获取当前状态下的动作变量,采用基于随机变换的噪声探索机制扩大动作选取范围;
S4. 依据S1中电池模型,生成充电动作、电池状态转移、奖励值并记录于经验池,通过选择经验记录进行DDPG网络的同步更新;
S5. 循环执行S3-S4,直至策略网络和价值网络收敛,导出策略网络成为深度强化学习(DRL)快速充电策略;
S6. 实时采集充电电流、端电压、环境温度、电池表面温度,设计基于模型的状态观测器,实时估计强化学习状态空间内的各个变量;
S7. 依据S6中的测量值与估计值,使用S5中训练成熟的DRL控制策略确定当前时刻的最优充电动作。
本发明的有益效果是:本发明能够实现兼顾充电速度、理化极限约束与老化抑制等若干冲突目标的综合最优化,实现具有安全与健康主动意识的快速充电,将多约束、多目标最优化求解导致的复杂计算迁移到离线训练环节,显著降低了在线应用的计算复杂度。
附图说明
图1为本发明的方法流程图。
图2为实施例中锂离子电池的SOC-OCV函数关系。
图3为实施例中锂离子电池的电热耦合模型。
图4为实施例中DDPG-DRL快速充电策略的训练过程。
图5为实施例中所述的DDPG-DRL充电方法与CCCV方法的对比。
图6为实施例中所述的DDPG-DRL充电方法与MPC方法的对比。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案,但本发明的保护范围不局限于以下所述。
如图1所示,一种多物理场约束的锂离子电池智能快速充电方法,包括以下步骤:
S1. 开展锂离子电池测试,建立锂离子电池电热耦合模型和老化模型。
在本申请的实施例中,选择锂离子电池端电压、SOC和电芯温度作为状态,开展电池测试,包含SOC-OCV函数关系测试、HPPC阻抗参数测试、热力学测试、老化测试,确定关键模型参数。
建立锂离子电池电热耦合模型,其中电气部分采用二阶RC等效电路模型,状态空间方程为:
式中,t是时间,R s 是欧姆内阻,I和V是电流和端电压,C n 是容量,V p1 和V p2 是极化电压。该实施例中,V oc 与SOC的函数关系采用5阶多项式拟合,拟合结果如图2所示。
热模型采用如下公式描述:
式中,T s 、T a 、T c 和T f 分别是电池表面、内部平均、电芯和环境温度,R c 和R u 是电池内部热阻和电池表面热阻,C c 和C s 分别是电池芯部和表面的等效热容,H是产热率,计算方法为:
式中,E n 表示电化学反应过程中的熵变。本实施例中所用的等效电路模型和热模型相互耦合,如图3所示。
随后建立电池老化模型,基于Arrhenius方程的建立容量损失表达式:
当C n 下降20%时,电池到达寿命终止条件。因此Ah由下式计算:
定义N为达到达寿命终止条件之前的循环总数,计算方法为:
最后计算多应力下电池健康状态(SOH)的衰减量:
式中,Δt是电流的持续时间。至此完成了锂离子电池的电热耦合建模和老化建模。
S2. 将S1中确定的关键状态归入强化学习状态空间,定义动作空间和奖励函数,搭建深度确定性策略梯度(DDPG)算法的策略网络、价值网络并进行初始化,定义优先经验回放池。所述步骤S2中包括以下子步骤:
S201. 确定锂离子电池快速充电过程中的约束变量,作为状态向量空间s的组成变量,选择充电电流或充电功率作为动作变量a。本实例中,选取荷电状态SoC,电芯温度T c 和端电压V作为约束变量,充电电流cr作为控制动作,状态空间S、时变状态变量s t 、动作空间A和时变动作变量a t 分别定义如下:
其中,下标t代表时刻t,为物理量的时序表达,具体地:
该实施例中充电电流上限为6C。
S202. 根据预期控制目标选择奖励函数的参考指标,建立归一化奖励函数。该实施例中,首先定义如下成本函数:
其中,ω 1, ω 2, ω 3, ω 4和 ω 5是描述不同目标重要性的权重,C soc , C volt ,C heat , C soh 和C smooth 分别用于体现充电时间、过压保护、过热保护、老化抑制和充电电流平稳性,计算方法如下:
式中,SoC tar 表示目标SOC;V tar_upp 和V tar_low 是端电压的上限值和下限值,T a,t , T tar 是电池内部温度的实时值和上限值;ΔSoH t 表示执行当前控制动作导致的SOH下降;τ 1, τ 2和 τ 3是转换系数。该实施例中,SoC tar , V tar_upp , V tar_low ,和T tar 的取值分别为0.95,3.6V,2.0V和45℃。
基于成本函数J t 建立深度强化学习策略奖励函数r t :
S203. 建立用于策略选择的全连接深度神经网络作为策略网络,表示该
网络参数;建立用于评估策略价值的全连接深度神经网络作为价值网络Q,表示该网络
参数;对策略网络和价值网络的权重和偏置进行初始化赋值;复制策略网络作为目标策略
网络,复制价值网络作为目标价值网络。
该实施例中,采用He初始化方法对策略网络和价值网络参数进行初始化,产生全
连接深度神经网络的初始权重和偏置,具体地,产生区间中均匀分布的权
重和偏置,其中fan in 为所需初始化网络层的输入神经元数量。复制网络的结构和初始参
数作为目标策略网络,记作,复制q网络的结构和初始参数作为目标价值网
络,记作。
S204. 选择经验回放池最大容量值,建立经验回放池,用于储存训练过程每一时刻的信息组,该信息组包括:状态变量,动作变量,奖励函数,和状态转移后的状态变量。
S3. 设定离线训练场景,获取初始时刻状态变量,利用策略网络获取当前状态下的动作变量,采用基于随机变换的噪声探索机制扩大动作选取范围。所述步骤S3包括以下子步骤:
S301. 对于当前训练回合数i(初始i= 1),开启经验储存池,对锂离子电池模型进行状态初始化,设定时间t = 0。
假设处于状态s,则原本策略网络的输出是固定值a,而增加随机噪声能够将动作变量变为a1=a+噪声1。若下一次重新面临状态s,则对于未更新过的策略网络,其输出仍是固定值a,但增加噪声后a2=a+噪声2。此时,完成了不改变网络的前提下,扩大动作变量选择范围的目的。
S4. 依据S1中电池模型,生成充电动作、电池状态转移、奖励值并记录于经验池,通过选择经验记录进行DDPG网络的同步更新。所述步骤S4包括以下子步骤:
S401. 基于S1中建立的电池模型,输入所选择的当前状态下的动作变量,计算更新状态变量空间和实时奖励函数值,将该时间步长内的a t ,s t ,s t+1 和奖励函数值r t 组成经验元组。
S402. 计算t时刻优先度:
将S401中的经验元组和优先度(rank t )作为t时刻的数据储存于经验回放池中,表示如下:
S404. 以d j 中数据为依据,进行价值网络、策略网络及其对应目标网络的更新。具体的,确定价值网络q的评估方程:
S406. 将时间t增加1个步长,重新回到S401,S401-S406循环执行直至达到定义的最大持续时间步长t L (t = t L ),则结束本回合,该实施例中t L = 2000s。
S5. 循环执行S3-S4,直至策略网络和价值网络收敛,导出策略网络成为DRL快速
充电策略。所述步骤S5中,将训练回合数i增加1,重新回到S3,S3-S4循环执行直至达到回合
数上限L,终止并视为收敛,收敛后导出策略网络即为DRL快速充电策略。该实施例中,L =
50。
至此完成了DRL策略的训练,训练示意图如图4所示。
S6. 实时采集充电电流、端电压、环境温度、电池表面温度,设计基于模型的状态观测器,实时估计强化学习状态空间内的各个变量。所述步骤S6包括以下子步骤:
S601. 采集锂离子电池在充电过程中的电流、端电压、表面温度、环境温度等数据。
S602. 设计基于模型的状态观察器,依据S601中所采集数据,对状态变量空间s中的状态变量进行实时估计。
该实施例中,采用扩展卡尔曼滤波算法进行状态估计。定义u为***输入,x为待观测状态向量,y为可测量的***输出向量,如下所示:
图3所示电热耦合模型可表述为如下离散状态空间方程:
其中,w k 和u k 分别是过程噪声和测量噪声。采用如下步骤实时估计SOC和电芯温度:
其中,是卡尔曼增益;I为单位矩阵;Q和R分别为输入、输出测量噪声的协方差
矩阵,P是状态估计误差协方差矩阵,是待观测状态向量在k时刻的后验估计(也是k时
刻待观测状态向量的最终估计)。其他相关系数矩阵计算方法为:
至此完成了待观测向量x的估计,提取其中的SoC、T c 和T s ,结合测量的端电压,即可实现对s t 的更新。
S7. 依据S6中的测量值与估计值,使用S5中训练成熟的DRL控制策略确定当前时刻的最优充电动作。
按照上述步骤,通过基于DDPG-DRL的快速充电策略,对电池的充电电流进行实时计算;对充电速度进行奖励,对过电压和过热进行软性惩罚,通过对多个冲突目标进行智能优化,实现具备热安全意识和健康主动意识的快速充电最优控制。
在本专利的实施例中,对所述基于DDPG-DRL的快速充电方法进行验证,并与广泛应用的CCCV方法(包括2C CCCV、4C CCCV、6C CCCV)对比,结果如图5所示,图5中,(a)为不同方法下充电倍率与时间的关系,(b)为不同方法下荷电状态与时间的关系,(c)为不同方法下终端电压与时间的关系,(d)为不同方法下电池核心温度与时间的关系。结果表明所述方法在最大化充电速度的同时保持电池内部平均温度不超过设定的45℃,而传统的CCCV策略难以实现充电速度与过热保护的智能兼顾。
将所述基于DDPG-DRL的快速充电方法与模型预测控制(MPC)方法对比,结果如图6所示,图6中,(a)为不同方法下充电倍率与时间的关系,(b)为不同方法下荷电状态与时间的关系,(c)为不同方法下终端电压与时间的关系,(d)为不同方法下电池核心温度与时间的关系。结果表明两种方法在充电速度和过热保护方面表现相似,均能实现热安全意义下的快速充电控制。
综合对比6C CCCV方法、MPC方法与所述方法的充电速度与1000次充电SOH下降量,结果如表1所示。结果表明,所述方法能达到与MPC方法等同的效果,但在线应用仅包含代数运算,计算复杂度显著低于MPC的高维矩阵运算(三次方等级计算复杂度),实时性能大幅提高;相比之下CCCV方法虽然计算简单,但难以实现最优充电。综合来看,本专利所述基于DDPG-DRL的快速充电策略能兼顾最优性与实时性。
表1 6C CCCV方法、MPC方法与所述方法的充电速度与1000次充电SOH下降量对比
综上所述,本发明通过状态观测器估计电池内部状态,通过建立多目标优化问题,采用具有优先级经验重播的改进DDPG算法进行求解,实现遵从离子锂电池理化极限与老化抑制的快速充电。相较于传统的CCCV充电方法,本发明能够本发明能够实现兼顾充电速度、理化极限约束与老化抑制等若干冲突目标的综合最优化;相较于MPC充电方法,本发明将多约束、多目标最优化求解导致的复杂计算迁移到离线训练环节,在保证优化性能的同时大幅降低了计算复杂度。
以上所述是本发明的优选实施方式,应当理解本发明并非局限于本文所披露的形式,不应该看作是对其他实施例的排除,而可用于其他组合、修改和环境,并能够在本文所述构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。
Claims (6)
1.一种多物理场约束的锂离子电池智能快速充电方法,其特征在于包括以下步骤:
S1.开展锂离子电池测试,建立锂离子电池电热耦合模型和老化模型;
S2.将S1中确定的关键状态归入强化学习状态空间,定义动作空间和奖励函数,搭建深度确定性策略梯度算法的策略网络、价值网络并进行初始化,定义优先经验回放池;
所述步骤S2包括以下子步骤:
S201.确定锂离子电池快速充电过程中的约束变量,作为状态向量空间s的组成变量,选择充电电流或充电功率作为动作变量,作为动作空间A的组成变量;
选取荷电状态SoC,电芯温度Tc和端电压V作为约束变量,充电电流cr作为控制动作,状态空间S、时变状态变量st、动作空间A和时变动作变量at分别定义如下:
S={SoC,Tc,V}
st=[SoCt,Tc,t,Vt],st∈S
A={cr|cr∈(0,6C)}
at=crt,at∈A
其中,下标t代表时刻t,为物理量的时序表达,具体地:
SoCt为t时刻锂离子电池荷电状态;Tc,t为t时刻锂离子电池电芯温度;Vt为t时刻端电压;C为充电倍率,是充电电流cr的单位;at为t时刻动作变量;crt即t时刻充电电流;
S202.根据预期控制目标选择奖励函数的参考指标,建立归一化奖励函数;
S203.建立用于策略选择的全连接深度神经网络作为策略网络μ,θμ表示策略网络的参数;建立用于评估策略价值的全连接深度神经网络作为价值网络Q,θQ表示价值网络的参数;对策略网络和价值网络的权重和偏置进行初始化赋值;复制策略网络作为目标策略网络,复制价值网络作为目标价值网络;
S204.选择经验回放池最大容量值,建立经验回放池,用于储存训练过程每一时刻的信息组,该信息组包括:状态变量,动作变量,奖励函数和状态转移后的状态变量;
S3.设定离线训练场景,获取初始时刻状态变量,利用策略网络获取当前状态下的动作变量,采用基于随机变换的噪声探索机制扩大动作选取范围;
所述步骤S3包括以下子步骤:
S301.对于当前训练回合数i,初始i=1,开启经验储存池,对锂离子电池模型进行状态初始化,设定时间t=0;
S302.获取初始时刻状态变量s0,将状态变量输入策略网络获得动作变量a=μ(s|θμ),为该动作附加一均值为0,标准差为1倍动作变量定义域的随机噪声;
S4.依据S1中电池模型,生成充电动作、电池状态转移、奖励值并记录于经验池,通过选择经验记录进行深度确定性策略梯度网络的同步更新;
所述步骤S4包括以下子步骤:
S401.基于S1中建立的电池模型,输入所选择的当前状态下的动作变量,计算更新状态变量空间和实时奖励函数值,将时间步长内的at,st,st+1和奖励函数值rt组成经验元组;
S402.计算t时刻优先度:
LQ(t)=[rt+γQ'(st+1,μ(st+1)|θQ')-Q(st,at|θQ)]2
式中,γ为折扣因子;μ(·)代表策略网络,Q(·)代表价值网络;Q′(·)代表目标价值网络;θμ和θQ分别代表策略网络的参数和价值网络的参数;具体地:
μ(s|θμ)代表以θμ为参数的策略网络,对输入的状态变量s的响应;
Q(st,at|θQ)代表以θQ为参数的价值网络,对t时刻输入的状态变量st和动作变量at的响应;
Q′(st+1,μ(st+1)|θQ′)代表以θQ′为参数的目标价值网络,对t+1时刻输入的状态变量st+1和动作变量μ(st+1)的响应;
将S401中的经验元组和优先度ranzkt作为t时刻的数据储存于经验回放池中,表示如下:
D={rankt,dt=[st,at,rt,st+1]|t=1,2,...}
其中,D即经验回放池;
S404.以dj中数据为依据,进行价值网络、策略网络及其对应目标网络的更新,具体的,确定价值网络q的评估方程:
随后建立价值网络的更新误差计算公式:
LQ(j)=[rj+γQ'(sj+1,μ(sj+1)|θQ')-Q(sj,aj|θQ)]2
进而确定策略网络μ的评估方程:
Φ(θμ)=E[Q(sj,μ(sj))]
式中,E(·)表示求取数学期望;依据目标相对于策略网络μ的梯度,策略网络μ的更新误差为:
S405.对目标网络Q'和μ'采用如下软更新策略:
θQ′←τθQ+(1-τ)θQ′
θμ'←τθμ+(1-τ)θμ'
S406.将时间t增加1个步长,重新回到S401,S401-S406循环执行直至达到定义的最大持续时间步长tL,即t=tL时,则结束本回合;
S5.循环执行S3-S4,直至策略网络和价值网络收敛,导出策略网络成为深度强化学习快速充电策略;
S6.实时采集充电电流、端电压、环境温度、电池表面温度,设计基于模型的状态观测器,实时估计强化学习状态空间内的各个变量;
S7.依据S6中的测量值与估计值,使用S5中训练成熟的深度强化学习控制策略确定当前时刻的最优充电动作。
2.根据权利要求1所述的一种多物理场约束的锂离子电池智能快速充电方法,其特征在于:所述步骤S1中,建立的电池模型包括电池电热耦合模型和电池老化模型;所述电池电热耦合模型由等效电路模型和热模型相互耦合而成。
3.根据权利要求1所述的一种多物理场约束的锂离子电池智能快速充电方法,其特征在于:所述步骤S5中,将训练回合数i增加1,重新回到S3,循环执行S3-S4直至达到回合数上限L,终止并视为收敛,收敛后导出策略网络μ即为深度强化学习快速充电策略。
4.根据权利要求1所述的一种多物理场约束的锂离子电池智能快速充电方法,其特征在于:所述步骤S6包括以下子步骤:
S601.采集锂离子电池在充电过程中的电流、端电压、表面温度和环境温度数据;
S602.设计基于模型的状态观察器,依据S601中所采集数据,对状态变量空间s中的状态变量进行实时估计。
5.根据权利要求4所述的一种多物理场约束的锂离子电池智能快速充电方法,其特征在于:所述状态观测器包括龙伯格观测器、扩展卡尔曼滤波、无际卡尔曼滤波、粒子滤波、滑膜观测器中的一种。
6.根据权利要求1所述的一种多物理场约束的锂离子电池智能快速充电方法,其特征在于:所述步骤S7中,先依据S6计算更新状态变量空间,然后采用S5中训练所得的深度强化学习快速充电策略,决策确定当前时刻的充电电流或充电功率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011087624.3A CN112018465B (zh) | 2020-10-13 | 2020-10-13 | 一种多物理场约束的锂离子电池智能快速充电方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011087624.3A CN112018465B (zh) | 2020-10-13 | 2020-10-13 | 一种多物理场约束的锂离子电池智能快速充电方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112018465A CN112018465A (zh) | 2020-12-01 |
CN112018465B true CN112018465B (zh) | 2021-01-29 |
Family
ID=73527433
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011087624.3A Active CN112018465B (zh) | 2020-10-13 | 2020-10-13 | 一种多物理场约束的锂离子电池智能快速充电方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112018465B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112578283B (zh) * | 2020-12-14 | 2022-03-11 | 北汽福田汽车股份有限公司 | 一种电池***参数确定方法、装置及车辆 |
CN113013509A (zh) * | 2021-02-25 | 2021-06-22 | 华中科技大学 | 一种基于动态规划的锂离子电池快速充电方法及*** |
CN113554166A (zh) * | 2021-06-16 | 2021-10-26 | 中国人民解放军国防科技大学 | 认知行为模型加速的深度q网络强化学习方法及设备 |
CN113702855B (zh) * | 2021-08-31 | 2022-06-03 | 北京航空航天大学 | 一种基于多物理场仿真与神经网络方法的锂电池组健康状态在线预测方法 |
CN113895276A (zh) * | 2021-09-03 | 2022-01-07 | 国网北京市电力公司 | 电动汽车充电网络调整方法、装置及非易失性存储介质 |
CN114084026B (zh) * | 2021-11-29 | 2023-06-02 | 重庆长安新能源汽车科技有限公司 | 电动汽车最优充电路径的动态规划方法及*** |
CN116526617B (zh) * | 2023-04-26 | 2024-02-02 | 广芯微电子(广州)股份有限公司 | 一种基于强化学习的锂电池充电控制方法及装置 |
CN117578679B (zh) * | 2024-01-15 | 2024-03-22 | 太原理工大学 | 基于强化学习的锂电池智能充电控制方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103472397A (zh) * | 2013-08-09 | 2013-12-25 | 江苏欧力特能源科技有限公司 | 铅酸电池模型经验公式法中关键参数抗差辨识方法 |
CN106842045A (zh) * | 2017-01-20 | 2017-06-13 | 北京理工大学 | 一种基于自适应权重方法的电池多模型融合建模方法和电池管理*** |
CN108872866A (zh) * | 2018-06-04 | 2018-11-23 | 桂林电子科技大学 | 一种锂离子电池荷电状态动态评估与长效预测融合方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AT512003A3 (de) * | 2013-01-23 | 2014-05-15 | Avl List Gmbh | Verfahren zur Ermittlung eines regelungstechnischen Beobachters für den SoC |
CN103995464B (zh) * | 2014-05-26 | 2016-04-13 | 北京理工大学 | 一种估计电动车辆的动力***的参数和状态的方法 |
-
2020
- 2020-10-13 CN CN202011087624.3A patent/CN112018465B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103472397A (zh) * | 2013-08-09 | 2013-12-25 | 江苏欧力特能源科技有限公司 | 铅酸电池模型经验公式法中关键参数抗差辨识方法 |
CN106842045A (zh) * | 2017-01-20 | 2017-06-13 | 北京理工大学 | 一种基于自适应权重方法的电池多模型融合建模方法和电池管理*** |
CN108872866A (zh) * | 2018-06-04 | 2018-11-23 | 桂林电子科技大学 | 一种锂离子电池荷电状态动态评估与长效预测融合方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112018465A (zh) | 2020-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112018465B (zh) | 一种多物理场约束的锂离子电池智能快速充电方法 | |
Dai et al. | A novel estimation method for the state of health of lithium-ion battery using prior knowledge-based neural network and Markov chain | |
Meng et al. | Lithium polymer battery state-of-charge estimation based on adaptive unscented Kalman filter and support vector machine | |
CN111948560A (zh) | 基于多因子评估模型的锂电池健康状态估算方法 | |
CN115632179B (zh) | 一种锂离子电池智能快速充电方法及*** | |
CN113406521B (zh) | 一种基于特征分析的锂电池健康状态在线估计方法 | |
CN110058160B (zh) | 基于平方根扩展卡尔曼滤波的锂电池健康状态预测方法 | |
Takyi-Aninakwa et al. | An optimized relevant long short-term memory-squared gain extended Kalman filter for the state of charge estimation of lithium-ion batteries | |
CN112147514B (zh) | 基于rls的锂电池全工况自适应等效电路模型 | |
CN112684363A (zh) | 一种基于放电过程的锂离子电池健康状态估计方法 | |
CN114114038A (zh) | 一种全寿命全温度下锂电池soc及可用容量联合估计方法 | |
CN117096984A (zh) | 基于强化学习的电池组均衡感知快充控制方法和*** | |
CN112526354A (zh) | 一种锂电池健康状态估计方法 | |
CN115656848A (zh) | 一种基于容量修正的锂电池soc估算方法 | |
CN115166561A (zh) | 一种基于cnn-gru组合神经网络的锂电池寿命预测方法 | |
Liu et al. | Multi-state joint estimation of series battery pack based on multi-model fusion | |
CN114217234B (zh) | 一种基于ide-asrckf的锂离子电池参数辨识与soc估计方法 | |
CN115308606A (zh) | 一种基于邻近特征的锂离子电池健康状态估计方法 | |
CN113608126B (zh) | 一种不同温度下的锂电池soc在线预估方法 | |
Hu et al. | State-of-charge estimation for lithium-ion batteries of electric vehicle based on sensor random error compensation | |
Zhang et al. | Estimation of state‐of‐energy for lithium batteries based on dual adaptive particle filters considering variable current and noise effects | |
CN114397578A (zh) | 一种锂离子电池剩余电量估计方法 | |
CN114720881A (zh) | 一种基于改进初值带遗忘因子递推最小二乘法的锂电池参数辨识方法 | |
CN111948539A (zh) | 一种基于深度强化学习的卡尔曼滤波锂离子电池soc估计方法 | |
CN117799495A (zh) | 一种锂离子电池荷电状态估算与均衡控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |