CN111948539A - 一种基于深度强化学习的卡尔曼滤波锂离子电池soc估计方法 - Google Patents

Abstract

本发明涉及一种基于深度强化学习卡尔曼滤波锂离子电池SOC的估计方法，其主要技术特点：本发明通过对锂离子电池二阶RC等效电路拓扑，建立了离散***数学模型，提出了一种新的深度强化学习卡尔曼滤波锂离子电池SOC估计方法。首先，通过分析锂离子电池二阶RC等效电路模型，建立了电池的状态空间模型，并利用传统的卡尔曼滤波算法构建了锂离子电池的离散***数学模型。结合人工智能思想，进一步设计了一个深度强化学习卡尔曼滤波锂离子电池SOC估计方法。最后，通过贝叶斯规则确保了最佳协方差。仿真结果表明，该估算方法在利用两种算法优点的基础上，通过贝叶斯规则可以确保***的最佳协方差，有效降低了估算过程的计算量，进而提升SOC估算的精度，具有较好的实用性。

Description

一种基于深度强化学习的卡尔曼滤波锂离子电池SOC估计 方法

技术领域

本发明属于锂离子电池储能领域，尤其是基于深度强化学习卡尔曼滤波锂离子电池SOC的一种估计方法。

背景技术

随着新能源交通工具的普及，锂离子电池具有了广泛的应用空间。锂离子电池的状态估计是储能***的重要组成部分之一。锂离子电池状态估计的准确性与电池的充放电过程以及新能源交通工具的运行状态密切相关。为了提高锂离子电池状态估计的精度，国内外相关学者进行了大量研究。

卡尔曼滤波(Kalman filter)是一种利用线性***状态方程，通过***输入输出观测数据，对***进行最优估计的算法。由于观测数据中包括***中的噪声和干扰的影响，所以最优估计也可看做是滤波过程，是一种常见的锂离子电池状态估计算法。锂离子电池运行状态复杂，状态估计受很多因素的干扰。针对串联锂离子电池组不一致性辨识与状态估计，葛云龙等提出一种STF&LM算法，该算法将各单体状态、内阻估计误差控制在合理范围内，提升了电池组不一致性辨识与状态估计。程泽等在分析锂离子电池二阶RC等效电路基础上，将Sage-Husa自适应滤波思想与传统平方根无迹卡尔曼滤波(square-rootunscented Kalman filter，SRUKF)相结合，构建了一种自适应平方根无迹卡尔曼滤波算法，该算法提高了对电池欧姆电阻和容量的估计。深度强化学习将深度学习感知能力和强化学习决策能力相结合，可直接根据输入图像进行控制，是一种更接近人类思维方式的人工智能方法。Minho Kim等人利用深度强化学习思维，提出了一种强化学习的锂离子电池的状态估计算法，该方法对于锂离子电池的状态估计更加精确度和灵活性，弊端是更改参数存在困难。Sbarufatti C和Dang X J等人分别将神经网络和卡尔曼滤波算法相结合，提出了两种不同的算法，实验均验证了能够提高锂离子电池状态估计的精度。

发明内容

本发明通过对锂离子电池二阶RC等效电路拓扑，建立了离散***数学模型，提出了一种新的深度强化学习卡尔曼滤波锂离子电池SOC估计方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于深度强化学习卡尔曼滤波锂离子电池SOC的估计方法，包括以下步骤：

步骤1、通过分析锂离子电池二阶RC等效电路模型，以及采用安时积分法，建立锂电池的状态空间模型，对电池模型进行参数辨识，利用传统的卡尔曼滤波算法构建锂离子电池的离散***数学模型。

步骤2、根据上述步骤1的数学模型，结合人工智能思想，进一步设计一种深度强化学习卡尔曼滤波锂离子电池SOC估计方法。

步骤3、根据上述步骤1的数学模型，在贝叶斯规则下确保了最佳协方差。得到仿真结果后，可以表明该发明能够较好的提高SOC的精度。

而且，所述锂离子电池二阶RC数学模型为：

其中，r_o为锂离子电池内阻，r₁、r₂、C₁、C₂为锂离子电池的极化内阻和极化电容，i_t为锂离子电池电流，u_o为锂离子电池内阻端电压，u_OCV为锂离子电池开路电压，u₁、u₂分别为锂离子电池的极化内阻r₁、r₂的电压，u_t为锂离子电池开路端电压。

而且，采用安时积分法有锂离子电池的SOC：

其中，λ为库伦效率系数，Q_c为电池标定容量，t₀和t为起始时间和终止时间，It为电池在t时刻的电流，

和S_t为起始和终止时电池的SOC。

而且，所述锂离子电池的状态空间模型：

其中，τ₁＝r₁C₁、τ₂＝r₂C₂，u_k(u_k＝i_t，k)为控制变量，y_k(y_k＝u_t，k)为观测变量，w_k(w_k＝[w_1，k w_2，k w_3，k]^T)为***噪声干扰，协方差为Q，v_k为观测噪声干扰，协方差为R。

所述的锂离子电池的离散***数学模型：

其中，噪声干扰w_k、v_k分别设置为w_k∈(0，Q)，v_k∈(0，R)。

而且，所述的深度强化学习卡尔曼滤波锂离子电池SOC估计方法，是将卡尔曼滤波算法与深度强化学习相结合，对锂离子电池SOC进行估计，有动作状态值函数：

其中，s_t∈χ，u_t∈η，r(s_t，u_t)，t∈[1，T]，π(u_t|s_t)∈ρ^π(s_t)，

γ∈(0，1)为折扣因子。当r(s_t，u_t)+γ max Q[s_t+1，u_t+1]-Q[s_t，u_t]→0时，

成立。可通过min L(θ^Q)＝min{r(s_t，u_t)+γ max Q[s_t+1，u_t+1]-Q[s_t，u_t]}优化获得参数更替。

定义最佳Q函数为：

利用贝叶斯规则，方程可以改写为：

其中，f为过渡函数，即s_k+1＝f(s_k，u_k，a_k)。由此可知，设置s_k，u_k为决策量，则可获得最佳协方差。

本发明的优点和积极效果是：

1、锂离子电池的运行状态较为复杂，其涉及电化学反应、电荷传递等多个相互耦合的过程，具有强烈的非线性动态特性。针对锂离子电池的SOC估计，学者们建立了不同的模型，其主要包括等效电路模型、电化学模型和人工神经元网络模型三种。本发明使用的是等效电路模型，等效电路模型可以更准确地表达锂离子电池外特性，最能代表电池的动态特性线性模型。

2、本发明运用了深度强化学习，深度强化学习是将深度学习感知能力和强化学习决策能力相结合，不断以试错的方式与环境进行交互，通过最大化累积奖赏的方式来获得最优策略。可直接根据输入图像进行控制，是一种更接近人类思维方式的人工智能方法。这种算法可以使决策更加合理。

3、本发明通过贝叶斯规则可以确保***的最佳协方差，有效降低了估算过程的计算量，进而提升SOC估算的精度，具有较好的实用性。

附图说明

图1是锂离子电池等效电路示意图；

图2是锂离子电池OCV-SOC特性曲线；

图3是深度强化学习的卡尔曼滤波SOC估算原理图；

图4是SOC估计曲线；

图5是SOC估计误差比较曲线。

具体实施方式

以下结合附图对本发明实施例做进一步详述：

本发明通过对锂离子电池二阶RC等效电路拓扑，建立了离散***数学模型，提出了一种新的深度强化学习卡尔曼滤波锂离子电池SOC估计方法。首先，通过分析锂离子电池二阶RC等效电路模型，建立了电池的状态空间模型，并利用传统的卡尔曼滤波算法构建了锂离子电池的离散***数学模型。结合人工智能思想，进一步设计了一个深度强化学习卡尔曼滤波锂离子电池SOC估计方法。最后，通过贝叶斯规则确保了最佳协方差。仿真结果表明算法能够较好的提高SOC的精度。

一种基于深度强化学习卡尔曼滤波锂离子电池SOC的估计方法，包括以下步骤：

步骤1、通过分析锂离子电池二阶RC等效电路模型，以及采用安时积分法，建立锂电池的状态空间模型，对电池模型进行参数辨识，利用传统的卡尔曼滤波算法构建锂离子电池的离散***数学模型。

本发明将二阶等效电路模型作为研究对象如图1，数学模型为：

其中，r_o为锂离子电池内阻，r₁、r₂、C₁、C₂为锂离子电池的极化内阻和极化电容，i_t为锂离子电池电流，u_o为锂离子电池内阻端电压，u_OCV为锂离子电池开路电压，u₁、u₂分别为锂离子电池的极化内阻r₁、r₂的电压，u_t为锂离子电池开路端电压。

采用安时积分法有锂离子电池的SOC：

其中，λ为库伦效率系数，Q_c为电池标定容量，t₀和t为起始时间和终止时间，It为电池在t时刻的电流，

和S_t为起始和终止时电池的SOC。

定义状态变量x_k＝[s_k u_1，k u_2，k]^T，结合式(1)和(2)，可得锂离子电池的状态空间模型：

其中，τ₁＝r₁C₁、τ₂＝r₂C₂，u_k(u_k＝i_t，k)为控制变量，y_k(y_k＝u_t，k)为观测变量，w_k(w_k＝[w_1，k w_2，k w_3，k]^T)为***噪声干扰，协方差为Q，v_k为观测噪声干扰，协方差为R。

通过放电实验可以得到SOC-OCV关系式。图2为天津力神公司生产的18650型锂离子在常温(20-25℃)下的SOC-OCV特性曲线图。

结合公式(1)-(3)，应用卡尔曼滤波器，建立锂离子电池的离散***数学模型：

其中，噪声干扰w_k、v_k分别设置为w_k∈(0，Q)，v_k∈(0，R)。

步骤2、根据上述步骤1的数学模型，结合人工智能思想，进一步设计一种深度强化学习卡尔曼滤波锂离子电池SOC估计方法。

强化学习由动物学习、参数扰动自适应控制等理论发展而来，是一种机器学习算法。深度强化学习将深度学习的感知能力和强化学习的决策能力相结合，不断以试错的方式与环境进行交互，通过最大化累积奖赏的方式来获得最优策略[10]。本文采用深度Q网络(DQN，deep Q-network)来具体求解资源分配问题，核心思想是将值网络作为评判模块，基于值网络来遍历当前观测状态下的各种动作，与环境进行实时交互，将状态、动作和奖惩值存储在记忆单元中，采用Q-learning算法来反复训练值网络，最后选择能获得最大价值的动作作为输出。基于深度强化学习的卡尔曼锂电池SOC估计的基本框架如图3所示。

图3中s_k为算法进行到第t(t＝1，2...k...n)步时对应的观测，u_k为观测s_k下所执行的动作，r(s_k，u_k)＝r_k为观测s_k下执行动作u_k后，获得的奖赏(或惩罚)。

将卡尔曼滤波算法与深度强化学习相结合，对锂离子电池SOC进行估计，有动作状态值函数：

其中，s_t∈χ，u_t∈η，r(s_t，u_t)，t∈[1，T]，π(u_t|s_t)∈ρ^π(s_t)，

γ∈(0，1)为折扣因子。当r(s_t，u_t)+γ max Q[s_t+1，u_t+1]-Q[s_t，u_t]→0时，

成立。可通过min L(θ^Q)＝min{r(s_t，u_t)+γ max Q[s_t+1，u_t+1]-Q[s_t，u_t]}优化获得参数更替。

定义最佳Q函数为：

利用贝叶斯规则，方程(6)可以改写为：

其中，f为过渡函数，即s_k+1＝f(s_k，u_k，a_k)。由此可知，设置s_k，u_k为决策量，则可获得最佳协方差。

步骤3、仿真及实验分析，通过贝叶斯规则确保了最佳协方差。得到仿真结果后，可以表明该发明能够较好的提高SOC的精度。

在Matlab环境下，模拟天津力神公司生产的18650型锂离子充放电过程，仿真数据采用图2数据，估计曲线如图4、5。SOC真实的初始值为1，实验设定初始值为0.9。图4为平方根高阶容积卡尔曼滤波和深度强化学***方根高阶容积卡尔曼滤波，square-root unscented Kalman filter，SRUKF和深度强化学***方根高阶容积卡尔曼滤波策略估计值与设定值的误差维持在0.16上下，本文所提方法估计值与设定值的误差保持在0.14左右，误差较前一种方法小，表明对锂离子电池的SOC估计精度较高。进而证明深度强化学习卡尔曼滤波可以提升锂离子电池的SOC估计精度。

Claims (5)

1.一种基于深度强化学习卡尔曼滤波锂离子电池SOC的估计方法，包括以下步骤：

步骤1、通过分析锂离子电池二阶RC等效电路模型，以及采用安时积分法，建立锂电池的状态空间模型，对电池模型进行参数辨识，利用传统的卡尔曼滤波算法构建锂离子电池的离散***数学模型。

步骤2、根据上述步骤1的数学模型，结合人工智能思想，进一步设计一种深度强化学习卡尔曼滤波锂离子电池SOC估计方法。

步骤3、仿真及实验分析，通过贝叶斯规则确保了最佳协方差。得到仿真结果后，可以表明该发明能够较好的提高SOC的精度。

2.根据权利要求1所述锂离子电池二阶RC数学模型为：

其中，r_o为锂离子电池内阻，r₁、r₂、C₁、C₂为锂离子电池的极化内阻和极化电容，i_t为锂离子电池电流，u_o为锂离子电池内阻端电压，u_OCV为锂离子电池开路电压，u₁、u₂分别为锂离子电池的极化内阻r₁、r₂的电压，u_t为锂离子电池开路端电压。

而且，采用安时积分法有锂离子电池的SOC：

其中，λ为库伦效率系数，Q_c为电池标定容量，t₀和t为起始时间和终止时间，It为电池在t时刻的电流，

和S_t为起始和终止时电池的SOC。

3.根据权利要求1所述锂离子电池的状态空间模型：

其中，τ₁＝r₁C₁、τ₂＝r₂C₂，u_k(u_k＝i_t，k)为控制变量，y_k(y_k＝u_t，k)为观测变量，w_k(w_k＝[w_1，k w_2，k w_3，k]^T)为***噪声干扰，协方差为Q，v_k为观测噪声干扰，协方差为R。

4.根据权利要求1所述的锂离子电池的离散***数学模型：

其中，噪声干扰w_k、v_k分别设置为w_k∈(0，Q)，v_k∈(0，R)。

5.根据权利要求1所述的深度强化学习卡尔曼滤波锂离子电池SOC估计方法，是将卡尔曼滤波算法与深度强化学习相结合，对锂离子电池SOC进行估计，有动作状态值函数：

其中，s_t∈χ，u_t∈η，r(s_t，u_t)，t∈[1，T]，π(u_t|s_t)∈ρ^π(s_t)，

γ∈(0，1)为折扣因子。当r(s_t，u_t)+γmax Q[s_t+1，u_t+1]-Q[s_t，u_t]→0时，

成立。可通过min L(θ^Q)＝min{r(s_t，u_t)+γmax Q[s_t+1，u_t+1]-Q[s_t，u_t]}优化获得参数更替。

定义最佳Q函数为：

利用贝叶斯规则，方程可以改写为：

其中，f为过渡函数，即s_k+1＝f(s_k，u_k，a_k)。由此可知，设置s_k，u_k为决策量，则可获得最佳协方差。

Images