CN114997935A - 一种基于内点策略优化的电动汽车充放电策略优化方法 - Google Patents

Abstract

本发明公开一种基于内点策略优化的电动汽车充放电策略优化方法，涉及电动汽车充放电调度领域，该方法包括：首先根据实际物理机理构建电动汽车充放电模型，同时基于电动汽车充放电部署优化问题建模为约束序贯决策问题。然后利用长短期记忆神经网络提取时变电价的未来走势，辅助后续深度强化学习进行策略优化。最后，将提取到的电价信息和电动汽车内部状态特征输入到基于深度神经网络的策略函数，赋能部署智能学习充放电动作，并通过对数障碍函数将电量约束扩充到内点策略优化的优化目标中进行策略优化。本发明部署优化方法在满足电动汽车用电需求的前提下最小化用户充电成本，同时提升策略对不确定性的适应性。

Description

一种基于内点策略优化的电动汽车充放电策略优化方法

技术领域

本发明涉及电动汽车充放电调度领域，具体是一种基于内点策略优化的实时电动汽车充放电策略部署优化方法。

背景技术

作为传统化石燃料汽车的环保替代品，电动汽车在过去几年中已被广泛采用。然而EV的快速发展，必然导致大规模的电动汽车集群集成到电网时，给电网的经济、安全运行造成巨大的挑战。为了应对这一问题，可以通过需求响应激励电动汽车将充电时间转移到非高峰时段，并根据动态电价优化电动汽车充电成本，甚至通过向电网放电来获得收益。

EV优化调度问题的本质是在多不确定性因素的随机场景下，对电动汽车充放电状态的时序安排问题。深度强化学习适用于在复杂不确定性的环境中寻找最优策略，是解决序列决策问题的有效方法。然而，当以满足用户出行用电需求为约束时，传统深度强化学习方法需要正确地设计一个惩罚项，并通过选择惩罚系数，以确保电动汽车在离开时能够完全充电。而选择合适的惩罚系数需要花费大量的时间精力，是非常繁琐的过程，并且一旦设计的惩罚系数不合适，将导致算法的性能急剧下降。

发明内容

本发明的目的在于提供一种基于内点策略优化的电动汽车充放电策略优化方法，不依赖对未来信息准确预测，仅靠实时感知环境状态进行自趋优式策略学习；所采用的长短期记忆神经网络有效提取时变电价未来趋势的时序特征；此外，内点策略优化算法以满足用户出行用电需求为约束前提，最小化用户充电成本的同时提升策略对不确定性的适应性。

为实现上述要求，本发明采用如下技术方案：

一种基于内点策略优化的电动汽车充放电策略优化方法，包含以下步骤：

Step1：对电动汽车在动态电价下的慢充过程建模，描述EV蓄电池状态空间，，考虑车主用电需求约束，将电动汽车充放电策略部署问题建模为约束马尔科夫决策问题；

Step2：利用长短期记忆神经网络提取时变电价的未来走势，辅助后续深度强化学习进行策略优化，实现对EV充放电策略有效部署；

Step3：采用基于内点策略优化算法，利用对数障碍函数转化电量约束条件，在深度神经网络中优化策略部署，最小化用户充电成本。

Step4：根据训练所得策略，将外部环境与部署智能体交互，获得实时电动汽车充放电决策。

进一步的，所述步骤Step1中电动汽车在动态电价下慢充的模型如下：

式中：t₀和t₁分别表示电动汽车到达、离开时间，且到达和离开均在时刻初发生；E₀是电动汽车充放电开始时刻的剩余电量，E_t与E_t+1为t和t+1时刻的SOC值；η_ch和η_dis为充电与放电时EV电池能量转换效率；

和

分别为充、放电最大功率；Δt为每个充电动作持续时长；a_t为电动汽车充放电功率，当a_t＞0时，表示电动汽车充电，反之则表示放电。

电动汽车充放电部署智能体与环境：电动汽车充放电部署智能体与环境交互学习经验并对充放电部署策略进行优化；智能体观测的环境分为两个部分，一部分为电动汽车实时SOC值，另一部分则为该时间节点的时变电价。

状态集S：t时刻环境状态可定义为：

s_t＝(E_t,P_t-23,...,P_t)

式中包含三种类型的信息：E_t为t时刻电动汽车SOC值；(P_t-23,...,P_t)表示过去24小时内的电价；

动作集A：在t时刻的动作a_t表示单位时间内电动汽车充放电功率，a_t×Δt为Δt时段内电动汽车电能转换量。

约束马尔科夫决策过程问题核心是在满足约束函数c_t前提下，最大化奖励函数r_t给出最优策略，因此电动汽车充电部署的优化目标是保证满足车主用电需求约束下的充电费用最少：

(1)充电费用即奖励值：

r_t＝R(s_t,a_t,s_t+1)＝-a_t×P_t

式中：在充电过程中，奖励表示t时刻电价与单位时间充电功率乘积，即收费成本的负值；在放电过程中，奖励代表了向电网出售电力的收入。

(2)电量约束即约束值：

式中，|E_t-E_target|为充电完成时刻，电池电量E_t与充电目标E_target偏差值；E_t-E_max和E_min-E_t表示结合实际物理机理，保证在EV电池容量范围内进行充放电。

电动汽车充放电部署智能体学习的目标在于求解满足电量约束条件下的T时段总期望折扣奖励J_C(π)最大，目标函数表示为：

Π_C＝{π:J_C(π)≤d}

式中：γ为折扣因子，用于平衡当前约束值与未来约束值；d表示一个极小的约束方差。

进一步的，所述步骤Step2中，利用长短期记忆神经网络提取时变电价未来走势的特征信息，具体包括以下步骤：

长短期记忆神经网络与预测模块计算流程为：LSTM网络展开成一个23层的神经网络结构。其中，第一层的输入X_t-22表示为X_t-22＝P_t-22-P_t-23，其中P_t-22和P_t-23分别代表t-22时刻和t-21时刻的时变电价。y_t-22表示第一层的输出，c_t-22表示其细胞状态。包含过去电价信息y_t-22和c_t-22被传递到下一层。这个过程一直重复到最后一层。

LSTM通过“门”的机制保护和控制细胞状态，来实现记忆信息的选择性传递，包括遗忘门、输入门、输出门：

式中：O_forget(t)、O_input(t)、O_out(t)分别表示t时刻遗忘门、输入门、输出门的输出矩阵；W_yf、W_xf、W_yi、W_xi、W_yo、W_xo分别表示遗忘门、输入门、输出门与t-1时刻输出y_t-1、t时刻输入x_t的连接权值矩阵；b_f、bi、b_o分别表示对应支路上门的偏置向量；σ表示激活函数；

由此，时序电价未来趋势提取的计算公式如下：

式中：O_z(t)为t时刻输入到细胞状态模块的预处理信息；W_yz、W_xz分别表示t-1时刻输出y_t-1、t时刻输入x_t与O_z(t)的连接权值矩阵；b_z为偏置向量；·表示矩阵的哈达玛乘积；tanh为激活函数。

进一步的，所述步骤Step3中，利用对数障碍函数扩充电量约束，具体包括以下步骤：

对于每个约束满足的问题，设定一个指标函数

满足：

式中：当在策略π_θ下约束条件

得到满足时，将该问题转化为一个只考虑奖励的无约束策略优化问题来解决；然而，当任意约束违反时，惩罚是-∞，需要优先调整策略以满足约束。对数障碍函数是指标函数

的可微近似：

式中k是超参数，k值越大，对指标函数

拟合效果越好。这样通过指标函数

扩充目标，将原CMDP问题简化为无约束优化问题。

内点策略优化继承近端策略优化算法的框架，采用执行器-评判器架构，训练时从经验回放池里随机采样小批量数据用于策略更新；评判器网络则使用时序差分误差法更新网络参数θ^v，具体计算公式如下：

式中：

表示t时刻网络状态值函数；

近端策略优化进行一阶近似并采用蒙特卡洛近似期望后，通过裁剪函数获得目标函数L^CLIP：

式中：

表示新旧策略比率；

表示优势函数；clip(·)函数将ξ_t限制在关于超参数ε的区间[1-ε,1+ε]之内，简化计算过程。

内点策略优化通过对数障碍函数将约束条件扩充到目标函数中，不仅实现长时间耦合约束的满足，还实现了一种与随机梯度下降兼容的置信域修正方法，最终参数θ下的目标函数具体为：

进一步的，所述步骤Step4，具体内容如下：

智能体在线部署后的决策仅依靠已完成训练的执行器网络，载入执行器网络训练所得最优参数θ^*下的神经网络模型，根据状态信息与智能体交互获得实时充放电决策。再不断重复交互过程，直至电动汽车离开充电桩。

有益效果:

本发明作为一种基于内点策略优化的电动汽车充放电策略优化方法，不依赖对未来信息准确预测，仅靠实时感知环境状态进行自趋优式策略学习；所采用的长短期记忆神经网络有效提取时变电价未来趋势的时序特征；此外，内点策略优化算法以满足用户出行用电需求为约束前提，最小化用户充电成本的同时提升策略对不确定性的适应性。

附图说明

图1为本发明基于长短期记忆神经网络的时序特征提取以及策略网络图。

图2为本发明内点策略优化算法训练流程图。

图3为本发明马尔可夫决策过程图。

图4为本发明内点策略优化算法下的奖励值示意图。

图5为本发明内点策略优化算法下的约束值示意图。

图6为本发明实时电动汽车充放电时间表。

具体实施实例

下面结合附图1对本发明中的具体实施方式作进一步详细说明：

本发明提出一种基于内点策略优化的电动汽车充放电策略优化方法，所述方法包括如下步骤：

Step1：对电动汽车在动态电价下的慢充过程建模，描述EV蓄电池状态空间，考虑车主用电需求约束，将电动汽车充放电策略部署问题建模为约束马尔科夫决策问题，具体包括：

式中：t₀和t₁分别表示电动汽车到达、离开时间，且到达和离开均在时刻初发生；E₀是电动汽车充放电开始时刻的剩余电量，E_t与E_t+1为t和t+1时刻的SOC值；η_ch和η_dis为充电与放电时EV电池能量转换效率；

和

分别为充、放电最大功率；Δt为每个充电动作持续时长；a_t为电动汽车充放电功率，当a_t＞0时，表示电动汽车充电，反之则表示放电。

电动汽车充放电部署智能体与环境：电动汽车充放电部署智能体与环境交互学习经验并对充放电部署策略进行优化；智能体观测的环境可分为两个部分，一部分为电动汽车实时SOC值，另一部分则为该时间节点的时变电价。

状态集S：t时刻环境状态可定义为：

s_t＝(E_t,P_t-23,...,P_t)

式中包含三种类型的信息：E_t为t时刻电动汽车SOC值；(P_t-23,...,P_t)表示过去24小时内的电价；

动作集A：在t时刻的动作a_t表示单位时间内电动汽车充放电功率，a_t×Δt为Δt时段内电动汽车电能转换量。

约束马尔科夫决策过程问题核心是在满足约束函数c_t前提下，最大化奖励函数r_t给出最优策略，因此电动汽车充电部署的优化目标是保证满足车主用电需求约束下的充电费用最少：

(1)充电费用即奖励值：

r_t＝R(s_t,a_t,s_t+1)＝-a_t×P_t

式中：在充电过程中，奖励表示t时刻电价与单位时间充电功率乘积，即收费成本的负值；在放电过程中，奖励代表了向电网出售电力的收入。

(2)电量约束即约束值：

式中，|E_t-E_target|为充电完成时刻，电池电量E_t与充电目标E_target偏差值；E_t-E_max和E_min-E_t表示结合实际物理机理，保证在EV电池容量范围内进行充放电。

电动汽车充放电部署智能体学习的目标在于求解满足电量约束条件下的T时段总期望折扣奖励J_C(π)最大，目标函数表示为：

Π_C＝{π:J_C(π)≤d}

Step2：利用长短期记忆神经网络提取时变电价的未来走势，辅助后续深度强化学习进行策略优化，实现对EV充放电策略有效部署，具体包括：

长短期记忆神经网络与预测模块计算流程为：LSTM网络展开成一个23层的神经网络结构。其中，第一层的输入X_t-22表示为X_t-22＝P_t-22-P_t-23，其中P_t-22和P_t-23分别代表t-22时刻和t-21时刻的时变电价。y_t-22表示第一层的输出，c_t-22表示其细胞状态。包含过去电价信息y_t-22和c_t-22被传递到下一层。这个过程一直重复到最后一层。

LSTM通过“门”的机制保护和控制细胞状态，来实现记忆信息的选择性传递，包括遗忘门、输入门、输出门：

式中：O_forget(t)、O_input(t)、O_out(t)分别表示遗忘门、输入门、输出门的输出矩阵；W_yf、W_xf、W_yi、W_xi、W_yo、W_xo分别表示遗忘门、输入门、输出门与t-1时刻输出y_t-1、t时刻输入x_t的连接权值矩阵；b_f、bi、b_o分别表示对应支路上门的偏置向量；σ表示激活函数；

由此，时序电价未来趋势提取的计算公式如下：

式中：O_z(t)为t时刻输入到细胞状态模块的预处理信息；W_yz、W_xz分别表示t-1时刻输出y_t-1、t时刻输入x_t与O_z(t)的连接权值矩阵；b_z为偏置向量；·表示矩阵的哈达玛乘积；tanh为激活函数。

Step3：采用基于内点策略优化算法，利用对数障碍函数转化电量约束条件，在深度神经网络中优化策略部署，最小化用户充电成本，具体包括：

对于每个约束满足的问题，设定一个指标函数

满足：

式中：当在策略π_θ下约束条件

得到满足时，将该问题转化为一个只考虑奖励的无约束策略优化问题来解决；然而，当任意约束违反时，惩罚是-∞，需要优先调整策略以满足约束。对数障碍函数是指标函数

的可微近似：

式中k是超参数，k值越大，对指标函数

拟合效果越好。这样通过指标函数

扩充目标，将原CMDP问题简化为无约束优化问题。

内点策略优化继承近端策略优化算法的框架，采用执行器-评判器架构，训练时从经验回放池里随机采样小批量数据用于策略更新；评判器网络则使用时序差分误差法更新网络参数θ^v，具体计算公式如下：

式中：

表示t时刻网络状态值函数；

近端策略优化进行一阶近似并采用蒙特卡洛近似期望后，通过裁剪函数获得目标函数L^CLIP：

式中：

表示新旧策略比率；

表示优势函数；clip(·)函数将ξ_t限制在关于超参数ε的区间[1-ε,1+ε]之内，简化计算过程。

内点策略优化通过对数障碍函数将约束条件扩充到目标函数中，不仅实现长时间耦合约束的满足，还实现了一种与随机梯度下降兼容的置信域修正方法，最终参数θ下的目标函数具体为：

Step4：根据训练所得策略，将外部环境与部署智能体交互，获得实时电动汽车充放电决策，具体包括：

智能体在线部署后的决策仅依靠已完成训练的执行器网络，载入执行器网络训练所得最优参数θ^*下的神经网络模型，根据状态信息与智能体交互获得实时充放电决策。再不断重复交互过程，直至电动汽车离开充电桩。

Claims (5)

1.一种基于内点策略优化的电动汽车充放电策略优化方法，其特征在于，包括以下步骤：

Step1：对电动汽车在动态电价下的慢充过程建模，描述EV蓄电池状态空间，考虑车主用电需求约束，将电动汽车充放电策略部署问题建模为约束马尔科夫决策问题；

Step2：利用长短期记忆神经网络提取时变电价的未来走势，辅助后续深度强化学习进行策略优化，实现对EV充放电策略有效部署；

Step3：采用基于内点策略优化算法，利用对数障碍函数转化电量约束条件，在深度神经网络中优化策略部署，最小化用户充电成本；

Step4：根据训练所得策略，将外部环境与部署智能体交互，获得实时电动汽车充放电决策。

2.根据权利要求1所述的一种基于内点策略优化的电动汽车充放电策略优化方法，其特征在于，所述步骤Step1中电动汽车在动态电价下慢充的模型如下：

式中：t₀和t₁分别表示电动汽车到达、离开时间，且到达和离开均在时刻初发生；E₀是电动汽车充放电开始时刻的剩余电量，E_t与E_t+1为t和t+1时刻的SOC值；η_ch和η_dis为充电与放电时EV电池能量转换效率；

和

分别为充、放电最大功率；Δt为每个充电动作持续时长；a_t为电动汽车充放电功率，当a_t＞0时，表示电动汽车充电，反之则表示放电；

电动汽车充放电部署智能体与环境：电动汽车充放电部署智能体与环境交互学习经验并对充放电部署策略进行优化；智能体观测的环境分为两个部分，一部分为电动汽车实时SOC值，另一部分则为该时间节点的时变电价；

状态集S：t时刻环境状态可定义为：

s_t＝(E_t,P_t-23,K,P_t)

式中包含三种类型的信息：E_t为t时刻电动汽车SOC值；(P_t-23,K,P_t)表示过去24小时内的电价；

动作集A：在t时刻的动作a_t表示单位时间内电动汽车充放电功率，a_t×Δt为Δt时段内电动汽车电能转换量；

约束马尔科夫决策过程问题核心是在满足约束函数c_t前提下，最大化奖励函数r_t给出最优策略，因此电动汽车充电部署的优化目标是保证满足车主用电需求约束下的充电费用最少：

(1)充电费用即奖励值：

r_t＝R(s_t,a_t,s_t+1)＝-a_t×P_t

式中：在充电过程中，奖励表示单位时间充电功率与t时刻电价乘积，即收费成本的负值；在放电过程中，奖励代表了向电网出售电力的收入；

(2)电量约束即约束值：

式中，|E_t-E_target|为充电完成时刻，电池电量E_t与充电目标E_target偏差值；E_t-E_max和E_min-E_t表示结合实际物理机理，保证在EV电池容量范围内进行充放电；

电动汽车充放电部署智能体学习的目标在于求解满足电量约束条件下的T时段总期望折扣奖励J_C(π)最大，目标函数表示为：

Π_C＝{π:J_C(π)≤d}

式中：γ为折扣因子，用于平衡当前约束值与未来约束值；d表示一个极小的约束方差。

3.根据权利要求1所述的一种基于内点策略优化的电动汽车充放电策略优化方法，其特征在于，所述步骤Step2中，利用长短期记忆神经网络提取时变电价未来走势的特征信息，具体包括以下步骤：

长短期记忆神经网络与预测模块计算流程为：LSTM网络展开成一个23层的神经网络结构；其中，第一层的输入X_t-22表示为X_t-22＝P_t-22-P_t-23，其中P_t-22和P_t-23分别代表t-22时刻和t-21时刻的时变电价；y_t-22表示第一层的输出，c_t-22表示其细胞状态；包含过去电价信息y_t-22和c_t-22被传递到下一层；这个过程一直重复到最后一层；

LSTM通过“门”的机制保护和控制细胞状态，来实现记忆信息的选择性传递，包括遗忘门、输入门、输出门：

式中：O_forget(t)、O_input(t)、O_out(t)分别表示t时刻遗忘门、输入门、输出门的输出矩阵；W_yf、W_xf、W_yi、W_xi、W_yo、W_xo分别表示遗忘门、输入门、输出门与t-1时刻输出y_t-1、t时刻输入x_t的连接权值矩阵；b_f、bi、b_o分别表示对应支路上门的偏置向量；σ表示激活函数；

由此，时序电价未来趋势提取的计算公式如下：

式中：O_z(t)为t时刻输入到细胞状态模块的预处理信息；W_yz、W_xz分别表示t-1时刻输出y_t-1、t时刻输入x_t与O_z(t)的连接权值矩阵；b_z为偏置向量；·表示矩阵的哈达玛乘积；tanh为激活函数。

4.根据权利要求1所述的一种基于内点策略优化的电动汽车充放电策略优化方法，其特征在于，所述步骤Step3中，利用对数障碍函数扩充电量约束，具体包括以下步骤：

对于每个约束满足的问题，设定一个指标函数

满足：

式中：当在策略π_θ下约束条件

得到满足时，将该问题转化为一个只考虑奖励的无约束策略优化问题来解决；然而，当任意约束违反时，惩罚是-∞，需要优先调整策略以满足约束；对数障碍函数是指标函数

的可微近似：

式中k是超参数，k值越大，对指标函数

拟合效果越好；这样通过指标函数

扩充目标，将原CMDP问题简化为无约束优化问题；

内点策略优化继承近端策略优化算法的框架，采用执行器-评判器架构，训练时从经验回放池里随机采样小批量数据用于策略更新；评判器网络则使用时序差分误差法更新网络参数θ^v，具体计算公式如下：

式中：

表示t时刻网络状态值函数；

近端策略优化进行一阶近似并采用蒙特卡洛近似期望后，通过裁剪函数获得目标函数L^CLIP：

式中：

表示新旧策略比率；

表示优势函数；clip(·)函数将ξ_t限制在关于超参数ε的区间[1-ε,1+ε]之内，简化计算过程；

内点策略优化通过对数障碍函数将约束条件扩充到目标函数中，不仅实现长时间耦合约束的满足，还实现了一种与随机梯度下降兼容的置信域修正方法，最终参数θ下的目标函数具体为：

5.根据权利要求1所述的一种基于内点策略优化的电动汽车充放电策略优化方法，其特征在于，所述步骤Step4，具体内容如下：

智能体在线部署后的决策仅依靠已完成训练的执行器网络，载入执行器网络训练所得最优参数θ^*下的神经网络模型，根据状态信息与智能体交互获得实时充放电决策。再不断重复交互过程，直至电动汽车离开充电桩。

Images