CN109102126B - 一种基于深度迁移学习的理论线损率预测模型 - Google Patents

Abstract

本发明公开了一种基于深度迁移学习的理论线损率预测模型，涉及人工智能算法在电力***应用的技术领域，本发明包括以下步骤:首先将训练好的深度线损率学习模型作为源模型，把训练好的底层的DBN深度信念网络直接迁移到待预测的模型中(冻结)。然后，为避免深度学习模型训练时陷入局部最优，引入迁移学习的概念，结合预测的数据，通过MMD方法度量源、目标数据的分布差异并筛选源训练数据，用筛选的训练数据微调已训练好的DNN深度神经网络，最终得到基于TDBN‑DNN的深度迁移学习模型。最后用电网运行数据作为模型输入来进行线损率预测；解决了在电网坚强、运行高效、节能环保的要求和智能电网的构建问题。

Description

一种基于深度迁移学习的理论线损率预测模型

技术领域

本发明涉及人工智能算法在电力***应用的技术领域，具体涉及一种基于深度迁移学习的理论线损率预测的方法。

背景技术

在2017年12月6日中国电科院召开的主题为“人工智能在电力领域的应用研究方向和关键”的二零八科学会议中，多为专家就人工智能技术进展及在电力***中的应用实践和展望做专题报告，并初步达成共识，重点研究深度学习，强化学习，迁移学习，小样本学习等理论与技术应用。目前，由于电网坚强、运行高效、节能环保的要求和智能电网的构建，电网运行中产生大量数据，因此寻找一种新的快速计算方法是线损研究领域亟待解决的问题。难点是如何提高多维数据处理的速度与精度问题，以保证理论线损率计算的时效性与准确性。深度学习理论作为模式识别和机器学习领域最新的研究成果，以强大的建模和表征能力在图像和语音处理等领域的大数据处理方面取得了***的成果。

然而，传统机器学习方法通常存在两个前提假设：(1)训练数据集和测试数据集中样本必须遵循相同的概率分布(2)需要有充足的训练样本(数以万计)。这两个前提假设在实际应用中往往是不成立的。迁移学习出现成功解决了传统的机器学习上述的局限性。

综上所述，有必要提出一种深度迁移学习的线损率算法。

发明内容

本发明的目的在于提供一种基于深度迁移学习的理论线损率预测的方法。利用解决了传统机器学习上述的两个问题的迁移学习；以解决在电网坚强、运行高效、节能环保的要求和智能电网的构建。

在电网运行中产生大量数据的背景下，为解决上述技术问题，本发明所采取的技术方案是：一种基于深度迁移学习的理论线损率预测的方法，其特征在于，所述方法包括如下步骤：

步骤1，建立由多个RBM模型堆叠而成的DBN深度置信网络；其中，每个RBM模型所得对数似然函中的参数θ需用对比散度算法求导；

步骤2，将DBN深度置信网络的输出层连接到DNN模型的输入层，组成DBN-DNN深度学习模型；其中，DNN模型由多层普通神经网络组成，且最后一层为输出层；

步骤3，冻结DBN-DNN深度学习模型深度网络中的下层DBN，然后用MMD法度量源数据与任务预测数据的分布距离，并迁移出源样本中ρ_i>0的数据，获得基于迁移出的数据微调DBN-DNN中的DNN结构的模型，即TDBN-DNN迁移深度学习模型：

步骤4，利用TDBN-DNN迁移深度学习模型来模拟电网运行时的负荷数据、电源数据和母线电压数据与线损率之间的非线性映射关系，并对线损率进行预测。

进一步的技术方案在于，所述步骤1的具体步骤为如下：

一、建立DBN深度置信网络

RBM模型是一个能量模型，对于一组已知的状态(v,h)，它的能量函数定义为E_θ(v,h)，其中θ为网络参数θ＝{a_i,b_j,w_ij}，它的隐含层与可视层的联合概率分布定义为p(v,h)，即:

式(1)中m为输入单元个数，n为输出单元的个数，a_i为每个输入单元实值偏置量，b_j为每个隐单元的实值偏置，v_i用来表示输入数据，h_i为隐单元输出数据，w_ij为实值权重矩阵；

式(2)中Z_θ为配分函数，

由受限波尔兹曼机各层之间的条件独立性可知，当给定输入数据时，输出层节点取值满足如下条件概率：

式(3)中

为sigmoid激活函数；输出层的数据确定后，输入节点的取值条件概率为：

给定一组训练样本G＝{g₁,g₂,…,g_s}，训练RBM模型，调整参数θ，以拟合给定的训练样本，通过最大化网络的似然函数L(θ)得到参数θ，即

为简化计算，将其写为对数形式为：

二、CD训练算法

用对比散度算法对对数似然函中的参数θ求导，如下：

各参数的更新准则为:

△w_ij＝ε_CD(<v_ih_j>_data-<v_ih_j>_recon) (10)

△a_i＝ε_CD(<v_i>_data-<v_i>_recon) (11)

△b_j＝ε_CD(<h_j>_data-<h_j>_recon) (12)

式(11)—(12)中，ε_CD为学习步长，<h_j>_recon表示一步重构后的模型定义的分布。

进一步的技术方案在于，步骤2的具体步骤过程如下：

将DNN的输入层连接到DBN的输出层，建立DBN-DNN深度学习模型，其中DNN的训练过程包括前向传播和反向传播，内容如下：

一、前向传播过程

f(p)＝p (14)

h_w,b(p)＝δ(wp+b) (15)

式(16)中：

代表第l层第j节点与第l-1层第i节点之间的联接权重参数；

代表第l层第j节点的截距项；

式(17)中

代表第k_l层第j节点的输出值；

二、反向传播过程

对于作为输出层的第k_l层的输出单元i,其残差计算公式如下：

对于l＝k_l-1,k_l-2,k_l-3,…,2的各层，第l层的第i节点的残差计算式如下：

对于一个固定训练样本集{(u¹,y¹),…,(u^c,y^c)},包含c个样本，利用小批量梯度下降法求解深层神经网络，其损失函数为：

式(20)中，权重衰减参数λ用于控制式(20)中两项的重要性；因此,小批量梯度下降法中每次迭代对于参数w和b的更新如下：

进一步的技术方案在于，，步骤3的具体过程如下：

一、度量源数据与任务数据分布差异：

假设分别存在一个满足d分布的源数

和一个满足q分布的目标数据

X^(s)，X^(t)的最大均值差异MMD可以表示为：

式(23)中H表示再生核希尔伯特空间RKHS,φ(·):X→H表示原始特征空间映射到RKHS的非线性特征映射核函数；由于RKHS通常是高维，甚至是无限空间，对应的核选择表示无穷维的高斯核：

式(24)其中σ函数的宽度参数；在此用MMD的平方形式，即MMD²；将其展开为：

在此引入核技巧:

<η(x),η(x')>_H＝<K(x,·),K(·,x')>_H＝K(x,x') (26)

式(25)简化为：

三、最大均值差异贡献系数迁移源数据

为了找出源数据和目标数据不相关或相关性不大的数据，在此，通过定义每个源数据的最大均值差异贡献系数CCMMD来筛选源数据；

用ρ_i表示第i个样本的最大均值差异贡献系数；假设缺少第i个源数据样本的MMD_γ≠i为：

式(28)中MMD_γ≠i表示缺少第i个源数据样本的最大均值距离，其中γ＝1,2,…,N_s则

式(28)中ρ_i表示第i个样本的最大均值差异贡献系数，若ρ_i>0，说明第i个样本是对MMD有贡献的，相反若ρ_i≤0，说明第i个样本是对MMD有“负”贡献的；通过计算每个源数据的ρ_i，迁移出ρ_i>0的样本数据，得到和目标数据分布更接近的源数据；

四、冻结DBN-DNN的DBN层，获得基于迁移出的数据微调DBN-DNN中的DNN结构的模型，即TDBN-DNN迁移深度学习模型。

进一步的技术方案在于，步骤4具体过程如下：

(1)数据处理

对输入数据负荷数据、电源出力数据、母线电压数据标准化处理，如式(32)：

式(32)中，α_i,j代表第j个数据特征的第i个样本数据，i＝1,2,…,MC,

j＝1,2,…,2r,α′_i,j代表第j个数据特征的第i个样本数据标准化后的数据，α_min,j代表第j个数据特征在样本数据中的最小值，α_max,j代表第j个数据特征在样本数据中的最大值；

(2)TDBN-DNN迁移深度学习模型模拟模型来模拟电网运行时的负荷数据、电源数据和母线电压数据与线损率之间的非线性映射关系

根据样本的规模及实时性要求，确定TDBN-DNN迁移深度学习模型的隐藏层数量及其节点数量，并初始化网络参数；然后用标准化后的负荷数据、电源出力数据、母线电压数据样本数据为输入数据，对应断面线损率为标签数据，利用贪心无监督学习算法逐层对整个DBN深度置信网络模型逐层训练；最后将DBN的输出的特征向量给DNN一个较好的初值，采用BP算法用对应断面线损率有监督地训练DNN来拟合标签数据；

(3)TDBN-DNN迁移深度学习模型预测线损率

对任务目标输入数据进行标准化处理后，将此数据输入TDBN-DNN线损率预测模型，得到预测线损率值。

本发明与现有技术相比有益效果如下：

1、考虑因素全面，样本输入数据与潮流计算所用数据一致，模型更能有效拟合输入与输出的非线性映射关系；

2、本文所提线损率预测模型不用经过线损计算中潮流计算的过程，而是直接用模型的非线性拟合能力直接计算结果，提高了运算速度。

3、提出深度学习线损率预测模型，比浅层网络更能有效地模拟电网运行数据与线损率的复杂非线性映射关系。

4、本文在对待预测任务前，通过迁移学习中的MMD法检验源训练数据与目标数据的分布距离，并用最大均值差异贡献系数(CCMMD)来筛选源数据中与目标数据分布更接近的训练数据来微调DNN。这样解决了深度学习中需要大量样本数据，源、任务数据分布不一致，容易过拟合的问题，并能提高线损率预测精度。

附图说明

图1是本发明方法的DBN基本组成单元RBM结构图；

图2是本发明方法的DBN-DNN模型结构；

图3是本发明方法的流程图。

具体实施方式具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

如图3所示，本发明所述方法的步骤如下：

步骤1，建立DBN深度置信网络模型，与其CD算法训练，具体建模过程如下：

一、深度置信网络

DBN是一种多隐层的生成性结构图模型，由若干层受限玻兹曼机(restrictedBoltzmann machine，RBM)栈式叠加而成，拥有强大的特征提取能力。RBM结构图如图1所示.

RBM模型是一个能量模型，对于一组已知的状态(v,h)，它的能量函数可定义为E_θ(v,h)，其中θ为网络参数θ＝{a_i,b_j,w_ij}，它的隐含层与可视层的联合概率分布可定义为p(v,h)，即:

式(1)中m为输入单元个数，n为输出单元的个数，a_i为每个输入单元实值偏置量，b_j为每个隐单元的实值偏置，v_i用来表示输入数据，h_i为隐单元输出数据，w_ij为实值权重矩阵；

式(2)中Z_θ为配分函数，

由受限波尔兹曼机各层之间的条件独立性可知，当给定输入数据时，输出层节点取值满足如下条件概率：

式(3)中

为sigmoid激活函数；相应的，当输出层的数据确定后，输入节点的取值条件概率为：

给定一组训练样本G＝{g₁,g₂,…,g_s}，训练RBM意味着调整参数θ，以拟合给定的训练样本，训练RBM的目标就是通过最大化网络的似然函数L(θ)得到参数θ，即

为简化计算，将其写为对数形式为：

二、CD训练算法

对比散度(contrastive divergence,CD).用对比散度算法对对数似然函中的参数θ求导，如下：

各参数的更新准则为:

△w_ij＝ε_CD(<v_ih_j>_data-<v_ih_j>_recon) (10)

△a_i＝ε_CD(<v_i>_data-<v_i>_recon) (11)

△b_j＝ε_CD(<h_j>_data-<h_j>_recon) (12)

式(11)—(12)中，ε_CD为学习步长，<h_j>_recon表示一步重构后的模型定义的分布。

步骤2，在DBN的基础上建立DBN-DNN深度学习模型，如图2所示，其中DNN的模型构建具体过程如下：

将DNN的输入层连接到DBN的输出层，建立DBN-DNN深度学习模型，其中DNN的训练过程包括前向传播和反向传播，内容如下：

一、前向传播过程

f(p)＝p (14)

h_w,b(p)＝δ(wp+b) (15)

式(16)中：

代表第l层第j节点与第l-1层第i节点之间的联接权重参数；

代表第l层第j节点的截距项；

式(17)中

代表第k_l层第j节点的输出值；

二、反向传播过程

对于第k_l层(输出层)的输出单元i,其残差计算公式如下：

对于l＝k_l-1,k_l-2,k_l-3,…,2的各层，第l层的第i节点的残差计算式如下：

对于一个固定训练样本集{(u¹,y¹),…,(u^c,y^c)},包含c个样本，利用小批量梯度下降法求解深层神经网络，其损失函数为：

其(20)中，权重衰减参数λ用于控制式(20)中两项的重要性；因此,小批量梯度下降法中每次迭代对于参数w和b的更新如下：

进一步的，在步骤3中，所述迁移深度学习模型，其具体过程如下：

用源数据训练DBN-DNN深度学习模型,训练过程如步骤一、二所示。

一、度量源数据与任务数据分布差异：

假设分别存在一个满足d分布的源数

和一个满足q分布的目标数据

X^(s)，X^(t)的最大均值差异(maximum meandiscrepancy，MMD)可以表示为：

式(23)中H表示再生核希尔伯特空间(reproducing kernel Hilbert space,RKHS),φ(·):X→H表示原始特征空间映射到RKHS的非线性特征映射核函数；由于RKHS通常是高维，甚至是无限空间，对应的核一般选择表示无穷维的高斯核：

式(24)其中σ函数的宽度参数；为了计算方便，我们通常用MMD的平方形式，即MMD²；将其展开为：

在此引入核技巧(kernel trick):

<η(x),η(x')>_H＝<K(x,·),K(·,x')>_H＝K(x,x') (26)

式(25)简化为：

二、最大均值差异贡献系数迁移源数据

为了找出源数据和目标数据不相关或相关性不大的数据，在此，本文通过定义每个源数据的最大均值差异贡献系数(contributiong coefficient of maximum meandiscrepancy,CCMMD)来筛选源数据；

用ρ_i表示第i个样本的最大均值差异贡献系数；假设缺少第i个源数据样本的MMD_γ≠i为：

式(28中)MMD_γ≠i表示缺少第i个源数据样本的最大均值距离，其中γ＝1,2,…,N_s则

式(29)中ρ_i表示第i个样本的最大均值差异贡献系数，若ρ_i>0，说明第i个样本是对MMD有贡献的，相反若ρ_i≤0，说明第i个样本是对MMD有“负”贡献的；通过计算每个源数据的ρ_i，迁移出ρ_i>0的样本数据，得到和目标数据分布更接近的源数据。

四、冻结DBN-DNN的DBN层，由迁移出的源数据用于微调高层的DNN神经网络，得到TDBN-DNN深度迁移学习模型。

进一步的，在步骤4中，所述基于TDBN-DNN的理论线损预测模型的建立，其具体过程如下：

一、理论线损问题描述

利用深度学***衡节点，深度学习模型的输入、输出矩阵如式(30)、(31)；

T＝[△ξ₁,△ξ₂,…,△ξ_MC] (31)

式(30)中，其中MC为断面数量，r为电网中节点数量，e为负荷PQ节点数量；

式(31)中，△ξ_i为第i个样本的线损率标签数据；

二、TDBN-DNN模型构建与求解

具体步骤如下：

(1)数据处理。因负荷数据、电源出力数据、母线电压数据取值范围和单位不同，为了不受量纲的影响，防止特征之间的绝对值不同而出现数据“大吃小”的情况，对输入数据标准化处理，如式(32)：

式(32)中，α_i,j代表第j个数据特征的第i个样本数据，i＝1,2,…,M,

j＝1,2,…,2n,α′_i,j代表第j个数据特征的第i个样本数据标准化后的数据，α_min,j代表第j个数据特征在样本数据中的最小值，α_max,j代表第j个数据特征在样本数据中的最大值。

(2)预训练深度学习模型。首先根据样本的规模及实时性要求，确定深度学习网络的隐藏层数量及其节点数量，并初始化网络参数。然后用标准化后的电网电源、负荷、电压等样本数据为输入数据，对应断面线损率为标签数据，利用贪心无监督学习算法逐层对整个DBN深度置信网络模型逐层训练。最后将DBN的输出的特征向量给DNN一个较好的初值，采用BP算法用对应断面线损率有监督地训练DNN来拟合标签数据。

(3)迁移深度学习模型。首先，将通常认为深度学习模型中的底层通用网络冻结。然后，采用最大均值差异法(MMD)度量源训练数据与目标数据的分布差异，并计算源数据中每个样本的最大均值差异贡献系数(CCMMD)，并选出ρ_i>0的样本数据。最后用选出的源样本数据微调预训练好的DNN，得到深度迁移学习模型TDBN-DNN。

(4)线损率预测。对任务目标输入数据进行标准化处理后，将此数据输入TDBN-DNN线损率预测模型，得到预测线损率值。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (4)

1.一种基于深度迁移学习的理论线损率预测的方法，其特征在于，所述方法包括如下步骤：

步骤1，建立由多个RBM模型堆叠而成的DBN深度置信网络；其中，每个RBM模型所得对数似然函中的参数θ需用对比散度算法求导；

步骤2，将DBN深度置信网络的输出层连接到DNN模型的输入层，组成DBN-DNN深度学习模型；其中，DNN模型由多层普通神经网络组成，且最后一层为输出层；

步骤3，冻结DBN-DNN深度学习模型深度网络中的下层DBN，然后用MMD法度量源数据与任务预测数据的分布距离，并迁移出源样本中ρ_i>0的数据，获得基于迁移出的数据微调DBN-DNN中的DNN结构的模型，即TDBN-DNN迁移深度学习模型：

步骤4，利用TDBN-DNN迁移深度学习模型来模拟电网运行时的负荷数据、电源数据和母线电压数据与线损率之间的非线性映射关系，并对线损率进行预测；

步骤4的具体步骤如下：

(1)数据处理

对输入数据负荷数据、电源出力数据、母线电压数据标准化处理，如式(32)：

式(32)中，α_i,j代表第j个数据特征的第i个样本数据，i＝1,2,L,MC,j＝1,2,L,2r,α'_i,j代表第j个数据特征的第i个样本数据标准化后的数据，α_min,j代表第j个数据特征在样本数据中的最小值，α_max,j代表第j个数据特征在样本数据中的最大值；

(2)TDBN-DNN迁移深度学习模型模拟模型来模拟电网运行时的负荷数据、电源数据和母线电压数据与线损率之间的非线性映射关系

根据样本的规模及实时性要求，确定TDBN-DNN迁移深度学习模型的隐藏层数量及其节点数量，并初始化网络参数；然后用标准化后的负荷数据、电源出力数据、母线电压数据样本数据为输入数据，对应断面线损率为标签数据，利用贪心无监督学习算法逐层对整个DBN深度置信网络模型逐层训练；最后将DBN的输出的特征向量给DNN一个较好的初值，采用BP算法用对应断面线损率有监督地训练DNN来拟合标签数据；

(3)TDBN-DNN迁移深度学习模型预测线损率

对任务目标输入数据进行标准化处理后，将此数据输入TDBN-DNN线损率预测模型，得到预测线损率值。

2.根据权利要求1所述的一种基于深度迁移学习的理论线损率预测的方法，其特征在于，所述步骤1的具体步骤如下：

一、建立DBN深度置信网络

RBM模型是一个能量模型，对于一组已知的状态(v,h)，它的能量函数定义为E_θ(v,h)，其中θ为网络参数θ＝{a_i,b_j,w_ij}，它的隐含层与可视层的联合概率分布定义为p(v,h)，即:

式(1)中m为输入单元个数，n为输出单元的个数，a_i为每个输入单元实值偏置量，b_j为每个隐单元的实值偏置，v_i用来表示输入数据，h_i为隐单元输出数据，w_ij为实值权重矩阵；

式(2)中Z_θ为配分函数，

由受限波尔兹曼机各层之间的条件独立性可知，当给定输入数据时，输出层节点取值满足如下条件概率：

式(3)中

为sigmoid激活函数，输出层的数据确定后，输入节点的取值条件概率为：

给定一组训练样本G＝{g₁,g₂,L,g_s}，训练RBM模型，调整参数θ，以拟合给定的训练样本，通过最大化网络的似然函数L(θ)得到参数θ，即

为简化计算，将其写为对数形式为：

二、CD训练算法

用对比散度算法对对数似然函数中的参数θ求导，如下：

各参数的更新准则为:

Δw_ij＝ε_CD(＜v_ih_j＞_data-＜v_ih_j＞_recon) (10)

Δa_i＝ε_CD(＜v_i＞_data-＜v_i＞_recon) (11)

Δb_j＝ε_CD(＜h_j＞_data-＜h_j＞_recon) (12)

式(11)—(12)中，ε_CD为学习步长，＜h_j＞_recon表示一步重构后的模型定义的分布。

3.根据权利要求1所述的一种基于深度迁移学习的理论线损率预测的方法，其特征在于，步骤2的具体步骤过程如下：

一、前向传播过程

f(p)＝p (14)

h_w,b(p)＝δ(wp+b) (15)

式(16)中：

代表第l层第j节点与第l-1层第i节点之间的联接权重参数；

代表第l层第j节点的截距项；

式(17)中

代表第k_l层第j节点的输出值；

二、反向传播过程

对于作为输出层的第k_l层的输出单元i,其残差计算公式如下：

对于l＝k_l-1,k_l-2,k_l-3,L,2的各层，第l层的第i节点的残差计算式如下：

对于一个固定训练样本集{(u¹,y¹),L,(u^c,y^c)},包含c个样本，利用小批量梯度下降法求解深层神经网络，其损失函数为：

式(20)中，权重衰减参数λ用于控制式(20)中两项的重要性；因此,小批量梯度下降法中每次迭代对于参数w和b的更新如下：

。

4.根据权利要求1所述的一种基于深度迁移学习的理论线损率预测的方法，其特征在于，步骤3中的具体过程如下：

一、度量源数据与任务数据分布差异：

假设分别存在一个满足d分布的源数

和一个满足q分布的目标数据

X^(s)，X^(t)的最大均值差异MMD可以表示为：

式(23)中H表示再生核希尔伯特空间RKHS,φ(·):X→H表示原始特征空间映射到RKHS的非线性特征映射核函数；由于RKHS通常是高维，甚至是无限空间，对应的核选择表示无穷维的高斯核：

式(24)其中σ函数的宽度参数；在此用MMD的平方形式，即MMD²；将其展开为：

在此引入核技巧:

＜η(x),η(x')＞_H＝＜K(x,g),K(g,x')＞_H＝K(x,x') (26)

式(25)简化为：

三、最大均值差异贡献系数迁移源数据

为了找出源数据和目标数据不相关或相关性不大的数据，在此，通过定义每个源数据的最大均值差异贡献系数CCMMD来筛选源数据；

用ρ_i表示第i个样本的最大均值差异贡献系数；假设缺少第i个源数据样本的MMD_γ≠i为：

式(28)中MMD_γ≠i表示缺少第i个源数据样本的最大均值距离，其中γ＝1,2,L,N_s则

式(28)中ρ_i表示第i个样本的最大均值差异贡献系数，若ρ_i>0，说明第i个样本是对MMD有贡献的，相反若ρ_i≤0，说明第i个样本是对MMD有“负”贡献的；通过计算每个源数据的ρ_i，迁移出ρ_i>0的样本数据，得到和目标数据分布更接近的源数据；

四、冻结DBN-DNN的DBN层，获得基于迁移出的数据微调DBN-DNN中的DNN结构的模型，即TDBN-DNN迁移深度学习模型。

Images