CN110829434B - 一种提高深度神经网络潮流模型扩展性的方法 - Google Patents

一种提高深度神经网络潮流模型扩展性的方法 Download PDF

Info

Publication number
CN110829434B
CN110829434B CN201910938908.XA CN201910938908A CN110829434B CN 110829434 B CN110829434 B CN 110829434B CN 201910938908 A CN201910938908 A CN 201910938908A CN 110829434 B CN110829434 B CN 110829434B
Authority
CN
China
Prior art keywords
dnn
power flow
layer
flow model
power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910938908.XA
Other languages
English (en)
Other versions
CN110829434A (zh
Inventor
余娟
向明旭
杨知方
代伟
杨燕
余红欣
何燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Electric Power Research Institute of State Grid Chongqing Electric Power Co Ltd
State Grid Corp of China SGCC
Original Assignee
Chongqing University
Electric Power Research Institute of State Grid Chongqing Electric Power Co Ltd
State Grid Corp of China SGCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University, Electric Power Research Institute of State Grid Chongqing Electric Power Co Ltd, State Grid Corp of China SGCC filed Critical Chongqing University
Priority to CN201910938908.XA priority Critical patent/CN110829434B/zh
Publication of CN110829434A publication Critical patent/CN110829434A/zh
Application granted granted Critical
Publication of CN110829434B publication Critical patent/CN110829434B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/04—Circuit arrangements for ac mains or ac distribution networks for connecting networks of the same frequency but supplied from different sources
    • H02J3/06—Controlling transfer of power between connected networks; Controlling sharing of load between connected networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Power Engineering (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明公开了一种提高深度神经网络潮流模型扩展性的方法，主要步骤为：1)获取电力***基本数据；2)确定特征向量；3)建立原始DNN潮流模型；4)对原始DNN潮流模型进行训练，得到训练后的原始DNN潮流模型；5)对原始DNN潮流模型进行扩建，得到扩建DNN潮流模型；6)对扩建***概率潮流进行解算，得到概率潮流结果。本发明可广泛应用于电力***的概率潮流求解，特别适用于因***扩建导致原始***DNN无法适用的情况。

Description

一种提高深度神经网络潮流模型扩展性的方法
技术领域
本发明涉及电力***及其自动化领域，具体是一种提高深度神经网络潮流模型扩展性的方法。
背景技术
近年来，随着可再生能源的大力发展，电力***面临着越来越多的不确定性。这些不确定性对电力***的运行，规划和控制都有重大影响。概率潮流能够全面考虑各种不确定性对***潮流的影响，从而为电力***分析提供有价值的信息。
然而，各种不确定性因素与对应潮流结果之间的关系十分复杂，导致概率潮流的求解十分困难。传统的概率潮流计算方法可分为如下两种：解析法和模拟法。上述两种方法的求解思路如图2和图3所示。
解析法的核心思想是根据随机变量的概率密度函数来构造典型样本。通过计算典型样本的潮流，可得到概率潮流的计算结果。该方法不用迭代求解大量样本的潮流结果，有效减少了概率潮流的计算负担。然而，解析法在计算过程中对潮流方程进行了简化，其计算精度在复杂***中得不到保证。
模拟法首先生成大量样本来表示随机变量的概率密度函数。然后，迭代求解这些样本的潮流结果。最后，对这些样本的潮流结果进行统计分析，从而得到概率潮流的计算结果。相比于解析法，模拟法更为精确。然而，由于需要迭代求解大量样本的潮流结果，模拟法的求解过程十分耗时。为提高模拟法的计算速度，有学者提出了基于线性潮流模型的方法和基于并行计算的方法。线性潮流模型将非线性潮流方程转换为线性方程，可有效提高概率潮流的计算速度。但由于线性方程存在误差，使用线性方程降低了概率潮流的计算精度。采用并行计算实现概率潮流的快速、准确计算，但并行计算对计算资源的要求较高。在每个电力公司都使用这种并行计算方法不切实际。综上可见，概率潮流的计算负担是其应用于工程实际的瓶颈所在。
随着人工智能技术的不断发展，有学者提出利用DNN来求解概率潮流，实现了概率潮流的高精度、快速度计算。该方法首先对DNN进行训练，得到能够以高精度逼近潮流方程的DNN潮流模型。然后，利用训练好的DNN潮流模型可直接映射出所有样本的潮流计算结果。由此，实现了概率潮流的快速、准确计算。然而，该方法难以解决***规模变化的情况(***规模变化时，已训练好的原始***的DNN将无法直接应用于新***)。随着负荷需求和新能源的不断发展，电网规模将不断增大(新增节点或支路)。DNN模型的结构应与所求解***的规模相对应，因而原始***的DNN不能用于求解新***的概率潮流。为此，需要训练一个新的DNN来求解新***的概率潮流。然而，从零开始训练DNN是一个十分耗时的过程。因此，有必要提升扩建***DNN的训练效率，从而提高DNN在扩建***中扩展性。
发明内容
本发明的目的是解决现有技术中存在的问题。
为实现本发明目的而采用的技术方案是这样的，一种提高深度神经网络潮流模型扩展性的方法，主要包括以下步骤：
1)获取电力***基本数据。
2)确定特征向量，主要步骤如下：
2.1)设定不确定因素，包括新能源不确定性和负荷不确定性。设定潮流结果，包括每个节点的电压幅值和电压相角、每个支路的有功功率和无功功率。
2.2)计算节点i的有功注入功率Pinj,i、节点i的无功注入功率Qinj,i、节点i的电压幅值vi和电压相角θi、支路i到j的有功功率Pij和无功功率Pij，即：
Pinj,i＝Pg,i+Pw,i+Pv,i-Pd,i。 (1)
Qinj,i＝Qg,i-Qd,i。 (2)
Figure BDA0002222341060000021
Figure BDA0002222341060000022
Figure BDA0002222341060000031
Figure BDA0002222341060000032
其中i和j是节点编号。nb表示节点的数量。Pg,i和Qg,i表示节点i的发电机有功出力和无功出力。Pw,i表示节点i处风电场的有功出力。Pv,i表示节点i处光伏电站的有功出力。Pd,i和Qd,i表示节点i的有功负荷和无功负荷。vi是节点i的电压幅值。vj是节点j的电压幅值。θij是节点i和节点j之间的电压相角差。Gij是电导矩阵的元素。Bij是电纳矩阵的元素。gij和bij是输电线路的电导和电纳参数。
2.3)确定潮流样本的输入特征向量，即节点注入功率x。输入特征向量如下所示：
x＝[Pinj,Qinj]。 (7)
2.4)确定潮流样本的输出特征向量，即潮流计算结果y0。输出特征向量如下所示：
yo＝[v,θ,Pij,Qij]。 (8)
式中，v为电压幅值。θ为电压相角。
3)建立原始DNN潮流模型。
进一步，建立原始DNN潮流模型的主要步骤如下：
3.1)将电力***中各节点有功注入功率和无功注入功率作为所述DNN潮流模型的原始输入x，将各潮流样本的计算结果作为所述DNN潮流模型的原始输出yo。所述各潮流样本的计算结果包括各节点电压幅值、各节点电压相角、各支路有功功率和无功功率。
3.2)原始DNN潮流模型选用SDAE作为基本模型。
所述原始SDAE潮流模型由若干降噪自动编码器DAE组成。建立原始SDAE潮流模型的主要步骤如下：
3.2.1)建立降噪自动编码器DAE，主要步骤如下：
3.2.1.1)以随机映射的方式腐蚀原始输入x，从而得到局部受腐蚀的输入
Figure BDA0002222341060000041
腐蚀公式如下所示：
Figure BDA0002222341060000042
式中，qD为以随机映射为方式的腐蚀过程，即随机选取若干原始输入x置零。x为所述原始DNN潮流模型的输入。
3.2.1.2)根据编码函数fθ计算隐含层y，即：
Figure BDA0002222341060000043
式中，W为编码器的权值。W是一个dy×dx维的矩阵。b为编码器的偏置。b是一个dy维的向量。dx为输入层向量的维度。dy为中间层向量的维度。fθ为编码函数。s(x)是编码过程中的激活函数。
3.2.1.3)中间层输出y通过解码器的解码函数gθ′得到输出层z的输出，从而建立DAE模型。
输出层z的输出如下所示：
z＝gθ′(y)＝s(W′y+b′)。 (11)
其中，W′为解码器权值。W′是一个dx×dy维的矩阵。b′为解码器偏置。b′是一个dx维的向量。dx为输入层向量的维度。dy为中间层向量的维度。
3.2.2)将n层所述DAE模型逐层堆叠。下层DAE模型的中间层作为上层DAE模型的输入层，从而得到原始SDAE潮流模型，也即原始DNN潮流模型。
原始SDAE潮流模型的输出
Figure BDA0002222341060000044
如下所示：
Figure BDA0002222341060000045
式中，
Figure BDA0002222341060000046
为第l层DAE的编码函数。l＝1,2,…n。n为原始SDAE中DAE的个数。l是DAE的编号。
Figure BDA0002222341060000047
为原始SDAE潮流模型顶层的编码函数。
4)对原始DNN潮流模型，也即原始SDAE潮流模型进行训练的主要步骤如下：
4.1)对原始SDAE潮流模型进行无监督预训练，主要步骤如下：
4.1.1)建立均方差损失函数，即：
Figure BDA0002222341060000048
式中，xl为第l层DAE的输入也即第l-1层DAE的中间层输出yl-1。zl是第l层DAE的输出。
4.1.2)利用均方根传播算法训练各层DAE的参数，训练过程中各层DAE的参数更新公式如公式(14)至公式(23)所示。
第T+1次参数更新后第l-1层DAE中间层的第j个神经元到第l层DAE中间层的第i个神经元的权值
Figure BDA0002222341060000051
如下所示：
Figure BDA0002222341060000052
式中，
Figure BDA0002222341060000053
是第T+1次参数更新后第l-1层DAE中间层的第j个神经元到第l层DAE中间层的第i个神经元的权值。
Figure BDA0002222341060000054
是第T次参数更新后第l-1层DAE中间层的第j个神经元到第l层DAE中间层的第i个神经元的权值。
第T+1次参数更新后第l层DAE中间层的第i个神经元的偏置
Figure BDA0002222341060000055
如下所示：
Figure BDA0002222341060000056
式中，
Figure BDA0002222341060000057
是第T次参数更新后，第l层DAE中间层的第i个神经元的偏置。
其中，第T次参数更新后第l-1层DAE中间层的第j个神经元到第l层DAE中间层的第i个神经元的权值
Figure BDA0002222341060000058
更新过程中的权值改变量
Figure BDA0002222341060000059
如下所示：
Figure BDA00022223410600000510
Figure BDA00022223410600000511
Figure BDA0002222341060000061
其中，第T次参数更新后第l层DAE中间层的第i个神经元的偏置
Figure BDA0002222341060000062
更新过程中的偏置改变量
Figure BDA0002222341060000063
如下所示：
Figure BDA0002222341060000064
Figure BDA0002222341060000065
Figure BDA0002222341060000066
式中，
Figure BDA0002222341060000067
代表Hadamard乘积。η是学习率。ρ为梯度累积指数。k为任意样本。
Figure BDA0002222341060000068
是第T-1次参数更新后第l-1层DAE中间层的第j个神经元到第l层DAE中间层的第i个神经元的权值。
Figure BDA0002222341060000069
是第T次参数更新后第l-1层DAE中间层的第j个神经元到第l层DAE中间层的第i个神经元的权值。
Figure BDA00022223410600000610
为前T次权值迭代积累的梯度。
Figure BDA00022223410600000611
前T-1次权值迭代积累的梯度。Δ为增量符号。d为微分符号。σ为常数。
Figure BDA00022223410600000612
为偏导符号。
Figure BDA00022223410600000613
为根据顶层输出
Figure BDA00022223410600000614
和训练样本输出y构造均方差损失函数。k为任意样本。
Figure BDA00022223410600000615
是第T次参数更新后，第l层DAE中间层的第i个神经元的偏置。
Figure BDA00022223410600000616
是第T-1次参数更新后第l层DAE中间层的第i个神经元的偏置。
Figure BDA00022223410600000617
为前T次偏置迭代积累的梯度。
Figure BDA00022223410600000618
前T-1次偏置迭代积累的梯度。m为样本数。
4.1.3)引入动量学习率作为附加项，对公式(16)至公式(19)进行更新，得到如公式(22)和公式(23)所示的权值改变量
Figure BDA00022223410600000619
和偏置改变量
Figure BDA00022223410600000620
即：
Figure BDA0002222341060000071
Figure BDA0002222341060000072
式中，p为动量学习率。
4.1.4)根据无监督预训练参数更新公式计算每层DAE的最优编码参数θ＝{W,b}，并将最优编码参数θ＝{W,b}作为有监督微调的初始编码参数。
4.2)对原始SDAE潮流模型进行有监督微调，主要步骤如下：
4.2.1)根据顶层输出
Figure BDA0002222341060000073
和训练样本输出y构造均方差损失函数L，从而得到优化目标函数argθminJ(W,b)。
argθminJ(W,b)＝argθmin L。 (24)
4.2)根据优化目标函数argθminJ(W,b)，采用式(14)至式(23)对原始SDAE潮流模型最优编码参数θ＝{W,b}进行微调，得到训练后的SDAE潮流模型。
5)对原始DNN潮流模型进行扩建，得到扩建DNN潮流模型。
进一步，利用迁移学习方法对原始DNN潮流模型进行扩建的主要步骤如下：
5.1)确定扩建DNN潮流模型中需要初始化的参数，包括隐含层参数、输入层参数和输出层参数。
5.2)将原始DNN潮流模型中隐含层参数迁移至扩建DNN潮流模型。
5.3)对扩建DNN潮流模型中的输入层参数和输出层参数进行初始化，主要步骤如下：
5.3.1)确定原始DNN潮流模型输入层参数和输出层参数所连接的变量，包括有功注入功率、无功注入功率、电压幅值、电压相角、支路有功功率和支路无功功率。
分别将原始DNN潮流模型中与所述变量相连接的参数迁移至扩建DNN潮流模型，以初始化扩建DNN潮流模型的部分参数。
5.3.2)利用拟合原始DNN潮流模型参数分布的方法初始化扩建DNN潮流模型中输入层和输出层的剩余参数。
5.4)利用扩建***的潮流样本对扩建DNN潮流模型进行微调。
6)利用扩建DNN潮流模型对扩建***的概率潮流进行解算，得到概率潮流结果。
进一步，对扩建***概率潮流进行解算的主要步骤如下：
6.1)收集训练样本并训练扩建DNN潮流模型。
6.2)采用蒙特卡洛法对扩建***的状态进行抽样。
6.3)利用扩建DNN潮流模型计算扩建***概率潮流结果，包括变量的平均值、标准差和所有输出变量的概率密度函数。
值得说明的是，本发明首先将原始***DNN隐含层的参数直接迁移至新***DNN；然后根据输入层和输出层参数所连接的随机变量，将原始***DNN输入层和输出层的参数迁移至新***DNN；最后采用非参数估计来拟合原始***DNN输入层和输出层中连接到各变量的参数分布，通过对参数分布进行抽样来初始化新***DNN中尚未被初始化的参数。在IEEE39节点***和IEEE118节点***上的仿真结果表明，采用本发明所提出的知识迁移方法，可大幅提高新***DNN的训练效率，验证了所提方法的有效性。
本发明的技术效果是毋庸置疑的。本发明提出了一种知识迁移方法来提升扩建***DNN的训练效率。该方法主要包含如下四个特点：
1)根据参数所连接的变量来迁移原始***DNN的参数。DNN的输入和输出包含电力***中的各种随机变量。原始***DNN的输入层和输出层参数已经学习到了与其相连变量的潮流特征，可为新***DNN中连接到对应变量的参数提供有价值的潮流特征知识。基于此，本发明提出根据参数所连接到的随机变量来将原始***DNN的输入层和输出层参数迁移至新的DNN。
2)基于非参数估计来初始化输入层和输出层中剩余部分的参数。由于新***的规模大于原始***，新***DNN输入层和输出层的维度大于原始***DNN。因此，原始***DNN的参数无法完全覆盖新DNN的参数，仍有一部分参数需要被初始化。对于这部分参数，本发明提出首先利用非参数估计得到原始***DNN的参数分布，然后通过从参数分布中抽样来初始化剩余部分的参数。
3)本发明提出的知识迁移方法能够将原始***训练好的DNN参数迁移至扩建***DNN，帮助扩建***DNN的学习，使其在训练过程中能更快地收敛，提升了训练效率，从而提高了DNN在扩建***中的扩展性。
4)本发明提出的知识迁移方法能够利用原始***训练好的DNN参数，向扩建***DNN提供良好的初值。良好的初值使得扩建***DNN在训练过程中对训练样本数量的依赖降低，进一步提高了DNN在扩建***中的扩展性。
本发明可广泛应用于电力***的概率潮流求解，特别适用于因***扩建导致原始***DNN无法适用的情况。通过本发明所提出的方法，能够将原始***DNN已学到的潮流特征知识迁移至新***DNN，从而大大提高新***DNN的训练效率并有效减少训练过程对样本数量的需求。
附图说明
图1为解析法和模拟法的方法框架；
图2为DAE的结构；
图3为SDAE的结构；
图4为基于迁移学习的扩建***DNN训练框图；
图5为应用DNN求解概率潮流的基本框图。
具体实施方式
下面结合实施例对本发明作进一步说明，但不应该理解为本发明上述主题范围仅限于下述实施例。在不脱离本发明上述技术思想的情况下，根据本领域普通技术知识和惯用手段，做出各种替换和变更，均应包括在本发明的保护范围内。
实施例1：
参见图1至图5，一种提高深度神经网络潮流模型扩展性的方法，主要包括以下步骤：
1)获取电力***基本数据。
2)确定特征向量。DNN是一种提取样本输入和输出之间特征的模型。为了使DNN能够有效地提取概率潮流的特征，输入特征向量中应包含与新能源和负荷有关的特征。输出特征向量应包含受关注的潮流计算结果。
进一步，确定特征向量的主要步骤如下：
2.1)设定不确定因素，包括新能源不确定性和负荷不确定性。设定潮流结果，包括每个节点的电压幅值和电压相角、每个支路的有功功率和无功功率。
2.2)计算节点i的有功注入功率Pinj,i、节点i的无功注入功率Qinj,i、节点i的电压幅值vi和电压相角θi、支路i到j的有功功率Pij和无功功率Pij，即：
Pinj,i＝Pg,i+Pw,i+Pv,i-Pd,i。 (1)
Qinj,i＝Qg,i-Qd,i。 (2)
Figure BDA0002222341060000101
Figure BDA0002222341060000102
Figure BDA0002222341060000103
Figure BDA0002222341060000104
其中i和j是节点编号。i＝1，2，…，nb。j＝1，2，…，nb。nb表示节点的数量。Pg,i和Qg,i表示节点i的发电机有功出力和无功出力。Pw,i表示节点i处风电场的有功出力。Pv,i表示节点i处光伏电站的有功出力。Pd,i和Qd,i表示节点i的有功负荷和无功负荷。vi是节点i的电压幅值。vj是节点j的电压幅值。θij是节点i和节点j之间的电压相角差。Gij是电导矩阵的元素。Bij是电纳矩阵的元素。gij和bij是输电线路的电导和电纳参数。
2.3)确定潮流样本的输入特征向量，即节点注入功率x。输入特征向量如下所示：
x＝[Pinj,Qinj]。 (7)
2.4)确定潮流样本的输出特征向量，即潮流计算结果y0。输出特征向量如下所示：
yo＝[v,θ,Pij,Qij]。 (8)
式中，v为电压幅值。θ为电压相角。
3)建立原始DNN潮流模型。
本发明选用的基本模型为堆栈降噪自动编码器(Stacked Denoising Auto-Encoder,SDAE)，它是DNN的一种特殊类型。SDAE由多个降噪自动编码器(Denoising Auto-Encoder,DAE)组成。DAE与常见的三层神经网络相似。其主要区别在于DAE包含腐蚀过程以及DAE的训练目标是重构其输入。腐蚀过程可以强迫DAE提取更具鲁棒性的特征。重构输入可以提取到输入的潜在特征，有利于DNN的训练。
进一步，建立原始DNN潮流模型的主要步骤如下：
3.1)将电力***中各节点有功注入功率和无功注入功率作为所述DNN潮流模型的原始输入x。各潮流样本的计算结果(即各节点电压幅值和电压相角、各支路有功功率和无功功率)作为所述DNN潮流模型的原始输出yo。
DAE的结构如图2所示，其计算过程如下：
以随机映射的方式腐蚀原始输入x，从而得到局部受腐蚀的输入
Figure BDA0002222341060000111
腐蚀公式如下所示：
Figure BDA0002222341060000112
式中，qD为以随机映射为方式的腐蚀过程，即随机选取若干原始输入x置零。x为所述原始DNN潮流模型的原始输入。
3.2)根据编码函数fθ计算隐含层y，即：
Figure BDA0002222341060000113
式中，W为编码器的权值。W是一个dy×dx维的矩阵。b为编码器的偏置。b是一个dy维的向量。dx为输入层向量的维度。dy为中间层向量的维度。fθ为编码函数。s(x)是编码过程中的激活函数。
3.3)中间层输出y通过解码器的解码函数gθ′得到输出层z的输出，从而建立DAE模型。
输出层z的输出如下所示：
z＝gθ′(y)＝s(W′y+b′)。 (11)
其中，W′为解码器权值。W′是一个dx×dy维的矩阵。b′为解码器偏置。b′是一个dx维的向量。dx为输入层向量的维度。dy为中间层向量的维度。
3.4)将n层所述DAE模型逐层堆叠。下层DAE模型的中间层作为上层DAE模型的输入层，从而得到SDAE潮流模型(即所述原始DNN潮流模型)，如图3所示。
原始SDAE潮流模型的输出
Figure BDA0002222341060000121
如下所示：
Figure BDA0002222341060000122
式中，
Figure BDA0002222341060000123
为第l层DAE的编码函数。l＝1,2,…n。n为原始SDAE中DAE的个数。l是DAE的编号。
Figure BDA0002222341060000124
为原始SDAE潮流模型顶层的编码函数。
4)对原始SDAE潮流模型进行训练，得到训练后的原始SDAE潮流模型(即所述原始DNN潮流模型)。
进一步，对原始SDAE潮流模型进行训练的主要步骤如下：
4.1)对原始SDAE潮流模型进行无监督预训练，主要步骤如下：
4.1.1)建立均方差损失函数LH(xl,zl)，即：
Figure BDA0002222341060000125
式中，xl为第l层DAE的输入也即第l-1层DAE的中间层输出yl-1。zl是第l层DAE的输出。
Figure BDA0002222341060000126
为目标函数。
Figure BDA0002222341060000127
表示取*的最小值。
均方差损失函数下所示。
Figure BDA0002222341060000128
其中，m为样本数，
Figure BDA0002222341060000129
是SDAE的输出值，y是训练样本的实际输出。L为LH(xl,zl)的化简表达。
4.1.2)利用均方根传播算法训练各层DAE，训练过程中各层DAE的参数更新公式如公式(6)至公式(16)所示。
第T+1次参数更新后第l-1层DAE中间层的第j个神经元到第l层DAE中间层的第i个神经元的权值
Figure BDA0002222341060000131
如下所示：
Figure BDA0002222341060000132
式中，
Figure BDA0002222341060000133
是第T+1次参数更新后第l-1层DAE中间层的第j个神经元到第l层DAE中间层的第i个神经元的权值。
Figure BDA0002222341060000134
是第T次参数更新后第l-1层DAE中间层的第j个神经元到第l层DAE中间层的第i个神经元的权值。
第T+1次参数更新后第l层DAE中间层的第i个神经元的偏置
Figure BDA0002222341060000135
如下所示：
Figure BDA0002222341060000136
式中，
Figure BDA0002222341060000137
是第T次参数更新后，第l层DAE中间层的第i个神经元的偏置。
其中，第T次参数更新后第l-1层DAE中间层的第j个神经元到第l层DAE中间层的第i个神经元的权值
Figure BDA0002222341060000138
更新过程中的权值改变量
Figure BDA0002222341060000139
如下所示：
Figure BDA00022223410600001310
Figure BDA00022223410600001311
Figure BDA00022223410600001312
其中，第T次参数更新后第l层DAE中间层的第i个神经元的偏置
Figure BDA00022223410600001313
更新过程中的偏置改变量
Figure BDA00022223410600001314
如下所示：
Figure BDA00022223410600001315
Figure BDA0002222341060000141
Figure BDA0002222341060000142
式中，
Figure BDA0002222341060000143
代表Hadamard乘积。η是学习率，为0.001。ρ为梯度累积指数，等于0.99。ε为常数，取10-8。k为任意样本。
Figure BDA0002222341060000144
是第T-1次参数更新后第l-1层DAE中间层的第j个神经元到第l层DAE中间层的第i个神经元的权值。
Figure BDA0002222341060000145
是第T次参数更新后第l-1层DAE中间层的第j个神经元到第l层DAE中间层的第i个神经元的权值。
Figure BDA0002222341060000146
为前T次权值迭代积累的梯度。
Figure BDA0002222341060000147
前T-1次权值迭代积累的梯度。Δ为增量符号。d为微分符号，
Figure BDA0002222341060000148
为权值
Figure BDA0002222341060000149
的微分，
Figure BDA00022223410600001410
为偏置
Figure BDA00022223410600001411
的微分。σ为常数。
Figure BDA00022223410600001412
为偏导符号。
Figure BDA00022223410600001413
为权值
Figure BDA00022223410600001414
的偏导，
Figure BDA00022223410600001415
为偏置
Figure BDA00022223410600001416
的偏导。
Figure BDA00022223410600001417
为根据顶层输出
Figure BDA00022223410600001418
和训练样本输出y构造均方差损失函数。k为任意样本。
Figure BDA00022223410600001419
是第T次参数更新后，第l层DAE中间层的第i个神经元的偏置。
Figure BDA00022223410600001420
是第T-1次参数更新后第l层DAE中间层的第i个神经元的偏置。
Figure BDA00022223410600001421
为前T次偏置迭代积累的梯度。
Figure BDA00022223410600001422
前T-1次偏置迭代积累的梯度。m为样本数。
4.1.3)引入动量学习率作为附加项，对公式(17)至公式(20)进行更新，得到如公式(23)和公式(24)所示的权值改变量
Figure BDA00022223410600001423
和偏置改变量
Figure BDA00022223410600001424
即：
Figure BDA00022223410600001425
Figure BDA00022223410600001426
式中，p为动量学习率，其值为0.9。
4.1.4)根据无监督预训练参数更新公式计算每层DAE的最优编码参数θ＝{W,b}，并将最优编码参数θ＝{W,b}作为有监督微调的初始编码参数。
4.2)对原始SDAE潮流模型进行有监督微调，主要步骤如下：
4.2.1)根据顶层输出
Figure BDA0002222341060000151
和训练样本输出y构造均方差损失函数L，从而得到优化目标函数argθminJ(W,b)。
argθminJ(W,b)＝argθmin L。 (25)
4.2.2)根据优化目标函数argθmin J(W,b)，从而对原始SDAE潮流模型最优编码参数θ＝{W,b}进行微调,得到最终的SDAE潮流模型(即所述原始DNN潮流模型)。
5)对原始DNN潮流模型进行扩建，得到扩建DNN潮流模型。
在实际电力***中，***将随着新能源和负荷需求的发展而扩建。从式(22)和式(23)可以看出DNN的输入和输出维度与***的规模有关。由于原始***DNN的输入输出维度与扩建***不匹配，原始***DNN不能应用于扩建***。为此，需要为扩建***训练一个新的DNN。
为了提高新DNN的训练效率，本发明利用了迁移学习技术。迁移学习是一种应用相关领域的有用知识来帮助目标领域模型训练的方法。新***是由原始***扩建得到的，故新***的潮流特征和原始***非常相似。因此，能够反映原始***潮流特征的原始***DNN参数对于扩建***DNN来说是很有用的知识。基于此，本发明将原始***DNN学习到的参数迁移至新DNN，以提高新DNN的训练效率。
传统的迁移学习方法直接将已训练好的DNN参数迁移至新DNN来初始化新DNN的参数，然后利用新样本来微调新DNN的参数。然而，对于扩建***，由于新DNN的结构大于原始***DNN，直接迁移原始***DNN的参数无法覆盖新DNN的所有参数。
进一步，本发明利用迁移学习方法对原始DNN潮流模型进行扩建的主要步骤如下：
5.1)确定扩建DNN潮流模型中需要初始化的参数，包括隐含层参数、输入层参数和输出层参数。
5.2)将原始DNN潮流模型中隐含层参数迁移至扩建DNN潮流模型。
5.3)对扩建DNN潮流模型中的输入层参数和输出层参数进行初始化，主要步骤如下：
5.3.1)确定原始DNN潮流模型输入层参数和输出层参数所连接的变量，包括有功注入功率、无功注入功率、电压幅值、电压相角、支路有功功率和支路无功功率。
分别将原始DNN潮流模型中与所述变量相连接的参数迁移至扩建DNN潮流模型，以初始化扩建DNN潮流模型的部分参数。
如图4所示，输入层和输出层的参数连接着不同的变量，包括有功注入功率、无功注入功率、电压幅值、电压相角、支路有功功率和支路无功功率。原始***DNN中连接到各变量的参数已学习与该变量相关的潮流知识。因此，本发明提出根据参数所连接的变量来迁移输入和输出层的参数。以有功注入功率为例，在参数迁移过程中，本发明将原始***DNN中与有功注入功率相连的参数迁移至新DNN，以初始化新DNN中与有功注入功率相连的部分参数，如图4中浅蓝线所示。
5.3.2)利用拟合原始DNN潮流模型参数分布的方法初始化扩建DNN潮流模型中输入层和输出层的剩余参数。
以有功注入功率为例，由于扩建***的节点数目大于原始***，故新***DNN中，仍有部分与有功注入功率相连的参数尚未被初始化，如图4中浅蓝色实心圆所示。由于与有功注入功率相关的潮流知识蕴含在与其相连的参数的分布中，故本发明首先拟合原始***DNN中与有功注入功率相连参数的分布，然后通过从拟合的分布中进行抽样来初始化新***DNN剩下的与有功注入功率相连的参数。常用的分布拟合方法包括参数估计和非参数估计。由于并没有参数分布的先验知识，故本发明选用非参数估计来拟合参数的分布。
对于与有功注入功率相连的参数，其概率密度函数可由式(26)估计得到。
Figure BDA0002222341060000161
式中，K(x)是核函数，本发明采用高斯核函数：
Figure BDA0002222341060000171
wPinj,i表示原始***DNN中与有功注入功率相连的参数。h表示带宽系数，本发明中h＝1.8。Nw是与有功注入功率相连的参数数量。
通过估计的概率密度函数的
Figure BDA0002222341060000172
可以初始化新DNN中与有功注入功率相连的剩余参数。
5.4)利用扩建***的潮流样本对扩建DNN潮流模型进行微调。
通过该方法，将原始***DNN中学到的潮流知识迁移到新DNN，可以为新DNN提供良好的初始参数。然后，利用扩建***的潮流样本对新DNN进行微调。由于DNN的输出是DNN中所有参数相互作用的影响，故本发明将调整新DNN中的所有参数。与从零学起相比，所提方法能够更快地完成扩建***DNN的训练过程。因为采用本发明所提方法不需要执行无监督预训练阶段，且原始***DNN为扩建***DNN提供了良好的初值。此外，所提方法还可减少训练过程对训练样本数量的依赖性。
6)利用扩建DNN潮流模型对扩建***概率潮流进行解算，得到概率潮流结果。
进一步，对扩建***概率潮流进行解算的主要步骤如下：
6.1)收集训练样本并训练扩建DNN潮流模型。
6.2)采用蒙特卡洛法对扩建***的状态进行抽样。
6.3)利用扩建DNN潮流模型计算扩建***的概率潮流结果，包括变量的平均值、标准差和所有输出变量的概率密度函数。
实施例2：
一种验证提高深度神经网络潮流模型扩展性的方法的实验，主要包括以下步骤：
1)潮流样本获取
本实施例中采用IEEE39节点***和IEEE118节点***进行仿真。原始***：IEEE39节点***中，本发明在母线23、24、25上引入风电场，风电场最大出力为260MW，在母线17、18、19上引入光伏发电站，光伏发电站最大出力为200MW。IEEE118节点***中，本发明在母线59、80和90上引入风电场，风电场最大出力为260MW，在母线13、14、16和23上引入光伏发电站，光伏发电站最大出力为200MW。扩建***：IEEE39节点***中，在原始***基础上新增母线40，和支路26-40。IEEE118节点***中，在原始***基础上新增母线119，支路118-119和支路75-119，并在母线119上引入了风电场，该风电场最大出力为200MW。其中，假定风速服从两参数Weibull分布，其尺度参数为2.016，形状参数为5.089。光照强度服从Beta分布，光伏发电站的形状参数和风电场的切入风速、额定风速、切出风速参见表1。此外，假定各节点负荷的随机特性服从正态分布，其标准差为各节点负荷期望值的10％。
表1光伏发电站和风电场相关参数
Figure BDA0002222341060000181
然后，通过蒙特卡洛法对上述随机变量进行5万次抽样并采用牛顿法对每个抽样状态进行潮流的求解。将所有抽样状态的有功注入功率和无功注入功率作为训练样本输入x。由牛顿法求得的所有抽样状态的潮流计算结果(即电力***各节点电压幅值和相角、各支路有功功率和无功功率)作为训练样本的输出y。
2)DNN潮流模型初始化
包括数据预处理以及DNN模型结构的确定。通过式(26)对训练样本的输入和输出数据进行归一化处理。然后，根据待求解的电力***规模和复杂程度，设定DNN潮流模型的层数结构，如表2所示。
Figure BDA0002222341060000182
式中，x*为归一化后的样本值，x为待归一化的样本值，μ为样本均值，σ为样本标准差。
表2不同***的模型结构
***规模 IEEE39节点*** IEEE118节点***
隐含层数 4 4
隐含层神经元数目 200 300
3)原始***DNN潮流模型训练
对于原始***，需要从零开始训练DNN，即采用无监督预训练和有监督微调的两阶段训练方法。训练过程中，采用式(13)-式(23)所示公式，根据训练样本迭代调整DNN的参数，直至测试精度达到要求或迭代次数达到500次。
4)扩建***DNN潮流模型训练
对于扩建***，采用本发明所提知识迁移方法，将原始***DNN的参数迁移至扩建***DNN，然后对扩建***DNN进行训练。训练过程中，采用式(5)-式(15)所示公式，根据扩建***潮流样本迭代调整DNN的参数，直至测试精度达到要求或迭代次数达到500次。
具体仿真结果如下：
1)具体算例及训练方法对比
仿真所用算例信息如下：
算例1：改进的IEEE 39节点***，负荷标准差10％，新能源渗透率为20％。
算例2：改进的IEEE118节点***，负荷标准差10％，新能源渗透率为20％。
算例3：改进的IEEE 39节点***，负荷标准差10％，新能源渗透率为25％。
算例4：改进的IEEE118节点***，负荷标准差10％，新能源渗透率为25％。
算例5：算例1基础上的扩建***，新增了母线40和支路26-40。
算例6：算例2基础上的扩建***，新增了母线119，支路118-119和支路75-119，在母线119上引入了最大出力为200MW的风电场。
算例5和算例6分别是算例1和算例2基础上的扩建***。采用算例5和算例6来验证本发明所提知识迁移方法的有效性。
本发明对比的DNN潮流模型训练方法为M1-M3:
M1：从零开始训练DNN。
M2：采用本发明所提知识迁移方法训练DNN。
M3：同M2，但采用随即初始化方法来初始化输入和输出层中的剩余参数。
本发明采用如下指标来评价DNN潮流模型的精度：
PV,β：电压幅值绝对误差超过βp.u.的概率。
Pθ,β：电压相角绝对误差超过βrad的概率。
PP,β：支路有功功率绝对误差超过βMW的概率。
PQ,β：支路无功功率绝对误差超过βMVar的概率。
2)原始***DNN潮流模型的精度分析
本小节测试原始***DNN潮流模型的精度。原始***DNN潮流模型需要经过训练才能用来求解原始***的概率潮流，它能为扩建***DNN提供有用的潮流知识。表3列出了如下精度指标：PV,0.0002,Pθ,0.002,PP,2,PQ,2。
表3由M1训练的DNN潮流模型的精度
算例 方法 P<sub>V,0.0002</sub> P<sub>θ,0.002</sub> P<sub>P,2</sub> P<sub>Q,2</sub>
算例1 M1 0.05％ 0.88％ 1.06％ 0.01％
算例2 M1 1.42％ 1.02％ 0.57％ 0.02％
从表3可以看出，算例1和算例2的精度指标都小于1.5％，表明原始***DNN能够以高精度逼近潮流方程。
为了验证原始***DNN的泛化能力，本文直接使用算例1和算例2中训练好的DNN来求解具有更高新能源渗透率的算例(算例3和算例4)。测试结果如表4所示。
表4直接使用训练好的DNN来求解算例3和算例4的精度
Figure BDA0002222341060000201
从表4可以看出，对于算例3和算例4，所有指数仍然小于2％，由此验证了原始***DNN的泛化能力。
3)所提知识迁移方法的性能分析
本小节验证了本发明所提知识迁移方法的有效性。由于***规模的不同，算例5和算例6的输入和输出的维度与算例1和算例2不同。因此，算例1和算例2中训练好的DNN无法直接应用于求解算例5和算例6的概率潮流。为此，需要训练适用于扩建***的新DNN。对于算例5和算例6，表5列出了M1(从零开始训练)，M2(采用所提知识迁移方法来训练)，M3(与M2相同，但采用随机初始化方法来初始化剩余参数)三种方法的训练结果。训练停止准则为表3所示的所有指标均小于5％或迭代次数达到500次。
表5 M1-M3对于扩建***的训练结果对比
Figure BDA0002222341060000211
由表5可以看出，在样本数量较少时，M1不能取得令人满意的精度。相反，在样本充足的情况下，M1能够满足精度要求，但训练负担相应增大。相比之下，得益于不需要执行无监督预训练以及原始***DNN所提供的更好的参数初始值，M2能够更快地达到精度要求，且对样本数量的需求更小。其中，M2的优势在算例6中得到了很好的体现。对于算例5和算例6，M2的训练速度比M1分别提高了9.92倍和61.62倍。与M2相似，采用M3也可大大提高训练效率。但相比而言，M2的训练效率比M3更高，这证明了通过拟合参数分布来初始化剩余参数的有效性。但由于剩余参数的数目较少，M2的优势并不明显。此外，M2相较于M3的另一个优势在于M2并不受随机初始化方法的影响。
从实验结果可知：本发明所提知识迁移方法(M2)可大大减少训练时间以及对训练样本数量的需求。
综上所述，本发明提出了一种知识迁移方法。该方法首先将原始***DNN中隐含层的参数迁移至新DNN；然后，根据参数所连接的变量来迁移原始***DNN中输入和输出层的参数；最后，根据拟合的原始***DNN的参数分布，来初始化新DNN中输入和输出层的剩余参数。由此，实现了将原始***DNN已学到潮流知识迁移至扩建***DNN，从而提高了扩建***DNN的训练效率。通过算例仿真分析表明，本发明所提知识迁移方法能够大幅提高扩建***DNN的训练效率并减少训练过程对样本数量的需求。此外，仿真分析还证明了根据拟合的参数分布来初始化剩余参数的有效性。因此，本发明可大大提高DNN在扩建***中的扩展性。

Claims (5)

1.一种提高深度神经网络潮流模型扩展性的方法，其特征在于，主要包括以下步骤：
1)获取电力***基本数据；
2)确定特征向量；
3)建立原始DNN潮流模型；
4)对原始DNN潮流模型进行训练，得到训练后的原始DNN潮流模型；
5)对训练后的原始DNN潮流模型进行扩建，得到扩建DNN潮流模型；
利用迁移学习方法对训练后的原始DNN潮流模型进行扩建的主要步骤如下：
5.1)确定扩建DNN潮流模型中需要初始化的参数，包括隐含层参数、输入层参数和输出层参数；
5.2)将原始DNN潮流模型中隐含层参数迁移至扩建DNN潮流模型；
5.3)对扩建DNN潮流模型中的输入层参数和输出层参数进行初始化，主要步骤如下：
5.3.1)确定原始DNN潮流模型输入层参数和输出层参数所连接的变量，包括有功注入功率、无功注入功率、电压幅值、电压相角、支路有功功率和支路无功功率；
分别将原始DNN潮流模型中与所述变量相连接的参数迁移至扩建DNN潮流模型，以初始化扩建DNN潮流模型的部分参数；
5.3.2)利用拟合原始DNN潮流模型参数分布的方法初始化扩建DNN潮流模型中输入层和输出层的剩余参数；
5.4)利用扩建***的潮流样本对扩建DNN潮流模型进行微调：
6)利用扩建DNN潮流模型对扩建***概率潮流进行解算，得到概率潮流结果。
2.根据权利要求1所述的一种提高深度神经网络潮流模型扩展性的方法，其特征在于，确定特征向量的主要步骤如下：
1)设定不确定因素，包括新能源不确定性和负荷不确定性；设定潮流结果，包括每个节点的电压幅值和电压相角、每个支路的有功功率和无功功率；
2)计算节点i的有功注入功率Pinj,i、节点i的无功注入功率Qinj,i、节点i的电压幅值vi、节点i的电压相角θi、支路i到j的有功功率Pij和无功功率Qij，即：
Pinj,i＝Pg,i+Pw,i+Pv,i-Pd,i； (1)
Qinj,i＝Qg,i-Qd,i； (2)
Figure FDA0002855678260000021
Figure FDA0002855678260000022
Figure FDA0002855678260000023
Figure FDA0002855678260000024
其中i和j是节点编号；nb表示节点的数量；Pg,i和Qg,i表示节点i的发电机有功出力和无功出力；Pw,i表示节点i处风电场的有功出力；Pv,i表示节点i处光伏电站的有功出力；Pd,i和Qd,i表示节点i的有功负荷和无功负荷；vi是节点i的电压幅值；vj是节点j的电压幅值；θij是节点i和节点j之间的电压相角差；Gij是电导矩阵的元素；Bij是电纳矩阵的元素；gij和bij是输电线路的电导和电纳参数；
3)确定潮流样本的输入特征向量，即节点注入功率x；输入特征向量如下所示：
x＝[Pinj,Qinj]； (7)
4)确定潮流样本的输出特征向量，即潮流计算结果y0；输出特征向量如下所示：
yo＝[v,θ,Pij,Qij]； (8)
式中，v为电压幅值；θ为电压相角。
3.根据权利要求2所述的一种提高深度神经网络潮流模型扩展性的方法，其特征在于，建立原始DNN潮流模型的主要步骤如下：
1)将电力***中各节点有功注入功率和无功注入功率作为所述DNN潮流模型的原始输入x，将各潮流样本的计算结果作为所述DNN潮流模型的原始输出yo；所述各潮流样本的计算结果包括各节点电压幅值、各节点电压相角、各支路有功功率和无功功率；
2)原始DNN潮流模型选用SDAE作为基本模型；
所述SDAE由若干降噪自动编码器DAE组成；建立原始SDAE潮流模型的主要步骤如下：
2.1)建立降噪自动编码器DAE，主要步骤如下：
2.1.1)以随机映射的方式腐蚀原始输入x，从而得到局部受腐蚀的输入
Figure FDA0002855678260000033
腐蚀公式如下所示：
Figure FDA0002855678260000031
式中，qD为随机映射方式的腐蚀过程，即随机选取若干原始输入x置零；x为所述原始DNN潮流模型的输入；
2.1.2)根据编码函数fθ计算隐含层y，即：
Figure FDA0002855678260000032
式中，W为编码器的权值；W是一个dy×dx维的矩阵；b为编码器的偏置；b是一个dy维的向量；dx为输入层向量的维度；dy为中间层向量的维度；fθ为编码函数；s(x)是编码过程中的激活函数；
2.1.3)中间层输出y通过解码器的解码函数gθ′得到输出层z的输出，从而建立DAE模型；
输出层z的输出如下所示：
z＝gθ′(y)＝s(W′y+b′)； (11)
其中，W′为解码器权值；W′是一个dx×dy维的矩阵；b′为解码器偏置；b′是一个dx维的向量；dx为输入层向量的维度；dy为中间层向量的维度；
2.2)将n层所述DAE模型逐层堆叠；下层DAE模型的中间层作为上层DAE模型的输入层，从而得到原始SDAE潮流模型，也即原始DNN潮流模型；
原始SDAE潮流模型的输出
Figure FDA0002855678260000041
如下所示：
Figure FDA0002855678260000042
式中，
Figure FDA0002855678260000043
为第l层DAE的编码函数；l＝1,2,…n；n为原始SDAE中DAE的个数；l是DAE的编号；
Figure FDA0002855678260000044
为原始SDAE潮流模型顶层的编码函数。
4.根据权利要求3所述的一种提高深度神经网络潮流模型扩展性的方法，其特征在于，对原始DNN潮流模型，也即原始SDAE潮流模型进行训练的主要步骤如下：
1)对原始SDAE潮流模型进行无监督预训练，主要步骤如下：
1.1)建立均方差损失函数，即：
Figure FDA0002855678260000045
式中，xl为第l层DAE的输入也即第l-1层DAE的中间层输出yl-1；zl是第l层DAE的输出；
Figure FDA0002855678260000046
为优化目标函数；
1.2)利用均方根传播算法训练各层DAE的参数，训练过程中各层DAE的参数更新公式如公式(6)至公式(15)所示；
第T+1次参数更新后第l-1层DAE中间层的第j个神经元到第l层DAE中间层的第i个神经元的权值
Figure FDA0002855678260000047
如下所示：
Figure FDA0002855678260000048
式中，
Figure FDA0002855678260000049
是第T+1次参数更新后第l-1层DAE中间层的第j个神经元到第l层DAE中间层的第i个神经元的权值；
Figure FDA00028556782600000410
是第T次参数更新后第l-1层DAE中间层的第j个神经元到第l层DAE中间层的第i个神经元的权值；
第T+1次参数更新后第l层DAE中间层的第i个神经元的偏置
Figure FDA0002855678260000051
如下所示：
Figure FDA0002855678260000052
式中，
Figure FDA0002855678260000053
是第T次参数更新后，第l层DAE中间层的第i个神经元的偏置；
其中，第T次参数更新后第l-1层DAE中间层的第j个神经元到第l层DAE中间层的第i个神经元的权值
Figure FDA0002855678260000054
更新过程中的权值改变量
Figure FDA0002855678260000055
如下所示：
Figure FDA0002855678260000056
Figure FDA0002855678260000057
Figure FDA0002855678260000058
其中，第T次参数更新后第l层DAE中间层的第i个神经元的偏置
Figure FDA0002855678260000059
更新过程中的偏置改变量
Figure FDA00028556782600000510
如下所示：
Figure FDA00028556782600000511
Figure FDA00028556782600000512
Figure FDA00028556782600000513
式中，
Figure FDA00028556782600000514
代表Hadamard乘积；η是学习率；ρ为梯度累积指数；k为任意样本；
Figure FDA00028556782600000515
是第T-1次参数更新后第l-1层DAE中间层的第j个神经元到第l层DAE中间层的第i个神经元的权值；
Figure FDA00028556782600000516
是第T次参数更新后第l-1层DAE中间层的第j个神经元到第l层DAE中间层的第i个神经元的权值；
Figure FDA0002855678260000061
为前T次权值迭代积累的梯度；
Figure FDA0002855678260000062
前T-1次权值迭代积累的梯度；Δ为增量符号；d为微分符号；σ为常数；
Figure FDA0002855678260000063
为偏导符号；
Figure FDA0002855678260000064
为根据顶层输出
Figure FDA0002855678260000065
和训练样本输出y构造均方差损失函数；k为任意样本；
Figure FDA0002855678260000066
是第T次参数更新后，第l层DAE中间层的第i个神经元的偏置；
Figure FDA0002855678260000067
是第T-1次参数更新后第l层DAE中间层的第i个神经元的偏置；
Figure FDA0002855678260000068
为前T次偏置迭代积累的梯度；
Figure FDA0002855678260000069
前T-1次偏置迭代积累的梯度；m为样本数；
1.3)引入动量学习率作为附加项，对公式(16)至公式(19)进行更新，得到如公式(22)和公式(23)所示的权值改变量
Figure FDA00028556782600000610
和偏置改变量
Figure FDA00028556782600000611
即：
Figure FDA00028556782600000612
Figure FDA00028556782600000613
式中，p为动量学习率；
1.4)根据无监督预训练参数更新公式计算每层DAE的最优编码参数θ＝{W,b}，并将最优编码参数θ＝{W,b}作为有监督微调的初始编码参数；
2)对原始SDAE潮流模型进行有监督微调，主要步骤如下：
2.1)根据顶层输出
Figure FDA00028556782600000614
和训练样本输出y构造均方差损失函数L，从而得到优化目标函数argθminJ(W,b)；
argθminJ(W,b)＝argθminL； (24)
2.2)根据优化目标函数argθminJ(W,b)，采用式(14)至式(23)对原始SDAE潮流模型最优编码参数θ＝{W,b}进行微调，得到训练后的SDAE潮流模型。
5.根据权利要求1所述的一种提高深度神经网络潮流模型扩展性的方法，其特征在于，对扩建***概率潮流进行解算的主要步骤如下：
1)收集训练样本并训练扩建DNN潮流模型；
2)采用蒙特卡洛法对扩建***的状态进行抽样；
3)利用扩建DNN潮流模型计算扩建***概率潮流结果，包括变量的平均值、标准差和所有输出变量的概率密度函数。
CN201910938908.XA 2019-09-30 2019-09-30 一种提高深度神经网络潮流模型扩展性的方法 Active CN110829434B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910938908.XA CN110829434B (zh) 2019-09-30 2019-09-30 一种提高深度神经网络潮流模型扩展性的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910938908.XA CN110829434B (zh) 2019-09-30 2019-09-30 一种提高深度神经网络潮流模型扩展性的方法

Publications (2)

Publication Number Publication Date
CN110829434A CN110829434A (zh) 2020-02-21
CN110829434B true CN110829434B (zh) 2021-04-06

Family

ID=69548499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910938908.XA Active CN110829434B (zh) 2019-09-30 2019-09-30 一种提高深度神经网络潮流模型扩展性的方法

Country Status (1)

Country Link
CN (1) CN110829434B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116451085A (zh) * 2023-06-19 2023-07-18 中铁电气化勘测设计研究院有限公司 一种基于轨道交通电力监控平台的供电潮流实时计算方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104503235A (zh) * 2014-12-09 2015-04-08 中国石油大学(华东) 基于改进bp神经网络的电厂设备的状态监测方法
CN106651766A (zh) * 2016-12-30 2017-05-10 深圳市唯特视科技有限公司 一种基于深度卷积神经网络的图像风格迁移方法
CN110110434A (zh) * 2019-05-05 2019-08-09 重庆大学 一种概率潮流深度神经网络计算的初始化方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5469528A (en) * 1992-09-16 1995-11-21 Syseca, Inc. Neural load disturbance analyzer
CN109873425B (zh) * 2017-12-01 2023-10-20 中国电力科学研究院有限公司 基于深度学习和用户行为的电力***调整潮流方法及***
CN109117951B (zh) * 2018-01-15 2021-11-16 重庆大学 基于bp神经网络的概率潮流在线计算方法
CN108304623B (zh) * 2018-01-15 2021-05-04 重庆大学 一种基于堆栈降噪自动编码器的概率潮流在线计算方法
CN108599172B (zh) * 2018-05-18 2021-07-30 广东电网有限责任公司佛山供电局 一种基于人工神经网络的输配网全局潮流计算方法
CN109599872B (zh) * 2018-12-29 2022-11-08 重庆大学 基于堆栈降噪自动编码器的电力***概率潮流计算方法
CN109902854B (zh) * 2019-01-11 2020-11-27 重庆大学 电-气互联***最优潮流全线性模型的构建方法
CN110163540B (zh) * 2019-06-28 2021-06-15 清华大学 电力***暂态稳定预防控制方法及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104503235A (zh) * 2014-12-09 2015-04-08 中国石油大学(华东) 基于改进bp神经网络的电厂设备的状态监测方法
CN106651766A (zh) * 2016-12-30 2017-05-10 深圳市唯特视科技有限公司 一种基于深度卷积神经网络的图像风格迁移方法
CN110110434A (zh) * 2019-05-05 2019-08-09 重庆大学 一种概率潮流深度神经网络计算的初始化方法

Also Published As

Publication number Publication date
CN110829434A (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
Gao et al. Day-ahead power forecasting in a large-scale photovoltaic plant based on weather classification using LSTM
CN109117951B (zh) 基于bp神经网络的概率潮流在线计算方法
CN108304623B (zh) 一种基于堆栈降噪自动编码器的概率潮流在线计算方法
Aly An intelligent hybrid model of neuro Wavelet, time series and Recurrent Kalman Filter for wind speed forecasting
Gensler et al. Deep Learning for solar power forecasting—An approach using AutoEncoder and LSTM Neural Networks
CN111860982A (zh) 一种基于vmd-fcm-gru的风电场短期风电功率预测方法
CN108734391B (zh) 基于堆栈降噪自动编码器的电-气综合能源***概率能流量计算方法
Huang et al. Prediction of wind power by chaos and BP artificial neural networks approach based on genetic algorithm
CN109711617B (zh) 一种基于blstm深度学习的中长期径流预测方法
CN110580543A (zh) 一种基于深度信念网络的电力负荷预测方法及***
CN109599872B (zh) 基于堆栈降噪自动编码器的电力***概率潮流计算方法
CN110942194A (zh) 一种基于tcn的风电预测误差区间评估方法
CN109088407B (zh) 基于深度信念网络伪量测建模的配电网状态估计方法
CN104636985A (zh) 一种改进bp神经网络的输电线路无线电干扰预测方法
CN109412161B (zh) 一种电力***概率潮流计算方法及***
CN112116130B (zh) 一种基于可变结构深度学习框架的短期调度规则提取方法
CN113553755B (zh) 电力***状态估计方法、装置及设备
CN112016736A (zh) 基于门控卷积和注意力机制的光伏发电功率的控制方法
CN111415010A (zh) 一种基于贝叶斯神经网络的风电机组参数辨识方法
Li et al. Short-term prediction of the power of a new wind turbine based on IAO-LSTM
CN111506868B (zh) 一种基于hht权值优化的超短期风速预测方法
CN114861874A (zh) 模型驱动图卷积神经网络潮流计算方法
CN110829434B (zh) 一种提高深度神经网络潮流模型扩展性的方法
CN109408896B (zh) 一种污水厌氧处理产气量多元智能实时监控方法
CN117421571A (zh) 一种基于配电网的拓扑实时辨识方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant