CN112862004A - 基于变分贝叶斯深度学习的电网工程造价管控指标预测方法 - Google Patents
基于变分贝叶斯深度学习的电网工程造价管控指标预测方法 Download PDFInfo
- Publication number
- CN112862004A CN112862004A CN202110297761.8A CN202110297761A CN112862004A CN 112862004 A CN112862004 A CN 112862004A CN 202110297761 A CN202110297761 A CN 202110297761A CN 112862004 A CN112862004 A CN 112862004A
- Authority
- CN
- China
- Prior art keywords
- distribution
- cost
- probability
- control index
- cost control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013135 deep learning Methods 0.000 title claims abstract description 28
- 238000009826 distribution Methods 0.000 claims abstract description 95
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000005070 sampling Methods 0.000 claims abstract description 13
- 239000000523 sample Substances 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 19
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 6
- 150000001875 compounds Chemical class 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000007726 management method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000000342 Monte Carlo simulation Methods 0.000 claims description 3
- 238000012614 Monte-Carlo sampling Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000007476 Maximum Likelihood Methods 0.000 claims description 2
- 239000013068 control sample Substances 0.000 claims description 2
- 238000009795 derivation Methods 0.000 claims description 2
- 238000009472 formulation Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 230000000717 retained effect Effects 0.000 claims description 2
- 238000012935 Averaging Methods 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 claims 1
- 238000000354 decomposition reaction Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 17
- 238000012360 testing method Methods 0.000 description 13
- 238000010276 construction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000011217 control strategy Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000013643 reference control Substances 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000010206 sensitivity analysis Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Data Mining & Analysis (AREA)
- Marketing (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Primary Health Care (AREA)
- Operations Research (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Bioinformatics & Computational Biology (AREA)
- Water Supply & Treatment (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Biomedical Technology (AREA)
Abstract
基于变分贝叶斯深度学习的电网工程造价管控指标预测方法，基于工程造价数据库，选取概算前造价数据x与结算造价指标y，形成新的训练样本数据库，当给定新的造价数据xn+1时，目标得到结算造价管控指标p(yn+1|xn+1；D)。采用基于LSTM深度学习网络的造价指标预测模型，以非线性方式处理造价管控指标数据。采用随机梯度哈密尔顿蒙特卡洛概率预测方法进行采样，用期望值作为概率的预测值。采用造价管控指标预测模型隐含概率分布的近似推断，最小化隐变量概率分布与真实分布的差异。本发明方法在预测技巧和预测可靠性方面均明显优于其它模型，能够提供有效的不确定度估计预测结果。
Description
技术领域
本发明属于电网工程造价预测技术领域，具体涉及一种基于变分贝叶斯深度学习的电网工程造价管控指标预测方法。
背景技术
电网工程造价是一个多变量、高度非线性的问题，随着投资规模的不断扩大，影响工程造价的因素呈现复杂化、多样化、波动性等特点。当前主流的分析方法集中关注参数不确定性，包括基于确定性模型的灵敏度分析和多场景分析；以及随机规划、模糊规划、区间规划等不确定性优化模型。电网工程造价影响因素错综复杂，当工程情况复杂多变时，很难再通过技术人员的经验估计得到单项工程可靠的预测结果。因此需要建立适当的模型对造价影响因素进行综合分析。然而，目前国内外针对造价影响因素的分析仅停留在单一管控阶段，没有构建科学完整的因素库，尚未实现因素影响机理和影响程度的定量分析。针对不同类型的电网工程的特点，考虑其不确定性因素影响的电网造价预测研究则更为鲜见。
基于人工神经网络学习挖掘出工程造价的潜在影响因子，其具有一定的自学习、自适应能力。单一预测模型往往考虑的不够全面，为了进一步提高造价预测的精度，建立一个精度高、适用性广的电网工程造价组合预测模型，对工程造价的确定技术进行科学、***地研究具有较高的价值。
计及认知不确定性的深度学习是一类概率预测方法，该方法既能利用深度神经网络的学习能力挖掘多变量间的复杂非线性关系，还能捕捉认知不确定性对模型结构和潜在参数的影响从而估计模型输出的不确定性。
发明内容
本发明提供一种基于变分贝叶斯深度学习的电网工程造价管控指标预测方法，考虑电网工程造价管控指标预测这一高维多变量、非线性的复杂不确定性；利用深度神经网络的学习能力挖掘多变量间的复杂非线性关系，还能捕捉认知不确定性对模型结构和潜在参数的影响从而估计模型输出的不确定性；最后对预测模型效果进行综合评价。该方法在预测技巧和预测可靠性方面均明显优于其它模型，能够提供有效的不确定度估计预测结果。
本发明采取的技术方案为：
基于变分贝叶斯深度学习的电网工程造价管控指标预测方法，包括以下步骤：
S1：基于工程造价数据库，选取概算前造价数据x与结算造价指标y，形成新的训练样本数据库，表示为：D＝{(x1,y1),(x2,y2),…,(xn,yn)}，其中造价数据随时间不断更新，当给定新的造价数据xn+1时，目标得到结算造价管控指标p(yn+1|xn+1；D)。
x1,y1、x2,y2、xn,yn分别表示训练样本数据中的输入(概算前造价数据)和输出(结算造价指标)。yn+1表示给定新的造价数据xn+1时，对应的输出结算造价指标。
S2：采用基于LSTM深度学习网络的造价指标预测模型，以非线性方式处理造价管控指标数据；
S3：采用随机梯度哈密尔顿蒙特卡洛概率预测方法进行采样，用期望值作为概率的预测值；
S4：采用造价管控指标预测模型隐含概率分布的近似推断，最小化隐变量概率分布与真实分布的差异。
通过上述步骤，完成电网工程造价管控指标预测。
本发明为一种基于变分贝叶斯深度学习的电网工程造价管控指标预测方法，技术效果如下：
1)首先，采用贝叶斯LSTM网络构建管控指标的概率预测模型，该模型既能利用长短期循环神经网络的学习能力挖掘时序造价数据间的复杂非线性关系，还能捕捉不确定性对模型结构和潜在参数的影响。然后，采用KLqp变分贝叶斯推理方法对概率预测模型进行训练，从而获得概率预测模型参数的后验近似分布。最后，采用SGHMC-KDE方法获得预测条件概率分布的概率密度函数，实现电网工程造价管控指标的概率预测。本发明针对电网工程造价管控指标预测这一高维多变量、非线性的复杂不确定性问题，本发明所提方法在预测技巧和预测可靠性方面均明显优于其它模型，能够提供有效的不确定度估计预测结果。
2)针对电网工程造价影响因素错综复杂高维度，当工程情况复杂多变时，很难再通过技术人员的经验估计得到单项工程可靠预测结果的问题。本发明能利用深度神经网络的学习能力挖掘多变量间的复杂非线性关系。
3)针对现有全过程管控策略在造价管控阶段发展过程中受社会、经济、地理、气候等诸多不确定性因素影响，造价数据与造价指标之间的非线性关系会融入认知不确定性的问题。本发明运用贝叶斯概率理论考虑了深度学习中参数的不确定性对模型结构和潜在参数的影响，使得预测模型更符合真实工程情况。
附图说明
图1为LSTM网络的循环单元结构示意图。
图2为随机梯度哈密尔顿蒙特卡洛概率预测流程图。
图3(1)为训练数据集20样本的预测结果图；
图3(2)为训练数据集40样本的预测结果图。
图4(1)为训练数据集60样本的预测结果图；
图4(2)为训练数据集90样本的预测结果图。
图5(1)为训练数据集120样本的预测结果图；
图5(2)为训练数据集150样本的预测结果图。
图6(1)为训练数据集180样本的预测结果图；
图6(2)为训练数据集200样本的预测结果图。
图7(1)为N＝60时，PPC(平均值)的核密度图将数据与后验样本进行比较图；
图7(2)为N＝200时，PPC(平均值)的核密度图将数据与后验样本进行比较图。
图8(1)为N＝60时，PPC(最大值)的核密度图将数据与后验样本进行比较图；
图8(2)为N＝200时，PPC(最大值)的核密度图将数据与后验样本进行比较图。
图9为N＝60时，证据下限(ELBO)作为迭代的函数仿真图。
图10为N＝200时，证据下限(ELBO)作为迭代的函数仿真图。
图11(1)为N＝60时，变分推断前训练集的参数推断效果图；
图11(2)为N＝200时，变分推断前训练集的参数推断效果图。
图12(1)为N＝60时，变分推断后训练集参数推断效果图；
图12(2)为N＝200时，变分推断后训练集参数推断效果图。
图13(1)为N＝60时，变分推断后测试集参数推断效果图；
图13(2)为N＝200时，变分推断后测试集参数推断效果图。
具体实施方式
基于变分贝叶斯深度学习的电网工程造价管控指标预测方法，包括以下步骤：
步骤1：针对电网工程造价管控指标这一高维多变量、非线性数据，确定可行的电网工程造价管控指标预测模型及概率预测方法；
步骤1.1：采用基于LSTM深度学习网络的造价指标预测模型，以非线性方式处理具有多个维度的数据；
步骤1.2：采用随机梯度哈密尔顿蒙特卡罗概率预测方法，进行高效的采样，用期望值作为概率的预测值；
步骤2：采用造价管控指标预测模型隐含概率分布的近似推断，最小化隐变量概率分布与真实分布的差异；
步骤2.1：采用先验分布的变分贝叶斯近似推断，寻找一个简单的分布q*(z)来近似条件概率密度p(z|D)；
步骤2.2：采用变分后验概率分布的Klqp推理，分析找到p(ω,b|D)的一个后验概率分布的高斯近似；
步骤3：采用某省电力工程造价数据库，对实际案例进行验证，对本发明方法预测效果进行综合评估。
1：电网工程造价管控指标预测模型及概率预测方法：
影响造价的因素众多，其影响的不确定性加大了预测的难度。本发明运用贝叶斯深度学习网络充分挖掘各环节造价的不确定性，基于概率预测结果指导并修正本环节的项目造价，从而实现了超前的全过程闭环管控。
基于现有工程造价数据库，选取概算前造价数据x与结算造价指标y，形成新的训练样本数据库，表示为：D＝{(x1,y1),(x2,y2),…,(xn,yn)}，其中造价数据随时间不断更新，当给定新的造价数据xn+1时，目标得到结算造价管控指标p(yn+1|xn+1；D)。为充分计及时间序列相关性因素与管控不确定性因素的影响，本发明提出了一种变分贝叶斯深度学习概率预测模型。
1.1：基于LSTM深度学习网络的造价指标预测模型：
在众多深度学习模型中，长短期记忆网络(Long Short-Term Memory Network，LSTM)能够非线性地建模，并以非线性方式处理具有多个维度的数据，通过引入门控机制可以有效解决梯度***或消失问题。其中，输人门i(t)控制当前时刻的候选状态有多少信息需要保存，遗忘门f(t)控制上一个时刻的内部状态c(t-1)需要遗忘多少信息，输出门o(t)控制当前时刻的内部状态c(t)有多少信息需要输出给外部状态。其控制信息传递的路径计算方式为：
i(t)＝σ(W(i)x(t)+U(i)h(t-1)+b(i)) (1)
f(t)＝σ(W(f)x(t)+U(f)h(t-1)+b(f)) (2)
o(t)＝σ(W(o)x(t)+U(o)h(t-1)+b(o)) (3)
式中：σ(·)为sigmoid函数，其输出区间为(0,1)，x(t)为当前时刻的输入，h(t-1)为上一时刻的外部状态，即t-1时刻隐含层状态。W(i)、W(f)、W(o)分别是输入门、遗忘门、输出门对应输入的权重。U(i)、U(f)、U(o)分别是输入门、遗忘门、输出门对应上一时刻的外部状态的权重。b(i)、b(f)、b(o)分别是输入门、遗忘门、输出门对应的偏差。其记忆结构示意图如图1所示。
通过LSTM循环单元的记忆信息，整个网络的依赖关系表示为：
c(t)＝f(t)⊙c(t-1)+i(t)⊙c(t) (5)
h(t)＝o(t)⊙tanh(c(t)) (6)
其中，⊙为向量元素乘积,c(t)表示t时刻的长期记忆状态，
是通过非线性函数得到的候选状态，h(t)表示隐含层状态。
1.2：随机梯度哈密尔顿蒙特卡罗概率预测方法：
当对上述模型进行训练后，造价管控样本数据和管控指标之间存在隐藏关系用隐藏变量z来表示，结算环节造价管控指标的概率预测可以表示为：
p(y|x)＝∫p(y|x,z)p(z|D)dz (7)
其中：z＝{ω,b}，ω＝[ω1，…，ωL]为多层神经网络各层的权重向量，b＝[b1，…，bL]为多层神经网络各层的偏置。对应网络输出的工程结算造价管控指标为y＝fz(x,ω,b)。
本发明采用随机梯度哈密尔顿蒙特卡罗法进行高效的采样，用期望值作为概率的预测值，操作流程如图2所示。
随机梯度哈密尔顿蒙特卡罗法采样的结果是要服从于LSTM深度学习网络的p(z|D)分布，实际操作难以实现。因此，具体实施采用近似分布q(ω,b)，采样结果表示如下：
公式(8)表示随机梯度哈密尔顿蒙特卡洛法采样采用的一组权重和偏置参数
公式(9)表示采样的
对应的输出y1,y2,…,yM。
基于公式(8)(9)可得预测的电网造价管控指标为：
式中，M为样本的个数，Yn为采样的
对应的输出。
2：造价管控指标预测模型隐含概率分布的近似推断：
为了提高预测模型的精度，准确得到模型参数的概率密度函数十分关键，可以通过在模型参数或模型输出上加入概率分布来估计不确定性。假设网络的输出的最大似然函数服从高斯分布，其均值与D有关，由确定训练好的网络所决定，方差为
式中，p(y|fz(x,ω,b))表示在造价管控指标为fz(x,ω,b)的条件下，输出y的概率分布，
类似地，设置权值w的先验概率分布和偏执b的先验概率分布选为高斯分布，形式为：
式中
代表高斯分布，I为单位矩阵。
对于N次独立同分布得到其似然函数为：
式中，fz(xn,w,b)为输入为xn时对应的造价管控指标，p(yn|fz(xn,w,b))为在该条件下，输出为yn的条件概率。
计及电网造价是复杂连续的工程问题，造价数据与造价指标之间的非线性关系难以估计，无法精确得到隐变量概率分布。因此，采用近似推断和变分推理来最小化与真实分布的差异。
2.1：先验分布的变分贝叶斯近似推断：
根据贝叶斯公式可知，隐变量的概率密度p(z|D)表示如下：
式中，p(z)表示隐变量的先验概率，p(D|z)表示在隐变量为z的条件下，样本为D的概率，p(D)表示样本D的先验概率。
其中，积分函数求解难度大。采用变分推断来寻找一个简单的分布q*(z)来近似条件概率密度p(z|D)。这样，推断问题转换为一个泛函优化问题：
式中，KL(q(z)||p(z|D))散度就是相对熵，用于衡量两个概率分布q(z)和p(z|D)之间的差异。Ω为候选的概率分布族。
其中Ω为候选的概率分布族。KL散度无法直接优化，将对数边际似然函数logp(D)分解：
logp(D)＝ELBO(q,D)+KL(q(z)||p(z|D)) (17)
式中ELBO(q,D)表示证据下界，证据指数据的概率密度。
因此，可以转化为下式寻找一个简单分布q*(z)来最大化证据下界ELBO(q,D)。
式中，argmin(logp(D)-ELBO(q,D))表示logp(D)-ELBO(q,D)取最小值的时候q的取值，argmaxELBO(q,D)表示ELBO(q,D)取最大值时，q的取值。
为了求解上式，通常选择平均场(mean-feld)的方法。一个简单而有效的变分族为平均场变分族(mean-field variational family)，它假设了隐藏变量z间是相互独立的，概率密度q(z)可以分解为：
式中，zm是隐变量的子集。qm(zm)为zm的概率分布，此时，ELBO(q,D)为：
式中，logp(D,z)为对数联合概率密度，M为样本数量。
假设只关心子集zj的近似分布为qj(zj)，公式(20)可写为：
式中，a为常数，qj(zj)子集zj的近似分布，logp(D,z)为对数联合概率密度并有：
式中，
表示在子集zj的近似分布下的数学期望，logp为对数联合概率密度，zm是隐变量的子集。
根据公式(21)，最小化
就等价于最大化(18)中的ELBO(q,D)。也即最优的q* j(zj)正比于对数联合概率密度logp(D,z)的期望的指数：
式中，
表示在隐变量zj的权重参数ωj的近似分布下的数学期望，∝表示成正比，exp表示以自然常数e为底的指数函数。
其中：期望是根据q(z\j)计算的，可以选择合适的qm(zm)，1≤m≤M，使得这个期望具有闭式解。
2.2：变分后验概率分布的Klqp推理：
网络中ω，b的一个后验概率分布满足：
式中，∝表示成正比，
分别表示输出，权重，偏置的方差。
但是，fz(xD,ω,b)与ω的关系是非线性的，后验概率不是单纯的高斯分布。本发明采用KLqp变分推论方法来找到p(ω,b|D)的一个后验概率分布的高斯近似。基于前述的近似推断，假设p(ω,b|D)的变分后验概率分布为q(ω,b)。变分后验概率分布可以分解表达为：
q(ω,b)＝q(ω)q(b) (25)
找到这个分布中的因子的重新估计方程。对于每个因子，我们取所有变量上的联合概率分布的对数，然后关于不在这个因子中的变量求平均。首先考虑ω，只保留与w有函数依赖关系的项，b的推导过程同ω一致，可得：
式中，β为噪声精度是一个常数，a为一个常数，Φ为欧拉函数，
为输入
权重w偏置b时对应的隐变量，
方差为
时的数学期望。
由于上述形式为二次型，因此q*(ω)为一个高斯分布。采用配平方法，可得均值和协方差，则变分后验概率分布为：
q*(w)＝N(w|MN,SN) (27)
其中：N(w|MN,SN)表示均值为MN协方差为SN的高斯分布；
MN＝βSNΦTy
式中，β为噪声精度是一个常数，Φ为欧拉函数，ΦT为转置。
最优的q*(ω,b)可以被用来近似后验概率分布。当给定一个新的输入时，新造价管控指标的概率为：
式中，
表示对于N次独立同分布的观测，其中
对应的隐变量，p(ω,b|D)表示样本为D对应的权重和偏置的概率分布，q*(ω,b)为上文中求得的近似后验概率分布。
3：验证实例：
本实例采用某省电网公司2015-2019年造价数据库中选取240个具有代表性的新建变电工程数据；将其中200个作为训练样本集，将工程的主要经济，技术参数作为输入量，将对应单位容量结算造价指标作为输出量，进行批量学习(Batch Learning)，将其中40个工程作为测试集，进行监测检验模型的准确度。
为了验证预测模型的准确性，采用均方根误差(RMSE)和均值绝对误差(MAE)两个指标来体现。RMSE均方根误差是均方误差的算术平方根，均方误差(MSE)是指参数估计值与参数真值之差平方的期望值；MSE可以评价数据的变化程度，MSE的值越小，说明预测模型描述实验数据具有更好的精确度。平均绝对误差(MAE)是绝对误差的平均值；平均绝对误差能更好地反映预测值误差的实际情况。RMSE和MAE计算如下：
式中，N为样本数量，
为输出值。
采用不同规模的训练样本进行学习，然后预测测试集中的结算造价，其预测结果的误差如下表1所示：
表1 RMSE和MAE指标
由表1可以看出，随着样本的增加***的均方误差和绝对平均误差也在持续减小。采用60个样本的历史数据样本预测测试集样本造价的均方误差和绝对平均误差最小，样本少于60个的预测结果的误差较大。此外，随着训练样本的进一步增加，会造成样本的误差增大。样本个数大于200个时，虽有好转，但是误差仍然无法到达有效的提升。
综上可以看出，进行造价预测，合适的训练集样本规模非常重要；样本过大时误差无法有效的减少，且部分样本，如150样本时，出现过拟合现象造成MAE过小。对于单位造价的预测，为保证预测精度需采用60个样本或200个样本进行学习能取得较好的预测精度。
图2为随机梯度哈密尔顿蒙特卡罗概率预测流程图,本发明采用随机梯度哈密尔顿蒙特卡罗法进行高效的采样，用期望值作为概率的预测值。图3(1)、图3(2)、图4(1)、图4(2)、图5(1)、图5(2)、图6(1)、图6(2)为不同训练样本的预测结果对比图。由预测结果，训练样本60时达到了最好的预测效果，样本继续增大，预测效果反而变差，最后训练样本200时也能达到较好预测效果。以预测值作为工程造价管控的参考控制线，用以指导工程建设各环节的造价控制。最终结算造价与预测值差距很小，较好地实现了对工程造价的控制。结算后分析针对实际结算价格与预测值偏差较大的工程进行专题分析，找出造价变化的原因，用以指导今后工程项目的造价管理。通过以预测值为指导的工程造价管控，可以有效控制工程造价，实现企业的管理目标。
图7(1)、图7(2)和图8(1)、图8(2)为不同ppcs的两种可视化；绘制的后验分布是从N＝60个数据和N＝200个数据的核密度估计。
经过训练的模型做出的预测具有较低的均方误差(相对于输出的大小)。为了进一步评估模型的预测效果，采用后验预测检验(PPC)方法，有效地评估了模型对观察数据的拟合。
该方法采用后验预测分布，根据观察到的样本值生成可观察样本值。如果模型符合观察到的样本值，则来自后验预测分布的可观测样本值将与观察到的样本值相同。通过将可观察样本值与观察到的样本值进行比较，可以检查模型对观测数据的适用性。采用另一类批评技术，称为后验预测检查(ppcs)。最简单的ppc通过对后验预测生成的新数据(例如T(xnew)＝max(xnew))应用检验统计量来工作。在许多数据复制中将T(xnew)应用于新数据会得到测试统计量ppd(T)的分布。我们将此分布与应用于原始数据集T(x)的检验统计量进行比较。
PPC构成了预测差异的经验分布：
p(T|x)＝∫p(T(xrep)|z)p(z|x)dz (32)
式中，T(xrep)表示后验预测产生的新数据，p(T|x)表示预测差异的经验分布，这将计算原始数据集以及由后验预测分布生成的数据复制的测试统计量。
本发明分别选取60样本的集合进行训练；200样本的集合进行训练，其校验数据集合的PPC如图图8(1)、图8(2)，图9(1)、图9(2)所示。由图对比可知，模型对两种方案的样本均有较好的适用性。
图9(1)、图9(2)、图10(1)、图10(2)分别显示了ELBO从N＝60，N＝200数据开始的迭代过程。N＝60变异推理在大约200次迭代中收敛，N＝200变异推理在大约400次迭代中收敛。
图11(1)、图11(2)、图12(1)、图12(2)、图13(1)、图13(2)给出了60样本和200样本推断前后的概率推断结果对比图。
在这种情况下，KLqp默认使用重新参数化梯度使其散度测度最小。最小化此差异度量等同于最大化证据下界(ELBO)。
由推断效果图可得，变分推断后，60样本的训练集和测试集均有较好的拟合效果，200样本的训练集参数偏差比较大，测试集相对60样本偏差略大。
同时考虑到计算复杂度和模型预测时间，60次在200次迭代时便开始收敛，能够更加快速预测出造价管控指标。针对输变电工程造价数据的高维小样本特性，在预测短时间尺度下，只需较少的样本做为训练集，便可达到较好的预测效果。因此，由本工程样本数据集得的不确定度估计结果表明，该方法在预测技巧和预测可靠性方面均明显优于其它模型，且针对输变电工程造价数据的高维小样本特性，只需较少的样本做为训练集，便可达到较好的预测效果。
综合分析可知，本发明一种基于变分贝叶斯深度学习的电网工程造价控制指标概率预测方法，该方法运用贝叶斯概率理论考虑了深度学习中参数的不确定性，使得预测模型具有不确定性，更符合真实工程情况。针对输变电工程造价数据的高维小样本特性，该模型能够提供有效的电网工程造价管控指标不确定度估计预测结果，且通过模型预预测的结算造价与实际造价误差较小，可以满足实际工程造价评估需要。可以为电力工程建设争取主动时间,提高项目资金投入的审查效率和项目的质量,指导新电力建工程的造价。
Claims (6)
1.基于变分贝叶斯深度学习的电网工程造价管控指标预测方法，其特征在于包括以下步骤：
S1：基于工程造价数据库，选取概算前造价数据x与结算造价指标y，形成新的训练样本数据库，表示为：D＝{(x1，y1)，(x2，y2)，...，(xn，yn)}，其中造价数据随时间不断更新，当给定新的造价数据xn+1时，目标得到结算造价管控指标p(yn+1|xn+1；D)；
S2：采用基于LSTM深度学习网络的造价指标预测模型，以非线性方式处理造价管控指标数据；
S3：采用随机梯度哈密尔顿蒙特卡洛概率预测方法进行采样，用期望值作为概率的预测值；
S4：采用造价管控指标预测模型隐含概率分布的近似推断，最小化隐变量概率分布与真实分布的差异；
通过上述步骤，实现造价管控指标预测。
2.根据权利要求1所述基于变分贝叶斯深度学习的电网工程造价管控指标预测方法，其特征在于：S2中，基于LSTM深度学习网络的造价指标预测模型包括输人门i(t)、遗忘门f(t)、输出门o(t)；输人门i(t)控制当前时刻的候选状态有多少信息需要保存，遗忘门f(t)控制上一个时刻的内部状态c(t-1)需要遗忘多少信息，输出门o(t)控制当前时刻的内部状态c(t)有多少信息需要输出给外部状态，其控制信息传递的路径计算方式为：
i(t)＝σ(W(i)x(t)+U(i)h(t-1)+b(i)) (1)
f(t)＝σ(W(f)x(t)+U(f)h(t-1)+b(f)) (2)
o(t)＝σ(W(o)x(t)+U(o)h(t-1)+b(o)) (3)
式中：σ(·)为sigmoid函数，其输出区间为(0，1)，x(t)为当前时刻的输入，h(t-1)为上一时刻的外部状态，即t-1时刻隐含层状态；W(i)、W(f)、W(o)分别是输入门、遗忘门、输出门对应输入的权重；U(i)、U(f)、U(o)分别是输入门、遗忘门、输出门对应上一时刻的外部状态的权重；b(i)、b(f)、b(o)分别是输入门、遗忘门、输出门对应的偏差。
3.根据权利要求2所述基于变分贝叶斯深度学习的电网工程造价管控指标预测方法，其特征在于：S3中，当对S2中模型进行训练后，造价管控样本数据和管控指标之间存在隐藏关系用隐藏变量z来表示，结算环节造价管控指标的概率预测表示为：
p(y|x)＝∫p(y|x，z)p(z|D)dz (4)
其中：z＝{ω，b}，ω＝[ω1，...，ωL]为多层神经网络各层的权重向量，b＝[b1，...，bL]为多层神经网络各层的偏置，对应网络输出的工程结算造价管控指标为y＝fz(x，ω，b)；
随机梯度哈密尔顿蒙特卡洛法采样采用近似分布q(ω，b)，采样结果表示如下：
公式(5)表示随机梯度哈密尔顿蒙特卡洛法采样采用的一组权重和偏置参数
公式(6)表示采样的
对应的输出y1，y2，…，yM；
基于公式(5)(6)得到预测的电网造价管控指标为：
式中，M为样本的个数，Yn为采样的
对应的输出。
4.根据权利要求1所述基于变分贝叶斯深度学习的电网工程造价管控指标预测方法，其特征在于：S4中，造价管控指标预测模型包括：
构建出深度学习网络，设网络的输出的最大似然函数服从高斯分布，其均值与D有关，由确定训练好的网络所决定，方差为
式中，p(y|fz(x，ω，b))表示在造价管控指标为fz(x，ω，b)的条件下，输出y的概率分布，
表示输出y服从数学期望为fz(x，ω，b)方差为
的高斯分布；
类似地，设置权值w的先验概率分布和偏置b的先验概率分布选为高斯分布，形式为：
式中
代表高斯分布，I为单位矩阵；
对于N次独立同分布得到其似然函数为：
式中，fz(xn，w，b)为输入为xn时对应的造价管控指标，p(yn|fz(xn，w，b))为在该条件下，输出为yn的条件概率。
5.根据权利要求1所述基于变分贝叶斯深度学习的电网工程造价管控指标预测方法，其特征在于：S4中，采用先验分布的变分贝叶斯近似推断，寻找一个简单的分布q*(z)来近似条件概率密度p(z|D)，具体包括：
根据贝叶斯公式可知，隐变量的概率密度p(z|D)表示如下：
式中，p(z)表示隐变量的先验概率，p(D|z)表示在隐变量为z的条件下，样本为D的概率，p(D)表示样本D的先验概率；
采用变分推断来寻找一个简单的分布q*(z)来近似条件概率密度p(z|D)；推断问题转换为一个泛函优化问题：
式中，KL(q(z)||p(z|D))散度就是相对熵，用于衡量两个概率分布q(z)和p(z|D)之间的差异；Ω为候选的概率分布族；
KL散度无法直接优化，将对数边际似然函数log p(D)分解：
log p(D)＝ELBO(q，D)+KL(q(z)||p(z|D)) (14)
式中，ELBO(q，D)为对数似然的一个证据下界，证据指数据的概率密度；
因此，转化为下式寻找一个简单分布q*(z)来最大化证据下界ELBO(q，D)；
式中，argmin(log p(D)-ELBO(q，D))表示log p(D)-ELBO(q，D)取最小值的时候q的取值，arg max ELBO(q，D)表示ELBO(q，D)取最大值时，q的取值；
为了求解上式，选择平均场的方法，设隐藏变量z间是相互独立的，概率密度q(z)可以分解为：
式中，zm是隐变量的子集；qm(zm)为zm的概率分布；
设只关心子集zj的近似分布为qj(zj)，此时，ELBO(q，D)为：
式中，a为常数，qj(zj)子集zj的近似分布，log p(D，z)为对数联合概率密度并有：
式中，
表示在子集zj的近似分布下的数学期望，log p为对数联合概率密度，zm是隐变量的子集；
根据公式(17)，最小化
就等价于最大化公式(15)中的ELBO(q，D)；也即最优的q* j(zj)正比于对数联合概率密度log p(D，z)的期望的指数：
式中，
表示在隐变量zj的权重参数ωj的近似分布下的数学期望，∝表示成正比，exp表示以自然常数e为底的指数函数；
其中：期望是根据q(z\j)计算的，选择合适的qm(zm)，1≤m≤M，使得这个期望具有闭式解。
6.根据权利要求1所述基于变分贝叶斯深度学习的电网工程造价管控指标预测方法，其特征在于：S4中，采用变分后验概率分布的Klqp推理，分析找到p(ω，b|D)的一个后验概率分布的高斯近似，具体如下：
网络中ω，b的一个后验概率分布满足：
式中，∝表示成正比，
分别表示输出，权重，偏置的方差；
采用KLqp变分推论方法来找到p(ω，b|D)的一个后验概率分布的高斯近似，设p(ω，b|D)的变分后验概率分布为q(ω，b)；变分后验概率分布分解表达为：
q(ω，b)＝q(ω)q(b) (21)
找到这个分布中的因子的重新估计方程；对于每个因子，取所有变量上的联合概率分布的对数，然后关于不在这个因子中的变量求平均；首先考虑ω，只保留与w有函数依赖关系的项，b的推导过程同ω一致，得：
式中，β为噪声精度是一个常数，a为一个常数，Φ为欧拉函数，
为输入
权重w偏置b时对应的隐变量，
方差为
时的数学期望；
由于上述形式为二次型，因此q*(ω)为一个高斯分布；采用配平方法，得到均值和协方差，则变分后验概率分布为：
q*(w)＝N(w|MN，SN) (23)
其中：N(w|MN，SN)表示均值为MN协方差为SN的高斯分布
MN＝βSNΦTy
式中，β为噪声精度是一个常数，Φ为欧拉函数；
最优的q*(ω，b)能够被用来近似后验概率分布，当给定一个新的输入时，新造价管控指标的概率为：
式中，
表示对于N次独立同分布的观测，其中
对应的隐变量，p(ω，b|D)表示样本为D对应的权重和偏置的概率分布，q*(ω，b)为上文中求得的近似后验概率分布。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110297761.8A CN112862004B (zh) | 2021-03-19 | 2021-03-19 | 基于变分贝叶斯深度学习的电网工程造价管控指标预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110297761.8A CN112862004B (zh) | 2021-03-19 | 2021-03-19 | 基于变分贝叶斯深度学习的电网工程造价管控指标预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112862004A true CN112862004A (zh) | 2021-05-28 |
| CN112862004B CN112862004B (zh) | 2022-08-05 |
Family
ID=75993695
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110297761.8A Active CN112862004B (zh) | 2021-03-19 | 2021-03-19 | 基于变分贝叶斯深度学习的电网工程造价管控指标预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112862004B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113868957A (zh) * | 2021-10-11 | 2021-12-31 | 北京航空航天大学 | 贝叶斯深度学习下剩余寿命预测及不确定性量化校准方法 |
| CN117709908A (zh) * | 2024-02-06 | 2024-03-15 | 国网山东省电力公司东营供电公司 | 一种电网工程人、材、机分配合理性智慧审计方法与*** |
| CN117972557A (zh) * | 2023-12-27 | 2024-05-03 | 沈阳翰熙机械设备有限公司 | 一种重型装备的贝叶斯深度学习故障诊断方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106683122A (zh) * | 2016-12-16 | 2017-05-17 | 华南理工大学 | 一种基于高斯混合模型和变分贝叶斯的粒子滤波方法 |
| CN107358311A (zh) * | 2017-06-07 | 2017-11-17 | 西安工业大学 | 一种时间序列预测方法 |
| US20180165554A1 (en) * | 2016-12-09 | 2018-06-14 | The Research Foundation For The State University Of New York | Semisupervised autoencoder for sentiment analysis |
| CN110751199A (zh) * | 2019-10-15 | 2020-02-04 | 南京航空航天大学 | 一种基于贝叶斯神经网络的卫星异常检测方法 |
| CA3145875A1 (en) * | 2019-08-02 | 2021-02-11 | Jacob D. Feala | Machine learning guided polypeptide design |
-
2021
- 2021-03-19 CN CN202110297761.8A patent/CN112862004B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180165554A1 (en) * | 2016-12-09 | 2018-06-14 | The Research Foundation For The State University Of New York | Semisupervised autoencoder for sentiment analysis |
| CN106683122A (zh) * | 2016-12-16 | 2017-05-17 | 华南理工大学 | 一种基于高斯混合模型和变分贝叶斯的粒子滤波方法 |
| CN107358311A (zh) * | 2017-06-07 | 2017-11-17 | 西安工业大学 | 一种时间序列预测方法 |
| CA3145875A1 (en) * | 2019-08-02 | 2021-02-11 | Jacob D. Feala | Machine learning guided polypeptide design |
| CN110751199A (zh) * | 2019-10-15 | 2020-02-04 | 南京航空航天大学 | 一种基于贝叶斯神经网络的卫星异常检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| STEFFEN JUNG，ET.AL: "Sequential Monte Carlo Filtering with Long Short-Term Memory Prediction", 《22ND INTERNATIONAL CONFERENCE ON INFORMATION FUSION》 * |
| 余本功等: "基于nLD-SVM-RF的短文本分类研究", 《数据分析与知识发现》 * |
| 尹爱军等: "基于变分自编码器的轴承健康状态评估", 《振动.测试与诊断》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113868957A (zh) * | 2021-10-11 | 2021-12-31 | 北京航空航天大学 | 贝叶斯深度学习下剩余寿命预测及不确定性量化校准方法 |
| CN113868957B (zh) * | 2021-10-11 | 2024-05-31 | 北京航空航天大学 | 贝叶斯深度学习下剩余寿命预测及不确定性量化校准方法 |
| CN117972557A (zh) * | 2023-12-27 | 2024-05-03 | 沈阳翰熙机械设备有限公司 | 一种重型装备的贝叶斯深度学习故障诊断方法 |
| CN117709908A (zh) * | 2024-02-06 | 2024-03-15 | 国网山东省电力公司东营供电公司 | 一种电网工程人、材、机分配合理性智慧审计方法与*** |
| CN117709908B (zh) * | 2024-02-06 | 2024-06-04 | 国网山东省电力公司东营供电公司 | 一种电网工程人、材、机分配合理性智慧审计方法与*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112862004B (zh) | 2022-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sangiorgio et al. | Robustness of LSTM neural networks for multi-step forecasting of chaotic time series | |
| CN112862004B (zh) | 基于变分贝叶斯深度学习的电网工程造价管控指标预测方法 | |
| Psaros et al. | Uncertainty quantification in scientific machine learning: Methods, metrics, and comparisons | |
| Li et al. | A new prognostics method for state of health estimation of lithium-ion batteries based on a mixture of Gaussian process models and particle filter | |
| Liu et al. | Deep learning prognostics for lithium-ion battery based on ensembled long short-term memory networks | |
| Kumerički et al. | Neural network generated parametrizations of deeply virtual Compton form factors | |
| Dudul | Prediction of a Lorenz chaotic attractor using two-layer perceptron neural network | |
| CN111144644B (zh) | 基于变分异方差高斯过程回归的短期风速预测方法 | |
| Kamalapurkar et al. | Concurrent learning-based approximate optimal regulation | |
| Ribeiro et al. | “Parallel Training Considered Harmful?”: Comparing series-parallel and parallel feedforward network training | |
| Xu et al. | High-accuracy health prediction of sensor systems using improved relevant vector-machine ensemble regression | |
| Mousavi et al. | Estimation with fast feature selection in robot visual navigation | |
| Demeester | System identification with time-aware neural sequence models | |
| Lin et al. | Development and assessment of prognosis digital twin in a NAMAC system | |
| CN116613732A (zh) | 一种基于shap值选择策略的多元负荷预测方法及*** | |
| Liu et al. | Online learning algorithm based on adaptive control theory | |
| Gazut et al. | Towards the optimal design of numerical experiments | |
| Yakushin et al. | Neural network model for forecasting statistics of communities of social networks | |
| Polcz et al. | Efficient implementation of Gaussian process–based predictive control by quadratic programming | |
| Kim et al. | Data-driven prognostics | |
| Gottwald et al. | Analysis and optimisation of bellman residual errors with neural function approximation | |
| Brito et al. | Towards implementation of residual-feedback GMDH neural network on parallel GPU memory guided by a regression curve | |
| Jiang et al. | Data-Driven, Physics-Guided Learning of Dynamic System Models | |
| Lee et al. | Learning first-principles knowledge from data | |
| Minitaeva | Multimodel Approach to Forecasting Nonlinear Nonstationary Processes in Optimal Control Problems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210528 Assignee: Yichang Yizhixing Technology Co.,Ltd. Assignor: CHINA THREE GORGES University Contract record no.: X2023980034895 Denomination of invention: Prediction method for cost control indicators of power grid engineering based on variational Bayesian deep learning Granted publication date: 20220805 License type: Common License Record date: 20230426 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210528 Assignee: Hubei Zhikan Technology Co.,Ltd. Assignor: CHINA THREE GORGES University Contract record no.: X2023980043945 Denomination of invention: Prediction method for cost control indicators of power grid engineering based on variational Bayesian deep learning Granted publication date: 20220805 License type: Common License Record date: 20231024 |
|
| EE01 | Entry into force of recordation of patent licensing contract |