CN111667117A - 一种电力负荷预测中应用贝叶斯估计补充缺失值的方法 - Google Patents

一种电力负荷预测中应用贝叶斯估计补充缺失值的方法 Download PDF

Info

Publication number
CN111667117A
CN111667117A CN202010521260.9A CN202010521260A CN111667117A CN 111667117 A CN111667117 A CN 111667117A CN 202010521260 A CN202010521260 A CN 202010521260A CN 111667117 A CN111667117 A CN 111667117A
Authority
CN
China
Prior art keywords
data
power load
theta
data set
bayesian estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010521260.9A
Other languages
English (en)
Inventor
周浩
胡炳谦
顾一峰
韩俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ieslab Energy Technology Co ltd
Original Assignee
Shanghai Ieslab Energy Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ieslab Energy Technology Co ltd filed Critical Shanghai Ieslab Energy Technology Co ltd
Priority to CN202010521260.9A priority Critical patent/CN111667117A/zh
Publication of CN111667117A publication Critical patent/CN111667117A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067—Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Supply And Distribution Of Alternating Current (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

在电力负荷预测中，指定单位的历史负荷数据通常是进行预测计算，模拟的重要基础数据，但是理是电力负荷数据的数据集会因为各种原因（例如突发事件导致的数据丢失等）而包含缺失值，这些缺失值通常会被留为空白，或是被标记为占位符。当电力负荷预测模型训练一个包含很多缺失值的数据集时，缺失值的存在会很大程度上影响机器学习模型的表现。本发明提出了一种电力负荷预测中对历史负荷数据中的缺失值应用贝叶斯估计补充缺失数据的方法,其特点在于利用贝叶斯估计方法算出极大似然数以补充电力历史负荷数据集中的缺失值。

Description

一种电力负荷预测中应用贝叶斯估计补充缺失值的方法
技术领域
本发明涉及电力负荷预测技术领域，具体涉及一种电力负荷预测中对历史负荷数据中的缺失值应用贝叶斯估计补充缺失数据的方法。
背景技术
对电力负荷的准确预测是保证电力***安全，经济运行和实现电网科学管理及调度的重要基础, 也是电力能源管理***的核心组成部分。 在电力负荷预测中，指定单位的历史负荷数据通常是进行预测计算，模拟的重要基础数据。 但是理是电力负荷数据的数据集会因为各种原因（例如突发事件导致的数据丢失等）而包含缺失值，这些缺失值通常会被留为空白，或是被标记为占位符。当电力负荷预测模型训练一个包含很多缺失值的数据集时，缺失值的存在会很大程度上影响机器学习模型的表现。电力负荷预测中的一些算法会假设所有值都是数值型且包含意义的。处理这种问题的一种途径是删除包含缺失值的各个数据对，但是这种做法存在丢失有价值信息的风险。另一种更优的策略则是插补缺失值，也就是从观测的数据中推测出缺失值的大小。本发明公开了一种电力负荷预测中对历史负荷数据的缺失值应用贝叶斯估计的方法补充缺失数据，达到保证电力负荷预测模型完整有效的运行预测的目的。
发明内容
本发明提出了一种电力负荷预测中对历史负荷数据中的缺失值应用贝叶斯估计补充缺失数据的方法, 其特点在于利用贝叶斯估计方法算出极大似然数以补充电力历史负荷数据集中的缺失值。
贝叶斯估计是统计学中一种对模型的参数确定的方法，认为数据集中的各个参数是服从某种概率分布的，已有的数据只是在这种参数的分布下产生的。所以，直观理解上，就是假设一个参数 θ，然后根据数据来求出这个θ. 其中θ出现的概率p(θ) 需要人为设定，之后再考虑结合MAP （maximum a posterior）方法来求一个具体的θ。贝叶斯估计在数据量较少或者比较稀疏的情况下，考虑先验来提升准确率，其估计的参数能够较好的反映实际情况。贝叶斯估计在本发明中的应用是针对电力负荷预测中的缺失数据，在整个数据集的分布中进行拟合以找到最大似然数，填补空缺值，保证数据的完整性，进而确保电力负荷预测的模型运行效果，填补缺失值前的原始数据集合及填补缺失值后的数据集合将进行单因素方差分析（one way-ANOVA），计算两组数据间显著性差异值，需要保证两组数据间没有显著性差异。如果两组数据验证后存在显著性差异，则需要调整贝叶斯估计模型中的具体限制性参数的选择，或者仍然剔除缺失值以确保填补后的数据与原始数据不存在显著性差异，整体数据集可以保持一定的有效性；实际收集到的电力负荷历史数据或经过去除异常值/去噪处理的数据集经过贝叶斯估计不中缺失值，可以提高整体数据集的有效性。将经过填补的数据集用于电力负荷预测模型将大大的提高电力负荷预测的可靠度与准确性，本发明的实现流程示意图如图1所示。
附图说明
图1 是本发明实施例中利用贝叶斯估计补充缺失值的处理流程示意图。
具体实施方式
为使得本发明的内容、目的、特征及优点能够更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护说明书的范围。
步骤一、数据预处理：对采集到的原始数据按时间序列排列，确定数据集起止时间，检查数据在时间序列上的缺省，标明缺省值并记录缺省的起止时间。
步骤二、贝叶斯估计补充缺失值：将经过步骤一预处理的历史电力负荷数据标注时间戳后进行贝叶斯估计运算，补充在某些时间段没有相对应的数据，电力负荷数据在时间序列上的连贯性。具体采用的计算方法如下：
1.通过数据集的分布形态确定确失值参数θ的先验分布函数P(θ)；
2.由整体数据集的D={x1，x2, …,xn}求出样本的联合分布函数P（D|θ），它是针对于θ的一个函数；
3.利用贝叶斯公式，求出θ的后验分布：
Figure 323910DEST_PATH_IMAGE001
；
4.求出贝叶斯估计值：
Figure 512184DEST_PATH_IMAGE002
其中
Figure 475592DEST_PATH_IMAGE003
为计算目标所求的最大似然数，用于补充缺失值。计算方法中的先验分布函数P (θ)及样本的联合分布函数P（D|θ）由数据集拟合高斯分布而得，预设条件为数据集在整体 分布上满足正态高斯分布。
步骤三、数据有效性验证：原始电力负荷数据集与经过补充数据处理之后的数据集需要进行数据有效性统计差异性的检查以保证数据 的有效性。两组数据将进行单因素方差分析（one way-ANOVA），计算两组数据间显著性差异 值，需要保证两组数据间没有显著性差异。如果两组数据验证后存在显著性差异，则需要调 整步骤二的具体参数的选择，减少对原始数据剔除极大差异值的数量以及降低去噪处 理的程度以确保处理后的数据与原始数据不存在显著性差异，处理后的数据保持有效性。
本发明提出了一种应用贝叶斯估计的方法补充电力负荷预测的历史数据中由于各种原因造成的缺失值的方法，其特点为在电力负荷预测数据预处理中引入了贝叶斯估计的方法，选择最大概率的拟合数值补充缺失值，使得用于电力负荷预测的历史数据准确性更 加高，显著提高了电力负荷的预测效果。通过本发明的应用，电力负荷预测模型的数据集将更完整，使得预测模型的训练效果更好，预测准确性得到大幅提升。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。

Claims (1)

1.本发明一种电力负荷预测中应用贝叶斯估计补充缺失值的方法其特征在于，包括：步骤一、数据预处理：对采集到的原始数据按时间序列排列，确定数据集起止时间，检查数据在时间序列上的缺省，标明缺省值并记录缺省的起止时间；
步骤二、贝叶斯估计补充缺失值：将经过步骤一预处理的历史电力负荷数据标注时间戳后进行贝叶斯估计运算，补充在某些时间段没有相对应的数据，电力负荷数据在时间序列上的连贯性；
具体采用的计算方法如下：
1）通过数据集的分布形态确定确失值参数θ的先验分布函数P(θ)；
2）由整体数据集的D={x1，x2, …,xn}求出样本的联合分布函数P（D|θ），它是针对于θ的一个函数；
3）利用贝叶斯公式，求出θ的后验分布：
Figure 706570DEST_PATH_IMAGE001
；
4）求出贝叶斯估计值：
Figure 955542DEST_PATH_IMAGE002
其中
Figure 293114DEST_PATH_IMAGE003
为计算目标所求的最大似然数，用于补充缺失值，
计算方法中的先验分布函数P(θ)及样本的联合分布函数P（D|θ）由数据集拟合高斯分布而得，预设条件为数据集在整体分布上满足正态高斯分布；
步骤三、数据有效性验证：原始电力负荷数据集与经过补充数据处理之后的数据集需要进行数据有效性统计差异性的检查以保证数据 的有效性，两组数据将进行单因素方差分析（one way-ANOVA），计算两组数据间显著性差异 值，需要保证两组数据间没有显著性差异，
如果两组数据验证后存在显著性差异，则需要调 整步骤二的具体参数的选择，减少对原始数据剔除极大差异值的数量以及降低去噪处 理的程度以确保处理后的数据与原始数据不存在显著性差异，处理后的数据保持有效性。
CN202010521260.9A 2020-06-10 2020-06-10 一种电力负荷预测中应用贝叶斯估计补充缺失值的方法 Pending CN111667117A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010521260.9A CN111667117A (zh) 2020-06-10 2020-06-10 一种电力负荷预测中应用贝叶斯估计补充缺失值的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010521260.9A CN111667117A (zh) 2020-06-10 2020-06-10 一种电力负荷预测中应用贝叶斯估计补充缺失值的方法

Publications (1)

Publication Number Publication Date
CN111667117A true CN111667117A (zh) 2020-09-15

Family

ID=72386187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010521260.9A Pending CN111667117A (zh) 2020-06-10 2020-06-10 一种电力负荷预测中应用贝叶斯估计补充缺失值的方法

Country Status (1)

Country Link
CN (1) CN111667117A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117932474A (zh) * 2024-03-22 2024-04-26 山东核电有限公司 一种通信缺失数据确定模型的训练方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964998A (zh) * 2009-07-24 2011-02-02 北京亿阳信通软件研究院有限公司 一种电信网络普通节日话务量的预测方法及其装置
CN104008433A (zh) * 2014-06-03 2014-08-27 国家电网公司 基于贝叶斯动态模型的中长期电力负荷预测方法
CN107577649A (zh) * 2017-09-26 2018-01-12 广州供电局有限公司 缺失数据的插补处理方法及装置
CN108320063A (zh) * 2018-03-26 2018-07-24 上海积成能源科技有限公司 一种电力负荷预测中对异常数据剔除和去噪处理的方法
US20200082283A1 (en) * 2018-09-12 2020-03-12 Samsung Sds Co., Ltd. Method and apparatus for correcting missing value in data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964998A (zh) * 2009-07-24 2011-02-02 北京亿阳信通软件研究院有限公司 一种电信网络普通节日话务量的预测方法及其装置
CN104008433A (zh) * 2014-06-03 2014-08-27 国家电网公司 基于贝叶斯动态模型的中长期电力负荷预测方法
CN107577649A (zh) * 2017-09-26 2018-01-12 广州供电局有限公司 缺失数据的插补处理方法及装置
CN108320063A (zh) * 2018-03-26 2018-07-24 上海积成能源科技有限公司 一种电力负荷预测中对异常数据剔除和去噪处理的方法
US20200082283A1 (en) * 2018-09-12 2020-03-12 Samsung Sds Co., Ltd. Method and apparatus for correcting missing value in data

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117932474A (zh) * 2024-03-22 2024-04-26 山东核电有限公司 一种通信缺失数据确定模型的训练方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN113965359B (zh) 面向联邦学习数据投毒攻击的防御方法及装置
CN111860980A (zh) 一种电力负荷预测中应用分类回归树插补补充缺失值的方法
US20230155378A1 (en) Reliability calculation method of power distribution system considering hierarchical decentralized control of demand-side resources
CN111784173B (zh) Ab实验数据处理方法、装置、服务器及介质
CN110570400A (zh) 一种芯片3d封装检测的信息处理方法和装置
CN112558875A (zh) 数据校验方法、装置、电子设备及存储介质
CN111667117A (zh) 一种电力负荷预测中应用贝叶斯估计补充缺失值的方法
CN114911788B (zh) 一种数据插补方法、装置及存储介质
CN109784484A (zh) 神经网络加速方法、装置、神经网络加速芯片及存储介质
CN106294115A (zh) 一种应用***迁移性的测试方法及装置
CN110796115B (zh) 图像检测方法、装置、电子设备及可读存储介质
CN107945034A (zh) 基于微博财经事件的金融分析方法、应用服务器及计算机可读存储介质
CN112488843A (zh) 基于社交网络的企业风险预警方法、装置、设备和介质
CN108804640B (zh) 基于最大化iv的数据分组方法、装置、储存介质及设备
CN106485526A (zh) 一种数据挖掘模型的诊断方法和装置
CN111966676A (zh) 一种居民用电数据挖掘中应用贝叶斯估计补充缺失值的方法
CN111667123A (zh) 一种电力负荷预测中应用多重插补补充缺失值的方法
CN112783441B (zh) 一种调整虚拟机磁盘读写限速的方法、装置及计算设备
CN115713395A (zh) 一种基于Flink的用户风控管理方法、装置及设备
CN109492086A (zh) 一种答案输出方法、装置、电子设备及存储介质
CN111768045A (zh) 一种居民用电管理中应用多重插补补充居民用电缺失数据的方法
CN111428886A (zh) 一种故障诊断的深度学习模型自适应更新的方法及装置
CN103106103A (zh) 请求信息分类方法及装置
CN117032954B (zh) 针对终端训练模型的内存优化方法、***、设备及介质
CN114679466B (zh) 区块链网络的共识处理方法、装置、计算机设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination