CN107609194B - 一种面向云计算的时间冗余电力负荷数据的存储方法 - Google Patents

一种面向云计算的时间冗余电力负荷数据的存储方法 Download PDF

Info

Publication number
CN107609194B
CN107609194B CN201710964426.2A CN201710964426A CN107609194B CN 107609194 B CN107609194 B CN 107609194B CN 201710964426 A CN201710964426 A CN 201710964426A CN 107609194 B CN107609194 B CN 107609194B
Authority
CN
China
Prior art keywords
power load
data
load information
ych
pch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710964426.2A
Other languages
English (en)
Other versions
CN107609194A (zh
Inventor
田春光
王鼎
吕项羽
都明亮
唐伟宁
高长征
周宏伟
毕正军
王毅
李德鑫
李成钢
张硕
刘立明
崔怀宇
林海源
姚志忠
崔希生
王长胜
高晓峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Jilin Energy Conservation Service Co ltd
STATE GRID JILINSHENG ELECTRIC POWER SUPPLY Co ELECTRIC POWER RESEARCH INSTITUTE
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Jilin Electric Power Co Ltd
State Grid Jilin Electric Power Corp
Original Assignee
State Grid Jilin Energy Conservation Service Co ltd
STATE GRID JILINSHENG ELECTRIC POWER SUPPLY Co ELECTRIC POWER RESEARCH INSTITUTE
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Jilin Electric Power Co Ltd
State Grid Jilin Electric Power Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Jilin Energy Conservation Service Co ltd, STATE GRID JILINSHENG ELECTRIC POWER SUPPLY Co ELECTRIC POWER RESEARCH INSTITUTE, State Grid Corp of China SGCC, Electric Power Research Institute of State Grid Jilin Electric Power Co Ltd, State Grid Jilin Electric Power Corp filed Critical State Grid Jilin Energy Conservation Service Co ltd
Priority to CN201710964426.2A priority Critical patent/CN107609194B/zh
Publication of CN107609194A publication Critical patent/CN107609194A/zh
Application granted granted Critical
Publication of CN107609194B publication Critical patent/CN107609194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Supply And Distribution Of Alternating Current (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种面向云计算的时间冗余电力负荷数据的存储方法,本发明涉及电力领域，具体涉及一种面向云计算的电力负荷数据的存储方法。本发明提出了一种面向云计算的时间冗余电力负荷数据的存储方法。该方法不断的接收负荷信息，在向云计算环境存储的过程中，基于一定的时间范围对存储的数据进行冗余存储，实现在访问一个块的时候，能够参与计算的数据条目都能找到其前驱和后继一定时间范围的数据。

Description

一种面向云计算的时间冗余电力负荷数据的存储方法
技术领域
本发明涉及电力领域，具体涉及一种面向云计算的电力负荷数据的存储方法。
背景技术
电力负荷数据是电网运行的重要数据，该数据记录着特定台区、企业、地区的用电量，很多人工智能、大数据分析算法可以基于电力负荷数据进行分析，这些分析结果对于电网的运行状况、预测用电量，电价的制定、电网的安全管理、风电等清洁能源的接入具有十分重要的作用。
电力负荷数据的一个特点是数据量较大，及基于其上的人工智能、大数据分析算法运算量较大。当前在计算机领域出现的Hadoop等云计算平台可以将数据分散存储于多台存储节点，并在这些存储节点进行计算，这种模式可以大大加快数据处理能力和计算速度。云计算平台的需要将数据存储为分散的数据块，每个数据块随机存储于云平台的一个存储节点上。在进行分析时电力负荷分析算法需要基于MapReduce架构，每次读取一个数据块进行计算，然后合并结果；然而电力负荷数据的最大特点是时间上的相关性，任何一种分析算法都需要读取一段相对连续的时间序列负荷信息才可以获得对应的结果，将数据划分为块的过程可能会导致计算过程割裂开来，一方面可能导致一些算法难以运行，另一方面，可能导致原有的算法需要加入为块之间迭代通讯的机制，大大增加了编程工作量，同时大量存储节点之间的通讯反而会降低算法运行速度。也就是说，目前缺乏一种方法来改进电力负荷信息在云计算环境的存储方式。因此，现有技术当中亟需一种新的技术方案来解决上述问题。
发明内容
本发明所要解决的问题是：提供了一种面向云计算的时间冗余电力负荷数据的存储方法。该方法不断的接收负荷信息，在向云计算环境存储的过程中，基于一定的时间范围对存储的数据进行冗余存储，实现在访问一个块的时候，能够参与计算的数据条目都能找到其前驱和后继一定时间范围的数据。
一种面向云计算的时间冗余电力负荷数据的存储方法，包括电力负荷采集服务器，其特征是包括以下步骤：
步骤一，电力负荷采集服务器获得若干数据块，每个数据块最大存储容量为K；
步骤二，构建电力负荷信息表，该表的存储的字段结构为ID(唯一性标志)、Time(时间点信息)、FH(负荷值)、PCH(预存储标志)、YCH(已经存储标志)、XSC(需要删除标记)；
步骤三，采集电力负荷信息，每组信息的时长为gap，每组信息的间隔时长为frequency；
步骤四，将所述步骤三中采集的电力负荷信息按时间顺序存储于所述步骤二中的电力负荷信息表中；
步骤五，将所述电力负荷信息表中的ID标注为唯一标志,Time标注为该电力负荷信息获取的时间点，FH标注为电力负荷值，PCH、YCH和XSC标注为0；
步骤六，将电力负荷信息表中的PCH、YCH和XSC字段标注为1，直到标记的记录所占存储空间达到容量K；
此时，标记后的存储总容量sumki＝0、标记的记录位置ptri＝1、rowsize为单个信息所占用的存储空间，其中i为迭代次数；
步骤七，获得sumki+rowsize的值X；
步骤八，判断若X≥K，则标记PCH的过程结束；
步骤九，若步骤七中的X＜K，则将步骤二中的电力负荷信息表中的第ptri条记录的PCH和YCH字段标注为1，XSC标注为1；
步骤十，获得ptri+1＝ptri+1,sumki+1＝sumki+rowsize,其中i为迭代次数，返回步骤六；
步骤十一，获得数量m＝round(gap/frequency+0.5)，其中round为四舍五入，获得电力负荷信息表中的所有PCH和YCH字段为1的记录，将其前m条记录的YCH标注为0，获得电力负荷信息表中所有PCH和YCH字段为1的记录，将其后m条记录的YCH标注为0，XSC标注为0；
步骤十二，提取电力负荷信息表中所有PCH为1的记录，构造为一个块存储到云计算环境中，其中该数据块的所有记录中，YCH标记为1的数据是可以参与到电力负荷分析算法计算过程中的数据；YCH为0且PCH为1的数据为gap数据，在该块中，所有YCH＝1的数据均可找到其前驱和后继gap范围内的所有负荷数据；
步骤十三，删除电力负荷信息表中所有XSC标注为1的记录；
步骤十四，得到的电力负荷信息表中若包含PCH标注为0的记录则返回步骤六，若没有包含PCH标注为0的记录则返回步骤四。
所述步骤三中gap为60分钟，frequency为15分钟。
通过上述设计方案，本发明可以带来如下有益效果：针对现有技术提出的问题，本发明提出了一种面向云计算的时间冗余电力负荷数据的存储方法。该方法不断的接收负荷信息，在向云计算环境存储的过程中，基于一定的时间范围对存储的数据进行冗余存储，实现在访问一个块的时候，能够参与计算的数据条目都能找到其前驱和后继一定时间范围的数据。通过本方法，可以使得原有的电力负荷分析算法更容易的迁移到云计算环境，不需要考虑数据被割裂引起的额外编码和存储节点计算机之间的通讯过程。加快电力负荷分析算法在云计算环境中的计算速度。
附图说明
下面结合附图及具体实施方式对本发明作进一步说明：
图1为本发明一种面向云计算的时间冗余电力负荷数据的存储方法的流程图
具体实施方式
结合图1所示，对本发明进行进一步详细说明，一种面向云计算的时间冗余电力负荷数据的存储方法，包括电力负荷采集服务器，其特征是包括以下步骤：
步骤一，电力负荷采集服务器获得若干数据块，每个数据块最大存储容量为K；
步骤二，构建电力负荷信息表，该表的存储的字段结构为ID(唯一性标志)、Time(时间点信息)、FH(负荷值)、PCH(预存储标志)、YCH(已经存储标志)、XSC(需要删除标记)；
步骤三，采集电力负荷信息，每组信息的时长为gap，每组信息的间隔时长为frequency；
步骤四，将所述步骤三中采集的电力负荷信息按时间顺序存储于所述步骤二中的电力负荷信息表中；
步骤五，将所述电力负荷信息表中的ID标注为唯一标志,Time标注为该电力负荷信息获取的时间点，FH标注为电力负荷值，PCH、YCH和XSC标注为0；
步骤六，将电力负荷信息表中的PCH、YCH和XSC字段标注为1，直到标记的记录所占存储空间达到容量K；
此时，标记后的存储总容量sumki＝0、标记的记录位置ptri＝1、rowsize为单个信息所占用的存储空间，其中i为迭代次数；
步骤七，获得sumki+rowsize的值X；
步骤八，判断若X≥K，则标记PCH的过程结束；
步骤九，若步骤七中的X＜K，则将步骤二中的电力负荷信息表中的第ptri条记录的PCH和YCH字段标注为1，XSC标注为1；
步骤十，获得ptri+1＝ptri+1,sumki+1＝sumki+rowsize,其中i为迭代次数，返回步骤六；
步骤十一，获得数量m＝round(gap/frequency+0.5)，其中round为四舍五入，获得电力负荷信息表中的所有PCH和YCH字段为1的记录，将其前m条记录的YCH标注为0，获得电力负荷信息表中所有PCH和YCH字段为1的记录，将其后m条记录的YCH标注为0，XSC标注为0；
步骤十二，提取电力负荷信息表中所有PCH为1的记录，构造为一个块存储到云计算环境中，其中该数据块的所有记录中，YCH标记为1的数据是可以参与到电力负荷分析算法计算过程中的数据；YCH为0且PCH为1的数据为gap数据，在该块中，所有YCH＝1的数据均可找到其前驱和后继gap范围内的所有负荷数据；
步骤十三，删除电力负荷信息表中所有XSC标注为1的记录；
步骤十四，得到的电力负荷信息表中若包含PCH标注为0的记录则返回步骤六，若没有包含PCH标注为0的记录则返回步骤四。
所述步骤三中gap为60分钟，frequency为15分钟。
通过本方法，可以使得原有的电力负荷分析算法更容易的迁移到云计算环境，不需要考虑数据被割裂引起的额外编码和存储节点计算机之间的通讯过程，加快电力负荷分析算法在云计算环境中的计算速度，值得获得广泛的推广和应用。

Claims (2)

1.一种面向云计算的时间冗余电力负荷数据的存储方法，包括电力负荷采集服务器，其特征是包括以下步骤：
步骤一，电力负荷采集服务器获得若干数据块，每个数据块最大存储容量为K；
步骤二，构建电力负荷信息表，该表的存储的字段结构为ID(唯一性标志)、Time(时间点信息)、FH(负荷值)、PCH(预存储标志)、YCH(已经存储标志)、XSC(需要删除标记)；
步骤三，采集电力负荷信息，每组信息的时长为gap，每组信息的间隔时长为frequency；
步骤四，将所述步骤三中采集的电力负荷信息按时间顺序存储于所述步骤二中的电力负荷信息表中；
步骤五，将所述电力负荷信息表中的ID标注为唯一标志,Time标注为该电力负荷信息获取的时间点，FH标注为电力负荷值，PCH、YCH和XSC标注为0；
步骤六，将电力负荷信息表中的PCH、YCH和XSC字段标注为1，直到标记的记录所占存储空间达到容量K；
此时，标记后的存储总容量sumki＝0、标记的记录位置ptri＝1、rowsize为单个信息所占用的存储空间，其中i为迭代次数；
步骤七，获得sumki+rowsize的值X；
步骤八，判断若X≥K，则标记PCH的过程结束；
步骤九，若步骤七中的X＜K，则将步骤二中的电力负荷信息表中的第ptri条记录的PCH和YCH字段标注为1，XSC标注为1；
步骤十，获得ptri+1＝ptri+1,sumki+1＝sumki+rowsize,其中i为迭代次数，返回步骤六；
步骤十一，获得数量m＝round(gap/frequency+0.5)，其中round为四舍五入，获得电力负荷信息表中的所有PCH和YCH字段为1的记录，将其前m条记录的YCH标注为0，获得电力负荷信息表中所有PCH和YCH字段为1的记录，将其后m条记录的YCH标注为0，XSC标注为0；
步骤十二，提取电力负荷信息表中所有PCH为1的记录，构造为一个块存储到云计算环境中，其中该数据块的所有记录中，YCH标记为1的数据是可以参与到电力负荷分析算法计算过程中的数据；YCH为0且PCH为1的数据为gap数据，在该块中，所有YCH＝1的数据均可找到其前驱和后继gap范围内的所有负荷数据；
步骤十三，删除电力负荷信息表中所有XSC标注为1的记录；
步骤十四，得到的电力负荷信息表中若包含PCH标注为0的记录则返回步骤六，若没有包含PCH标注为0的记录则返回步骤四。
2.一种面向云计算的时间冗余电力负荷数据的存储方法，其特征是：所述步骤三中gap为60分钟，frequency为15分钟。
CN201710964426.2A 2017-10-17 2017-10-17 一种面向云计算的时间冗余电力负荷数据的存储方法 Active CN107609194B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710964426.2A CN107609194B (zh) 2017-10-17 2017-10-17 一种面向云计算的时间冗余电力负荷数据的存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710964426.2A CN107609194B (zh) 2017-10-17 2017-10-17 一种面向云计算的时间冗余电力负荷数据的存储方法

Publications (2)

Publication Number Publication Date
CN107609194A CN107609194A (zh) 2018-01-19
CN107609194B true CN107609194B (zh) 2020-08-07

Family

ID=61077354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710964426.2A Active CN107609194B (zh) 2017-10-17 2017-10-17 一种面向云计算的时间冗余电力负荷数据的存储方法

Country Status (1)

Country Link
CN (1) CN107609194B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582751B (zh) * 2020-05-19 2022-06-14 国网吉林省电力有限公司 一种时间加权的购电风险预警方法
CN113032271B (zh) * 2021-03-31 2023-10-13 中国电子科技集团公司第十五研究所 数据样本冗余性定量判定方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605805A (zh) * 2013-12-09 2014-02-26 冶金自动化研究设计院 一种海量时序数据的存储方法
CN103957265A (zh) * 2014-05-07 2014-07-30 国家电网公司 一种具备容n-3存储媒介失效的电力大数据云储存***
CN105704218A (zh) * 2016-01-19 2016-06-22 国家电网公司 云计算平台中数据存储与管理方法
CN106682077A (zh) * 2016-11-18 2017-05-17 山东鲁能软件技术有限公司 一种基于Hadoop技术的海量时序数据存储实现方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9772794B2 (en) * 2015-06-05 2017-09-26 University Of Florida Research Foundation, Incorporated Method and apparatus for big data cloud storage resource management

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605805A (zh) * 2013-12-09 2014-02-26 冶金自动化研究设计院 一种海量时序数据的存储方法
CN103957265A (zh) * 2014-05-07 2014-07-30 国家电网公司 一种具备容n-3存储媒介失效的电力大数据云储存***
CN105704218A (zh) * 2016-01-19 2016-06-22 国家电网公司 云计算平台中数据存储与管理方法
CN106682077A (zh) * 2016-11-18 2017-05-17 山东鲁能软件技术有限公司 一种基于Hadoop技术的海量时序数据存储实现方法

Also Published As

Publication number Publication date
CN107609194A (zh) 2018-01-19

Similar Documents

Publication Publication Date Title
Neelakandan et al. Large scale optimization to minimize network traffic using MapReduce in big data applications
Beis et al. Benchmarking graph databases on the problem of community detection
CN113870046B (zh) 电力设备故障诊断方法及设备
CN107609194B (zh) 一种面向云计算的时间冗余电力负荷数据的存储方法
CN106502875A (zh) 一种基于云计算的日志生成方法及***
CN109656898B (zh) 基于节点度的分布式大规模复杂社团探测方法及装置
Lin et al. A K-means clustering with optimized initial center based on Hadoop platform
CN103793525A (zh) 基于局部迭代的MapReduce模型的图结点的权威值计算方法
CN111241301A (zh) 一种面向知识图谱表示学习的分布式框架构建方法
Ye et al. Big data processing framework for manufacturing
Cheng et al. Research on the application of agricultural big data processing with Hadoop and Spark
Anusha et al. Big data techniques for efficient storage and processing of weather data
Xie et al. Silverback: Scalable association mining for temporal data in columnar probabilistic databases
CN109977194A (zh) 基于无监督学习的文本相似度计算方法、***、设备及介质
Yang et al. Probabilistic modeling of renewable energy source based on Spark platform with large‐scale sample data
Houeland et al. The utility problem for lazy learners-towards a non-eager approach
CN106970840A (zh) 一种结合任务调度的软硬件划分方法
Song et al. Nslpa: A node similarity based label propagation algorithm for real-time community detection
Liu et al. In-advance data analytics for reducing time to discovery
Senevirathne et al. Memory efficient graph convolutional network based distributed link prediction
Du Distributed large-scale time-series data processing and analysis system based on spark platform
Wu et al. A parallel computing model for large-graph mining with MapReduce
Shuang et al. X-RIME: Hadoop-based large-scale social network analysis
El-Sayed et al. Performance Analysis of Spatial Indexing in the Cloud
CN114154679B (zh) 一种基于Spark的PCFOA-KELM风功率预测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant