CN107609194B - 一种面向云计算的时间冗余电力负荷数据的存储方法 - Google Patents
一种面向云计算的时间冗余电力负荷数据的存储方法 Download PDFInfo
- Publication number
- CN107609194B CN107609194B CN201710964426.2A CN201710964426A CN107609194B CN 107609194 B CN107609194 B CN 107609194B CN 201710964426 A CN201710964426 A CN 201710964426A CN 107609194 B CN107609194 B CN 107609194B
- Authority
- CN
- China
- Prior art keywords
- power load
- data
- load information
- ych
- pch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000006854 communication Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
Images
Landscapes
- Supply And Distribution Of Alternating Current (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种面向云计算的时间冗余电力负荷数据的存储方法,本发明涉及电力领域,具体涉及一种面向云计算的电力负荷数据的存储方法。本发明提出了一种面向云计算的时间冗余电力负荷数据的存储方法。该方法不断的接收负荷信息,在向云计算环境存储的过程中,基于一定的时间范围对存储的数据进行冗余存储,实现在访问一个块的时候,能够参与计算的数据条目都能找到其前驱和后继一定时间范围的数据。
Description
技术领域
本发明涉及电力领域,具体涉及一种面向云计算的电力负荷数据的存储方法。
背景技术
电力负荷数据是电网运行的重要数据,该数据记录着特定台区、企业、地区的用电量,很多人工智能、大数据分析算法可以基于电力负荷数据进行分析,这些分析结果对于电网的运行状况、预测用电量,电价的制定、电网的安全管理、风电等清洁能源的接入具有十分重要的作用。
电力负荷数据的一个特点是数据量较大,及基于其上的人工智能、大数据分析算法运算量较大。当前在计算机领域出现的Hadoop等云计算平台可以将数据分散存储于多台存储节点,并在这些存储节点进行计算,这种模式可以大大加快数据处理能力和计算速度。云计算平台的需要将数据存储为分散的数据块,每个数据块随机存储于云平台的一个存储节点上。在进行分析时电力负荷分析算法需要基于MapReduce架构,每次读取一个数据块进行计算,然后合并结果;然而电力负荷数据的最大特点是时间上的相关性,任何一种分析算法都需要读取一段相对连续的时间序列负荷信息才可以获得对应的结果,将数据划分为块的过程可能会导致计算过程割裂开来,一方面可能导致一些算法难以运行,另一方面,可能导致原有的算法需要加入为块之间迭代通讯的机制,大大增加了编程工作量,同时大量存储节点之间的通讯反而会降低算法运行速度。也就是说,目前缺乏一种方法来改进电力负荷信息在云计算环境的存储方式。因此,现有技术当中亟需一种新的技术方案来解决上述问题。
发明内容
本发明所要解决的问题是:提供了一种面向云计算的时间冗余电力负荷数据的存储方法。该方法不断的接收负荷信息,在向云计算环境存储的过程中,基于一定的时间范围对存储的数据进行冗余存储,实现在访问一个块的时候,能够参与计算的数据条目都能找到其前驱和后继一定时间范围的数据。
一种面向云计算的时间冗余电力负荷数据的存储方法,包括电力负荷采集服务器,其特征是包括以下步骤:
步骤一,电力负荷采集服务器获得若干数据块,每个数据块最大存储容量为K;
步骤二,构建电力负荷信息表,该表的存储的字段结构为ID(唯一性标志)、Time(时间点信息)、FH(负荷值)、PCH(预存储标志)、YCH(已经存储标志)、XSC(需要删除标记);
步骤三,采集电力负荷信息,每组信息的时长为gap,每组信息的间隔时长为frequency;
步骤四,将所述步骤三中采集的电力负荷信息按时间顺序存储于所述步骤二中的电力负荷信息表中;
步骤五,将所述电力负荷信息表中的ID标注为唯一标志,Time标注为该电力负荷信息获取的时间点,FH标注为电力负荷值,PCH、YCH和XSC标注为0;
步骤六,将电力负荷信息表中的PCH、YCH和XSC字段标注为1,直到标记的记录所占存储空间达到容量K;
此时,标记后的存储总容量sumki=0、标记的记录位置ptri=1、rowsize为单个信息所占用的存储空间,其中i为迭代次数;
步骤七,获得sumki+rowsize的值X;
步骤八,判断若X≥K,则标记PCH的过程结束;
步骤九,若步骤七中的X<K,则将步骤二中的电力负荷信息表中的第ptri条记录的PCH和YCH字段标注为1,XSC标注为1;
步骤十,获得ptri+1=ptri+1,sumki+1=sumki+rowsize,其中i为迭代次数,返回步骤六;
步骤十一,获得数量m=round(gap/frequency+0.5),其中round为四舍五入,获得电力负荷信息表中的所有PCH和YCH字段为1的记录,将其前m条记录的YCH标注为0,获得电力负荷信息表中所有PCH和YCH字段为1的记录,将其后m条记录的YCH标注为0,XSC标注为0;
步骤十二,提取电力负荷信息表中所有PCH为1的记录,构造为一个块存储到云计算环境中,其中该数据块的所有记录中,YCH标记为1的数据是可以参与到电力负荷分析算法计算过程中的数据;YCH为0且PCH为1的数据为gap数据,在该块中,所有YCH=1的数据均可找到其前驱和后继gap范围内的所有负荷数据;
步骤十三,删除电力负荷信息表中所有XSC标注为1的记录;
步骤十四,得到的电力负荷信息表中若包含PCH标注为0的记录则返回步骤六,若没有包含PCH标注为0的记录则返回步骤四。
所述步骤三中gap为60分钟,frequency为15分钟。
通过上述设计方案,本发明可以带来如下有益效果:针对现有技术提出的问题,本发明提出了一种面向云计算的时间冗余电力负荷数据的存储方法。该方法不断的接收负荷信息,在向云计算环境存储的过程中,基于一定的时间范围对存储的数据进行冗余存储,实现在访问一个块的时候,能够参与计算的数据条目都能找到其前驱和后继一定时间范围的数据。通过本方法,可以使得原有的电力负荷分析算法更容易的迁移到云计算环境,不需要考虑数据被割裂引起的额外编码和存储节点计算机之间的通讯过程。加快电力负荷分析算法在云计算环境中的计算速度。
附图说明
下面结合附图及具体实施方式对本发明作进一步说明:
图1为本发明一种面向云计算的时间冗余电力负荷数据的存储方法的流程图
具体实施方式
结合图1所示,对本发明进行进一步详细说明,一种面向云计算的时间冗余电力负荷数据的存储方法,包括电力负荷采集服务器,其特征是包括以下步骤:
步骤一,电力负荷采集服务器获得若干数据块,每个数据块最大存储容量为K;
步骤二,构建电力负荷信息表,该表的存储的字段结构为ID(唯一性标志)、Time(时间点信息)、FH(负荷值)、PCH(预存储标志)、YCH(已经存储标志)、XSC(需要删除标记);
步骤三,采集电力负荷信息,每组信息的时长为gap,每组信息的间隔时长为frequency;
步骤四,将所述步骤三中采集的电力负荷信息按时间顺序存储于所述步骤二中的电力负荷信息表中;
步骤五,将所述电力负荷信息表中的ID标注为唯一标志,Time标注为该电力负荷信息获取的时间点,FH标注为电力负荷值,PCH、YCH和XSC标注为0;
步骤六,将电力负荷信息表中的PCH、YCH和XSC字段标注为1,直到标记的记录所占存储空间达到容量K;
此时,标记后的存储总容量sumki=0、标记的记录位置ptri=1、rowsize为单个信息所占用的存储空间,其中i为迭代次数;
步骤七,获得sumki+rowsize的值X;
步骤八,判断若X≥K,则标记PCH的过程结束;
步骤九,若步骤七中的X<K,则将步骤二中的电力负荷信息表中的第ptri条记录的PCH和YCH字段标注为1,XSC标注为1;
步骤十,获得ptri+1=ptri+1,sumki+1=sumki+rowsize,其中i为迭代次数,返回步骤六;
步骤十一,获得数量m=round(gap/frequency+0.5),其中round为四舍五入,获得电力负荷信息表中的所有PCH和YCH字段为1的记录,将其前m条记录的YCH标注为0,获得电力负荷信息表中所有PCH和YCH字段为1的记录,将其后m条记录的YCH标注为0,XSC标注为0;
步骤十二,提取电力负荷信息表中所有PCH为1的记录,构造为一个块存储到云计算环境中,其中该数据块的所有记录中,YCH标记为1的数据是可以参与到电力负荷分析算法计算过程中的数据;YCH为0且PCH为1的数据为gap数据,在该块中,所有YCH=1的数据均可找到其前驱和后继gap范围内的所有负荷数据;
步骤十三,删除电力负荷信息表中所有XSC标注为1的记录;
步骤十四,得到的电力负荷信息表中若包含PCH标注为0的记录则返回步骤六,若没有包含PCH标注为0的记录则返回步骤四。
所述步骤三中gap为60分钟,frequency为15分钟。
通过本方法,可以使得原有的电力负荷分析算法更容易的迁移到云计算环境,不需要考虑数据被割裂引起的额外编码和存储节点计算机之间的通讯过程,加快电力负荷分析算法在云计算环境中的计算速度,值得获得广泛的推广和应用。
Claims (2)
1.一种面向云计算的时间冗余电力负荷数据的存储方法,包括电力负荷采集服务器,其特征是包括以下步骤:
步骤一,电力负荷采集服务器获得若干数据块,每个数据块最大存储容量为K;
步骤二,构建电力负荷信息表,该表的存储的字段结构为ID(唯一性标志)、Time(时间点信息)、FH(负荷值)、PCH(预存储标志)、YCH(已经存储标志)、XSC(需要删除标记);
步骤三,采集电力负荷信息,每组信息的时长为gap,每组信息的间隔时长为frequency;
步骤四,将所述步骤三中采集的电力负荷信息按时间顺序存储于所述步骤二中的电力负荷信息表中;
步骤五,将所述电力负荷信息表中的ID标注为唯一标志,Time标注为该电力负荷信息获取的时间点,FH标注为电力负荷值,PCH、YCH和XSC标注为0;
步骤六,将电力负荷信息表中的PCH、YCH和XSC字段标注为1,直到标记的记录所占存储空间达到容量K;
此时,标记后的存储总容量sumki=0、标记的记录位置ptri=1、rowsize为单个信息所占用的存储空间,其中i为迭代次数;
步骤七,获得sumki+rowsize的值X;
步骤八,判断若X≥K,则标记PCH的过程结束;
步骤九,若步骤七中的X<K,则将步骤二中的电力负荷信息表中的第ptri条记录的PCH和YCH字段标注为1,XSC标注为1;
步骤十,获得ptri+1=ptri+1,sumki+1=sumki+rowsize,其中i为迭代次数,返回步骤六;
步骤十一,获得数量m=round(gap/frequency+0.5),其中round为四舍五入,获得电力负荷信息表中的所有PCH和YCH字段为1的记录,将其前m条记录的YCH标注为0,获得电力负荷信息表中所有PCH和YCH字段为1的记录,将其后m条记录的YCH标注为0,XSC标注为0;
步骤十二,提取电力负荷信息表中所有PCH为1的记录,构造为一个块存储到云计算环境中,其中该数据块的所有记录中,YCH标记为1的数据是可以参与到电力负荷分析算法计算过程中的数据;YCH为0且PCH为1的数据为gap数据,在该块中,所有YCH=1的数据均可找到其前驱和后继gap范围内的所有负荷数据;
步骤十三,删除电力负荷信息表中所有XSC标注为1的记录;
步骤十四,得到的电力负荷信息表中若包含PCH标注为0的记录则返回步骤六,若没有包含PCH标注为0的记录则返回步骤四。
2.一种面向云计算的时间冗余电力负荷数据的存储方法,其特征是:所述步骤三中gap为60分钟,frequency为15分钟。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710964426.2A CN107609194B (zh) | 2017-10-17 | 2017-10-17 | 一种面向云计算的时间冗余电力负荷数据的存储方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710964426.2A CN107609194B (zh) | 2017-10-17 | 2017-10-17 | 一种面向云计算的时间冗余电力负荷数据的存储方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107609194A CN107609194A (zh) | 2018-01-19 |
CN107609194B true CN107609194B (zh) | 2020-08-07 |
Family
ID=61077354
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710964426.2A Active CN107609194B (zh) | 2017-10-17 | 2017-10-17 | 一种面向云计算的时间冗余电力负荷数据的存储方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107609194B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111582751B (zh) * | 2020-05-19 | 2022-06-14 | 国网吉林省电力有限公司 | 一种时间加权的购电风险预警方法 |
CN113032271B (zh) * | 2021-03-31 | 2023-10-13 | 中国电子科技集团公司第十五研究所 | 数据样本冗余性定量判定方法及*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103605805A (zh) * | 2013-12-09 | 2014-02-26 | 冶金自动化研究设计院 | 一种海量时序数据的存储方法 |
CN103957265A (zh) * | 2014-05-07 | 2014-07-30 | 国家电网公司 | 一种具备容n-3存储媒介失效的电力大数据云储存*** |
CN105704218A (zh) * | 2016-01-19 | 2016-06-22 | 国家电网公司 | 云计算平台中数据存储与管理方法 |
CN106682077A (zh) * | 2016-11-18 | 2017-05-17 | 山东鲁能软件技术有限公司 | 一种基于Hadoop技术的海量时序数据存储实现方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9772794B2 (en) * | 2015-06-05 | 2017-09-26 | University Of Florida Research Foundation, Incorporated | Method and apparatus for big data cloud storage resource management |
-
2017
- 2017-10-17 CN CN201710964426.2A patent/CN107609194B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103605805A (zh) * | 2013-12-09 | 2014-02-26 | 冶金自动化研究设计院 | 一种海量时序数据的存储方法 |
CN103957265A (zh) * | 2014-05-07 | 2014-07-30 | 国家电网公司 | 一种具备容n-3存储媒介失效的电力大数据云储存*** |
CN105704218A (zh) * | 2016-01-19 | 2016-06-22 | 国家电网公司 | 云计算平台中数据存储与管理方法 |
CN106682077A (zh) * | 2016-11-18 | 2017-05-17 | 山东鲁能软件技术有限公司 | 一种基于Hadoop技术的海量时序数据存储实现方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107609194A (zh) | 2018-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Neelakandan et al. | Large scale optimization to minimize network traffic using MapReduce in big data applications | |
Beis et al. | Benchmarking graph databases on the problem of community detection | |
CN113870046B (zh) | 电力设备故障诊断方法及设备 | |
CN107609194B (zh) | 一种面向云计算的时间冗余电力负荷数据的存储方法 | |
CN106502875A (zh) | 一种基于云计算的日志生成方法及*** | |
CN109656898B (zh) | 基于节点度的分布式大规模复杂社团探测方法及装置 | |
Lin et al. | A K-means clustering with optimized initial center based on Hadoop platform | |
CN103793525A (zh) | 基于局部迭代的MapReduce模型的图结点的权威值计算方法 | |
CN111241301A (zh) | 一种面向知识图谱表示学习的分布式框架构建方法 | |
Ye et al. | Big data processing framework for manufacturing | |
Cheng et al. | Research on the application of agricultural big data processing with Hadoop and Spark | |
Anusha et al. | Big data techniques for efficient storage and processing of weather data | |
Xie et al. | Silverback: Scalable association mining for temporal data in columnar probabilistic databases | |
CN109977194A (zh) | 基于无监督学习的文本相似度计算方法、***、设备及介质 | |
Yang et al. | Probabilistic modeling of renewable energy source based on Spark platform with large‐scale sample data | |
Houeland et al. | The utility problem for lazy learners-towards a non-eager approach | |
CN106970840A (zh) | 一种结合任务调度的软硬件划分方法 | |
Song et al. | Nslpa: A node similarity based label propagation algorithm for real-time community detection | |
Liu et al. | In-advance data analytics for reducing time to discovery | |
Senevirathne et al. | Memory efficient graph convolutional network based distributed link prediction | |
Du | Distributed large-scale time-series data processing and analysis system based on spark platform | |
Wu et al. | A parallel computing model for large-graph mining with MapReduce | |
Shuang et al. | X-RIME: Hadoop-based large-scale social network analysis | |
El-Sayed et al. | Performance Analysis of Spatial Indexing in the Cloud | |
CN114154679B (zh) | 一种基于Spark的PCFOA-KELM风功率预测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |